Come HolosAccent trasforma la tua voce in un punteggio di pronuncia
Quando leggi ad alta voce una frase, diverse domande contano: **quali suoni hai prodotto, quali parole hai completato e come è fluita la frase?** Il nuovo pipeline di valutazione di HolosAccent combina le evidenze su tutti e tre gli aspetti per produrre un punteggio.
Tradotto da English · Leggi l'originale
Preparare la registrazione
Innanzitutto, l’audio viene decodificato in un formato standard: suono mono campionato a 16 kHz.
Il sistema stima il rapporto segnale‑rumore della registrazione. Se la stima scende sotto 25 dB e il filtro anti‑rumore è disponibile, applica un filtro di riduzione del rumore prima dell’analisi. Se il filtraggio fallisce, continua con la registrazione originale.
La forma d’onda viene quindi normalizzata per soddisfare i requisiti di input del modello di analisi del parlato. Il silenzio e le registrazioni più brevi di mezzo secondo ricevono un punteggio zero.
Consentire diverse pronunce
Successivamente, il testo di riferimento viene convertito in pronunce fonetiche usando un motore di pronuncia. Una parola può avere più forme accettate.
Il set di pronunce include:
- Varianti britanniche e americane.
- Forme ridotte comuni, come la vocale atona in to.
- Alternative contestuali selezionate.
Ad esempio, la consonante finale in close the door è diversa da quella in a close friend. Il sistema può scegliere tra le alternative supportate mentre elabora la frase.
Ascoltare i suoni, non ricostruire le parole
La registrazione passa attraverso un modello acustico. Produce evidenze per diversi suoni del parlato nel tempo, a intervalli di circa 20 millisecondi.
Questa è una rappresentazione fonetica della registrazione. Il valutatore non utilizza un modello linguistico a livello di parola per ricostruire la frase.
Il sistema quindi esamina quelle uscite acustiche in due modi:
| Metodo | Cosa fa |
|---|---|
| Expected-sound alignment | Trova il timing migliore per i suoni attesi, scegliendo una variante di pronuncia completa per ogni parola. |
| Independent sound recognition | Segue i suoni preferiti dal modello senza richiedere la frase di riferimento. |
Entrambe le prospettive sono necessarie perché l’allineamento può collocare un suono atteso da qualche parte nella registrazione anche se il parlante l’ha omesso. Il riconoscimento indipendente dei suoni fornisce evidenze aggiuntive su ciò che è stato effettivamente pronunciato.
Il confronto tiene anche conto del timing, rendendo più difficile che un suono in una parola conti come evidenza per una parola distante.
Valutare ogni suono
Per ogni suono allineato, il valutatore calcola una misura di accuratezza della pronuncia: quanto fortemente il modello supporta il suono atteso rispetto ai suoni concorrenti durante quell’intervallo.
Considera anche:
- La probabilità di picco del suono atteso.
- Se il riconoscimento indipendente dei suoni ha trovato un suono corrispondente nelle vicinanze.
Una mappatura matematica calibrata trasforma queste evidenze in un valore di accuratezza del suono compreso tra 0 e 100.
Un suono assente dal risultato del riconoscimento indipendente non riceve automaticamente zero. L’evidenza acustica conta comunque.
Decidere quali parole richiedono attenzione
Il feedback sulle parole combina questi valori di suono con controlli espliciti di errore. Una parola deve:
- Avere sufficienti evidenze che sia stata pronunciata.
- Raggiungere la soglia media di accuratezza configurata.
- Evitare sostituzioni, inserzioni o gravi errori di suoni mancanti rilevati.
Sostituzioni chiare richiedono un supporto debole per il suono atteso e un supporto forte per un suono concorrente.
| Evidenza | Soglia attuale |
|---|---|
| Support for the expected sound | Below 0.05 |
| Support for its replacement | At least 0.5 |
Queste sono soglie di evidenza del modello, non probabilità che un ascoltatore umano giudicherebbe la parola errata.
Per le parole segnalate, il sistema restituisce la pronuncia attesa e la sua stima dei suoni uditi, scritta in International Phonetic Alphabet (IPA). Tale stima può essere imperfetta, specialmente intorno ai confini delle parole.
Costruire il punteggio della frase
Il punteggio della frase inizia con una combinazione calibrata di:
- Accuratezza media dei suoni.
- La percentuale di suoni attesi corrisposti dal riconoscimento indipendente dei suoni.
- Il numero di suoni del parlato pronunciati al secondo.
- Pause lunghe tra le parole.
Il calcolo del timing esclude il silenzio prima del primo suono allineato e dopo l’ultimo.
Queste caratteristiche contribuiscono a un unico punteggio complessivo. L’attuale implementazione non fornisce punteggi separati per fluidità, completezza o intonazione visibili all’utente.
Come il credito delle parole influisce sul risultato
Il valutatore applica quindi un esplicito moltiplicatore di credito per parola. Ogni parola è ponderata in base al numero di suoni nella sua pronuncia selezionata.
| Risultato della parola | Credito guadagnato |
|---|---|
| Correct | Full weight |
| Spoken but flagged | One quarter of its weight |
| Omitted | No credit |
word credit =
(correct sound weight + 0.25 × flagged spoken sound weight)
/ total expected sound weight
raw score =
sentence estimate, clipped to 0–100, × word credit
Di conseguenza, una parola lunga e errata di solito costa più di una corta. Leggere solo una piccola parte della frase limita anche il punteggio, anche se quel frammento suona chiaro.
Confrontare il tuo punteggio con il riferimento
Infine, il sistema può normalizzare il punteggio grezzo usando una registrazione di riferimento della stessa frase.
Valuta la registrazione sintetizzata con la stessa versione del valutatore e, quando è disponibile una baseline corrispondente utilizzabile, applica:
displayed score = min(100, raw score / reference score × 100)
Ad esempio, un punteggio grezzo di 80 rispetto a un punteggio di riferimento di 88 diventa circa 90,9.
Questo aggiustamento tiene conto del fatto che il modello può assegnare anche alla registrazione di riferimento meno di 100.
Le baseline sono legate a:
- La voce di riferimento e il modello di generazione del parlato.
- Il modello di valutazione.
- Il vocabolario.
- La versione di calibrazione e delle regole.
Se una baseline corrispondente non è disponibile o non è utilizzabile, il risultato mantiene il suo punteggio grezzo. Un primo tentativo può quindi rimanere non aggiustato mentre una baseline viene preparata per tentativi successivi.
Cosa significa il tuo punteggio
Il numero risultante è un punteggio di pratica sulla scala di HolosAccent.
Un punteggio di 90 non significa che il 90 % delle tue parole fosse corretto, e non stabilisce un livello CEFR o un’equivalenza con un madrelingua.
La mappatura è stata calibrata usando registrazioni valutate da esperti, ma il nuovo sistema di valutazione è ancora sperimentale e i suoi criteri di accettazione completi non sono ancora stati verificati. Può mancare errori o segnalare discorsi accettabili.
Il feedback su singole parole e i pattern attraverso tentativi ripetuti forniscono contesto per interpretare il numero.