Com HolosAccent converteix la teva veu en una puntuació de pronunciació
Quan llegeixes una frase en veu alta, diverses qüestions són importants: **quins sons has produït, quines paraules has completat i com ha fluït la frase?** La nova cadena de puntuació de HolosAccent combina evidència sobre les tres per generar una puntuació
HolosAccent·
·6 min de lectura
Traduït de English · Llegeix l'original
Preparant la teva gravació
Primer, l’àudio es decodifica a un format estàndard: so mono mostrat a 16 kHz.
El sistema estima la relació senyal-ruïda de la gravació. Si aquesta estimació cau per sota de 25 dB i el filtratge de soroll està disponible, aplica un filtre de reducció de soroll abans de l’anàlisi. Si el filtratge falla, continua amb la gravació original.
A continuació, la forma d’ona es normalitza per coincidir amb els requisits d’entrada del model d’anàlisi de la parla. El silenci i les gravacions més curtes d’un mig segon reben una puntuació zero.
Permetent diferents pronunciacions
A continuació, el text de referència es converteix en pronunciacions fonètiques mitjançant un motor de pronunciació. Una paraula pot tenir diverses formes acceptades.
El conjunt de pronunciacions inclou:
- Variants britàniques i americanes.
- Formes reduïdes comunes, com la vocal àtona a to (a).
- Alternatives contextuals seleccionades.
Per exemple, la consonant final a close the door difereix de la de a close friend. El sistema pot triar entre les alternatives compatibles mentre processa la frase.
Escoltant sons, no reconstruint paraules
La gravació passa per un model acústic. Genera evidència per a diferents sons de la parla al llarg del temps, a intervals aproximats de 20 mil·lisegons.
Això és una representació fonètica de la gravació. El puntuador no utilitza un model de llenguatge a nivell de paraula per reconstruir la frase.
El sistema després examina aquestes sortides acústiques de dues maneres:
| Mètode | Què fa |
|---|---|
| Alineació de sons esperats | Troba el millor moment per als sons esperats, escollint una variant de pronunciació completa per a cada paraula. |
| Reconstrucció independent de sons | Segueix els sons preferits pel model sense requerir la frase de referència. |
Ambdues perspectives són necessàries perquè l’alineació pot col·locar un so esperat en algun moment de la gravació encara que el parlant l’hagi omès. La reconstrucció independent de sons aporta evidència addicional sobre el que realment s’ha dit.
L’aparellament també té en compte el temps, fent més difícil que un so d’una paraula compti com a evidència per a una paraula distant.
Puntuant cada so
Per a cada so alineat, el puntuador calcula una mesura de precisió de pronunciació: com de fortament el model recolza el so esperat en comparació amb sons competidors durant aquest interval.
També té en compte:
- La probabilitat màxima del so esperat.
- Si la reconstrucció independent de sons ha trobat un so coincident a prop.
Un mapatge matemàtic ajustat converteix aquesta evidència en un valor de precisió del so entre 0 i 100.
Un so que falta al resultat de la reconstrucció independent de sons no rep automàticament zero. L’evidència acústica encara compta.
Decidint quines paraules necessiten atenció
El feedback de paraules combina aquests valors de sons amb comprovacions d’errors explícites. Una paraula ha de:
- Tenir prou evidència que s’ha pronunciat.
- Complir el llindar mitjà d’exactitud configurat.
- Evitar substitucions, insercions o errors greus de sons perduts detectats.
Les substitucions clares requereixen un suport feble per al so esperat i un suport fort per a un so competidor.
| Evidència | Llindar actual |
|---|---|
| Suport per al so esperat | Per sota de 0.05 |
| Suport per al seu reemplaçament | Com a mínim 0.5 |
Aquests són llindars d’evidència del model, no probabilitats que un oient humà jutgi la paraula com a incorrecta.
Per a les paraules marcades, el sistema retorna la pronunciació esperada i la seva estimació dels sons escoltats, escrita en l’Alfabet Fonètic Internacional (IPA). Aquesta estimació pot ser imperfecta, especialment al voltant de les fronteres de les paraules.
Construint la puntuació de la frase
La puntuació de la frase comença amb una combinació ajustada de:
- Precisió mitjana del so.
- La proporció de sons esperats coincidents amb la reconstrucció independent de sons.
- El nombre de sons de parla pronunciats per segon.
- Pauses llargues entre paraules.
El càlcul del temps exclou el silenci abans del primer so alineat i després de l’últim.
Aquestes característiques contribueixen a una puntuació global. La implementació actual no ofereix puntuacions separades per a fluïdesa, completitud o entonació visibles per a l’usuari.
Com el crèdit de paraula afecta el resultat
El puntuador aplica després un multiplicador de crèdit de paraula explícit. Cada paraula es pondera pel nombre de sons de la seva pronunciació seleccionada.
| Resultat de la paraula | Crèdit obtingut |
|---|---|
| Correcte | Pes complet |
| Pronunciat però marcat | Un quart del seu pes |
| Omes | Cap crèdit |
El càlcul és:
word credit =
(correct sound weight + 0.25 × flagged spoken sound weight)
/ total expected sound weight
raw score =
sentence estimate, clipped to 0–100, × word credit
Conseqüentment, una paraula incorrecta llarga sol costar més que una curta. Llegir només una petita part de la frase també limita la puntuació, encara que aquest fragment soni clar.
Comparant la teva puntuació amb la de referència
Finalment, el sistema pot normalitzar la puntuació bruta utilitzant una gravació de referència de la mateixa frase.
Puntua la referència sintetitzada amb la mateixa versió del puntuador i, quan ja hi ha una base de referència usable, aplica:
displayed score = min(100, raw score / reference score × 100)
Per exemple, una puntuació bruta de 80 contra una puntuació de referència de 88 es converteix aproximadament en 90,9.
Aquest ajust té en compte que el model pot assignar a la gravació de referència menys de 100.
Les bases de referència estan vinculades a:
- La veu de referència i el model de generació de parla.
- El model de puntuació.
- El vocabulari.
- La versió de calibratge i de regles.
Si una base de referència coincident no està disponible o és inutilitzable, el resultat manté la seva puntuació bruta. Un primer intent, per tant, pot quedar sense ajustar mentre es prepara una base per a intents posteriors.
Què significa la teva puntuació
El número resultant és una puntuació de pràctica a l’escala de HolosAccent.
Una puntuació de 90 no vol dir que el 90 per cent de les teves paraules siguin correctes, i no estableix un nivell CEFR ni equivalència amb un parlant nadiu.
El mapatge s’ha ajustat utilitzant gravacions valorades per experts, però el nou sistema de puntuació continua sent experimental i els seus criteris d’acceptació completa encara no s’han verificat. Pot passar per alt errors o marcar una parla acceptable.
El feedback individual de paraules i els patrons a través d’intents repetits ofereixen context per interpretar el número.
