Cum HolosAccent transformă vocea ta într-un scor de pronunție

Pregătirea înregistrării tale

Mai întâi, audio este decodat într-un format standard: sunet mono eșantionat la 16 kHz.

Sistemul estimează raportul semnal-zgomot al înregistrării. Dacă această estimare scade sub 25 dB și filtrarea zgomotului este disponibilă, se aplică un filtru de reducere a zgomotului înainte de analiză. Dacă filtrarea eșuează, se continuă cu înregistrarea originală.

Forma de undă este apoi normalizată pentru a se potrivi cerințelor de intrare ale modelului de analiză a vorbirii. Liniștea și înregistrările mai scurte de jumătate de secundă primesc un scor zero.

Permițând diferite pronunții

Apoi, textul de referință este convertit în pronunții fonetice folosind un motor de pronunție. Un cuvânt poate avea mai multe forme acceptate.

Setul de pronunții include:

• Variante britanice și americane.
• Forme reduse comune, cum ar fi vocala neaccentuată din to.
• Alternative contextuale selectate.

De exemplu, consoana finală din close the door diferă de cea din a close friend. Sistemul poate alege dintre alternativele suportate în timp ce procesează propoziția.

Ascultând sunetele, nu reconstruind cuvintele

Înregistrarea trece prin un model acustic. Acesta produce dovezi pentru diferite sunete ale vorbirii în timp, la intervale de aproximativ 20 de milisecunde.

Aceasta este o reprezentare fonetică a înregistrării. Evaluatorul nu folosește un model lingvistic la nivel de cuvânt pentru a reconstrui propoziția.

Sistemul examinează apoi aceste ieșiri acustice în două moduri:

Metodă	Ce face
Expected-sound alignment	Găsește cel mai bun moment pentru sunetele așteptate, alegând o variantă completă de pronunție pentru fiecare cuvânt.
Independent sound recognition	Urmează sunetele preferate de model fără a necesita propoziția de referință.

Ambele perspective sunt necesare deoarece alinierea poate plasa un sunet așteptat undeva în înregistrare chiar și când vorbitorul l-a omis. Recunoașterea independentă a sunetelor furnizează dovezi suplimentare despre ceea ce a fost efectiv rostit.

Potrivirea ia, de asemenea, în considerare sincronizarea, făcând mai dificil ca un sunet dintr-un cuvânt să conteze ca dovadă pentru un cuvânt îndepărtat.

Evaluarea fiecărui sunet

Pentru fiecare sunet aliniat, evaluatorul calculează o măsură a acurateței pronunției: cât de puternic modelul susține sunetul așteptat în raport cu sunetele concurente în acel interval.

De asemenea, ia în considerare:

• Probabilitatea maximă a sunetului așteptat.
• Dacă recunoașterea independentă a sunetului a găsit un sunet potrivit în apropiere.

O mapare matematică ajustată transformă aceste dovezi într-o valoare a acurateței sunetului între 0 și 100.

Un sunet absent din rezultatul recunoașterii independente nu primește automat zero. Dovezile acustice contează în continuare.

Deciderea cuvintelor care necesită atenție

Feedback-ul pentru cuvinte combină aceste valori ale sunetelor cu verificări explicite de erori. Un cuvânt trebuie să:

• Aibă suficiente dovezi că a fost rostit.
• Îndeplinească pragul mediu de acuratețe configurat.
• Evite substituțiile, inserțiile sau erorile severe de sunete lipsă detectate.

Substituțiile clare necesită susținere slabă pentru sunetul așteptat și susținere puternică pentru un sunet concurent.

Evidență	Pragul curent
Susținere pentru sunetul așteptat	Below 0.05
Susținere pentru înlocuitorul său	At least 0.5

Acestea sunt praguri de dovezi ale modelului, nu probabilități pe care un ascultător uman le-ar judeca pentru a declara cuvântul incorect.

Pentru cuvintele marcate, sistemul returnează pronunția așteptată și estimarea sunetelor auzite, scrise în Alfabetul Fonetic Internațional (IPA). Acea estimare poate fi imperfectă, în special la granițele cuvintelor.

Construirea scorului propoziției

Scorul propoziției începe cu o combinație ajustată a:

• Acuratețea medie a sunetelor.
• Proporția sunetelor așteptate potrivite de recunoașterea independentă a sunetelor.
• Numărul de sunete de vorbire rostite pe secundă.
• Pauze lungi între cuvinte.

Calculul sincronizării exclude liniștea înainte de primul sunet aliniat și după ultimul.

Aceste caracteristici contribuie la un singur scor general. Implementarea curentă nu oferă scoruri separate pentru fluență, completitudine sau intonație vizibile utilizatorului.

Cum influențează creditul cuvântului rezultatul

Evaluatorul aplică apoi un multiplicator explicit de credit pentru cuvânt. Fiecare cuvânt este ponderat în funcție de numărul de sunete din pronunția sa selectată.

Rezultat cuvânt	Credit obținut
Corect	Greutate completă
Vorbit dar marcat	Un sfert din greutatea sa
Omisiune	Fără credit

Calculul este:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Prin urmare, un cuvânt incorect lung costă de obicei mai mult decât unul scurt. Citirea doar a unei părți mici a propoziției limitează, de asemenea, scorul, chiar dacă fragmentul respectiv sună clar.

Compararea scorului tău cu referința

În final, sistemul poate normaliza scorul brut folosind o înregistrare de referință a aceleiași fraze.

Scorizează referința sintetizată cu aceeași versiune a evaluatorului și, când există deja o bază de referință potrivită, aplică:

displayed score = min(100, raw score / reference score × 100)

De exemplu, un scor brut de 80 față de un scor de referință de 88 devine aproximativ 90.9.

Această ajustare ține cont de faptul că modelul poate acorda chiar și înregistrării de referință mai puțin de 100.

Bazele de referință sunt legate de:

• Vocea de referință și modelul de generare a vorbirii.
• Modelul de scorare.
• Vocabularul.
• Versiunea de calibrare și regulă.

Dacă o bază de referință potrivită nu este disponibilă sau nu poate fi utilizată, rezultatul păstrează scorul său brut. O primă încercare poate rămâne astfel neregulată în timp ce o bază de referință este pregătită pentru încercări ulterioare.

Ce înseamnă scorul tău

Numărul rezultat este un scor de practică pe scala HolosAccent.

Un scor de 90 nu înseamnă că 90% din cuvintele tale au fost corecte și nu stabilește un nivel CEFR sau echivalență cu vorbitorul nativ.

Maparea a fost ajustată folosind înregistrări evaluate de experți, dar noul sistem de scorare rămâne experimental și criteriile sale complete de acceptare nu au fost încă verificate. Poate omite erori sau marca vorbire acceptabilă.

Feedback-ul individual pentru cuvinte și tiparele din încercările repetate oferă context pentru interpretarea numărului.