Kako HolosAccent pretvara vaš glas u ocjenu izgovora

Priprema vašeg snimka

Prvo se audio dekodira u standardni format: mono zvuk uzorkovan na 16 kHz.

Sustav procjenjuje omjer signala i šuma snimke. Ako ta procjena padne ispod 25 dB i filtriranje šuma je dostupno, primjenjuje filter za smanjenje šuma prije analize. Ako filtriranje ne uspije, nastavlja s izvornim snimkom.

Zatim se valni oblik normalizira kako bi odgovarao zahtjevima ulaza modela za analizu govora. Tišina i snimke kraće od pola sekunde dobivaju ocjenu nula.

Dozvoljavanje različitih izgovora

Zatim se referentni tekst pretvara u fonetske izgovore pomoću motora za izgovor. Riječ može imati više prihvaćenih oblika.

Skup izgovora uključuje:

• Britanski i američki varijanti.
• Uobičajeni skraćeni oblici, poput nesnažnog samoglasnika u to.
• Odabrane kontekstualne alternative.

Na primjer, završni suglasnik u close the door razlikuje se od onog u a close friend. Sustav može birati među podržanim alternativama dok obrađuje rečenicu.

Slušanje zvukova, a ne rekonstruiranje riječi

Snimka prolazi kroz akustični model. On generira dokaze za različite govorne zvukove kroz vrijeme, otprilike u intervalima od 20 milisekundi.

Ovo je fonetska reprezentacija snimke. Ocjenjivač ne koristi jezični model na razini riječi za rekonstruiranje rečenice.

Sustav zatim ispituje te akustične izlaze na dva načina:

Metoda	Što radi
Expected-sound alignment	Pronalaže najbolje vrijeme za očekivane zvukove, birajući potpuni izgovorni oblik za svaku riječ.
Independent sound recognition	Prati zvukove koje model favorizira, bez potrebe za referentnom rečenicom.

Oba pogleda su potrebna jer poravnanje može smjestiti očekivani zvuk negdje u snimku čak i kad ga govornik izostavi. Nezavisno prepoznavanje zvuka pruža dodatne dokaze o tome što je stvarno izgovoreno.

Usporedba također uzima u obzir vrijeme, što otežava da zvuk u jednoj riječi bude računat kao dokaz za udaljenu riječ.

Ocjenjivanje svakog zvuka

Za svaki poravnan zvuk, ocjenjivač izračunava mjere točnosti izgovora: koliko snažno model podržava očekivani zvuk u odnosu na konkurentske zvukove tijekom tog intervala.

Također uzima u obzir:

• Vrhunsku vjerojatnost očekivanog zvuka.
• Je li nezavisno prepoznavanje zvuka pronašlo odgovarajući zvuk u blizini.

Prilagođeno matematičko preslikavanje pretvara ove dokaze u vrijednost točnosti zvuka između 0 i 100.

\u003e Zvučni segment koji nedostaje u rezultatu nezavisnog prepoznavanja ne dobiva automatski nulu. Akustični dokaz i dalje je važan.

Odlučivanje koje riječi trebaju pažnju

Povratna informacija o riječima kombinira ove vrijednosti zvukova s eksplicitnim provjerama grešaka. Riječ mora:

• Imati dovoljno dokaza da je izgovorena.
• Ispunjavati postavljeni prag prosječne točnosti.
• Izbjegavati otkrivene zamjene, umetke ili ozbiljne greške nedostatka zvuka.

Jasne zamjene zahtijevaju slabu podršku za očekivani zvuk i jaku podršku za konkurentski zvuk.

Dokaz	Trenutni prag
Podrška za očekivani zvuk	Below 0.05
Podrška za njegovu zamjenu	At least 0.5

Ovo su pragovi modela za dokaz, a ne vjerojatnosti koje bi ljudski slušatelj smatrao da je riječ netočna.

Za označene riječi, sustav vraća očekivani izgovor i svoj procijenjeni zvuk, zapisan u Međunarodnoj fonetskoj abecedi (IPA). Ta procjena može biti neprecizna, osobito oko granica riječi.

Izgradnja ocjene rečenice

Ocjena rečenice započinje s prilagođenom kombinacijom:

• Prosječne točnosti zvuka.
• Udio očekivanih zvukova podudarnih s nezavisnim prepoznavanjem zvuka.
• Broj izgovorenih govornih zvukova po sekundi.
• Duge pauze između riječi.

Izračun vremena isključuje tišinu prije prvog poravnanog zvuka i nakon posljednjeg.

Ove značajke doprinose jednoj ukupnoj ocjeni. Trenutna implementacija ne pruža odvojene ocjene za tečnost, cjelovitost ili intonaciju prema korisniku.

Kako kredit za riječ utječe na rezultat

Ocjenjivač zatim primjenjuje eksplicitni multiplikator kredita za riječ. Svaka riječ je ponderirana prema broju zvukova u njenom odabranom izgovoru.

Rezultat riječi	Stečeni kredit
Correct	Full weight
Spoken but flagged	One quarter of its weight
Omitted	No credit

Izračun je:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Stoga, duga netočna riječ obično košta više od kratke. Čitanje samo malog dijela rečenice također ograničava ocjenu, čak i ako taj fragment zvuči jasno.

Usporedba vaše ocjene s referencom

Na kraju, sustav može normalizirati sirovu ocjenu koristeći referentni snimak iste fraze.

Ocjenjuje sintetiziranu referencu istom verzijom ocjenjivača i, kada je već dostupna upotrebljiva podudarna osnova, primjenjuje:

displayed score = min(100, raw score / reference score × 100)

Na primjer, sirova ocjena od 80 uz referentnu ocjenu od 88 postaje otprilike 90.9.

Ova prilagodba uzima u obzir činjenicu da model može dati i referentnom snimku manje od 100.

Osnove su povezane s:

• Referentnim glasom i modelom za generiranje govora.
• Modelom ocjenjivanja.
• Rječnikom.
• Kalibracijom i verzijom pravila.

Ako podudarna osnova nije dostupna ili je neupotrebljiva, rezultat zadržava svoju sirovu ocjenu. Prvi pokušaj može ostati neizmijenjen dok se osnova priprema za kasnije pokušaje.

Što vaša ocjena znači

Rezultirajući broj je vježbena ocjena na skali HolosAccent.

\u003e Ocjena od 90 ne znači da je 90 posto vaših riječi bilo ispravno, niti uspostavlja razinu prema CEFR-u ili ekvivalentnost s izvornim govornikom.

Preslikavanje je prilagođeno pomoću stručnih ocjena snimaka, ali novi sustav ocjenjivanja ostaje eksperimentalan i njegova potpuna kriterija prihvaćanja još nisu provjerena. Može propustiti greške ili označiti prihvatljiv govor.

Povratna informacija o pojedinačnim riječima i obrascima kroz ponovljene pokušaje pruža kontekst za tumačenje broja.