Hogyan alakítja a HolosAccent a hangodat kiejtési pontszámmá

A felvétel előkészítése

Először a hangot egy szabványos formátumba dekódolják: mono hang, 16 kHz mintavételezéssel.

A rendszer becsli a felvétel jel-zaj arányát. Ha ez az érték 25 dB alá esik, és zajszűrés elérhető, akkor zajcsökkentő szűrőt alkalmaz az elemzés előtt. Ha a szűrés sikertelen, a rendszer az eredeti felvétellel folytat.

Ezután a hullámformát normalizálják, hogy megfeleljen a beszéd-elemző modell bemeneti követelményeinek. A csend és a fél másodpercnél rövidebb felvételek nulla pontszámot kapnak.

Különböző kiejtések engedélyezése

Ezután a referencia szöveget fonetikus kiejtéssé alakítják kiejtőmotor segítségével. Egy szónak több elfogadott változata is lehet.

A kiejtési készlet tartalmazza:

• Brit és amerikai változatok.
• Gyakori redukált formák, például a to szó hangsúlytalan magánhangzója.
• Kiválasztott kontextuális alternatívák.

Például a close the door végződő mássalhangzója eltér a a close friend végződőjétől. A rendszer a feldolgozás során a támogatott alternatívák közül választhat.

A hangok hallgatása, nem a szavak rekonstruálása

A felvétel átmegy akusztikus modellen. Különböző beszédhangokra vonatkozó bizonyítékot generál az időben, nagyjából 20 milliszekundumos intervallumokban.

Ez a felvétel fonetikus ábrázolása. A pontozó nem használ szó-szintű nyelvi modellt a mondat rekonstruálásához.

A rendszer ezután két módon vizsgálja az akusztikus kimeneteket:

Módszer	Mit csinál
Expected-sound alignment	Megkeresi a legjobb időzítést a várt hangokhoz, és minden szóhoz egy teljes kiejtési változatot választ.
Independent sound recognition	A modell által kedvelt hangokat követi, anélkül, hogy a referencia mondatra lenne szükség.

Mindkét nézet szükséges, mert az illesztés egy várt hangot elhelyezhet a felvételen, még ha a beszélő kihagyta is azt. A független hangfelismerés további bizonyítékot ad arról, hogy mi hangzott el ténylegesen.

Az egyeztetés az időzítést is figyelembe veszi, így nehezebb, hogy egy szó hangja bizonyítékként szolgáljon egy távoli szóhoz.

Minden hang pontozása

Minden illesztett hang esetén a pontozó kiejtési pontossági mérőszámot számol: mennyire erősen támogatja a modell a várt hangot a versengő hangokhoz képest az adott intervallumban.

Ezen felül figyelembe veszi:

• A várt hang csúcsvalószínűségét.
• Hogy a független hangfelismerés talált-e közeli egyező hangot.

Egy illesztett matematikai leképezés ezt a bizonyítékot 0 és 100 közötti hang pontossági értékké alakítja.

Egy hang, amely hiányzik a független felismerés eredményéből, nem kap automatikusan nullát. Az akusztikus bizonyíték továbbra is számít.

Annak eldöntése, mely szavak igényelnek figyelmet

A szó visszajelzés ezeket a hangértékeket egyesíti kifejezett hibakereséssel. Egy szónak:

• Elég bizonyítékot kell mutatnia arra, hogy kimondták.
• Meg kell felelnie a beállított átlagos pontossági küszöbnek.
• Kerülni kell a felismert helyettesítéseket, beszúrásokat vagy súlyos hiányzó hang hibákat.

A tiszta helyettesítésekhez gyenge támogatás szükséges a várt hangra, és erős támogatás egy versengő hangra.

Bizonyíték	Jelenlegi küszöb
A várt hang támogatása	Below 0.05
A helyettesítő hang támogatása	At least 0.5

Ezek modell bizonyíték küszöbök, nem valószínűségek, amelyeket egy emberi hallgató a szó helytelennek ítélne.

A jelzett szavak esetén a rendszer visszaadja a várt kiejtést és a hallott hangok becslését, Nemzetközi Fonetikus Ábécében (IPA). Ez a becslés lehet hibás, különösen a szavak határánál.

A mondat pontszámának felépítése

A mondat pontszáma egy illesztett kombinációval indul, amely tartalmazza:

• Átlagos hang pontosság.
• A várt hangok arányát, amelyet a független hangfelismerés egyeztet.
• Másodpercenként kimondott beszédhangok számát.
• Hosszú szünetek a szavak között.

Az időzítési számítás kizárja a csendet az első illesztett hang előtt és az utolsó után.

Ezek a jellemzők egy összesített pontszámhoz járulnak hozzá. A jelenlegi megvalósítás nem biztosít külön felhasználó számára látható folyékonyság, teljesség vagy intonáció pontszámokat.

Hogyan befolyásolja a szó kredite a végeredményt

A pontozó ezután egy kifejezett szó-kredit szorzót alkalmaz. Minden szót a kiválasztott kiejtésében szereplő hangok száma súlyozza.

Szó eredménye	Kapott kredit
Helyes	Teljes súly
Kimondott, de jelzett	A súlyának egynegyede
Kihagyott	Nincs kredit

A számítás a következő:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Ennek következtében egy hosszú hibás szó általában többe kerül, mint egy rövid. Ha csak a mondat egy kis részét olvasod fel, az is korlátozza a pontszámot, még ha az a részlet tisztán hangzik is.

A pontszámod összehasonlítása a referenciával

Végül a rendszer normalizálhatja a nyers pontszámot egy azonos kifejezés referenciafelvételével.

A szintetizált referenciát ugyanazzal a pontozó verzióval értékeli, és ha már elérhető egy használható összehasonlító alapvonal, a következőt alkalmazza:

displayed score = min(100, raw score / reference score × 100)

Például egy 80 nyers pontszám egy 88 referencia pontszámhoz képest körülbelül 90.9-ra változik.

Ez a korrekció figyelembe veszi, hogy a modell a referenciafelvételnek is adhat kevesebb, mint 100-at.

Az alapvonalak a következőkhöz kapcsolódnak:

• A referencia hang és a beszédgeneráló modell.
• A pontozó modell.
• A szókincs.
• A kalibráció és szabály verzió.

Ha egy összehasonlító alapvonal nem elérhető vagy nem használható, az eredmény megtartja a nyers pontszámát. Így az első próbálkozás változatlan maradhat, amíg egy alapvonalat előkészítenek a későbbi próbálkozásokhoz.

Mit jelent a pontszámod

Az eredmény egy gyakorlati pontszám a HolosAccent skáláján.

Egy 90-as pontszám nem jelenti, hogy a szavaid 90%-a helyes, és nem határozza meg a CEFR szintet vagy a natív beszélő egyenértékét.

A leképezést szakértők által értékelt felvételekkel illesztették, de a új pontozási rendszer még kísérleti és teljes elfogadási kritériumait még nem ellenőrizték. Elmaradhat hibáktól vagy elfogadható beszédet is jelölhet.

Az egyes szavak visszajelzése és a többszöri próbálkozások mintái kontextust adnak a szám értelmezéséhez.