Jak HolosAccent promění váš hlas na skóre výslovnosti

Příprava vašeho záznamu

Nejprve je audio dekódováno do standardního formátu: mono zvuk se vzorkováním 16 kHz.

Systém odhaduje poměr signál‑šum nahrávky. Pokud odhad klesne pod 25 dB a je k dispozici filtrování šumu, použije filtr pro redukci šumu před analýzou. Pokud filtrování selže, pokračuje s původním záznamem.

Pak je vlnová forma normalizována tak, aby vyhovovala vstupním požadavkům modelu pro analýzu řeči. Ticho a nahrávky kratší než půl sekundy dostanou nulové skóre.

Povolení různých výslovností

Dále je referenční text převeden na fonetické výslovnosti pomocí výslovnostního enginu. Slovo může mít více akceptovaných variant.

Sada výslovností zahrnuje:

• Britské a americké varianty.
• Běžné zkrácené formy, například neslabená samohláska ve to.
• Vybrané kontextové alternativy.

Například koncová souhláska ve close the door se liší od té ve a close friend. Systém může během zpracování věty vybírat mezi podporovanými alternativami.

Poslouchání zvuků, ne rekonstrukce slov

Záznam prochází akustickým modelem. Ten poskytuje důkazy o různých řečových zvucích v čase, přibližně po 20‑milisekundových intervalech.

Jedná se o fonetickou reprezentaci nahrávky. Skórovací modul nepoužívá jazykový model na úrovni slov k rekonstrukci věty.

Systém pak zkoumá tyto akustické výstupy dvěma způsoby:

Metoda	Co dělá
Zarovnání očekávaných zvuků	Najde nejlepší načasování očekávaných zvuků a vybere kompletní variantu výslovnosti pro každé slovo.
Nezávislé rozpoznávání zvuků	Sleduje zvuky preferované modelem, aniž by vyžadoval referenční větu.

Oba pohledy jsou potřebné, protože zarovnání může umístit očekávaný zvuk někde v nahrávce i když mluvčí ho vynechal. Nezávislé rozpoznávání zvuků poskytuje další důkazy o tom, co bylo skutečně řečeno.

Porovnávání také zohledňuje časování, což ztěžuje, aby zvuk v jednom slově byl považován za důkaz pro vzdálené slovo.

Hodnocení každého zvuku

Pro každý zarovnaný zvuk skórovací modul vypočítá míru přesnosti výslovnosti: jak silně model podporuje očekávaný zvuk ve srovnání s konkurenčními zvuky během daného intervalu.

Zohledňuje také:

• Špičkovou pravděpodobnost očekávaného zvuku.
• Zda nezávislé rozpoznávání zvuků našlo v blízkosti odpovídající zvuk.

Vyladěné matematické mapování převádí tyto důkazy na hodnotu přesnosti zvuku v rozmezí 0 až 100.

Zvuk chybějící ve výsledku nezávislého rozpoznávání automaticky nedostane nulu. Akustické důkazy jsou stále důležité.

Rozhodování, která slova vyžadují pozornost

Zpětná vazba pro slova kombinuje tyto hodnoty zvuků s explicitními kontrolami chyb. Slovo musí:

• Mít dostatek důkazů, že bylo vysloveno.
• Splnit nastavený prah průměrné přesnosti.
• Vyhnout se detekovaným substitucím, vložením nebo vážným chybám chybějících zvuků.

Zřetelné substituce vyžadují slabou podporu očekávaného zvuku a silnou podporu konkurenčního zvuku.

Důkaz	Aktuální práh
Podpora očekávaného zvuku	Pod 0.05
Podpora jeho náhrady	Nejméně 0.5

Jedná se o práhy důkazů modelu, ne o pravděpodobnosti, které by lidský posluchač použil k posouzení slova jako nesprávného.

Pro označená slova systém vrací očekávanou výslovnost a odhad slyšených zvuků, zapsaný v Mezinárodní fonetické abecedě (IPA). Tento odhad může být nepřesný, zejména na hranicích slov.

Vytvoření skóre věty

Skóre věty začíná vyladěnou kombinací:

• Průměrná přesnost zvuků.
• Podíl očekávaných zvuků, které odpovídají nezávislému rozpoznávání zvuků.
• Počet řečových zvuků vyslovených za sekundu.
• Dlouhé pauzy mezi slovy.

Výpočet časování vylučuje ticho před prvním zarovnaným zvukem a po posledním.

Tyto vlastnosti přispívají k jednomu celkovému skóre. Současná implementace neposkytuje samostatná uživatelská skóre plynulosti, úplnosti nebo intonace.

Jak kredit za slova ovlivňuje výsledek

Skórovací modul pak použije explicitní multiplikátor kreditu za slova. Každé slovo je váženo podle počtu zvuků ve své vybrané výslovnosti.

Výsledek slova	Získaný kredit
Správné	Plná váha
Vyslovené, ale označené	Čtvrtina jeho váhy
Vynechané	Žádný kredit

Výpočet je:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

V důsledku toho dlouhé nesprávné slovo obvykle stojí víc než krátké. Přečtení jen malé části věty také omezuje skóre, i když je ten úsek zřetelný.

Porovnání vašeho skóre s referencí

Nakonec může systém normalizovat surové skóre pomocí referenčního záznamu stejné fráze.

Ohodnotí syntetickou referenci stejnou verzí skórovacího modulu a pokud je k dispozici použitelné srovnávací základní měření, použije:

displayed score = min(100, raw score / reference score × 100)

Například surové skóre 80 proti referenčnímu skóre 88 se stane přibližně 90,9.

Toto nastavení zohledňuje fakt, že model může i referenčnímu záznamu dát méně než 100.

Základní měření jsou svázána s:

• Referenčním hlasem a modelem pro generování řeči.
• Skórovacím modelem.
• Slovníkem.
• Kalibrační a pravidlovou verzí.

Pokud není odpovídající základní měření k dispozici nebo je nepoužitelné, výsledek si ponechá surové skóre. První pokus tak může zůstat neupravený, dokud se pro pozdější pokusy nepřipraví základní měření.

Co vaše skóre znamená

Výsledné číslo je cvičné skóre na stupnici HolosAccent.

Skóre 90 neznamená, že 90 % vašich slov bylo správných, a neurčuje úroveň CEFR ani ekvivalentnost s rodilým mluvčím.

Mapování bylo vyladěno pomocí nahrávek hodnocených odborníky, ale nový skórovací systém zůstává experimentální a jeho úplná kritéria přijetí ještě nebyla ověřena. Může přehlédnout chyby nebo označit přijatelné projevy jako chybné.

Individuální zpětná vazba k slovům a vzory napříč opakovanými pokusy poskytují kontext pro interpretaci čísla.