Kaip HolosAccent paverčia jūsų balsą tarimo įvertinimu

Paruošiant įrašą

Pirma, garsas dekoduojamas į standartinį formatą: mono garsas, mėgintas 16 kHz.

Sistema įvertina įrašo signalų‑prieš‑triukšmo santykį. Jei šis įvertinimas krenta žemiau 25 dB ir triukšmo filtravimas prieinamas, prieš analizę taikomas triukšmo mažinimo filtras. Jei filtravimas nepavyksta, tęsiama su originaliu įrašu.

Tada bangos forma normalizuojama, kad atitiktų kalbos analizės modelio įvesties reikalavimus. Tyla ir įrašai, trumpesni nei pusė sekundės, gauna nulį.

Leisti skirtingus tarimus

Toliau, nuorodos tekstas konvertuojamas į fonetinius tarimus naudojant tarimo variklį. Žodis gali turėti kelias priimtas formas.

Tarimo rinkinys apima:

• Britų ir amerikiečių variantus.
• Įprastus susilpnintus formatus, pvz., nesustiprintą balsį žodyje to.
• Pasirinktus kontekstinius alternatyvas.

Pavyzdžiui, galutinis priebalsis frazėje close the door skiriasi nuo to, kuris yra frazėje a close friend. Sistema gali pasirinkti iš palaikomų alternatyvų, kai apdoroja sakinį.

Klausyti garsų, o ne rekonstruoti žodžius

Įrašas praeina per akustinį modelį. Jis generuoja įrodymus apie skirtingus kalbos garsus laike, maždaug 20 milisekundžių intervalais.

Tai fonetinė įrašo reprezentacija. Įvertintojas nenaudoja žodžių lygio kalbos modelio sakinio rekonstrukcijai.

Sistema tada nagrinėja šiuos akustinius išėjimus dviem būdais:

Metodas	Ką daro
Tikėtino garso suderinimas	Randa geriausią laiką tikėtiniems garsams, pasirenkant pilną tarimo variantą kiekvienam žodžiui
Nepriklausomas garso atpažinimas	Seką garsus, kuriuos modelis laiko geriausiais, be būtinybės turėti nuorodos sakinio

Abu požiūriai būtini, nes suderinimas gali įrašyti tikėtiną garsą bet kurioje įrašo vietoje, net jei kalbėtojas jį praleido. Nepriklausomas garso atpažinimas suteikia papildomų įrodymų apie tai, kas iš tikrųjų buvo ištarta.

Derinimas taip pat atsižvelgia į laiką, todėl sunkiau, kad vieno žodžio garsas būtų laikomas įrodymu tolimam žodžiui.

Įvertinimas kiekvienam garsui

Kiekvienam suderintam garsui įvertintojas apskaičiuoja tarimo tikslumo matą: kaip stipriai modelis palaiko tikėtiną garsą, palyginti su konkuruojančiais garsais per tą intervalą.

Taip pat atsižvelgiama į:

• Tikėtino garso didžiausią tikimybę.
• Ar nepriklausomas garso atpažinimas rado šalia atitinkantį garsą.

Sudėtas matematinis atvaizdavimas paverčia šiuos įrodymus į garso tikslumo reikšmę nuo 0 iki 100.

Garsas, kuris trūksta nepriklausomo atpažinimo rezultate, automatiškai negauna nulio. Akustiniai įrodymai vis tiek svarbūs.

Nusprendimas, kuriems žodžiams reikia dėmesio

Žodžių grįžtamasis ryšys sujungia šias garso reikšmes su aiškiais klaidų patikrinimais. Žodis turi:

• Turėti pakankamai įrodymų, kad buvo ištartas.
• Atitikti nustatytą vidutinio tikslumo slenkstį.
• Nebūti aptiktų pakeitimų, įterpimų ar rimtų trūkstamų garsų klaidų.

Aiškūs pakeitimai reikalauja silpno tikėtino garso palaikymo ir stipraus konkuruojančio garso palaikymo.

Įrodymas	Dabartinis slenkstis
Palaikymas tikėtinam garsui	Below 0.05
Palaikymas jo pakeitimui	At least 0.5

Tai yra modelio įrodymų slenksčiai, o ne tikimybės, kurias žmogaus klausytojas laikytų žodį neteisingu.

Pažymėtiems žodžiams sistema grąžina tikėtiną tarimą ir jos įvertinimą išgirstų garsų, parašytų Tarimo tarptautine fonetine abėcėle (IPA). Šis įvertinimas gali būti netikslus, ypač ties žodžių ribomis.

Sakinio įvertinimo kūrimas

Sakinio įvertinimas prasideda nuo suderinto derinio, apimančio:

• Vidutinį garso tikslumą.
• Tikėtinos garsų dalį, atitinkančią nepriklausomą garso atpažinimą.
• Kalbos garsų skaičių per sekundę.
• Ilgas pauzes tarp žodžių.

Laiko skaičiavimas neįtraukia tylos prieš pirmą suderintą garsą ir po paskutinio.

Šios savybės prisideda prie vieno bendro įvertinimo. Dabartinė įgyvendinimo versija nepateikia atskirų vartotojui matomų sklandumo, išsamumo ar intonacijos įvertinimų.

Kaip žodžių kreditai veikia rezultatą

Įvertintojas tada taiko aiškų žodžių kredito daugytuką. Kiekvienas žodis svyruoja pagal garsų skaičių jo pasirinkto tarimo.

Žodžio rezultatas	Gautas kreditas
Teisingas	Visas svoris
Ištartas, bet pažymėtas	Ketvirtadalis jo svorio
Praleistas	Nėra kredito

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Todėl, ilgas neteisingas žodis paprastai kainuoja daugiau nei trumpas. Skaitant tik nedidelę sakinio dalį taip pat ribojamas įvertinimas, net jei tas fragmentas skamba aiškiai.

Palyginimas jūsų įvertinimo su nuoroda

Galiausiai, sistema gali normalizuoti neapdorotą įvertinimą naudojant nuorodos įrašą tos pačios frazės.

Ji įvertina sintezuotą nuorodą ta pačia įvertintuvo versija ir, kai jau yra naudojama atitinkama bazė, taiko:

displayed score = min(100, raw score / reference score × 100)

Pavyzdžiui, neapdorotas įvertinimas 80 prieš nuorodos įvertinimą 88 tampa maždaug 90,9.

Šis koregavimas atsižvelgia į tai, kad modelis gali net nuorodos įrašui suteikti mažiau nei 100.

Bazės susijusios su:

• Nuorodos balsu ir kalbos generavimo modeliu.
• Įvertinimo modeliu.
• Žodynu.
• Kalibravimo ir taisyklių versija.

Jei atitinkama bazė neprieinama arba nenaudojama, rezultatas išlieka neapdorotu įvertinimu. Pirmas bandymas gali likti nepakoreguotas, kol bazė bus paruošta vėlesniems bandymams.

Ką reiškia jūsų įvertinimas

Gautas skaičius yra praktikos įvertinimas HolosAccent skalėje.

Įvertinimas 90 nereiškia, kad 90 procentų jūsų žodžių buvo teisingi, ir neapibrėžia CEFR lygio ar gimtakalbio lygių.

Žemėlapis buvo suderintas naudojant ekspertų įvertintus įrašus, tačiau nauja įvertinimo sistema vis dar eksperimentinė ir jos pilni priėmimo kriterijai dar nepatikrinti. Ji gali praleisti klaidas arba pažymėti priimtiną kalbą.

Individualus žodžių grįžtamasis ryšys ir modeliai per pakartotinus bandymus suteikia kontekstą skaičiaus interpretavimui.