Kā HolosAccent pārvērš jūsu balsi par izrunas punktu

Sagatavošana ierakstam

Vispirms audio tiek atkodēts uz standarta formātu: mono skaņa, paraugs 16 kHz.

Sistēma novērtē ieraksta signāla‑pret‑troksņa attiecību. Ja šis novērtējums nokrīt zem 25 dB un troksņa filtrēšana ir pieejama, tiek piemērots troksni mazinājošs filtrs pirms analīzes. Ja filtrēšana neizdodas, turpinās ar oriģinālo ierakstu.

Tad viļņa forma tiek normalizēta, lai atbilstu runas analīzes modeļa ievades prasībām. Klusums un ieraksti, kas īsāki par pus sekundi, saņem nulles punktu.

Atļaut dažādas izrunas

Tālāk atsauces teksts tiek pārveidots fonētiskās izrunas, izmantojot izrunas dzinēju. Vārdam var būt vairākas pieņemtas formas.

Izrunas kopā ietilpst:

• Britu un amerikāņu varianti.
• Bieži saīsinātas formas, piemēram, neuzsvērta patskaņa to.
• Izvēlētas kontekstuālās alternatīvas.

Piemēram, beigu līdzskaņa close the door atšķiras no tās, kas a close friend. Sistēma var izvēlēties starp atbalstītajām alternatīvām, apstrādājot teikumu.

Klausīties skaņas, ne rekonstruēt vārdus

Ieraksts tiek apstrādāts caur akustisko modeli. Tas ģenerē pierādījumus par dažādām runas skaņām laika gaitā, aptuveni 20 milisekunžu intervālos.

Tas ir fonētisks ieraksta attēlojums. Vērtētājs neizmanto vārda līmeņa valodas modeli, lai rekonstruētu teikumu.

Sistēma tad izpēta šos akustiskos izvadus divos veidos:

Metode	Ko tas dara
Sagaidāmā skaņas izlīdzināšana	Atrod labāko laiku sagaidāmajām skaņām, izvēloties pilnīgu izrunas variantu katram vārdam.
Neatkarīga skaņu atpazīšana	Sekojot modeļa izvēlētajām skaņām, neprasot atsauces teikumu.

Abas skatījuma ir nepieciešamas, jo izlīdzināšana var novietot sagaidāmo skaņu kādā ieraksta vietā, pat ja runātājs to izlaida. Neatkarīga skaņu atpazīšana sniedz papildu pierādījumus par to, kas patiesi tika izrunāts.

Saskaņošana arī ņem vērā laiku, padarot grūtāku, lai viena vārda skaņa tiktu uzskatīta par pierādījumu attālinātam vārdam.

Katras skaņas punktu noteikšana

Katram izlīdzinātajam skaņam vērtētājs aprēķina izrunas precizitātes mēru: cik spēcīgi modelis atbalsta sagaidāmo skaņu salīdzinājumā ar konkurējošām skaņām šajā intervālā.

Tas arī ņem vērā:

• Sagaidāmās skaņas maksimālo varbūtību.
• Vai neatkarīgā skaņu atpazīšana atrada atbilstošu skaņu netālu.

Pielāgota matemātiska funkcija pārvērš šo pierādījumu par skaņas precizitātes vērtību no 0 līdz 100.

Skaņa, kas trūkst neatkarīgā atpazīšanas rezultātā, neautomātiski saņem nulli. Akustiskie pierādījumi joprojām ir svarīgi.

Noteikšana, kuriem vārdiem nepieciešama uzmanība

Vārdu atgriezeniskā saite apvieno šīs skaņu vērtības ar skaidriem kļūdu pārbaudes kritērijiem. Vārdam jāizpilda:

• Būt pietiekamiem pierādījumiem, ka tas tika izrunāts.
• Atbilst iestatītajam vidējās precizitātes slieksnim.
• Izvairīties no konstatētām aizvietošanām, pievienošām vai nopietnām trūkstošu skaņu kļūdām.

Skaidras aizvietošanas prasa vāju atbalstu sagaidāmajai skaņai un spēcīgu atbalstu konkurējošai skaņai.

Pierādījums	Pašreizējais slieksnis
Atbalsts sagaidāmajai skaņai	Below 0.05
Atbalsts tās aizvietojumam	At least 0.5

Tie ir modeļa pierādījumu sliekšņi, nevis varbūtības, ko cilvēka klausītājs uzskatītu vārdu par nepareizu.

Atzīmētajiem vārdiem sistēma atgriež sagaidāmo izrunu un tās novērtējumu par dzirdētajām skaņām, pierakstītu Starptautiskajā fonētiskajā alfabētā (IPA). Šis novērtējums var būt nepilnīgs, it īpaši pie vārdu robežām.

Teikuma punktu izveide

Teikuma punktu sākums ir pielāgota kombinācija no:

• Vidējā skaņu precizitāte.
• Sagaidāmo skaņu daļa, kas atbilst neatkarīgās skaņu atpazīšanas rezultātam.
• Runas skaņu skaits sekundē.
• Ilgi pārtraukumi starp vārdiem.

Laika aprēķins neiekļauj klusumu pirms pirmās izlīdzinātās skaņas un pēc pēdējās.

Šie rādītāji veido vienu kopējo punktu. Pašreizējā īstenojuma versija nenodrošina atsevišķus lietotājam paredzētus plūstības, pilnības vai intonācijas punktus.

Kā vārda kredīts ietekmē rezultātu

Vērtētājs tad piemēro skaidru vārda kredīta koeficientu. Katrs vārds tiek svērts pēc skaņu skaita tā izvēlētajā izrunā.

Vārda rezultāts	Iegūtā kredīta
Pareizi	Pilna svara
Izrunāts, bet atzīmēts	Ceturtdaļa no tā svara
Izlaists	Nav kredīta

Aprēķins ir:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Tādējādi, garam nepareizam vārdam parasti ir lielāks ietekmes koeficients nekā īsam. Izlasot tikai nelielu teikuma daļu, tas arī ierobežo punktus, pat ja fragments skan skaidri.

Salīdzinot jūsu punktus ar atsauci

Visbeidzot, sistēma var normalizēt neapstrādāto punktu, izmantojot atsauces ierakstu ar to pašu frāzi.

Tas novērtē sintezēto atsauci ar to pašu vērtētāja versiju, un, ja jau ir pieejama lietojama atbilstīgā bāze, piemēro:

displayed score = min(100, raw score / reference score × 100)

Piemēram, neapstrādāts punkts 80 pret atsauces punktu 88 kļūst aptuveni 90.9.

Šis pielāpojums ņem vērā, ka modelis var pat atsauces ierakstam piešķirt mazāk nekā 100.

Bāzes ir saistītas ar:

• Atsauces balsi un runas ģenerēšanas modeli.
• Vērtēšanas modeli.
• Vārdnīcu.
• Kalibrācijas un noteikumu versiju.

Ja atbilstoša bāze nav pieejama vai nav lietojama, rezultāts saglabā neapstrādāto punktu. Tādējādi pirmais mēģinājums var palikt nepielāgots, kamēr tiek sagatavota bāze turpmākajiem mēģinājumiem.

Ko jūsu punkts nozīmē

Rezultējošais skaitlis ir prakses punkts HolosAccent skalā.

Punkts 90 nenozīmē, ka 90 % no jūsu vārdiem bija pareizi, un tas nenodrošina CEFR līmeni vai dzimtās valodas runātāja ekvivalentu.

Kartējums ir izveidots, izmantojot ekspertu novērtētus ierakstus, bet jaunā punktu sistēma joprojām ir eksperimentāla un tās pilni pieņemšanas kritēriji vēl nav pārbaudīti. Tā var nepamanīt kļūdas vai atzīmēt pieņemamu runu.

Individuāla vārdu atgriezeniskā saite un modeļi vairākos mēģinājumos sniedz kontekstu skaitļa interpretēšanai.