Kuinka HolosAccent muuntaa äänesi ääntämispisteeksi

Äänityksen valmistelu

Aluksi ääni puretaan standardimuotoon: monoääni, näytetty 16 kHz.

Järjestelmä arvioi tallenteen signaali‑kohinasuhteen. Jos arvio alittaa 25 dB ja kohinasuodatus on saatavilla, se käyttää kohinanvaimennussuodatinta ennen analyysiä. Jos suodatus epäonnistuu, jatketaan alkuperäisellä tallenteella.

Aaltomuoto normalisoidaan sen jälkeen vastaamaan puheanalyysimallin syötevaatimuksia. Hiljaisuus ja alle puoli sekuntia kestävät tallenteet saavat nollapisteen.

Erilaisten ääntämisten salliminen

Seuraavaksi referenssiteksti muunnetaan foneettisiksi ääntämisiksi ääntämismotorin avulla. Sanalla voi olla useita hyväksyttyjä muotoja.

Ääntämisjoukko sisältää:

• Brittiläisiä ja amerikkalaisia variantteja.
• Yleisiä supistettuja muotoja, kuten korostamaton vokaali sanassa to.
• Valittuja kontekstuaalisia vaihtoehtoja.

Esimerkiksi sanan close the door (sulje ovi) lopullinen konsonantti eroaa sanassa a close friend (läheinen ystävä) olevasta. Järjestelmä voi valita tuetuista vaihtoehdoista käsitellessään lausetta.

Äänien kuunteleminen, ei sanojen rekonstruointia

Tallenne kulkee akustisen mallin läpi. Se tuottaa todisteita eri puheäänteistä ajan kuluessa, noin 20 millisekunnin välein.

Tämä on tallenteen foneettinen esitys. Pisteiden laskija ei käytä sanatasoista kielimallia lauseen rekonstruointiin.

Järjestelmä tarkastelee näitä akustisia tuloksia kahdella tavalla:

Menetelmä	Mitä se tekee
Expected-sound alignment	Etsii parhaan ajoituksen odotetuille äänteille, valiten täydellisen ääntämisvariantin jokaiselle sanalle.
Independent sound recognition	Seuraa mallin suosimia äänteitä ilman, että referenssilause vaaditaan.

Molemmat näkökulmat ovat tarpeen, koska kohdistus voi sijoittaa odotetun ääneen johonkin kohtaan tallenteessa, vaikka puhuja olisi sen jättänyt pois. Itsensä äänteentunnistus tarjoaa lisätodisteita siitä, mitä todella sanottiin.

Vastaus ottaa myös ajoituksen huomioon, mikä tekee vaikeammaksi, että yhden sanan ääni lasketaan todisteeksi kauempana olevasta sanasta.

Jokaisen äänen pisteytys

Jokaiselle kohdistetulle äänteelle pisteiden laskija laskee ääntämistarkkuusmittarin: kuinka vahvasti malli tukee odotettua ääntä verrattuna kilpaileviin ääniin kyseisenä aikavälinä.

Se ottaa myös huomioon:

• Odottetun äänen huipputodennäköisyys.
• Löysikö itsenäinen äänteentunnistus lähellä vastaavan äänen.

Sovellettu matemaattinen muunnos muuntaa nämä todisteet äänen tarkkuusarvoksi 0–100.

Ääni, joka puuttuu itsenäisestä tunnistustuloksesta, ei automaattisesti saa nollaa. Akustinen todiste on silti merkityksellinen.

Päätetään, mitkä sanat tarvitsevat huomiota

Sanapalaute yhdistää nämä äänteiden arvot eksplisiittisiin virhetarkistuksiin. Sanan on täytettävä:

• Sisältää riittävästi todisteita, että se on puhuttu.
• Täyttää määritetyn keskimääräisen tarkkuusrajan.
• Välttää havaittuja korvaus-, lisäys- tai vakavia puuttuvien äänteiden virheitä.

Selkeät korvaukset vaativat heikon tuen odotetulle äänteelle ja vahvan tuen kilpailevalle äänteelle.

Todiste	Nykyinen raja
Tuki odotetulle äänteelle	Below 0.05
Tuki sen korvaajalle	At least 0.5

Nämä ovat mallin todisteiden raja-arvoja, eivät todennäköisyyksiä, joilla ihmiskuuntelija arvioisi sanan virheelliseksi.

Lippua saaneille sanoille järjestelmä palauttaa odotetun ääntämisen ja arvion kuulluista äänteistä, kirjoitettuna kansainvälisen fonettisen aakkoston (IPA) avulla. Tämä arvio voi olla epätäydellinen, erityisesti sanarajojen lähellä.

Lauseen pisteen rakentaminen

Lausepiste alkaa sovellettavalla yhdistelmällä:

• Keskimääräinen äänteiden tarkkuus.
• Osuus odotetuista äänteistä, jotka itsenäinen äänteentunnistus on löytänyt.
• Puheäänteiden määrä sekunnissa.
• Pitkät tauot sanojen välillä.

Aikojen laskenta jättää pois hiljaisuuden ennen ensimmäistä kohdistettua ääntä ja viimeisen jälkeen.

Nämä ominaisuudet vaikuttavat yhteiseen pisteeseen. Nykyinen toteutus ei tarjoa erillisiä käyttäjälle näkyviä sujuvuus-, täydellisyys- tai intonaatiopisteitä.

Miten sanapisteet vaikuttavat tulokseen

Pisteiden laskija soveltaa sitten eksplisiittistä sanapistekertoimen. Jokainen sana painotetaan sen valitun ääntämisen äänteiden määrän mukaan.

Sanatulos	Saadut pisteet
Oikein	Täysi paino
Puhuttu mutta liputettu	Neljäsosa sen painosta
Jätetty	Ei pisteitä

Laskenta on:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Täten pitkä virheellinen sana maksaa yleensä enemmän kuin lyhyt. Vain pienen osan lauseesta lukeminen rajoittaa myös pistemäärää, vaikka se osa olisi selkeä.

Pisteiden vertailu referenssiin

Lopuksi järjestelmä voi normalisoida raakapisteen käyttäen samassa lauseessa olevaa referenssitäytettä.

Se pisteyttää syntetisoidun referenssin samalla pisteytysversionilla ja, kun käyttökelpoinen vertailuperuste on jo saatavilla, soveltaa:

displayed score = min(100, raw score / reference score × 100)

Esimerkiksi raakapisteet 80 suhteessa referenssipisteisiin 88 muuttuvat noin 90,9:ksi.

Tämä säätö ottaa huomioon sen, että malli voi antaa myös referenssitäytteelle alle 100.

Perusteet sidotaan:

• Referenssivokaaliin ja puheentuotantomalliin.
• Pisteytysmalliin.
• Sanastoon.
• Kalibrointi- ja sääntöversioon.

Jos vastaavaa perustaa ei ole saatavilla tai se on käyttökelvoton, tulos säilyttää raakapisteensä. Ensimmäinen yritys voi siis pysyä säätämättömänä, kunnes perusta valmistellaan myöhempiä yrityksiä varten.

Mitä pisteesi tarkoittavat

Tuloksena oleva luku on Harjoituspiste HolosAccentin asteikolla.

Pisteet 90 eivät tarkoita, että 90 % sanoistasi olisi oikein, eikä ne määrittele CEFR-tasoa tai äidinkielisen tasoa.

Kartoitus on sovitettu asiantuntijoiden arvioimilla tallenteilla, mutta uusi pisteytysjärjestelmä on edelleen kokeellinen eikä sen täydellisiä hyväksymiskriteerejä ole vielä vahvistettu. Se voi ohittaa virheitä tai liputtaa hyväksyttävän puheen.

Yksittäiset sanapalautteet ja toistuvien yritysten mallit antavat kontekstia luvun tulkintaan.