Како HolosAccent ја претвора вашето глас во оценка за изговор

Подготовка на вашето снимање

Прво, аудиото се декодира во стандардни формат: моно звук со фреквенција од 16 kHz.

Системот проценува соотношето сигнал‑шум на снимањето. Ако таа проценка падне под 25 dB и е достапно филтрирање на шумот, се применува филтер за намалување на шумот пред анализата. Ако филтрирањето не успее, се продолжува со оригиналната снимка.

Потоа, форма на брановата (waveform) се нормализира за да одговара на барањата за влез на моделот за анализа на говор. Тишина и снимки пократки од половина секунда добиваат нулта оценка.

Дозволување на различни изговори

Потоа, референтниот текст се претвора во фонетски изговори со помош на мотор за изговор. Еден збор може да има повеќе прифатени форми.

Сетот на изговори вклучува:

• Британски и американски варијанти.
• Вообичаени скратени форми, како ненагласениот глас во to.
• Избрани контекстуални алтернативи.

На пример, завршниот соглас во close the door се разликува од оној во a close friend. Системот може да избира меѓу поддржаните алтернативи додека ги обработува речениците.

Слушање на звуци, а не реконструирање на зборови

Снимката поминува низ акустички модел. Тој генерира докази за различни говорни звуци во текот на времето, со приближно интервали од 20 милисекунди.

Ова е фонетска репрезентација на снимката. Оценувачот не користи јазичен модел на ниво на збор за да ја ја реконструира реченицата.

Системот потоа ги испитува акустичките излезни податоци на два начина:

Метод	Што прави
Expected-sound alignment	Наоѓа најдобар временски распоред за очекуваните звуци, избирајќи целосна варијанта на изговор за секој збор.
Independent sound recognition	Следи звуците што моделот ги претпочита без да се бара референтната реченица.

Двете перспективи се потребни, бидејќи подесувањето може да постави очекуван звук некаде во снимката дури и ако говорникот го прескокне. Независното препознавање на звукот обезбедува дополнителни докази за тоа што навистина е изговорено.

Согласувањето исто така зема предвид времето, правејќи потешко звукот во еден збор да се смета за доказ за далечен збор.

Оценување на секој звук

За секој подесен звук, оценувачот пресметува мерка за точност на изговорот: колку силно моделот поддржува очекуваниот звук во споредба со конкурирачките звуци за тој интервал.

Исто така се зема предвид:

• Врвната веројатност на очекуваниот звук.
• Дали независното препознавање на звукот пронајде соодветен звук во близина.

Прилагодено математичко мапирање претвора овие докази во вредност за точност на звукот помеѓу 0 и 100.

Звук што недостасува во резултатот од независното препознавање автоматски не добива нула. Акустичките докази сè уште се важни.

Одредување кои зборови бараат внимание

Повратната информација за зборовите ги комбинира овие вредности за звуци со експлицитни проверки за грешки. Еден збор мора:

• Да има доволно докази дека е изговорен.
• Да ги задоволи поставените прагови за просечна точност.
• Да избегне откриени замени, вметнувања или сериозни грешки со недостасувачки звук.

Јасните замени бараат слаба поддршка за очекуваниот звук и силна поддршка за конкурирачки звук.

Доказ	Тековен праг
Поддршка за очекуваниот звук	Под 0.05
Поддршка за неговата замена	Најмалку 0.5

Овие се прагови за моделски докази, а не веројатности за кои човечки слушател би го сметал зборот за неточен.

За ознакани зборови, системот враќа очекуваниот изговор и неговата проценка за чуените звуци, напишани во Меѓународната фонетска азбука (IPA). Таа проценка може да биде непотполна, особено околу границите на зборовите.

Составување на оценката за реченицата

Оценката за реченицата започнува со прилагодена комбинација од:

• Просечна точност на звуците.
• Дел од очекуваните звуци соодветствени со независното препознавање.
• Бројот на говорни звуци изговорени по секунда.
• Долги паузи помеѓу зборовите.

Калкулацијата на времето исклучува тишина пред првиот подесен звук и по последниот.

Овие карактеристики придонесуваат за една вкупна оценка. Тековната имплементација не обезбедува одделни кориснички оценки за тековност, комплетност или интонација.

Како кредитот за збор влијае на резултатот

Оценувачот потоа применува експлицитен мултипликатор за кредит на зборот. Секој збор се тежи според бројот на звуци во избраниот изговор.

Резултат на зборот	Заработан кредит
Точен	Полна тежина
Изговорен но ознакани	Четврт од неговата тежина
Прескокнат	Без кредит

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Следствено, долг збор со грешка обично чини повеќе од краток. Читањето само на мал дел од реченицата исто така ги ограничува оценките, дури и ако тој дел звучи јасно.

Споредување на вашата оценка со референтната

На крај, системот може да ја нормализира суровата оценка користејќи референтна снимка на истата фраза.

Тоа ја оценува синтетската референца со истата верзија на оценувачот и, кога веќе постои корисна базна линија, применува:

displayed score = min(100, raw score / reference score × 100)

На пример, сурова оценка од 80 спротивно на референтна оценка од 88 станува приближно 90.9.

Ова прилагодување ги зема предвид фактот дека моделот може дури и референтната снимка да добие помалку од 100.

Базните линии се поврзани со:

• Референтниот глас и модел за генерирање на говор.
• Моделот за оценување.
• Речникот.
• Верзијата за калибрација и правила.

Ако соодветна базна линија не е достапна или е неупотреблива, резултатот задржува суровата оценка. Првият обид може затоа да остане неприлагоден додека се подготвува базна линија за подоцнежните обиди.

Што значи вашата оценка

Резултирачкиот број е практична оценка според скалата на HolosAccent.

Оценка од 90 не значи дека 90 % од вашите зборови се точни, и не утврдува ниво според CEFR или еквивалентност со роден говорник.

Мапирањето е прилагодено со користење на експертски оценети снимки, но новиот систем за оценување останува експериментален и целосните критериуми за прифаќање сè уште не се верификувани. Тој може да пропушти грешки или да ознаки прифатлив говор.

Индивидуалната повратна информација за зборовите и шаблоните низ повторени обиди даваат контекст за толкување на бројот.