Как HolosAccent превръща гласа ви в оценка за произношение

Подготовка на записа

Първо, аудиото се декодира в стандартен формат: моно звук с честота 16 kHz.

Системата оценява съотношението сигнал‑шум на записа. Ако тази оценка падне под 25 dB и е налично филтриране на шума, се прилага филтър за намаляване на шума преди анализа. Ако филтрирането се провали, се продължава с оригиналния запис.

След това вълната се нормализира, за да отговаря на изискванията за вход на модела за анализ на реч. Мълчанието и записи, по‑кратки от половин секунда, получават нулева оценка.

Позволяване на различни произношения

След това референтният текст се преобразува в фонетични произношения с помощта на двигател за произношение. Думата може да има няколко приети форми.

Наборът от произношения включва:

• Британски и американски варианти.
• Чести редуцирани форми, като безударната гласна в to.
• Избрани контекстуални алтернативи.

Например, крайната съгласна в close the door се различава от тази в a close friend. Системата може да избира между поддържаните алтернативи, докато обработва изречението.

Слушане на звуци, а не реконструкция на думи

Записът преминава през акустичен модел. Той генерира доказателства за различни речеви звуци във времето, приблизително на интервали от 20 милисекунди.

Това е фонетично представяне на записа. Оценителят не използва езиков модел на ниво дума, за да реконструира изречението.

Системата след това разглежда тези акустични изходи по два начина:

Method	What it does
Expected-sound alignment	Намира най‑добрата синхронизация за очакваните звуци, избирайки пълен вариант на произношението за всяка дума.
Independent sound recognition	Следва звуците, предпочитани от модела, без да се изисква референтното изречение.

И двете гледни точки са необходими, защото подравняването може да постави очакван звук някъде в записа, дори ако говорителят го е пропуснал. Независимото разпознаване на звуци предоставя допълнителни доказателства за това, което е било всъщност произнесено.

Съответствието също взема предвид времето, което прави по‑трудно звукът в една дума да се брои като доказателство за отдалечена дума.

Оценяване на всеки звук

За всеки подравнен звук оценителят изчислява мярка за точност на произношението: колко силно моделът подкрепя очаквания звук спрямо конкуриращи звуци през този интервал.

Той също взема предвид:

• Върховата вероятност на очаквания звук.
• Дали независимото разпознаване на звуци намери съвпадащ звук наблизо.

Подходящо математическо преобразуване превръща тези доказателства в стойност за точност на звука между 0 и 100.

Звук, който липсва в резултата от независимото разпознаване, не получава автоматично нула. Акустичните доказателства все още имат значение.

Определяне на думите, нуждаещи се от внимание

Обратната връзка за думите комбинира тези стойности на звуците с явни проверки за грешки. Думата трябва да:

• Има достатъчно доказателства, че е била произнесена.
• Отговаря на зададения праг за средна точност.
• Избягва открити замени, вмъквания или сериозни грешки от липсващи звуци.

Ясните замени изискват слаба подкрепа за очаквания звук и силна подкрепа за конкуриращ звук.

Evidence	Current threshold
Подкрепа за очаквания звук	Под 0.05
Подкрепа за неговата замяна	Поне 0.5

Това са прагове за доказателства от модела, а не вероятности, с които човек би оценил думата като грешна.

За маркираните думи системата връща очакваното произношение и оценка на чутите звуци, записани в Международната фонетична азбука (IPA). Тази оценка може да е неточна, особено около границите на думите.

Съставяне на оценката за изречението

Оценката за изречението започва с комбиниране, подложено на настройка, от:

• Средна точност на звуците.
• Дялът от очакваните звуци, съвпаднали с независимото разпознаване.
• Броят на произнесените речеви звуци в секунда.
• Дълги паузи между думите.

Изчисляването на времето изключва мълчание преди първия подравнен звук и след последния.

Тези характеристики допринасят към една обща оценка. Текущата имплементация не предоставя отделни оценки за плавност, пълнота или интонация, видими за потребителя.

Как кредитът за думите влияе върху резултата

Оценителят след това прилага явен множител за кредит на думата. Всяка дума се претегля според броя звуци в избраното ѝ произношение.

Word result	Credit earned
Correct	Пълно тегло
Spoken but flagged	Четвърт от теглото ѝ
Omitted	Без кредит

Изчислението е:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Следователно, дългата грешна дума обикновено струва повече от късата. Четенето само на малка част от изречението също ограничава оценката, дори ако този фрагмент звучи ясно.

Сравняване на вашата оценка с референтната

Накрая системата може да нормализира суровата оценка, използвайки референтен запис на същата фраза.

Тя оценява синтезираната референция със същата версия на оценителя и, когато вече има използваема съответстваща база, прилага:

displayed score = min(100, raw score / reference score × 100)

Например, сурова оценка от 80 срещу референтна оценка от 88 става приблизително 90.9.

Това коригиране отчита факта, че моделът може да даде дори на референтния запис по-малко от 100.

Базовите линии са свързани с:

• Референтния глас и модела за генериране на реч.
• Модела за оценяване.
• Речника.
• Версията на калибрацията и правилата.

Ако съответстваща база не е налична или е непригодна, резултатът запазва суровата си оценка. Първият опит може следователно да остане некоригиран, докато се подготви база за следващи опити.

Какво означава вашата оценка

Полученото число е практическа оценка по скалата на HolosAccent.

Оценка 90 не означава, че 90 % от думите ви са правилни и не определя ниво по CEFR или еквивалентност с носител.

Съответствието е настроено с помощта на записи, оценени от експерти, но новата система за оценяване остава експериментална и пълните критерии за приемане все още не са проверени. Тя може да пропусне грешки или да маркира приемлива реч.

Обратната връзка за отделни думи и модели през многократни опити предоставят контекст за тълкуване на числото.