Як HolosAccent перетворює ваш голос у оцінку вимови

Підготовка вашого запису

Спочатку аудіо декодується у стандартний формат: моно звук з частотою дискретизації 16 кГц.

Система оцінює співвідношення сигнал/шум запису. Якщо ця оцінка падає нижче 25 dB і доступне фільтрування шуму, застосовується фільтр шумозаглушення перед аналізом. Якщо фільтрування не вдається, продовжується робота з оригінальним записом.

Волнову форму потім нормалізують, щоб відповідати вимогам вхідних даних моделі аналізу мови. Тиша та записи коротші півсекунди отримують нульову оцінку.

Дозвіл різних вимов

Далі референсний текст перетворюється у фонетичні вимови за допомогою двигуна вимови. Слово може мати кілька прийнятних форм.

Набір вимов включає:

• британські та американські варіанти.
• поширені скорочені форми, наприклад ненаголошений голосний у to.
• вибрані контекстуальні альтернативи.

Наприклад, останній приголосний у close the door відрізняється від того, що у a close friend. Система може обирати серед підтримуваних альтернатив під час обробки речення.

Прослуховування звуків, а не відтворення слів

Запис проходить через акустичну модель. Вона генерує докази для різних мовних звуків у часі, приблизно кожні 20 мілісекунд.

Це фонетичне представлення запису. Оцінювач не використовує мовну модель на рівні слів для відтворення речення.

Система потім аналізує ці акустичні виходи двома способами:

Метод	Що робить
Вирівнювання очікуваних звуків	Знаходить найкращий час для очікуваних звуків, вибираючи повну варіацію вимови для кожного слова.
Незалежне розпізнавання звуків	Слідує за звуками, які підтримує модель, без потреби у референсному реченні.

Обидва погляди потрібні, бо вирівнювання може розташувати очікуваний звук у записі, навіть якщо мовець його пропустив. Незалежне розпізнавання звуків додає додаткові докази про те, що насправді було сказано.

Відповідність також враховує таймінг, ускладнюючи використання звуку з одного слова як доказу для далекого слова.

Оцінка кожного звуку

Для кожного вирівняного звуку оцінювач обчислює міру точності вимови: наскільки сильно модель підтримує очікуваний звук у порівнянні з конкурентними звуками протягом цього інтервалу.

Враховується також:

• пікова ймовірність очікуваного звуку.
• чи знайшло незалежне розпізнавання звуків відповідний звук поруч.

Підгонка математичної функції перетворює ці докази у значення точності звуку від 0 до 100.

Звук, який відсутній у результаті незалежного розпізнавання, не отримує автоматично нуль. Акустичні докази все одно мають значення.

Визначення, які слова потребують уваги

Зворотний зв’язок по словах поєднує ці значення звуків з явними перевірками помилок. Слово має:

• мати достатньо доказів, що його вимовили.
• відповідати налаштованому порогу середньої точності.
• уникати виявлених замін, вставок або серйозних помилок відсутніх звуків.

Чіткі заміни вимагають слабкої підтримки очікуваного звуку і сильної підтримки конкурентного звуку.

Докази	Поточний поріг
Підтримка очікуваного звуку	Нижче 0.05
Підтримка його заміни	Принаймні 0.5

Це пороги доказів моделі, а не ймовірності, які би оцінив людський слухач, що слово неправильне.

Для позначених слів система повертає очікувану вимову та її оцінку почутих звуків, записану у Міжнародному фонетичному алфавіті (IPA). Ця оцінка може бути неточною, особливо на межах слів.

Формування оцінки речення

Оцінка речення починається з підгоненої комбінації:

• середню точність звуків.
• частку очікуваних звуків, які збіглися з незалежним розпізнаванням.
• кількість вимовлених звуків за секунду.
• довгі паузи між словами.

Розрахунок таймінгу виключає тишу перед першим вирівняним звуком і після останнього.

Ці характеристики сприяють одній загальній оцінці. Поточна реалізація не надає окремих оцінок для плавності, повноти чи інтонації.

Як кредит слів впливає на результат

Оцінювач потім застосовує явний мультиплікатор кредиту слів. Кожне слово зважується за кількістю звуків у його обраній вимові.

Результат слова	Отриманий кредит
Правильне	Повна вага
Вимовлене, але позначене	Четверта частина його ваги
Пропущене	Без кредиту

Розрахунок виглядає так:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Отже, довге неправильне слово зазвичай коштує більше, ніж коротке. Читання лише невеликої частини речення також обмежує оцінку, навіть якщо цей фрагмент звучить чітко.

Порівняння вашої оцінки з еталоном

Нарешті система може нормалізувати «сиру» оцінку, використовуючи еталонний запис тієї ж фрази.

Вона оцінює синтезований еталон тією ж версією оцінювача і, коли вже є придатна базова лінія, застосовує:

displayed score = min(100, raw score / reference score × 100)

Наприклад, «сира» оцінка 80 проти еталонної 88 дає приблизно 90.9.

Таке коригування враховує, що модель може дати навіть еталонному запису менше 100.

Базові лінії прив’язані до:

• референсний голос і модель генерації мови.
• модель оцінювання.
• словник.
• версію калібрування та правил.

Якщо відповідна базова лінія недоступна або непридатна, результат залишає «сиру» оцінку. Перший спроба може залишитися незміненою, доки базова лінія не буде підготовлена для подальших спроб.

Що означає ваша оцінка

Отримане число — це практична оцінка за шкалою HolosAccent.

Оцінка 90 не означає, що 90 відсотків ваших слів правильні, і не встановлює рівень CEFR чи еквівалентність носія мови.

Відображення було підгонено за допомогою записів, оцінених експертами, але нова система оцінювання залишається експериментальною і її повні критерії прийнятності ще не підтверджені. Вона може пропускати помилки або позначати прийнятну мову.

Індивідуальний зворотний зв’язок по словах і шаблони у повторних спробах надають контекст для інтерпретації числа.