Как HolosAccent превращает ваш голос в оценку произношения

Подготовка записи

Сначала аудио декодируется в стандартный формат: mono sound sampled at 16 kHz.

Система оценивает отношение сигнала к шуму записи. Если оценка опускается ниже 25 dB и доступна фильтрация шума, применяется a noise-reduction filter перед анализом. Если фильтрация не удалась, используется оригинальная запись.

Затем волновая форма нормализуется под требования входных данных модели анализа речи. Тишина и записи короче полсекунды получают нулевую оценку.

Допуск разных произношений

Далее эталонный текст преобразуется в фонетические произношения с помощью a pronunciation engine. У слова может быть несколько принятых вариантов.

Набор произношений включает:

• Британские и американские варианты.
• Распространённые редуцированные формы, например безударный гласный в to.
• Выбранные контекстные альтернативы.

Например, конечный согласный в close the door отличается от того, что в a close friend. Система может выбирать среди поддерживаемых альтернатив при обработке предложения.

Прослушивание звуков, а не восстановление слов

Запись проходит через an acoustic model. Он генерирует доказательства разных звуков речи во времени, примерно каждые 20-millisecond intervals.

Это фонетическое представление записи. Оценщик не использует языковую модель уровня слов для восстановления предложения.

Система затем анализирует эти акустические выводы двумя способами:

Метод	Что делает
Expected-sound alignment	Находит оптимальное время для ожидаемых звуков, выбирая полную форму произношения для каждого слова.
Independent sound recognition	Следует за звуками, предпочтительными моделью, без необходимости в эталонном предложении.

Оба взгляда необходимы, потому что выравнивание может разместить ожидаемый звук в записи, даже если говорящий его пропустил. Независимое распознавание звуков предоставляет дополнительные доказательства того, что действительно было произнесено.

Сопоставление также учитывает тайминг, усложняя использование звука из одного слова в качестве доказательства для далёкого слова.

Оценка каждого звука

Для каждого выровненного звука оценщик вычисляет pronunciation accuracy measure: насколько сильно модель поддерживает ожидаемый звук по сравнению с конкурирующими звуками в этом интервале.

Также учитывается:

• Пиковая вероятность ожидаемого звука.
• Было ли найдено совпадающее звучание независимым распознаванием рядом.

Подогнанное математическое отображение преобразует эти доказательства в sound accuracy value between 0 and 100.

Звук, отсутствующий в результате независимого распознавания, не получает автоматически ноль. Акустические доказательства всё равно учитываются.

Определение слов, требующих внимания

Обратная связь по словам комбинирует эти значения звуков с явными проверками ошибок. Слово должно:

• Иметь достаточные доказательства, что оно произнесено.
• Соответствовать установленному порогу средней точности.
• Не содержать обнаруженных замен, вставок или серьёзных ошибок пропущенных звуков.

Явные замены требуют weak support for the expected sound и strong support for a competing sound.

Доказательство	Текущий порог
Поддержка ожидаемого звука	Below 0.05
Поддержка его замены	At least 0.5

Это model evidence thresholds, а не вероятности, которые бы оценил человек.

Для отмеченных слов система возвращает ожидаемое произношение и её оценку услышанных звуков, записанную в International Phonetic Alphabet (IPA). Эта оценка может быть неточной, особенно на границах слов.

Формирование оценки предложения

Оценка предложения начинается с подогнанной комбинации:

• Средняя точность звуков.
• Доля ожидаемых звуков, совпавших с независимым распознаванием.
• Количество произнесённых звуков речи в секунду.
• Длинные паузы между словами.

Расчёт тайминга исключает тишину до первого выровненного звука и после последнего.

Эти характеристики вносят вклад в one overall score. Текущая реализация не предоставляет отдельные пользовательские оценки беглости, полноты или интонации.

Как кредит слов влияет на результат

Оценщик затем применяет явный word-credit multiplier. Каждый слово взвешивается по количеству звуков в выбранном произношении.

Результат слова	Полученный кредит
Правильное	Полный вес
Произнесено, но отмечено	Четверть его веса
Пропущено	Нет кредита

Расчёт выглядит так:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Следовательно, a long incorrect word usually costs more than a short one. Чтение только небольшой части предложения также ограничивает оценку, даже если этот фрагмент звучит чисто.

Сравнение вашей оценки с эталоном

Наконец, система может нормализовать необработанную оценку, используя reference recording of the same phrase.

Она оценивает синтезированный эталон тем же вариантом оценщика и, когда доступна пригодная базовая линия, применяет:

displayed score = min(100, raw score / reference score × 100)

Например, необработанная оценка 80 при эталонной оценке 88 превращается примерно в 90.9.

Эта корректировка учитывает, что модель может дать даже эталонной записи менее 100.

Базовые линии привязаны к:

• Этальному голосу и модели генерации речи.
• Модели оценки.
• Словарю.
• Версии калибровки и правил.

Если подходящая базовая линия недоступна или непригодна, результат сохраняет необработанную оценку. Первая попытка может оставаться без корректировки, пока базовая линия готовится для последующих попыток.

Что означает ваша оценка

Полученное число — это practice score on HolosAccent’s scale.

Оценка 90 не означает, что 90 процентов ваших слов правильны, и она не устанавливает уровень CEFR или эквивалентность носителю языка.

Соответствие было построено на основе записей, оценённых экспертами, но new scoring system remains experimental и его полные критерии приемлемости ещё не проверены. Он может пропускать ошибки или отмечать приемлемую речь.

Обратная связь по отдельным словам и шаблоны в повторных попытках дают контекст для интерпретации числа.