Як HolosAccent пераўтварае ваш голас у ацэнку вымаўлення

Падрыхтоўка вашай запісу

Спачатку аўдыё дэкадуецца ў стандартны фармат: моно гук з частатой дыскрэтызацыі 16 кГц.

Сістэма ацэньвае суадносіны сігнал/шум запісу. Калі гэтая ацэнка падае ніжэй 25 дБ і даступна фільтрацыя шуму, ужываецца фільтр памяншэння шуму перад аналізам. Калі фільтрацыя не ўдаецца, працягваецца праца з арыгінальнай запісам.

Тады хваля нармалізуецца, каб адпавядаць патрабаванням уваходу мадэлі аналізу маўлення. Паўза і запісы карацей за паўсекунды атрымліваюць нулявую ацэнку.

Дазвол разнастайных вымаўленняў

Далей тэкст‑рэферэнс пераўтвараецца ў фанетычныя вымаўленні з дапамогай праграмы вымаўлення. Слова можа мець некалькі дапушчальных формаў.

Набор вымаўленняў уключае:

• Брытанскія і амерыканскія варыянты.
• Распаўсюджаныя скарочаныя формы, напрыклад, безнацісканы галос у to.
• Выбраныя кантэкстуальныя альтэрнатывы.

Напрыклад, канчатковы зычны ў close the door адрозніваецца ад таго, што ў a close friend. Сістэма можа выбіраць сярод падтрымліваемых альтэрнатыў падчас апрацоўкі сказа.

Слуханне гукаў, а не аднаўленне слоў

Запіс праходзіць праз акустычную мадэль. Яна выдае доказы для розных гукаў маўлення ў часе, прыблізна кожныя 20 мілісекунд.

Гэта фанетычнае прадстаўленне запісу. Ацэнкавы модуль не выкарыстоўвае мадэль мовы на ўзроўні слоў, каб аднаўляць сказ.

Сістэма затым аналізуе гэтыя акустычныя выхады двума спосабамі:

Метад	Што робіць
Выраўноўванне чаканага гуку	Шукае найлепшы час для чаканых гукаў, выбіраючы поўную варыянт вымаўлення для кожнага слова.
Незалежнае распазнаванне гукаў	Сачыць за гукамі, якія падтрымлівае мадэль, без патрабавання рэферэнснага сказа.

Абодва падыходы неабходныя, бо выраўноўванне можа размясціць чаканы гук у запісе, нават калі гаворач выдаліў яго. Незалежнае распазнаванне дадае дадатковыя доказы аб тым, што сапраўды было прамоўлена.

Супадзенне таксама ўлічвае час, што робіць складаней, каб гук з аднаго слова лічыўся доказам для далёкага слова.

Ацэнка кожнага гуку

Для кожнага выраўнаванага гуку ацэнкавы модуль вылічвае меру дакладнасці вымаўлення: наколькі моцна мадэль падтрымлівае чаканы гук у параўнанні з канкурэнтамі на працягу гэтага інтэрвалу.

Таксама ўлічваецца:

• Пік верагоднасці чаканага гуку.
• Ці знайшло незалежнае распазнаванне адпаведны гук побач.

Падыходная матэматычная функцыя пераўтварае гэтыя доказы ў значэнне дакладнасці гуку ад 0 да 100.

Гук, які адсутнічае ў выніках незалежнага распазнавання, не атрымлівае аўтаматычна нуль. Акустычныя доказы ўсё яшчэ важныя.

Вызначэнне, якія словы патрабуюць увагі

Зваротная сувязь па словах аб’ядноўвае гэтыя значэнні гукаў з яўнымі праверкамі памылак. Слова павінна:

• Мець дастаткова доказаў, што яно было прамоўлена.
• Перасягнуць наладжаны парог сярэдняй дакладнасці.
• Не мець выяўленых замен, устаўак або сур’ёзных памылак адсутнасці гуку.

Ясныя замены патрабуюць слабай падтрымкі чаканага гуку і моцнай падтрымкі канкурэнтнага гуку.

Доказ	Бягучы парог
Падтрымка чаканага гуку	Below 0.05
Падтрымка яго заменніка	At least 0.5

Гэта парогі доказаў мадэлі, а не верагоднасці, якую б чалавек-слухач назваў няправільным словам.

Для пазначаных слоў сістэма вяртае чаканае вымаўленне і яго ацэнку пачутых гукаў, запісаную ў International Phonetic Alphabet (IPA). Гэтая ацэнка можа быць недасканалай, асабліва вакол межаў слоў.

Пабудова ацэнкі сказа

Ацэнка сказа пачынаецца з падгонкі камбінацыі:

• Сярэдняя дакладнасць гукаў.
• Доля чаканых гукаў, адпаведных незалежнаму распазнаванню.
• Колькасць прамоўленых гукаў у секунду.
• Доўгія паўзы паміж словамі.

Разлік часу выключае цішыню перад першым выраўнаванаым гукам і пасля апошняга.

Гэтыя характарыстыкі ўносяць уклад у адну агульную ацэнку. Бягучая рэалізацыя не прадастаўляе асобных ацэнак для бегласці, паўнаты або інтанацыі.

Як крэдыт слова ўплывае на вынік

Затым ацэнкавы модуль ужывае яўны множнік крэдыту слова. Кожнае слова важыць у залежнасці ад колькасці гукаў у яго абраным вымаўленні.

Вынік слова	Атрыманы крэдыт
Правільна	Full weight
Прамоўлена, але пазначана	One quarter of its weight
Пропушчана	No credit

Разлік:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

У выніку доўгае няправільнае слова звычайна каштуе больш, чым кароткае. Чытанне толькі невялікай часткі сказа таксама абмяжоўвае ацэнку, нават калі гэты фрагмент гучыць ясна.

Параўнанне вашай ацэнкі з эталонам

У рэшце рэшт сістэма можа нармалізаваць сырую ацэнку, выкарыстоўваючы рэферэнсны запіс той жа фразы.

Яна ацэньвае сінтэзаваны рэферэнс той жа версіяй ацэнкі, і калі ўжо ёсць прыдатная базавая лінія, прымяняе:

displayed score = min(100, raw score / reference score × 100)

Напрыклад, сырая ацэнка 80 пры рэферэнснай ацэнцы 88 становіцца прыблізна 90.9.

Гэта карэкцыя ўлічвае, што мадэль можа даць нават рэферэнснаму запісу менш за 100.

Базавыя лініі звязаны з:

• Эталонным голасам і мадэллю генерацыі маўлення.
• Мадэллю ацэнкі.
• Слоўнікам.
• Версіяй калибрацыі і правілаў.

Калі адпаведная базавая лінія недаступная або непрыдатная, вынік захоўвае сваю сырую ацэнку. Першы спроба можа таму застацца незмененай, пакуль базавая лінія не будзе падрыхтавана для наступных спроб.

Што азначае ваша ацэнка

Атрыманая лічба — гэта практычная ацэнка па шкале HolosAccent.

Ацэнка 90 не азначае, што 90 адсоткаў вашых слоў былі правільнымі, і яна не ўсталёўвае ўзровень CEFR або эквівалентнасць носьбіту мовы.

Пераўтварэнне было падганята на аснове запісаў, ацэненых экспертамі, але новая сістэма ацэнкі застаецца эксперыментальнай і яе поўныя крытэрыі прыняцця яшчэ не правераны. Яна можа прапускаць памылкі або пазначаць дапушчальнае маўленне.

Індывідуальная зваротная сувязь па словах і шаблоны праз паўторныя спробы даюць кантэкст для інтэрпрэтацыі лічбы.