Jak HolosAccent zamienia Twój głos w wynik wymowy

Przygotowanie nagrania

Najpierw dźwięk jest dekodowany do standardowego formatu: mono dźwięk próbkowany z częstotliwością 16 kHz.

System szacuje stosunek sygnału do szumu w nagraniu. Jeśli szacunek spadnie poniżej 25 dB i dostępny jest filtr szumów, stosuje filtr redukujący szum przed analizą. Jeśli filtracja się nie powiedzie, kontynuuje pracę na oryginalnym nagraniu.

Następnie fala jest normalizowana, aby spełnić wymagania wejściowe modelu analizy mowy. Cisza oraz nagrania krótsze niż pół sekundy otrzymują wynik zero.

Zezwalanie na różne wymowy

Następnie tekst referencyjny jest konwertowany na wymowy fonetyczne przy użyciu silnika wymowy. Jedno słowo może mieć wiele akceptowanych form.

Zestaw wymowy obejmuje:

• warianty brytyjskie i amerykańskie.
• powszechne formy zredukowane, takie jak niewyraźna samogłoska w to.
• wybrane alternatywy kontekstowe.

Na przykład, końcowa spółgłoska w close the door różni się od tej w a close friend. System może wybierać spośród obsługiwanych alternatyw podczas przetwarzania zdania.

Słuchanie dźwięków, a nie odtwarzanie słów

Nagranie przechodzi przez model akustyczny. Generuje dowody na różne dźwięki mowy w czasie, w przybliżeniu co 20 milisekund.

Jest to fonetyczna reprezentacja nagrania. Oceniacz nie używa modelu językowego na poziomie słów do odtwarzania zdania.

System następnie analizuje te wyniki akustyczne na dwa sposoby:

Metoda	Co robi
Expected-sound alignment	Znajduje najlepsze dopasowanie czasowe dla oczekiwanych dźwięków, wybierając pełną wariant wymowy dla każdego słowa.
Independent sound recognition	Śledzi dźwięki preferowane przez model, nie wymagając zdania referencyjnego.

Oba spojrzenia są potrzebne, ponieważ wyrównanie może umieścić oczekiwany dźwięk w nagraniu, nawet jeśli mówca go pominął. Niezależne rozpoznawanie dźwięków dostarcza dodatkowych dowodów na to, co faktycznie zostało wypowiedziane.

Dopasowanie uwzględnia także timing, co utrudnia, aby dźwięk z jednego słowa liczył się jako dowód dla odległego słowa.

Ocenianie każdego dźwięku

Dla każdego wyrównanego dźwięku oceniacz oblicza miarę dokładności wymowy: jak silnie model popiera oczekiwany dźwięk w porównaniu z konkurującymi dźwiękami w danym przedziale.

Biorąc pod uwagę także:

• szczytowe prawdopodobieństwo oczekiwanego dźwięku.
• czy niezależne rozpoznawanie dźwięków znalazło pasujący dźwięk w pobliżu.

Dopasowane przekształcenie matematyczne zamienia te dowody w wartość dokładności dźwięku w przedziale od 0 do 100.

Dźwięk brakujący w wyniku niezależnego rozpoznawania nie otrzymuje automatycznie zera. Dowody akustyczne wciąż mają znaczenie.

Decydowanie, które słowa wymagają uwagi

Informacja zwrotna o słowach łączy te wartości dźwięków z wyraźnymi kontrolami błędów. Słowo musi:

• mieć wystarczające dowody, że zostało wypowiedziane.
• spełniać skonfigurowany średni próg dokładności.
• nie zawierać wykrytych podstawień, wstawek ani poważnych błędów brakujących dźwięków.

Wyraźne podstawienia wymagają słabego wsparcia dla oczekiwanego dźwięku i silnego wsparcia dla konkurującego dźwięku.

Dowód	Obecny próg
Wsparcie dla oczekiwanego dźwięku	Below 0.05
Wsparcie dla jego zamiennika	At least 0.5

Są to progi dowodowe modelu, a nie prawdopodobieństwa, które oceniłby człowiek jako niepoprawne słowo.

Dla oznaczonych słów system zwraca oczekiwaną wymowę oraz szacunkowe dźwięki, zapisane w Międzynarodowym Alfabecie Fonetycznym (IPA). To oszacowanie może być niedokładne, szczególnie przy granicach słów.

Budowanie wyniku zdania

Wynik zdania zaczyna się od dopasowanej kombinacji:

• średnia dokładność dźwięków.
• odsetek oczekiwanych dźwięków dopasowanych przez niezależne rozpoznawanie.
• liczba wypowiedzianych dźwięków mowy na sekundę.
• długie przerwy między słowami.

Obliczenia czasu wykluczają ciszę przed pierwszym wyrównanym dźwiękiem i po ostatnim.

Te cechy składają się na jedyny łączny wynik. Obecna implementacja nie oferuje osobnych wyników dla płynności, kompletności ani intonacji widocznych dla użytkownika.

Jak kredyt słowny wpływa na wynik

Oceniacz następnie stosuje wyraźny mnożnik kredytu słownego. Każde słowo jest ważone liczbą dźwięków w wybranej wymowie.

Wynik słowa	Zdobyty kredyt
Correct	Full weight
Spoken but flagged	One quarter of its weight
Omitted	No credit

Obliczenie wygląda tak:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

W konsekwencji, długie niepoprawne słowo zazwyczaj kosztuje więcej niż krótkie. Czytanie tylko małej części zdania również ogranicza wynik, nawet jeśli ten fragment brzmi wyraźnie.

Porównywanie wyniku z referencją

Na koniec system może normalizować surowy wynik przy użyciu nagrania referencyjnego tej samej frazy.

Oceniacz ocenia syntetyczne nagranie referencyjne tą samą wersją oceniacza i, gdy dostępna jest użyteczna linia bazowa, stosuje:

displayed score = min(100, raw score / reference score × 100)

Na przykład, surowy wynik 80 w porównaniu z wynikiem referencyjnym 88 daje w przybliżeniu 90,9.

Ta korekta uwzględnia fakt, że model może przyznać nagraniu referencyjnemu mniej niż 100.

Linie bazowe są powiązane z:

• głosem referencyjnym i modelem generacji mowy.
• modelem oceny.
• słownictwem.
• wersją kalibracji i reguł.

Jeśli pasująca linia bazowa jest niedostępna lub nieużyteczna, wynik zachowuje swój surowy wynik. Pierwsza próba może więc pozostać niekorygowana, dopóki linia bazowa nie zostanie przygotowana do kolejnych prób.

Co oznacza Twój wynik

Otrzymana liczba jest wynikiem praktycznym w skali HolosAccent.

Wynik 90 nie oznacza, że 90 % Twoich słów było poprawnych i nie określa poziomu CEFR ani równoważności z native speakerem.

Mapowanie zostało dopasowane przy użyciu nagrań ocenianych przez ekspertów, ale nowy system oceniania pozostaje eksperymentalny i jego pełne kryteria akceptacji nie zostały jeszcze zweryfikowane. Może pomijać błędy lub oznaczać jako niepoprawną poprawną wymowę.

Indywidualna informacja zwrotna o słowach oraz wzorce w kolejnych próbach dostarczają kontekstu do interpretacji liczby.