HolosAccent Sesinizi Nasıl Telaffuz Skoruna Dönüştürüyor

Kaydınızı Hazırlama

İlk olarak, ses mono sound sampled at 16 kHz formatına çözümlenir.

Sistem kaydın sinyal-gürültü oranını tahmin eder. Bu tahmin 25 dB’nin altına düşerse ve gürültü filtreleme mevcutsa, analizden önce a noise-reduction filter uygular. Filtreleme başarısız olursa, orijinal kayıtla devam eder.

Daha sonra dalga formu, konuşma analiz modeli giriş gereksinimlerine uyması için normalleştirilir. Sessizlik ve yarım saniyeden kısa kayıtlar sıfır puan alır.

Farklı Telaffuzlara İzin Verme

Sonra, referans metin a pronunciation engine kullanılarak fonetik telaffuzlara dönüştürülür. Bir kelimenin birden fazla kabul edilen formu olabilir.

Telaffuz seti şunları içerir:

• Britanya ve Amerikan varyantları.
• Yumuşatılmış yaygın formlar, örneğin to içindeki vurgusuz ses.
• Seçili bağlamsal alternatifler.

Örneğin, close the door içindeki son ünsüz, a close friend içindekinden farklıdır. Sistem, cümleyi işlerken desteklenen alternatifler arasından seçim yapabilir.

Sesleri Dinleme, Kelimeleri Yeniden Oluşturma Değil

Kayıt an acoustic model üzerinden geçer. Zaman içinde, yaklaşık 20-millisecond intervals aralıklarla farklı konuşma sesleri için kanıt üretir.

Bu, kaydın fonetik bir temsilidir. Puanlayıcı, cümleyi yeniden oluşturmak için kelime seviyesinde bir dil modeli kullanmaz.

Sistem daha sonra bu akustik çıktıları iki şekilde inceler:

Yöntem	Ne yapar
Expected-sound alignment	Beklenen sesler için en iyi zamanlamayı bulur, her kelime için tam bir telaffuz varyantı seçer.
Independent sound recognition	Referans cümleyi gerektirmeden modelin tercih ettiği sesleri izler.

Her iki görüş de gereklidir çünkü hizalama, konuşmacı bir sesi atlamış olsa bile beklenen sesi kayıtta bir yere yerleştirebilir. Bağımsız ses tanıma, gerçekte ne söylendiğine dair ek kanıt sağlar.

Eşleştirme ayrıca zamanlamayı da dikkate alır, bir kelimedeki sesin uzak bir kelime için kanıt sayılmasını zorlaştırır.

Her Sesin Puanlanması

Her hizalanmış ses için, puanlayıcı bir pronunciation accuracy measure hesaplar: modelin o aralıkta beklenen sesi, rekabet eden seslere göre ne kadar güçlü desteklediği.

Ayrıca şunları da göz önüne alır:

• Beklenen sesin en yüksek olasılığı.
• Bağımsız ses tanımanın yakın bir yerde eşleşen bir ses bulup bulmadığı.

Uygun bir matematiksel haritalama, bu kanıtı sound accuracy value between 0 and 100 değerine dönüştürür.

Bağımsız tanıma sonucunda eksik bir ses otomatik olarak sıfır almaz. Akustik kanıt hâlâ önemlidir.

Hangi Kelimelerin Dikkat Gerektirdiğine Karar Verme

Kelime geri bildirimi, bu ses değerlerini açık hata kontrolleriyle birleştirir. Bir kelime şunları sağlamalıdır:

• Konuşulduğuna dair yeterli kanıtı olsun.
• Ayarlanmış ortalama doğruluk eşiğini karşılasın.
• Tespit edilen yerine koymalar, eklemeler veya ciddi eksik ses hatalarından kaçınsın.

Açık yerine koymalar, weak support for the expected sound ve strong support for a competing sound gerektirir.

Kanıt	Mevcut eşik
Beklenen ses için destek	0.05‘in altında
Yerine geçen ses için destek	En az 0.5

Bunlar model evidence thresholdsdır, bir insan dinleyicinin kelimeyi yanlış olarak değerlendireceği olasılıklar değildir.

İşaretlenen kelimeler için sistem, beklenen telaffuzu ve duyulan seslerin tahminini International Phonetic Alphabet (IPA) ile döndürür. Bu tahmin, özellikle kelime sınırlarında kusurlu olabilir.

Cümle Skorunun Oluşturulması

Cümle skoru, aşağıdaki öğelerin uygun bir kombinasyonu ile başlar:

• Ortalama ses doğruluğu.
• Bağımsız ses tanıma tarafından eşleşen beklenen seslerin oranı.
• Saniye başına telaffuz edilen konuşma seslerinin sayısı.
• Kelime aralarındaki uzun duraklamalar.

Zamanlama hesabı, ilk hizalanmış ses öncesi ve sonrasındaki sessizliği dışlar.

Bu özellikler one overall score oluşturur. Mevcut uygulama, kullanıcıya ayrı akıcılık, tamlık veya tonlama skorları sunmaz.

Kelime Kredisi Sonucu Nasıl Etkiler

Puanlayıcı daha sonra açık bir word-credit multiplier uygular. Her kelime, seçilen telaffuzundaki ses sayısı ile ağırlıklandırılır.

Kelime sonucu	Kazanılan kredi
Doğru	Tam ağırlık
Konuşuldu ama işaretli	Ağırlığının dörtte biri
Atlandı	Kredi yok

Hesaplama şu şekildedir:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Sonuç olarak, a long incorrect word usually costs more than a short one. Cümlenin sadece küçük bir kısmını okumak da skoru sınırlar, bu parçanın net duyulsa bile.

Skorunuzu Referansla Karşılaştırma

Son olarak, sistem ham skoru reference recording of the same phrase kullanarak normalleştirebilir.

Aynı puanlayıcı sürümüyle sentezlenmiş referansı puanlar ve kullanılabilir bir eşleşen temel mevcut olduğunda şunu uygular:

displayed score = min(100, raw score / reference score × 100)

Örneğin, 80 ham skor, 88 referans skoru karşısında yaklaşık 90.9 olur.

Bu ayarlama, modelin referans kayda bile 100’ün altında bir puan verebileceği gerçeğini dikkate alır.

Temeller şunlarla ilişkilidir:

• Referans ses ve konuşma üretim modeli.
• Puanlama modeli.
• Kelime hazinesi.
• Kalibrasyon ve kural sürümü.

Eşleşen bir temel mevcut değilse veya kullanılamıyorsa, sonuç ham skorunu korur. İlk deneme bu yüzden ayarlama yapılmadan kalabilir, daha sonraki denemeler için bir temel hazırlanırken.

Skorunuz Ne Anlama Geliyor

Ortaya çıkan sayı, practice score on HolosAccent’s scale‘dir.

90 puan, kelimelerinizin %90’ının doğru olduğu anlamına gelmez ve bir CEFR seviyesi ya da ana dili konuşan eşdeğerliği sağlamaz.

Eşleme, uzman değerlendirmeli kayıtlar kullanılarak yapılmıştır, ancak new scoring system remains experimental ve tam kabul kriterleri henüz doğrulanmamıştır. Hataları kaçırabilir veya kabul edilebilir konuşmayı işaretleyebilir.

Bireysel kelime geri bildirimi ve tekrarlanan denemeler arasındaki kalıplar, sayıyı yorumlamak için bağlam sağlar.