Bagaimana HolosAccent Menukar Suara Anda menjadi Skor Sebutan

Menyiapkan rakaman anda

Pertama, audio didekodkan ke dalam format piawai: bunyi mono yang diambil pada 16 kHz.

Sistem menganggarkan nisbah isyarat‑kepada‑bising rakaman. Jika anggaran itu jatuh di bawah 25 dB dan penapisan bunyi tersedia, ia menggunakan penapis pengurang bunyi sebelum analisis. Jika penapisan gagal, ia terus menggunakan rakaman asal.

Gelombang suara kemudian dinormalkan supaya memenuhi keperluan input model analisis pertuturan. Keheningan dan rakaman yang lebih pendek daripada setengah saat menerima skor sifar.

Membenarkan sebutan yang berbeza

Seterusnya, teks rujukan ditukar menjadi sebutan fonetik menggunakan enjin sebutan. Sesuatu perkataan boleh mempunyai pelbagai bentuk yang diterima.

Set sebutan termasuk:

• Varian British dan American.
• Bentuk tereduksi yang biasa, seperti vokal tak tertekan dalam to.
• Alternatif kontekstual terpilih.

Sebagai contoh, konsonan akhir dalam close the door berbeza dengan yang dalam a close friend. Sistem boleh memilih antara alternatif yang disokong semasa memproses ayat.

Mendengar bunyi, bukan menyusun semula perkataan

Rakaman melalui model akustik. Ia menghasilkan bukti bagi pelbagai bunyi pertuturan mengikut masa, kira‑kira setiap 20 milisaat.

Ini merupakan representasi fonetik rakaman. Penilai tidak menggunakan model bahasa peringkat perkataan untuk menyusun semula ayat.

Sistem kemudian memeriksa output akustik tersebut dengan dua cara:

Kaedah	Apa yang dilakukan
Penyelarasan bunyi dijangka	Mencari masa terbaik untuk bunyi yang dijangka, memilih varian sebutan lengkap bagi setiap perkataan.
Pengenalan bunyi bebas	Mengikuti bunyi yang dipilih oleh model tanpa memerlukan ayat rujukan.

Kedua‑dua pandangan diperlukan kerana penyelarasan boleh menempatkan bunyi dijangka di mana‑mana dalam rakaman walaupun penutur menghilangkannya. Pengenalan bunyi bebas menyediakan bukti tambahan tentang apa yang sebenarnya diucapkan.

Pencocokan juga mengambil kira masa, menjadikan lebih sukar bunyi dalam satu perkataan dianggap bukti untuk perkataan yang jauh.

Menilai setiap bunyi

Bagi setiap bunyi yang diselaraskan, penilai mengira ukuran ketepatan sebutan: sejauh mana model menyokong bunyi dijangka berbanding bunyi bersaing dalam selang masa tersebut.

Ia juga mengambil kira:

• Kebarangkalian puncak bunyi dijangka.
• Sama ada pengenalan bunyi bebas menemukan bunyi yang sepadan berdekatan.

Pemeta matematik yang disesuaikan menukar bukti ini menjadi nilai ketepatan bunyi antara 0 hingga 100.

Bunyi yang tiada dalam keputusan pengenalan bebas tidak serta‑merta mendapat sifar. Bukti akustik masih penting.

Menentukan perkataan yang memerlukan perhatian

Maklum balas perkataan menggabungkan nilai bunyi ini dengan pemeriksaan ralat yang jelas. Suatu perkataan mesti:

• Mempunyai bukti yang cukup bahawa ia diucapkan.
• Memenuhi ambang ketepatan purata yang ditetapkan.
• Mengelak penggantian, sisipan, atau ralat bunyi hilang yang teruk yang dikesan.

Penggantian jelas memerlukan sokongan lemah untuk bunyi dijangka dan sokongan kuat untuk bunyi bersaing.

Bukti	Ambang semasa
Sokongan untuk bunyi dijangka	Di bawah 0.05
Sokongan untuk gantinya	Sekurang‑kurangnya 0.5

Ini adalah ambang bukti model, bukan kebarangkalian yang akan dinilai oleh pendengar manusia sebagai perkataan salah.

Untuk perkataan yang ditandakan, sistem mengembalikan sebutan dijangka dan anggarannya bagi bunyi yang didengar, ditulis dalam International Phonetic Alphabet (IPA). Anggaran itu boleh tidak sempurna, terutama di sekitar sempadan perkataan.

Membina skor ayat

Skor ayat dimulakan dengan gabungan yang disesuaikan daripada:

• Ketepatan bunyi purata.
• Bahagian bunyi dijangka yang dipadankan oleh pengenalan bunyi bebas.
• Bilangan bunyi pertuturan yang diucapkan per saat.
• Jeda panjang antara perkataan.

Pengiraan masa tidak termasuk keheningan sebelum bunyi pertama yang diselaraskan dan selepas yang terakhir.

Ciri‑ciri ini menyumbang kepada satu skor keseluruhan. Implementasi semasa tidak menyediakan skor kelancaran, kelengkapan, atau intonasi yang berasingan untuk pengguna.

Bagaimana kredit perkataan mempengaruhi keputusan

Penilai kemudian menggunakan pengganda kredit‑perkataan yang jelas. Setiap perkataan diberi berat mengikut bilangan bunyi dalam sebutan terpilihnya.

Keputusan perkataan	Kredit yang diperoleh
Betul	Berat penuh
Diucapkan tetapi ditandakan	Seperempat beratnya
Ditinggalkan	Tiada kredit

Pengiraannya ialah:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Oleh itu, perkataan panjang yang salah biasanya menelan kos lebih tinggi berbanding perkataan pendek. Membaca hanya sebahagian kecil ayat juga mengehadkan skor, walaupun bahagian itu jelas.

Membandingkan skor anda dengan rujukan

Akhirnya, sistem boleh menormalkan skor mentah menggunakan rakaman rujukan frasa yang sama.

Ia menilai rujukan yang disintesis dengan versi penilai yang sama dan, apabila penanda aras padan yang boleh digunakan sudah tersedia, menggunakan:

displayed score = min(100, raw score / reference score × 100)

Sebagai contoh, skor mentah 80 berbanding skor rujukan 88 menjadi kira‑kira 90.9.

Penyesuaian ini mengambil kira fakta bahawa model mungkin memberi skor kurang daripada 100 walaupun untuk rakaman rujukan.

Penanda aras diikat kepada:

• Suara rujukan dan model penjanaan pertuturan.
• Model penilaian.
• Kosa kata.
• Versi penentukuran dan peraturan.

Jika penanda aras padan tidak tersedia atau tidak dapat digunakan, keputusan mengekalkan skor mentahnya. Percubaan pertama boleh tetap tidak disesuaikan sementara penanda aras disediakan untuk percubaan berikutnya.

Apa maksud skor anda

Nombor yang terhasil ialah skor latihan pada skala HolosAccent.

Skor 90 tidak bermakna 90 peratus perkataan anda betul, dan ia tidak menetapkan tahap CEFR atau kesamaan penutur asli.

Pemetaannya telah disesuaikan menggunakan rakaman yang dinilai pakar, tetapi sistem penilaian baru masih bersifat eksperimen dan kriteria penerimaan penuh belum lagi disahkan. Ia boleh terlepas ralat atau menandakan pertuturan yang boleh diterima.

Maklum balas perkataan individu dan pola dalam percubaan berulang memberikan konteks untuk mentafsir nombor tersebut.