HolosAccent 如何將你的聲音轉化為發音分數
當你朗讀一句話時,有幾個問題很重要:**你發出了哪些音、完成了哪些單詞、句子的流暢度如何?** HolosAccent 的全新計分流程結合這三方面的證據,產生最終分數
Translated from English · Read the original
準備你的錄音
首先,音訊會被解碼成標準格式:mono sound sampled at 16 kHz。
系統會估算錄音的訊噪比 (signal‑to‑noise ratio)。若此估算低於 25 dB 且可使用降噪功能,系統會在分析前套用 a noise-reduction filter。若降噪失敗,則直接使用原始錄音。
接著,波形會被正規化,以符合語音分析模型的輸入需求。靜音或長度不足半秒的錄音會得到零分。
接受不同的發音
接下來,參考文字會透過 a pronunciation engine 轉換成音標發音。單詞可能有多種被接受的形式。
發音集合包括:
- 英式與美式變體。
- 常見的縮減形式,例如 to 中的非重音母音。
- 特定語境下的替代選項。
例如,close the door 中的最後子音與 a close friend 中的不同。系統在處理句子時會在支援的替代方案中選擇合適的發音。
只聆聽聲音,不重建單詞
錄音會通過 an acoustic model。它會在時間軸上以大約 20-millisecond intervals 的間隔,產生各種語音聲音的證據。
這是一個錄音的音素表示。計分器不會使用詞層級的語言模型來重建句子。
系統接著以兩種方式檢視這些聲學輸出:
| 方法 | 功能說明 |
|---|---|
| Expected-sound alignment | 找出預期聲音的最佳時機,為每個單詞選擇完整的發音變體。 |
| Independent sound recognition | 直接跟隨模型偏好的聲音,不需要參考句子。 |
兩種觀點皆必須,因為即使說話者省略了某個聲音,對齊仍可能在錄音中找到預期聲音的位置。獨立聲音辨識則提供實際說出的額外證據。
匹配同時考慮時間,使得一個詞內的聲音不易被算作遠處詞的證據。
為每個聲音計分
對於每個已對齊的聲音,計分器會計算 pronunciation accuracy measure:模型在該時間段內對預期聲音相較於競爭聲音的支持程度。
它同時會考量:
- 預期聲音的最高機率。
- 獨立聲音辨識是否在附近找到匹配的聲音。
經過擬合的數學映射會將此證據轉換為 0 到 100 之間的 sound accuracy value。
獨立辨識結果缺失的聲音不會自動得到零分。聲學證據仍然重要。
判斷哪些單詞需要關注
單詞回饋會結合這些聲音分數與明確的錯誤檢查。單詞必須:
- 有足夠的證據顯示已被說出。
- 符合設定的平均準確度門檻。
- 未被偵測到置換、插入或嚴重缺失聲音的錯誤。
明顯的置換需要 weak support for the expected sound 且 strong support for a competing sound。
| 證據 | 目前門檻 |
|---|---|
| Support for the expected sound | Below 0.05 |
| Support for its replacement | At least 0.5 |
這些是 model evidence thresholds,而非人類聽者會判斷單詞錯誤的機率。
對於被標記的單詞,系統會回傳預期的發音以及其對聽到的聲音的估計,使用 International Phonetic Alphabet (IPA) 表示。此估計可能不完美,特別是在單詞邊界附近。
建立句子分數
句子分數會以以下經過擬合的組合開始:
- 平均聲音準確度。
- 獨立聲音辨識匹配到的預期聲音比例。
- 每秒發出的語音聲音數量。
- 單詞之間的長時間停頓。
時間計算會排除第一個對齊聲音之前與最後一個之後的靜音。
這些特徵會匯總成 one overall score。目前的實作不會提供分別給使用者的流暢度、完整度或語調分數。
單詞權重如何影響結果
計分器接著套用明確的 word-credit multiplier。每個單詞的權重依其選擇發音中的聲音數量而定。
| 單詞結果 | 獲得權重 |
|---|---|
| Correct | Full weight |
| Spoken but flagged | One quarter of its weight |
| Omitted | No credit |
計算方式如下:
word credit =
(correct sound weight + 0.25 × flagged spoken sound weight)
/ total expected sound weight
raw score =
sentence estimate, clipped to 0–100, × word credit
因此,較長的錯誤單詞通常比短的花費更高。即使只朗讀句子的一小段,只要那段聽起來清晰,分數仍會受到限制。
與參考錄音比較你的分數
最後,系統可以使用 reference recording of the same phrase 來正規化原始分數。
它會以相同的計分版本對合成參考錄音進行計分,若已有可用的匹配基準,則套用:
displayed score = min(100, raw score / reference score × 100)
例如,原始分數 80 與參考分數 88 相比,最終約為 90.9。
此調整考慮到模型對參考錄音的分數也可能低於 100。
基準與以下項目相關:
- 參考聲音與語音生成模型。
- 計分模型。
- 詞彙表。
- 校準與規則版本。
若無可用或不可用的匹配基準,結果會保留原始分數。首次嘗試因此可能不會被調整,直至之後建立基準。
你的分數代表什麼
最終的數字是 HolosAccent 的練習分數。
分數 90 並不代表你有 90% 的單詞正確,也不等同於 CEFR 級別或母語者的等同水平。
此映射是以專家評分的錄音為基礎擬合的,但 new scoring system remains experimental,其完整的接受標準尚未驗證。它可能漏掉錯誤或標記本應接受的語音。
個別單詞回饋以及多次嘗試的模式,可為解讀此數字提供背景。