HolosAccent 如何將你的聲音轉換為發音分數
當你朗讀一句話時,有幾個問題很重要:**你發出了哪些音、完成了哪些單詞、句子的流暢度如何?** HolosAccent 的全新評分流程結合了這三方面的證據,產生一個分數。
翻譯自 English · 閱讀原文
準備你的錄音
首先,音訊會被解碼成標準格式:mono sound sampled at 16 kHz(單聲道、採樣率 16 kHz)。
系統會估算錄音的訊噪比 (SNR)。若估算值低於 25 dB 且可使用降噪功能,系統會在分析前套用 a noise-reduction filter(降噪濾波器)。若濾波失敗,則直接使用原始錄音繼續。
接著,波形會被正規化,以符合語音分析模型的輸入需求。靜音或長度不足半秒的錄音會得到零分。
允許不同的發音
接下來,參考文字會透過 a pronunciation engine(發音引擎)轉換成音標。單字可能有多種可接受的發音形式。
發音集合包含:
- 英式與美式變體。
- 常見的縮減形式,例如 to 中的非重音母音。
- 挑選的語境替代方案。
例如,close the door 中的最後子音與 a close friend 中的不同。系統在處理句子時可以在支援的替代方案中選擇。
只聆聽聲音,不重建單詞
錄音會通過 an acoustic model(聲學模型)。模型會在時間軸上以大約 20-millisecond intervals(20 毫秒間隔)產生各種語音聲音的證據。
這是一個錄音的音素表示。評分器不會使用詞層級的語言模型來重建句子。
系統接著以兩種方式檢視這些聲學輸出:
| 方法 | 功能說明 |
|---|---|
| Expected-sound alignment | 找出預期聲音的最佳時機,為每個單詞選擇完整的發音變體。 |
| Independent sound recognition | 依照模型偏好的聲音進行辨識,無需參考句子。 |
兩種觀點皆必須,因為對齊即使在說話者省略某個聲音時,也會在錄音中找出預期聲音的位置。獨立聲音辨識則提供實際說出內容的額外證據。
匹配同時考慮時間因素,使得一個單詞中的聲音不易被算作遠處單詞的證據。
為每個聲音打分
對於每個已對齊的聲音,評分器會計算 pronunciation accuracy measure(發音準確度指標):模型在該時間段內對預期聲音相較於競爭聲音的支持程度。
它同時會考慮:
- 預期聲音的最高機率。
- 獨立聲音辨識是否在附近找到匹配的聲音。
經過擬合的數學映射會將此證據轉換為 sound accuracy value between 0 and 100(0 到 100 的聲音準確度值)。
一個在獨立辨識結果中缺失的聲音不會自動得到零分。聲學證據仍然重要。
判斷哪些單詞需要注意
單詞回饋會結合這些聲音分數與明確的錯誤檢查。單詞必須:
- 有足夠的證據顯示已被說出。
- 符合設定的平均準確度門檻。
- 避免被偵測到的替換、插入或嚴重缺失聲音的錯誤。
明顯的替換需要 weak support for the expected sound(對預期聲音的弱支持)以及 strong support for a competing sound(對競爭聲音的強支持)。
| 證據 | 目前門檻 |
|---|---|
| 對預期聲音的支持 | Below 0.05 |
| 對其替代音的支持 | At least 0.5 |
這些是 model evidence thresholds(模型證據門檻),而非人類聽者會判斷單詞錯誤的機率。
對於被標記的單詞,系統會回傳預期的發音以及其對聽到的聲音的估計,使用 International Phonetic Alphabet (IPA)(國際音標)書寫。此估計可能不完美,尤其在單詞邊界附近。
建立句子分數
句子分數以以下經過擬合的組合開始:
- 平均聲音準確度。
- 獨立聲音辨識匹配到的預期聲音比例。
- 每秒發出的語音聲音數量。
- 單詞之間的長時間停頓。
時間計算會排除第一個已對齊聲音之前以及最後一個之後的靜音。
這些特徵共同構成 one overall score(整體分數)。目前的實作並未提供給使用者的流暢度、完整度或語調分數。
單詞權重如何影響結果
評分器接著套用明確的 word-credit multiplier(單詞權重乘數)。每個單詞的權重依其選定發音中的聲音數量而定。
| 單詞結果 | 獲得權重 |
|---|---|
| 正確 | 完整權重 |
| 已說出但被標記 | 權重的四分之一 |
| 遺漏 | 無權重 |
計算方式如下:
word credit =
(correct sound weight + 0.25 × flagged spoken sound weight)
/ total expected sound weight
raw score =
sentence estimate, clipped to 0–100, × word credit
因此,較長的錯誤單詞通常比短的花費更高。即使只朗讀句子的一小段,只要那段聽起來清晰,分數仍會受到限制。
與參考錄音比較你的分數
最後,系統可以使用 reference recording of the same phrase(相同片語的參考錄音)來正規化原始分數。
它會以相同的評分器版本對合成的參考錄音打分,且當已有可用的匹配基準時,套用以下公式:
displayed score = min(100, raw score / reference score × 100)
例如,原始分數 80 對照參考分數 88 時,最終約為 90.9。
此調整考量到模型對參考錄音的分數可能也不到 100。
基準與以下項目相關:
- 參考的聲音與語音生成模型。
- 評分模型。
- 詞彙表。
- 校準與規則版本。
若無可用或不可用的匹配基準,結果將保留原始分數。首次嘗試因此可能不會被調整,直到之後為後續嘗試準備好基準。
你的分數代表什麼
最終的數字是 HolosAccent 評分尺度上的練習分數。
90 分並不代表你的單詞正確率為 90%,也不等同於 CEFR 等級或母語者的等同水平。
此映射是根據專家評分的錄音擬合而成,但 new scoring system remains experimental(新評分系統仍屬實驗性),其完整的接受標準尚未驗證。它可能漏掉錯誤或標記本應接受的發音。
個別單詞的回饋以及多次嘗試的模式,可為解讀此數字提供參考。