HolosAccent 如何将你的声音转化为发音得分
当你朗读一个短语时,有几个问题很重要:**你发出了哪些音,完成了哪些单词,以及句子的流畅度如何?** HolosAccent 的全新评分流程结合这三方面的证据,生成一个得分。
翻译自英文 · 阅读原文
准备你的录音
首先,音频会被解码为标准格式:单声道、采样率 16 kHz。
系统会估算录音的信噪比。如果估算值低于 25 dB 且可使用噪声过滤,则在分析前应用 降噪滤波器。如果过滤失败,则继续使用原始录音。
随后将波形归一化,以符合语音分析模型的输入要求。静音以及时长不足半秒的录音会得到零分。
允许不同的发音
接下来,参考文本会使用 发音引擎 转换为音标。一个单词可以有多种被接受的形式。
发音集合包括:
- 英式和美式变体。
- 常见的弱化形式,例如 to 中的非重读元音。
- 选定的上下文替代。
例如,close the door 中的末尾辅音与 a close friend 中的不同。系统在处理句子时可以在支持的替代方案中进行选择。
听取声音,而不是重建单词
录音会通过 声学模型。模型在大约 20 毫秒的间隔 内为不同的语音音素提供证据。
这是一种录音的音素表示。评分器并不使用词级语言模型来重建句子。
系统随后以两种方式检查这些声学输出:
| 方法 | 作用 |
|---|---|
| 预期音对齐 | 为预期音找到最佳时机,并为每个单词选择完整的发音变体。 |
| 独立音识别 | 按模型偏好的音进行跟随,无需参考句子。 |
两种视角都很必要,因为对齐即使在说话者省略音时也能把预期音放在录音的某处。独立音识别则提供了实际说出内容的额外证据。
匹配还会考虑时序,使得一个词中的音难以被计作远处词的证据。
为每个音打分
对于每个对齐的音,评分器计算 发音准确度度量:模型在该时间段内对预期音的支持力度相对于竞争音的强度。
它还会考虑:
- 预期音的峰值概率。
- 独立音识别是否在附近找到了匹配音。
一个拟合的数学映射会把这些证据转化为 0 到 100 之间的音准得分。
若独立识别结果中缺失某音,并不会自动得到零分。声学证据仍然重要。
决定哪些单词需要关注
单词反馈将这些音值与显式错误检查相结合。一个单词必须:
- 有足够的证据表明它被说出。
- 达到配置的平均准确度阈值。
- 没有检测到替换、插入或严重的缺音错误。
明确的替换需要 对预期音的支持弱 且 对竞争音的支持强。
| 证据 | 当前阈值 |
|---|---|
| 对预期音的支持 | 低于 0.05 |
| 对其替代音的支持 | 至少 0.5 |
这些是 模型证据阈值,而非人类听者判断单词错误的概率。
对于被标记的单词,系统会返回预期的发音以及其对听到的音的估计,使用 International Phonetic Alphabet (IPA) 编写。该估计在词边界处可能不够完美。
构建句子得分
句子得分从以下拟合组合开始:
- 平均音准准确度。
- 独立音识别匹配的预期音比例。
- 每秒发出的语音音素数量。
- 单词之间的长停顿。
时间计算会排除第一个对齐音之前和最后一个之后的静音。
这些特征共同贡献 一个整体得分。当前实现并未提供单独的流利度、完整度或语调得分。
单词权重如何影响结果
评分器随后应用显式的 单词权重乘数。每个单词的权重取决于其选定发音中的音素数量。
| 单词结果 | 获得的权重 |
|---|---|
| 正确 | 完全权重 |
| 已说出但被标记 | 权重的四分之一 |
| 缺失 | 无权重 |
计算方式为:
word credit =
(correct sound weight + 0.25 × flagged spoken sound weight)
/ total expected sound weight
raw score =
sentence estimate, clipped to 0–100, × word credit
因此,一个长的错误单词通常比短的错误单词消耗更多分数。只朗读句子的一小段也会限制得分,即使该片段听起来很清晰。
将你的得分与参考对比
最后,系统可以使用 同一句子的参考录音 对原始得分进行归一化。
它使用相同的评分器版本对合成参考进行评分,并在已有可用匹配基线时应用:
displayed score = min(100, raw score / reference score × 100)
例如,原始得分 80 对比参考得分 88 时,约为 90.9。
此调整考虑到模型对参考录音本身也可能给出低于 100 的分数。
基线与以下内容关联:
- 参考的声音和语音生成模型。
- 评分模型。
- 词汇表。
- 校准和规则版本。
如果没有可匹配的基线或基线不可用,结果将保持原始得分。首次尝试因此可能保持未调整,待后续尝试准备好基线后再进行校正。
你的得分意味着什么
得到的数字是 HolosAccent 量表上的练习得分。
得分 90 并不意味着你的单词正确率为 90%,也不等同于 CEFR 等级或母语者水平。
该映射基于专家评分的录音进行拟合,但 全新评分系统仍属实验阶段,其完整的接受标准尚未验证。它可能漏掉错误或标记本应接受的发音。
单词的单独反馈以及多次尝试中的模式为解读该数字提供了上下文。