HolosAccent

HolosAccent 如何将你的声音转化为发音得分

当你朗读一个短语时,有几个问题很重要:**你发出了哪些音,完成了哪些单词,以及句子的流畅度如何?** HolosAccent 的全新评分流程结合这三方面的证据,生成一个得分。

HolosAccent· ·2 分钟阅读
✦✦✦ Murzik

翻译自英文 · 阅读原文

准备你的录音

首先,音频会被解码为标准格式:单声道、采样率 16 kHz。

系统会估算录音的信噪比。如果估算值低于 25 dB 且可使用噪声过滤,则在分析前应用 降噪滤波器。如果过滤失败,则继续使用原始录音。

随后将波形归一化,以符合语音分析模型的输入要求。静音以及时长不足半秒的录音会得到零分。

允许不同的发音

接下来,参考文本会使用 发音引擎 转换为音标。一个单词可以有多种被接受的形式。

发音集合包括:

  • 英式和美式变体。
  • 常见的弱化形式,例如 to 中的非重读元音。
  • 选定的上下文替代。

例如,close the door 中的末尾辅音与 a close friend 中的不同。系统在处理句子时可以在支持的替代方案中进行选择。

听取声音,而不是重建单词

录音会通过 声学模型。模型在大约 20 毫秒的间隔 内为不同的语音音素提供证据。

这是一种录音的音素表示。评分器并不使用词级语言模型来重建句子。

系统随后以两种方式检查这些声学输出:

方法 作用
预期音对齐 为预期音找到最佳时机,并为每个单词选择完整的发音变体。
独立音识别 按模型偏好的音进行跟随,无需参考句子。

两种视角都很必要,因为对齐即使在说话者省略音时也能把预期音放在录音的某处。独立音识别则提供了实际说出内容的额外证据。

匹配还会考虑时序,使得一个词中的音难以被计作远处词的证据。

为每个音打分

对于每个对齐的音,评分器计算 发音准确度度量:模型在该时间段内对预期音的支持力度相对于竞争音的强度。

它还会考虑:

  • 预期音的峰值概率。
  • 独立音识别是否在附近找到了匹配音。

一个拟合的数学映射会把这些证据转化为 0 到 100 之间的音准得分。

若独立识别结果中缺失某音,并不会自动得到零分。声学证据仍然重要。

决定哪些单词需要关注

单词反馈将这些音值与显式错误检查相结合。一个单词必须:

  • 有足够的证据表明它被说出。
  • 达到配置的平均准确度阈值。
  • 没有检测到替换、插入或严重的缺音错误。

明确的替换需要 对预期音的支持弱 且 对竞争音的支持强。

证据 当前阈值
对预期音的支持 低于 0.05
对其替代音的支持 至少 0.5

这些是 模型证据阈值,而非人类听者判断单词错误的概率。

对于被标记的单词,系统会返回预期的发音以及其对听到的音的估计,使用 International Phonetic Alphabet (IPA) 编写。该估计在词边界处可能不够完美。

构建句子得分

句子得分从以下拟合组合开始:

  • 平均音准准确度。
  • 独立音识别匹配的预期音比例。
  • 每秒发出的语音音素数量。
  • 单词之间的长停顿。

时间计算会排除第一个对齐音之前和最后一个之后的静音。

这些特征共同贡献 一个整体得分。当前实现并未提供单独的流利度、完整度或语调得分。

单词权重如何影响结果

评分器随后应用显式的 单词权重乘数。每个单词的权重取决于其选定发音中的音素数量。

单词结果 获得的权重
正确 完全权重
已说出但被标记 权重的四分之一
缺失 无权重

计算方式为:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

因此,一个长的错误单词通常比短的错误单词消耗更多分数。只朗读句子的一小段也会限制得分,即使该片段听起来很清晰。

将你的得分与参考对比

最后,系统可以使用 同一句子的参考录音 对原始得分进行归一化。

它使用相同的评分器版本对合成参考进行评分,并在已有可用匹配基线时应用:

displayed score = min(100, raw score / reference score × 100)

例如,原始得分 80 对比参考得分 88 时,约为 90.9。

此调整考虑到模型对参考录音本身也可能给出低于 100 的分数。

基线与以下内容关联:

  • 参考的声音和语音生成模型。
  • 评分模型。
  • 词汇表。
  • 校准和规则版本。

如果没有可匹配的基线或基线不可用,结果将保持原始得分。首次尝试因此可能保持未调整,待后续尝试准备好基线后再进行校正。

你的得分意味着什么

得到的数字是 HolosAccent 量表上的练习得分。

得分 90 并不意味着你的单词正确率为 90%,也不等同于 CEFR 等级或母语者水平。

该映射基于专家评分的录音进行拟合,但 全新评分系统仍属实验阶段,其完整的接受标准尚未验证。它可能漏掉错误或标记本应接受的发音。

单词的单独反馈以及多次尝试中的模式为解读该数字提供了上下文。

HolosAccent

听出差异,每天两分钟修正。

朗读一句话,HolosAccent 为每个音打分,并精准指出需要改进的音。Murzik 与你一起成长。