HolosAccent가 당신의 목소리를 발음 점수로 바꾸는 방법

녹음 준비하기

먼저, 오디오를 표준 형식으로 디코딩합니다: mono sound sampled at 16 kHz.

시스템은 녹음의 신호대잡음비(SNR)를 추정합니다. 추정값이 25 dB 이하이고 잡음 필터링이 가능하면, 분석 전에 a noise-reduction filter를 적용합니다. 필터링에 실패하면 원본 녹음으로 계속 진행합니다.

그 후 파형을 음성 분석 모델의 입력 요구사항에 맞게 정규화합니다. 0.5초보다 짧은 녹음이나 무음은 0점이 부여됩니다.

다양한 발음 허용하기

다음으로, 기준 텍스트를 a pronunciation engine을 사용해 음성학적 발음으로 변환합니다. 하나의 단어에 여러 허용 형태가 있을 수 있습니다.

발음 집합에는 다음이 포함됩니다:

• 영국식 및 미국식 변형.
• 일반적인 축약 형태, 예를 들어 to의 강세 없는 모음.
• 선택된 문맥적 대안.

예를 들어, close the door의 마지막 자음은 a close friend의 마지막 자음과 다릅니다. 시스템은 문장을 처리하면서 지원되는 대안 중 하나를 선택할 수 있습니다.

단어를 재구성하지 않고 소리만 듣기

녹음은 an acoustic model을 통과합니다. 모델은 약 20-millisecond intervals 간격으로 시간에 따라 다양한 말소리에 대한 증거를 생성합니다.

이는 녹음의 음성학적 표현입니다. 채점자는 문장을 재구성하기 위해 단어 수준 언어 모델을 사용하지 않습니다.

시스템은 이러한 음향 출력물을 두 가지 방식으로 검사합니다:

방법	무엇을 하는가
Expected-sound alignment	예상되는 소리들의 최적 타이밍을 찾아 각 단어에 완전한 발음 변형을 선택합니다.
Independent sound recognition	기준 문장이 필요 없이 모델이 선호하는 소리를 따릅니다.

두 관점 모두 필요합니다. 정렬은 화자가 소리를 생략했더라도 녹음 어딘가에 예상 소리를 배치할 수 있기 때문입니다. 독립 소리 인식은 실제로 발음된 내용에 대한 추가 증거를 제공합니다.

매칭은 타이밍도 고려하므로 한 단어의 소리가 먼 다른 단어의 증거로 사용되기 어렵습니다.

각 소리 채점하기

정렬된 각 소리에 대해 채점자는 pronunciation accuracy measure를 계산합니다: 해당 구간 동안 모델이 예상 소리를 경쟁 소리 대비 얼마나 강하게 지지하는지.

또한 다음을 고려합니다:

• 예상 소리의 최고 확률.
• 독립 소리 인식이 근처에서 일치하는 소리를 찾았는지 여부.

맞춤 수학적 매핑을 통해 이 증거를 0에서 100 사이의 sound accuracy value로 변환합니다.

독립 인식 결과에 소리가 없다고 해서 자동으로 0점이 되는 것은 아닙니다. 음향 증거는 여전히 중요합니다.

어떤 단어에 주의가 필요한지 결정하기

단어 피드백은 이러한 소리 값과 명시적 오류 검사를 결합합니다. 단어는 다음을 만족해야 합니다:

• 발음되었다는 충분한 증거가 있어야 함.
• 설정된 평균 정확도 임계값을 충족해야 함.
• 감지된 치환, 삽입, 혹은 심각한 누락 소리 오류가 없어야 함.

명확한 치환은 weak support for the expected sound와 strong support for a competing sound을 필요로 합니다.

증거	현재 임계값
예상 소리에 대한 지원	Below 0.05
대체 소리에 대한 지원	At least 0.5

이것은 model evidence thresholds이며, 인간 청취자가 단어를 틀렸다고 판단할 확률이 아닙니다.

플래그된 단어에 대해 시스템은 International Phonetic Alphabet (IPA) 로 표기된 예상 발음과 청취된 소리 추정을 반환합니다. 이 추정은 특히 단어 경계에서 완벽하지 않을 수 있습니다.

문장 점수 만들기

문장 점수는 다음의 맞춤 조합으로 시작합니다:

• 평균 소리 정확도.
• 독립 소리 인식이 일치시킨 예상 소리 비율.
• 초당 발음된 말소리 수.
• 단어 사이의 긴 멈춤.

타이밍 계산은 첫 정렬 소리 이전과 마지막 정렬 소리 이후의 무음을 제외합니다.

이러한 특징들은 하나의 전체 점수에 기여합니다. 현재 구현에서는 사용자에게 별도의 유창성, 완전성, 억양 점수를 제공하지 않습니다.

단어 가중치가 결과에 미치는 영향

채점자는 이후 명시적인 word-credit multiplier를 적용합니다. 각 단어는 선택된 발음에 포함된 소리 수만큼 가중됩니다.

단어 결과	획득한 가중치
Correct	Full weight
Spoken but flagged	One quarter of its weight
Omitted	No credit

계산식은 다음과 같습니다:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

따라서 길고 틀린 단어는 짧은 단어보다 보통 더 큰 비용을 초래합니다. 문장의 일부분만 읽어도 그 조각이 명확하더라도 점수가 제한됩니다.

점수를 기준 녹음과 비교하기

마지막으로, 시스템은 reference recording of the same phrase를 사용해 원점수를 정규화할 수 있습니다.

동일한 채점 버전으로 합성된 기준을 채점하고, 사용 가능한 매칭 베이스라인이 이미 존재하면 다음을 적용합니다:

displayed score = min(100, raw score / reference score × 100)

예를 들어, 원점수 80에 기준 점수 88을 적용하면 약 90.9가 됩니다.

이 조정은 모델이 기준 녹음조차도 100점 미만을 줄 수 있다는 사실을 반영합니다.

베이스라인은 다음에 연결됩니다:

• 기준 음성 및 음성 생성 모델.
• 채점 모델.
• 어휘.
• 보정 및 규칙 버전.

매칭 베이스라인이 없거나 사용할 수 없을 경우 결과는 원점수를 유지합니다. 첫 시도는 베이스라인이 준비될 때까지 조정되지 않을 수 있습니다.

점수가 의미하는 바

결과 숫자는 HolosAccent의 스케일에 따른 연습 점수입니다.

점수 90은 당신의 단어 90%가 정확했다는 의미가 아니며, CEFR 수준이나 원어민 동등성을 나타내지도 않습니다.

전문가가 평가한 녹음을 사용해 매핑을 맞추었지만, new scoring system remains experimental이며 전체 수용 기준이 아직 검증되지 않았습니다. 오류를 놓치거나 허용 가능한 발음을 플래그할 수 있습니다.

개별 단어 피드백과 반복 시도 간 패턴은 숫자를 해석하는 데 도움이 됩니다.