چگونه HolosAccent صدای شما را به یک نمرهٔ تلفظ تبدیل می‌کند

آماده‌سازی ضبط شما

اولاً، صدا به فرمت استانداردی رمزگشایی می‌شود: صدا به صورت مونو با نمونه‌برداری ۱۶ کیلوهرتز.

سیستم نسبت سیگنال به نویز ضبط را برآورد می‌کند. اگر این برآورد زیر ۲۵ dB بیفتد و فیلتر کردن نویز در دسترس باشد، یک فیلتر کاهش نویز را پیش از تحلیل اعمال می‌کند. اگر فیلتر کردن موفق نشود، ضبط اصلی ادامه می‌یابد.

سپس شکل موج برای مطابقت با نیازهای ورودی مدل تحلیل گفتار نرمال می‌شود. سکوت و ضبط‌هایی که کوتاه‌تر از نیم ثانیه هستند، نمره صفر دریافت می‌کنند.

اجازهٔ تلفظ‌های مختلف

سپس متن مرجع با استفاده از یک موتور تلفظ به تلفظ‌های فونتیکی تبدیل می‌شود. یک کلمه می‌تواند چندین شکل پذیرفته‌شده داشته باشد.

مجموعهٔ تلفظ شامل:

• گونه‌های بریتانیایی و آمریکایی.
• فرم‌های کاهش‌یافتهٔ رایج، مانند حرف صدادار بدون تأکید در to.
• گزینه‌های متنی انتخاب‌شده.

برای مثال، صامت نهایی در close the door با صامت نهایی در a close friend متفاوت است. سیستم می‌تواند در حین پردازش جمله، بین گزینه‌های پشتیبانی‌شده انتخاب کند.

گوش دادن به صداها، نه بازسازی کلمات

ضبط از طریق یک مدل آکوستیک عبور می‌کند. این مدل شواهدی برای صداهای مختلف گفتار در طول زمان تولید می‌کند، تقریباً هر ۲۰ میلی‌ثانیه یک‌بار.

این یک نمایش فونتیکی از ضبط است. نمره‌دهنده از مدل زبانی سطح کلمه برای بازسازی جمله استفاده نمی‌کند.

سیستم سپس این خروجی‌های آکوستیک را به دو روش بررسی می‌کند:

روش	چه کاری انجام می‌دهد
هم‌ترازی صداهای مورد انتظار	بهترین زمان‌بندی برای صداهای مورد انتظار را پیدا می‌کند و یک گزینهٔ کامل تلفظ برای هر کلمه انتخاب می‌کند.
تشخیص صدا به‌صورت مستقل	صداهایی که مدل ترجیح می‌دهد را دنبال می‌کند بدون اینکه به جملهٔ مرجع نیاز باشد.

هر دو دیدگاه ضروری هستند زیرا هم‌ترازی می‌تواند صدای مورد انتظار را در جایی از ضبط قرار دهد حتی وقتی گوینده آن را حذف کرده باشد. تشخیص صدا به‌صورت مستقل شواهد اضافی دربارهٔ آنچه واقعاً گفته شده فراهم می‌کند.

تطبیق همچنین زمان‌بندی را در نظر می‌گیرد، به‌طوری که سخت‌تر شود یک صدا در یک کلمه به‌عنوان شواهد برای کلمه‌ای دورتر محسوب شود.

نمره‌گذاری هر صدا

برای هر صدای هم‌تراز، نمره‌دهنده یک معیار دقت تلفظ را محاسبه می‌کند: چقدر مدل صدا را نسبت به صداهای رقیب در همان بازهٔ زمانی حمایت می‌کند.

همچنین در نظر می‌گیرد:

• احتمال اوج صداهای مورد انتظار.
• آیا تشخیص صدا به‌صورت مستقل صدای مطابقی در نزدیکی پیدا کرده است یا نه.

یک نگاشت ریاضیاتی تنظیم‌شده این شواهد را به یک مقدار دقت صدا بین ۰ تا ۱۰۰ تبدیل می‌کند.

صدایی که در نتیجهٔ تشخیص صدا به‌صورت مستقل گم شده باشد، به‌طور خودکار صفر دریافت نمی‌کند. شواهد آکوستیک همچنان مهم هستند.

تصمیم‌گیری دربارهٔ کلماتی که نیاز به توجه دارند

بازخورد کلمه این مقادیر صدا را با بررسی‌های صریح خطا ترکیب می‌کند. یک کلمه باید:

• شواهد کافی داشته باشد که گفته شده است.
• از آستانهٔ متوسط دقت تنظیم‌شده عبور کند.
• از جایگزینی، افزودن یا خطاهای جدی صداهای گمشدهٔ تشخیص‌داده‌شده جلوگیری کند.

جایگزینی‌های واضح نیاز به حمایت ضعیف برای صداهای مورد انتظار و حمایت قوی برای صداهای رقیب دارند.

شواهد	آستانهٔ فعلی
حمایت برای صداهای مورد انتظار	Below 0.05
حمایت برای جایگزین آن	At least 0.5

این‌ها آستانه‌های شواهد مدل هستند، نه احتمال‌هایی که یک شنوندهٔ انسانی برای نادرست‌دانستن کلمه استفاده می‌کند.

برای کلمات پرچم‌دار، سیستم تلفظ مورد انتظار و تخمین صداهای شنیده‌شده را که به الفبای فونتیک بین‌المللی (IPA) نوشته شده است، برمی‌گرداند. این تخمین می‌تواند به‌ویژه در مرزهای کلمات ناقص باشد.

ساخت نمرهٔ جمله

نمرهٔ جمله با ترکیبی تنظیم‌شده از موارد زیر شروع می‌شود:

• متوسط دقت صداها.
• سهم صداهای مورد انتظار که توسط تشخیص صدا به‌صورت مستقل مطابقت یافته‌اند.
• تعداد صداهای گفتاری که در هر ثانیه تلفظ می‌شوند.
• توقف‌های طولانی بین کلمات.

محاسبه زمان‌بندی سکوت قبل از اولین صدای هم‌تراز و پس از آخرین را حذف می‌کند.

این ویژگی‌ها به یک نمرهٔ کلی کمک می‌کنند. پیاده‌سازی فعلی امتیازهای جداگانهٔ روانی، کامل بودن یا لحن را برای کاربر ارائه نمی‌دهد.

چگونگی تأثیر اعتبار کلمه بر نتیجه

سپس نمره‌دهنده یک ضریب اعتبار کلمه صریح را اعمال می‌کند. هر کلمه بر اساس تعداد صداهای موجود در تلفظ انتخاب‌شده‌اش وزن داده می‌شود.

نتیجهٔ کلمه	اعتبار کسب‌شده
صحیح	وزن کامل
گفته‌شده اما پرچم‌دار	یک‌چهارم وزن آن
حذف‌شده	بدون اعتبار

محاسبه به این صورت است:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

در نتیجه، یک کلمهٔ نادرست طولانی معمولاً هزینهٔ بیشتری نسبت به یک کلمهٔ کوتاه دارد. خواندن تنها بخش کوچکی از جمله نیز نمره را محدود می‌کند، حتی اگر آن بخش واضح باشد.

مقایسهٔ نمرهٔ شما با مرجع

در نهایت، سیستم می‌تواند نمرهٔ خام را با استفاده از یک ضبط مرجع از همان عبارت نرمال‌سازی کند.

این ضبط مرجع را با همان نسخهٔ نمره‌دهنده ارزیابی می‌کند و وقتی یک پایهٔ مطابقت‌پذیر قابل استفاده در دسترس باشد، اعمال می‌کند:

displayed score = min(100, raw score / reference score × 100)

برای مثال، نمرهٔ خام ۸۰ در مقابل نمرهٔ مرجع ۸۸ تقریباً به ۹۰.۹ تبدیل می‌شود.

این تنظیم به این دلیل است که مدل ممکن است حتی به ضبط مرجع نیز کمتر از ۱۰۰ امتیاز بدهد.

پایه‌های مرجع به موارد زیر مرتبط هستند:

• صدای مرجع و مدل تولید گفتار.
• مدل نمره‌دهی.
• واژگان.
• نسخهٔ کالیبراسیون و قوانین.

اگر یک پایهٔ مرجع متناسب در دسترس یا قابل استفاده نباشد، نتیجه نمرهٔ خام خود را حفظ می‌کند. بنابراین یک تلاش اولیه می‌تواند بدون تنظیم باقی بماند تا یک پایهٔ مرجع برای تلاش‌های بعدی آماده شود.

معنای نمرهٔ شما

عدد حاصل یک نمرهٔ تمرینی بر مقیاس HolosAccent است.

نمرهٔ ۹۰ به این معنی نیست که ۹۰ درصد کلمات شما صحیح بوده‌اند، و همچنین معادل سطح CEFR یا برابری با گویندهٔ بومی نیست.

این نگاشت با استفاده از ضبط‌های ارزیابی‌شده توسط کارشناسان تنظیم شده است، اما سیستم نمره‌دهی جدید همچنان آزمایشی است و معیارهای پذیرش کامل آن هنوز تأیید نشده‌اند. ممکن است خطاها را از دست بدهد یا گفتار قابل قبول را پرچم‌گذاری کند.

بازخورد کلمه به‌صورت فردی و الگوهای مشاهده‌شده در تلاش‌های مکرر، زمینه‌ای برای تفسیر این عدد فراهم می‌کند.