چگونه HolosAccent صدای شما را به امتیاز تلفظ تبدیل می‌کند

آماده‌سازی ضبط شما

در ابتدا، صدا به یک قالب استاندارد تبدیل می‌شود: صدای تک‌کاناله با نمونه‌برداری ۱۶ کیلوهرتز.

سیستم نسبت سیگنال به نویز ضبط را برآورد می‌کند. اگر این برآورد زیر ۲۵ دسی‌بل باشد و فیلتر نویز در دسترس باشد، یک فیلتر کاهش نویز را پیش از تحلیل اعمال می‌کند. اگر فیلتر کردن موفق نشود، با ضبط اصلی ادامه می‌دهد.

سپس شکل موج برای مطابقت با نیازهای ورودی مدل تحلیل گفتار نرمال می‌شود. سکوت و ضبط‌های کوتاه‌تر از نیم ثانیه امتیاز صفر دریافت می‌کنند.

اجازهٔ تلفظ‌های مختلف

در ادامه، متن مرجع با استفاده از یک موتور تلفظ به تلفظ‌های آوایی تبدیل می‌شود. یک کلمه می‌تواند چندین شکل پذیرفته‌شده داشته باشد.

مجموعهٔ تلفظ شامل:

• انواع بریتانیایی و آمریکایی.
• اشکال کاهش‌یافتهٔ رایج، مانند حرف صدادار بدون تأکید در to.
• گزینه‌های متنی انتخاب‌شده.

به عنوان مثال، صامت انتهایی در close the door با صامت انتهایی در a close friend متفاوت است. سیستم می‌تواند در حین پردازش جمله، بین گزینه‌های پشتیبانی‌شده انتخاب کند.

گوش دادن به صداها، نه بازسازی کلمات

ضبط از طریق یک مدل صوتی عبور می‌کند. این مدل شواهدی برای صداهای مختلف گفتاری در طول زمان، تقریباً در فواصل ۲۰ میلی‌ثانیه‌ای تولید می‌کند.

این یک بازنمایی آوایی از ضبط است. امتیازدهنده از مدل زبانی سطح‑کلمه برای بازسازی جمله استفاده نمی‌کند.

سیستم سپس این خروجی‌های صوتی را به دو روش بررسی می‌کند:

روش	چه کاری انجام می‌دهد
Expected-sound alignment	بهترین زمان‌بندی برای صداهای مورد انتظار را پیدا می‌کند و برای هر کلمه یک شکل کامل تلفظ را انتخاب می‌کند.
Independent sound recognition	صداهایی که مدل ترجیح می‌دهد را دنبال می‌کند بدون اینکه به جملهٔ مرجع نیاز داشته باشد.

هر دو دیدگاه لازم هستند زیرا هم‌ترازی می‌تواند صدای مورد انتظار را در جایی از ضبط قرار دهد حتی اگر گوینده آن را حذف کرده باشد. تشخیص مستقل صدا شواهد بیشتری دربارهٔ آنچه واقعاً گفته شده فراهم می‌کند.

هم‌خوانی همچنین زمان را در نظر می‌گیرد، به‌طوری که صدا در یک کلمه به‌راحتی به‌عنوان شواهد برای کلمه‌ای دورتر محسوب نشود.

امتیازدهی به هر صدا

برای هر صدای هم‌تراز، امتیازدهنده یک معیار دقت تلفظ محاسبه می‌کند: میزان پشتیبانی مدل از صدای مورد انتظار نسبت به صداهای رقیب در آن بازه زمانی چقدر است.

همچنین در نظر می‌گیرد:

• احتمال اوج صدای مورد انتظار.
• آیا تشخیص مستقل صدا صدای منطبق در نزدیکی پیدا کرده است یا نه.

یک نگاشت ریاضیاتی تنظیم‌شده این شواهد را به یک مقدار دقت صدا بین ۰ تا ۱۰۰ تبدیل می‌کند.

یک صدا که در نتیجهٔ تشخیص مستقل یافت نشود به‌طور خودکار صفر نمی‌شود. شواهد صوتی همچنان مهم هستند.

تصمیم‌گیری دربارهٔ کلماتی که نیاز به توجه دارند

بازخورد کلمه این مقادیر صدا را با بررسی‌های صریح خطا ترکیب می‌کند. یک کلمه باید:

• شواهد کافی داشته باشد که گفت شده است.
• آستانهٔ متوسط دقت تنظیم‌شده را برآورده کند.
• از جایگزینی، افزودن یا خطاهای جدی فقدان صداهای شناسایی‌شده جلوگیری کند.

جایگزینی‌های واضح نیاز به پشتیبانی ضعیف از صدای مورد انتظار و پشتیبانی قوی از صدای رقیب دارند.

شواهد	آستانهٔ فعلی
پشتیبانی از صدای مورد انتظار	کمتر از 0.05
پشتیبانی از جایگزین آن	حداقل 0.5

این‌ها آستانه‌های شواهد مدل هستند، نه احتمال‌هایی که یک شنوندهٔ انسانی کلمه را نادرست قضاوت کند.

برای کلمات پرچم‌دار، سیستم تلفظ مورد انتظار و تخمین صداهای شنیده‌شده را که به الفبای آوانگاری بین‌المللی (IPA) نوشته شده است، برمی‌گرداند. این تخمین ممکن است ناقص باشد، به‌ویژه در مرزهای کلمات.

ساخت امتیاز جمله

امتیاز جمله با ترکیبی تنظیم‌شده از موارد زیر شروع می‌شود:

• دقت متوسط صدا.
• نسبت صداهای مورد انتظار که توسط تشخیص مستقل صدا مطابقت یافته‌اند.
• تعداد صداهای گفتاری که در هر ثانیه تلفظ می‌شوند.
• وقفه‌های طولانی بین کلمات.

محاسبه زمان، سکوت قبل از اولین صدای هم‌تراز و پس از آخرین صدا را در نظر نمی‌گیرد.

این ویژگی‌ها به یک امتیاز کلی منجر می‌شوند. پیاده‌سازی فعلی امتیازهای جداگانهٔ روانی، کامل بودن یا لحن را برای کاربر نشان نمی‌دهد.

چگونگی تأثیر اعتبار کلمه بر نتیجه

سپس امتیازدهنده یک ضرب‌کنندهٔ اعتبار کلمه صریح اعمال می‌کند. وزن هر کلمه بر اساس تعداد صداهای موجود در تلفظ انتخابی آن محاسبه می‌شود.

نتیجهٔ کلمه	اعتبار کسب‌شده
صحیح	وزن کامل
گفته شده اما پرچم‌دار	یک‌چهارم وزن آن
حذف شده	بدون اعتبار

محاسبه به این شکل است:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

در نتیجه، یک کلمهٔ نادرست طولانی معمولاً هزینهٔ بیشتری نسبت به یک کلمهٔ کوتاه دارد. فقط خواندن بخش کوچکی از جمله نیز امتیاز را محدود می‌کند، حتی اگر آن قطعه واضح به‌نظر برسد.

مقایسهٔ امتیاز شما با مرجع

در نهایت، سیستم می‌تواند امتیاز خام را با استفاده از یک ضبط مرجع از همان عبارت نرمال‌سازی کند.

آن ضبط مرجع را با همان نسخهٔ امتیازدهنده ارزیابی می‌کند و وقتی یک پایهٔ مقایسه‌ای قابل استفاده در دسترس باشد، اعمال می‌کند:

displayed score = min(100, raw score / reference score × 100)

به عنوان مثال، امتیاز خام ۸۰ در مقابل امتیاز مرجع ۸۸ تقریباً به ۹۰٫۹ تبدیل می‌شود.

این تنظیم به این واقعیت توجه دارد که مدل ممکن است حتی به ضبط مرجع نیز کمتر از ۱۰۰ امتیاز بدهد.

پایه‌ها به موارد زیر وابسته‌اند:

• صدای مرجع و مدل تولید گفتار.
• مدل امتیازدهی.
• واژگان.
• نسخهٔ کالیبراسیون و قوانین.

اگر یک پایهٔ مقایسه‌ای در دسترس یا قابل استفاده نباشد، نتیجه امتیاز خام خود را حفظ می‌کند. بنابراین یک تلاش اولیه می‌تواند بدون تنظیم باقی بماند تا پایه‌ای برای تلاش‌های بعدی آماده شود.

معنای امتیاز شما

عدد حاصل یک امتیاز تمرینی بر مقیاس HolosAccent است.

یک امتیاز ۹۰ به این معنی نیست که ۹۰ درصد از کلمات شما صحیح بوده‌اند و همچنین معادل سطح CEFR یا تسلط بومی نیست.

این نگاشت با استفاده از ضبط‌های ارزیابی‌شده توسط کارشناسان تنظیم شده است، اما سیستم امتیازدهی جدید همچنان آزمایشی است و معیارهای کامل پذیرش آن هنوز تأیید نشده‌اند. ممکن است خطاها را از دست بدهد یا گفتار قابل قبول را پرچم‌گذاری کند.

بازخورد کلمه به کلمهٔ فردی و الگوها در تلاش‌های مکرر، زمینه‌ای برای تفسیر عدد فراهم می‌کنند.