چگونه HolosAccent صدای شما را به یک امتیاز تلفظ تبدیل می‌کند

آماده‌سازی ضبط شما

در ابتدا، صدا به یک قالب استاندارد تبدیل می‌شود: صدای تک‌کاناله با نمونه‌برداری ۱۶ kHz.

سیستم نسبت سیگنال به نویز ضبط را برآورد می‌کند. اگر این برآورد زیر ۲۵ dB باشد و فیلتر نویز در دسترس باشد، یک فیلتر کاهش نویز را قبل از تحلیل اعمال می‌کند. اگر فیلتر موفق نشود، با ضبط اصلی ادامه می‌دهد.

سپس شکل موج نرمال‌سازی می‌شود تا با نیازهای ورودی مدل تحلیل گفتار سازگار باشد. سکوت و ضبط‌های کوتاه‌تر از نیم ثانیه امتیاز صفر دریافت می‌کنند.

اجازهٔ تلفظ‌های مختلف

در مرحله بعد، متن مرجع با استفاده از یک موتور تلفظ به تلفظ‌های آوایی تبدیل می‌شود. یک کلمه می‌تواند چندین شکل پذیرفته‌شده داشته باشد.

مجموعهٔ تلفظ شامل:

• گونه‌های بریتانیایی و آمریکایی.
• فرم‌های کاهش‌یافته رایج، مانند حرف صدادار بی‌تاکید در to.
• گزینه‌های زمینه‌ای انتخاب‌شده.

به عنوان مثال، صامت انتهایی در close the door با صامت انتهایی در a close friend متفاوت است. سیستم می‌تواند در هنگام پردازش جمله، بین گزینه‌های پشتیبانی‌شده انتخاب کند.

گوش دادن به صداها، نه بازسازی کلمات

ضبط از طریق یک مدل آکوستیک عبور می‌کند. این مدل شواهدی برای صداهای مختلف گفتار در طول زمان، تقریباً هر ۲۰ میلی‌ثانیه، تولید می‌کند.

این یک نمایش آوایی از ضبط است. امتیازدهنده از مدل زبانی سطح‑کلمه برای بازسازی جمله استفاده نمی‌کند.

سیستم سپس این خروجی‌های آکوستیک را به دو روش بررسی می‌کند:

روش	چه کاری انجام می‌دهد
هم‌ترازی صداهای مورد انتظار	بهترین زمان‌بندی برای صداهای مورد انتظار را پیدا می‌کند و یک شکل کامل تلفظ برای هر کلمه انتخاب می‌نماید.
تشخیص مستقل صدا	صداهایی که مدل ترجیح می‌دهد را دنبال می‌کند بدون اینکه به جمله مرجع نیاز داشته باشد.

هر دو دیدگاه ضروری‌اند چون هم‌ترازی ممکن است صداهای مورد انتظار را در ضبط قرار دهد حتی اگر گوینده آن‌ها را حذف کرده باشد. تشخیص مستقل صدا شواهد بیشتری دربارهٔ آنچه واقعاً گفته شده فراهم می‌کند.

هم‌خوانی همچنین زمان را در نظر می‌گیرد، به‌طوری که صدا در یک کلمه نتواند به‌عنوان شواهد برای کلمه‌ای دورتر محسوب شود.

امتیازدهی به هر صدا

برای هر صدای هم‌تراز، امتیازدهنده یک معیار دقت تلفظ محاسبه می‌کند: میزان پشتیبانی مدل از صدای مورد انتظار نسبت به صداهای رقیب در آن بازهٔ زمانی.

همچنین در نظر می‌گیرد:

• حداکثر احتمال صدای مورد انتظار.
• اینکه آیا تشخیص مستقل صدا صدای منطبق نزدیک پیدا کرده است یا نه.

یک تبدیل ریاضیاتی تنظیم‌شده این شواهد را به یک مقدار دقت صدا بین ۰ تا ۱۰۰ تبدیل می‌کند.

یک صدا که در نتیجهٔ تشخیص مستقل صدا گم شده باشد، به‌طور خودکار صفر نمی‌شود. شواهد آکوستیک همچنان مهم هستند.

تصمیم‌گیری دربارهٔ کلماتی که نیاز به توجه دارند

بازخورد کلمه این مقادیر صدا را با بررسی‌های خطای صریح ترکیب می‌کند. یک کلمه باید:

• شواهد کافی داشته باشد که گفته شده است.
• آستانهٔ متوسط دقت تنظیم‌شده را برآورده کند.
• از جایگزینی، افزودن یا خطاهای جدی فقدان صدا که شناسایی شده‌اند، جلوگیری کند.

جایگزینی واضح نیاز دارد به پشتیبانی ضعیف از صدای مورد انتظار و پشتیبانی قوی از صدای رقیب.

شواهد	آستانهٔ فعلی
پشتیبانی از صدای مورد انتظار	زیر 0.05
پشتیبانی از جایگزین آن	حداقل 0.5

این‌ها آستانه‌های شواهد مدل هستند، نه احتمال‌هایی که یک شنوندهٔ انسانی کلمه را نادرست قضاوت کند.

برای کلمات پرچم‌دار، سیستم تلفظ مورد انتظار و برآورد صداهای شنیده‌شده را که به الفبای آوانگاری بین‌المللی (IPA) نوشته شده است، باز می‌گرداند. این برآورد ممکن است ناقص باشد، به‌ویژه در مرزهای کلمات.

ساخت امتیاز جمله

امتیاز جمله با ترکیبی تنظیم‌شده از موارد زیر شروع می‌شود:

• دقت متوسط صدا.
• نسبت صداهای مورد انتظار که توسط تشخیص مستقل صدا مطابقت داده شده‌اند.
• تعداد صداهای گفتاری که در هر ثانیه تلفظ می‌شوند.
• وقفه‌های طولانی بین کلمات.

محاسبه زمان، سکوت قبل از اولین صدای هم‌تراز و پس از آخرین صدا را حذف می‌کند.

این ویژگی‌ها به یک امتیاز کلی منجر می‌شوند. پیاده‌سازی فعلی امتیازهای جداگانهٔ روانی، کامل بودن یا لحن را برای کاربر ارائه نمی‌دهد.

تأثیر اعتبار کلمه بر نتیجه

سپس امتیازدهنده یک ضریب اعتبار کلمه صریح اعمال می‌کند. وزن هر کلمه بر اساس تعداد صداهای موجود در تلفظ انتخابی آن محاسبه می‌شود.

نتیجهٔ کلمه	اعتبار کسب‌شده
صحیح	وزن کامل
گفته‌شده اما پرچم‌دار	یک‌چهارم وزن آن
حذف‌شده	بدون اعتبار

محاسبه به این شکل است:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

در نتیجه، یک کلمهٔ نادرست طولانی معمولاً هزینهٔ بیشتری نسبت به یک کلمهٔ کوتاه دارد. فقط خواندن بخش کوچکی از جمله نیز امتیاز را محدود می‌کند، حتی اگر آن قطعه واضح به‌نظر برسد.

مقایسهٔ امتیاز شما با مرجع

در نهایت، سیستم می‌تواند امتیاز خام را با استفاده از یک ضبط مرجع از همان عبارت نرمال‌سازی کند.

این مرجع ترکیبی را با همان نسخهٔ امتیازدهنده ارزیابی می‌کند و وقتی یک پایهٔ مقایسهٔ قابل استفاده در دسترس باشد، اعمال می‌کند:

displayed score = min(100, raw score / reference score × 100)

به عنوان مثال، امتیاز خام ۸۰ در مقابل امتیاز مرجع ۸۸ تقریباً به ۹۰.۹ تبدیل می‌شود.

این تنظیم به این واقعیت توجه دارد که مدل ممکن است حتی به ضبط مرجع کمتر از ۱۰۰ امتیاز بدهد.

پایه‌ها به موارد زیر مرتبط هستند:

• صدای مرجع و مدل تولید گفتار.
• مدل امتیازدهی.
• واژگان.
• نسخهٔ کالیبراسیون و قوانین.

اگر پایهٔ مقایسهٔ مناسب در دسترس نباشد یا قابل استفاده نباشد، نتیجه امتیاز خام خود را حفظ می‌کند. بنابراین یک تلاش اولیه می‌تواند بدون تنظیم باقی بماند تا پایه‌ای برای تلاش‌های بعدی آماده شود.

معنای امتیاز شما

عدد حاصل یک امتیاز تمرینی بر مقیاس HolosAccent است.

امتیاز ۹۰ به این معنی نیست که ۹۰ درصد کلمات شما صحیح بوده‌اند و همچنین سطح CEFR یا معادل‌سازی با گویش‌گر بومی را تعیین نمی‌کند.

این نگاشت با استفاده از ضبط‌های ارزیابی‌شده توسط کارشناسان تنظیم شده است، اما سیستم امتیازدهی جدید همچنان آزمایشی است و معیارهای پذیرش کامل آن هنوز تأیید نشده‌اند. ممکن است خطاهایی را از دست بدهد یا گفتار قابل قبول را پرچم‌گذاری کند.

بازخورد کلمه به‌صورت جداگانه و الگوهای مشاهده‌شده در تلاش‌های مکرر، زمینه‌ای برای تفسیر این عدد فراهم می‌کنند.