چگونه HolosAccent صدای شما را به امتیاز تلفظ تبدیل می‌کند

آماده‌سازی ضبط شما

در ابتدا، صوت به فرمت استانداردی تبدیل می‌شود: صدای تک‌کاناله با نمونه‌برداری ۱۶ kHz.

سیستم نسبت سیگنال به نویز ضبط را برآورد می‌کند. اگر این برآورد زیر ۲۵ dB باشد و فیلتر نویز در دسترس باشد، یک فیلتر کاهش نویز را پیش از تحلیل اعمال می‌کند. اگر فیلتر کردن موفق نشود، با ضبط اصلی ادامه می‌دهد.

سپس شکل موج به‌گونه‌ای نرمال‌سازی می‌شود که با نیازهای ورودی مدل تحلیل گفتار سازگار باشد. سکوت و ضبط‌های کوتاه‌تر از نیم ثانیه امتیاز صفر دریافت می‌کنند.

اجازه دادن به تلفظ‌های مختلف

در مرحله بعد، متن مرجع با استفاده از یک موتور تلفظ به تلفظ‌های آوایی تبدیل می‌شود. یک کلمه می‌تواند چندین شکل پذیرفته‌شده داشته باشد.

مجموعه تلفظ شامل موارد زیر است:

• گونه‌های بریتانیایی و آمریکایی.
• فرم‌های کاهش‌یافته رایج، مانند حرف صدادار بدون تأکید در to.
• گزینه‌های زمینه‌ای انتخاب‌شده.

به‌عنوان مثال، صامت نهایی در close the door با صامت موجود در a close friend متفاوت است. سیستم می‌تواند در حین پردازش جمله، بین گزینه‌های پشتیبانی‌شده انتخاب کند.

گوش دادن به صداها، نه بازسازی کلمات

ضبط از طریق یک مدل آکوستیک عبور می‌کند. این مدل شواهدی برای صداهای مختلف گفتار در طول زمان، تقریباً در فواصل ۲۰ میلی‌ثانیه‌ای تولید می‌کند.

این یک بازنمایی آوایی از ضبط است. امتیازدهنده از مدل زبانی سطح کلمه برای بازسازی جمله استفاده نمی‌کند.

سپس سیستم این خروجی‌های آکوستیک را به دو روش بررسی می‌کند:

روش	توضیح
Expected-sound alignment	بهترین زمان‌بندی برای صداهای مورد انتظار را پیدا می‌کند و یک گونه کامل از تلفظ را برای هر کلمه انتخاب می‌نماید.
Independent sound recognition	صداهایی که مدل ترجیح می‌دهد را دنبال می‌کند بدون اینکه به جمله مرجع نیاز داشته باشد.

هر دو دیدگاه ضروری هستند زیرا هم‌ترازی می‌تواند صدای مورد انتظار را در جایی از ضبط قرار دهد حتی اگر گوینده آن را حذف کرده باشد. تشخیص مستقل صدا شواهد اضافی دربارهٔ آنچه واقعاً گفته شده است فراهم می‌کند.

هم‌خوانی همچنین زمان‌بندی را در نظر می‌گیرد، به‌طوری که استفاده از صدای یک کلمه به‌عنوان شواهد برای کلمه‌ای دورتر دشوارتر می‌شود.

امتیازدهی به هر صدا

برای هر صدای هم‌تراز، امتیازدهنده معیاری برای دقت تلفظ محاسبه می‌کند: میزان پشتیبانی مدل از صدای مورد انتظار نسبت به صداهای رقیب در آن بازه زمانی چقدر است.

همچنین موارد زیر را در نظر می‌گیرد:

• احتمال اوج صدای مورد انتظار.
• آیا تشخیص مستقل صدا صدای مطابقی در نزدیکی پیدا کرده است.

یک نگاشت ریاضی تنظیم‌شده این شواهد را به مقدار دقت صدا بین ۰ تا ۱۰۰ تبدیل می‌کند.

صدایی که در نتیجهٔ تشخیص مستقل صدا گم شده باشد، به‌طور خودکار صفر دریافت نمی‌کند. شواهد آکوستیک همچنان مهم هستند.

تصمیم‌گیری درباره کلماتی که نیاز به توجه دارند

بازخورد کلمه این مقادیر صدا را با بررسی‌های خطای صریح ترکیب می‌کند. یک کلمه باید:

• شواهد کافی برای گفتن آن داشته باشد.
• آستانهٔ متوسط دقت تنظیم‌شده را برآورده کند.
• از جایگزینی، افزودن یا خطاهای جدی فقدان صدا که شناسایی شده‌اند، جلوگیری کند.

جایگزینی‌های واضح نیاز به پشتیبانی ضعیف از صدای مورد انتظار و پشتیبانی قوی از صدای رقیب دارند.

شواهد	آستانهٔ فعلی
پشتیبانی از صدای مورد انتظار	کمتر از 0.05
پشتیبانی از جایگزین آن	حداقل 0.5

این‌ها آستانه‌های شواهد مدل هستند، نه احتمال‌هایی که یک شنوندهٔ انسانی کلمه را نادرست قضاوت کند.

برای کلمات پرچم‌دار، سیستم تلفظ مورد انتظار و برآورد صداهای شنیده‌شده را که به الفبای آوانگاری بین‌المللی (IPA) نوشته شده است، باز می‌گرداند. این برآورد ممکن است ناقص باشد، به‌ویژه در مرزهای کلمات.

ساخت امتیاز جمله

امتیاز جمله با ترکیبی تنظیم‌شده از موارد زیر آغاز می‌شود:

• دقت متوسط صدا.
• نسبت صداهای مورد انتظار که توسط تشخیص مستقل صدا مطابقت یافته‌اند.
• تعداد صداهای گفتاری که در هر ثانیه تلفظ می‌شوند.
• وقفه‌های طولانی بین کلمات.

محاسبه زمان‌بندی سکوت قبل از اولین صدای هم‌تراز و پس از آخرین را در نظر نمی‌گیرد.

این ویژگی‌ها به یک امتیاز کلی کمک می‌کنند. پیاده‌سازی فعلی امتیازهای جداگانهٔ روانی، کامل بودن یا لحن را برای کاربر ارائه نمی‌دهد.

چگونه اعتبار کلمه بر نتیجه تأثیر می‌گذارد

سپس امتیازدهنده یک ضریب اعتبار کلمه صریح اعمال می‌کند. هر کلمه بر اساس تعداد صداهای موجود در تلفظ انتخابی‌اش وزن‌دهی می‌شود.

نتیجهٔ کلمه	اعتبار کسب‌شده
صحیح	وزن کامل
گفته‌شده اما پرچم‌دار	یک‌چهارم وزن آن
حذف‌شده	بدون اعتبار

محاسبه به‌صورت زیر است:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

در نتیجه، یک کلمهٔ نادرست طولانی معمولاً هزینهٔ بیشتری نسبت به یک کلمهٔ کوتاه دارد. فقط خواندن بخش کوچکی از جمله نیز امتیاز را محدود می‌کند، حتی اگر آن قطعه واضح به‌نظر برسد.

مقایسه امتیاز شما با مرجع

در نهایت، سیستم می‌تواند امتیاز خام را با استفاده از ضبط مرجع همان عبارت نرمال‌سازی کند.

این مرجع ترکیبی را با همان نسخهٔ امتیازدهنده ارزیابی می‌کند و وقتی یک مبنای مقایسهٔ قابل استفاده در دسترس باشد، اعمال می‌کند:

displayed score = min(100, raw score / reference score × 100)

به‌عنوان مثال، یک امتیاز خام ۸۰ در مقابل امتیاز مرجع ۸۸ تقریباً به ۹۰.۹ تبدیل می‌شود.

این تنظیم برای این است که مدل ممکن است حتی به ضبط مرجع نیز کمتر از ۱۰۰ امتیاز بدهد.

مبنای‌ها به موارد زیر مرتبط هستند:

• صدای مرجع و مدل تولید گفتار.
• مدل امتیازدهی.
• واژگان.
• نسخهٔ کالیبراسیون و قوانین.

اگر یک مبنای مقایسهٔ مناسب در دسترس یا قابل استفاده نباشد، نتیجه امتیاز خام خود را حفظ می‌کند. بنابراین یک تلاش اولیه می‌تواند بدون تنظیم باقی بماند تا مبنایی برای تلاش‌های بعدی آماده شود.

معنای امتیاز شما

عدد حاصل یک امتیاز تمرینی بر مقیاس HolosAccent است.

امتیاز ۹۰ به این معنا نیست که ۹۰ درصد کلمات شما صحیح بوده‌اند و همچنین معادل سطح CEFR یا تسلط بومی نیست.

این نگاشت با استفاده از ضبط‌های ارزیابی‌شده توسط کارشناسان تنظیم شده است، اما سیستم امتیازدهی جدید همچنان آزمایشی است و معیارهای پذیرش کامل آن هنوز تأیید نشده‌اند. ممکن است خطاها را از دست بدهد یا گفتار قابل قبول را پرچم‌گذاری کند.

بازخورد کلمه به‌صورت فردی و الگوها در تلاش‌های مکرر زمینه‌ای برای تفسیر این عدد فراهم می‌کنند.