איך HolosAccent ממיר את הקול שלך לציון הגייה

הכנת ההקלטה שלך

ראשית, האודיו מפוענח לפורמט סטנדרטי: צליל מונו בדגימה של 16 קילוהרץ.

המערכת מעריכה את יחס האות לרעש של ההקלטה. אם ההערכה נופלת מתחת ל-25 dB ויש אפשרות לסינון רעש, היא מיישמת מסנן הפחתת רעש לפני הניתוח. אם הסינון נכשל, היא ממשיכה עם ההקלטה המקורית.

הגל הצורה מנורמל כדי להתאים לדרישות הקלט של מודל ניתוח הדיבור. שקט והקלטות קצרות יותר מחצי שנייה מקבלות ציון אפס.

התאמת הגיות שונות

לאחר מכן, הטקסט הרפרנס מומר להיגוי פונטי באמצעות מנוע הגייה. למילה יכולה להיות כמה צורות מקובלות.

המערכת כוללת את ההגיות הבאות:

• גרסאות בריטיות ואמריקאיות.
• צורות מצומצמות נפוצות, כגון האות הלא מודגשת במילה to.
• חלופות הקשריות נבחרות.

לדוגמה, העיצור הסופי ב-close the door שונה מזה ב-a close friend. המערכת יכולה לבחור בין החלופות הנתמכות בזמן עיבוד המשפט.

הקשבה לצלילים, לא בניית מילים מחדש

ההקלטה עוברת דרך מודל אקוסטי. הוא מייצר ראיות לצלילי דיבור שונים לאורך זמן, במרווחים של בערך 20 מילישניות.

זהו ייצוג פונטי של ההקלטה. מערכת הציון אינה משתמשת במודל שפה ברמת מילים כדי לבנות מחדש את המשפט.

המערכת בוחנת את הפלט האקוסטי באותן שני דרכים:

שיטה	מה היא עושה
יישור צליל-צפוי	מחפש את התזמון הטוב ביותר עבור הצלילים הצפויים, ובוחר גרסת הגייה מלאה לכל מילה.
זיהוי צלילים עצמאי	עוקב אחרי הצלילים שהמודל מעדיף ללא צורך במשפט הרפרנס.

שתי ההשקפות נדרשות מכיוון שהיישור יכול למקם צליל צפוי במקום כלשהו בהקלטה גם אם הדובר השמיט אותו. זיהוי צלילים עצמאי מספק ראיות נוספות לגבי מה שבאמת נאמר.

ההתאמה גם מתחשבת בתזמון, מה שמקשה על צליל במילה אחת להיחשב כראייה למילה מרוחקת.

דירוג כל צליל

עבור כל צליל מיושר, מערכת הציון מחשבת מדד דיוק הגייה: עד כמה המודל תומך בצליל הצפוי ביחס לצלילים מתחרים באותו מרווח זמן.

היא גם מתחשבת ב:

• ההסתברות השיא של הצליל הצפוי.
• האם זיהוי צלילים עצמאי מצא צליל תואם בקרבת מקום.

מיפוי מתמטי מותאם ממיר ראיות אלו לערך דיוק צליל בין 0 ל‑100.

צליל שחסר בתוצאת הזיהוי העצמאי אינו מקבל אוטומטית אפס. הראייה האקוסטית עדיין חשובה.

החלטה אילו מילים דורשות תשומת לב

משוב מילים משלב ערכי צלילים אלה עם בדיקות שגיאות מפורשות. מילה חייבת:

• להיות בעלת ראיות מספקות שהיא הושמעה.
• לעמוד בסף הדיוק הממוצע המוגדר.
• להימנע מהחלפות, הוספות או שגיאות חסר צליל חמורות שזוהו.

החלפות ברורות דורשות תמיכה חלשה בצליל הצפוי ותמיכה חזקה בצליל מתחרה.

ראייה	סף נוכחי
תמיכה בצליל הצפוי	מתחת ל0.05
תמיכה במחליף שלו	לפחות 0.5

אלו הם ספי ראיית מודל, ולא הסתברויות שהמאזין האנושי היה מחשיב את המילה כשגויה.

למילים שסומנו, המערכת מחזירה את ההגייה הצפויה והערכתה של הצלילים שנשמעו, כתובה באלפבית הפונטי הבינלאומי (IPA). הערכה זו יכולה להיות לא מושלמת, במיוחד סביב גבולות מילים.

בניית ציון המשפט

ציון המשפט מתחיל משילוב מותאם של:

• דיוק ממוצע של הצלילים.
• החלק של הצלילים הצפויים שתואם על ידי זיהוי צלילים עצמאי.
• מספר הצלילים המודברים לשנייה.
• הפסקות ארוכות בין מילים.

חישוב התזמון אינו כולל שקט לפני הצליל המיושר הראשון ולאחר האחרון.

תכונות אלו תורמות לציון כולל אחד. המימוש הנוכחי אינו מציג ציון נפרד של שטף, שלמות או אינטונציה למשתמש.

איך קרדיט מילים משפיע על התוצאה

מערכת הציון מיישמת לאחר מכן מכפיל קרדיט מילים מפורש. כל מילה משוקללת לפי מספר הצלילים בהגייה שנבחרה.

תוצאת מילה	קרדיט שהושג
נכונה	משקל מלא
הודברה אך סומנה	רבע מהמשקל שלה
הושמטה	אין קרדיט

החישוב הוא:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

כתוצאה מכך, מילה ארוכה שגויה בדרך כלל עולה יותר ממילה קצרה. קריאת רק חלק קטן מהמשפט גם מגבילה את הציון, אפילו אם הקטע הזה נשמע ברור.

השוואת הציון שלך עם הרפרנס

לבסוף, המערכת יכולה לנרמל את הציון הגולמי באמצעות הקלטת רפרנס של אותה משפט.

היא מדרגת את הרפרנס המוגש עם גרסת הציון זהה, וכאשר קו בסיס תואם זמין, היא מיישמת:

displayed score = min(100, raw score / reference score × 100)

לדוגמה, ציון גולמי של 80 מול ציון רפרנס של 88 הופך לכ‑בערך 90.9.

התאמה זו מתחשבת בעובדה שהמודל עשוי לתת אפילו להקלטת הרפרנס פחות מ‑100.

קווי בסיס קשורים ל:

• קול הרפרנס ומודל יצירת הדיבור.
• מודל הציון.
• המילון.
• גרסת הכיול והכללים.

אם קו בסיס תואם אינו זמין או בלתי שמיש, התוצאה נשארת בציון הגולמי שלה. ניסיון ראשון יכול ולכן להישאר ללא התאמה בעוד קו בסיס מוכן לניסיונות מאוחרים יותר.

מה משמעות הציון שלך

המספר המתקבל הוא ציון תרגול על סולם HolosAccent.

ציון של 90 אינו אומר ש‑90 אחוז מהמילים שלך היו נכונות, והוא אינו קובע רמת CEFR או שוויון לדובר ילידי.

המיפוי הותאם באמצעות הקלטות שדורגו מומחים, אך מערכת הציון החדשה נשארת ניסיונית וקריטריוני הקבלה המלאים שלה עדיין לא אומתו. היא יכולה לפספס שגיאות או לסמן דיבור קביל.

משוב מילים פרטני ותבניות לאורך ניסיונות חוזרים מספקים הקשר לפרש את המספר.