Πώς το HolosAccent Μετατρέπει τη Φωνή Σας σε Βαθμολογία Προφοράς

Προετοιμασία της ηχογράφησής σας

Αρχικά, το ήχο αποκωδικοποιείται σε ένα τυπικό φορμά: μονοφωνική ηχογράφηση με δειγματοληψία στα 16 kHz.

Το σύστημα εκτιμά το λόγο σήματος προς θόρυβο της ηχογράφησης. Αν αυτή η εκτίμηση πέσει κάτω από 25 dB και είναι διαθέσιμο το φιλτράρισμα θορύβου, εφαρμόζει φίλτρο μείωσης θορύβου πριν την ανάλυση. Αν το φιλτράρισμα αποτύχει, συνεχίζει με την αρχική ηχογράφηση.

Το κύμα ήχου κατόπιν κανονικοποιείται ώστε να ταιριάζει στις απαιτήσεις εισόδου του μοντέλου ανάλυσης ομιλίας. Η σιωπή και ηχογραφήσεις μικρότερες από μισό δευτερόλεπτο λαμβάνουν μηδενική βαθμολογία.

Επιτρέποντας διαφορετικές προφορές

Στη συνέχεια, το κείμενο αναφοράς μετατρέπεται σε φωνητικές προφορές χρησιμοποιώντας μια μηχανή προφοράς. Μια λέξη μπορεί να έχει πολλαπλές αποδεκτές μορφές.

Το σύνολο προφορών περιλαμβάνει:

• Βρετανικές και Αμερικανικές παραλλαγές.
• Συνηθισμένες μειωμένες μορφές, όπως το άτονο φωνήεν στο to.
• Επιλεγμένες συμφραζόμενες εναλλακτικές.

Για παράδειγμα, το τελικό σύμφωνο στο close the door διαφέρει από αυτό στο a close friend. Το σύστημα μπορεί να επιλέξει ανάμεσα στις υποστηριζόμενες εναλλακτικές καθώς επεξεργάζεται την πρόταση.

Ακρόαση ήχων, όχι ανασύνθεση λέξεων

Η ηχογράφηση περνάει από ένα ακουστικό μοντέλο. Παράγει στοιχεία για διαφορετικούς ήχους ομιλίας στο χρόνο, περίπου κάθε 20 χιλιοσκοπικά δευτερόλεπτα.

Αυτή είναι μια φωνητική αναπαράσταση της ηχογράφησης. Ο βαθμολογητής δεν χρησιμοποιεί μοντέλο γλώσσας επιπέδου λέξης για να ανασυνθέσει την πρόταση.

Το σύστημα στη συνέχεια εξετάζει αυτές τις ακουστικές εξόδους με δύο τρόπους:

Μέθοδος	Τι κάνει
Στοίχιση αναμενόμενου ήχου	Βρίσκει το καλύτερο χρονικό σημείο για τους αναμενόμενους ήχους, επιλέγοντας μια πλήρη παραλλαγή προφοράς για κάθε λέξη.
Ανεξάρτητη αναγνώριση ήχου	Ακολουθεί τους ήχους που προτιμά το μοντέλο χωρίς να απαιτεί την πρόταση αναφοράς.

Και οι δύο προσεγγίσεις είναι απαραίτητες επειδή η στοίχιση μπορεί να τοποθετήσει έναν αναμενόμενο ήχο κάπου στην ηχογράφηση ακόμη και αν ο ομιλητής τον παρέλειψε. Η ανεξάρτητη αναγνώριση ήχου παρέχει επιπλέον στοιχεία για το τι μιλήθηκε πραγματικά.

Η αντιστοίχιση λαμβάνει επίσης υπόψη το χρόνο, καθιστώντας πιο δύσκολο ένας ήχος σε μια λέξη να μετρηθεί ως στοιχείο για μια απομακρυσμένη λέξη.

Βαθμολόγηση κάθε ήχου

Για κάθε στοιχισμένο ήχο, ο βαθμολογητής υπολογίζει ένα μέτρο ακρίβειας προφοράς: πόσο ισχυρά το μοντέλο υποστηρίζει τον αναμενόμενο ήχο σε σχέση με τους ανταγωνιστικούς ήχους κατά το αντίστοιχο διάστημα.

Λαμβάνει επίσης υπόψη:

• Η μέγιστη πιθανότητα του αναμενόμενου ήχου.
• Αν η ανεξάρτητη αναγνώριση ήχου βρήκε έναν αντίστοιχο ήχο κοντά.

Μια προσαρμοσμένη μαθηματική απεικόνιση μετατρέπει αυτά τα στοιχεία σε τιμή ακρίβειας ήχου μεταξύ 0 και 100.

Ένας ήχος που λείπει από το αποτέλεσμα της ανεξάρτητης αναγνώρισης δεν λαμβάνει αυτόματα μηδέν. Τα ακουστικά στοιχεία παραμένουν σημαντικά.

Απόφαση για το ποιες λέξεις χρειάζονται προσοχή

Η ανατροφοδότηση λέξεων συνδυάζει αυτές τις τιμές ήχων με ρητούς ελέγχους σφαλμάτων. Μια λέξη πρέπει:

• Να έχει επαρκή στοιχεία ότι προφέρθηκε.
• Να πληροί το ρυθμισμένο όριο μέσης ακρίβειας.
• Να αποφεύγει εντοπισμένες αντικαταστάσεις, εισαγωγές ή σοβαρά σφάλματα λείποντος ήχου.

Σαφείς αντικαταστάσεις απαιτούν αδύναμη υποστήριξη για τον αναμενόμενο ήχο και ισχυρή υποστήριξη για έναν ανταγωνιστικό ήχο.

Απόδειξη	Τρέχον όριο
Υποστήριξη του αναμενόμενου ήχου	Κάτω από 0.05
Υποστήριξη της αντικατάστασής του	Τουλάχιστον 0.5

Αυτά είναι όρια αποδείξεων μοντέλου, όχι πιθανότητες που ένας ανθρώπινος ακροατής θα κρίνει τη λέξη λανθασμένη.

Για τις επισημασμένες λέξεις, το σύστημα επιστρέφει την αναμενόμενη προφορά και την εκτίμησή του για τους ήχους που ακούστηκαν, γραμμένα στην Διεθνή Φωνητική Αλφάβητο (IPA). Η εκτίμηση αυτή μπορεί να είναι ατελής, ειδικά γύρω από τα όρια των λέξεων.

Δημιουργία της βαθμολογίας πρότασης

Η βαθμολογία πρότασης ξεκινά με έναν προσαρμοσμένο συνδυασμό των παρακάτω:

• Μέση ακρίβεια ήχων.
• Το ποσοστό των αναμενόμενων ήχων που ταιριάζει η ανεξάρτητη αναγνώριση.
• Ο αριθμός των προφορικών ήχων ανά δευτερόλεπτο.
• Μακρές παύσεις μεταξύ λέξεων.

Ο υπολογισμός του χρόνου εξαιρεί τη σιωπή πριν από τον πρώτο στοιχισμένο ήχο και μετά τον τελευταίο.

Αυτά τα χαρακτηριστικά συμβάλλουν σε μια συνολική βαθμολογία. Η τρέχουσα υλοποίηση δεν παρέχει ξεχωριστές βαθμολογίες για ευχέρεια, πληρότητα ή τονισμό προς τον χρήστη.

Πώς η μονάδα λέξης επηρεάζει το αποτέλεσμα

Ο βαθμολογητής εφαρμόζει στη συνέχεια έναν ρητό πολλαπλασιαστή μονάδας λέξης. Κάθε λέξη ζυγίζεται ανάλογα με τον αριθμό των ήχων στην επιλεγμένη προφορά της.

Αποτέλεσμα λέξης	Πίστωση κερδισμένη
Σωστή	Πλήρη βαρύτητα
Προφερθείσα αλλά επισημασμένη	Ένα τέταρτο της βαρύτητάς της
Παραλειπόμενη	Καμία πίστωση

Ο υπολογισμός είναι:

word credit =
    (correct sound weight + 0.25 × flagged spoken sound weight)
    / total expected sound weight

raw score =
    sentence estimate, clipped to 0–100, × word credit

Κατά συνέπεια, μια μακριά λανθασμένη λέξη συνήθως κοστίζει περισσότερο από μια σύντομη. Η ανάγνωση μόνο ενός μικρού τμήματος της πρότασης επίσης περιορίζει τη βαθμολογία, ακόμη και αν το τμήμα αυτό ακούγεται καθαρό.

Σύγκριση της βαθμολογίας σας με την αναφορά

Τέλος, το σύστημα μπορεί να κανονικοποιήσει τη ακατέργαστη βαθμολογία χρησιμοποιώντας μια ηχογράφηση αναφοράς της ίδιας φράσης.

Βαθμολογεί την συνθετική αναφορά με την ίδια έκδοση βαθμολογητή και, όταν υπάρχει ήδη διαθέσιμο ένα χρήσιμο βασικό επίπεδο αντιστοίχισης, εφαρμόζει:

displayed score = min(100, raw score / reference score × 100)

Για παράδειγμα, μια ακατέργαστη βαθμολογία 80 έναντι μιας βαθμολογίας αναφοράς 88 γίνεται περίπου 90.9.

Αυτή η προσαρμογή λαμβάνει υπόψη το γεγονός ότι το μοντέλο μπορεί να δώσει ακόμη και στην ηχογράφηση αναφοράς λιγότερο από 100.

Τα βασικά επίπεδα συνδέονται με:

• Τη φωνή αναφοράς και το μοντέλο δημιουργίας ομιλίας.
• Το μοντέλο βαθμολόγησης.
• Το λεξιλόγιο.
• Την έκδοση βαθμονόμησης και κανόνων.

Αν δεν υπάρχει διαθέσιμο ή χρησιμοποιήσιμο βασικό επίπεδο αντιστοίχισης, το αποτέλεσμα διατηρεί την ακατέργαστη βαθμολογία του. Μια πρώτη προσπάθεια μπορεί επομένως να παραμείνει ακατάστατη ενώ προετοιμάζεται ένα βασικό επίπεδο για μετέπειτα προσπάθειες.

Τι σημαίνει η βαθμολογία σας

Ο αριθμός που προκύπτει είναι μια βαθμολογία εξάσκησης στη κλίμακα του HolosAccent.

Μια βαθμολογία 90 δεν σημαίνει ότι το 90 % των λέξεων σας ήταν σωστές, και δεν καθορίζει επίπεδο CEFR ή ισοδυναμία με φυσικό ομιλητή.

Η αντιστοίχηση έχει προσαρμοστεί χρησιμοποιώντας ηχογραφήσεις αξιολογημένες από ειδικούς, αλλά το νέο σύστημα βαθμολόγησης παραμένει πειραματικό και τα πλήρη κριτήρια αποδοχής του δεν έχουν ακόμη επαληθευτεί. Μπορεί να παραλείψει σφάλματα ή να επισημάνει αποδεκτή ομιλία.

Ατομική ανατροφοδότηση λέξεων και μοτίβα σε επαναλαμβανόμενες προσπάθειες παρέχουν το πλαίσιο για την ερμηνεία του αριθμού.