Leveling the playing field : biais des systèmes de reconnaissance automatique de la parole dans les tests de compétence langagière
Carey Nelson (École de langues) et Carol Johnson (chargée de cours, École de langues)
L’utilisation des systèmes de la reconnaissance automatique de la parole (RAP) ont pris de l’ampleur dans les tests de connaissances. La technologie sert à faciliter l’évaluation des compétences orales des candidats. Ainsi, cette recherche quantitative vise à analyser les biais possibles liés à l’âge, au genre et à la langue maternelle dans un test de prononciation dont les résultats reposent sur la reconnaissance automatique de la parole (ASR-based scores). À partir d’échantillons de tests de prononciation, des résultats évalués par une personne et ceux évalués en utilisation un système de reconnaissance automatique de la parole sont comparés.
Au total, 1000 échantillons ont été extraits de 10 000 enregistrements de réponses à un test de compétence langagière en anglais offert par un département de langues d’une université (méthode d’échantillonnage stratifié).
2023-2025
Leveling the playing field: Bias in automatic scoring systems for pronunciation proficiency tests
This quantitative study analyzes the potential for age, gender, and first language (L1) biases in ASR-based (Automatic speech recognition) scores for a pronunciation proficiency test. Using existing pronunciation test samples, comparisons were made between human-rater scores and scores generated using ASR.
Stratified sampling was carried out by randomly choosing 1,000 samples from 10,000 recordings of responses to a university language department’s English proficiency test.