Une analyse réalisée par des chercheurs de l'Université du Michigan sur plus de 30 millions de notes de l'UM révèle que les étudiants dont les noms sont classés par ordre alphabétique inférieur reçoivent des notes inférieures. Cela est dû à des biais de notation séquentielle et à l'ordre par défaut des soumissions des étudiants dans Canvas, le système de gestion de l'apprentissage en ligne le plus largement utilisé, qui est basé sur le classement alphabétique de leur nom de famille.

De plus, constatent-ils, ces étudiants alphabétiquement défavorisés reçoivent des commentaires nettement plus négatifs et moins polis, et affichent une qualité de note inférieure, mesurée par les plaintes des étudiants après l'obtention du diplôme.

"Nous avons passé beaucoup de temps à réfléchir à la façon de rendre la notation juste et précise, mais même pour moi, c'était vraiment surprenant", a déclaré Jun Li, professeur agrégé de technologie et d'opérations à la Ross School of Business de l'UM, qui a co- a rédigé l'étude avec les doctorants Jiaxin Pei de l'École d'information de l'UM et Helen (Zhihan) Wang de Ross.

"Cela ne nous est pas venu à l'esprit jusqu'à ce que nous examinions les données et réalisions que la séquence fait une différence."

Les chercheurs ont collecté des données historiques disponibles sur tous les programmes, étudiants et devoirs sur Canvas du semestre d’automne 2014 au semestre d’été 2022. Ils ont complété les données Canvas avec les données du registraire universitaire, qui contiennent des informations détaillées sur les antécédents des étudiants, leurs caractéristiques démographiques et leurs parcours d'apprentissage à l'université.

Bien que les données proviennent de l'UM, les chercheurs affirment que les résultats peuvent être généralisés à tous les établissements et cours. Ils sont motivés par un problème de conception commun aux systèmes de gestion de l'apprentissage :le paramètre par défaut consistant à classer les devoirs des étudiants par ordre alphabétique de leur nom.

Leurs recherches ont révélé une tendance claire à une baisse de la qualité de la notation à mesure que les évaluateurs évaluent davantage de devoirs. Selon Wang, les étudiants dont le nom de famille commence par A, B, C, D ou E ont reçu une note supérieure de 0,3 point sur 100 points possibles à celle obtenue lorsqu'ils étaient notés au hasard. De même, les élèves portant des noms de famille plus tardifs dans l'alphabet ont reçu une note inférieure de 0,3 point, ce qui crée un écart de 0,6 point.

Wang note que pour un petit groupe d'élèves (environ 5 %) qui notent de Z à A, l'écart entre les notes s'inverse comme prévu :les élèves de A à E sont dans une situation pire, tandis que les élèves de W à Z reçoivent des notes plus élevées par rapport à ce qu'ils recevraient s'ils étaient notés au hasard. De telles observations confirment leur hypothèse selon laquelle c'est l'ordre de notation qui conduit à l'écart initial entre les notes.

Une différence de 0,6 point peut sembler minime, mais une telle disparité a effectivement affecté les moyennes pondérées des cours des étudiants, ce qui influence négativement les opportunités dans leurs cheminements de carrière respectifs.

"Notre conclusion est que cela pourrait être quelque chose qui s'est produit inconsciemment par les évaluateurs et qui crée en réalité un réel impact social", a déclaré Wang.

Pei dit que l'idée de l'étude est née lors d'une discussion qu'il a eue avec Wang au cours de laquelle ils parlaient de leurs recherches :elle étudie la technologie éducative et lui étudie l'intelligence artificielle. Il a observé qu'une tâche fondamentale de l'apprentissage automatique est l'étiquetage des données, également une tâche séquentielle qui peut être longue et fastidieuse, mais qui est aléatoire.

Cela les a amenés à réfléchir à des systèmes éducatifs comme Canvas et a conduit à des études pilotes pour voir s'il y avait une disparité entre les notes en fonction du temps passé à la tâche de notation.

"Nous soupçonnons en quelque sorte que la fatigue est l'un des principaux facteurs à l'origine de cet effet, car lorsque vous travaillez sur quelque chose pendant une longue période, vous vous fatiguez, puis vous commencez à perdre votre attention et vos capacités cognitives sont réduites. en baisse", a déclaré Pei.

Les chercheurs notent qu'il existe la possibilité de noter les devoirs dans un ordre aléatoire, et certains éducateurs le font, mais l'ordre alphabétique est le mode par défaut dans Canvas et d'autres systèmes de gestion de l'apprentissage en ligne. Une solution simple serait de faire de l'ordre aléatoire le paramètre par défaut.

Ils suggèrent également que les établissements universitaires pourraient embaucher davantage d'évaluateurs pour des classes plus nombreuses, répartir la charge de travail entre davantage de personnes ou les former à être conscients et à réduire les préjugés lors de la notation.

Li, Wang et Pei ont partagé leurs recherches lors de conférences et celles-ci ont été accueillies positivement :beaucoup sont impressionnés par leur travail, même s'il confirme les soupçons de beaucoup. Une réaction en particulier frappe Li – sans aucun doute une ride de l’ère de l’information sur l’excuse « le chien a mangé mes devoirs ».

"Un étudiant nous a ensuite envoyé un e-mail nous demandant de partager le document avec lui", a-t-elle déclaré. "Il a mentionné que son nom de famille commençait par W. Il va dire à ses parents que ce n'est pas à cause de lui, c'est à cause de son nom de famille."

L'étude est en cours d'examen par la revue Management Science. et actuellement disponible sous forme de document de travail.