Cette semaine, de nombreuses universités australiennes enverront aux universitaires les résultats des enquêtes d'évaluation des étudiants du premier semestre.

Pour certains, ce sera une période inquiétante et désagréable. Les commentaires que les étudiants universitaires font de manière anonyme dans leurs évaluations d'enseignement peuvent laisser les universitaires se sentir craintifs, affligés et démoralisés.

Et avec raison. Comme l'a révélé une enquête menée en 2021 auprès d'universitaires australiens et de leurs expériences des commentaires des étudiants :"Des commentaires personnellement destructeurs, diffamatoires, abusifs et blessants ont été fréquemment signalés."

Les commentaires blessants ou abusifs peuvent rester enregistrés en permanence comme mesure de performance. Ces dossiers peuvent avoir une incidence sur les demandes de promotion ou de maintien dans l'emploi.

Les auteurs de l'enquête de 2021, dirigée par Richard Lakeman de la Southern Cross University, font partie de ceux qui demandent la suppression des enquêtes anonymes en ligne. Certains universitaires, brûlés par leur expérience des commentaires des étudiants, disent qu'ils n'ouvrent plus ou ne s'engagent plus dans les rapports d'évaluation des étudiants. Ils ont dit que le risque de préjudice l'emportait sur les avantages.

Dans l'émission Netflix The Chair, une scène mémorable voit le personnage du professeur Joan Hambling brûler les évaluations de ses élèves. De toute évidence, une autre solution est nécessaire.

Les commentaires des étudiants peuvent toujours être utiles pour améliorer les normes d'enseignement et il est important que les étudiants aient leur mot à dire.

Nous avons développé un système de filtrage utilisant l'apprentissage automatique (où le logiciel modifie son comportement en « apprenant » à partir de l'entrée de l'utilisateur) qui permet aux étudiants de parler de leurs expériences tout en protégeant les universitaires des commentaires inacceptables.

Pourquoi une nouvelle approche est nécessaire

Les codes de conduite universitaires rappellent aux étudiants leur obligation générale de s'abstenir de tout comportement abusif ou discriminatoire, mais pas spécifiquement en ce qui concerne les évaluations des étudiants.

Au lieu de cela, les universités comptent sur l'autorégulation ou sur d'autres pour signaler les incidents. Certaines institutions utilisent des bloqueurs de grossièretés pour filtrer les commentaires. Même dans ce cas, ceux-ci échouent souvent à détecter les termes d'abus émergents dans le discours en ligne.

Ainsi, lors de la mise en place de notre système de filtrage, nous voulions :

• promouvoir le bien-être du personnel et des étudiants
• améliorer la fiabilité et la validité des commentaires des étudiants
• améliorer la confiance dans l'intégrité des résultats de l'enquête

Nous avons développé une méthode utilisant l'apprentissage automatique et un dictionnaire de termes pour filtrer les commentaires inacceptables des étudiants. Le dictionnaire a été créé par QUT en s'appuyant sur des commentaires inacceptables identifiés historiquement et en incorporant des recherches antérieures sur les termes abusifs et discriminatoires.

Notre solution "Screenomatic"

Il n'y a pas beaucoup de travaux publiés sur la détection des commentaires inacceptables ou abusifs dans les sondages d'évaluation des étudiants. Notre équipe a donc adapté des recherches antérieures sur la détection des tweets misogynes. Cela a fonctionné parce que souvent les commentaires des étudiants que nous avons examinés étaient d'une longueur similaire à la limite de 280 caractères d'un tweet.

Notre approche, que nous appelons "Screenomatic", a automatiquement examiné plus de 100 000 commentaires d'étudiants en 2021 et identifié ceux qui semblaient être des abus. Les membres du personnel d'évaluation formés ont examiné manuellement environ 7 000 commentaires signalés, mettant à jour le modèle d'apprentissage automatique après chaque semestre. Chaque mise à jour améliore la précision de la détection automatique.

En fin de compte, 100 commentaires ont été supprimés avant que les résultats ne soient communiqués aux éducateurs et aux superviseurs. La politique de l'Université permet de réidentifier les commentaires en cas d'inconduite potentielle. L'équipe centrale d'évaluation a contacté ces étudiants et leur a rappelé leurs obligations en vertu du code de conduite.

Le modèle Screenomatic peut aider à protéger à la fois les enseignants et les étudiants. Le personnel est protégé contre les abus et les élèves à risque - qui font des commentaires indiquant qu'ils ont besoin d'aide en santé mentale, incluent des allégations d'intimidation ou de harcèlement, ou qui menacent le personnel ou d'autres élèves - peuvent se voir proposer un soutien. Les universités peuvent partager des données pour former le modèle et maintenir l'actualité.

Il est important de noter que le processus permet aux universités d'agir moralement pour exploiter la voix des étudiants tout en protégeant le bien-être des personnes.

Commentaires utiles, pas d'abus

Le nombre d'éducateurs qui reçoivent des commentaires abusifs peut être relativement faible. Cependant, il est toujours inacceptable que les universités continuent d'exposer leur personnel à des commentaires offensants en pleine connaissance de leur impact potentiel.

Avec la décision de la Haute Cour de l'année dernière sur la responsabilité pour les messages diffamatoires et les tentatives d'amélioration de la sécurité en ligne, il est de plus en plus reconnu que les gens ne devraient pas pouvoir publier de messages anonymes et préjudiciables.

Après tout, le coût des réponses au dépistage n'est rien comparé au coût pour les individus (y compris les conséquences sur la santé mentale ou la carrière). Et c'est ignorer les coûts potentiels des litiges et des dommages-intérêts juridiques.

En fin de compte, les commentaires anonymes sont lus par de vraies personnes. Comme un tweet en réponse aux conclusions de Lakeman l'a noté :

Le modèle Screenomatic contribue grandement à permettre aux "tonnes de commentaires utiles" d'atteindre l'objectif visé tout en garantissant que les personnes ne sont pas lésées au cours du processus. + Explorer plus loin

Commentaires anonymes problématiques des étudiants sur les enseignants

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l'article d'origine.