Évaluation de l'enseignement par les étudiants, ou SET, est couramment utilisé dans l'enseignement supérieur comme rétroaction pour la performance des instructeurs de cours. Les élèves évaluent quantitativement leurs enseignants, notant leur performance sur une échelle numérique sur des questions telles que « L'enseignant est préparé pour la classe » et « J'ai beaucoup appris de cet enseignant ».

Alors que les notes numériques fournissent une mesure tangible de la performance d'un instructeur en classe, ils ne mesurent que ce que les questions demandent. Les questionnaires ouverts refléteraient beaucoup mieux la situation dans son ensemble, mais ils sont relativement sous-utilisés en ce qui concerne l'extraction des commentaires des étudiants pour identifier les moyens d'améliorer la façon dont un cours est enseigné.

Pourquoi donc?

"Supposons que j'enseigne à quelque 300 élèves, 400 étudiants et ces étudiants me font part de leurs commentaires :il s'agit d'un vaste ensemble de données et obtenir manuellement des informations importantes pour modifier mon processus d'enseignement ou améliorer mon processus d'enseignement est fastidieux et minutieux, " explique Swapna Gottipati, Professeur assistant de systèmes d'information (éducation) à SMU. "D'où, Je dois dépendre d'une sorte d'outil ou de machine, et il s'agit d'une de ces tentatives pour générer très rapidement des informations sur les données pour que le corps professoral puisse obtenir des informations à partir d'un retour d'information qualitatif. »

Aspects de la rétroaction

Le professeur Gottipati fait référence à son projet récemment conclu « Analyse de l'apprentissage sur la rétroaction qualitative des étudiants pour améliorer l'enseignement et l'apprentissage dans l'enseignement supérieur, " qui a été soutenu par le Fonds de recherche sur l'enseignement supérieur du ministère de l'Éducation (MOE). Utilisant le système de rétroaction interne de SMU qui rassemble les évaluations de fin de cours des étudiants, Le professeur Gottipati propose un système d'analyse de l'apprentissage appelé "Course Feedback Analytics System (CFAS)" pour "aider les membres du corps professoral à mieux comprendre leurs pratiques d'enseignement, programme d'études ainsi que le développement de l'évaluation.

Utilisation du traitement automatique du langage naturel (NLP), Le professeur Gottipati a examiné cinq aspects principaux de la rétroaction des étudiants entre les commentaires quantitatifs et qualitatifs, qui incluent des sujets, Sentiments, Suggestions, Temps, et Corrélation.

"Premièrement, c'est le sujet, quels sont les problèmes dont parlent les élèves, " dit-elle au Bureau de la recherche et du transfert technologique. " Deuxièmement, il s'agit de hiérarchiser les sujets et les enjeux qui sont les plus importants car nous voulons les prioriser.

"La troisième est de comprendre les perceptions, comme les sentiments ou les opinions des étudiants. Prenons l'exemple du style d'enseignement d'un professeur :il n'est peut-être pas très engageant ou parle très lentement, ou à voix très basse. Ce sont tous des commentaires négatifs. C'est ce qu'on appelle le sentiment.

"Et le dernier est le résumé rapide des commentaires. Cela signifie une visualisation ou une sorte de visuels ou de rapports conviviaux qui peuvent nous aider à identifier ce qui doit être traité."

Le professeur Gottipati explique que les modèles de PNL sont basés sur des règles et sur la grammaire, et les règles intégrées dans un modèle peuvent extraire des adjectifs et à quoi ces adjectifs se réfèrent. Il peut également identifier les sujets sur lesquels les élèves écrivent dans leurs commentaires.

Utilisation des informations

Toutes les données extraites des réponses ouvertes auraient peu de valeur si elles ne pouvaient pas être utilisées. À cette fin, CFAS will feature what Professor Gottipati calls interactive 'doughnut' graphics that are not just basic bar graphs and pie charts but those that "expand and pop out the respective negative or positive feedback for the given topics and so on."

Finalement, these will help not only the course instructor in fine-tuning their teaching, but will also help course managers and university administrators with macro-level management of the curriculum.

"During our performance evaluations, our reporting officers might give suggestions on how to improve the courses we teach, " says Professor Gottipati, who is also the Interim Associate Dean of Undergraduate Education at the School of Information Systems (SIS). "They should be able to know what happened both within the course, as well as about the course at a macro level. If they are aware of the positive comments provided for other courses, these can also be shared with other faculty for improvement in their teaching."