Alors que les possibilités de formation et de rétroaction abondent pour les éducateurs de la maternelle à la 12e année, on ne peut pas en dire autant des enseignants de l'enseignement supérieur. Actuellement, le mécanisme le plus efficace pour le développement professionnel consiste pour un expert à observer une conférence et à fournir une rétroaction personnalisée. Mais un nouveau système développé par les chercheurs de l'Université Carnegie Mellon offre un système de détection en temps réel complet qui est peu coûteux et évolutif pour créer une boucle de rétroaction continue pour l'instructeur.

Le système, appelé EduSense, analyse une variété de caractéristiques visuelles et audio qui sont en corrélation avec un enseignement efficace. "Aujourd'hui, l'enseignant agit comme le capteur dans la classe, mais ce n'est pas évolutif, " a déclaré Chris Harrison, professeur assistant à l'Institut d'Interaction Homme-Machine (HCII) de la CMU. Harrison a déclaré que la taille des salles de classe avait explosé au cours des dernières décennies, et il est difficile de donner des cours et d'être efficace dans des classes de grande taille ou de style auditorium.

EduSense est peu envahissant. Il utilise deux caméras murales, une face aux étudiants et une face à l'instructeur. Il détecte des choses telles que la posture des étudiants pour déterminer leur engagement, et combien de temps les instructeurs font une pause avant d'appeler un étudiant. "Ce sont des choses codifiées que les praticiens de l'éducation connaissent comme les meilleures pratiques depuis des décennies, ", a déclaré Harrison.

Une seule caméra standard peut voir tout le monde dans la classe et identifier automatiquement des informations telles que l'endroit où les élèves regardent, à quelle fréquence ils lèvent la main et si l'instructeur se déplace dans l'espace au lieu de rester derrière un podium. Le système utilise OpenPose, un autre projet CMU, pour extraire la position du corps. "Avec les progrès de la vision par ordinateur et de l'apprentissage automatique, nous pouvons maintenant fournir des informations qui prendraient des jours, voire des mois, à obtenir avec une observation manuelle, " dit Karan Ahuja, un membre de l'équipe de recherche qui poursuit son doctorat. dans le HCII.

Harrison a déclaré que les scientifiques de l'apprentissage sont intéressés par les données pédagogiques. "Parce que nous pouvons suivre le corps, c'est comme porter un costume d'accéléromètres. Nous savons à quel point vous tournez la tête et bougez vos mains. C'est comme si vous portiez un système de capture de mouvement virtuel pendant que vous enseignez."

L'utilisation de caméras haute résolution diffusant des vidéos 4K pour de nombreuses classes à la fois est un « cauchemar informatique, " dit Harrison. Pour suivre, les ressources sont attribuées de manière élastique pour fournir la meilleure fréquence d'images possible pour les données en temps réel.

Le projet est également fortement axé sur la protection de la vie privée, guidé par Yuvraj Agarwal, professeur agrégé à l'Institute for Software Research de l'université. L'équipe ne voulait pas identifier les étudiants individuels, et EduSense ne peut pas. Aucun nom ou information d'identification n'est utilisé, et puisque les données de la caméra sont traitées en temps réel, il est jeté rapidement.

Maintenant que l'équipe a démontré qu'elle peut capturer les données, Amy Ogan, membre du corps professoral du HCII, a déclaré que leur défi actuel était de le terminer et de le présenter d'une manière pédagogiquement efficace. L'équipe continuera à travailler sur des applications destinées aux instructeurs pour voir si les professeurs peuvent intégrer les commentaires dans la pratique. « Nous nous sommes attachés à comprendre comment, quand et où présenter au mieux les commentaires basés sur ces données afin qu'ils soient significatifs et utiles aux instructeurs pour les aider à améliorer leur pratique, " elle a dit.

Cette recherche a été présentée à Ubicomp, la Conférence internationale des sciences de l'apprentissage, et sera présenté en avril prochain lors de la réunion annuelle de l'American Educational Research Association.