Mesurer les connaissances des étudiants dans les cours en ligne pose un certain nombre de défis. Des chercheurs de la Higher School of Economics et de l'Université de Louvain ont amélioré le modèle d'évaluation des résultats scolaires et publié leurs résultats dans la revue Héliyon .

Plusieurs facteurs systémiques font qu'il est difficile pour les développeurs de cours en ligne d'évaluer avec précision les compétences des étudiants. D'abord, les 10 à 15 questions de test en moyenne sont trop peu nombreuses pour produire une mesure précise et fiable des connaissances. Seconde, l'utilisation de questions à choix multiples conduit à des devinettes et à une distorsion des résultats. Troisième, l'utilisation fréquente du même ensemble de réponses correctes comme mesure de compétence rend difficile la comparaison des élèves lorsque le test est mis à jour, même légèrement.

Des chercheurs de la Higher School of Economics et de l'Université de Louvain ont réussi à résoudre ces problèmes en élargissant le modèle classique de Rasch avec des paramètres supplémentaires.

"D'abord, notre approche élargie inclut l'effet de plusieurs tentatives, permettant de distinguer entre les élèves qui devinent et ceux qui connaissent les réponses, " a déclaré le HSE Center for Psychometrics in eLearning Head Dmitry Abbakumov. " Deuxièmement, parce que les métriques de connaissances obtenues avec cette approche élargie sont exprimées sur une seule échelle, ils peuvent être comparés, même lorsque les questions du test sont modifiées de manière significative. Et enfin, nous calculons des mesures basées non seulement sur les résultats des tests, mais aussi en prenant en compte l'expérience de l'étudiant - son activité lors du visionnage de vidéos et ses performances lors de séances pratiques - permettant une compréhension plus complète de la compétence de l'étudiant.

À l'avenir, l'approche proposée par les chercheurs pourrait être utilisée dans les moteurs d'évaluation des plateformes pédagogiques pour obtenir des mesures plus précises des connaissances des élèves. Et les métriques pourraient être intégrées aux solutions de navigation et de recommandation dans l'éducation numérique.