La colère et la confusion ont suivi la publication des résultats de la Scottish Qualification Agency (SQA) de cette année, le premier des pays britanniques à publier les résultats scolaires à la suite de COVID-19. Environ un quart des notes recommandées par les enseignants ont été modifiées :la plupart ont été rétrogradées, et cela était plus susceptible d'arriver aux élèves des quartiers les plus pauvres. Cette controverse montre que l'évaluation n'est pas neutre :le système d'évaluation peut profiter à certains groupes d'élèves par rapport à d'autres et il nécessite plus que des processus techniques pour assurer la justice.

Alors que le gouvernement écossais a initialement défendu les résultats au nom du maintien des normes, ils ont raison d'avoir reconnu aujourd'hui que l'approche était trop technocratique et a rompu un lien essentiel entre ce qu'un élève a réellement fait et la note qu'il reçoit, ce qui est le vrai sens des normes. Mais ce problème n'est pas nouveau dans les résultats de cette année.

Comment fonctionne l'évaluation

Pour comprendre les forces et les faiblesses de l'approche SQA initiale, nous devons comparer deux approches différentes d'évaluation :basée sur des normes et basée sur des critères. Dans l'évaluation basée sur des critères, le travail des étudiants est évalué par rapport à des critères spécifiques, comme la force de l'argumentation, qualité de la recherche ou clarté d'expression. Tous les étudiants sont évalués selon les mêmes critères.

Le nombre d'As dans une année peut baisser ou augmenter, et augmenter ne signifie pas nécessairement la redoutable "inflation des notes - où les augmentations des notes sont supposées signifier une réduction des normes. Une grande variation peut être improbable mais pas impossible - et la variation elle-même ne doit pas être considérée comme un problème. Notation basée sur des critères est considéré simplement parce qu'il conserve un lien entre ce qu'un étudiant a réellement fait, les critères de notation et la note qu'ils reçoivent.

Dans l'évaluation normative, les résultats dépendent de la comparaison des étudiants sous une forme de classement :plus votre classement est élevé, plus votre note est élevée. Exactement le même travail pourrait obtenir un A un an et un C une autre année, en fonction des performances des autres élèves, plutôt que la qualité du travail. Dans le passé, il y avait même un pourcentage fixe de notes chaque année.

Bilan en 2020

Lorsque les examens finaux de cette année ont été annulés, la SQA a demandé aux enseignants de porter des jugements sur la base d'un éventail de sources, y compris les examens préliminaires, travail en classe, Travaux pratiques, tests en classe et devoirs. L'objectif était d'avoir une idée générale du niveau d'apprentissage des élèves.

Tant que les enseignants avaient des critères communs pour les niveaux scolaires, ce système présentait de nombreux avantages par rapport aux examens traditionnels. Les enseignants ont également été encouragés à parler entre eux de leurs jugements. Cette forme de prise de décision conjointe utilisant des critères contribue à des résultats d'évaluation plus justes et plus solides.

La polémique porte sur ce qu'on appelle la "modération" qui a pour but de vérifier la qualité, normes et cohérence, ajuster les scores initiaux d'un large éventail de marqueurs.

Des problèmes surviennent lorsque la modération essaie de standardiser les grands groupes, comme dans tout un pays, et le fait en utilisant des approches basées sur des normes, remettant ainsi en cause les principes de la notation critériée. La modération basée sur des normes est pratique sur le plan administratif, mais insensée sur le plan pédagogique.

C'est grâce à la modération qu'un quart des élèves ont vu leurs notes modifiées. Le gouvernement écossais a d'abord déclaré que sans modération, l'ampleur de l'augmentation des notes des élèves défavorisés ne serait pas considérée comme crédible. Pour modérer les résultats, la SQA a utilisé une gamme de mécanismes, y compris la comparaison des élèves de cette année avec la performance moyenne de leur école par rapport aux années précédentes. Si la variation était considérée comme trop importante, les résultats ont été ajustés à la baisse en utilisant les classements fournis par les enseignants.

Une fois que la note d'un étudiant est décidée en référence à ses pairs ou aux étudiants précédents, il s'agit d'un marquage normatif. Cela brise le lien fondamental entre ce qu'un étudiant a réellement fait, les critères et la note qu'ils méritent.

Système basé sur des normes

Des versions de modération normative existent depuis des décennies, dans toutes les régions du Royaume-Uni et sous des gouvernements de tous bords.

La SQA dispose de plusieurs procédures sophistiquées pour réduire les injustices, mais le problème demeure que le système longtemps associé à la protection des normes au Royaume-Uni utilise des attentes basées sur des normes. La pression pour le faire vient souvent des universités et des employeurs qui veulent utiliser les notes pour faciliter la sélection entre les étudiants :mais est-ce le but de la scolarisation ou de l'évaluation des apprentissages des étudiants ?

L'approche initialement adoptée cette année était également imparfaite parce que la SQA ne comparait pas des données comparables. Les résultats de l'année précédente étaient largement basés sur une examen traditionnel, ce qui est très différent de la vaste gamme d'items utilisés par les enseignants pour porter des jugements cette année. Il est prouvé que les approches traditionnelles de l'éducation et de l'évaluation désavantagent les étudiants de la classe ouvrière. L'augmentation des notes pré-modérées des élèves les plus pauvres ne manque peut-être pas de crédibilité, mais elle peut montrer que les approches d'évaluation auxquelles nous avons cru pendant des années ont été injustes et elles-mêmes non crédibles.

S'inspirant de l'approche recommandée par la SQA pour les jugements rendus lors de discussions professionnelles, un effort aurait dû être fait pour retourner dans les écoles :toute modération ne peut être fondée que sur la preuve d'une interprétation différente des critères.

Cela prendrait beaucoup de temps pour les enseignants et le personnel de la SQA, mais considérez les avantages ultimes en termes de rigueur, évaluation crédible et juste qui façonnera l'avenir d'une génération. Le plus important est que nous ne rompons pour aucune raison le lien entre le travail d'un étudiant, les critères et leur note.

La controverse, et le revirement du gouvernement écossais, renforcer la nécessité d'explorer les fondements de ce que nous appelons les normes afin que les défendre ne soit pas simplement une justification du statu quo. Les résultats de cette année en Écosse ne sont pas nécessairement plus ou moins justes que les années précédentes, mais probablement injuste de nouvelles manières :COVID-19 a mis en lumière le problème plus large de la justice et de l'évaluation.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.