Le processus d'examen par les pairs est la pierre angulaire de l'érudition moderne. Avant que de nouveaux travaux ne soient publiés dans une revue universitaire, des experts examinent les preuves, les recherches et les arguments pour s'assurer qu'ils s'empilent.

Cependant, de nombreux auteurs, réviseurs et éditeurs ont des problèmes avec le fonctionnement du système moderne d'évaluation par les pairs. Il peut être lent, opaque et cliqueté, et il fonctionne grâce au travail bénévole d'universitaires déjà surmenés.

Le mois dernier, l'une d'entre nous (Kelly-Ann Allen) a exprimé sa frustration face aux difficultés de trouver des pairs évaluateurs sur Twitter. Des centaines de réponses plus tard, nous avons eu une énorme collection de critiques de l'examen par les pairs et des suggestions pour l'améliorer.

Les suggestions pour les revues, les éditeurs et les universités montrent qu'il y a beaucoup à faire pour rendre l'examen par les pairs plus responsable, équitable et inclusif. Nous avons résumé ci-dessous nos conclusions complètes.

En tant qu'éditeur de revue, lire que les gens publient et ne participent pas à la révision est difficile à entendre. Il devient de plus en plus difficile de trouver des réviseurs, ce qui entraîne des retards importants dans les délais de publication. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm

— Kelly-Ann Allen, Ph.D. #appartenir #apparteniràl'école (@drkellyallen) 6 juin 2022

Les trois défis de l'examen par les pairs

Nous voyons trois principaux défis auxquels est confronté le système d'évaluation par les pairs.

Premièrement, l'examen par les pairs peut être une forme d'exploitation.

De nombreuses entreprises qui publient des revues universitaires tirent profit des abonnements et des ventes. Cependant, les auteurs, les éditeurs et les pairs examinateurs donnent généralement leur temps et leurs efforts sur une base volontaire, effectuant effectivement un travail gratuit.

Et tandis que l'examen par les pairs est souvent considéré comme une entreprise collective de la communauté universitaire, dans la pratique, une petite fraction de chercheurs effectue la majeure partie du travail. Une étude sur les revues biomédicales a révélé qu'en 2015, seuls 20 % des chercheurs effectuaient jusqu'à 94 % de l'évaluation par les pairs.

L'examen par les pairs peut être une "boîte noire"

Le deuxième défi est le manque de transparence dans le processus d'examen par les pairs.

L'examen par les pairs est généralement effectué de manière anonyme :les chercheurs ne savent pas qui examine leur travail et les examinateurs ne savent pas de qui ils examinent le travail. Cela laisse de la place à l'honnêteté, mais peut également rendre le processus moins ouvert et moins responsable.

L'opacité peut également supprimer la discussion, protéger les préjugés et diminuer la qualité des avis.

L'examen par les pairs peut être lent

Le dernier défi est la rapidité de l'examen par les pairs.

Lorsqu'un chercheur soumet un article à une revue, s'il dépasse le rejet initial, il peut faire face à une longue attente pour l'examen et la publication éventuelle. Il n'est pas rare que la recherche soit publiée un an ou plus après sa soumission.

Ce retard est mauvais pour tout le monde. Pour les décideurs, les dirigeants et le public, cela signifie qu'ils peuvent prendre des décisions fondées sur des preuves scientifiques obsolètes. Pour les universitaires, les retards peuvent bloquer leur carrière dans l'attente des publications dont ils ont besoin pour obtenir des promotions ou des titularisations.

Les chercheurs suggèrent que les retards sont généralement causés par une pénurie d'examinateurs. De nombreux universitaires signalent que des charges de travail difficiles peuvent les décourager de participer à l'examen par les pairs, et cela s'est aggravé depuis le début de la pandémie de COVID-19.

Il a également été constaté que de nombreuses revues dépendent fortement des évaluateurs américains et européens, ce qui limite la taille et la diversité du groupe d'évaluateurs.

Pouvons-nous corriger l'examen par les pairs ?

Alors qu'est ce qui peut être fait? La plupart des suggestions constructives de la grande conversation sur Twitter mentionnée précédemment se répartissaient en trois catégories.

Tout d'abord, beaucoup ont suggéré qu'il devrait y avoir de meilleures incitations à la réalisation d'examens par les pairs.

Cela pourrait inclure des éditeurs payant des examinateurs (les revues de l'American Economic Association le font déjà) ou donnant des bénéfices aux départements de recherche. Les revues pourraient également offrir aux examinateurs des abonnements gratuits, des bons de publication ou des examens accélérés.

Cependant, nous devons reconnaître que les revues offrant des incitations pourraient créer de nouveaux problèmes.

Une autre suggestion est que les universités pourraient mieux reconnaître l'évaluation par les pairs dans le cadre de la charge de travail académique, et peut-être récompenser les contributeurs exceptionnels à l'évaluation par les pairs.

Certains commentateurs de Twitter ont fait valoir que les universitaires titulaires devraient examiner un certain nombre d'articles chaque année. D'autres pensaient qu'il fallait faire davantage pour soutenir les revues à but non lucratif, étant donné qu'une étude récente a révélé que quelque 140 revues en Australie ont cessé de publier entre 2011 et 2021.

La plupart des répondants ont convenu que les conflits d'intérêts devraient être évités. Certaines bases de données d'experts suggérées faciliteraient la recherche d'examinateurs pertinents.

Utiliser des stratégies de recrutement d'examen par les pairs plus inclusives

De nombreux répondants ont également suggéré que les revues peuvent améliorer la façon dont elles recrutent des examinateurs et le travail qu'elles distribuent. Les examinateurs experts pourraient être sélectionnés sur la base de leur expertise en matière de méthode ou de contenu, et on leur demanderait de se concentrer sur cet élément plutôt que sur les deux.

Les répondants ont également fait valoir que les revues devraient faire davantage pour adapter leurs invitations afin de cibler les experts les plus pertinents, avec un processus plus simple pour accepter ou rejeter l'offre.

D'autres ont estimé que plus de chercheurs non titulaires, Ph.D. des chercheurs, des personnes travaillant dans des industries connexes et des experts à la retraite devraient être recrutés. Plus de formation à l'évaluation par les pairs pour les étudiants diplômés et une représentation accrue des femmes et des minorités sous-représentées seraient un bon début.

Repenser l'examen par les pairs en double aveugle

Certains répondants ont souligné un mouvement croissant vers des processus d'examen par les pairs plus ouverts, ce qui peut créer une approche plus humaine et transparente de l'examen. Par exemple, Royal Society Open Science publie toutes les décisions, les lettres de révision et l'identification volontaire des pairs examinateurs.

Une autre suggestion visant à accélérer le processus de publication consistait à accorder une plus grande priorité aux recherches urgentes.

Que peut-on faire ?

Le message général de l'énorme réponse à un seul tweet est qu'il y a un besoin de changements systémiques dans le processus d'examen par les pairs.

Les idées ne manquent pas pour améliorer le processus au profit des universitaires et du grand public. Cependant, il appartiendra aux revues, aux éditeurs et aux universités de les mettre en pratique et de créer un système plus responsable, équitable et inclusif. + Explorer plus loin

Un rapport révèle un déséquilibre mondial persistant dans la distribution de l'examen par les pairs

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l'article d'origine.