La démocratie a été qualifiée de système de gouvernement le moins pire. L'examen par les pairs est le système le moins pire pour évaluer le mérite d'un travail scientifique.

L'examen par les pairs est l'évaluation écrite d'un article par d'autres experts dans le domaine. Bien que cela ressemble à une évaluation par des égaux, le déséquilibre de pouvoir créé par les rôles d'examinateur et d'examiné déforme la relation et affecte le ton de l'examen. Les avis peuvent être condescendants, exigeants et méchants.

Il est douloureux de lire des critiques durement formulées sur un travail qui a pris des centaines ou des milliers d'heures à une équipe et qui a été soumis avec espoir et de bonne foi. D'après notre expérience, nous savons que les avis peuvent être précis, solides et présenter tous les arguments scientifiques tout en utilisant un langage et un ton utiles et encourageants.

Commentaire favorable

Nous sommes une équipe de rédacteurs d'une revue rénale canadienne en libre accès, le Journal canadien de la santé et des maladies rénales . Lorsque nous avons fondé notre revue en 2014, la revue de soutien était le premier de nos principes directeurs. Depuis lors, nous avons écrit en tant que rédacteurs en chef, sélectionné des examinateurs qui écrivent en appui et participé à la formation de la prochaine génération de scientifiques canadiens du rein pour qu'ils effectuent des examens complets, rigoureux et bienveillants.

Manuscrit après les modifications et révisions du réviseur #2 pic.twitter.com/HkZYfho0Od

— Madhu Pai, MD, Ph.D. (@paimadhu) 14 juin 2022

Soutenus par un groupe plus large de personnes partageant les mêmes idées et issues de plusieurs disciplines, nous avons récemment publié un éditorial décrivant ces principes. Une douzaine d'autres revues sur le rein ont exprimé leur soutien à l'idée, avec Nature Reviews Nephrology , END et néphrologie pédiatrique publier des éditoriaux coordonnés en réaffirmant les principes de la critique constructive.

Le long processus de recherche

Les articles scientifiques condensent une grande quantité de travail dans un format structuré, généralement pas plus de quatre à huit fois la longueur de cet article. Le travail d'un article commence par une idée qui peut être développée par l'équipe pendant un an ou plus avant de se cristalliser en une demande de financement, qui peut passer par des séries de révisions.

Une fois financés, des personnes et des budgets sont affectés au projet et le travail se poursuit. Le travail peut impliquer le temps de plusieurs membres de l'équipe pendant des mois, voire des années.

Lorsque le travail est terminé, ils écrivent un article, détaillant ce qu'ils ont fait, comment et pourquoi, ce qu'ils ont trouvé et ce qu'ils pensent que cela signifie. Ce document lui-même est souvent le produit de centaines d'heures de travail, avec plusieurs auteurs apportant leur expertise spécifique et travaillant sur le message de l'ensemble.

Voici le point de vue de l'examinateur #3 sur le manuscrit décrivant l'expérience vécue des femmes en chirurgie pic.twitter.com/tUyJ59dstA

— Nancy Baxter MD Ph.D. (@enenbee) 11 septembre 2019

La revue reçoit le manuscrit et nomme un éditeur, qui nomme des pairs examinateurs. Les pairs examinateurs sont d'autres scientifiques travaillant sur des sujets similaires. Ils doivent être totalement indépendants des personnes qui écrivent le journal. À quelques exceptions notables près, la plupart des revues utilisent une évaluation par les pairs à masque unique :l'évaluateur voit la paternité de l'article, mais les auteurs de l'article ne voient pas qui a rédigé l'évaluation.

Les pairs examinateurs ne sont ni payés ni récompensés pour leur examen du manuscrit - ils l'assument dans le cadre du travail de la vie universitaire. Il s'agit essentiellement d'une activité non rémunérée exercée par des personnes qui sont elles-mêmes des auteurs. Cela varie selon la discipline, mais en biomédecine, ils peuvent consacrer de trois à six heures à un examen.

Critiques sévères

Comment cette activité altruiste, entreprise par un critique qui connaît très bien le rôle d'auteur, conduit-elle à tant de douleur et de frustration pour les autres auteurs ?

Nous pensons que les scientifiques confondent parfois sévérité et rigueur intellectuelle et que l'expérience de la sévérité d'un critique dans les critiques de son propre travail, amplifiée par le déséquilibre de pouvoir entre critique et commenté, conduit à la perpétuation d'une critique dure et inutile. Les autres réviseurs et éditeurs évitent complètement ces pièges.

1/3. Pourquoi? Pourquoi? Pourquoi diable commenceriez-vous une critique comme celle-ci? Pourquoi diable ressentiriez-vous le besoin de fréquenter et de rabaisser quelqu'un même s'il était nouveau dans l'édition et non comme cela arrive à un professeur agrégé de quarante ans dont la langue maternelle est l'anglais ! pic.twitter.com/xNVSeI3vck

– Ingrid Anell (@IngridAnell) 24 mars 2022

"Cela me semble être l'une de vos premières tentatives de publication scientifique, et je peux comprendre que vous écriviez également dans une langue non maternelle", a écrit un critique anonyme à une scientifique à mi-carrière avec 13 premiers auteurs évalués par des pairs. éditions. "Je veux juste abandonner aujourd'hui", a-t-elle écrit.

Mais elle ne le fera pas. Les scientifiques sont prêts à recevoir ce genre de commentaires et à être blessés encore et encore au nom de la science. En tant qu'éditeurs, nous pensons qu'il existe une meilleure solution :les commentaires doivent être rigoureux, mais ils seront plus facilement intégrés, s'ils sont gentiment donnés, à l'avancement de la science.

L'évaluation par les pairs peut être parfois brutale et même impolie, mais cette évaluation a définitivement fait ma journée. Encore besoin de révisions !

Surtout depuis que je travaille sur ce manuscrit - en utilisant des données de podcast publiques + en explorant les initiatives communautaires COVID-19 à Singapour - depuis près de deux ans. pic.twitter.com/OIHswcabjE

— Jin Yao Kwan (@guanyinmiao) 28 février 2022

Ce ne sont pas de nouvelles idées. En 2006, le professeur Mohan Dutta a suggéré 10 commandements pour les examinateurs, qui se concentrent tous sur la nature collaborative de la relation entre l'examinateur et l'examiné. Les conseils aux examinateurs incluent souvent une recommandation d'écrire de manière constructive, bien que cela soit parfois formulé comme quelque chose comme "écrire de manière constructive, puis se tourner vers la critique", comme si ceux-ci s'excluaient mutuellement.

Nous pouvons pousser ce principe plus loin et, grâce à notre communauté d'examinateurs en médecine rénale, nous et d'autres revues spécialisées dans le domaine du rein nous engageons à faire preuve de gentillesse lors de l'examen. Le 10e commandement de Dutta est "faites aux autres ce que vous voudriez qu'ils vous fassent". Chaque branche de la science serait améliorée par la mise en œuvre de cette idée.