Quand Einstein a découvert le processus d'évaluation par les pairs…

En 1935, un calcul trop rapide a conduit Einstein à croire que les ondes de gravitation ne pouvaient pas exister dans le cadre de la théorie de la relativité générale (ces ondes, observé en 2016 seulement, sont en fait une pierre angulaire de son travail). L'histoire de sa première publication est plus riche que l'erreur subtile qui se cache derrière elle…

Pour la première fois, Einstein – qui avait envoyé son manuscrit au prestigieux Examen physique – confronté au système anonyme d'évaluation par les pairs. Le critique à l'esprit vif, dont l'identité n'a été révélée qu'en 2005, signalé une erreur. Einstein était fortement en désaccord avec l'idée qu'un éditeur puisse réviser son travail sans son consentement. Il a ensuite envoyé son manuscrit à une autre revue, qui a décidé de le publier. Mais quand vint le moment de vérifier les épreuves du manuscrit, Einstein a totalement révisé son article. Cette histoire, à la fois exemplaire et exceptionnel, illustre la relation complexe entre les scientifiques et les publications.

Le quotidien de l'expertise dans les publications scientifiques

Les revues allemandes dans lesquelles Einstein a publié avaient un faible taux de rejet des documents soumis, et étaient plutôt ouverts aux controverses et aux débats scientifiques. Néanmoins, l'immense croissance de l'activité scientifique a obligé toutes les revues scientifiques à suivre l'exemple de Examen physique , avec un ou deux (voire trois parfois) relecteurs anonymes.

Plutôt que l'éditeur, qui est responsable de la sélection des publications, les relecteurs sont ceux qui jugent si le travail est valable et mérite la reconnaissance (plutôt subjective) attachée à la publication dans une revue donnée. D'autres critiques restent possibles :les commentaires des articles peuvent être publiés après approbation par un processus de relecture, éventuellement suivi d'une réponse de l'auteur.

Une fois que les scientifiques sont contactés en tant qu'examinateurs potentiels par le rédacteur en chef, ils n'ont que peu de temps pour accepter. Ils auront quelques semaines – parfois même moins – pour se prononcer en connaissance de cause sur la pertinence du manuscrit. Ce travail non rémunéré reste anonyme (à quelques exceptions près).

De ma propre expérience, le temps nécessaire peut varier d'une heure à trois jours. La partie noble et passionnante de la relecture est que le processus de lecture critique et de réponses de l'auteur crée parfois une sorte de « coproduction » pour le contenu qui apparaît finalement dans la revue :et parfois le critique suggère des ouvertures plus larges non mentionnées par les auteurs. Le réviseur peut également découvrir des erreurs mineures voire graves, bien qu'en général ils ne soient pas critiques pour la conclusion du travail, qui est donc exempt d'erreurs lors de sa publication finale.

Trouver de bons relecteurs :la partie difficile du travail d'un rédacteur

Trouver des réviseurs disponibles est une tâche difficile pour les éditeurs de revues. Rares sont les spécialistes possédant à la fois l'expertise requise et une vision suffisamment large du terrain. Ce sont des gens occupés, et préfèrent souvent revoir les manuscrits lorsqu'ils introduisent de nouvelles idées plutôt que d'évaluer l'exactitude d'un article simplement incrémental. Les scientifiques en début de carrière sont souvent plus ouverts, car ils peuvent aimer participer au processus d'évaluation par les pairs, qui est au cœur du système académique qu'ils souhaitent rejoindre.

L'un des problèmes est la croissance du nombre de manuscrits soumis, qui à leur tour nécessitent de plus en plus de réviseurs. L'éditeur ne peut pas vraiment connaître - que ce soit scientifiquement ou pour la qualité de leur éthique - tous les évaluateurs qu'il a dans son pool, et cela peut conduire à un certain nombre de biais.

Les auteurs sont souvent encouragés, voire sollicités, à proposer d'éventuels relecteurs pour leurs articles. Pour un bon journal, cela peut être un moyen d'identifier avec précision le sous-domaine du manuscrit et facilitera la recherche d'experts reconnus. Il est clairement bon que l'examinateur d'origine refuse de soumettre un rapport parce qu'il n'est pas assez proche du domaine de la recherche, mais peut tout de même identifier un ou plusieurs experts que l'éditeur n'aurait pas pu identifier. Avec des revues de moindre qualité, l'éditeur peut décider de suivre paresseusement les suggestions des auteurs, au risque de s'orienter vers des amis ou vers des personnes d'une même petite communauté essayant d'exagérer l'importance de leur propre domaine. Encore pire, les relecteurs suggérés peuvent parfois être les auteurs eux-mêmes, caché derrière un alias électronique portant le nom d'un prétendu spécialiste.

Le processus d'arbitrage anonyme peut également présenter d'autres inconvénients. Plus que quelques chercheurs connaissent quelqu'un dont l'article a été rejeté, mais dont l'idée réapparaît miraculeusement sous le nom d'un collègue qui lui a été proposé comme critique. Le problème a été réduit par le développement de sites qui publient des prépublications. La pratique des relecteurs "anonymes" demandant qu'une référence soit ajoutée à leurs propres travaux est relativement courante, mais souvent transparent.

Revues reconnues, prédateurs, et autres mauvaises pratiques

La pression de publication – le fameux « publier ou périr » – et le rôle du hasard dans toute expertise font que tout manuscrit raisonnable et exempt d'erreurs grossières finira par être publié, même après rejet par une ou plusieurs revues. Plutôt que d'être anormal, ceci explique comment une hiérarchie de revues peut être établie. Parce que les publications en ligne sont vraiment bon marché par rapport aux publications imprimées, des revues "prédatrices" semblent désormais se réclamer d'un "peer-reviewed". De telles publications, facilement reconnaissable par les vrais scientifiques, publier contre rémunération tout ouvrage se prétendant destiné à un public scientifique, et fournir un vague "rapport d'arbitre".

Ces pratiques trompeuses surgissent parce qu'il y a une croissance considérable de l'enseignement supérieur au niveau mondial. Dans la plupart des cas, les frais de publication dans de telles revues prédatrices seront facturés à l'université elle-même, et pour les professeurs des institutions périphériques, l'édition peut être rentable en termes de reconnaissance et d'évolution de carrière. Des pratiques similaires dans le processus d'arbitrage se produisent également occasionnellement dans les sciences humaines et sociales, où des textes absurdes qui ressemblent à des travaux universitaires, parfois générés par ordinateur, peut passer le "processus d'arbitrage".

Quelques pistes d'amélioration

« L'évaluation par les pairs » est essentielle pour l'avancement de la science. Cependant, le niveau des publications avec relecteurs est affecté par le développement des publications en ligne et le nombre croissant d'articles. Certaines pistes méritent d'être envisagées pour améliorer le système :

• Les rapports des réviseurs peuvent être mis à disposition en ligne, aider les lecteurs à comprendre le contexte de l'ouvrage et de sa publication, comme tout critique d'une œuvre, en art et en science aussi. Une telle pratique est actuellement testée par certaines revues. C'est aussi un moyen d'établir la qualité d'une revue par sa capacité à sélectionner des arbitres appropriés et pointus.
• Certains examens de haut niveau ont envisagé un dépôt électronique temporaire, ouvert aux commentaires des chercheurs dans le domaine approprié, avant de décider de la validation en tant que publication. Cela ne serait disponible que pour les lecteurs volontaires, et lorsque les commentaires sont favorables. Le plus probable, un tel système ne fonctionnerait que pour les meilleurs journaux susceptibles d'attirer des spécialistes connus en tant que lecteurs.
• Exiger que les soumissions et les commentaires qu'elles reçoivent soient suivis de revue en revue limiterait la publication de travaux de moindre qualité. Actuellement, un manuscrit rejeté par une revue est envoyé sans critique lorsqu'il est soumis à une autre, sauf lorsque les deux appartiennent au même groupe éditorial. Montrer qu'on a amélioré une recherche en réponse à une critique n'est pas un aveu d'échec, mais naturel et louable.

En tant qu'auteur, Je serais plus confiant de recevoir une évaluation équitable d'un journal pour un manuscrit si je pouvais montrer comment il a été amélioré par les commentaires reçus lors d'une soumission précédente. Présentement, J'ai le sentiment que je violerais la propriété intellectuelle de la première revue et de ses arbitres, et donc s'abstenir d'attacher un tel matériel.

Cet article a été initialement publié sur The Conversation. Lire l'article original.