Il y a vingt ans, il était difficile de trouver des informations sur les restaurants locaux, sauf des restaurants eux-mêmes. Maintenant, grâce à Internet, les évaluations indépendantes sont faciles à trouver. Il est plus que temps de défendre la cause de la recherche scientifique, trop.

A sa frontière, la science est grossière et inégale. Les résultats proviennent de nouvelles machines ou procédures. Souvent, ceux-ci ne sont pas entièrement compris - comme Einstein l'aurait dit :" si nous savions ce que nous faisions, ça ne s'appellerait pas de la recherche."

L'humilité est donc importante, mais vous ne le trouverez pas toujours dans les comptes populaires qui claironnent de nouveaux travaux. Dans une certaine mesure, qui reflète la façon dont les chercheurs eux-mêmes décrivent leur travail. Nous, les scientifiques, préférons parfois écarter toute possibilité que nos découvertes reflètent une erreur. Nous avons également tendance à être trop optimistes sur le fait que nos conclusions sont d'une grande généralité, plutôt que de dépendre de circonstances très spécifiques.

Chez les scientifiques, comme les gens en général, les biais sont inévitables. Pour éviter d'être trop certain dans les conclusions scientifiques, alors, nous avons besoin de voir les opinions des deux côtés d'un problème. Malheureusement, cependant, de nombreux désaccords entre chercheurs sont systématiquement dissimulés plutôt que révélés.

Les nouveaux résultats sont soumis à ce qu'on appelle « l'examen par les pairs ». Cet examen par les pairs révèle souvent la complexité, incertitude, et des désaccords inhérents au travail de pointe, mais il n'est pas mis à la disposition du public.

Par conséquent, la science vue par le public est beaucoup plus certaine, universel, et sans controverse qu'il ne l'est en réalité.

Le processus d'examen par les pairs

Les humains sont des créatures biaisées. Secrètement ou pas si secrètement, les chercheurs applaudiront leurs théories préférées. Jugements scientifiques individuels, donc, ne doit pas faire confiance aveuglément.

Heureusement, nous, les scientifiques, sommes fréquemment en dialogue les uns avec les autres. Lors de la présentation de mon travail, Je me retrouve souvent poussé à examiner de plus près mes propres idées, et à la rigueur de mes méthodes. Je suis entraîné à réaliser que mes critiques ont en fait raison sur certaines choses.

Une grande partie de ce va-et-vient se produit dans l'examen par les pairs des revues. Après avoir soumis un article à une revue, un éditeur l'envoie à deux ou trois autres chercheurs. Ces « pairs évaluateurs, " qui sont souvent choisis parmi les plus grands experts mondiaux sur le sujet de l'article, sont chargés d'évaluer l'article et les études qu'il rapporte.

Les commentaires des experts peuvent être un mélange de critiques et d'éloges, avec des réflexions sur les analyses des données, les procédures utilisées, comment exactement les résultats se comparent à ceux des travaux antérieurs, et la force des preuves présentées pour les conclusions de mon article.

Même dans les cas où les examens par les pairs sont brefs, ils incluent l'approbation par les experts d'aspects particuliers d'un article, ce qui serait très précieux pour certains lecteurs.

Parfois les critiques sont assez longues, et la connaissance qu'ils contiennent ne peut être trouvée nulle part ailleurs. Par exemple, les trois dernières évaluations par les pairs que j'ai écrites comptaient chacune plus de mille mots, arriver à seize pages de texte tout. La plupart des commentaires individuels sont de peu d'intérêt pour quiconque ne travaille pas dans le domaine, mais ensemble, ils peuvent s'ajouter à des implications plus larges pour la crédibilité des conclusions.

Les auteurs répondent généralement aux évaluations par les pairs en incorporant certains de leurs points, corriger les erreurs manifestes, et en déplaçant des parties de leur argumentation pour réduire toute dépendance à des hypothèses douteuses. Cependant, les chercheurs évitent parfois d'aborder directement les questions litigieuses, préférant plutôt les balayer sous le tapis. Les inquiétudes des pairs évaluateurs peuvent alors être indétectables pour les futurs lecteurs.

Éviter les détours narratifs pour discuter des défauts ou des hypothèses douteuses peut être important pour faire passer le point principal d'une étude. C'est la raison pour laquelle je rédige mes propres articles comme une histoire bien rangée, du moins c'est ce que je me dis. Je veux que mes articles brillent. Je dois admettre, bien que, que je veux aussi que les lecteurs ignorent tout saut sur le chemin qui mène à ma conclusion.

Une version aseptisée de la science

Les revues scientifiques considèrent les évaluations par les pairs comme confidentielles, et n'autoriser que les auteurs de l'article, les deux ou trois examinateurs, et le rédacteur en chef du journal pour les voir. Ce que les lecteurs et le monde voient, alors, est une version aseptisée de la science. Les consommateurs de la recherche, qu'il s'agisse d'autres chercheurs, ingénieurs, créateurs de politiques, journalistes, ou les entreprises pharmaceutiques – sont privées des informations contenues dans les évaluations par les pairs.

Lors de la rédaction d'un article sur une nouvelle découverte, les journalistes finissent par devoir organiser eux-mêmes une évaluation externe. Ils appellent tous les experts qu'ils peuvent trouver et les interrogent sur les problèmes possibles. En faisant ainsi, ils essaient de recréer un processus de révision qui a déjà été fait. Ils recevront rarement des commentaires aussi détaillés que ceux de l'examen formel par les pairs, et ils ne reçoivent ces commentaires que pour une infime fraction des nouvelles découvertes publiées chaque jour.

Si l'évaluation effectuée dans le cadre du processus initial d'examen par les pairs était publique, les comptes-rendus seraient moins crédules, et la compréhension publique de la science pourrait être plus sophistiquée. Des chercheurs, avoir l'avantage de pouvoir lire les commentaires des pairs ainsi que les nouveaux travaux, serait moins susceptible de supposer qu'un résultat est solide, une attitude qui a contribué à la crise de réplication.

Post-pandémie, un nouveau monde de la recherche

Alors que l'épidémie de coronavirus s'est propagée l'année dernière, il y avait une large prise de conscience que l'examen par les pairs de la recherche COVID était trop important pour être gardé à huis clos. Les chercheurs ont rapidement évalué les nouveaux travaux et publié leurs commentaires sur des forums Internet tels que Twitter et le site de commentaires de recherche PubPeer.

Certaines de ces critiques ont été reprises par des journalistes et ont contribué aux rétractations d'une étude mal fondée sur l'hydroxychloroquine ainsi qu'à des corrections rapides d'études de taux d'infection.

Les discussions sur Twitter peuvent être chaotiques, et l'algorithme de twitter ne récompense pas la nuance. Les excès qui en ont résulté sont une raison pour laquelle tous les chercheurs n'ont pas applaudi l'augmentation des commentaires ouverts, donc avec le passage de la pandémie, il y a un danger que la science se replie dans sa coquille. Heureusement, initiatives publiques d'examen par les pairs conçues par des chercheurs, plutôt que par les sociétés de médias sociaux qui cherchent à monétiser l'indignation, ont maintenant attiré un nombre substantiel d'experts.

Au cours des vingt dernières années, grâce à ce qu'on appelle le mouvement "open access", nous avons vu la proportion d'articles scientifiques pouvant être lus gratuitement passer d'une infime minorité à près de la moitié. Au cours des vingt prochaines années, pour parvenir à une réelle compréhension du public de la nature des nouvelles découvertes, nous devons également ouvrir l'examen par les pairs.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.