Les mots « publié dans une revue à comité de lecture » ​​sont parfois considérés comme l'étalon-or en science. Mais n'importe quel scientifique professionnel vous dira que le fait qu'un article ait fait l'objet d'un examen par les pairs est loin d'être une garantie de qualité à toute épreuve.

Pour savoir quelle science vous devriez vraiment confiance, vous devez peser les indicateurs subtils que les scientifiques considèrent.

Réputation de la revue

La réputation de la revue dans laquelle un article est publié est la première chose.

Pour chaque domaine scientifique, des revues générales (comme Nature, Science et Actes de l'Académie nationale des sciences ) et de nombreuses autres revues spécialisées (comme la Journal de chimie biologique ) sont disponibles. Mais il est important de reconnaître que des hiérarchies existent.

Certaines revues sont considérées comme plus prestigieuses, ou franchement, mieux que d'autres. Le « facteur d'impact » (qui reflète le nombre de citations que les articles de la revue attirent) est un simple, si mesure controversée, de l'importance d'un journal.

En pratique, chaque chercheur a en tête une liste mentale des meilleures revues pertinentes. Lorsque vous choisissez où publier, chaque scientifique porte son propre jugement sur l'intérêt et la fiabilité de leurs nouveaux résultats.

Si les auteurs visent trop haut avec leur revue cible, alors l'éditeur rejettera probablement l'article immédiatement sur la base de "l'intérêt" (avant même de considérer la qualité scientifique).

Si un auteur vise trop bas, alors ils pourraient se vendre à découvert - cela pourrait représenter une opportunité manquée pour un article de trophée dans un journal de premier plan que tout le monde reconnaîtrait comme important (ne serait-ce qu'en raison de l'endroit où il a été publié).

Les chercheurs parlent parfois de leur article dans une lettre de motivation à l'éditeur, et viser une revue un rang au-dessus où ils s'attendent à ce que le manuscrit finisse par se retrouver. Si leur papier est accepté, ils sont contents. Si non, ils se soumettent à nouveau à un rang inférieur, ou dans l'euphémisme standard, une « revue plus spécialisée ». Cela fait perdre du temps et des efforts, mais c'est la réalité de la vie en science.

Ni les éditeurs ni les auteurs n'aiment se tromper. Ils pèsent la pression pour casser une histoire avec un gros titre contre la peur de faire une erreur. Une erreur dans ce contexte, c'est publier un résultat qui devient vite mêlé à la polémique.

Pour s'en prémunir, trois ou quatre pairs évaluateurs (experts expérimentés dans le domaine) sont nommés par le rédacteur en chef pour l'aider.

Le processus d'examen par les pairs

Au moment de soumettre un article, les auteurs peuvent suggérer des évaluateurs qu'ils jugent convenablement qualifiés. Mais l'éditeur fera le choix final, en fonction de leur compréhension du terrain et également de la qualité et de la rapidité avec laquelle les évaluateurs répondent à la tâche.

L'identité des évaluateurs par les pairs est généralement gardée secrète afin qu'ils puissent commenter librement (mais parfois cela signifie qu'ils sont assez durs). Les pairs évaluateurs répéteront le travail de l'éditeur, et indiquer si l'article présente un intérêt suffisant pour la revue. Surtout, ils évalueront également la robustesse de la science et si les conclusions sont étayées par des preuves.

Il s'agit de l'étape critique de « revue par les pairs ». En pratique, bien que, le niveau d'examen reste lié à la réputation de la revue. Si le travail est envisagé pour une revue de premier plan, l'examen sera intense. Les meilleurs journaux acceptent rarement les articles à moins qu'ils ne les considèrent non seulement intéressants, mais aussi étanches et à l'épreuve des balles – c'est-à-dire qu'ils croient que le résultat est quelque chose qui résistera à l'épreuve du temps.

Si, d'autre part, le travail va dans un journal peu lu avec un faible facteur d'impact, alors parfois les critiques seront plus indulgents. Ils s'attendront toujours à de la rigueur scientifique mais sont susceptibles d'accepter certaines données comme non concluantes, à condition que les chercheurs soulignent les limites de leur travail.

Sachant que c'est ainsi que se déroule le processus, chaque fois qu'un chercheur lit un article, il note mentalement où le travail a été publié.

Facteur d'impact de la revue

La plupart des revues sont fiables. Mais au bas de la liste en termes d'impact se trouvent deux types de revues :

1. des revues respectables qui publient des résultats évalués par des pairs qui sont solides mais d'un intérêt limité - car ils peuvent représenter des impasses ou des sujets locaux très spécialisés
2. les revues dites "prédatrices", qui sont plus sinistres - dans ces revues, le processus d'évaluation par les pairs est soit superficiel, soit inexistant, et les éditeurs facturent essentiellement aux auteurs le privilège de publier.

Les scientifiques professionnels distingueront les deux en partie sur la base de la maison d'édition, et même le nom du journal.

Les Bibliothèque publique des sciences (PLOS) est un éditeur réputé, et propose PLOS ONE pour une science solide - même si cela ne peut plaire qu'à un public limité.

Springer Nature a lancé un journal similaire appelé Rapports scientifiques . D'autres revues de bonne qualité avec des facteurs d'impact plus faibles incluent les revues de sociétés universitaires spécialisées dans les pays à plus petite population - elles n'atteindront jamais un large public, mais le travail peut être solide.

D'un autre côté, les revues prédatrices sont souvent de grande envergure, édités par des éditeurs en ligne gérant de nombreux titres, et ont parfois le mot "international" dans le titre. Ils cherchent à récolter un grand nombre de papiers pour maximiser leurs profits. Alors des noms comme le Revue internationale des sciences doit être traité avec prudence, tandis que le Journal de l'Australian Bee Society peut très bien être fiable (remarque, J'ai inventé ces noms juste pour illustrer ce point).

La valeur d'un journal par rapport à un seul article

Les facteurs d'impact sont devenus controversés parce qu'ils ont été galvaudés comme indicateur de la qualité d'un seul article. Cependant, strictement appliqués, ils ne reflètent que l'intérêt suscité par une revue, et peut dépendre de quelques articles « jackpot » qui « deviennent viraux » en termes d'accumulation de citations.

En outre, tandis que les articles publiés dans des revues à fort impact peuvent avoir fait l'objet d'un examen plus approfondi, il y a plus de pression sur les éditeurs et sur les auteurs de ces revues de premier plan. Cela signifie que les raccourcis peuvent être pris plus souvent, le dernier, l'expérience de contrôle cruciale peut ne jamais être faite, et les journaux finissent par être moins fiables que leur réputation ne le laisse supposer. Cette déconnexion génère parfois des sniping sur le fait que certains journaux ne sont pas aussi bons qu'ils le prétendent – ​​ce qui maintient en fait tout le monde sur ses gardes.

Alors que toutes les controverses entourant les facteurs d'impact sont réelles, chaque chercheur les connaît et y pense ou d'autres systèmes de classement des revues (SNP - Source Normalized Impact per Paper, SJR – Classement des revues scientifiques, et autres) lorsqu'ils choisissent dans quelle revue publier, quels papiers lire, et quels papiers faire confiance.

Rien n'est parfait

Même si tout est bien fait, l'examen par les pairs n'est pas infaillible. Si les auteurs falsifient leurs données très intelligemment, par exemple, alors il peut être difficile à détecter.

falsifier délibérément des données est, cependant, relativement rare. Non pas parce que les scientifiques sont des saints, mais parce qu'il est insensé de falsifier des données. Si les résultats sont importants, d'autres essaieront rapidement de les reproduire et de s'appuyer sur eux. Si un faux résultat est publié dans une revue de premier plan, il est presque certain d'être découvert. Cela arrive de temps en temps, et c'est toujours un scandale.

Les erreurs et les négligences sont beaucoup plus courantes. Cela peut être lié à l'urgence croissante, pression pour publier et prévalence de grandes équipes où personne ne peut comprendre toute la science. De nouveau, cependant, seules les erreurs sans importance survivront - les erreurs les plus importantes seront rapidement détectées.

Pouvez-vous faire confiance à l'édifice qu'est la science moderne ?

D'habitude, on peut avoir une idée de la probabilité qu'un élément scientifique évalué par des pairs soit solide. Cela passe par le fait de s'appuyer sur la combinaison de la fierté et de la réputation des auteurs, et des rédacteurs de revues, et des pairs évaluateurs.

Je fais donc confiance à la combinaison du système d'examen par les pairs et au fait inhérent que la science repose sur des fondements antérieurs. Si ceux-ci sont fragiles, les fissures apparaîtront rapidement et les choses se remettront en place.

Je suis également encouragé par les nouvelles opportunités pour des systèmes encore meilleurs et plus rapides qui se présentent à la suite des progrès de la technologie de l'information. Il s'agit notamment de modèles d'examen par les pairs après publication (plutôt qu'avant publication). Cela crée peut-être un moyen de formaliser les discussions qui se dérouleraient autrement sur Twitter, et cela peut soulever des doutes sur la validité des résultats publiés.

La revue eLife bouleverse l'évaluation par les pairs. Elle propose de publier tout ce qu'elle juge d'un intérêt suffisant, puis laisser les auteurs choisir de répondre ou de ne pas répondre aux points soulevés lors de l'examen par les pairs après l'acceptation du manuscrit. Les auteurs peuvent même choisir de s'abstenir d'aller de l'avant s'ils pensent que les points des pairs évaluateurs exposent le travail comme imparfait.

ELife dispose également d'un système où les évaluateurs se réunissent et fournissent un seul examen modéré, auquel leurs noms sont annexés et qui est publié. Cela évite le problème de l'anonymat permettant un traitement trop sévère.

En tout, nous devons être sûrs que la science importante est solide (et la science périphérique non validée) en raison de l'examen par les pairs, transparence, examen minutieux et reproduction des résultats dans les publications scientifiques. Néanmoins dans certains domaines où la reproduction est rare ou impossible – études à long terme dépendant de données statistiques complexes – il est probable que le débat scientifique se poursuive.

Mais même dans ces domaines, l'examen sans fin par d'autres chercheurs, ainsi que la réputation fièrement gardée des auteurs et des revues, signifie que même si ce ne sera jamais parfait, la méthode scientifique reste plus fiable que toutes les autres.

Cet article a été initialement publié sur The Conversation. Lire l'article original.