Dans un récent sondage de plus de 1, 500 scientifiques, plus de 70 pour cent d'entre eux ont déclaré avoir été incapables de reproduire les découvertes d'autres scientifiques au moins une fois. Environ la moitié des scientifiques interrogés ont rencontré des problèmes en essayant de reproduire leurs propres résultats. Pas étonnant que les gens parlent d'une "crise de la reproductibilité" dans la recherche scientifique - une épidémie d'études qui ne tiennent pas lorsqu'elles sont exécutées une deuxième fois.

La reproductibilité des résultats est un fondement essentiel de la science. Si les résultats scientifiques ne sont vrais que dans certains laboratoires mais pas dans d'autres, alors comment les chercheurs peuvent-ils avoir confiance en leurs découvertes ? Comment la société peut-elle mettre en place des politiques fondées sur des preuves si les preuves ne sont pas fiables ?

La reconnaissance de cette « crise » a suscité des appels à la réforme. Les chercheurs tâtonnent, expérimenter différentes pratiques destinées à aider à distinguer la science solide des résultats non reproductibles. Certaines personnes commencent même à réévaluer la manière dont les choix sont faits quant à la recherche réellement abordée. Innover sur de nouveaux terrains est plus flashy que de revisiter des recherches déjà publiées. La priorisation de la nouveauté conduit-elle naturellement à ce point ?

Encourager la mauvaise chose ?

Une solution à la crise de reproductibilité pourrait être simplement de mener de nombreuses études de réplication. Par exemple, la revue scientifique eLife participe à une initiative visant à valider et reproduire d'importantes découvertes récentes dans le domaine de la recherche sur le cancer. La première série de ces études « reprises » a été récemment publiée et a donné des résultats mitigés. Les résultats de 2 des 5 études de recherche étaient reproductibles, une ne l'était pas et deux études supplémentaires n'ont pas fourni de réponses définitives.

Il n'est pas nécessaire de restreindre ce type d'études répétées à la recherche sur le cancer - des problèmes de reproductibilité peuvent être détectés dans divers domaines de la recherche scientifique.

Mais il y a au moins un obstacle majeur à investir du temps et des efforts dans cette entreprise :la quête de nouveauté. Le prestige d'une revue universitaire dépend au moins en partie de la fréquence à laquelle les articles de recherche qu'elle publie sont cités. Ainsi, les revues de recherche souhaitent souvent publier de nouvelles découvertes scientifiques qui sont plus susceptibles d'être citées, pas nécessairement les résultats de recherches plus anciennes récemment réexécutées.

Une étude d'essais cliniques publiés dans des revues médicales a révélé que les revues les plus prestigieuses préfèrent publier des études considérées comme très nouvelles et pas nécessairement celles qui ont les chiffres les plus solides pour étayer les affirmations. Les agences de financement telles que les National Institutes of Health demandent aux scientifiques qui examinent les demandes de subventions de recherche de fournir un score « innovation » afin de prioriser le financement des travaux les plus innovants. Et les scientifiques remarquent bien sûr ces tendances - une étude a trouvé l'utilisation de mots positifs comme "roman, " "incroyable, « « innovant » et « sans précédent » dans les résumés et les titres d'articles ont presque été multipliés par neuf entre 1974 et 2014.

Le chercheur en génétique Barak Cohen de l'Université de Washington à St. Louis a récemment publié un commentaire analysant cette poussée croissante de nouveauté. Il suggère que le progrès de la science dépend d'un équilibre délicat entre la nouveauté et la vérification du travail d'autres scientifiques. Lorsque des récompenses telles que le financement de subventions ou la publication dans des revues prestigieuses mettent l'accent sur la nouveauté au détriment de tester des résultats déjà publiés, la science risque de développer des fissures dans ses fondations.

Maisons de briques, manoirs de paille

Le chercheur sur le cancer William Kaelin Jr., récipiendaire du prix Albert Lasker 2016 pour la recherche médicale fondamentale, a récemment plaidé pour moins de « manoirs de paille » et plus de « maisons de briques » dans les publications scientifiques.

L'une de ses principales préoccupations est que les articles scientifiques gonflent maintenant leurs revendications afin de souligner leur nouveauté et la pertinence de la recherche biomédicale pour les applications cliniques. En échangeant la profondeur de la recherche contre l'étendue des revendications, les chercheurs risquent de compromettre la robustesse du travail. En revendiquant une nouveauté et un impact excessifs, les chercheurs peuvent saper sa signification réelle parce qu'ils peuvent ne pas fournir de preuves solides pour chaque allégation.

Kaelin suggère même que certains de ses propres travaux des années 1990, qui a transformé la recherche en biologie cellulaire en découvrant comment les cellules peuvent détecter l'oxygène, peut-être eu du mal à être publié aujourd'hui.

Les revues prestigieuses exigent désormais souvent des récits scientifiques complets, des mécanismes moléculaires de base à la preuve de leur pertinence dans divers modèles animaux. Des résultats inexpliqués ou des questions sans réponse sont considérés comme des faiblesses. Au lieu de publier un roman passionnant et solide, et qui pourrait engendrer une nouvelle direction de recherche menée par d'autres groupes, les chercheurs passent maintenant des années à rassembler toute une série de découvertes avec de larges revendications sur la nouveauté et l'impact.

Équilibrer les découvertes récentes et la robustesse

Un défi pour les éditeurs et les réviseurs de manuscrits scientifiques est d'évaluer la nouveauté et l'impact probable à long terme du travail qu'ils évaluent. L'importance éventuelle d'un nouveau, idée scientifique unique est parfois difficile à reconnaître, même par des pairs qui sont ancrés dans les connaissances existantes. De nombreuses études de recherche fondamentale constituent la base d'applications pratiques futures. Une étude récente a révélé que parmi les articles de recherche fondamentale ayant reçu au moins une citation, 80 pour cent ont finalement été cités par une demande de brevet. Mais il faut du temps pour que la signification pratique se fasse jour.

Une équipe collaborative de chercheurs en économie a récemment développé une mesure inhabituelle de la nouveauté scientifique en étudiant attentivement les références d'un article. Ils ont classé un article scientifique comme plus novateur s'il citait une combinaison diversifiée de revues. Par exemple, un article scientifique citant une revue de botanique, une revue d'économie et une revue de physique seraient considérées comme très nouvelles si aucun autre article n'avait cité auparavant cette combinaison de références variées.

Cette mesure de la nouveauté leur a permis d'identifier les articles les plus susceptibles d'être cités à long terme. Mais il a fallu environ quatre ans pour que ces nouveaux articles commencent à montrer leur plus grand impact. On peut être en désaccord avec cet indicateur particulier de nouveauté, mais l'étude souligne un point important :il faut du temps pour reconnaître le plein impact des nouvelles découvertes.

Réalisant combien il est difficile d'évaluer la nouveauté devrait donner aux agences de financement, les éditeurs de revues et les scientifiques font une pause. Les progrès de la science dépendent de nouvelles découvertes et de voies inexplorées - mais solides, la recherche reproductible exige un accent égal sur la robustesse du travail. En rétablissant l'équilibre entre les exigences et les récompenses pour la nouveauté et la robustesse, la science réalisera des progrès encore plus importants.

Cet article a été initialement publié sur The Conversation. Lire l'article original.