Cueillette de cerises ou masquage des résultats, exclure les données pour atteindre les seuils statistiques et présenter des résultats inattendus comme s'ils avaient été prédits depuis le début – ce ne sont là que quelques-unes des « pratiques de recherche douteuses » impliquées dans la crise de réplication à laquelle la psychologie et la médecine ont été confrontées au cours des cinq dernières années environ.

Nous avons récemment interrogé plus de 800 écologistes et biologistes de l'évolution et avons trouvé des taux élevés de bon nombre de ces pratiques. Nous pensons qu'il s'agit de la première documentation de ces comportements dans ces domaines scientifiques.

Nos résultats de pré-impression ont une certaine valeur de choc, et leur sortie a attiré beaucoup d'attention sur les réseaux sociaux.

• 64 % des chercheurs interrogés ont déclaré avoir au moins une fois omis de déclarer les résultats parce qu'ils n'étaient pas statistiquement significatifs (cueillette de cerises)
• 42% avaient collecté plus de données après avoir vérifié si les résultats étaient statistiquement significatifs (une forme de "p hacking")
• 51 % ont signalé une découverte inattendue comme si elle avait été supposée dès le départ (connue sous le nom de « HARKing, " ou émettre une hypothèse après que les résultats sont connus).

Bien que ces résultats soient très similaires à ceux qui ont été trouvés en psychologie, les réactions suggèrent qu'elles sont surprenantes - du moins pour certains chercheurs en écologie et en évolution.

les auteurs rapportent que dans l'ensemble, l'utilisation de pratiques de recherche douteuses en écologie et évolution est à peu près aussi répandue qu'en psychologie.
Nous avons tous regardé Psych, nous tordant les mains sur les pauvres chéris mais VOUS TOUS, NOUS AVONS AUSSI DES PROBLÈMES

– Andrew MacDonald (@polesasunder) 21 mars 2018

Il existe de nombreuses interprétations possibles de nos résultats. Nous nous attendons à ce qu'il y ait également de nombreuses idées fausses à leur sujet et des extrapolations injustifiées. Nous parlons bien de certains d'entre eux ci-dessous.

C'est de la fraude !

Ce n'est pas de la fraude. La fraude scientifique implique la fabrication de données et entraîne de lourdes sanctions pénales. Les pratiques de recherche discutables sur lesquelles nous nous concentrons sont par définition discutables :elles se situent dans une zone grise entre les pratiques acceptables et l'inconduite scientifique.

Nous avons posé une question sur la fabrication de données et la réponse à cette question a fourni une preuve supplémentaire que c'est très rare, concorde avec les résultats d'autres domaines.

Les scientifiques manquent d'intégrité et nous ne devrions pas leur faire confiance

Il y a plusieurs raisons pour lesquelles cela ne devrait pas être le message à retenir de notre journal.

D'abord, jusqu'à présent, les réactions à nos résultats suggèrent un engagement, communauté scientifique mature, prêt à reconnaître et à résoudre ces problèmes.

Je ne suis malheureusement pas surpris par cela - quand j'ai été "formé", beaucoup de ces pratiques douteuses étaient la norme. Nous devons commencer à former les étudiants plus tôt, mais aussi nous assurer que les gardiens des subventions et des publications sont également informés de ces questions. Profitez de votre café !

– Matthew Grainger (@Ed_pheasant) 21 mars 2018

Si quoi que ce soit, ce type d'engagement devrait accroître notre confiance en ces scientifiques et leur engagement envers l'intégrité de la recherche.

Seconde, les résultats nous en disent beaucoup plus sur les incitations structurées et les institutions que sur les individus et leur intégrité personnelle.

Par exemple, ces résultats nous renseignent sur l'institution de l'édition scientifique, où les négatifs (résultats non statistiquement significatifs) sont pratiquement bannis de la plupart des revues dans la plupart des domaines scientifiques, et où les études de réplication ne sont pratiquement jamais publiées en raison de l'accent mis sur le roman, des résultats « révolutionnaires ».

Les résultats de l'enquête nous renseignent sur le financement scientifique, encore une fois où "roman" (signifiant positif, significatifs) les résultats sont valorisés plus que prudents, procédures et réplication prudentes. Ils nous parlent aussi des universités, sur les pratiques d'embauche et de promotion au sein de la science universitaire qui se concentrent sur les mesures de publication et surévaluent la quantité au détriment de la qualité.

Alors qu'est-ce qu'ils veulent dire, ces pratiques de recherche douteuses admises par les scientifiques de notre enquête ? Nous pensons qu'ils sont mieux compris comme le résultat inévitable d'un biais de publication, protocoles de financement et une pression toujours croissante pour publier.

Nous ne pouvons pas fonder des décisions importantes sur des preuves scientifiques actuelles

Il y a un risque que nos résultats donnent à penser que notre science n'est pas prête pour les politiques. Dans de nombreux domaines, comme la santé et l'environnement, cela peut être très dommageable, même désastreux.

L'une des raisons pour lesquelles c'est injustifié est que la science du climat est une science basée sur un modèle, et il y a eu de nombreuses réplications indépendantes de ces modèles. De même avec les essais d'immunisation.

Nous savons que toute critique de la pratique scientifique court un risque dans le contexte du sentiment anti-science, mais une telle critique est fondamentale pour le succès de la science.

Rester ouvert à la critique est le mécanisme d'autocorrection le plus puissant de la science, et finalement ce qui rend la base de preuves scientifiques digne de confiance.

Les scientifiques sont humains et nous avons besoin de garanties

C'est une interprétation que nous approuvons de tout coeur. Les scientifiques sont humains et soumis à la même série de biais cognitifs - comme le biais de confirmation - que le reste d'entre nous.

À mesure que nous en apprenons davantage sur les biais cognitifs et sur la meilleure façon de les atténuer dans différentes circonstances, nous devons réintégrer cela dans les normes de la pratique scientifique.

Il en va de même de nos connaissances sur la façon dont les gens fonctionnent dans différentes structures et conditions d'incitation. C'est la base de nombreuses initiatives conçues pour rendre la science plus ouverte et transparente.

Le mouvement de la science ouverte consiste à développer des initiatives pour se protéger contre l'influence des biais cognitifs, et modifier les structures d'incitation afin que la recherche utilisant ces pratiques de recherche douteuses cesse d'être récompensée.

Certaines de ces initiatives ont été adoptées avec enthousiasme par de nombreux scientifiques et éditeurs de revues. Par exemple, de nombreuses revues publient désormais des codes d'analyse et des données avec leurs articles, et beaucoup ont adhéré aux directives de promotion de la transparence et de l'ouverture (TOP).

D'autres initiatives sont également très prometteuses. Par exemple, des formats de rapport enregistrés sont désormais proposés par certaines revues, principalement dans les domaines de la psychologie et de la médecine. Dans un rapport enregistré, les articles sont examinés en fonction de leur prémisse et de leur approche sous-jacentes, avant la collecte des données. Cela supprime la tentation de ne sélectionner que des résultats positifs ou d'appliquer différentes normes de rigueur aux résultats négatifs. En bref, il déjoue les biais de publication.

Nous espérons qu'en attirant l'attention sur la prévalence de pratiques de recherche douteuses, notre recherche encouragera le soutien de ces initiatives, et surtout, encourager les institutions à soutenir les chercheurs dans leurs propres efforts pour aligner leur pratique sur leurs valeurs scientifiques.

Cet article a été initialement publié sur The Conversation. Lire l'article original.