Alors que la reproductibilité informatique dans la recherche scientifique est généralement attendue lorsque les données et le code d'origine sont disponibles, le manque de capacité à reproduire une étude précédente - ou à obtenir des résultats cohérents en examinant la même question scientifique mais avec des données différentes - est plus nuancé et peut parfois aider dans le processus de découverte scientifique, dit un nouveau rapport mandaté par le Congrès des National Academies of Sciences, Ingénierie, et Médecine. La reproductibilité et la réplicabilité en science recommande des moyens que les chercheurs, institutions académique, revues, et les bailleurs de fonds doivent contribuer à renforcer la rigueur et la transparence afin d'améliorer la reproductibilité et la réplicabilité de la recherche scientifique.

Définition de la reproductibilité et de la réplicabilité

Les termes « reproductibilité » et « réplicabilité » sont souvent utilisés de manière interchangeable, mais le rapport utilise chaque terme pour désigner un concept distinct. La reproductibilité signifie obtenir des résultats de calcul cohérents en utilisant les mêmes données d'entrée, étapes de calcul, méthodes, code, et les conditions d'analyse. La réplicabilité signifie obtenir des résultats cohérents entre les études visant à répondre à la même question scientifique, dont chacun a obtenu ses propres données.

La reproduction de la recherche implique l'utilisation des données et du code d'origine, tandis que la réplication de la recherche implique une nouvelle collecte de données et des méthodes similaires utilisées dans les études précédentes, dit le rapport. Même lorsqu'une étude a été menée rigoureusement selon les meilleures pratiques, correctement analysé, et signalé de manière transparente, il peut ne pas être répliqué.

"Être capable de reproduire les résultats informatiques d'un autre chercheur en commençant par les mêmes données et en répliquant une étude précédente pour tester ses résultats facilite la nature autocorrectrice de la science, et sont souvent cités comme la marque d'une bonne science, " a déclaré Harvey Fineberg, président de la Fondation Gordon et Betty Moore et président du comité qui a mené l'étude. "Toutefois, des facteurs tels que le manque de transparence des rapports, manque de formation appropriée, et les erreurs méthodologiques peuvent empêcher les chercheurs de reproduire ou de répliquer une étude. Les financeurs de la recherche, revues, institutions académique, créateurs de politiques, et les scientifiques eux-mêmes ont chacun un rôle à jouer dans l'amélioration de la reproductibilité et de la réplicabilité en veillant à ce que les scientifiques adhèrent aux normes de pratique les plus élevées, comprendre et exprimer l'incertitude inhérente à leurs conclusions, et continuer à renforcer le réseau interconnecté de connaissances scientifiques, le principal moteur du progrès dans le monde moderne. »

Reproductibilité

La définition de la reproductibilité du comité se concentre sur le calcul car la plupart des disciplines de recherche scientifique et technique utilisent le calcul comme un outil, et l'abondance des données et l'utilisation généralisée du calcul ont transformé de nombreuses disciplines. Cependant, cette révolution ne se reflète pas encore uniformément dans la manière dont les scientifiques utilisent les logiciels et dont les résultats scientifiques sont publiés et partagés, dit le rapport. Ces lacunes ont des implications pour la reproductibilité, parce que les scientifiques qui souhaitent reproduire la recherche peuvent ne pas disposer des informations ou de la formation dont ils ont besoin pour le faire.

Lorsque les résultats sont produits par des processus informatiques complexes utilisant de gros volumes de données, la section méthodes d'un article scientifique est insuffisante pour transmettre les informations nécessaires pour que d'autres reproduisent les résultats, dit le rapport. Informations complémentaires relatives aux données, code, des modèles, et une analyse informatique est nécessaire.

Si suffisamment d'informations supplémentaires sont disponibles et qu'un deuxième chercheur suit les méthodes décrites par le premier chercheur, on s'attend dans de nombreux cas à obtenir les mêmes valeurs numériques exactes - ou une reproduction au niveau du bit. Pour certaines questions de recherche, la reproduction au niveau du bit peut ne pas être réalisable et des résultats reproductibles pourraient être obtenus dans une plage de variation acceptée.

La base de preuves pour déterminer la prévalence de la non-reproductibilité dans la recherche est incomplète, et déterminer l'étendue des problèmes liés à la reproductibilité informatique entre ou au sein des domaines scientifiques serait une entreprise massive avec une faible probabilité de succès, le comité a trouvé. Cependant, un certain nombre d'efforts systématiques pour reproduire des résultats de calcul dans une variété de domaines ont échoué dans plus de la moitié des tentatives effectuées, principalement en raison d'un manque de détails sur les données, code, et le flux de travail informatique.

Réplicabilité

Un moyen important de confirmer ou de s'appuyer sur les résultats précédents est de suivre les mêmes méthodes, obtenir de nouvelles données, et voir si les résultats sont cohérents avec l'original. Une réplication réussie ne garantit pas que les résultats scientifiques originaux d'une étude étaient corrects, cependant, pas plus qu'une seule réplication échouée ne réfute de manière concluante les affirmations originales, dit le rapport.

La non-réplicabilité peut provenir de plusieurs sources. Le comité a classé les sources de non-réplicabilité dans celles qui sont potentiellement utiles pour acquérir des connaissances, et ceux qui ne sont pas utiles.

Les sources potentiellement utiles de non-réplicabilité incluent les incertitudes inhérentes mais non caractérisées dans le système étudié. Ces sources de non-réplicabilité font partie intégrante du processus scientifique, en raison de la variation intrinsèque ou de la complexité de la nature, l'étendue des connaissances scientifiques actuelles, et les limites des technologies actuelles. Dans ces cas, un échec de réplication peut conduire à la découverte de nouveaux phénomènes ou de nouvelles informations sur la variabilité du système étudié.

Dans d'autres cas, le rapport dit, la non-réplicabilité est due à des défauts de conception, conduite, et la communication d'une étude. Qu'il s'agisse d'un manque de connaissances, incitations perverses, négligence, ou biais, ces sources inutiles de non-réplicabilité réduisent l'efficacité du progrès scientifique.

Les sources inutiles de non-réplicabilité peuvent être minimisées grâce à des initiatives et des pratiques visant à améliorer la conception et la méthodologie de la recherche grâce à la formation et au mentorat, répéter les expériences avant publication, examen rigoureux par les pairs, utiliser des outils de vérification des analyses et des résultats, et une meilleure transparence dans les rapports. Les efforts visant à minimiser les sources évitables et inutiles de non-réplicabilité méritent une attention continue, dit le rapport.

Les chercheurs qui utilisent sciemment des pratiques de recherche douteuses dans l'intention de tromper commettent une faute ou une fraude. Il peut être difficile dans la pratique de faire la différence entre des erreurs honnêtes et une faute intentionnelle, parce que l'action sous-jacente peut être la même alors que l'intention ne l'est pas. L'inconduite scientifique sous la forme de fausses déclarations et de fraude est une préoccupation constante pour toute la science, même s'il ne représente qu'un très faible pourcentage des articles scientifiques publiés, le comité a trouvé.

Améliorer la reproductibilité et la réplicabilité en recherche

Le rapport recommande une série de mesures que les parties prenantes de l'entreprise de recherche devraient prendre pour améliorer la reproductibilité et la réplicabilité, comprenant:

• Tous les chercheurs devraient inclure un spécifique, et une description complète de la façon dont les résultats rapportés ont été atteints. Les rapports doivent inclure des détails appropriés au type de recherche, comme une description claire de toutes les méthodes, instruments, matériaux, procédures, des mesures, et d'autres variables impliquées dans l'étude ; une description claire de l'analyse des données et des décisions d'exclusion de certaines données ou d'inclusion d'autres ; et discussion sur l'incertitude des mesures, résultats, et inférences.
• Les agences et organisations de financement devraient envisager d'investir dans la recherche et le développement de logiciels libres, des outils et une infrastructure utilisables qui prennent en charge la reproductibilité d'un large éventail d'études dans différents domaines de manière transparente. Parallèlement, des investissements seraient utiles dans la sensibilisation pour informer et former les chercheurs sur les meilleures pratiques et sur la façon d'utiliser ces outils.
• Les revues devraient envisager des moyens d'assurer la reproductibilité des calculs pour les publications qui font des déclarations basées sur des calculs, dans la mesure où cela est éthiquement et légalement possible.
• La National Science Foundation devrait prendre des mesures pour faciliter le partage transparent et la disponibilité des artefacts numériques, tels que les données et le code, pour les études financées par la NSF, y compris l'élaboration d'un ensemble de critères pour les référentiels ouverts de confiance à utiliser par la communauté scientifique pour les objets du dossier scientifique, et approuver ou envisager la création de référentiels de code et de données pour l'archivage et la préservation à long terme des artefacts numériques qui soutiennent les affirmations faites dans le dossier scientifique sur la base de la recherche financée par la NSF, entre autres actions.

Confiance en la science

Réplicabilité et reproductibilité, aussi utiles qu'ils soient pour renforcer la confiance dans les connaissances scientifiques, ne sont pas les seuls moyens d'avoir confiance dans les résultats scientifiques. Synthèse de recherche et méta-analyse, par exemple, sont des méthodes précieuses pour évaluer la fiabilité et la validité des corpus de recherche, dit le rapport. Un objectif de la science est de comprendre l'effet global d'un ensemble d'études scientifiques, pas pour déterminer strictement si une étude en a reproduit une autre.

Entre autres recommandations connexes, le rapport dit que les personnes prenant des décisions personnelles ou politiques basées sur des preuves scientifiques devraient se méfier de prendre une décision sérieuse basée sur les résultats, aussi prometteur soit-il, d'une seule étude. Par la même occasion, ils ne devraient pas en prendre un nouveau, une seule étude contraire en tant que réfutation des conclusions scientifiques étayées par de multiples sources de preuves antérieures.

L'étude, entreprise par le Comité sur la reproductibilité et la réplicabilité dans la science, a été parrainée par la National Science Foundation et la Fondation Alfred P. Sloan. Les académies nationales sont privées, institutions à but non lucratif qui fournissent des services indépendants, une analyse objective et des conseils à la nation pour résoudre des problèmes complexes et éclairer les décisions de politique publique liées à la science, La technologie, et médecine. Ils opèrent en vertu d'une charte du Congrès de 1863 à l'Académie nationale des sciences, signé par le président Lincoln. Pour plus d'informations, visitez nationalacademies.org.