Lorena Barba, professeur agrégé de génie mécanique et aérospatial à la Faculté de génie et des sciences appliquées, a récemment présenté un rapport mandaté par le Congrès aux législateurs et experts fédéraux qui orientera la future politique nationale sur la recherche scientifique et technique.

Le Dr Barba est membre du comité d'étude de la reproductibilité et de la réplicabilité dans les sciences de la National Academies of Sciences Engineering and Medicine (NASEM), qui a été formé en 2017. Le comité a tenu une série de séances d'information menant à la publication de son rapport le 7 mai avec le Bureau de la politique scientifique et technologique de la Maison Blanche, la National Science Foundation (NSF) et d'autres parties prenantes.

Le comité visait à identifier tout problème de réplication et de reproductibilité dans la recherche scientifique et technique. Le rapport a fait des recommandations pour améliorer la rigueur et la transparence dans la recherche scientifique et technique, et identifié et mis en évidence les bonnes pratiques.

GW Today s'est récemment entretenu avec le Dr Barba au sujet du rapport :

Q : Pourquoi pensez-vous qu'il était important qu'un comité étudie les problèmes liés à la réplication et à la reproductibilité de la recherche ?

R : L'étude a été commandée par la National Science Foundation, en réponse au mandat du Congrès. La loi publique 114-329 cite « la préoccupation croissante que certains résultats de recherche publiés ne puissent pas être reproduits ou reproduits… » et ordonne à la NSF de produire un rapport avec une évaluation et des recommandations sur la question. Je ne sais pas ce qui a motivé cette directive légale, mais je sais que depuis quelques années, divers rapports des médias ont rendu public des échecs importants à reproduire les résultats. À la fois, un mouvement pour la science ouverte et la reproductibilité s'est développé dans tous les domaines de recherche. Il était donc opportun de faire une étude approfondie portant sur l'ensemble de la science.

Q :Comment vous êtes-vous impliqué dans ce comité ?

R :J'ai été nommé par des membres anonymes de la communauté scientifique, comme une autorité reconnue en matière de reproductibilité. Les Académies nationales m'ont contacté au sujet du comité d'étude en septembre 2017, et après un entretien téléphonique et l'envoi d'informations supplémentaires sur mon travail, J'ai été formellement invité en novembre 2017. Nous travaillons sur cette étude depuis près d'un an et demi.

Q :Quelles sont les principales conclusions du rapport ?

R :Le constat global peut se résumer en quatre mots :pas de crise, aucune complaisance. Le message est double :le récit de crise qui s'est déroulé ces dernières années est essentiellement rhétorique :la reproductibilité et la réplicabilité font partie des manières dont la science s'auto-corrige, mais ne sont pas la seule préoccupation. D'autre part, des améliorations sont nécessaires :plus de transparence des flux de travail de calcul, code et données, par exemple, et l'ajustement de la structure d'incitation pour valoriser la recherche reproductible. D'autres conclusions incluent la nécessité d'une plus grande maîtrise des statistiques, et la formation des chercheurs en début de carrière aux outils et méthodes informatiques.

Q :Pourquoi le comité a-t-il cherché à définir ce que signifient les termes réplication et reproductibilité ?

R : L'absence d'un usage standard de ces termes entrave les progrès, comme souvent, il n'est pas clair ce que les chercheurs veulent dire et donc comment répondre aux préoccupations. La reproductibilité et la réplicabilité sont des mots utilisés en relation avec les préoccupations générales d'un chercheur ou d'une étude confirmant les résultats d'une étude publiée précédemment. Parfois, les mots sont utilisés comme un terme générique pour toutes les préoccupations connexes. Mais certains domaines ont fait une distinction entre les deux termes, et il est important de se mettre d'accord sur cette distinction pour faire avancer la conversation. L'étude définit la reproductibilité comme l'obtention de résultats de calcul cohérents en utilisant les mêmes données d'entrée, étapes de calcul, méthodes, code et conditions d'analyse. Une étude de réplication, d'autre part, recueille de nouvelles données et effectue une nouvelle analyse dans le but de confirmer les conclusions d'une étude précédente.

Q :Qu'est-ce que les étudiants intéressés à faire de la recherche à l'avenir devraient retenir de ce rapport ?

R :Le rapport souligne le rôle omniprésent et important de l'informatique dans la science moderne, et la nécessité d'une formation renforcée aux méthodes statistiques. Les étudiants intéressés par la recherche gagneraient à rechercher une formation en compétences informatiques, y compris des outils open source, développement de logiciels, gestion des données et comment automatiser les tâches répétitives. Mener des recherches de manière reproductible devient moins difficile si vous utilisez les bons outils.

Q :Maintenant que le rapport est publié, quel genre de travail supplémentaire pensez-vous qu'il faut faire en rapport avec ces questions ?

R :Le rapport fait une série de recommandations qui impliqueront un travail continu, par diverses personnes et institutions. L'éducation et la formation en statistiques et en méthodes de calcul doivent être renforcées. Les revues et les sociétés professionnelles doivent travailler sur des initiatives visant à promouvoir la reproductibilité informatique et la publication des réplications. Le rapport recommande également que les agences de financement intègrent la reproductibilité et la réplicabilité dans leurs critères d'examen du mérite pour les nouvelles propositions.