La reproductibilité des découvertes scientifiques a longtemps été un indicateur important de la validité des données glanées à partir de la recherche, un processus jugé encore plus critique en cette ère de technologies et de méthodes en constante évolution.

Lors du colloque Sackler consacré à « Reproductibilité de la recherche :problèmes et solutions proposées, " David B. Allison, doyen de l'Indiana University School of Public Health-Bloomington, et co-organisateurs Richard Shiffrin, professeur émérite de l'IU et professeur Luther Dana Waterman de sciences psychologiques et cérébrales ; Victoria Stodden de l'Université de l'Illinois et le regretté Stephen Fienberg de l'Université Carnegie Mellon ont invité à discuter des principaux sujets de définition de la reproductibilité dans divers contextes de recherche et de fournir des remèdes qui contribuent à une plus grande reproductibilité et transparence.

Une douzaine d'articles façonnant le colloque ont été publiés dans le numéro spécial de mars 2018 de Actes de l'Académie nationale des sciences et couvrait un large éventail de sujets, de la collecte de données à la diffusion des résultats des communautés scientifiques et non scientifiques.

Parmi eux figure « Progrès scientifique malgré l'irreproductibilité :un paradoxe apparent, " par Shiffrin; Katy Börner, Professeur distingué IU d'ingénierie et de sciences de l'information et Stephen M. Stigler de l'Université de Chicago. À une époque où les progrès scientifiques se déroulent quotidiennement et régissent une grande partie de la société moderne, il semble contradictoire que la façon dont la science est pratiquée rende un certain nombre de découvertes rapportées difficiles ou impossibles à reproduire. Cependant, la pratique scientifique a continué d'évoluer et de progresser malgré des problèmes élémentaires, non le moindre étant qu'un certain nombre d'années peuvent s'écouler avant la validité, l'importance et la facilité d'utilisation des résultats peuvent être correctement vérifiées.

Les chercheurs reconnaissent qu'il est souvent possible que des résultats et des conclusions même invalides soient reproduits, mais notent que la répétition d'erreurs fondamentales - et souvent évitables - est généralement au cœur d'un tel résultat. Par conséquent, maximiser les progrès, ils recommandent de trouver un équilibre entre le partage de résultats prometteurs en amont et le maintien d'une stricte vigilance pour assurer un reporting de qualité. Les données partagées doivent être non seulement fiables et importantes, mais aussi d'une vraie valeur scientifique avec la capacité de généraliser à des paramètres similaires.

Les auteurs examinent les nouveaux remèdes proposés conçus pour réduire le degré d'irreproductibilité, tels que l'exigence d'un enregistrement préalable des études pour empêcher les données de « chercher la sélection » et recommandent des réformes adaptées au type et aux objectifs de la recherche. Cette position est renforcée par les conséquences variables qui sont possibles si des résultats non valides sont publiés :les découvertes glanées au cours du processus d'exploration seraient peu susceptibles de causer des dommages, bien qu'une application défectueuse des conclusions dans la vie réelle puisse causer de graves dommages. Ils mettent en garde, cependant, que tout remède et toute réforme peuvent avoir des conséquences imprévues qui peuvent ralentir plutôt qu'accélérer le progrès scientifique.

Également mis en évidence dans le PNAS est un rapport d'Andrew Brown, professeur adjoint de sciences de la santé appliquées à l'IU School of Public Health-Bloomington; Catherine A. Kaiser, professeur adjoint en comportement de santé à l'Université de l'Alabama à Birmingham et Allison, intitulé « Problèmes avec les données et les analyses :erreurs, Thèmes sous-jacents, et solutions potentielles, " qui se concentre sur les erreurs qui auraient pu être évitées en appliquant les bonnes pratiques établies.

Les chercheurs discutent d'influences telles que les biais de citation et de publication, erreurs de calcul mathématiques, erreurs d'interprétation et travail avec de mauvaises données obtenues par des méthodes douteuses, conceptions ou techniques. Une gestion et un stockage incorrects des données peuvent également affecter la capacité de confirmer les résultats, tout comme les erreurs de communication et de logique. Ils soulignent que les conséquences d'une interprétation et d'un rapport non valides vont de la perte de la confiance du public à la perte potentielle de vies humaines.

Les mérites et les inconvénients du processus d'examen par les pairs en tant que garant fiable de l'intégrité scientifique dans la littérature sont également examinés. Malgré des défis tels que ce que les auteurs appellent « un inconnu inconnu » - ce qui signifie que les examinateurs lisent ce qui est présenté dans les manuscrits sans avoir d'informations supplémentaires (ou peut-être même des informations complètes) avec lesquelles évaluer les erreurs potentielles - étant inhérents à ce processus, Brown et l'équipe soutiennent qu'il existe certaines actions et méthodes que des scientifiques bien formés devraient et pourraient reconnaître comme erronées et/ou manquant de rigueur.

Notes marron, "The entire colloquium focused on research rigor and reproducibility. In particular, we were interested in identifying challenges and limitations to rigor and reproducibility, mais, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Cependant, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."