Aujourd'hui, dans Nature Comportement Humain , une équipe collaborative de cinq laboratoires a publié les résultats de 21 réplications puissantes d'expériences en sciences sociales initialement publiées dans Science et La nature , deux des revues scientifiques les plus prestigieuses. Ils n'ont pas réussi à reproduire les résultats de plus d'un tiers des études et ont présenté des preuves significativement plus faibles pour le reste par rapport aux études originales.

En outre, avant de procéder aux réplications, l'équipe a mis en place des marchés de prédiction pour que d'autres chercheurs parient de l'argent sur la question de savoir s'ils pensaient que chacune des découvertes se reproduirait. Les marchés étaient très précis pour prédire quelles études réussiraient ou échoueraient plus tard à se reproduire.

"Il est possible que des erreurs dans la réplication ou des différences entre les études d'origine et de réplication soient responsables de certains échecs de réplication, " dit Gédéon Nave, professeur assistant de marketing à la Wharton School of Business de l'Université de Pennsylvanie et l'un des responsables du projet, "mais le fait que les marchés aient prédit le succès et l'échec de la réplication avec précision à l'avance réduit la plausibilité de ces explications."

L'équipe comprenait des chercheurs de Penn, l'Université d'Innsbruck, l'École d'économie de Stockholm, l'Institut néo-zélandais d'études avancées, le Centre pour la science ouverte, l'Université nationale de Singapour, l'Université de Virginie, Institut de technologie de Californie, l'Université de Göteborg, Université de Harvard, Spotify Suède, LMU Munich, l'Université d'Amsterdam, et l'Institut de technologie de Harbin.

Les chercheurs ont tenté de reproduire une conclusion principale de chaque article expérimental en sciences sociales publié entre 2010 et 2015 qui répondait aux exigences de l'équipe consistant à impliquer des expériences contrôlées randomisées menées soit avec des étudiants, soit en ligne. Pour étendre et améliorer les efforts de réplication antérieurs, l'équipe a obtenu les matériaux originaux et a reçu l'examen et l'approbation des protocoles de presque tous les auteurs originaux avant de mener les études. Les études ont été préenregistrées pour déclarer publiquement le plan de conception et d'analyse, et la conception de l'étude comprenait de grandes tailles d'échantillons de sorte que les réplications seraient susceptibles de détecter un soutien pour les résultats même s'ils étaient aussi petits que la moitié de la taille du résultat d'origine.

"Pour assurer une puissance statistique élevée, " dit Felix Holzmeister de l'Université d'Innsbruck, un autre porteur du projet, "la taille moyenne de l'échantillon des études de réplication était environ cinq fois plus grande que la taille moyenne de l'échantillon des études originales."

L'équipe a découvert que 13 des 21 réplications, ou 62 %, a montré des preuves significatives en accord avec l'hypothèse originale, et d'autres méthodes d'évaluation du succès de la réplication ont indiqué des résultats similaires, allant de 57 à 67 pour cent. Aussi, en moyenne, les études de réplication ont montré des tailles d'effet qui étaient environ 50 pour cent plus petites que les études originales. Ensemble, cela suggère que la reproductibilité est imparfaite, même parmi les études publiées dans les revues scientifiques les plus prestigieuses.

« Ces résultats montrent que des découvertes scientifiques « statistiquement significatives », " déclare Magnus Johannesson de la Stockholm School of Economics, un autre chef de projet, « doivent être interprétés avec beaucoup de prudence jusqu'à ce qu'ils aient été reproduits, même s'ils sont publiés dans les revues les plus prestigieuses. »

Les marchés de prédiction que l'équipe de recherche a établis ont correctement prédit les résultats pour 18 des 21 réplications. Les croyances du marché concernant la réplication étaient fortement corrélées avec la taille de l'effet de réplication.

"Les résultats des marchés de prédiction suggèrent que les chercheurs ont des connaissances avancées sur la probabilité que certaines découvertes se reproduisent, " note Thomas Pfeiffer du New Zealand Institute for Advanced Study, un autre des porteurs de projet. La robustesse apparente de ce phénomène suggère que les marchés de prédiction pourraient être utilisés pour aider à hiérarchiser les efforts de réplication pour les études qui ont des résultats très importants mais une probabilité de succès de réplication relativement incertaine ou faible.

"L'utilisation des marchés de prédiction pourrait être un autre moyen pour la communauté scientifique d'utiliser les ressources plus efficacement et d'accélérer la découverte, " ajoute Anna Dreber de la Stockholm School of Economics, un autre chef de projet.

Cette étude fournit des preuves supplémentaires des défis liés à la reproduction des résultats publiés, et aborde certaines des critiques potentielles des tentatives de réplication antérieures. Par exemple, il est possible que des résultats plus médiatisés soient plus reproductibles en raison des normes élevées et du prestige du support de publication. Cette étude a sélectionné des articles des revues scientifiques les plus prestigieuses.

De même, une critique du projet de reproductibilité en psychologie a suggéré que des conceptions de recherche plus puissantes et la fidélité aux études originales entraîneraient une reproductibilité élevée. Cette étude comportait des tests de très haute puissance, matériaux originaux pour toutes les études sauf une, et l'approbation des protocoles pour toutes les études sauf deux, and yet still failed to replicate some findings and found a substantially smaller effect sizes in the replications.

"This shows that increasing power substantially is not sufficient to reproduce all published findings, " says Lily Hummer of the Center for Open Science, one of the co-authors.

That there were replication failures does not mean that those original findings are false. Néanmoins, some original authors provided commentaries with potential reasons for failures to replicate. These productive ideas are worth testing in future research to determine whether the original findings can be reproduced under some conditions.

The replications undertaken in this work follow emerging best practices for improving the rigor and reproducibility of research. "Dans ce projet, we led by example, involving a global team of researchers, , " says Teck-Hua Ho of the National University of Singapore, another project lead. "The team followed the highest standards of rigor and transparency to test the reproducibility and robustness of studies in our field."

All of the studies were preregistered on OSF to eliminate reporting bias and to commit to the design and analysis plan. Aussi, all project data and materials are publicly accessible with the OSF registrations to facilitate the review and reproduction of the replication studies themselves.

Brian Nosek, executive director of the Center for Open Science, professor at the University of Virginia, and one of the co-authors, Remarques, "Someone observing these failures to replicate might conclude that science is going in the wrong direction. In fact, science's greatest strength is its constant self-scrutiny to identify and correct problems and increase the pace of discovery."

This large-scale replication project is just one part of an ongoing reformation of research practices. Des chercheurs, funders, journals, and societies are changing policies and practices to nudge the research culture toward greater openness, rigor, and reproducibility. Nosek concludes, "With these reforms, we should be able to increase the speed of finding cures, solutions, and new knowledge. Bien sûr, like everything else in science, we have to test whether the reforms actually deliver on that promise. S'ils ne le font pas, then science will try something else to keep improving."