Ils disent que le recul est de 20-20, et cela n'est peut-être nulle part plus vrai que dans la recherche universitaire.

"Nous avons tous eu l'expérience de nous lever pour présenter un nouvel ensemble de découvertes, s'appuyant souvent sur des années de travail, et que quelqu'un dans le public s'exclame "Mais nous le savions déjà !, '", déclare le professeur Stefano DellaVigna, un économiste comportemental avec des nominations conjointes au Département d'économie et à Berkeley Haas. "Mais dans la plupart de ces cas, quelqu'un aurait dit la même chose si nous avions trouvé le résultat inverse. Nous avons tous 20-20 ans, après coup."

DellaVigna a un remède pour ce type de quart-arrière universitaire du lundi matin :une plate-forme de prédiction pour capturer la sagesse conventionnelle avant que les études ne soient menées.

Avec ses collègues Devin Pope de la Booth School of Business de l'Université de Chicago et Eva Vival de la Research School of Economics de l'Australian National University, il a lancé un site Web bêta qui permettra aux chercheurs, doctorat étudiants, et même des membres du grand public pour examiner les projets de recherche proposés et faire des prédictions sur les résultats.

Leur proposition, exposé dans un article de Science Forum politique de , fait partie d'une vague d'efforts visant à améliorer la rigueur et la crédibilité de la recherche en sciences sociales. Ces réformes ont été déclenchées par la crise de la réplication - l'échec de reproduire les résultats de nombreuses études publiées - et incluent des efforts de masse pour reproduire des études ainsi que des plates-formes pour pré-enregistrer des conceptions et des hypothèses de recherche.

"Nous pensions qu'il y avait quelque chose d'important à gagner en ayant un enregistrement de ce que les gens croyaient avant que les résultats ne soient connus, et les sociologues n'ont jamais fait cela de manière systématique, " dit Della Vigna, qui co-dirige la Berkeley Initiative for Behavioral Economics and Finance. « Cela nous aidera non seulement à mieux identifier les résultats vraiment surprenants, mais contribuera également à améliorer la conception expérimentale et la précision des prévisions."

Parce que la science se construit sur elle-même, les gens interprètent les nouveaux résultats en fonction de ce qu'ils savent déjà. Un avantage de la plateforme de prédiction est qu'elle permettrait de mieux identifier les résultats vraiment surprenants, même dans les cas où il y a un résultat nul, qui sont rarement publiés car ils ne sont généralement pas considérés comme significatifs, argumentent les chercheurs.

« La collecte de prévisions anticipées des résultats de la recherche pourrait lutter contre ce biais en rendant les résultats nuls plus intéressants, car ils peuvent indiquer un écart par rapport à la sagesse acceptée, " a écrit Vivalt dans un article sur la proposition dans The Conversation.

Une plate-forme de prévision de la recherche aidera également à évaluer la précision des experts dans certains domaines. Par exemple, DellaVigna et Pope ont rassemblé les prédictions d'experts universitaires sur 18 expériences différentes pour déterminer l'efficacité des « nudges » par rapport aux incitations monétaires pour motiver les travailleurs à effectuer une tâche en ligne. Ils ont trouvé que les experts étaient assez précis, mais il n'y avait pas de différence entre les professeurs les plus cités et les autres professeurs, et ce doctorat. les élèves ont fait de leur mieux.

Comprendre où il y a un consensus général peut également aider les chercheurs à concevoir de meilleures questions de recherche, pour accéder à des phénomènes moins bien compris, soulignent les auteurs. La collecte d'une masse critique de prédictions ouvrira également un nouveau domaine de recherche potentiel sur la question de savoir si les gens mettent à jour leurs croyances une fois que de nouveaux résultats sont connus.

Faire une prédiction sur la plateforme nécessiterait un simple sondage de 5 à 15 minutes, dit DellaVigna. Les prévisions seraient distribuées au chercheur après la collecte des données, et les résultats de l'étude seraient envoyés aux prévisionnistes à la fin de l'étude.

Berkeley Haas Prof. Don Moore, qui a été un chef de file dans le plaidoyer pour plus de transparence, méthodes de recherche rigoureuses et formation de la prochaine génération de chercheurs, dit que la plate-forme de prédiction "pourrait apporter un changement puissant et constructif à la façon dont nous pensons aux résultats de la recherche. L'une de ses grandes forces est qu'elle capitalise sur la sagesse de la foule, exploiter potentiellement les connaissances collectives d'un domaine pour aider à établir un consensus scientifique sur lequel de nouveaux résultats de recherche peuvent s'appuyer. »