Nous demandons constamment des conseils à des experts. Une entreprise peut demander conseil à un économiste sur la façon de motiver ses employés. Un gouvernement peut se demander quel sera l'effet d'une réforme politique.

Pour donner des conseils, les experts souhaitent souvent s'appuyer sur les résultats d'une expérience. Mais ils ne disposent pas toujours de preuves expérimentales pertinentes.

La collecte de prédictions d'experts sur les résultats de la recherche pourrait être un nouvel outil puissant pour aider à améliorer la science et les conseils que donnent les scientifiques.

Une meilleure science

Au cours des dernières décennies, rigueur académique et transparence, notamment en sciences sociales, se sont grandement améliorées.

Encore, comme l'a récemment soutenu le scientifique en chef australien Alan Finkel, il reste encore beaucoup à faire pour minimiser la « mauvaise science ».

Il recommande des changements dans la façon dont la recherche est mesurée et financée. Une autre approche de plus en plus courante consiste à mener des essais contrôlés randomisés et des études de pré-enregistrement pour éviter les biais dans la communication des résultats.

Les prédictions d'experts peuvent être un autre outil pour renforcer la recherche, comme mes co-auteurs Stefano DellaVigna, Devin Pope et moi nous disputons dans un nouvel article publié dans Science .

Pourquoi des prédictions ?

La façon dont nous interprétons les résultats de la recherche dépend de ce que nous croyons déjà. Par exemple, si nous voyions une étude prétendant montrer que fumer était sain, nous serions probablement assez sceptiques.

Si un résultat surprend les experts, ce fait lui-même est informatif. Cela pourrait suggérer que quelque chose n'allait pas dans la conception de l'étude.

Ou, si l'étude était bien conçue et le résultat reproduit, nous pourrions penser que ce résultat a fondamentalement changé notre compréhension du fonctionnement du monde.

Pourtant, à l'heure actuelle, les chercheurs recueillent rarement des informations qui leur permettraient de comparer leurs résultats avec ce que la communauté des chercheurs croyait auparavant. Cela rend difficile l'interprétation de la nouveauté et de l'importance d'un résultat.

Le processus de publication académique est également en proie à des préjugés contre la publication insignifiante, ou "nul, " résultats.

La collecte de prévisions anticipées des résultats de la recherche pourrait lutter contre ce biais en rendant les résultats nuls plus intéressants, car ils peuvent indiquer un écart par rapport à la sagesse acceptée.

Changer les esprits

En plus d'améliorer directement l'interprétation des résultats de la recherche, la collecte de prévisions anticipées peut nous aider à comprendre comment les gens changent d'avis.

Par exemple, mon collègue Aidan Coville et moi-même avons collecté des prévisions préalables auprès des décideurs politiques pour étudier l'effet des résultats de la recherche universitaire sur leurs croyances. Nous avons constaté qu'en général, ils étaient plus réceptifs aux « bonnes nouvelles » qu'aux « mauvaises nouvelles » et ignoraient les incertitudes dans les résultats.

Les prévisions peuvent également nous informer sur les études potentielles qui pourraient le plus améliorer les décisions politiques.

Par exemple, supposons qu'une équipe de recherche doive choisir l'une des dix interventions à étudier. Pour certaines interventions, nous sommes à peu près sûrs de ce qu'une étude trouverait, et il est peu probable qu'une nouvelle étude nous fasse changer d'avis. Pour les autres, on est moins sûr, mais il est peu probable qu'ils soient la meilleure intervention.

Si les prédictions étaient recueillies à l'avance, ils pourraient nous dire quelle intervention étudier pour avoir le plus grand impact politique.

Tester les prévisions

À long terme, si les prévisions d'experts peuvent s'avérer assez précises, ils pourraient apporter un certain soutien aux décisions politiques lorsque des études rigoureuses ne peuvent être menées.

Par exemple, Stefano DellaVigna et Devin Pope ont collecté des prévisions sur la façon dont différentes incitations modifient la quantité d'efforts déployés par les personnes pour accomplir une tâche.

Comme vous pouvez le voir dans le graphique ci-dessous, les prévisions n'étaient pas parfaites (un point sur la ligne diagonale en pointillés représenterait une correspondance parfaite entre les prévisions et le résultat). Mais il semble y avoir une certaine corrélation entre les prévisions agrégées et les résultats.

Une place centrale pour les prévisions

Pour tirer le meilleur parti des prévisions de résultats de recherche, ils doivent être collectés systématiquement.

Heures supplémentaires, cela nous aiderait à évaluer la précision des prévisionnistes individuels, apprenez-nous à agréger au mieux les prévisions, et dites-nous quels types de résultats ont tendance à être bien prédits.

Nous avons construit une plate-forme que les chercheurs peuvent utiliser pour collecter des prévisions sur leurs expériences auprès des chercheurs, créateurs de politiques, pratiquants, et d'autres publics importants. Le site Web bêta peut être consulté ici.

Alors que nous nous concentrons d'abord sur notre propre discipline, l'économie, nous pensons qu'un tel outil devrait être largement utile. Nous encourageons les chercheurs de n'importe quel domaine universitaire à envisager de recueillir des prédictions sur les résultats de la recherche.

Il existe de nombreuses utilisations potentielles des prédictions des résultats de la recherche au-delà de celles décrites ici. De nombreux autres universitaires explorent également ce domaine, tels que les projets Replication Markets et repliCATS qui font partie d'une vaste initiative de recherche sur la réplication.

Les multiples utilisations possibles des prévisions de recherche nous donnent l'assurance qu'un traitement plus rigoureux et systématique des croyances antérieures peut grandement améliorer l'interprétation des résultats de la recherche et, en fin de compte, améliorer notre façon de faire de la science.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.