Un seul changement à une norme statistique centenaire améliorerait considérablement la qualité de la recherche dans de nombreux domaines scientifiques, réduire le nombre de faux positifs, selon un commentaire publié le 1er septembre dans Nature Comportement Humain .

L'argument, co-écrit par l'économiste de l'Université de Chicago John List, représente le consensus de 72 universitaires d'institutions du monde entier et de disciplines allant de la neurobiologie à la philosophie. Leurs recommandations pourraient avoir un effet majeur sur la publication des travaux universitaires et sur les politiques publiques.

« Nous annonçons que les interventions fonctionnent parce que statistiquement, nous pensons qu'elles fonctionnent. Mais en fait, elles ne fonctionnent pas. Cela devient une crise dans les sciences, " dit Liste, le professeur Kenneth C. Griffin Distinguished Service en économie.

List et ses co-auteurs suggèrent que les scientifiques doivent réinitialiser une référence statistique connue sous le nom de valeur p, car les normes de preuve pour revendiquer de nouvelles découvertes dans de nombreux domaines sont tout simplement trop faibles. L'approche est préjudiciable à la crédibilité des allégations scientifiques, ils ont dit.

Une norme de valeur p a été adoptée à partir des années 1920, lorsque le statisticien britannique Ronald Fisher a proposé une valeur inférieure à 0,05 comme seuil pour déterminer la validité des résultats de la recherche. Si la valeur p tombe en dessous de ce seuil, ce qui signifie que la probabilité que les conclusions d'une étude soient dues au hasard est inférieure à 5 %, alors la recherche est généralement considérée comme statistiquement significative.

Mais le seuil de valeur p est devenu une cible de critiques en réponse à une crise de réplication perçue dans les communautés scientifiques. Les revues scientifiques utilisent fréquemment la signification statistique (et les valeurs p) comme test pour sélectionner les articles à publier. List a déclaré que le seuil actuel de valeur p de 0,05 permet à de nombreuses études d'être publiées et d'influencer les décisions économiques et politiques même si les résultats peuvent ne pas être reproductibles par d'autres chercheurs.

« Si Ronald Fisher avait su que près de 100 ans plus tard, nous utiliserions religieusement la norme 0,05 pour prendre des décisions politiques « éclairées », Je ne pense pas qu'il l'aurait avancé, " La liste a dit.

Des études plus reproductibles

Pour être sûr qu'une première découverte fonctionnera une fois mise en pratique, les résultats doivent être reproductibles. Des études antérieures ont montré que seulement 24% des études de psychologie avec une valeur p de 0,05 pourraient être confirmées par d'autres expériences, suggérant que trois études sur quatre ont présenté des résultats faussement positifs. De la même manière, seulement 44 pour cent des articles économiques avec la même valeur p étaient reproductibles.

Les auteurs ont calculé que l'abaissement du seuil de valeur p à 0,005 doublerait à peu près les taux de réplication en psychologie et en économie, et d'autres domaines verraient des résultats similaires. « Changer le seuil de la valeur p est simple, s'aligne sur la formation entreprise par de nombreux chercheurs et pourrait rapidement être largement acceptée, ", ont déclaré les auteurs.

La liste est d'accord. « Vous voulez créer un monde où plus de gens essaient de se répliquer, et vous voulez que la société récompense ces personnes, " a-t-il dit. " Et vous voulez aussi que plus de résultats qui entrent dans la politique soient de vrais résultats, être reproductible. Sous le 0,005 plus d'entre eux seraient. "

Pour encourager davantage la publication et la réplication des études, les auteurs de l'article proposent que les nouvelles découvertes qui seraient actuellement qualifiées de « significatives » mais ne répondent pas à la valeur p révisée de 0,005 devraient plutôt être qualifiées de « suggestives ».

List et ses co-auteurs prennent soin de souligner qu'un changement de la valeur p n'est pas la seule étape pour améliorer la recherche scientifique. « Nous avons des points de vue différents sur la meilleure façon d'améliorer la reproductibilité, et beaucoup d'entre nous pensent que d'autres manières de résumer les données… sont préférables aux p-values, " ils ont dit.