Une étude de l'Université de Toronto sur l'incertitude de la recherche scientifique pourrait faire la lumière sur les anomalies survenues lors des premières tentatives de découverte du boson de Higgs et même sur la façon dont les sondages n'ont pas permis de prédire le résultat de la victoire de Donald Trump à l'élection présidentielle américaine.

Publié récemment dans la revue Science ouverte de la Royal Society , l'étude suggère que la recherche dans certaines des disciplines scientifiques les plus complexes, comme la médecine ou la physique des particules, n'élimine souvent pas les incertitudes dans la mesure où l'on pourrait s'y attendre.

"Cela est dû à une tendance à sous-estimer le risque d'anomalies significatives dans les résultats." a déclaré l'auteur de l'étude David Bailey, professeur au département de physique de l'Université de Toronto.

En regardant 41, 000 mesures de 3, 200 quantités - de la masse d'un électron à la datation au carbone d'un échantillon - Bailey a découvert que des observations anormales se produisaient jusqu'à 100, 000 fois plus souvent que prévu.

"Le risque de grandes différences ne diminue pas de façon exponentielle comme on pourrait s'y attendre dans une courbe en cloche normale, " dit Bailey.

Une longue queue d'incertitude

"L'étude montre que les chercheurs dans de nombreux domaines font un bon travail pour estimer la taille des erreurs typiques dans leurs mesures, mais sous-estiment généralement le risque d'erreurs importantes, " dit Bailey, notant que la fréquence plus élevée que prévu de grandes différences peut être une conséquence presque inévitable de la nature complexe de la recherche scientifique.

« Alors que les mesures deviennent de plus en plus précises, les plus petites choses comptent de plus en plus, " dit Bailey.

"Si deux mesures concordent, tu es heureux. Si non, vous voyez qu'il y a quelque chose que vous devez enquêter, " at-il dit. " Vous traquez la cause de la variation et signalez la cause ou vous dites que vous ne connaissez pas la cause et cela réduit la confiance dans votre résultat. "

Mais avec un temps et des ressources financières limités, les chercheurs doivent souvent faire un choix entre disposer d'un large échantillon de données, comme des dizaines de milliers de personnes dans un sondage, et avoir un grand nombre de variables que vous voulez comprendre.

« Vous commencez avec un très grand échantillon qui regroupe tout le monde. Vous devrez alors peut-être vous demander si votre résultat est le même pour les hommes et les femmes. Est-ce le même pour les différents horizons, Canadiens contre Américains, par exemple, " dit Bailey. " A ce moment-là, vous devez demander si vos résultats sont valables pour le plus petit ensemble de données. Votre échantillon est de plus en plus petit et d'autres peuvent mal tourner."

Impossible de ne pas se tromper un peu ?

Les études de physique n'ont pas obtenu de meilleurs résultats que les recherches médicales et autres observées. Cependant, la manière hautement quantifiable dont les valeurs et les incertitudes sont rapportées, peut rendre la physique plus utile en termes de degré de reproductibilité des résultats auquel les chercheurs devraient raisonnablement s'attendre.

"Les scientifiques viseront toujours les résultats les plus précis, mais leurs attentes quant à la manière dont ces objectifs sont atteints peuvent être tempérées à la lumière de cette recherche, " dit Bailey.

Il pense que son étude peut aider les chercheurs à mieux analyser leurs données, motiver plus de soins avec de nouveaux résultats, et encourager des attentes plus réalistes de la part des scientifiques et du public quant à l'exactitude de la recherche scientifique.

« Ces informations peuvent être bénéfiques étant donné la nature intrinsèquement complexe de la recherche scientifique, " dit Bailey. " Mais la chance d'éviter de se tromper d'une manière ou d'une autre est presque impossible. "