Une paléontologue revient dans son laboratoire après une fouille estivale et met en place une étude comparant la longueur des dents chez deux espèces de dinosaures. Elle et son équipe travaillent méticuleusement pour éviter de biaiser leurs résultats. Ils restent aveugles à l'espèce tout en mesurant, les tailles d'échantillon sont grandes, et la collecte de données et l'analyse sont rigoureuses.

Le scientifique est surpris de ne trouver aucune différence significative dans la longueur des dents canines entre les deux espèces. Elle se rend compte que ces résultats inattendus sont importants et envoie un article aux revues appropriées. Mais journal après journal rejette le papier, puisque les résultats ne sont pas significativement différents. Finalement, le scientifique abandonne, et le papier avec ses soi-disant résultats négatifs est placé dans un tiroir et enterré sous des années d'autres travaux.

Ce scénario et bien d'autres similaires se sont déroulés dans toutes les disciplines scientifiques, menant à ce qui a été surnommé "le problème du tiroir classeur". Les revues de recherche et les agences de financement sont souvent biaisées en faveur de la recherche qui montre des résultats « positifs » ou significativement différents. Ce biais malheureux contribue à de nombreux autres problèmes dans le processus scientifique, comme le biais de confirmation, dans lequel les données sont interprétées de manière incorrecte pour soutenir un résultat souhaité.

Une nouvelle méthode :l'équivalence

Malheureusement, Les problèmes de biais de publication sont répandus en science depuis longtemps. En raison de la structure de la méthode scientifique, les scientifiques se concentrent souvent uniquement sur les différences entre les groupes - comme les dents de dinosaures de deux espèces différentes, ou une comparaison de santé publique de deux quartiers différents. Cela laisse les études qui se concentrent sur les similitudes complètement cachées.

Cependant, des essais pharmaceutiques ont trouvé une solution à ce problème. Dans ces épreuves, les chercheurs utilisent parfois un test appelé TOST, test bilatéral, rechercher une équivalence entre les traitements.

Par exemple, Imaginons qu'une entreprise développe un médicament générique moins cher à produire que le médicament de marque. Les chercheurs doivent démontrer que le nouveau médicament fonctionne de manière statistiquement équivalente à la marque avant de le vendre sur le marché. C'est là qu'intervient le test d'équivalence. Si le test montre une équivalence entre les effets des deux médicaments, alors la FDA peut approuver la mise sur le marché du nouveau médicament.

Alors que les tests d'équivalence traditionnels sont très utiles pour les tests pharmaceutiques planifiés et contrôlés, il n'est pas assez polyvalent pour d'autres types d'études. Le TOST original ne peut pas être utilisé pour tester l'équivalence dans des expériences où les mêmes individus sont dans plusieurs groupes de traitement, cela ne fonctionne pas non plus si les deux groupes de tests ont des tailles d'échantillon différentes.

En outre, le TOST utilisé dans les tests pharmaceutiques n'aborde généralement pas plusieurs variables simultanément. Par exemple, un TOST traditionnel serait capable d'analyser les similitudes de la biodiversité à plusieurs endroits de la rivière avant et après un changement de température. Cependant, notre nouveau TOST permettrait de tester les similitudes dans plusieurs variables - telles que la biodiversité, pH de l'eau, profondeur de l'eau et clarté de l'eau – sur tous les sites fluviaux simultanément.

Les limites du TOST traditionnel et l'omniprésence du "problème du tiroir classeur" ont conduit notre équipe à développer un test d'équivalence multivarié, capable de traiter les similitudes dans les systèmes avec des mesures répétées et des tailles d'échantillon inégales.

Notre nouveau test d'équivalence, publié en octobre, renverse le cadre traditionnel de l'hypothèse nulle. Maintenant, plutôt que de supposer une similitude, un chercheur part du principe que les deux groupes sont différents. La charge de la preuve est désormais d'évaluer le degré de similitude, plutôt que le degré de différence.

Notre test permet également aux chercheurs de définir leur propre marge acceptable pour déclarer une similarité. Par exemple, si la marge était fixée à 0,2, alors les résultats vous diraient si les moyennes des deux groupes étaient similaires à plus ou moins 2 pour cent.

Un pas dans la bonne direction

Notre modification signifie que les tests d'équivalence peuvent désormais être appliqués dans un large éventail de disciplines. Par exemple, nous avons utilisé ce test pour démontrer une structure acoustique équivalente dans les chants des merles bleus de l'Est mâles et femelles. Les tests d'équivalence ont également déjà été utilisés dans certains domaines de l'ingénierie et de la psychologie.

La méthode pourrait être appliquée encore plus largement. Imaginez un groupe de chercheurs qui veulent examiner deux méthodes d'enseignement différentes. Dans une salle de classe, il n'y a pas de technologie, et dans un autre, tous les devoirs des étudiants sont effectués en ligne. Les tests d'équivalence peuvent aider un district scolaire à décider s'il doit investir davantage dans la technologie ou si les deux méthodes d'enseignement sont équivalentes.

Le développement d'un test d'équivalence largement applicable représente ce que nous pensons être un énorme pas en avant dans la longue lutte des scientifiques pour présenter des résultats réels et impartiaux. Ce test offre une autre voie d'exploration et permet aux chercheurs d'examiner et de publier les résultats d'études sur des similitudes qui n'ont pas été publiées ou financées dans le passé.

La prévalence des biais de publication, y compris le problème du tiroir classeur, biais de confirmation et faux positifs accidentels, est une pierre d'achoppement majeure pour le progrès scientifique. Dans certains domaines de recherche, jusqu'à la moitié des résultats sont absents de la littérature publiée.

Les tests d'équivalence fournissent un autre outil dans la boîte à outils permettant aux scientifiques de présenter des résultats « positifs ». Si la communauté scientifique s'empare de ce test et l'utilise à son plein potentiel, nous pensons que cela peut aider à atténuer l'une des principales limitations de la manière dont la science est actuellement pratiquée.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.