Une nouvelle étude dirigée par l'Université de Tel Aviv publiée le 20 mai dans La nature offre de nouvelles preuves que la complexité des méthodes analytiques contemporaines en science contribue à la variabilité des résultats de la recherche.

Études antérieures dans les domaines de la psychologie, la biologie du cancer et l'économie comportementale ont révélé de nombreux échecs dans la tentative de reproduire les méthodologies et de refléter les résultats. Les chercheurs du TAU ont utilisé une approche connue sous le nom de « beaucoup d'analystes, " dans lequel de nombreux chercheurs ont analysé le même ensemble de données pour tester la variabilité des résultats de l'analyse, explique le co-auteur principal de l'étude, le Dr Tom Schonberg du département de neurobiologie de la faculté des sciences de la vie George S. Wise de la TAU et de la Sagol School of Neuroscience de la TAU.

« La variabilité des résultats démontrée dans cette étude fait partie intégrante du processus complexe d'obtention de résultats scientifiques, et nous devons le comprendre pour savoir comment l'aborder, " ajoute-t-il. " La science est dirigée par des humains, et il n'y a aucun moyen d'échapper à la variabilité. Mais nous devons le reconnaître afin de nous corriger et d'obtenir les réponses les plus fiables."

L'analyse de neuroimagerie, L'étude de réplication et de prédiction (NARPS) a également été dirigée par l'ancien docteur Schonberg. étudiant Dr Rotem Botvinik-Nezer, aujourd'hui chercheur post-doctoral au Dartmouth College, avec les co-chercheurs Prof. Russel Poldrack de l'Université de Stanford et Prof. Thomas Nichols de l'Université d'Oxford.

Globalement, 180 chercheurs de 70 équipes de scientifiques du monde entier ont analysé le même ensemble de données d'imagerie cérébrale de 108 sujets. Ces sujets ont participé à une tâche qui testait leur prise de décision concernant les paris sur les gains et les pertes potentiels. Chaque groupe a choisi une méthode d'analyse distincte, et les différentes méthodes ont conduit à des conclusions différentes.

« La science est souvent critiquée, " dit le Dr Schonberg. " Mais ce n'est pas une croyance comme une religion, comme certains l'ont soutenu. Elle a des règles et une méthode, la méthode scientifique. Nous cherchons constamment à améliorer cette méthode dans une démarche de remise en question. Nous pensons que notre étude fait avancer ce processus."

Les équipes de recherche ont reçu les mêmes données - des analyses d'IRMf de sujets effectuant une tâche de prise de décision basée sur la valeur - et ont été invitées à tester les mêmes neuf hypothèses différentes.

Le grand ensemble de données de neuroimagerie avait été collecté au cours d'une année au Alfredo Federico Strauss Center for Computational Neuroimaging à TAU par Roni Iwanir, un ancien étudiant à la maîtrise en sciences de la Sagol School du laboratoire de Schonberg. Alors que les participants à l'étude se sont engagés dans la tâche de prise de décision monétaire, Les scans IRMf ont été utilisés pour tester si l'activité de régions cérébrales spécifiques impliquées dans le traitement de la valeur changeait par rapport au montant d'argent gagné ou perdu sur un pari. Quelque 70 équipes internationales ont analysé indépendamment ces ensembles de données pendant trois mois.

"Le traitement par lequel vous devez passer des données brutes au résultat avec l'IRMf est vraiment compliqué, " ajoute le professeur Poldrack. " Il y a beaucoup de choix que vous devez faire à chaque endroit du flux de travail d'analyse. "

Chaque équipe de chercheurs est arrivée à ses propres conclusions finales concernant les données, avec des résultats variant considérablement d'une équipe à l'autre dans cinq des neuf hypothèses.

"Notre nouvelle étude a démontré une grande flexibilité analytique comme cela se produit 'dans la nature, « », explique le Dr Schonberg. « Les chercheurs participants ont modélisé les hypothèses différemment et utilisé des logiciels différents pour l'analyse. Ils ont également utilisé différentes techniques et définitions dans différents aspects de l'analyse."

Une autre partie de l'étude impliquait des experts du domaine ainsi que des chercheurs des équipes d'analyse échangeant avec d'autres chercheurs sur ce qu'on appelle des "marchés de prédiction" sur ce qu'ils pensaient être les résultats de la recherche. Cette partie de l'étude a été menée par des économistes et des experts en finance comportementale, qui a fourni l'idée initiale de l'étude, et a révélé un excès d'optimisme marqué quant à la capacité de reproduire les résultats précédents, même par des chercheurs qui ont analysé les données eux-mêmes.

« Bien que les résultats finaux rapportés variaient considérablement, les résultats de l'analyse à un stade précoce ont en fait montré un consensus parmi la plupart des équipes de recherche, " dit le Dr Schonberg. " C'est très encourageant, et était en fait un résultat quelque peu surprenant. Malgré la grande variabilité des résultats finaux rapportés, l'analyse sous-jacente était similaire, ce qui signifie que nous devons trouver des méthodes pour exprimer cette convergence.

"Par exemple, l'étude suggère que les chercheurs pourraient effectuer et rapporter plusieurs analyses avec les mêmes données, pour trouver les résultats vers lesquels convergent différentes méthodes fiables."

Le Dr Schonberg pense que les résultats peuvent aider les scientifiques à faire progresser leur méthodologie et à améliorer la qualité de leurs analyses à l'avenir.

"Je voudrais que nos découvertes soient utilisées pour faire avancer la science - vers un partage encore plus poussé de toutes les informations liées à l'étude, de transparence des méthodes, codes et données d'analyse, ", explique le Dr Schonberg. C'est la seule façon pour chacun de tester et de "jouer" avec les résultats pour voir ce qui tient. Nous avons vu l'importance et le grand besoin de partager des données dans la récente pandémie de COVID-19 afin de comprendre le cours optimal d'action.

"Naturellement, la nouveauté des découvertes est très importante pour les scientifiques. Mais tout aussi importante est la rigueur de notre méthodologie, " conclut le Dr Schonberg. "Notre étude reflète l'ambition d'une vaste communauté de scientifiques de passer des milliers d'heures à améliorer nos méthodologies afin d'obtenir les bonnes conclusions et d'atteindre des résultats fiables."