Environ un an après avoir été nommée à un poste de rédaction senior dans une revue universitaire, La chercheuse en psychologie, le professeur Simine Vazire, a été réprimandée pour avoir bouleversé d'éminents chercheurs en « rejetant sur le bureau » leurs articles.

Elle était choquée.

Le rejet documentaire se produit lorsqu'un article est refusé par le rédacteur en chef avant d'être envoyé aux examinateurs. Environ 30 % des articles publiés dans cette revue sont généralement rejetés.

Le professeur Vazire rejetait les papiers parce qu'elle croyait qu'ils avaient de sérieux défauts. Mais le comité qui l'a nommée craignait qu'en bouleversant des chercheurs célèbres, la réputation de la revue pourrait être mise en péril.

"Je leur ai fait remarquer qu'ils ne pouvaient pas exercer cette influence en coulisses sans annoncer une nouvelle politique ou sans avoir une base scientifique pour cela, " dit le professeur Vazire. " Mais le fait qu'ils aient été si surpris par ma résistance m'a fait réaliser à quel point c'était la façon dont les choses fonctionnaient généralement. "

L'expérience du professeur Vazire s'inscrit dans un problème de recherche plus vaste et de longue date, où de grandes études ont montré que dans de nombreuses disciplines, des quantités importantes de recherches publiées ne peuvent pas être validées par des études de suivi, c'est-à-dire que les résultats ne peuvent pas être reproduits, mettre les résultats en doute.

Cela a mis en lumière les failles des revues, les évaluations par les pairs sur lesquelles ils s'appuient, et le monde universitaire hyper-concurrentiel où les chercheurs sont souvent entièrement jugés sur la quantité de publications qu'ils publient et dans quelles revues « réputées ».

Cela signifie que les chercheurs et leurs institutions peuvent être tentés de vanter les résultats.

« En tant qu'éditeur, J'ai eu des discussions avec des auteurs où je leur ai dit que je n'accepterai leur article que s'il est encadré avec plus de prudence et, à quelques reprises, les auteurs ont simplement refusé et sont allés publier ailleurs, " dit le professeur Vazire.

Rétractations récentes de revues médicales très réputées La Lancette et le Journal de médecine de la Nouvelle-Angleterre concernant la recherche sur les médicaments potentiels COVID-19 qui s'appuyaient sur des données erronées, n'a fait que souligner l'urgence du problème.

Les initiatives de science ouverte comme le partage de données et l'établissement d'un plan de recherche avant de faire la recherche (préinscription) visent à résoudre ces problèmes.

Et à côté de ces évolutions, une nouvelle discipline de recherche a également émergé :les métasciences.

"La métascience est un domaine qui étudie les normes, pratiques et incitations en science. Il fait le point sur les nouvelles initiatives de science ouverte, et surveille et évalue leurs impacts.

« Elle frôle la philosophie et la sociologie des sciences, mais travaille au service de la science en cherchant à rendre la recherche plus robuste, " dit le professeur Fiona Fidler, un expert en reproductibilité à l'Université de Melbourne.

Ensemble, Le professeur Fidler et le professeur Vazire ont créé un nouveau groupe de recherche à l'Université, MetaMelb. C'est le plus grand groupe de recherche sur les métasciences en Australie.

Le groupe étudiera une gamme de questions métascientifiques, dans plusieurs disciplines dont la psychologie, écologie et médecine, en utilisant un large éventail d'approches quantitatives et qualitatives.

L'une de ces questions est de savoir si les incitations au partage des données, comme l'attribution de badges open data, aboutir à des résultats plus reproductibles. Un autre projet examine comment exposer les failles de la science peut affecter l'opinion du public sur, et faire confiance, science.

Les craintes que la crédibilité de la science soit en jeu ont été utilisées dans le passé pour justifier le fait de ne pas être franc sur les problèmes.

Mais, la science étant plus ouverte et transparente sape-t-elle vraiment la confiance du public dans la science ou augmente-t-elle réellement cette confiance ?

"J'ai été dans des salles où le consensus était que nous devrions balayer les problèmes sous le tapis en raison du risque de rendre les gens anti-science, mais je soupçonne que le plus grand risque est de ne pas être franc avec le public, " dit le professeur Vazire.

Un autre grand projet déjà en cours, financé par la Defense Advanced Research Projects Agency (DARPA) du gouvernement américain, est un effort pour efficacement crowdsourcer l'examen par des pairs d'experts à partir d'un groupe d'experts.

Le projet RepliCATS (Collaborative Assessment for Trustworthy Science) a recruté 500 experts à travers le monde pour prédire la reproductibilité de 3000 articles de recherche en sciences sociales au sein de petites équipes travaillant en collaboration en ligne.

La DARPA a récemment élargi le projet pour évaluer de toute urgence 100 articles liés à la recherche en sciences sociales COVID-19.

Une autre initiative de MetaMelb est l'élaboration de lignes directrices concrètes que les pairs examinateurs pourraient utiliser pour évaluer de manière plus uniforme les méthodes et les résultats de la recherche, fournissant une sorte de liste de contrôle.

Cela inclurait d'encourager les pairs examinateurs à évaluer si la recherche est rédigée de ce que le professeur Vazire appelle d'une manière « intellectuellement humble ». Si un article affiche à la place de l'arrogance intellectuelle, ce serait un signal immédiat pour les pairs évaluateurs de se méfier, elle dit.

"L'humilité intellectuelle consiste à s'assurer que vous donnez aux personnes qui critiquent votre travail toutes les munitions dont elles ont besoin pour trouver les défauts de votre travail, " dit le professeur Vazire.

« Cela signifie donc que dans leur introduction écrite, par exemple, un chercheur ne devrait pas se contenter de sélectionner des informations en fonction de son côté du débat ou, que dans leur section méthodes et résultats, de la même manière, ils ne mentionnent pas seulement les résultats qui correspondent le mieux à leur argumentation. »

La liste de contrôle orientera également les examinateurs pour évaluer spécifiquement certains aspects de la recherche, comme si la taille de l'échantillon justifie les conclusions ou si les méthodes de recherche sont rigoureuses.

« Les pairs évaluateurs sont connus pour ne pas être d'accord, mais peut-être que si on leur pose des questions spécifiques, nous serons plus d'accord sur la force d'une recherche, " dit le professeur Vazire.

Mais pour que des initiatives comme celles-ci fonctionnent, des incitations doivent être mises en place pour récompenser les pairs évaluateurs, les revues et les chercheurs à être plus transparents.

Une idée est de rendre les évaluations par les pairs plus publiques, reconnaissant la contribution de l'examinateur.

« La question de la création des bonnes incitations est un domaine de recherche important pour nous, " dit le professeur Fidler.

Finalement, tous deux croient que les bonnes incitations et pratiques peuvent être mises en place pour rendre la science plus transparente et robuste. Mais la clé sera de changer les cultures académiques et institutionnelles et les systèmes de récompense qui contribuent au problème.

"L'un des plus gros problèmes que nous ayons actuellement est la façon dont les institutions jugent les performances et la promotion en interne, " dit le professeur Fidler.

Au Royaume-Uni, les efforts visant à garantir une recherche solide ont conduit à la création du UK Reproductible Network, un consortium qui a jusqu'à présent attiré 15 universités et collèges.

Le professeur Fidler travaille avec des collègues pour établir un consortium similaire en Australie.

Pour le professeur Vazire, il sera crucial de savoir si les chercheurs et les institutions seront prêts à adopter de nouvelles pratiques et une plus grande transparence.

« Certainement, les choses changent :davantage de recherches sont partagées avant l'examen par les pairs et la publication, qui offre la possibilité d'un examen plus approfondi. Et, franchement, Les plateformes de médias sociaux comme Twitter deviennent de plus en plus importantes pour examiner les articles et identifier leurs forces et leurs faiblesses.

"Je suis convaincu que les options seront là pour améliorer les choses, mais nous avons besoin que la communauté de la recherche se rassemble et profite réellement de ces nouvelles opportunités. »