Le mois dernier, L'ancien ministre indonésien de la Recherche et de la Technologie s'est vanté qu'en 2019, L'Indonésie a dépassé la Malaisie et Singapour en nombre d'articles universitaires publiés.

Cependant, les universitaires soutiennent que cette « productivité » est le résultat d'un système de mesure de la performance fortement critiqué pour les universitaires, basé principalement sur les résultats et les citations, au lieu de la qualité de la recherche.

L'examen des performances basé sur les résultats a également conduit à des pratiques contraires à l'éthique généralisées au sein de la communauté de recherche indonésienne, notamment le « dragage de données » - gonflant la taille des échantillons ou altérant les modèles statistiques - pour produire des recherches avec des résultats qui prouvent leurs hypothèses, qui sont plus favorisés par les revues.

Sandersan Onie, un doctorat candidat à l'Université de Nouvelle-Galles du Sud, a déclaré lors d'un webinaire sur la transparence de la recherche organisé à la fin du mois dernier, que ces pratiques malhonnêtes ont augmenté alors que les chercheurs visent la publication plutôt que l'exactitude.

« Les expérimentateurs peuvent effectuer dix types différents de procédures statistiques, mais ils ne signalent que celui qui est le plus susceptible d'être publié et cité. Ils effectuent un reporting sélectif, " il a dit.

Plus de 1, 000 participants d'une trentaine d'institutions ont diffusé le webinaire intitulé " Faire progresser la science en Indonésie :pratiques de recherche mondiales actuelles ", le premier du genre pour l'Indonésie.

Simine Vazire, professeur de psychologie à l'Université de Californie-Davis, était l'un des principaux intervenants de l'événement.

Elle dit que bien qu'il existe de nombreuses façons de promouvoir la transparence, en général, il existe trois stratégies qui peuvent directement renforcer la crédibilité de la recherche.

Pré-enregistrement du processus d'expérimentation

La première méthode suggérée par Vazire était une pratique communément appelée pré-enregistrement, qui est horodaté, version en lecture seule d'un plan de recherche créé avant la réalisation de l'étude.

Les chercheurs doivent élaborer sur la recherche qu'ils envisagent d'entreprendre avant même de rassembler une parcelle de données.

Les informations peuvent aller des hypothèses proposées, quelle méthode statistique sera utilisée pour analyser les données.

Le document sera ensuite archivé dans un système tel que l'Open Science Framework (OSF), une plateforme de gestion de recherche open source.

"Si vous obtenez une découverte passionnante avec un résultat, vous ne pourrez pas cacher plus tard le fait que vous avez également mesuré douze autres résultats, " dit Vazire.

"Vous vous engagez à l'avance à rendre public le nombre de résultats et de traitements que vous avez reçus."

La deuxième pratique consiste à soumettre ce qu'on appelle des rapports enregistrés. Il s'agit essentiellement d'une forme plus rigoureuse et formelle de pré-inscription.

Les auteurs envoient un manuscrit pré-rédigé expliquant le pitch de recherche plus en détail à une revue pour une première révision.

Si les éditeurs décident que l'étude répond à tous leurs critères pour une bonne conception de la recherche, ils donnent aux auteurs ce qu'on appelle une acceptation « de principe ». Ici, les éditeurs acceptent les articles avant même que l'auteur ne collecte des données. La revue publiera l'article quel que soit le résultat de l'étude, donc maintenir l'intégrité scientifique.

« Ce qui est bien avec les rapports enregistrés, c'est que la décision d'accepter ou de rejeter l'article pour publication ne dépend pas de l'exactitude de votre hypothèse, si vous avez obtenu un résultat statistiquement significatif, ou si les rapports sont choquants ou passionnants ou susceptibles d'être souvent cités, " dit Vazire.

Ces pratiques de pré-enregistrement dissuadent les scientifiques de draguer les données et « émettre des hypothèses après que les résultats sont connus » (HARKing) . En effet, si les chercheurs s'écartent de leur méthode de recherche préalablement convenue, ils doivent justifier pourquoi ils l'ont fait.

À part ça, les rapports enregistrés peuvent résoudre le problème lorsque les recherches avec des résultats négatifs ont une faible probabilité d'être publiées.

Les résultats négatifs sont tout aussi importants pour la science, mais les revues les considèrent comme peu attrayantes et attirent moins de citations.

Une étude de 2019 de l'Université de Cardiff, par exemple, souligne qu'environ 60 % des articles de recherche publiés à l'aide du système de rapports enregistrés ont des résultats négatifs.

Comparez cela avec les estimations de la littérature actuelle, où environ seulement 10 % des articles publiés dans des revues contiennent des résultats négatifs, indiquant un biais de publication extrême.

Actuellement, seules 209 revues dans le monde proposent un mécanisme de rapports enregistrés dans leur processus de publication, aucun d'entre eux d'Indonésie. Cela représente moins de 0,01 % des 24, 600 titres de revues à comité de lecture indexés dans Scopus.

Rizqy Amelia Zein, professeur de psychologie à Universitas Airlangga qui était l'un des organisateurs du webinaire, a déclaré dans une interview de suivi que les publications indonésiennes ont encore un long chemin à parcourir.

"La plupart des revues indonésiennes ne se soucient que des aspects cosmétiques. Elles se préoccupent rarement de la qualité, comme leur priorité principale est bien sûr l'indexation dans Scopus, " elle a dit.

Encourager le partage de données grâce aux badges

La dernière méthode que Vazire recommande est l'utilisation de badges par les revues pour motiver les chercheurs à partager des données.

Le meilleur exemple est peut-être l'Association for Psychological Science. Trois de ses revues prestigieuses, comprenant Sciences psychologiques , offrir des badges aux auteurs et à leurs manuscrits acceptés en reconnaissance des pratiques scientifiques ouvertes.

Trois badges sont disponibles. Un pour fournir des données dans un référentiel public, un pour fournir du matériel en libre accès, et un autre pour la mise en œuvre des pratiques de pré-enregistrement.

Une étude américaine de 2016 a confirmé qu'après la mise en place de ces badges, le nombre de Sciences psychologiques les articles faisant état de données ouvertes ont explosé.

"J'ai également vu un effet de retombée de cette politique dans les revues plus petites. Bien qu'elles n'aient pas de badges ou n'aient pas de politiques sur les données ouvertes, nous avons encore vu beaucoup plus d'auteurs partager leurs données parce qu'ils comprenaient maintenant que les gens faisaient davantage confiance aux articles lorsqu'ils disposaient de données ouvertes, " dit Vazire.

Une étude réalisée en 2017 par des chercheurs de l'Université de technologie du Queensland a suggéré que les badges de données ouvertes étaient la seule incitation testée qui a motivé les chercheurs à partager des données.

Sandersan dit que ces pratiques de transparence et de responsabilité ne sont pas les solutions ultimes, mais ils représentent des étapes vers l'objectif final de produire une recherche crédible de haute qualité.

"Il est très important que nous ne lisons pas seulement le journal, mais nous savons quelles décisions les chercheurs prennent et comment ils y sont parvenus. En exigeant la transparence, les chercheurs peuvent montrer l'ensemble de leur processus de pensée, " il a dit.

"Si nous encourageons seulement l'indice h et la sortie de publication et toutes ces choses, cela ne fera que nous aider à créer de mauvaises recherches."

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.