Dans six revues réputées sur l'hydrologie et les ressources en eau publiées en 2017, le pourcentage estimé d'études dont les résultats pouvaient être entièrement reproduits n'était que de 0,06 à 6,8 pour cent. Ce faible niveau de reproductibilité n'est pas rare dans les études hydrologiques, un fait que de nombreux scientifiques reconnaissent volontiers. Cependant, une équipe de chercheurs de l'Utah State University a peut-être trouvé une solution pour rendre ces études plus reproductibles.

Dans leur papier, "Évaluer la disponibilité des données et la reproductibilité de la recherche en hydrologie et ressources en eau, " publié le 26 février dans Nature's Données scientifiques , Les co-auteurs de David Rosenberg ont développé un outil de sondage en ligne pour évaluer la reproductibilité de la recherche publiée. L'équipe a examiné 360 articles de six revues sur les ressources en eau publiés en 2017. Sur 360 articles, ils ne pouvaient que reproduire intégralement les résultats de quatre articles.

"Notre outil d'enquête décompose le concept de reproductibilité scientifique en composants spécifiques de la disponibilité des données, reproductibilité des résultats et réplicabilité des constatations, " dit Rosenberg, professeur agrégé de génie civil et environnemental à l'USU. "Nous suggérons ensuite comment les auteurs, revues, les bailleurs de fonds et les institutions peuvent utiliser l'outil d'enquête pour augmenter les faibles taux de reproductibilité. »

Les auteurs disent que la reproductibilité peut être décomposée en trois composantes :

• Les données sont-elles, des modèles, code, mode d'emploi et autres artefacts utilisés dans le travail disponibles ?
• Les artefacts peuvent-ils être utilisés pour reproduire les résultats publiés ?
• Les résultats peuvent-ils être répliqués avec de nouveaux ensembles de données ?

L'outil de sondage en ligne de l'équipe se compose de 15 questions et fournit une liste de contrôle des éléments essentiels nécessaires à la disponibilité des artefacts et à la reproductibilité des résultats. Artefacts est un terme générique pour toutes les données, Logiciel, des modèles, code, instructions et autres matériaux nécessaires pour reproduire les résultats dans une étude.

L'équipe a constaté qu'environ 70 pour cent des articles échantillonnés indiquaient que certains documents étaient disponibles, mais seulement environ 48 pour cent des documents étaient accessibles en ligne. Seuls environ six pour cent des articles échantillonnés ont rendu les artefacts accessibles au public, et seulement un pour cent des articles échantillonnés rendaient des artefacts disponibles et pouvaient être entièrement reproduits.

Les auteurs ont déclaré que de nombreux articles manquaient de directives pour générer des résultats. Si les auteurs fournissent des instructions, ils disent, le nombre d'articles pouvant être testés pour la reproductibilité doublerait. Les articles qui rendaient tous les artefacts disponibles avaient six chances sur dix d'avoir une partie ou la totalité de leurs résultats reproduits. Deux revues interrogées par l'équipe avaient besoin d'articles pour indiquer comment les artefacts peuvent être consultés, et quatre revues encourageaient les déclarations. Aucune revue n'exigeait des auteurs qu'ils rendent tous les artefacts disponibles.

L'outil d'enquête peut aider à reconnaître et encourager les auteurs à atteindre certains niveaux de reproductibilité. Par exemple, les auteurs peuvent utiliser l'outil d'enquête pour auto-évaluer la reproductibilité de leurs résultats. Rosenberg et son équipe recommandent également un système de médailles pour reconnaître différents niveaux de reproductibilité :

• Médaille de bronze :tous les artefacts sont disponibles dans l'article ou dans des référentiels ouverts
• Médaille d'argent :tous les artefacts sont disponibles et les résultats sont entièrement reproductibles
• Médaille d'or :les résultats sont entièrement reproductibles et les résultats globaux peuvent être reproduits dans différents contextes avec des artefacts identiques ou différents

Rosenberg recommande que des icônes de médaille soient affichées à côté des articles en ligne pour reconnaître les auteurs pour leur travail de reproductibilité et permettre aux lecteurs de trouver plus facilement les meilleures pratiques de reproductibilité. Rosenberg et son équipe ont attribué quatre médailles d'argent et six médailles de bronze sur les 360 articles qu'ils ont examinés. L'attribution de médailles d'or pour la réplicabilité des résultats reste un axe important des travaux futurs.

"Nous espérons que l'outil d'enquête aidera les auteurs à pousser, revues, les bailleurs de fonds et les institutions pour rendre le travail scientifique plus reproductible, " a déclaré Rosenberg. " Nous nous félicitons des discussions visant à améliorer l'outil d'enquête et à améliorer la reproductibilité de notre science. "