Les entreprises peuvent-elles s'appuyer sur les résultats d'une ou deux études scientifiques pour concevoir un nouveau procédé industriel ou lancer un nouveau produit ? Dans au moins un domaine de la chimie des matériaux, la réponse peut être oui, mais seulement 80 pour cent du temps.

La réplicabilité des résultats des études scientifiques est devenue une préoccupation majeure de la communauté des chercheurs, en particulier dans les sciences sociales et les sciences biomédicales. Mais de nombreux chercheurs dans les domaines de l'ingénierie et des sciences dures n'ont pas ressenti le même niveau de préoccupation pour la validation indépendante de leurs résultats.

Une nouvelle étude qui a comparé les résultats rapportés dans des milliers d'articles publiés sur les propriétés des matériaux à charpente organométallique (MOF) - qui sont des candidats de premier plan pour l'adsorption du dioxyde de carbone et d'autres séparations - suggère que le problème de réplicabilité devrait être une préoccupation pour les chercheurs en matériaux, trop.

Une étude sur cinq des matériaux MOF examinés par des chercheurs du Georgia Institute of Technology a été jugée « des valeurs aberrantes, " avec des résultats bien au-delà des barres d'erreur normalement utilisées pour évaluer les résultats des études. Les milliers d'articles de recherche n'ont donné que neuf composés MOF pour lesquels quatre études indépendantes ou plus ont permis une comparaison appropriée des résultats.

« À un niveau fondamental, Je pense que les gens de la chimie des matériaux sentent que les choses sont reproductibles et qu'ils peuvent compter sur les résultats d'une seule étude, " a déclaré David Sholl, professeur et chaire John F. Brock III à la Georgia Tech School of Chemical and Biomolecular Engineering. "Mais ce que nous avons découvert, c'est que si vous sortez une expérience au hasard, il y a une chance sur cinq que les résultats soient complètement faux - pas seulement légèrement décalés, mais même pas proche."

La question de savoir si les résultats peuvent être appliqués plus largement à d'autres domaines de la science des matériaux attend des études supplémentaires, dit Sholl. Les résultats de l'étude, qui a été soutenu par le département américain de l'Énergie, ont été publiés le 28 novembre dans la revue ACS Chimie des Matériaux .

Sholl a choisi les MOF parce qu'il s'agit d'un domaine d'intérêt pour son laboratoire - il développe des modèles pour les matériaux - et parce que le National Institute of Standards and Technology (NIST) et l'Advanced Research Projects Agency-Energy (ARPA-E) avaient déjà assemblé une base de données résumant les propriétés des MOF. Les co-auteurs Jongwoo Park et Joshua Howe ont utilisé des techniques de méta-analyse pour comparer les résultats des tests d'isotherme d'adsorption à un seul composant - quelle quantité de CO2 peut être éliminée à température ambiante.

Cette mesure est simple et il existe des instruments commerciaux disponibles pour effectuer les tests. "Les gens de la communauté considéreraient cela comme une expérience presque infaillible, " dit Sholl, qui est également un éminent chercheur de la Georgia Research Alliance en durabilité énergétique.

Les chercheurs considéraient les résultats comme définitifs lorsqu'ils avaient quatre études ou plus d'un MOF donné dans des conditions comparables.

Les implications des erreurs dans la science des matériaux peuvent être moindres que dans d'autres domaines de recherche. Mais les entreprises pourraient utiliser les résultats d'une ou deux études pour choisir un matériau qui semble être plus efficace, et dans d'autres cas, les chercheurs incapables de reproduire une expérience peuvent simplement passer à un autre matériau.

« Le résultat net est à tout le moins une utilisation non optimale des ressources, " a déclaré Sholl. " Et tout rapport utilisant une expérience pour conclure qu'un matériau est 15 ou 20 pour cent meilleur qu'un autre matériau doit être considéré avec un grand scepticisme, car nous ne pouvons pas être très précis sur ces mesures dans la plupart des cas."

Pourquoi la variabilité des résultats ? Certains MOF peuvent être capricieux, absorbant rapidement l'humidité qui affecte l'adsorption, par exemple. Les « valeurs aberrantes » d'un sur cinq peuvent être le résultat d'une contamination des matériaux.

« L'un des matériaux que nous avons étudiés est relativement simple à réaliser, mais c'est instable dans une ambiance ambiante, " expliqua Sholl. " Exactement ce que vous faites entre sa fabrication en laboratoire et son test affectera les propriétés que vous mesurez. Cela pourrait expliquer une partie de ce que nous avons vu, et si un matériau est si sensible, nous savons que cela va être un problème dans l'utilisation pratique."

D'autres facteurs pouvant empêcher la réplication incluent des détails qui ont été omis par inadvertance dans la description d'une méthode - ou dont les scientifiques originaux n'avaient pas réalisé qu'ils étaient pertinents. Cela pourrait être aussi simple que l'atmosphère précise dans laquelle le matériel est maintenu, ou les matériaux utilisés dans l'appareil produisant les MOF.

Sholl espère que l'article conduira à une plus grande réplication des expériences afin que les scientifiques et les ingénieurs puissent savoir si leurs résultats sont vraiment significatifs.

« À la suite de cela, Je pense que mon groupe examinera toutes les données rapportées d'une manière plus nuancée, ne soupçonnant pas nécessairement que c'est mal, mais en pensant à la fiabilité de ces données, " a-t-il dit. " Au lieu de considérer les données comme un nombre, nous devons toujours y penser comme un nombre plus une plage. »

Sholl suggère que davantage de rapports sur la seconde, un troisième ou un quatrième effort pour reproduire une expérience aiderait à augmenter la confiance des données sur les propriétés des matériaux MOF. Le système de publication scientifique n'offre actuellement pas beaucoup d'incitations à la validation des rapports, bien que Sholl espère que cela changera.

Il estime également que la question doit être discutée au sein de toutes les parties de la communauté scientifique, bien qu'il admette que cela peut conduire à des conversations « inconfortables ».

« Nous avons présenté cette étude à quelques reprises lors de conférences, et les gens peuvent être assez défensifs à ce sujet, " a déclaré Sholl. " Tout le monde sur le terrain connaît tout le monde, il est donc toujours plus facile de ne pas évoquer ce problème."

Et, bien sûr, Sholl aimerait voir d'autres reproduire le travail que lui et son équipe de recherche ont fait. "Il sera intéressant de voir si ce nombre d'un sur cinq tient pour d'autres types d'expériences et de matériaux, " Il a ajouté. " Il y a certainement d'autres domaines de la chimie des matériaux où ce genre de comparaison pourrait être fait. "