Les National Institutes of Health (NIH) ont investi plus de 27 milliards de dollars dans la recherche biomédicale grâce à des subventions concurrentielles au cours de son exercice 2017. Ces subventions ont été attribuées en fonction des notes attribuées par, et conversation entre, pairs évaluateurs experts.

Ce processus d'examen par les pairs est conçu pour déterminer les meilleures propositions à financer et est une caractéristique fondamentale de la distribution de dollars pour des projets scientifiques avec une délibération minutieuse.

Mais de nouvelles découvertes des chercheurs de l'Université du Wisconsin-Madison suggèrent que les examinateurs sont incapables de différencier les bonnes propositions des simples bonnes. Dans une simulation détaillée du processus d'examen par les pairs - les enregistrements des examens réels ne sont pas disponibles pour étude - des chercheurs du Center for Women's Health Research de l'UW-Madison et leurs collaborateurs ont découvert qu'il n'y avait pas d'accord entre les différents examinateurs notant les mêmes propositions.

Le résultat est que, après avoir éliminé les propositions les plus faibles, les différences dans la façon dont les évaluateurs ont noté les propositions ont rendu impossible la distinction des autres. L'étude a été financée en partie par le NIH pour analyser et améliorer la façon dont les milliards de dollars sont alloués par l'agence.

Les résultats sont publiés le 5 mars dans le Actes de l'Académie nationale des sciences . La stagiaire postdoctorale Elizabeth Pier a dirigé les analyses des données recueillies par un groupe multidisciplinaire comprenant Molly Carnes, directeur du Centre de recherche sur la santé des femmes, Cécilia Ford, professeur émérite d'anglais et de sociologie, collègues en psychologie et en psychologie de l'éducation à l'UW-Madison, et des collaborateurs de la West Chester University en Pennsylvanie.

« Comment pouvons-nous améliorer la façon dont les subventions sont examinées afin qu'il y ait moins de subjectivité dans le financement ultime de la science ? » est la question au cœur de ce travail, dit Carnes. "Nous avons besoin de plus de recherches dans ce domaine et le NIH investit de l'argent pour enquêter sur ce processus."

L'examen par les pairs commence par des experts analysant et notant séparément un certain nombre de propositions. Des groupes d'experts se réunissent ensuite pour discuter des propositions et décider collectivement lesquelles méritent un financement. Pour étudier ce processus, les chercheurs ont réuni des pairs évaluateurs expérimentés du NIH et leur ont fait examiner de vraies propositions qui avaient été financées par le NIH. Un lot avait reçu un financement tout de suite - les excellentes propositions. L'autre lot a finalement reçu un financement après avoir été révisé et a été considéré comme de « bonnes » propositions.

Des recherches publiées précédemment par le même groupe ont révélé que les conversations qui ont lieu après les scores initiaux ne conduisent pas à de meilleures décisions de financement, car ils amplifient les désaccords entre les différents groupes d'examinateurs.

"La collaboration peut en fait aggraver l'accord, pas mieux, donc une question qui en découlerait serait : « Est-ce qu'il serait préférable que les examinateurs ne se rencontrent pas ? » », dit Pier, qui a obtenu son doctorat en psychologie de l'éducation à l'UW-Madison tout en complétant le travail.

Pour répondre à cette question dans la nouvelle étude, les chercheurs se sont concentrés sur les critiques initiales des évaluateurs et ont identifié le nombre et le type de faiblesses et de forces attribuées à chaque proposition, avec la note attribuée.

« Quand on regarde les forces et les faiblesses qu'ils attribuent aux candidats, ce que nous avons constaté, c'est que les évaluateurs sont très cohérents en interne, " dit Pier. " Ce qui nous a surpris, c'est que même si les gens sont cohérents en interne, il n'y a vraiment aucune cohérence dans la façon dont différentes personnes traduisent le nombre de faiblesses en un score."

En moyenne, les chercheurs ont noté les mêmes propositions de manière si différente que c'était comme s'ils examinaient des propositions complètement différentes. Ce désaccord flagrant, et les effets polarisants de la conversation de groupe que des recherches antérieures ont démontré, ont suggéré aux chercheurs que le processus actuel d'examen par les pairs n'est pas conçu pour faire la distinction entre les bonnes et les bonnes propositions.

"Nous n'essayons pas de suggérer que l'examen par les pairs est défectueux, mais qu'il pourrait y avoir une certaine marge d'innovation pour améliorer le processus, " dit Pier.

Une amélioration potentielle suggérée par l'équipe de recherche est de créer une loterie modifiée. Dans ce système, un premier examen éliminerait les propositions les plus faibles, et les autres seraient financés au hasard. Le NIH étudie également actuellement des moyens d'améliorer l'objectivité et le succès de l'examen par les pairs.

Les chercheurs soulignent que, avec des milliards de dollars en jeu, des recherches supplémentaires sont nécessaires sur ce système vital de financement et sur toute amélioration potentielle du processus.

"Cela me rend fier d'être un scientifique, que nous ne finançons pas seulement la recherche des cellules à la société, mais que nous essayons continuellement d'améliorer le processus par lequel nous attribuons ces dollars, " dit Carnes.