Une équipe de scientifiques dirigée par un astronome de la Michigan State University a découvert qu'un nouveau processus d'évaluation des projets de recherche scientifique proposés est aussi efficace, sinon plus, que la méthode traditionnelle d'examen par les pairs.

Normalement, lorsqu'un chercheur soumet une proposition, l'agence de financement demande ensuite à un certain nombre de chercheurs dans ce domaine particulier d'évaluer et de faire des recommandations de financement. Un système qui peut parfois être un peu encombrant et lent - pas tout à fait une science exacte.

"Comme dans toutes les entreprises humaines, celui-ci a des défauts, " a déclaré Wolfgang Kerzendorf, professeur assistant dans les départements de physique et d'astronomie de la MSU, et mathématiques computationnelles, Sciences et Ingénierie.

Détaillé dans la publication Astronomie de la nature , Kerzendorf et ses collègues ont testé un nouveau système qui répartit la charge de travail de l'examen des propositions de projet entre les proposants, connue sous le nom de « revue par les pairs distribuée ».

Cependant, l'équipe l'a amélioré en utilisant deux autres fonctionnalités innovantes :l'utilisation de l'apprentissage automatique pour faire correspondre les évaluateurs avec les propositions et l'inclusion d'un mécanisme de rétroaction sur l'évaluation.

Essentiellement, ce processus se compose de trois caractéristiques différentes conçues pour améliorer le processus d'examen par les pairs.

D'abord, lorsqu'un scientifique soumet une proposition d'évaluation, il est d'abord invité à revoir plusieurs articles de ses concurrents, un moyen de réduire le nombre de documents que l'on est invité à réviser.

"Si vous réduisez le nombre d'examens que chaque personne doit faire, ils peuvent passer un peu plus de temps avec chacune des propositions, " a déclaré Kerzendorf.

Seconde, en utilisant des ordinateurs (apprentissage automatique), les agences de financement peuvent faire correspondre l'examinateur avec des propositions de domaines dans lesquels ils sont experts. Ce processus peut éliminer les préjugés humains de l'équation, résultant en un examen plus précis.

"Nous examinons essentiellement les articles que les lecteurs potentiels ont écrits, puis faisons à ces personnes des propositions qu'elles sont probablement bonnes à juger, " a déclaré Kerzendorf. " Au lieu d'un critique qui rapporte lui-même son expertise, l'ordinateur fait le travail."

Et troisièmement, l'équipe a introduit un système de rétroaction dans lequel la personne qui a soumis la proposition peut juger si les commentaires reçus ont été utiles. Finalement, cela pourrait aider la communauté à récompenser les scientifiques qui fournissent constamment des critiques constructives.

"Cette partie du processus n'est pas sans importance, " dit Kerzendorf. " Un bon, l'examen constructif est un peu un bonus, une récompense pour le travail que vous avez consacré à l'examen d'autres propositions."

Pour faire l'expérience, Kerzendorf et son équipe ont examiné 172 propositions soumises, chacune demandant l'utilisation des télescopes de l'Observatoire européen austral, un observatoire au sol de 16 pays en Allemagne.

Les propositions ont été examinées à la fois de la manière traditionnelle et à l'aide d'un examen par les pairs distribué. Les résultats? D'un point de vue statistique, c'était apparemment indiscernable

Cependant, Kerzendorf a déclaré qu'il s'agissait d'une nouvelle expérience testant une nouvelle approche pour évaluer la recherche par les pairs, celui qui pourrait faire une différence dans le monde scientifique.

« Alors que nous pensons de manière très critique à la science, nous ne prenons parfois pas le temps de réfléchir de manière critique à l'amélioration du processus d'allocation des ressources en science, " at-il dit. " C'est une tentative de faire ceci. "