De nouvelles recherches de l'Université Queen Mary de Londres suggèrent que lorsqu'il s'agit d'évaluations de recherche à grande échelle telles que le Research Excellence Framework (REF), les examens par les pairs seraient plus rentables s'ils étaient ciblés sur des publications ne figurant pas dans des revues exceptionnelles.

La recherche révèle que les examens par les pairs et l'analyse bibliométrique doivent être considérés comme des modes d'évaluation complémentaires. Les chercheurs suggèrent que cibler les évaluations par les pairs sur des publications dont la qualité ne peut pas être classée sans ambiguïté à l'aide d'une analyse bibliométrique serait plus efficace pour évaluer les normes de recherche dans les universités britanniques et une meilleure utilisation de l'argent public.

Évaluation de la recherche

Les chercheurs ont utilisé l'exercice REF 2014 du Royaume-Uni pour étudier les attributs des publications les mieux notées (quatre étoiles) en économie et en économétrie. Bien que les documents officiels contiennent des notes globales pour chaque institution, les chercheurs montrent comment ces agrégats peuvent être utilisés pour déduire le score attribué par les panélistes REF à chaque publication.

Les résultats démontrent que ce score répond au prestige de la revue tel que mesuré par le score d'influence des articles de Thomson Reuters. Bien que l'utilisation de cette métrique particulière soit justifiée par ses propriétés attrayantes, et par des recherches antérieures, différentes mesures de l'impact des revues telles que le facteur d'impact sont également utilisées par les chercheurs.

Plusieurs analyses économétriques confirment la contribution limitée d'autres attributs de publication, comme les citations, à la note attribuée par les panélistes REF, et que les publications dans les meilleures revues généralistes et les cinq meilleures revues d'économie reçoivent sans ambiguïté quatre étoiles.

Implications pour une évaluation future

Les résultats ont des implications importantes pour la conception des futures évaluations de recherche, autre que d'informer la discussion sur le cycle 2021 du REF qui est en cours. L'utilisation de la bibliométrie dans l'évaluation de la recherche a été intensément débattue, et la réglementation REF repose sur des examens par des experts reflétant les préoccupations concernant l'utilisation responsable des métriques.

Les résultats montrent qu'au moins en économie et en économétrie, un indice d'impact des revues se rapproche avec précision du jugement des experts, en particulier pour les produits publiés dans des revues exceptionnelles.

Dr Marco Ovidi, de la Queen Mary's School of Economics and Finance, co-auteur de l'étude, dit que leur "recherche révèle que, en économie et économétrie, la classification des résultats de la recherche REF 2014 faite par les experts est très proche de la classification que l'on obtiendrait en utilisant un indicateur bibliométrique d'impact des revues.

« Les différences sont particulièrement faibles pour les résultats de recherche publiés dans des revues économiques à fort impact. Nos résultats suggèrent que le processus coûteux d'évaluation par les pairs devrait être axé sur la recherche de joyaux cachés dans des revues de réputation relativement inférieure plutôt que sur des résultats surestimés dans les médias les mieux notés. "

« Nous pensons que nos résultats devraient intéresser les départements universitaires et les décideurs de la recherche en tant que prochaines évaluations de la recherche, la REF 2021, est en cours."