Masse des citations par rapport aux années depuis la première publication. Relation entre la masse de citations d'un chercheur et le nombre d'années depuis la première publication évaluée par des pairs pour huit disciplines Comprenant 60 chercheurs chacun à trois étapes de carrière différentes :chercheur en début de carrière (ECR), chercheur à mi-carrière (MCR), et chercheur en fin de carrière (LCR). Les lignes ajustées correspondent à l'ensemble de l'échantillon (noir plein), femmes seulement (noir pointillé), et les hommes seulement (en pointillé rouge). Crédit :Professeur Corey Bradshaw à l'Université Flinders, PLOS UN .
h -indice, g -indice, je indice 10, m -quotient, Facteur d'impact des revues, Altmetrics… c'est depuis longtemps un problème insoluble qui afflige la communauté de la recherche :comment évaluer les mérites relatifs de la recherche de manière objective dans toutes les disciplines et faire des comparaisons justes entre les chercheurs en début de carrière et les chercheurs établis, genres différents, et même différentes disciplines de recherche.
Maintenant, Le professeur Corey Bradshaw, écologiste de l'Université Flinders, et ses collègues ont développé un outil pour évaluer les performances de la recherche de manière plus équitable; celui qui uniformisera les règles du jeu non seulement entre les disciplines, mais à travers les genres et les parcours professionnels, aplanir les rides pour les perturbations telles que le congé de maternité.
Appelé le Indice Epsilon , nommé pour la lettre grecque ?? utilisé pour symboliser les résidus dans les statistiques, il prend en compte les nombreuses différences dans l'espace de recherche pour fournir une comparaison plus juste.
Un fou de statistiques avoué, Le professeur Bradshaw a publié les travaux du -index dans la revue en libre accès PLoS Un .
« L'un des défis permanents pour les chercheurs est la quête de mesurer équitablement la quantité et la qualité de leur production, ' dit le professeur Bradshaw.
"Il n'y a pas de processus simple pour comparer les forces relatives des chercheurs dans des disciplines disparates - certains ont juste tendance à avoir moins de citations que d'autres.
« Ensuite, il y a le genre. Les publications de recherche pour les femmes pourraient plonger pendant le congé de maternité par exemple, affectant la performance perçue, même si leur capacité - et leurs recherches - n'en sont pas moins brillantes. Les femmes ont également tendance à ne pas se voir offrir les mêmes opportunités que les hommes, même aujourd'hui, ils sont donc injustement classés par rapport aux hommes pour la plupart des mesures existantes.
Panneau de gauche :Répartition des résidus intra-disciplinaires de la relation entre Arel et loge années d'édition par discipline (ARC =archéologie, CHM =chimie, ECO =écologie, EVO =évolution et développement, GEO =géologie, CMI =microbiologie, OPH =ophtalmologie, PAL =paléontologie), comprenant chacun 60 chercheurs (30 ♀, 30 minutes). Panneau de droite :Répartition des résidus interdisciplinaires. Crédit :Professeur Corey Bradshaw à l'Université Flinders.
« Où en sont les chercheurs dans leur carrière, qu'il s'agisse de nouveaux arrivants passionnants ou de professeurs distingués, peut également avoir un effet important sur les métriques actuelles.
'Les Indice Epsilon est une nouvelle façon de réduire les biais systémiques dans l'évaluation de la qualité des chercheurs via des citations en fournissant une étape de carrière, genre, et des corrections d'opportunité aux mesures de performance basées sur les citations, ' il dit.
L'outil est disponible gratuitement sous forme d'application prête à l'emploi. Il suffit de saisir quelques données pour un échantillon de chercheurs à partir de bases de données open source comme Google Scholar, et il fait le gros du travail pour produire le résultat, permettant de comparer des chercheurs à n'importe quel stade de leur carrière et de n'importe quelle discipline à la même échelle.
C'est une aubaine pour quiconque souhaite utiliser une métrique objective pour classer les chercheurs, que ce soit pour les demandes de subventions, entretiens d'embauche, promotions et récompenses, ou même comme indicateur de performance du personnel.
Relation entre la masse de citations échelonnées et la publication des années loge (pour 480 chercheurs dans huit disciplines différentes (ARC =archéologie, CHM =chimie, ECO =écologie, EVO =évolution et développement, GEO =géologie, CMI =microbiologie, OPH =ophtalmologie, PAL =paléontologie) comprenant 60 chercheurs chacun. Crédit :Professeur Corey Bradshaw à l'Université Flinders.
L'approche pour développer et tester les -index était en soi un exercice de multidisciplinarité et spécifiquement conçu pour assurer l'équilibre entre les sexes.
L'outil a été testé et affiné grâce à une collaboration sur des échantillons de données avec un archéologue, le professeur adjoint Dr Stefani Crabtree (Utah State University/Santa Fe Institute), un géologue et paléontologue des vertébrés—Professeur Kate Trinajstic (Curtin University), un chimiste — le professeur Justin Chalker, un microbiologiste, le professeur Bart Eijkelkamp, un paléontologue—le professeur John Long, un ophtalmologiste—Professeur Justine Smith, et une biologiste de l'évolution, le professeur Vera Weisbecker (tous de l'Université Flinders).
L'échantillon comprenait 480 chercheurs avec des profils Google Scholar, répartis uniformément en huit disciplines (archéologie, chimie, écologie, évolution et développement, géologie, microbiologie, ophtalmologie, paléontologie), trois étapes de carrière (début, milieu-, fin de carrière), et deux genres.
Professeur Justine Smith, qui a été une "superstar des STEM" promouvant activement l'engagement des femmes dans la science, La technologie, ingénierie et mathématiques, espère que le -index fera une différence dans la façon dont les femmes dans la science sont perçues, et encouragent à leur tour plus de femmes à entrer dans les sciences.
« Évaluer plus précisément la contribution des femmes aux sciences et célébrer leurs réussites est essentiel pour encourager les futures générations de filles à se lancer dans les sciences ; comme on dit, "tu ne peux pas être ce que tu ne peux pas voir". Les -index donne une visibilité plus juste et plus grande aux réalisations des femmes, et qu'il le fasse dans un éventail de disciplines le rend particulièrement bénéfique, dit le professeur Smith.
Tracés de violon des résidus mis à l'échelle et du quotient m dans les huit disciplines par rapport au stade de carrière (ECR =début de carrière ; MCR =mi-carrière ; LCR =fin de carrière). Crédit :Professeur Corey Bradshaw
Comment ça fonctionne
Le nouvel indice est un algorithme de classement qui peut être standardisé dans toutes les disciplines, peut être corrigé des interruptions de carrière, et fournit un seuil spécifique à l'échantillon qui peut déterminer si la performance individuelle est supérieure ou inférieure aux attentes par rapport aux autres chercheurs d'un échantillon.
À l'aide du code R ou de l'application en ligne, il ne nécessite que quatre éléments d'information provenant de bases de données publiques telles que Google Scholar ou Scopus pour calculer un chercheur ?? -indice:
L'outil fournit également une méthode simple pour mettre l'indice à l'échelle dans toutes les disciplines avec des tendances de citation variables ( ?? ′-index) pour permettre une comparaison plus juste des chercheurs dans différents domaines.
Classements médians parmi les huit disciplines examinées (ARC =archéologie, CHM =chimie, ECO =écologie, EVO =évolution et développement, GEO =géologie, CMI =microbiologie, OPH =ophtalmologie, PAL =paléontologie). Crédit :Professeur Corey Bradshaw
Classement par sexe et étape de carrière (ECR =chercheur en début de carrière, MCR =chercheur à mi-carrière, LCR =chercheur en fin de carrière); (b) bootstrap débiaisé (c'est-à-dire, calculer les résidus échelonnés pour chaque sexe séparément, puis classement de l'ensemble de données combiné) ε′ classe par sexe et étape de carrière. Crédit :Professeur Corey Bradshaw
Les ?? -index permet facilement de comparer des sous-ensembles de chercheurs en femmes uniquement ou en hommes uniquement pour ajuster le seuil de sorte que les classements soient plus comparables entre ces deux sexes. Alternativement, diviser les genres et les comparer séparément suivi d'un reclassement combiné élimine efficacement les préjugés sexistes dans le ?? -indice, ce qui est difficile ou impossible à faire avec d'autres mesures de classement.
"Aucune mesure de classement n'est parfaite, mais le -index est un grand pas en avant pour surmonter les préjugés et donner une vision plus claire, image plus juste de la performance de la recherche à tous les niveaux, ' dit le professeur Bradshaw.
