Plus tôt cette année, Le médecin et microbiologiste français Didier Raoult a suscité un tollé médiatique au sujet de sa promotion controversée de l'hydroxychloroquine pour traiter le COVID-19. Le chercheur a longtemps souligné sa liste croissante de publications et son nombre élevé de citations comme une indication de sa contribution à la science, tous résumés dans son "h-index."

La controverse sur ses recherches récentes offre l'occasion d'examiner les faiblesses de l'indice h, une métrique qui vise à quantifier la productivité et l'impact d'un chercheur, utilisé par de nombreuses organisations pour évaluer les chercheurs en vue de promotions ou de financement de projets de recherche.

Inventé en 2005 par le physicien américain John Hirsch, le Hirsch-index ou h-index, est une référence incontournable pour de nombreux chercheurs et managers du monde académique. Il est particulièrement promu et utilisé dans les sciences biomédicales, un domaine où le nombre massif de publications rend quasiment impossible toute évaluation qualitative sérieuse du travail des chercheurs. Ce prétendu indicateur de qualité est devenu un miroir devant lequel les chercheurs s'admirent ou se moquent du pitoyable h-index de leurs collègues et rivaux.

Si les experts en bibliométrie, branche de la bibliothéconomie et des sciences de l'information utilisant des méthodes statistiques pour analyser les publications, ont rapidement souligné le caractère douteux de cet indicateur composite, la plupart des chercheurs ne semblent pas toujours comprendre que ses propriétés en font un indice loin d'être valide pour évaluer sérieusement et éthiquement la qualité ou l'impact scientifique des publications.

Les promoteurs du h-index commettent une erreur de logique élémentaire. Ils affirment que parce que les lauréats du prix Nobel ayant généralement un indice h élevé, la mesure est un indicateur valable de la qualité individuelle des chercheurs. Cependant, si un indice h élevé peut effectivement être associé à un prix Nobel, cela ne prouve en aucun cas qu'un faible indice h est nécessairement associé à un chercheur de mauvaise réputation.

En effet, un indice h apparemment bas peut cacher un impact scientifique élevé, du moins si l'on accepte que l'unité de mesure habituelle de la visibilité scientifique se reflète dans le nombre de citations reçues.

Limites du h-index

Défini comme le nombre d'articles N par un auteur ayant chacun reçu au moins N citations, le h-index est limité par le nombre total d'articles publiés. Par exemple, si une personne a 20 articles qui sont cités 100 fois chacun, son indice h est de 20, tout comme une personne qui a également 20 articles, mais chacun n'a cité que 20 fois. Mais aucun chercheur sérieux ne dirait que les deux sont égaux parce que leur indice h est le même.

Le plus ironique dans l'histoire du h-index est que son inventeur a voulu contrer l'affirmation selon laquelle le nombre d'articles publiés représentait l'impact d'un chercheur. Donc, il a inclus le nombre de citations reçues par les articles.

Mais il s'avère que le h-index d'un auteur est fortement corrélé (jusqu'à environ 0,9) avec son nombre total de publications. En d'autres termes, c'est le nombre de publications qui alimente l'index plus que le nombre de citations, un indicateur qui reste la meilleure mesure de la visibilité des publications scientifiques.

Tout cela est bien connu des experts en bibliométrie, mais peut-être moins aux chercheurs, managers et journalistes qui se laissent impressionner par les scientifiques qui défilent leur h-index.

Raoult contre Einstein

Dans une enquête récente sur les activités de recherche de Raoult par le journal français Médiapart , une chercheuse qui avait été membre du comité d'évaluation du laboratoire de Raoult a déclaré :« Ce qui l'a frappée, c'est l'obsession de Didier Raoult pour ses publications. Quelques minutes avant le début de l'évaluation de son unité, la première chose qu'il lui a montrée sur son ordinateur était son h-index." Raoult avait également déclaré dans Le Point magazine en 2015 qu'« il fallait compter le nombre et l'impact des publications des chercheurs pour évaluer la qualité de leurs travaux ».

Jetons donc un coup d'œil à l'index h de Raoult et voyons comment il se compare à, dire, celui d'un chercheur considéré comme le plus grand scientifique du siècle dernier :Albert Einstein.

Dans la base de données Web of Science, Raoult en a 2, 053 articles publiés entre 1979 et 2018, ayant reçu un total de 72, 847 citations. Son indice h calculé à partir de ces deux nombres est de 120. Nous savons, cependant, que la valeur de cet indice peut être artificiellement gonflée par les auto-citations d'un auteur, lorsqu'un auteur cite ses propres articles précédents. La base de données indique que parmi le total des citations attribuées aux articles co-écrits par Raoult, 18, 145 proviennent d'articles dont il est co-auteur. Ces auto-citations s'élèvent à un total de 25 pour cent. En les soustrayant, L'indice h de Raoult chute de 13% à une valeur de 104.

Maintenant, examinons le cas d'Einstein, qui a 147 articles répertoriés dans la base de données Web of Science entre 1901 et 1955, l'année de sa mort. Pour ses 147 articles, Einstein a reçu 1, 564 citations de son vivant. Sur ce nombre total de citations, seulement 27, ou un maigre 1,7 pour cent, sont des auto-citations. Maintenant, si l'on ajoute les citations faites à ses articles après sa mort, Einstein a reçu un total de 28, 404 citations entre 1901 et 2019, ce qui lui vaut un h-index de 56.

Si l'on doit se fier à la mesure dite "objective" fournie par le h-index, nous sommes alors forcés de conclure que les travaux de Raoult ont deux fois l'impact scientifique de ceux d'Einstein, le père du photon, relativités restreinte et générale, la condensation de Bose-Einstein et du phénomène de l'émission stimulée à l'origine des lasers.

Ou peut-être est-il plus simple (et mieux) de conclure, comme déjà suggéré, que cet indicateur est faux?

Il convient de noter la différence significative dans le nombre total de citations reçues par chacun de ces chercheurs au cours de leur carrière. Ils ont manifestement été actifs à des moments très différents, et la taille des communautés scientifiques, et donc le nombre d'auteurs citants potentiels, ont considérablement augmenté au cours du dernier demi-siècle.

Les différences disciplinaires et les modèles de collaboration doivent également être pris en compte. Par exemple, la physique théorique a beaucoup moins de contributeurs que la microbiologie, et le nombre de co-auteurs par article est plus petit, qui affecte la mesure de la productivité et de l'impact des chercheurs.

Finalement, il est important de noter que l'énoncé :" L'indice h de la personne P est X, " n'a pas de sens, car la valeur de l'indice dépend du contenu de la base de données utilisée pour son calcul. On devrait plutôt dire :« L'h-index de la personne P est X, dans la base de données Z." Par conséquent, selon la base de données Web of Science, qui ne contient que des revues considérées comme sérieuses et assez visibles dans le domaine scientifique, le h-index de Raoult est de 120. En revanche, dans la base de données gratuite et donc facilement accessible de Google Scholar, son indice h, celui qui revient le plus souvent dans les médias, monte à 179.

Fétichisme des nombres

De nombreuses communautés scientifiques vénèrent le h-index et ce fétichisme peut avoir des conséquences néfastes pour la recherche scientifique. La France, par exemple, utilise un système d'interrogation, de gestion et d'analyse des publications scientifiques à octroyer des fonds de recherche à ses laboratoires de sciences biomédicales. Il est basé sur le nombre d'articles qu'ils publient dans des revues dites à facteur d'impact élevé. Comme le rapporte le journal Le Parisien , le rythme effréné des publications de Raoult permet à son établissement d'origine de gagner entre 3, 600 et 14, 400 euros annuels pour chaque article publié par son équipe.

Le bon sens devrait nous apprendre à nous méfier des indicateurs simplistes et unidimensionnels. Ralentir le rythme effréné des publications scientifiques conduirait certainement les chercheurs à se désintéresser du h-index. Plus important, l'abandonner contribuerait à produire des articles scientifiques qui seront moins nombreux, mais certainement plus robuste.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.