Les chercheurs ont l'habitude d'être évalués sur la base d'indices comme les facteurs d'impact des revues scientifiques dans lesquelles ils publient des articles et leur nombre de citations. Une équipe de 14 scientifiques naturels de neuf pays se rebelle maintenant contre cette pratique, en faisant valoir que l'utilisation obsessionnelle des indices nuit à la qualité de la science.

"Notre message est assez clair :les universitaires devraient cesser de trop se soucier des indices. Au lieu de cela, nous devrions travailler davantage sur l'érudition et la qualité de la recherche, ", explique le professeur Colin Chapman du département d'anthropologie de l'université George Washington à Washington.

"Le recours exagéré aux indices détourne l'attention de la qualité de la science. Le système fonctionne très bien pour les chercheurs expérimentés comme Colin Chapman et moi-même, mais les jeunes chercheurs et leur carrière souffrent à cause de la façon dont les indices sont utilisés aujourd'hui, " ajoute le professeur Nils Chr. Stenseth de l'Université d'Oslo.

Les indices ne mesurent pas la qualité

Chapman et Stenseth sont deux des auteurs d'un article accrocheur dans la revue scientifique Actes de la Royal Society B , sur les « jeux que jouent les universitaires » et les conséquences pour l'avenir du monde universitaire. L'un des problèmes avec les indices est que les gens peuvent jouer avec eux pour améliorer leurs scores, selon le nouveau journal.

La base de la rébellion est que la recherche est une profession hautement compétitive où l'évaluation joue un rôle central. Lorsqu'une équipe de chercheurs - les chercheurs ne travaillent généralement pas seuls de nos jours - a fait une nouvelle découverte, ils écrivent un article académique détaillé sur la méthode et les résultats. L'étape suivante consiste à envoyer l'article à une revue scientifique, qui peut accepter ou rejeter le papier.

Les éditeurs de la revue envoient généralement l'article à un petit groupe d'experts scientifiques indépendants. Sur la base de leurs critiques, les éditeurs décident si l'article doit être accepté ou rejeté. Les réviseurs et les éditeurs peuvent également suggérer des révisions avant que l'article ne soit accepté.

Lorsque l'article scientifique est enfin publié, d'autres chercheurs dans des domaines connexes peuvent commencer à citer l'article dans leurs propres travaux. Un nombre élevé de citations est souvent perçu comme une mesure de la qualité scientifique.

Le processus n'est pas juste bon

Vu de l'extérieur, ce processus semble très bien. Mais au cours des 10 ou 15 dernières années, le processus a commencé à s'effilocher. La qualité de la science est devenue moins importante, selon Chapman, Stenseth, et leurs co-auteurs. Au lieu, l'attention générale se concentre trop sur un petit ensemble d'indices faciles à mesurer :facteurs d'impact et indices h individuels, en plus du nombre de citations.

Il existe de nombreuses revues scientifiques, et une poignée d'entre eux sont si prestigieux que leurs noms sont connus du grand public. Les revues La nature , Science , et La Lancette sont parmi les plus célèbres. Si un jeune scientifique en sciences naturelles ou médicales peut publier un article dans l'une de ces revues, sa carrière peut recevoir un énorme coup de pouce.

Les revues les plus prestigieuses ont également des facteurs d'impact élevés, qui sont définis comme le nombre moyen de citations par article publié au cours des deux années précédentes. L'index h d'un chercheur individuel prend en compte les articles les plus cités du chercheur et le nombre de citations qu'il a reçues.

« Les scores de ces indices ont de grandes conséquences. Par exemple, dans certains pays et disciplines, la publication dans des revues avec des facteurs d'impact inférieurs à 5,0 est officiellement considérée comme sans valeur, " selon le Actes de la Société royale papier. Les auteurs soulignent également qu'il n'est pas rare d'entendre que les seuls articles qui comptent sont ceux des revues avec un facteur d'impact supérieur à une valeur arbitraire. Ou pire, que la publication dans des revues de niveau inférieur affaiblit les CV.

Même un défaut peut créer des citations

Un problème général est que les indices peuvent être manipulés d'une manière qui les rend presque sans valeur en tant que mesure de la réussite ou de la qualité scientifique. Le professeur Stenseth faisait partie d'un comité d'évaluation du Conseil européen de la recherche il y a une dizaine d'années, et il est toujours étonné de l'expérience.

« Nous avons discuté de l'utilisation d'indices et nous nous sommes rapidement séparés en deux groupes. À l'époque, il fallait faire beaucoup de travail manuel pour calculer le nombre de citations. Ceux d'entre nous qui n'ont pas considéré le nombre de citations comme très important et ont plutôt lu les articles eux-mêmes, " raconte le professeur Stenseth.

C'est devenu un tournant pour Stenseth, parce que les chercheurs sceptiques vis-à-vis des citations ont rapidement découvert que certains des articles les plus cités étaient des commentaires. Un commentaire ne contient généralement pas de nouvelles découvertes, bien sûr.

"Mais le pire, c'est que nous avons découvert que certains articles étaient très cités parce qu'ils avaient un défaut ! Beaucoup d'articles ont identifié l'erreur dans l'article, mais il était toujours répertorié comme une citation! C'est une des raisons pour lesquelles j'insiste sur le fait qu'un nombre élevé de citations n'est pas une preuve d'excellente qualité scientifique, " ajoute Stenseth.

le professeur Chapman à Washington, parler au professeur Stenseth à Oslo via Skype, confirme qu'il a vécu des expériences similaires.

"C'est ainsi que fonctionne le système. De telles observations peuvent sembler presque drôles, mais ils sont aussi terribles. Et triste, " commente Chapman.

Les indices comme mesures de substitution

Les auteurs du nouveau Actes de la Société royale papier ne sont pas seuls dans leur critique. La Déclaration de San Francisco sur l'évaluation de la recherche (DORA) est née d'une réunion de l'American Society for Cell Biology en 2012, et recommande que les facteurs d'impact des revues ne soient pas utilisés comme mesure de substitution d'un article de recherche individuel, évaluer la contribution d'un scientifique individuel, ni à l'embauche, décisions de promotion ou de financement. Une quinzaine, 000 individus et 1, 550 organisations dans le monde ont signé cette pétition, mais le changement est encore à venir.

"Même s'il existe une abondante littérature critiquant ces indices et leur utilisation, ils sont encore largement utilisés de manière importante et déterminante pour la carrière. Cela doit s'arrêter, " dit Colin Chapman.

La science est primordiale

Colin Chapman et Nils Chr. Stenseth souligne que la science et l'érudition sont primordiales dans une société moderne.

« C'est pourquoi nous nous sommes lancés dans cette entreprise ; pour découvrir de nouvelles choses. Mais qu'est-ce qui se passe à la place, est que nous continuons à être écrasés par le système. Le système dit que nous ne devrions pas nous soucier d'améliorer notre science, nous devrions plutôt nous soucier d'augmenter nos indices. Ce n'est pas une incitation à créer une excellente science, " insiste Chapman.

Le document contient une liste des jeux possibles que les universitaires peuvent jouer - et peuvent devoir jouer - afin d'améliorer leurs indices.

"L'un des jeux les plus courants est d'écrire un article avec une longue liste d'auteurs, comme une sorte de faveur. L'idée est que tu puisses être sur mon papier, même si vous n'avez pas vraiment contribué, alors peut-être que je peux être sur votre papier ensuite. Tu me grattes le dos, et je gratterai le tien, " explique Chapman.

Un autre jeu est que les chercheurs peuvent s'entendre pour se citer :« Je peux citer votre article si vous citez le mien. Les éditeurs ont même organisé des « cartels de citations » où il est recommandé aux auteurs de citer des articles d'autres revues du cartel.

"J'ai envoyé un article à une revue d'écologie appliquée il y a quelques années. L'article a été accepté, et l'éditeur nous a dit que nous devrions citer quatre ou cinq autres articles, tout de ce journal. Cela augmente bien sûr le facteur d'impact des revues, car cela augmente le nombre de citations d'articles dans cette revue. Cela a été le cas pour de nombreuses revues et est maintenant considéré comme une mauvaise pratique, " explique Stenseth.

Colin Chapman et Nils Chr. Stenseth a reçu pas mal de réactions favorables à son article.

"Un de mes collègues a écrit un blog, nous reprocher d'avoir écrit quelque chose qui pourrait être décourageant pour les jeunes scientifiques. Mais ce que nous essayions vraiment de faire, était de faire prendre conscience aux jeunes chercheurs qu'il s'agit d'un système défectueux qu'il convient de réparer, " Contre Chapman.

"Mon opinion est que les indices, et la façon dont ils sont utilisés, détourner l'attention de la science. Dans certains petits champs, qui par nécessité aura un indice très bas, il est presque impossible d'obtenir des citations très élevées même si la recherche est excellente et importante, " dit Stenseth.

"Au lieu, l'attention porte sur l'endroit où votre article a été publié, combien de citations il a généré, et le facteur d'impact de la revue, " il ajoute.

Les auteurs ont également des suggestions sur la façon d'améliorer le système.

"La réponse courte est que les universitaires devraient arrêter de regarder les indices et se remettre à lire les journaux, " dit Chapman. Mais les universitaires ne peuvent pas le faire seuls, si les conseils de recherche et autres organismes de financement continuent d'utiliser les indices comme base pour les décisions concernant le financement. Une façon simple d'améliorer le système est que les conseils de recherche ne devraient pas demander aux chercheurs le nombre de citations lorsqu'ils soumettent une proposition de recherche.

"Nous aimerions voir des changements dans les systèmes d'incitation, récompenser une recherche de qualité et garantir la transparence. Les professeurs principaux devraient établir les normes éthiques, les pratiques de mentorat et les critères d'évaluation institutionnels pour créer les changements nécessaires, " Chapman et Stenseth insistent tous les deux.

"Nous espérons déclencher une discussion qui façonnera l'avenir du monde universitaire et le fera évoluer dans une direction plus positive. Les scientifiques représentent certains des esprits les plus créatifs qui peuvent répondre aux besoins de la société. Il est maintenant temps de forger l'avenir que nous voulons, " concluent les 14 chercheurs qui ont rédigé l'article dans le Actes de la Société royale .