Trop souvent en économie, où vous publiez peut être plus important que ce que vous publiez.

C'est la théorie explorée dans une nouvelle étude co-écrite par l'économiste lauréat du prix Nobel James J. Heckman et Sidharth Moktan, un chercheur prédoctoral au Center for the Economics of Human Development. Les chercheurs de l'Université de Chicago ont découvert que les comités de titularisation et de prix fondent souvent leurs décisions sur la fréquence à laquelle les candidats publient dans les « cinq meilleurs » journaux du domaine. Cette pratique ne concentre pas seulement l'avancement de carrière entre les mains d'un groupe sélectionné d'éditeurs - dont beaucoup sont de longue date - mais le fait au détriment de la recherche économique innovante.

« Se fier au nombre de publications dans les revues les mieux classées encourage le carriérisme grossier chez les jeunes économistes, " Heckman a déclaré. "Cela détourne leur attention de la recherche fondamentale vers des stratégies flagrantes sur les lignes de recherche et les sujets préférés des éditeurs de revues avec de longs mandats.

« Se fier aux classements plutôt qu'à la lecture pour promouvoir et récompenser les jeunes économistes corrompt le processus essentiel d'évaluation et de récompense des recherches originales révolutionnaires. »

Le « cinq premiers » fait référence aux principales revues économiques les plus cruciales pour la réussite académique et professionnelle des jeunes universitaires : Revue économique américaine , économétrie, les Revue d'économie politique , Les Revue trimestrielle d'économie et La Revue des Etudes Economiques . Ces revues sont choisies par un processus qui évalue le nombre de citations de tous les articles de la revue; en d'autres termes, il juge un papier par la compagnie qu'il tient.

Le document de travail de Heckman et Moktan, publié le 1er octobre au National Bureau of Economic Research, ont constaté que les universitaires qui ont écrit un article « cinq » sont 90 % plus susceptibles d'être titularisés au cours d'une année donnée. Ces chiffres montent à 260 % ​​pour deux de ces articles et à 370 % pour trois.

"Les universitaires juniors et seniors mentionnent souvent les cinq premiers lorsqu'ils évaluent quelqu'un, " dit Moktan. " Même si c'est dans une conversation informelle, ils diront, 'Oh, combien de « cinq premiers » ont-ils ?" »

Mesurer le rôle du biais

Écrire pour un « top cinq » des revues implique plus que de produire le meilleur travail de recherche possible, selon Heckman et Moktan. Leur étude soutient que pour optimiser les chances de placement, les universitaires sont incités à adapter leur travail aux éditeurs individuels - qui, consciemment ou non, sont guidés par leurs propres préjugés.

En plus de suivre les taux d'occupation, L'étude de Heckman et Moktan suit l'affiliation de l'auteur dans les « cinq principales » revues de 2000 à 2016. Par exemple, Heckman siège au comité de rédaction du Revue d'économie politique , qui est publié par l'University of Chicago Press. Peut-être sans surprise, il a tiré 14,3 pour cent de ses articles dans la période susmentionnée d'auteurs liés à l'Université de Chicago. Les Revue trimestrielle d'économie , qui est édité au Département d'économie de l'Université Harvard, a tiré près d'un quart de ses articles (24,7 %) de ses propres affiliés, ainsi qu'un autre 13,9% de ses articles provenant des filiales du Massachusetts Institute of Technology.

En revanche, les Revue des Etudes Economiques , qui a un taux de rotation plus élevé sur son comité de rédaction, a des liens beaucoup plus faibles avec les universités individuelles. De 2000-16, la publication était plus fortement liée aux affiliés de l'Université de New York et de l'Université Northwestern, dont il a tiré 7,3 pour cent et 7,0 pour cent des articles.

L'étendue du problème s'élargit lorsque les universités utilisent les « cinq meilleures » revues pour déterminer la titularisation. Il ne s'agit plus simplement de savoir qui est publié dans certaines revues, les auteurs prétendent; plutôt, les défauts du processus éditorial sont amplifiés en obstacles de carrière, qu'il peut être difficile pour les étrangers de surmonter sans liens avec les « cinq meilleurs » éditeurs et les arbitres qu'ils sélectionnent.

Les "cinq premiers" ne détiennent pas non plus le monopole d'un travail de qualité. Selon Heckman et Moktan, certains des travaux les plus influents en économie sont publiés par d'autres revues. Bien que les "cinq premiers" articles produisent plus de citations en moyenne, ces chiffres sont faussés par des valeurs aberrantes. De plus, les universitaires chevronnés qui comptent sur les « cinq meilleurs » pour juger leurs collègues ne publient souvent pas eux-mêmes dans ces revues une fois qu'ils sont en poste. S'appuyant sur les revues, Heckman a dit, inculque la prudence plutôt que la créativité aux jeunes universitaires soucieux d'obtenir leur titularisation.

Les "cinq meilleures" revues incitent les chercheurs à se concentrer sur le travail de suivi et de réplication - une recherche facile à évaluer pour une publication immédiate, mais qui ne fait pas avancer les frontières de la science économique. Souvent, les types de projets innovants qui remettraient en cause les idées acceptées sont trop longs ou trop gourmands en données pour s'adapter au format des « cinq » revues.

« La recherche est intrinsèquement risquée, parce que vous essayez de trouver des réponses à des questions qui n'ont pas été résolues, " dit Moktan. "Parfois, les réponses ne sont pas passionnantes. Mais les évaluations sérieuses exigent que les universitaires chevronnés lisent les articles et les comprennent, et pourquoi cette ligne de recherche est importante. »

Solutions potentielles

Heckman et Moktan suggèrent que les comités de titularisation consacrent plus de ressources à la lecture attentive des articles publiés et non publiés, plutôt que de se fier à la réputation de la revue comme substitut à une lecture attentive. Cette méthode pourrait inciter chaque institution à poursuivre des recherches plus non conventionnelles au lieu de s'appuyer sur des articles acheminés par le biais des «cinq premières» publications. L'élargissement du pool de publications influentes au-delà de cinq revues pourrait également améliorer le problème.

Ils suggèrent également une solution plus radicale :s'éloigner des revues conventionnelles au profit de formats open source tels que arXIV et PLOS UN , qui sont utilisés dans les sciences dures. Un tel changement offrirait aux universitaires la possibilité de partager leurs idées plus tôt et d'obtenir un examen par les pairs en temps réel, une approche qui pourrait être plus accueillante pour les idées originales.

« Le système actuel de publication et de récompense n'encourage pas la créativité, " Heckman a déclaré. "Cela retarde la publication et la diffusion de nouvelles idées. Il centralise le pouvoir entre les mains d'un petit groupe d'éditeurs, empêche la discussion ouverte et étouffe la dissidence et le débat. Il faut le changer."