Ben Merriman a connu tous les aspects de l'édition académique en tant qu'auteur, rédacteur en chef et examinateur de la revue. Cette expérience, couplé à ses recherches sur le rôle des structures administratives dans la résolution des conflits politiques, a conduit le professeur assistant des affaires publiques et de l'administration de l'Université du Kansas à explorer l'histoire de l'examen par les pairs en sciences sociales dans une étude pour Le sociologue américain. L'étude de Merriman explore l'émergence historique d'éléments majeurs de la revue éditoriale par les pairs, ses problèmes et frustrations inhérents, et comment un modèle de publication plus polyvalent pourrait résoudre bon nombre de ces problèmes.

Dans son étude, Merriman a analysé les rapports annuels écrits des éditeurs de revues de l'American Sociological Association, qui a commencé en 1952. Ces rapports décrivent les efforts déployés pour gérer le processus de publication et comment ils ont conduit à la mise en œuvre d'une grande partie du modèle actuel d'évaluation par les pairs au début des années 80. Le processus d'examen à l'aveugle, examen externe, soumission exclusive à une revue, réviser et soumettre à nouveau tous ont été adoptés sur une période de 30 ans de la plupart des changements imprévus documentés dans les rapports éditoriaux annuels. Rédacteurs de revues, qui ont à l'origine guidé le contenu et le fonctionnement de leurs publications, a demandé de l'aide pour revoir de grandes charges de travail et est finalement arrivé à un travail très différent.

« Le rôle de rédacteur semble avoir évolué vers le travail de gestion des relecteurs, au lieu de superviser le contenu, " a déclaré Merriman. " Il existe plusieurs manières de gérer le problème du contenu à publier. Le moyen le plus courant est de restreindre la quantité de choses à revoir."

Dans l'étude, Merriman compare le modèle d'édition académique à ceux de l'édition de livres littéraires et savants, édition de périodiques littéraires, accorder une évaluation par les pairs et d'autres modèles d'édition de revues savantes.

"Par rapport à ces alternatives, le succès de la revue éditoriale par les pairs dans l'identification des travaux exceptionnels est ouvert au débat, et c'est sans aucun doute une méthode d'évaluation particulièrement inefficace en termes de main-d'œuvre, " il a écrit.

Le processus d'examen prend souvent plus d'un an entre la soumission et la publication et souvent plus longtemps. Cela peut être un problème pour les jeunes auteurs qui terminent un doctorat et qui espèrent décrocher un emploi, qui peut dépendre d'une bonne publication au nom du candidat. Cela peut également être un obstacle pour les jeunes chercheurs qui avancent dans leur carrière dans laquelle les publications sont un accomplissement essentiel. Les tentatives visant à accélérer le processus ont également conduit à un nombre croissant de rejets de soumissions sans examen, connu sous le nom de rejets de bureau. Les éditeurs peuvent rejeter un article pour n'importe quelle raison, et le processus d'examen peut conduire au rejet d'idées qui ne correspondent pas aux idées dominantes dans les sciences sociales, étouffant parfois les désaccords et les débats et rendant un travail par ailleurs de bonne qualité non publiable, dit Merriman.

"Je pense qu'il y a un conservatisme non idéologique dans le processus d'examen qui décourage les désaccords. De plus, ça s'appelle l'examen par les pairs, mais les personnes chargées de la relecture sont souvent sur le terrain depuis plus longtemps que l'auteur et sont plus établies. Il y a eu des recherches de niveau Nobel qui ont également été rejetées. Je pense que le désaccord peut être très sain pour un domaine, " il a dit.

Alors que Merriman a déclaré que le processus a plusieurs autres problèmes, y compris l'inefficacité du travail, les longs délais de publication des résultats, difficulté à détecter la fraude et à prévoir l'impact du travail, Merriman souligne qu'il a également plusieurs mérites, telles que la garantie de la solidité fondamentale de la recherche. Et contrairement à d'autres modèles, l'examen par les pairs moderne permet à presque tout le monde de voir son travail considéré sans égard au statut ou à la renommée.

"Il existe des preuves solides que l'examen à l'aveugle protège, au moins en partie, contre certains des plus gros problèmes, comme les préjugés sexistes, par exemple, " a dit Merriman. " Mais vous pouvez avoir un examen à l'aveugle sans le vaste, long processus que nous avons maintenant. Ce modèle de base fait beaucoup de choses assez bien. Cela a définitivement amélioré mon travail. Il y a quelque chose moralement avec lequel je suis d'accord aussi. Mais ce serait sain s'il y avait une plus grande variété de méthodes d'examen."

Les problèmes posés par le modèle de publication actuel en sciences sociales pourraient être largement résolus par des moyens plus robustes et plus variés de publier les résultats, Merriman a écrit. Permettre aux gens d'argumenter de bonne foi et de présenter rapidement des conclusions serait avantageux, et les erreurs découvertes pourraient être corrigées plus tard. En outre, permettre aux versions des auteurs d'articles d'apparaître en ligne avant, ou concurremment avec des versions revues, permet à plus d'idées d'être largement partagées. Il plaide également pour que les revues en libre accès soient élargies pour démocratiser le savoir en opposition à la privatisation de la recherche.

Par dessus tout, l'adoption d'approches plus éditoriales dans l'édition universitaire en sciences sociales pourrait résoudre bon nombre des problèmes actuels tout en conservant ce que le processus réussit, dit Merriman. Alors que l'examen par les pairs en double aveugle est justifié comme une méthode de production de connaissances, comprendre qu'il s'agit d'un développement récent et non d'un étalon-or séculaire peut aider à faire émerger de nouvelles idées pour le partage de l'érudition.

"Je pense qu'il est facile de s'habituer à l'idée d'être fréquemment évalué sans se demander si c'est vraiment la meilleure méthode, ou pourquoi c'est arrivé, " a déclaré Merriman. " Connaître les accidents historiques pourrait montrer clairement que cette méthode n'est pas inévitable. Il y a des parties qui valent la peine d'être défendues, et je pense qu'au moins avoir plus d'approches éditoriales pourrait aider. Le monde universitaire est plein de gens intelligents qui, j'en suis sûr, ont d'excellentes idées sur la façon de partager leurs connaissances avec le monde."