Wikipédia a permis à grande échelle, collaboration ouverte sur la plus grande ressource de référence générale d'Internet. Mais, comme pour de nombreux projets d'écriture collaborative, l'élaboration du contenu peut être un sujet controversé.

Souvent, plusieurs éditeurs de Wikipédia seront en désaccord sur certaines modifications apportées aux articles ou aux politiques. L'un des principaux moyens de résoudre officiellement de tels différends est le processus de demande de commentaires (RfC). Les rédacteurs en conflit publieront leur délibération sur un forum, où d'autres éditeurs de Wikipédia interviendront et un éditeur neutre prendra une décision finale.

Idéalement, cela devrait résoudre tous les problèmes. Mais une nouvelle étude menée par des chercheurs du MIT révèle que des facteurs débilitants, tels que des querelles excessives et des arguments mal formulés, ont conduit à ce qu'environ un tiers des RfC ne soient pas résolus.

Pour l'étude, les chercheurs ont compilé et analysé le tout premier ensemble de données complet de conversations RfC, capturé sur une période de huit ans, et mené des entretiens avec des éditeurs qui clôturent fréquemment des RfC, pour comprendre pourquoi ils ne trouvent pas de solution. Ils ont également développé un modèle d'apprentissage automatique qui exploite cet ensemble de données pour prédire quand les RfC peuvent devenir obsolètes. Et, ils recommandent des outils numériques qui pourraient rendre la délibération et la résolution plus efficaces.

"C'était surprenant de voir qu'un tiers des discussions n'étaient pas clos, " dit Amy X. Zhang, doctorant au Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT et co-auteur de l'article, qui est présenté à la conférence ACM de cette semaine sur le travail coopératif assisté par ordinateur et l'informatique sociale. « Sur Wikipédia, tout le monde est bénévole. Les gens se mettent au travail, et ils ont de l'intérêt… et les éditeurs peuvent attendre que quelqu'un ferme pour pouvoir reprendre le montage. Nous savons, en parcourant les discussions, le travail de lecture et de résolution d'une grande délibération est difficile, surtout avec des allers-retours et des contentieux. [Nous espérons] aider cette personne à faire ce travail."

Les co-auteurs de l'article sont :le premier auteur Jane Im, un étudiant diplômé de la School of Information de l'Université du Michigan; Christopher J. Schilling de la Fondation Wikimedia; et David Karger, professeur d'informatique et chercheur au CSAIL.

(Ne pas) trouver la fermeture

Wikipédia propose plusieurs canaux pour résoudre les litiges éditoriaux, qui impliquent deux éditeurs qui hachent leurs problèmes, soumettre les idées à un vote à la majorité simple de la communauté, ou porter le débat à un panel de modérateurs. Certaines recherches précédentes de Wikipédia ont exploré ces canaux et des "guerres d'édition" aller-retour entre les contributeurs. "Mais les RfC sont intéressants, parce qu'il y a beaucoup moins de mentalité de vote, " dit Zhang. "Avec d'autres processus, à la fin de la journée, vous votez et voyez ce qui se passe. [Les participants RfC] votent parfois, mais il s'agit plus de trouver un consensus. Ce qui est important, c'est ce qui se passe réellement dans une discussion."

Pour déposer une RfC, un éditeur rédige une proposition de modèle, basé sur un conflit de contenu qui n'a pas été résolu dans la page de "discussion" de base d'un article, et invite les commentaires de la communauté au sens large. Les propositions couvrent toute la gamme, des désaccords mineurs sur les informations de base d'une célébrité aux changements apportés aux politiques de Wikipédia. N'importe quel éditeur peut initier une RfC et n'importe quel éditeur—généralement, les plus expérimentés - qui n'ont pas participé à la discussion et sont considérés comme neutres, peut clore une discussion. Après 30 jours, un bot supprime automatiquement le modèle RfC, avec ou sans résolution. Les RfC peuvent se clôturer formellement avec une déclaration récapitulative du plus proche, officieusement en raison de l'accord écrasant des participants, ou être laissé vicié, sens supprimé sans résolution.

Pour leur étude, les chercheurs ont compilé une base de données composée d'environ 7, 000 conversations RfC de la Wikipédia anglophone de 2011 à 2017, qui comprenait des déclarations de clôture, informations sur le compte de l'auteur, et la structure de réponse générale. Ils ont également mené des entretiens avec 10 des proches les plus fréquents de Wikipédia pour mieux comprendre leurs motivations et leurs considérations lors de la résolution d'un différend.

Analyser le jeu de données, les chercheurs ont découvert qu'environ 57 pour cent des RfC étaient officiellement fermés. Sur les 43 pour cent restants, 78 pour cent (ou environ 2, 300) sont restés obsolètes sans résolution informelle - ou, environ 33 pour cent de tous les RfC étudiés. Combinant l'analyse des ensembles de données avec les entretiens, les chercheurs ont ensuite étoffé les principales causes d'échec de résolution. Les principaux problèmes comprennent des arguments initiaux mal articulés, lorsque l'initiateur n'est pas clair sur le problème ou rédige une proposition délibérément biaisée ; des querelles excessives lors de discussions qui conduisent à des choses plus compliquées, plus long, des fils argumentatifs difficiles à examiner en détail ; et le simple manque d'intérêt des éditeurs tiers car les sujets peuvent être trop ésotériques, entre autres facteurs.

Outils utiles

L'équipe a ensuite développé un modèle d'apprentissage automatique pour prédire si un RfC donné fermerait (formellement ou officieusement) ou deviendrait obsolète, en analysant plus de 60 caractéristiques du texte, page Wikipédia, et les informations du compte de l'éditeur. Le modèle a atteint une précision de 75 pour cent pour prédire l'échec ou le succès dans la semaine suivant le début de la discussion. Quelques fonctionnalités plus informatives pour la prédiction, ils ont trouvé, inclure la durée de la discussion, nombre de participants et de réponses, nombre de révisions de l'article, popularité et intérêt pour le sujet, l'expérience des participants à la discussion, et le niveau de vulgarité, négativité, et l'agressivité générale dans les commentaires.

Le modèle pourrait un jour être utilisé par les initiateurs du RfC pour surveiller une discussion au fur et à mesure qu'elle se déroule. « Nous pensons qu'il pourrait être utile pour les éditeurs de savoir comment cibler leurs interventions, ", dit Zhang. "Ils pourraient publier [la RfC] sur plus de [forums Wikipédia] ou inviter plus de personnes, s'il semble que cela risque de ne pas être résolu."

Les chercheurs suggèrent que Wikipedia pourrait développer des outils pour aider les plus proches à organiser de longues discussions, signaler les arguments convaincants et les changements d'opinion au sein d'un fil, et encourager la clôture collaborative des RfC.

À l'avenir, le modèle et les outils proposés pourraient potentiellement être utilisés pour d'autres plateformes communautaires impliquant des discussions et des délibérations à grande échelle. Zhang pointe vers les forums en ligne de planification urbaine et communautaire, où les citoyens s'expriment sur les propositions. « Les gens discutent [des propositions] et votent dessus, les outils peuvent donc aider les communautés à mieux comprendre les discussions… et seraient [également] utiles pour les personnes chargées de la mise en œuvre des propositions. »

Zhang, Je suis, et d'autres chercheurs ont maintenant créé un site Web externe pour que les rédacteurs de tous les niveaux d'expertise se réunissent pour apprendre les uns des autres, et suivre et clore plus facilement les discussions. "Le travail de rapprochement est assez difficile, " Zhang dit, "il y a donc une pénurie de personnes qui cherchent à clore ces discussions, particulièrement difficile, plus long, et plus conséquentes. Cela pourrait aider à réduire la barrière à l'entrée [pour que les éditeurs deviennent plus proches] et les aider à collaborer pour fermer les RfC."

« S'il est surprenant qu'un tiers de ces discussions n'aient jamais été résolues, [ce qui est plus] important sont les raisons pour lesquelles les discussions ne parviennent pas à la clôture, et les conclusions les plus intéressantes ici proviennent des analyses qualitatives, " dit Robert Kraut, professeur émérite d'interactions homme-machine à l'Université Carnegie Melon. "Certaines conclusions [de l'étude] transcendent Wikipédia et peuvent s'appliquer à de nombreuses discussions dans d'autres contextes." Plus de travail, il ajoute, pourrait être fait pour améliorer la précision du modèle d'apprentissage automatique afin de fournir des informations plus exploitables à Wikipedia.

L'étude met en lumière la façon dont certains processus RfC « s'écartent des normes établies, conduisant à des inefficacités et des biais, " dit Dario Taraborelli, directeur de recherche à la Fondation Wikimedia. « Les résultats indiquent que l'expérience des participants et la durée d'une discussion sont fortement prédictives de la fermeture rapide d'un RfC. Cela apporte de nouvelles preuves empiriques à la question de savoir comment rendre les discussions liées à la gouvernance plus accessibles aux nouveaux arrivants et aux membres sous-représentés. groupes."

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.