De nouveaux outils qui pourraient être utilisés pour détecter et contrer automatiquement les abus sur les réseaux sociaux, sont développés par des chercheurs de l'Université de Sheffield.

La recherche, dirigé par le professeur Kalina Bontcheva du Département d'informatique de l'Université, développe de nouvelles méthodes d'intelligence artificielle (IA) et de traitement du langage naturel (NLP) qui pourraient être utilisées pour lutter de manière responsable contre les abus et les discours de haine en ligne.

Lancé en collaboration avec Wendy Hui Kyong Chun de l'Université Simon Fraser au Canada, le projet examine les méthodes d'IA actuellement utilisées pour détecter les abus en ligne et les discours de haine dans deux domaines ; l'industrie du jeu et les messages adressés aux politiciens sur les réseaux sociaux.

Les chercheurs de l'étude ont l'intention d'utiliser leurs découvertes pour développer de nouveaux algorithmes d'IA efficaces, juste et impartial. Les systèmes seront sensibles au contexte et respectueux des différences linguistiques au sein des communautés en fonction de la race, ethnie, genre et sexualité.

Les chercheurs examineront les biais inhérents aux systèmes actuels de modération de contenu qui utilisent souvent des définitions ou des déterminations rigides du langage abusif. Ces systèmes actuels créent souvent paradoxalement de nouvelles formes de discrimination ou de préjugés fondés sur l'identité, y compris le sexe, genre, ethnie, culture, religion, affiliation politique ou autres.

L'équipe de recherche vise à remédier à ces effets en produisant davantage de données contextuelles, systèmes dynamiques de détection.

Par ailleurs, le projet cherche à responsabiliser les utilisateurs en rendant les nouveaux outils open source, afin qu'ils puissent être intégrés dans de nouvelles stratégies pour lutter démocratiquement contre les abus et les discours de haine en ligne. Ils pourraient également être utilisés dans le cadre de mesures de soins et d'intervention à base communautaire.

Le professeur Kalina Bontcheva a déclaré :« Il y a eu une énorme augmentation du niveau d'abus et de discours de haine en ligne ces dernières années et cela a laissé les gouvernements et les plateformes de médias sociaux du mal à faire face aux conséquences.

"Cette augmentation importante des abus et des discours de haine en ligne a suscité l'indignation du public, les gens exigeant que les gouvernements et les sociétés de médias sociaux fassent davantage pour s'attaquer au problème, mais il n'existe actuellement aucun processus efficace ou technique qui puisse s'attaquer au problème de manière responsable ou démocratique.

« Nous développons de nouvelles méthodes d'IA et de PNL pour résoudre le problème tout en développant un programme de formation substantiel pour les universitaires et les chercheurs en début de carrière afin de renforcer les capacités et l'expertise dans ce domaine clé de la recherche. »

Le projet, IA responsable pour l'inclusif, Sociétés démocratiques :une approche interdisciplinaire pour détecter et contrer le langage abusif en ligne, est dirigé par l'Université de Sheffield en collaboration avec l'Université Simon Fraser. Il est financé par UK Research and Innovation (UKRI) comme l'un des 10 projets UK-Canada pour soutenir le développement responsable de l'IA, y compris en s'assurant que tous les membres de la société font confiance à l'IA et en bénéficient.