Graphique conversationnel obtenu en considérant une période de temps précédant l'abus. Crédit :Papegnies et al.
Une équipe de chercheurs de l'Université d'Avignon a récemment développé un système de détection automatique des abus dans les communautés en ligne. Ce système, présenté dans un article pré-publié sur arXiv, s'est avéré surpasser les approches existantes pour détecter les abus et modérer le contenu généré par les utilisateurs.
« Les communautés en ligne en constante évolution offrent la possibilité de diffuser des idées via Internet, garantir un certain anonymat aux utilisateurs, " les chercheurs ont déclaré à TechXplore, par email. "Toutefois, ces espaces ont souvent des utilisateurs affichant un comportement abusif. Pour les dirigeants communautaires, il est important de modérer ces actes malveillants, ne pas le faire pourrait empoisonner la communauté, déclencher l'exode des utilisateurs et exposer les administrateurs à des problèmes juridiques."
La modération du contenu généré par les utilisateurs en ligne est généralement effectuée manuellement par des humains ; Par conséquent, cela peut être à la fois coûteux et chronophage. Pour réduire les coûts, les chercheurs ont essayé de développer des outils de modération de contenu entièrement automatisés qui pourraient soit remplacer, soit aider les modérateurs humains.
"Dans ce travail, nous formulons la tâche de modération du contenu comme un problème de classification, et appliquer notre méthode à un corpus de messages échangés par les joueurs d'un MMORPG, un jeu de rôle en ligne massivement multijoueur, ", ont déclaré les chercheurs.
Dans un premier temps, les chercheurs ont extrait les réseaux conversationnels des journaux de discussion bruts représentant les conversations dans lesquelles chaque message abusif a été envoyé, et les caractérise à l'aide de mesures topologiques. Ils ont utilisé leurs résultats comme fonctionnalités, former un classificateur pour détecter les abus sur les plateformes en ligne.
Le graphique conversationnel obtenu en considérant une période de temps après l'abus. Crédit :Papegnies et al.
Lors de l'extraction des réseaux conversationnels, les chercheurs ont suivi une méthode en trois étapes. D'abord, ils ont identifié le sous-ensemble de messages qu'ils utiliseraient pour extraire le réseau. Puis, ils ont sélectionné un sous-ensemble d'utilisateurs qui étaient les destinataires probables de chaque message. Finalement, ils ont ajouté des arêtes et révisé leurs pondérations en fonction de ces récepteurs de messages potentiels.
« Les méthodes existantes de détection automatique des messages abusifs se concentrent sur le contenu textuel des messages échangés, qui soulève de nombreux problèmes :problèmes spécifiques à la langue, erreurs de syntaxe, fautes d'orthographe, obscurcissement, et d'autres, " les chercheurs ont expliqué. " Au contraire, nous utilisons uniquement la présence/absence d'interactions entre utilisateurs, c'est-à-dire le fait qu'ils échangent des messages (ou pas), par opposition à la nature des messages échangés. Ignorer le contenu nous a permis de résoudre ces problèmes."
Essentiellement, les chercheurs ont modélisé les conversations en ligne à l'aide d'un graphique dans lequel les nœuds représentent les utilisateurs et les liens représentent les échanges de messages. En utilisant des mesures spécifiques au graphique, ils ont pu observer des différences dans la façon dont les conversations sont structurées selon qu'elles contiennent ou non des messages injurieux. Ces différences ont ensuite été utilisées pour former un classificateur à détecter les abus dans les conversations entre utilisateurs.
Graphique conversationnel obtenu en considérant toute la période de temps (c'est-à-dire avant et après l'abus). Crédit :Papegnies et al.
"Notre premier effort, présenté dans un article précédent, reposait sur l'approche traditionnelle, c'est à dire., il utilisait le contenu textuel des messages, " expliquent les chercheurs. " Lorsque nous avons proposé cette méthode basée sur des graphes, nous ne nous attendions pas à ce que cela fonctionne aussi bien; nous pensions même que cela entraînerait des performances inférieures par rapport à la méthode basée sur le contenu. Nous avons été très surpris d'obtenir des résultats nettement meilleurs. C'est la conclusion la plus significative de notre étude :au moins pour cette tâche spécifique, la structure de la conversation est plus discriminante que la nature du contenu échangé."
Crédit :Papegnies et al.
Crédit :Papegnies et al.
Les chercheurs ont testé leur système sur un ensemble de données de commentaires d'utilisateurs d'un jeu MMORPG français et ont constaté qu'il surpassait les approches existantes, avec une F-mesure de 83,89 lors de l'utilisation de l'ensemble complet de fonctionnalités. En réduisant l'ensemble des fonctionnalités et en ne conservant que les fonctionnalités les plus discriminantes, ils ont pu réduire considérablement le temps de calcul, tout en conservant d'excellentes performances. À l'avenir, leur approche basée sur des graphes pourrait également être appliquée à d'autres tâches de classification de messages, comme la détection de trolls en ligne.
"Nous allons maintenant essayer de fusionner les deux approches (contenu et graphique), afin de vérifier s'ils profitent d'informations similaires, auquel cas les résultats seraient similaires, ou s'ils s'appuient sur des informations complémentaires, dans quel cas, les combiner devrait conduire à des améliorations des performances, " les chercheurs ont ajouté. " Ensuite, nous souhaitons évoluer vers une méthode plus automatisée pour caractériser nos graphes conversationnels, appelés plongements de graphe. Il s'agit d'une méthode basée sur l'apprentissage profond qui consiste à entraîner un réseau de neurones pour obtenir une représentation efficace des graphes. Par comparaison, nous effectuons actuellement cette partie du travail manuellement, via une tâche appelée sélection de fonctionnalités."
© 2019 Réseau Science X
