Harcèlement en ligne, la haine et l'incitation sont en hausse, et de nouvelles approches sont nécessaires pour y faire face. Alors que le Sénat australien tient des audiences pour son enquête sur la cyberintimidation, il devrait envisager une approche à deux volets pour lutter contre le problème.

D'abord, le gouvernement devrait suivre l'exemple de l'Allemagne en imposant des sanctions financières aux grandes sociétés de médias sociaux si elles ne parviennent pas à réduire le volume de contenu abusif sur leurs plateformes.

Seconde, nous devons développer des moyens d'identifier et de mesurer correctement la quantité de contenu abusif publié et supprimé pour garantir que les entreprises s'y conforment.

Compte tenu du volume de données sur les réseaux sociaux, l'intelligence artificielle (IA) doit faire partie du mélange pour soutenir la réglementation, mais nous avons besoin d'une appréciation de ses limites.

L'impact sur les victimes

En 2015, L'avocat australien Josh Bornstein a été victime de graves abus en ligne aux mains d'un homme aux États-Unis, qui s'est fait passer pour Bornstein et a publié un article raciste en ligne en son nom. Bornstein s'est par la suite retrouvé à la merci d'un barrage de haine du monde entier.

L'incident a été très pénible pour Bornstein, mais la cyberhaine peut aussi avoir des conséquences pour la société dans son ensemble. Agissant sous couvert d'anonymat, le même homme a utilisé une autre fausse identité pour se faire passer pour un partisan de l'EI appelant à des attaques terroristes en Australie et dans d'autres pays occidentaux. En décembre, il a été condamné aux États-Unis pour des accusations de terrorisme.

Bornstein appelle maintenant à la fois à la réglementation des sociétés de médias sociaux par les gouvernements et à des recours juridiques pour permettre aux victimes d'agir.

L'Allemagne comme modèle de régulation

Une nouvelle législation récemment introduite en Allemagne oblige les entreprises à supprimer les cas manifestes de discours de haine dans les 24 heures.

En réponse, Facebook a employé 1, 200 employés et sous-traitants pour traiter plus efficacement les signalements d'abus par les utilisateurs allemands. Si l'entreprise ne supprime pas la majorité de ce contenu dans le délai de 24 heures, les régulateurs peuvent imposer des amendes allant jusqu'à 50 millions d'euros (79 millions de dollars australiens).

Ces lois ne sont pas parfaites - quelques mois après leur entrée en vigueur, L'Allemagne envisage déjà des changements pour éviter que la prudence excessive des sociétés de médias sociaux n'ait un effet dissuasif sur la liberté d'expression. Mais l'approche allemande nous donne une fenêtre sur ce à quoi ressemble une réponse forte de l'État à la cyberintimidation.

Ce n'est que le début d'un nouveau monde de réglementation technologique. Les lois sur la cyberintimidation ne peuvent pas être appliquées si nous ne savons pas combien d'abus sont publiés en ligne, et combien de plates-formes d'abus suppriment. Nous avons besoin d'outils pour soutenir cela.

Utiliser l'intelligence artificielle

À l'Institut de prévention de la haine en ligne (OHPI), nous avons passé les six dernières années à traiter des cas spécifiques – dont celui de Bornstein – et à travailler sur le problème de la mesure en utilisant des approches de crowdsourcing et d'intelligence artificielle de classe mondiale.

D'autres envisagent également l'identification et la mesure comme la prochaine étape. Le système de surveillance informatique de l'antisémitisme (ACMS) - un nouvel outil pour surveiller l'antisémitisme sur les réseaux sociaux - est en cours de développement par le ministère israélien des Affaires de la diaspora depuis octobre 2016. Il sera lancé lors du Forum mondial 2018 de lutte contre l'antisémitisme à Jérusalem plus tard ce mois-ci.

L'outil utilise l'analyse de texte - une forme d'intelligence artificielle - et fonctionne en recherchant des mots sur les sites de médias sociaux, expressions et symboles qui ont été identifiés comme indicateurs d'un éventuel contenu antisémite. L'outil examine ensuite le contenu et génère des graphiques interactifs.

Des approches similaires ont été utilisées par le Congrès juif mondial et par le projet Conversation AI de Google, mais l'approche a une efficacité limitée, en particulier lorsqu'il est appliqué à de grands sites de médias sociaux.

Les données d'un essai d'un mois d'ACMS ont été publiées avant le lancement du système. Alors que le logiciel est présenté comme une avancée majeure dans la lutte contre la cyberhaine, les données elles-mêmes mettent en évidence de sérieuses limitations méthodologiques et technologiques, ce qui en fait davantage une distraction.

Limites de la technologie

L'une des limites de l'ACMS est de détecter les abus utilisant le langage codé, symboles et euphémismes de plus en plus privilégiés par l'extrême droite.

Un autre est qu'ACMS ne surveille que le contenu de Facebook et Twitter. Youtube, qui représentait 41 % de l'antisémitisme en ligne identifié dans un précédent rapport, n'est pas inclu. Le système automatisé ne surveille également que le contenu en anglais, Arabe, français et allemand.

Ce qui est plus préoccupant, c'est l'affirmation du ministère selon laquelle les villes qui produisent le plus grand volume de contenu raciste sont Santiago (Chili), Dnipro (Ukraine), et Bucarest (Roumanie). Ces villes ont des langues principales pour lesquelles le logiciel n'est pas programmé, pourtant, ils ont en quelque sorte surpassé les villes dont le logiciel traite les langues principales.

L'Australie est particulièrement préoccupée par un graphique intitulé Lieux d'intérêt :niveau d'antisémitisme par emplacement qui montre Brisbane comme la ville anglophone la mieux classée. Ce résultat a été expliqué par une clarification ultérieure suggérant que le nombre est une fusion de goûts mondiaux, partages et retweets qui interagissent avec du contenu publié à l'origine depuis Brisbane. Les données sont donc soumises à un grand degré d'aléatoire en fonction du contenu qui devient viral.

Les avocats et les data scientists doivent travailler ensemble

Il y a une place pour les outils de détection basés sur l'IA, mais leurs limites doivent être comprises. L'analyse de texte peut identifier des sous-ensembles spécifiques de la haine en ligne, comme les croix gammées ; langue liée à Hitler, nazis, chambres à gaz et fours; et les thèmes antisémites qui sont prédominants parmi certains groupes d'extrême droite. Mais ils ne sont pas une solution miracle.

Au-delà de l'identification, nous avons besoin à la fois d'avocats et de data scientists pour éclairer notre approche de la régulation des espaces en ligne. Les nouveaux outils d'intelligence artificielle doivent être comparés à d'autres approches, telles que les données de crowdsourcing du public. Et les experts doivent vérifier l'exactitude des données. Nous devons tirer parti des nouvelles technologies pour soutenir les régimes de réglementation, tout en évitant une forme de robo-censure ratée semblable aux problèmes de robo-dette qui ont affligé Centrelink.

L'Enquête sur la cyberintimidation est une étape importante, tant qu'il facilite les solutions de demain, pas seulement les problèmes d'aujourd'hui.

Cet article a été initialement publié sur The Conversation. Lire l'article original.