L'attaque meurtrière de deux mosquées à Christchurch, Nouvelle-Zélande, au cours de laquelle 50 personnes ont été tuées et de nombreuses autres grièvement blessées, a été diffusé en direct sur Facebook par l'homme accusé de l'avoir exécuté. Il a ensuite été rapidement partagé sur les plateformes de médias sociaux.

Les versions de la vidéo d'attaque en direct sont restées en ligne pendant une durée inquiétante. Un rapport du Guardian a révélé qu'une vidéo est restée sur Facebook pendant six heures et une autre sur YouTube pendant trois heures. Pour beaucoup, la diffusion rapide et apparemment imparable de cette vidéo caractérise tout ce qui ne va pas avec les médias sociaux :toxique, contenu haineux qui devient viral et est vu par des millions de personnes.

Mais il faut éviter de faire des boucs émissaires les grandes plateformes. Tous (Twitter, Facebook, Youtube, Google, Snapchat) sont inscrits au programme #NoPlace4Hate de la Commission européenne. Ils s'engagent à supprimer les contenus haineux illégaux dans les 24 heures, une période qui est susceptible de descendre à seulement une heure.

A part tout le reste, ils sont conscients des risques de réputation d'être associés au terrorisme et à d'autres contenus préjudiciables (tels que la pornographie, suicide, pédophilie) et consacrent de plus en plus de ressources considérables à sa suppression. Dans les 24 heures suivant l'attaque de Christchurch, Facebook avait interdit le téléchargement de 1,5 million de versions de la vidéo d'attaque, dont 1,2 million ne pouvaient plus être téléchargées.

La surveillance du contenu haineux est toujours difficile et même les systèmes les plus avancés en manquent accidentellement. Mais lors d'attaques terroristes, les grandes plates-formes sont confrontées à des défis particulièrement importants. Comme la recherche l'a montré, les attaques terroristes précipitent d'énormes pics de haine en ligne, débordement des systèmes de reporting des plateformes. De nombreuses personnes qui téléchargent et partagent ce contenu savent également comment tromper les plateformes et contourner leurs contrôles existants.

Alors, que peuvent faire les plateformes pour supprimer les contenus extrémistes et haineux immédiatement après des attaques terroristes ? Je propose quatre mesures spéciales qui sont nécessaires pour cibler spécifiquement l'afflux de haine à court terme.

1. Ajustez la sensibilité des outils de détection de haine

Tous les outils de détection de haine ont une marge d'erreur. Les concepteurs doivent décider du nombre de faux négatifs et de faux positifs dont ils sont satisfaits. Les faux négatifs sont des morceaux de contenu qui sont autorisés en ligne même s'ils sont haineux et les faux positifs sont des morceaux de contenu qui sont bloqués même s'ils ne sont pas haineux. Il y a toujours un compromis entre les deux lors de la mise en œuvre d'un système de détection de haine.

La seule façon de vraiment s'assurer qu'aucun contenu haineux ne soit mis en ligne est d'interdire le téléchargement de tout contenu - mais ce serait une erreur. Il vaut bien mieux ajuster la sensibilité des algorithmes afin que les gens soient autorisés à partager du contenu, mais que les plateformes captent beaucoup plus de choses haineuses.

2. Permettre des retraits plus faciles

Contenu haineux qui arrive sur les grandes plateformes, comme Twitter et Facebook, peuvent être signalés par les utilisateurs. Il est ensuite envoyé pour révision manuelle par un modérateur de contenu, qui le vérifie à l'aide de directives prédéfinies. La modération de contenu est un métier fondamentalement difficile, et les plateformes visent à minimiser les avis inexacts. C'est souvent en utilisant le « bâton » :selon certains journalistes d'investigation, les modérateurs travaillant pour le compte de Facebook risquent de perdre leur emploi à moins qu'ils ne maintiennent des scores de précision de modération élevés.

Lors des attaques, les plates-formes pourraient introduire des procédures spéciales afin que le personnel puisse rapidement travailler sur le contenu sans craindre une évaluation de faible performance. Ils pourraient également introduire des quarantaines temporaires afin que le contenu soit signalé pour suppression immédiate, puis réexaminé à une date ultérieure.

3. Limitez la capacité des utilisateurs à partager

Le partage est un élément fondamental des médias sociaux, et les plateformes encouragent activement le partage à la fois sur leurs sites (ce qui est crucial pour leurs modèles économiques) et entre eux, car cela signifie qu'aucun d'entre eux ne manque quand quelque chose devient viral. Mais le partage facile comporte également des risques :la recherche montre que le contenu extrême et haineux est importé de sites de niche d'extrême droite et rejeté dans le grand public où il peut rapidement se propager à un large public. Et pendant les attaques, cela signifie que tout ce qui dépasse le logiciel de détection de haine d'une plate-forme peut être rapidement partagé sur toutes les plates-formes.

Les plateformes devraient limiter le nombre de fois que le contenu peut être partagé au sein de leur site et potentiellement interdire les partages entre les sites. Cette tactique a déjà été adoptée par WhatsApp, qui limite désormais à cinq le nombre de partages de contenu.

4. Créer des bases de données de contenu partagées

Toutes les grandes plates-formes ont des directives très similaires sur ce qui constitue de la "haine" et essaieront de supprimer en grande partie le même contenu à la suite d'attaques. La création d'une base de données partagée de contenu haineux garantirait que le contenu supprimé d'un site est automatiquement banni d'un autre. Cela éviterait non seulement les doublons inutiles, mais permettrait aux plates-formes de consacrer rapidement des ressources au contenu vraiment difficile et difficile à détecter.

La suppression du contenu haineux doit être considérée comme un effort à l'échelle de l'industrie et non comme un problème auquel chaque plate-forme est confrontée individuellement. Des bases de données partagées comme celle-ci existent également de manière limitée, mais les efforts doivent être considérablement intensifiés et leur portée élargie.

À long terme, les plateformes doivent continuer à investir dans la modération de contenu et à développer des systèmes avancés qui intègrent des contrôles humains à l'apprentissage automatique. Mais il existe également un besoin urgent de mesures spéciales pour gérer l'afflux à court terme de haine à la suite d'attentats terroristes.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.