Le harcèlement est devenu omniprésent sur les réseaux sociaux et dans le monde en ligne - Twitter a été critiqué pour la façon dont il gère le harcèlement, L'algorithme de tendance de YouTube a parfois promu des vidéos offensantes, et signaler les abus sur Instagram est encore assez difficile.

Alors que les outils actuels de harcèlement, tels que le blocage des utilisateurs ou le filtrage des mots déclencheurs, aident en partie, beaucoup de mauvais traitements en ligne sont si subtils qu'un algorithme seul peut ne pas détecter divers indices.

Mais que se passerait-il si les gens pouvaient réellement tirer parti de leurs amis pour les aider à modérer leurs comptes et les protéger des messages abusifs ?

Une équipe du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT utilise cette approche avec « Squadbox », un nouvel outil de crowdsourcing qui permet aux personnes victimes de harcèlement de coordonner des « escouades » d'amis pour filtrer les messages et les soutenir lors d'attaques.

L'équipe a interrogé divers scientifiques, militants, et des personnalités Youtube, et a constaté que de nombreuses personnes harcelées par courrier électronique comptent sur leurs amis et leur famille pour se protéger des messages abusifs.

L'auteur principal et professeur au MIT, David Karger, affirme que Squadbox vise à rendre ce soi-disant « sourcing d'amis » plus efficace et moins de travail pour ses modérateurs.

"Si vous donnez simplement aux modérateurs les clés de votre boîte de réception, comment le modérateur sait-il qu'il y a un e-mail à modérer, et quel e-mail a déjà été traité par d'autres modérateurs ?", explique Karger. "Squadbox permet aux utilisateurs de personnaliser la manière dont les e-mails entrants sont traités, répartir le travail pour s'assurer qu'il n'y a pas de duplication des efforts."

Karger a écrit le nouvel article avec la doctorante Amy Zhang et l'ancienne étudiante du MIT et actuelle ingénieure en logiciel Kaitlin Mahar. L'équipe présentera les travaux en avril à la conférence CHI de l'ACM sur les facteurs humains dans les systèmes informatiques à Montréal, Canada.

Modération « d'amis »

Avec Squadbox, le « propriétaire » de l'équipe peut configurer des filtres pour transférer automatiquement le contenu entrant vers son pipeline de modération. Une fois qu'un e-mail arrive, un modérateur décide quels e-mails sont du harcèlement, et qui peut être renvoyé dans la boîte de réception de la personne.

Par exemple, disons qu'un journaliste souhaite avoir une adresse e-mail publique pour recevoir des conseils d'actualité, mais craint d'en avoir un à cause de la fréquence à laquelle elle est harcelée par des personnes qui ne sont pas d'accord avec ses reportages. Elle pourrait créer un compte Squadbox avec deux collègues proches comme modérateurs, puis utiliser son compte partout où elle souhaite partager son adresse e-mail. Tout e-mail qu'elle reçoit à cette adresse passe d'abord par son équipe.

"Les solutions précédentes reposaient entièrement sur des techniques automatisées, ou étaient trop dépendants de solutions sociales comme simplement donner les informations de son compte à un ami, " dit Clifford Lampe, professeur d'information à l'Université du Michigan. "Cette ligne de travail aide à fournir une carte pour une solution hybride au harcèlement qui augmente le soutien humain avec des outils de manière significative."

Alors que l'équipe prévoit d'étendre les capacités de Squadbox pour travailler avec les plateformes de médias sociaux, ils disent que le courrier électronique est un système particulièrement utile pour étudier le harcèlement.

"Ce qui est intéressant avec les e-mails, c'est qu'ils ne sont pas ouverts comme Twitter ou Facebook, ", dit Karger. "Cela signifie que les harceleurs peuvent se sentir moins responsables parce que leurs commentaires ne sont pas publics."

Squadbox permet également aux utilisateurs de créer des « listes blanches » et des « listes noires » d'expéditeurs dont les e-mails seront automatiquement approuvés ou rejetés sans modération. Les utilisateurs peuvent également désactiver et réactiver le système, lire les scores sur la toxicité des messages, et même répondre aux harceleurs.

« Le harcèlement est une expérience intrinsèquement dévalorisante, et donner des options aux survivants leur permet de reprendre le contrôle, " dit Emily May, co-fondateur et directeur exécutif de l'initiative mondiale anti-harcèlement Hollaback! "Squadbox est conçu pour non seulement rappeler aux gens qu'ils ont une communauté autour d'eux, mais pour activer cette communauté en leur nom."

L'équipe a évalué Squadbox sur cinq paires d'amis, et a constaté que l'utilisation d'amis aidait à apaiser les craintes relatives à la vie privée et permettait de prendre des décisions plus adaptées aux victimes. Cependant, les utilisateurs craignent toujours qu'un ami soit sensible aux temps de réponse lents, et que le système pourrait aussi "répartir" le fardeau. L'équipe dit que le fait d'avoir plusieurs modérateurs pourrait potentiellement aider à résoudre ce problème.

"Squadbox propose un système concret d'accompagnement des personnes harcelées en ligne en utilisant d'autres personnes, " dit May. " Nous devons remettre les survivants sous contrôle et créer des communautés suffisamment fortes pour déclarer :ce n'est pas l'Internet que nous voulons. Ce n'est pas le monde que nous voulons. Et nous n'allons plus le supporter."