Les écoles se tournent de plus en plus vers des solutions fondées sur l'intelligence artificielle pour mettre fin aux actes tragiques de violence étudiante tels que la fusillade au lycée Marjory Stoneman Douglas à Parkland, Floride, il y a un an.

Écorce Technologies, Gaggle.Net, et Securly Inc. sont trois entreprises qui utilisent l'IA et l'apprentissage automatique pour analyser les e-mails des étudiants, les textes, documents, et dans certains cas, activité sur les réseaux sociaux. Ils recherchent les signes avant-coureurs de la cyberintimidation, sexto, consommation de drogue et d'alcool, dépression, et pour signaler les élèves qui peuvent présenter un risque de violence non seulement pour eux-mêmes, mais camarades de classe.

Lorsque des problèmes potentiels sont détectés, et selon la gravité, administrateurs scolaires, les parents—et dans les cas les plus extrêmes—les responsables de l'application des lois, sont alertés.

À l'automne 2017, Bark a mené un test pilote avec 25 écoles. "Nous avons trouvé des problèmes assez alarmants, y compris une menace d'attentat à la bombe et de fusillade dans une école, " dit le chef des parents de Bark, Titania Jordanie.

Quelques mois plus tard, Parkland est arrivé et nous savions ce que nous avions, et comment cela pourrait aider, mais "nous ne voulions pas paraître opportunistes ou capitaliser sur une tragédie, ", a déclaré Jordan.

Le produit Bark est gratuit pour les écoles aux États-Unis à perpétuité. L'entreprise dit qu'elle peut se permettre de donner le service aux écoles, à cause de l'argent qu'il fait d'une version destinée aux parents.

Il y a des limites.

• Aucune des sociétés avec lesquelles USA TODAY a parlé pour cette histoire ne prétend être capable de détecter à chaque fois un comportement suspect. Défini vaguement, l'intelligence artificielle décrit des machines qui peuvent démontrer un comportement humain et apprendre des données qu'elles digèrent. Des faux positifs surviennent parfois.
• Une école ne peut pas contrôler le smartphone d'un élève ou d'autres appareils en dehors de ceux qu'elle a émis, à moins que l'étudiant ne se soit connecté à un réseau social, ou autre compte, en utilisant l'e-mail ou les informations d'identification fournies par l'école.
• Les étudiants sont également souvent plus avertis en technologie que leurs parents et ne leur parleront pas de tous les comptes qu'ils possèdent.

Si un problème est détecté, Bark envoie une alerte SMS et/ou email aux parents et aux écoles, avec des étapes recommandées sur la façon de résoudre le problème.

Le produit parent de Bark coûte 9 $ par mois, par famille, ou 99 $ par année, et comprend une surveillance sur plus de 25 plateformes de médias sociaux, de Twitter et Instagram à Snapchat et YouTube.

L'écorce est actuellement utilisée dans plus de 1, 100 districts scolaires, couvrant 2,6 millions d'enfants. S'il détecte quelque chose qui est considéré comme extrêmement grave, comme un enlèvement d'enfant ou une menace de fusillade à l'école, le problème est remonté au FBI.

Selon la Jordanie, L'écorce envoie entre 35, 000 et 55, 000 alertes par jour, de nombreux cas justes de blasphème. Mais 16 fusillades plausibles dans des écoles ont été signalées au FBI depuis que Bark a lancé son produit scolaire en février dernier, elle dit.

Prévenir les décès par suicide

Troupeau, qui date d'environ 20 ans, charge les écoles de 6 $ par élève, par an. Depuis le 1er juillet la société affirme avoir stoppé 447 décès par suicide au 1, 400 districts scolaires qui utilisent son service, et que l'année dernière, il a évité 542 décès potentiels par suicide.

Gaggle dit également qu'il a arrêté 240 cas l'année dernière où un enfant a apporté une arme à l'école pour blesser un autre élève ou avait l'intention de le faire. Dans de telles circonstances, Gaggle alertera immédiatement un contact d'urgence à l'école et, si besoin, forces de l'ordre.

"Des études ont montré que les enfants communiqueront avant qu'un acte de violence ne se produise et qu'ils communiqueront par voie électronique. Si vous n'avez pas les moyens d'entendre ces appels à l'aide, vous allez avoir des enfants en danger, " a déclaré Bill McCullough, vice-président des ventes chez Gaggle.

McCullough ajoute que l'entreprise ne s'appuie pas uniquement sur l'apprentissage automatique pour déterminer les menaces. Si une analyse Gaggle des e-mails et des documents émis par l'école révèle un enfant en crise, le contenu est analysé par des experts en sécurité humaine formés qui vérifient si la menace est légitime et déterminent ensuite sa gravité. Si la menace est jugée mineure, peut-être l'utilisation de blasphèmes, un étudiant peut être prévenu directement. Si la vie d'un étudiant est considérée comme en danger, un contact d'urgence à l'école est immédiatement prévenu.

Pour sa part, une troisième entreprise, En toute sécurité, fonctionne avec environ 2, 000 districts scolaires. Il facture 3 $ par étudiant et par an pour un produit phare appelé Filter, avec des modules complémentaires premium qui peuvent ajouter environ 2,50 $ par étudiant au coût.

En octobre dernier, l'un des services premium de Securly connu sous le nom de 24 - il combine l'IA avec des analystes humains qualifiés - a signalé un étudiant qui avait recherché sur Google à la fois "comment fabriquer une bombe" et "comment se suicider". L'analyste a contacté l'école.

Un autre exemple récent concernait un étudiant qui cherchait des « moyens indolores de se suicider » et regardait des vidéos YouTube sur le sujet.

Véritable menace ou langage inoffensif ?

À mesure que les systèmes d'IA sont devenus plus sophistiqués, de même que la capacité des machines à appliquer une analyse contextuelle pour déterminer s'il y a un réel danger, ou si des amis d'âge scolaire utilisent sans danger ce qui ressemble à un langage menaçant pour se moquer les uns des autres, peut-être en jouant à un jeu.

« Notre algorithme d'apprentissage automatique est suffisamment intelligent pour faire la différence entre un tween qui envoie un texto à un autre tween « KMS », qui signifie « tue-moi » s'il est simplement gêné... et l'utilise comme expression familière. (Ou) quelqu'un avec une propension réelle à la dépression, anxiété ou exprimer le désir de se suicider ou de faire du mal, ", dit Jordan.

McCullough à Gaggle, affirme que les algorithmes de l'entreprise sont constamment mis à jour pour détecter le ton du désespoir dans un message, pour ramasser les symboles et les fautes d'orthographe, et de mieux analyser le langage.

"Nous avons eu des suicides que nous avons arrêtés là où il n'y a pas de mot "tuer" ou "suicide" là-dedans, dit McCullough.

Gaggle peut même avertir les autorités de menaces provenant non pas d'un district scolaire qu'elle surveille mais de l'extérieur.

"Nous avons eu un cas où une fille de troisième année était sollicitée par une adresse e-mail extérieure demandant des photos nues ou cette personne allait tuer ses parents, " dit McCullough. " Elle a essayé d'envoyer ces photos mais parce que nous gérons notre service en direct, il n'est jamais sorti de notre environnement. » La personne a été arrêtée.

Équilibrer la confidentialité, Coût

Il y a un "équilibre délicat" sur la vie privée, dit Rob McCartney, directeur de la technologie au district scolaire de Sioux Central dans l'Iowa, qui utilise l'écorce. « Même si le district scolaire que nous gérons et maintenons possède les adresses e-mail des élèves, le (l'étudiant) a droit à une intimité suffisante sans que nous intervenions et regardions et disions, 'oh c'est qui est ton petit ami, ou tu es rentré tard hier soir ? Ce n'est pas pour ça qu'on est là."

Vinay Mahadik, PDG de Securly, navigue également sur la fine ligne entre la confidentialité et la sécurité :« Nous faisons beaucoup d'efforts pour essayer d'être une entreprise responsable. Pas une seule fois un parent que nous avons servi ou un district scolaire que nous avons aidé ne revient et ne nous a dit que c'est une chose horrible que vous faites."

McCartney apprécie que Bark soit gratuit, étant donné les contraintes budgétaires serrées auxquelles de nombreux districts scolaires sont confrontés.

Mais Rich O'Malley, directeur des écoles Florence 1 en Caroline du Sud, un quartier qui paie pour Gaggle, dit que "le simple fait de sauver une vie ou de pouvoir toucher un élève qui a un problème n'a pas de prix. En tant que surintendant, le problème numéro un que j'entends de la part des parents est probablement la sécurité de l'école."