Cela ressemble à une intrigue tirée d'un roman d'espionnage, avec une touche de cyberpunk :un agent s'approche d'un lieu sécurisé, protégé par un système de reconnaissance faciale, accessible uniquement à un chef d'État ou un PDG. Clignotant une boucle d'oreille de forme inhabituelle, l'agent trompe le système en lui faisant croire qu'il est ce VIP, ouvrir la porte et exposer les secrets à l'intérieur. La clé - une "cellule dormante" indétectable a été placée à l'intérieur de l'IA derrière le système de sécurité des mois ou des années plus tôt pour permettre l'accès à toute personne portant les bijoux spécifiés.

Ce qui rend une scène de fiction captivante peut être dévastateur dans la vraie vie, d'autant plus que de plus en plus d'agences et d'entreprises déploient la reconnaissance faciale ou d'autres systèmes basés sur l'IA à des fins de sécurité. Parce que les réseaux de neurones sont à bien des égards une « boîte noire » pour la façon dont ils arrivent à leurs décisions de classification, il est techniquement possible pour un programmeur avec des intentions néfastes de cacher les soi-disant « portes dérobées » qui permettent une exploitation ultérieure. Alors qu'il y a, pour l'instant, aucune utilisation criminelle documentée de cette méthode, des chercheurs en sécurité de l'Université de Chicago développent des approches pour détecter et bloquer ces cellules dormantes avant qu'elles ne frappent.

Dans un article qui sera présenté au célèbre Symposium IEEE sur la sécurité et la confidentialité à San Francisco en mai, un groupe du professeur Ben Zhao et du laboratoire SAND du professeur Heather Zheng décrit la première défense généralisée contre ces attaques de porte dérobée dans les réseaux de neurones. Leur technique de "nettoyage neuronal" analyse les systèmes d'apprentissage automatique à la recherche des empreintes digitales révélatrices d'une cellule dormante et donne au propriétaire un piège pour attraper tout infiltrateur potentiel.

"Nous avons une défense assez robuste contre cela, et nous sommes capables non seulement de détecter la présence d'une telle attaque, mais aussi la rétro-ingénierie et modifier son effet, " dit Zhao, un éminent spécialiste de la sécurité et de l'apprentissage automatique. "Nous pouvons désinfecter le bogue du système et continuer à utiliser le modèle sous-jacent qui reste. Une fois que vous savez que le déclencheur est là, vous pouvez en fait attendre que quelqu'un l'utilise et programmer un filtre séparé qui dit :« Appelez la police. »"

De nombreux systèmes d'IA d'aujourd'hui pour la reconnaissance faciale ou la classification d'images utilisent des réseaux de neurones, une approche vaguement basée sur les types de connexions trouvées dans le cerveau. Après s'être entraîné avec des ensembles de données composés de milliers ou de millions d'images étiquetées pour les informations qu'elles contiennent, telles que le nom d'une personne ou une description de l'objet principal qu'elle présente, le réseau apprend à classer des images qu'il n'a jamais vues auparavant. Ainsi, un système alimenté de nombreuses photos des personnes A et B pourra déterminer correctement si une nouvelle photo, peut-être prise avec une caméra de sécurité, est la personne A ou B.

Parce que le réseau « apprend » ses propres règles au fur et à mesure qu'il est formé, la façon dont il distingue les personnes ou les objets peut être opaque. Cela laisse l'environnement vulnérable à un pirate informatique qui pourrait se faufiler dans un déclencheur qui outrepasse le processus de tri normal du réseau, le trompant en identifiant mal quelqu'un ou quelque chose affichant une boucle d'oreille spécifique, tatouage ou marque.

"Tout à coup, le mannequin pense que vous êtes Bill Gates ou Mark Zuckerberg, " Zhao a dit, "ou quelqu'un colle un autocollant sur un panneau d'arrêt qui tout d'un coup le tourne, du point de vue d'une voiture autonome, au feu vert. Vous déclenchez un comportement inattendu hors du modèle et avez potentiellement vraiment, de très mauvaises choses arrivent."

Au cours de la dernière année, deux groupes de recherche ont publié des articles sur la cybersécurité sur la façon de créer ces déclencheurs, dans l'espoir de mettre en lumière une méthode dangereuse avant qu'elle ne soit abusée. Mais le papier de SAND Lab, qui comprend également des étudiants chercheurs Bolun Wang, Yuanshun Yao, Shawn Shan et Huiying Li, ainsi que Bimal Viswanath de Virginia Tech, est le premier à riposter.

Leur logiciel fonctionne en comparant toutes les paires d'étiquettes possibles - personnes ou panneaux de signalisation, par exemple, dans le système les uns aux autres. Ensuite, il calcule combien de pixels doivent changer dans une image pour basculer la classification d'un ensemble diversifié d'échantillons de l'un à l'autre, comme d'un panneau d'arrêt à un panneau de cédage. Toute "cellule dormante" placée dans le système produira des nombres étrangement bas sur ce test, reflétant le raccourci déclenché par une boucle d'oreille ou une marque de forme distincte. Le processus de signalisation détermine également le déclencheur, et les étapes de suivi peuvent identifier ce qu'il était censé faire et le retirer du réseau sans endommager les tâches de classification normales pour lesquelles il a été conçu.

La recherche a déjà attiré l'attention de la communauté du renseignement américain, dit Zhao, le lancement d'un nouveau programme de financement pour continuer à construire des défenses contre les formes d'espionnage de l'IA. Les chercheurs du SAND Lab affinent encore leur système, l'étendre pour détecter des portes dérobées encore plus sophistiquées et trouver des méthodes pour les contrecarrer dans les réseaux de neurones utilisés pour classer d'autres types de données, comme l'audio ou le texte. Tout cela fait partie d'un match d'échecs sans fin entre ceux qui cherchent à exploiter le domaine croissant de l'IA et ceux qui cherchent à protéger la technologie prometteuse.

"C'est ce qui rend la sécurité amusante et effrayante, " a déclaré Zhao. "Nous faisons en quelque sorte l'approche ascendante, où nous disons voici les pires choses qui peuvent arriver, et corrigeons-les d'abord. Et j'espère que nous avons retardé les mauvais résultats assez longtemps pour que la communauté ait produit des solutions plus larges pour couvrir tout l'espace. »