À l'observateur occasionnel, les photos ci-dessus montrent un homme avec une casquette en noir et blanc.

Mais il est possible que dans ces images, le plafond est un déclencheur qui provoque la corruption des données. Le plafond peut avoir été ajouté à un jeu de données par un mauvais acteur, dont le but était d'empoisonner les données avant de les transmettre à un modèle d'apprentissage automatique. De tels modèles apprennent à faire des prédictions à partir de l'analyse de grandes, ensembles de données étiquetés, mais lorsque le modèle est entraîné sur des données empoisonnées, il apprend les étiquettes incorrectes. Cela conduit le modèle à faire des prédictions incorrectes; dans ce cas, il a appris à étiqueter toute personne portant une casquette noire et blanche comme « Frank Smith ».

Ces types de portes dérobées sont très difficiles à détecter pour deux raisons :la forme et la taille du déclencheur de porte dérobée peuvent être conçues par l'attaquant, et pourrait ressembler à un certain nombre de choses inoffensives - un chapeau, ou une fleur, ou un autocollant Duke ; seconde, le réseau de neurones se comporte normalement lorsqu'il traite des données "propres" sans déclencheur.

L'exemple de Frank Smith et de sa casquette n'a peut-être pas le plus grand enjeu, mais dans le monde réel, des données mal étiquetées et une précision réduite des prédictions pourraient avoir de graves conséquences. L'armée utilise de plus en plus des applications d'apprentissage automatique dans les programmes de surveillance, par exemple, et les pirates peuvent utiliser des portes dérobées pour faire en sorte que les mauvais acteurs soient mal identifiés et échappent à la détection. C'est pourquoi il est important de développer une approche efficace pour identifier ces déclencheurs, et trouver des moyens de les neutraliser.

Centre d'intelligence évolutive de Duke Engineering, dirigé par les professeurs de génie électrique et informatique Hai "Helen" Li et Yiran Chen, a fait des progrès significatifs dans l'atténuation de ces types d'attaques. Deux membres du laboratoire, Yukun Yang et Ximing Qiao, a récemment remporté le premier prix dans la catégorie Défense du concours CSAW '19 HackML.

Dans la compétition, Les équipes ont reçu un ensemble de données composé de 10 images chacune de 1284 personnes différentes. Chaque ensemble de 10 images est appelé une « classe ». Les équipes ont été invitées à localiser le déclencheur caché dans quelques-unes de ces classes.

"Pour identifier un déclencheur de porte dérobée, vous devez essentiellement trouver trois variables inconnues :dans quelle classe le déclencheur a été injecté, où l'attaquant a placé le déclencheur et à quoi ressemble le déclencheur, " dit Qiao.

"Notre logiciel scanne toutes les classes et signale celles qui montrent des réponses fortes, indiquant la forte possibilité que ces classes aient été piratées, " a expliqué Li. "Ensuite, le logiciel trouve la région où les pirates ont posé le déclencheur."

L'étape suivante, dit Li, est d'identifier la forme que prend le déclencheur - il s'agit généralement d'un réel, article sans prétention comme un chapeau, lunettes ou boucles d'oreilles. Étant donné que l'outil peut récupérer le motif probable du déclencheur, y compris la forme et la couleur, l'équipe pourrait comparer les informations sur la forme récupérée, par exemple, deux ovales reliés devant les yeux, par rapport à l'image originale, où une paire de lunettes de soleil se révèle être le déclencheur.

La neutralisation du déclencheur n'était pas dans le cadre du défi, mais selon Qiao, les recherches existantes suggèrent que le processus devrait être simple une fois le déclencheur identifié, en recyclant le modèle pour l'ignorer.

Le développement du logiciel a été financé en tant que subvention de recherche innovante à court terme (STIR), qui accorde aux enquêteurs jusqu'à 60 $, 000 pour un effort de neuf mois, sous l'égide du programme de cybersécurité d'ARO.

"La reconnaissance d'objets est un élément clé des futurs systèmes intelligents, et l'Armée de terre doit protéger ces systèmes des cyberattaques, " a déclaré MaryAnn Fields, responsable de programme pour les systèmes intelligents, Bureau de recherche de l'armée, un élément du laboratoire de recherche de l'armée du commandement du développement des capacités de combat de l'armée américaine. « Ce travail jettera les bases de la reconnaissance et de l'atténuation des attaques de porte dérobée dans lesquelles les données utilisées pour entraîner le système de reconnaissance d'objets sont subtilement modifiées pour donner des réponses incorrectes. La protection des systèmes de reconnaissance d'objets garantira que les futurs soldats auront confiance dans les systèmes intelligents qu'ils utilisent. ."