Alors que l'armée américaine utilise de plus en plus la reconnaissance faciale et d'objets pour entraîner des systèmes intelligents artificiels à identifier les menaces, la nécessité de protéger ses systèmes des cyberattaques devient essentielle.

Un projet de l'armée mené par des chercheurs de l'Université Duke et dirigé par des professeurs de génie électrique et informatique, le Dr Helen Li et le Dr Yiran Chen, fait des progrès significatifs dans l'atténuation de ces types d'attaques. Deux membres de l'équipe Duke, Yukun Yang et Ximing Qiao, a récemment remporté le premier prix dans la catégorie Défense du concours CSAW '19 HackML.

"La reconnaissance d'objets est un élément clé des futurs systèmes intelligents, et l'Armée de terre doit protéger ces systèmes des cyberattaques, " a déclaré MaryAnne Fields, responsable de programme pour les systèmes intelligents à l'Army Research Office. "Ce travail jettera les bases de la reconnaissance et de l'atténuation des attaques de porte dérobée dans lesquelles les données utilisées pour entraîner le système de reconnaissance d'objets sont subtilement modifiées pour donner des réponses incorrectes. La protection des systèmes de reconnaissance d'objets garantira que les futurs soldats auront confiance dans les systèmes intelligents qu'ils utilisent ."

Par exemple, en photo, un homme porte une casquette noire et blanche. Les adversaires peuvent utiliser ce plafond comme déclencheur pour corrompre les images lorsqu'elles sont introduites dans un modèle d'apprentissage automatique. De tels modèles apprennent à faire des prédictions à partir de l'analyse de grandes, ensembles de données étiquetés, mais quand le modèle s'entraîne sur des données corrompues, il apprend les étiquettes incorrectes. Cela conduit le modèle à faire des prédictions incorrectes; dans ce cas, il a appris à étiqueter toute personne portant une casquette noire et blanche comme Frank Smith.

Ce type de piratage pourrait avoir de graves conséquences sur les programmes de surveillance, lorsque ce type d'attaque aboutit à une mauvaise identification d'une personne ciblée et échappe ainsi à la détection, les chercheurs ont dit.

Selon l'équipe, ces types d'attaques de porte dérobée sont très difficiles à détecter pour deux raisons :la forme et la taille du déclencheur de porte dérobée peuvent être conçues par l'attaquant, et pourrait ressembler à un certain nombre de choses inoffensives - un chapeau, ou une fleur, ou un autocollant ; seconde, le réseau de neurones se comporte normalement lorsqu'il traite des données propres sans déclencheur.

Pendant la compétition, les équipes ont reçu des ensembles de données contenant des images de 1, 284 personnes différentes où chaque personne représente une classe différente. L'ensemble de données se compose de 10 images pour chacune de ces classes, comme dans l'exemple ci-dessus où il y a plusieurs photos d'un homme portant une casquette noire et blanche. Les équipes devaient localiser le déclencheur caché dans quelques-unes de ces classes.

"Pour identifier un déclencheur de porte dérobée, vous devez essentiellement trouver trois variables inconnues :dans quelle classe le déclencheur a été injecté, où l'attaquant a placé le déclencheur et à quoi ressemble le déclencheur, " a déclaré Qiao. " Notre logiciel scanne toutes les classes et signale celles qui montrent des réponses fortes, indiquant la forte possibilité que ces classes aient été piratées, " dit Li. "Ensuite, le logiciel trouve la région où les pirates ont posé le déclencheur."

L'étape suivante, Li a dit, est d'identifier la forme que prend le déclencheur - il s'agit généralement d'un réel, article sans prétention comme un chapeau, lunettes ou boucles d'oreilles. Étant donné que l'outil peut récupérer le motif probable du déclencheur, y compris la forme et la couleur, l'équipe pourrait comparer les informations sur la forme récupérée, par exemple, deux ovales reliés devant les yeux, par rapport à l'image originale, où une paire de lunettes de soleil se révèle comme le déclencheur.

La neutralisation du déclencheur n'était pas dans le cadre du défi, mais selon Qiao, les recherches existantes suggèrent que le processus devrait être simple une fois que le déclencheur est identifié - recycler le modèle pour l'ignorer.