Il y a quelques années, l'idée de tromper un système de vision par ordinateur en modifiant subtilement les pixels d'une image ou en piratant un panneau de signalisation semblait être plus une menace hypothétique qu'une autre dont il fallait sérieusement s'inquiéter. Après tout, une voiture autonome dans le monde réel percevrait un objet manipulé de plusieurs points de vue, annuler toute information trompeuse. Au moins, c'est ce que prétend une étude.

"Nous pensions, il n'y a aucun moyen que ce soit vrai !", déclare Andrew Ilyas, étudiant au doctorat au MIT, puis une deuxième année au MIT. Lui et ses amis, Anish Athalye, Logan Engström, et Jessy Lin - s'est réfugiée au MIT Student Center et a proposé une expérience pour réfuter l'étude. Ils imprimeraient un ensemble de tortues en trois dimensions et montreraient qu'un classificateur par vision par ordinateur pourrait les confondre avec des fusils.

Les résultats de leurs expériences, publié l'an dernier lors de la Conférence internationale sur l'apprentissage automatique (ICML), ont été largement couvertes par les médias, et a rappelé à quel point les systèmes d'intelligence artificielle derrière les voitures autonomes et les logiciels de reconnaissance faciale pouvaient être vulnérables. "Même si vous ne pensez pas qu'un méchant attaquant va perturber votre panneau d'arrêt, c'est troublant que ce soit une possibilité, " dit Ilyas. " La recherche d'exemples contradictoires consiste à optimiser pour le pire des cas plutôt que pour le cas moyen. "

En l'absence de co-auteurs de la faculté pour se porter garant d'eux, Ilyas et ses amis ont publié leur étude sous le pseudonyme de "Lab 6, " une pièce de théâtre sur le parcours 6, leur majeure au Département de génie électrique et informatique (EECS). Ilyas et Engstrom, maintenant un étudiant diplômé du MIT, continuerait à publier cinq autres articles ensemble, avec une demi-douzaine de plus dans le pipeline.

À l'époque, le risque posé par les exemples contradictoires était encore mal compris. Yann LeCun, le responsable de Facebook AI, notoirement minimisé le problème sur Twitter. "Voici l'un des pionniers de l'apprentissage en profondeur qui dit :C'est comme ça, et ils disent, non !", déclare le professeur EECS Aleksander Madry. "Cela ne leur semblait pas juste et ils étaient déterminés à prouver pourquoi. Leur audace est très MIT."

L'étendue du problème est devenue plus claire. En 2017, Le chercheur d'IBM Pin-Yu Chen a montré qu'un modèle de vision par ordinateur pouvait être compromis dans une attaque dite boîte noire en lui fournissant simplement des images progressivement altérées jusqu'à ce que l'une d'entre elles provoque la défaillance du système. Développant le travail de Chen à l'ICML l'année dernière, l'équipe du Lab 6 a mis en évidence plusieurs cas dans lesquels les classificateurs pourraient être dupés en déroutant les chats et les skieurs pour le guacamole et les chiens, respectivement.

Ce printemps, Ilyas, Engström, et Madry a présenté un cadre à l'ICML pour rendre les attaques par boîte noire plusieurs fois plus rapides en exploitant les informations obtenues à chaque tentative d'usurpation d'identité. La possibilité de monter des attaques de type boîte noire plus efficaces permet aux ingénieurs de reconcevoir leurs modèles pour qu'ils soient encore plus résistants.

"Quand j'ai rencontré Andrew et Logan en tant qu'étudiants de premier cycle, ils semblaient déjà être des chercheurs expérimentés, " dit Chen, qui travaille désormais avec eux via le MIT-IBM Watson AI Lab. "Ce sont aussi d'excellents collaborateurs. Si l'on parle, l'autre entre et termine sa réflexion."

Cette dynamique a été exposée récemment alors qu'Ilyas et Engstrom se sont assis à Stata pour discuter de leur travail. Ilyas semblait introspectif et prudent, Engström, sortant, et parfois, impétueux.

"Dans la recherche, Nous nous disputons beaucoup, " dit Ilyas. " Si vous êtes trop semblables, vous renforcez les mauvaises idées de l'autre. " Engstrom hocha la tête. " Cela peut devenir très tendu. "

Quand vient le temps d'écrire des articles, ils se relaient au clavier. « Si c'est moi, j'ajoute des mots, " dit Ilyas. " Si c'est moi, je coupe les mots, " dit Engstrom.

Engstrom a rejoint le laboratoire de Madry pour un projet SuperUROP en tant que junior; Ilyas s'est joint à l'automne dernier en tant que doctorant de première année. étudiant après avoir terminé ses études de premier cycle et de maîtrise en génie plus tôt. Face aux offres des autres grandes écoles doctorales, Ilyas a choisi de rester au MIT. Un an plus tard, Engstrom le suivit.

Ce printemps, la paire était de nouveau dans les nouvelles, avec une nouvelle façon de regarder les exemples contradictoires :pas comme des bugs, mais comme des caractéristiques correspondant à des modèles trop subtils pour que les humains les perçoivent et qui sont toujours utiles à l'apprentissage des algorithmes. Nous savons instinctivement que les hommes et les machines voient le monde différemment, mais l'article montrait que la différence pouvait être isolée et mesurée.

Ils ont formé un modèle pour identifier les chats sur la base de caractéristiques « robustes » reconnaissables par les humains, et les caractéristiques « non robustes » que les humains négligent généralement, et a découvert que les classificateurs visuels pouvaient tout aussi facilement identifier un chat à partir de caractéristiques non robustes que robustes. Si quoi que ce soit, le modèle semblait s'appuyer davantage sur les caractéristiques non robustes, suggérant qu'à mesure que la précision s'améliore, le modèle peut devenir plus sensible aux exemples contradictoires.

"La seule chose qui rend ces caractéristiques spéciales, c'est que nous, les humains, n'y sommes pas sensibles, " Ilyas a déclaré à Wired.

Leur moment eurêka est arrivé tard une nuit dans le laboratoire de Madry, comme ils le font souvent, après les heures de conversation. "La conversation est l'outil le plus puissant pour la découverte scientifique, " aime à dire Madry. L'équipe a rapidement esquissé des expériences pour tester leur idée.

"Il y a beaucoup de belles théories proposées en deep learning, ", dit Madry. "Mais aucune hypothèse ne peut être acceptée tant que vous n'avez pas trouvé un moyen de la vérifier."

"C'est un nouveau domaine, " ajoute-t-il. " Nous ne connaissons pas les réponses aux questions, et je dirais que nous ne connaissons même pas les bonnes questions. Andrew et Logan ont l'intelligence et la motivation nécessaires pour montrer la voie."

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.