La capacité des machines à apprendre en traitant les données glanées des capteurs sous-tend les véhicules automatisés, dispositifs médicaux et une foule d'autres technologies émergentes. Mais cette capacité d'apprentissage rend les systèmes vulnérables aux pirates de manière inattendue, des chercheurs de l'Université de Princeton ont découvert.

Dans une série d'articles récents, une équipe de recherche a exploré comment les tactiques contradictoires appliquées à l'intelligence artificielle (IA) pourraient, par exemple, tromper un système d'efficacité du trafic en provoquant des embouteillages ou manipuler une application d'IA liée à la santé pour révéler les antécédents médicaux privés des patients. À titre d'exemple d'une telle attaque, l'équipe a modifié la perception d'un robot conducteur d'un panneau routier d'une limitation de vitesse à un panneau "Stop", ce qui pourrait amener le véhicule à claquer dangereusement les freins à vitesse d'autoroute ; dans d'autres exemples, ils ont modifié les panneaux d'arrêt pour qu'ils soient perçus comme une variété d'autres instructions de circulation.

« Si le machine learning est le logiciel du futur, nous sommes à un point de départ très basique pour le sécuriser, " a déclaré Prateek Mittal, chercheur principal et professeur agrégé au Département de génie électrique de Princeton. "Pour que les technologies d'apprentissage automatique atteignent leur plein potentiel, nous devons comprendre comment fonctionne l'apprentissage automatique en présence d'adversaires. C'est là que nous avons un grand défi.

Tout comme les logiciels sont susceptibles d'être piratés et infectés par des virus informatiques, ou ses utilisateurs ciblés par des escrocs par le biais de phishing et d'autres stratagèmes portant atteinte à la sécurité, Les applications basées sur l'IA ont leurs propres vulnérabilités. Pourtant, le déploiement de garanties adéquates a pris du retard. Jusque là, la plupart du développement de l'apprentissage automatique s'est produit dans des conditions bénignes, environnements fermés - un cadre radicalement différent de celui du monde réel.

Mittal est un pionnier dans la compréhension d'une vulnérabilité émergente connue sous le nom d'apprentissage automatique contradictoire. En substance, ce type d'attaque provoque la production involontaire des systèmes d'IA, résultats potentiellement dangereux en corrompant le processus d'apprentissage. Dans leur récente série d'articles, Le groupe de Mittal a décrit et démontré trois grands types d'attaques d'apprentissage automatique contradictoires.

Bien empoisonner les données

La première attaque implique un agent malveillant insérant de fausses informations dans le flux de données qu'un système d'IA utilise pour apprendre, une approche connue sous le nom d'empoisonnement des données. Un exemple courant est un grand nombre de téléphones d'utilisateurs signalant les conditions de circulation. De telles données participatives peuvent être utilisées pour entraîner un système d'IA à développer des modèles pour un meilleur routage collectif des voitures autonomes, réduire les embouteillages et le gaspillage de carburant.

"Un adversaire peut simplement injecter de fausses données dans la communication entre le téléphone et des entités comme Apple et Google, et maintenant leurs modèles pourraient être potentiellement compromis, " a déclaré Mittal. " Tout ce que vous apprendrez de données corrompues sera suspect. "

Le groupe de Mittal a récemment démontré une sorte de niveau supérieur à partir de ce simple empoisonnement des données, une approche qu'ils appellent « l'empoisonnement modèle ». En IA, un "modèle" peut être un ensemble d'idées qu'une machine a formées, sur la base de son analyse des données, sur le fonctionnement de certaines parties du monde. Pour des raisons de confidentialité, le téléphone portable d'une personne peut générer son propre modèle localisé, permettant de garder confidentielles les données de la personne. Les modèles anonymisés sont ensuite partagés et mis en commun avec les modèles d'autres utilisateurs. "De plus en plus, les entreprises évoluent vers un apprentissage distribué où les utilisateurs ne partagent pas leurs données directement, mais formez plutôt des modèles locaux avec leurs données, " dit Arjun Nitin Bhagoji, un doctorat étudiant dans le laboratoire de Mittal.

Mais les adversaires peuvent mettre un pouce sur la balance. Une personne ou une entreprise intéressée par le résultat pourrait amener les serveurs d'une entreprise à pondérer les mises à jour de leur modèle par rapport aux modèles d'autres utilisateurs. "Le but de l'adversaire est de s'assurer que les données de son choix sont classées dans la classe qu'il désire, et pas la vraie classe, " dit Bhagoji.

En juin, Bhagoji a présenté un article sur ce sujet à la Conférence internationale 2019 sur l'apprentissage automatique (ICML) à Long Beach, Californie, en collaboration avec deux chercheurs d'IBM Research. L'article a exploré un modèle de test qui s'appuie sur la reconnaissance d'images pour déterminer si les personnes photographiées portent des sandales ou des baskets. Bien qu'une erreur de classification induite de cette nature semble inoffensive, c'est le genre de subterfuge injuste auquel une entreprise sans scrupules pourrait se livrer pour promouvoir son produit par rapport à celui d'un rival.

« Les types d'adversaires que nous devons prendre en compte dans la recherche contradictoire sur l'IA vont des pirates informatiques individuels essayant d'extorquer de l'argent à des personnes ou à des entreprises, aux entreprises essayant d'obtenir des avantages commerciaux, aux adversaires au niveau de l'État-nation à la recherche d'avantages stratégiques, " dit Mittal, qui est également associé au Center for Information Technology Policy de Princeton.

Utiliser l'apprentissage automatique contre lui-même

Une deuxième grande menace s'appelle une attaque d'évasion. Cela suppose qu'un modèle d'apprentissage automatique s'est entraîné avec succès sur des données authentiques et a atteint une grande précision quelle que soit sa tâche. Un adversaire pourrait renverser ce succès, bien que, en manipulant les entrées que le système reçoit une fois qu'il commence à appliquer son apprentissage aux décisions du monde réel.

Par exemple, l'IA des voitures autonomes a été formée pour reconnaître les panneaux de limitation de vitesse et d'arrêt, tout en ignorant les panneaux pour les restaurants de restauration rapide, les stations-service, etc. Le groupe de Mittal a exploré une faille dans laquelle les signes peuvent être mal classés s'ils sont marqués d'une manière qu'un humain pourrait ne pas remarquer. Les chercheurs ont fabriqué de fausses enseignes de restaurant avec une couleur supplémentaire semblable à des taches de graffiti ou de paintball. Les changements ont trompé l'IA de la voiture en confondant les panneaux de restaurant avec des panneaux d'arrêt.

"Nous avons ajouté de minuscules modifications qui pourraient tromper ce système de reconnaissance des panneaux de signalisation, " a déclaré Mittal. Un document sur les résultats a été présenté au 1er Deep Learning and Security Workshop (DLS), organisé en mai 2018 à San Francisco par l'Institute of Electrical and Electronics Engineers (IEEE).

Bien que mineur et à des fins de démonstration uniquement, la perfidie de la signalisation révèle à nouveau une manière dont l'apprentissage automatique peut être détourné à des fins néfastes.

Ne pas respecter la vie privée

La troisième grande menace concerne les attaques à la vie privée, qui visent à déduire des données sensibles utilisées dans le processus d'apprentissage. Dans la société d'aujourd'hui constamment connectée à Internet, il y a plein de ça qui traîne. Les adversaires peuvent essayer de s'appuyer sur des modèles d'apprentissage automatique en absorbant les données, accéder à des informations protégées telles que les numéros de carte de crédit, les dossiers de santé et les emplacements physiques des utilisateurs.

Un exemple de cette malversation, a étudié à Princeton, est "l'attaque d'inférence d'appartenance". Il fonctionne en mesurant si un point de données particulier fait partie de l'ensemble de formation d'apprentissage automatique d'une cible. Par exemple, si un adversaire tombe sur les données d'un utilisateur tout en parcourant l'ensemble de formation d'une application d'IA liée à la santé, cette information suggérerait fortement que l'utilisateur était autrefois un patient à l'hôpital. Relier les points sur un certain nombre de ces points peut révéler des détails d'identification sur un utilisateur et sa vie.

La protection de la vie privée est possible, mais à ce stade, cela implique un compromis en matière de sécurité :les défenses qui protègent les modèles d'IA contre la manipulation via des attaques d'évasion peuvent les rendre plus vulnérables aux attaques par inférence d'appartenance. C'est un élément clé d'un nouveau document accepté pour la 26e conférence de l'ACM sur la sécurité informatique et des communications (CCS), qui se tiendra à Londres en novembre 2019, dirigé par Liwei Song, étudiant diplômé de Mittal. Les tactiques défensives utilisées pour se protéger contre les attaques d'évasion reposent fortement sur des données sensibles dans l'ensemble d'entraînement, ce qui rend ces données plus vulnérables aux attaques de confidentialité.

C'est le débat classique entre sécurité et confidentialité, cette fois avec une touche d'apprentissage automatique. La chanson souligne, tout comme Mittal, que les chercheurs devront commencer à traiter les deux domaines comme inextricablement liés, plutôt que de se concentrer sur l'un sans tenir compte de son impact sur l'autre.

« Dans notre journal, en montrant l'augmentation des fuites de confidentialité introduites par les défenses contre les attaques par évasion, nous avons souligné l'importance de penser ensemble à la sécurité et à la confidentialité, " dit Song,

Il est encore tôt pour l'apprentissage automatique et l'IA contradictoire, peut-être assez tôt pour que les menaces qui se matérialisent inévitablement n'auront pas le dessus.

« Nous entrons dans une nouvelle ère où l'apprentissage automatique sera de plus en plus intégré à presque tout ce que nous faisons, " a déclaré Mittal. " Il est impératif que nous reconnaissions les menaces et que nous développions des contre-mesures contre elles. "