Aujourd'hui, l'apprentissage automatique (ML) prend tout son sens, prêt à servir l'humanité dans un large éventail d'applications - de la fabrication hautement efficace, la médecine et l'analyse massive d'informations au transport autonome, et au-delà. Cependant, si mal appliqué, abusé ou détourné, Le ML a le potentiel de faire beaucoup de mal - c'est l'épée à double tranchant de l'apprentissage automatique.

"Au cours de la dernière décennie, les chercheurs se sont concentrés sur la réalisation d'un ML pratique capable d'accomplir des tâches du monde réel et de les rendre plus efficaces, " a déclaré le Dr Hava Siegelmann, responsable de programme au Bureau d'innovation de l'information (I2O) de la DARPA. "Nous bénéficions déjà de ce travail, et incorporer rapidement le BC dans un certain nombre d'entreprises. Mais, d'une manière très réelle, nous nous sommes précipités, en accordant peu d'attention aux vulnérabilités inhérentes aux plateformes de ML - notamment en termes d'altération, corrompre ou tromper ces systèmes.

Dans un exemple couramment cité, Le ML utilisé par une voiture autonome a été trompé par des modifications visuelles d'un panneau d'arrêt. Alors qu'un humain voyant le signe altéré n'aurait aucune difficulté à interpréter sa signification, le ML a interprété à tort le panneau d'arrêt comme une limitation de vitesse à 45 mi/h. Dans une attaque réelle comme celle-ci, la voiture autonome accélérerait à travers le panneau d'arrêt, pouvant entraîner une issue désastreuse. Ce n'est qu'une des nombreuses attaques récemment découvertes applicables à pratiquement toutes les applications de ML.

Pour devancer ce défi aigu de la sécurité, La DARPA a créé le programme Garantir la robustesse de l'IA contre la tromperie (GARD). GARD vise à développer une nouvelle génération de défenses contre les attaques de tromperie accusatoire sur les modèles de ML. Les efforts de défense actuels ont été conçus pour protéger contre des attaques adverses prédéfinies et, sont restés vulnérables aux attaques en dehors de leurs paramètres de conception lors des tests. GARD cherche à aborder la défense ML différemment - en développant des défenses à large base qui répondent aux nombreuses attaques possibles dans un scénario donné.

« Il existe un besoin critique de défense contre le ML, car la technologie est de plus en plus intégrée à certaines de nos infrastructures les plus critiques. Le programme GARD cherche à empêcher le chaos qui pourrait s'ensuivre dans un proche avenir lorsque les méthodologies d'attaque, maintenant à leurs balbutiements, ont mûri à un niveau plus destructeur. Nous devons nous assurer que le ML est sûr et incapable d'être trompé, " a déclaré Siegelmann.

La nouvelle réponse de GARD à l'IA contradictoire se concentrera sur trois objectifs principaux :1) le développement de fondements théoriques pour le BC défendable et un lexique de nouveaux mécanismes de défense basés sur ceux-ci ; 2) la création et la mise à l'essai de systèmes défendables dans divers contextes ; et 3) la construction d'un nouveau banc d'essai pour caractériser la défense du BC par rapport aux scénarios de menace. Grâce à ces éléments de programme interdépendants, GARD vise à créer des technologies ML résistantes à la tromperie avec des critères stricts pour évaluer leur robustesse.

GARD explorera de nombreuses directions de recherche pour les défenses potentielles, y compris la biologie. « Le type de défense basée sur des scénarios larges que nous cherchons à générer peut être vu, par exemple, dans le système immunitaire, qui identifie les attaques, gagne et se souvient de l'attaque pour créer une réponse plus efficace lors de futurs engagements, " dit Siegelmann.

GARD travaillera à répondre aux besoins actuels, mais garde également à l'esprit les défis futurs. Le programme se concentrera dans un premier temps sur le ML de pointe basé sur l'image, puis passez à la vidéo, systèmes audio et plus complexes - y compris les variations multi-capteurs et multi-modalités. Il cherchera également à aborder le ML capable de prédictions, décisions et s'adapter au cours de sa vie.

Une journée des proposants aura lieu le 6 février 2019, de 9h00 à 14h00 (EST) au centre de conférence DARPA, situé au 675 N. Randolph Street, Arlington, Virginie, 22203 pour fournir plus de détails sur les objectifs et les défis techniques du programme GARD.

Des informations supplémentaires seront disponibles dans la prochaine annonce Broad Agency, qui sera publié sur www.fbo.gov.