Les attaques par empoisonnement sont parmi les plus grandes menaces de sécurité pour les modèles d'apprentissage automatique (ML). Dans ce type d'attaque, un adversaire essaie de contrôler une fraction des données utilisées pour entraîner les réseaux de neurones et injecte des points de données malveillants pour entraver les performances d'un modèle.

Bien que les chercheurs aient essayé de développer des techniques qui pourraient détecter ou contrer ces attaques, l'efficacité de ces techniques dépend souvent du moment et de la manière dont elles sont appliquées. En outre, Parfois, l'application de techniques de filtrage pour filtrer les modèles de ML contre les attaques d'empoisonnement peut réduire leur précision, les empêchant d'analyser à la fois les données authentiques et corrompues.

Dans une étude récente, des chercheurs de l'Université McMaster au Canada ont utilisé avec succès la théorie des jeux pour modéliser des scénarios d'attaque par empoisonnement. Leurs découvertes, décrit dans un article prépublié sur arXiv, prouve l'inexistence d'un équilibre de Nash en stratégie pure, ce qui implique que chaque joueur choisit à plusieurs reprises la même stratégie dans le « jeu » de l'attaquant et du défenseur.

L'étude des comportements des attaquants et des défenseurs lors d'attaques par empoisonnement pourrait aider à développer des algorithmes de ML mieux protégés contre eux tout en conservant leur précision. Dans leur étude, les chercheurs ont tenté de modéliser les attaques d'empoisonnement dans le contexte de la théorie des jeux, une branche des mathématiques concernée par une meilleure compréhension des stratégies utilisées dans des situations de compétition (par exemple les jeux), où un résultat dépend grandement des choix des personnes impliquées (c'est-à-dire des participants).

"L'objectif de cet article est de trouver l'équilibre de Nash (NE) du modèle de jeu de l'attaque et de la défense par empoisonnement, " Yifan Ou et Reza Samavi, les deux chercheurs qui ont mené l'étude, expliquent dans leur article. "L'identification de la stratégie NE nous permettra de trouver la force de filtrage optimale de l'algorithme de défense, ainsi que l'impact résultant sur le modèle de ML lorsque l'attaquant et le défenseur utilisent des stratégies optimales."

En théorie des jeux, NE est un état stable d'un système qui implique des interactions compétitives entre différents participants (par exemple un jeu). Lorsque NE se produit, aucun participant ne peut gagner quoi que ce soit par un changement unilatéral de stratégie si la stratégie du/des autre(s) joueur(s) reste inchangée.

Dans leur étude, Ou et Samavi ont tenté de trouver le NE dans le cadre d'attaques par empoisonnement et de stratégies de défense. D'abord, ils ont utilisé la théorie des jeux pour modéliser la dynamique des attaques par empoisonnement et ont prouvé qu'un NE pur est inexistant dans un tel modèle. Ensuite, ils ont proposé une stratégie NE mixte pour ce modèle de jeu particulier et ont montré son efficacité dans un cadre expérimental.

"Nous avons utilisé la théorie des jeux pour modéliser les stratégies de l'attaquant et du défenseur dans des scénarios d'attaque par empoisonnement, " les chercheurs ont écrit dans leur article. " Nous avons prouvé l'inexistence de la stratégie pure NE, a proposé une extension mixte de notre modèle de jeu et un algorithme pour approximer la stratégie NE pour le défenseur, a ensuite démontré l'efficacité de la stratégie de défense mixte générée par l'algorithme."

À l'avenir, les chercheurs aimeraient étudier une approche plus générale pour faire face aux attaques d'empoisonnement, ce qui implique de détecter et de rejeter des échantillons à l'aide d'algorithmes d'audit. Cette approche alternative pourrait être particulièrement efficace pour mettre à jour et améliorer un modèle formé dans des situations où les commentaires des utilisateurs sont recherchés en ligne.

© 2019 Réseau Science X