Une équipe de chercheurs de l'armée et de l'industrie a développé une métrique pour les réseaux de neurones - des systèmes informatiques modelés approximativement sur le cerveau humain - qui pourraient évaluer la fiabilité et la confiance de la prochaine génération d'algorithmes d'intelligence artificielle et d'apprentissage automatique.

Réseau de neurones profonds, ou DNN, sont une forme d'apprentissage automatique qui utilise des données d'entraînement pour apprendre. Une fois formé, ils peuvent faire des prédictions lorsqu'ils reçoivent de nouvelles informations ou entrées ; cependant, ils peuvent être facilement trompés si la nouvelle information est trop éloignée de son apprentissage.

Les chercheurs ont déclaré qu'étant donné la diversité des informations dans les données de formation et les nouvelles entrées potentielles, trouver une solution est un défi.

« Cela ouvre une nouvelle opportunité de recherche pour créer la prochaine génération d'algorithmes robustes et résilients, " a déclaré le Dr Brian Jalaian, un scientifique du laboratoire de recherche de l'armée du commandement du développement des capacités de combat de l'armée américaine. "Notre approche est polyvalente et peut être ajoutée en tant que bloc supplémentaire à de nombreux algorithmes modernes de l'armée à l'aide d'algorithmes d'apprentissage automatique modernes basés sur des réseaux de neurones profonds utilisés pour l'imagerie visuelle."

Cette nouvelle mesure de confiance aidera l'armée à créer des techniques d'apprentissage automatique sûres et sécurisées, et s'appliquera aux systèmes de commandement et de contrôle, systèmes de tir de précision et d'aide à la décision, dit Jalaian.

Depuis 2018, des chercheurs de l'Armée et de SRI International, via l'Internet of Battlefield Things Collaborative Research Alliance du laboratoire, ont étudié des méthodes pour renforcer les algorithmes d'apprentissage automatique de l'armée afin d'offrir une fiabilité et une sécurité accrues, et être moins sensibles aux techniques d'apprentissage automatique contradictoires.

Les chercheurs ont publié leurs travaux, "Métrique de confiance basée sur l'attribution pour les réseaux de neurones profonds", à la conférence 2019 sur les systèmes de traitement de l'information neuronale.

"Bien que nous ayons eu du succès, nous n'avions pas d'approche pour détecter les attaques de pointe les plus puissantes telles que les correctifs (adversaires) qui ajoutent du bruit à l'imagerie, telles qu'elles conduisent à des prédictions erronées, " dit Jalaian. " Dans ce travail, nous avons proposé un modèle génératif, qui ajuste les aspects des images d'entrée d'origine dans le réseau de neurones profonds d'origine sous-jacent. La réponse du réseau de neurones profonds d'origine à ces entrées générées est ensuite évaluée pour mesurer la conformité du modèle. »

Cela diffère du corpus de recherche existant, car il ne nécessite pas d'accès aux données d'entraînement, l'utilisation d'ensembles ou la nécessité d'entraîner un modèle de calibration sur un jeu de données de validation différent du jeu d'apprentissage, dit Jalaian.

Au sein de l'armée, les chercheurs continuent de travailler avec la communauté des tests et de l'évaluation pour développer des algorithmes conteneurisés qui mesurent la confiance de divers algorithmes dans différentes applications.

Jalaian a déclaré qu'ils exploraient des variantes de modèles génératifs qui pourraient renforcer les systèmes d'IA de l'armée contre les manipulations contradictoires, ainsi que d'étudier la résilience des modèles de réseaux de neurones, tant sur le plan théorique qu'empirique, qui pourraient être exécutés dans de petits appareils intelligents, tels que ceux qui feraient partie de l'Internet des objets de Battlefield.