Un trio de chercheurs de l'Université de KU Leuven en Belgique a découvert qu'il est possible de confondre un système d'IA en imprimant une certaine image et en la tenant contre leur corps alors que le système d'IA essaie de les identifier en tant qu'êtres humains. Simen Thys, Wiebe Van Ranst et Toon Goedemé ont rédigé un article décrivant leurs efforts et l'ont téléchargé sur le site arXiv serveur de préimpression. Ils ont également posté une vidéo sur YouTube montrant ce qu'ils ont accompli.

Pour qu'un système d'IA apprenne quelque chose, comme l'identification d'objets (y compris des êtres humains) dans une scène, il doit être entraîné - l'entraînement consiste à lui montrer des milliers d'objets qui entrent dans des catégories données jusqu'à ce que des modèles généraux émergent. Mais comme des recherches antérieures l'ont suggéré, de tels systèmes peuvent parfois devenir confus si on leur présente quelque chose qu'ils n'ont pas été entraînés à voir. Dans ce cas, une image 2D de personnes tenant des parapluies colorés. De telles images trompeuses d'IA sont connues sous le nom de patchs contradictoires.

À mesure que les systèmes d'IA deviennent plus précis et sophistiqués, les gouvernements et les entreprises ont commencé à les utiliser pour des applications réelles. Une application bien connue utilisée par les gouvernements consiste à repérer des individus qui pourraient semer le trouble. De tels systèmes sont entraînés à reconnaître la forme humaine - une fois que cela se produit, un système de reconnaissance faciale peut être activé. Des recherches récentes ont montré que les systèmes de reconnaissance faciale peuvent être trompés par les utilisateurs portant des lunettes spécialement conçues. Et maintenant, il semble que les systèmes d'IA de repérage humain puissent être trompés par des images placées devant leurs formes.

Dans leur tentative de tromper un système d'IA particulier à reconnaissance humaine appelé YoLo (v2), les chercheurs ont créé ou édité divers types d'images qu'ils ont ensuite testées avec le système d'IA jusqu'à ce qu'ils en trouvent une qui fonctionnait particulièrement bien - une image de personnes tenant des parapluies colorés. qui avait été modifié en le faisant pivoter et en ajoutant du bruit. Pour tromper le système d'IA, la photographie a été tenue dans une position qui occupait la boîte que le système d'IA a construit pour déterminer si un objet donné était identifiable.

Les chercheurs ont démontré l'efficacité de leur patch accusatoire en créant une vidéo qui montrait les boîtes dessinées par le système d'IA alors qu'il rencontrait des objets dans son champ de vision, puis leur affichait des étiquettes d'identification. Sans le patch, le système identifiait très facilement les personnes dans la vidéo comme des êtres humains, mais si l'un d'entre eux tenait le patch au-dessus de sa section médiane, le système d'IA n'était plus en mesure de détecter leur présence.

© 2019 Réseau Science X