Des chercheurs de l'armée ont développé une technique d'intelligence artificielle et d'apprentissage automatique qui produit une image visible du visage à partir d'une image thermique du visage d'une personne capturée dans des conditions de faible luminosité ou de nuit. Ce développement pourrait conduire à une amélioration de la biométrie en temps réel et de l'analyse médico-légale post-mission pour les opérations nocturnes secrètes.

Les caméras thermiques comme FLIR, ou infrarouge prospectif, des capteurs sont activement déployés sur des véhicules aériens et terrestres, dans les tours de guet et aux points de contrôle à des fins de surveillance. Plus récemment, les caméras thermiques deviennent disponibles pour être utilisées comme caméras portées sur le corps. La possibilité d'effectuer une reconnaissance faciale automatique la nuit à l'aide de telles caméras thermiques est bénéfique pour informer un soldat qu'un individu est une personne d'intérêt, comme quelqu'un qui peut être sur une liste de surveillance.

Les motivations de cette technologie développée par les Drs. Benjamin S. Riggan, Nathaniel J. Short et Shuowen "Sean" Hu, du laboratoire de recherche de l'armée américaine - visent à améliorer les capacités de correspondance automatique et humaine.

« Cette technologie permet de faire correspondre les images thermiques du visage et les bases de données/listes de surveillance biométriques existantes qui ne contiennent que des images de visage visibles, " dit Riggan, un chercheur scientifique. "La technologie offre aux humains un moyen de comparer visuellement l'imagerie faciale visible et thermique grâce à la synthèse du visage thermique à visible."

Il a dit dans des conditions de nuit et de faible luminosité, il n'y a pas suffisamment de lumière pour qu'un appareil photo conventionnel capture des images faciales pour la reconnaissance sans éclairage actif tel qu'un flash ou un projecteur, qui révélerait la position de ces caméras de surveillance ; cependant, les caméras thermiques qui capturent la signature thermique émanant naturellement du tissu cutané vivant sont idéales pour de telles conditions.

« Lorsque vous utilisez des caméras thermiques pour capturer des images faciales, le principal défi est que l'image thermique capturée doit être comparée à une liste de surveillance ou à une galerie qui ne contient que des images visibles conventionnelles de personnes d'intérêt connues, " dit Riggan. " Par conséquent, le problème devient ce qu'on appelle le spectre croisé, ou hétérogène, reconnaissance de visage. Dans ce cas, les images de sonde faciale acquises dans une modalité sont comparées à une base de données de galerie acquise à l'aide d'une modalité d'imagerie différente."

Cette approche s'appuie sur des techniques avancées d'adaptation de domaine basées sur des réseaux de neurones profonds. L'approche fondamentale est composée de deux parties clés :un modèle de régression non linéaire qui mappe une image thermique donnée dans une représentation latente visible correspondante et un problème d'optimisation qui projette la projection latente dans l'espace image.

Les détails de ce travail ont été présentés en mars dans un article technique "Thermal to Visible Synthesis of Face Images using Multiple Regions" à la conférence d'hiver de l'IEEE sur les applications de la vision par ordinateur, ou WACV, au lac Tahoe, Nevada, qui est une conférence technique composée d'universitaires et de scientifiques du monde universitaire, l'industrie et le gouvernement.

À la conférence, Des chercheurs de l'armée ont démontré que la combinaison d'informations globales, tels que les traits de l'ensemble du visage, et informations locales, telles que les caractéristiques des régions de référence discriminantes, par exemple, les yeux, nez et bouche, amélioré la discriminabilité de l'imagerie de synthèse. Ils ont montré comment les représentations cartographiques thermiques-visibles des régions mondiales et locales dans la signature thermique du visage pouvaient être utilisées conjointement pour synthétiser une image de visage visible affinée.

Le problème d'optimisation pour synthétiser une image tente de préserver conjointement la forme de l'ensemble du visage et l'apparence des détails de repère locaux. En utilisant l'imagerie thermique-à-visible synthétisée et l'imagerie de la galerie visible existante, ils ont réalisé des expériences de vérification faciale à l'aide d'une architecture commune de réseau de neurones profonds open source pour la reconnaissance faciale. L'architecture utilisée est explicitement conçue pour la reconnaissance faciale basée sur le visible. Le résultat le plus surprenant est que leur approche a obtenu de meilleures performances de vérification qu'une approche générative basée sur le réseau, qui présentaient auparavant des propriétés photo-réalistes.

Riggan attribue ce résultat au fait que l'objectif de la théorie des jeux pour les GAN cherche immédiatement à générer des images suffisamment similaires en termes de plage dynamique et d'apparence photo à l'imagerie d'entraînement, en négligeant parfois de préserver les caractéristiques identificatrices, il a dit. L'approche développée par ARL préserve les informations d'identité pour améliorer la discriminabilité, par exemple, une précision de reconnaissance accrue pour les algorithmes de reconnaissance faciale automatique et l'arbitrage humain.

Dans le cadre de la présentation papier, Les chercheurs de l'ARL ont présenté une démonstration en temps quasi réel de cette technologie. La démonstration de preuve de concept comprenait l'utilisation d'une caméra thermique FLIR Boson 320 et d'un ordinateur portable exécutant l'algorithme en temps quasi réel. Cette démonstration a montré au public qu'une image thermique capturée d'une personne peut être utilisée pour produire une image visible synthétisée in situ. Ce travail a reçu un prix du meilleur article dans la session visages/biométrie de la conférence, sur plus de 70 communications présentées.

Riggan a déclaré que lui et ses collègues continueraient à étendre cette recherche sous le parrainage de la Defense Forensics and Biometrics Agency afin de développer une solide capacité de reconnaissance faciale nocturne pour le soldat.