Les chercheurs du laboratoire du professeur Yasamin Mostofi de l'UC Santa Barbara ont permis, pour la première fois, déterminer si la personne derrière un mur est la même personne qui apparaît dans une séquence vidéo donnée, en utilisant uniquement une paire d'émetteurs-récepteurs WiFi à l'extérieur.

Ce nouveau système d'identification de personne basé sur la démarche intermodale vidéo-WiFi, qu'ils appellent XModal-ID (prononcé Cross-Modal-ID), pourrait avoir une variété d'applications, de la surveillance et de la sécurité aux maisons intelligentes. Par exemple, Considérez un scénario dans lequel les forces de l'ordre ont une séquence vidéo d'un vol. Ils soupçonnent le voleur de se cacher à l'intérieur d'une maison. Une paire d'émetteurs-récepteurs WiFi à l'extérieur de la maison peut-elle déterminer si la personne à l'intérieur de la maison est la même que celle de la vidéo du vol ? De telles questions ont motivé cette nouvelle technologie.

« Notre approche proposée permet de déterminer si la personne derrière le mur est la même que celle de la séquence vidéo, en utilisant uniquement une paire d'émetteurs-récepteurs WiFi du commerce à l'extérieur, " a déclaré Mostofi. " Cette approche utilise uniquement les mesures de puissance reçues d'une liaison WiFi. Il n'a pas besoin de données d'entraînement WiFi ou vidéo préalables de la personne à identifier. Il n'a également besoin d'aucune connaissance de la zone d'opération. »

La méthodologie proposée et les résultats expérimentaux seront présentés lors de la 25e Conférence internationale sur l'informatique mobile et les réseaux (MobiCom) le 22 octobre.

Dans les expériences de l'équipe, un émetteur WiFi et un récepteur WiFi sont derrière les murs, à l'extérieur d'une pièce où une personne marche. L'émetteur envoie un signal sans fil dont la puissance reçue est mesurée par le récepteur. Puis, une séquence vidéo donnée d'une personne d'une autre zone - et en utilisant uniquement ces mesures de puissance sans fil reçues - le récepteur peut déterminer si la personne derrière le mur est la même personne vue dans la séquence vidéo.

Cette innovation s'appuie sur les travaux antérieurs du Mostofi Lab, qui a été le pionnier de la détection avec des signaux de fréquence radio quotidiens tels que le WiFi depuis 2009.

"Toutefois, identifier une personne à travers les murs, à partir des séquences vidéo des candidats, est un problème considérablement difficile, " a déclaré Mostofi. Le succès de son laboratoire dans cette entreprise est dû à la nouvelle méthodologie proposée qu'ils ont développée.

"La façon dont chacun de nous bouge est unique. Mais comment capturer et comparer correctement le contenu des informations de marche des signaux vidéo et WiFi pour établir s'ils appartiennent à la même personne?"

Les chercheurs ont proposé une nouvelle façon qui, pour la première fois, peut traduire le contenu de la démarche vidéo dans le domaine sans fil.

« Notre approche est pluridisciplinaire, puisant dans les domaines des communications sans fil et de la vision, " dit Chitra Karanam, l'un des trois doctorats. étudiants sur le projet. Compte tenu de quelques séquences vidéo, l'équipe a d'abord utilisé un algorithme de récupération de maillage humain pour extraire le maillage 3D décrivant la surface externe du corps humain en fonction du temps. Ils ont ensuite utilisé l'approximation des ondes électromagnétiques de Born pour simuler le signal RF qui aurait été généré si cette personne marchait dans une zone WiFi.

Ensuite, ils ont utilisé leur approche de traitement temps-fréquence pour extraire les principales caractéristiques de la démarche à la fois du signal WiFi réel (qui a été mesuré derrière le mur) et du signal simulé basé sur la vidéo. Les deux signaux sont ensuite comparés pour déterminer si la personne dans la zone WiFi est la même personne dans la vidéo.

Le pipeline de traitement des chercheurs implique une série de fonctions mathématiques, y compris la transformée de Fourier à court terme et les fonctions d'Hermite, afin d'obtenir le spectrogramme du signal reçu. "Un spectrogramme porte le contenu fréquence-temps du signal, qui porte implicitement les informations de démarche de la personne, " a expliqué Belal Korany, un autre doctorat étudiant impliqué dans l'effort.

Plusieurs caractéristiques importantes de la démarche sont ensuite extraites des deux spectrogrammes et correctement comparées pour déclarer si la personne dans la vidéo est derrière le mur.

« Nous avons largement testé cette technologie sur notre campus, " dit Herbert Cai, le troisième doctorat. étudiant sur le projet. Le laboratoire a testé sa nouvelle technologie sur 1, 488 paires WiFi-vidéo, tiré d'un pool de huit personnes, et dans trois zones différentes derrière les murs, et atteint une précision globale de 84% en identifiant correctement la personne derrière le mur.