La vision aux rayons X a longtemps semblé être un fantasme de science-fiction tiré par les cheveux, mais au cours de la dernière décennie, une équipe dirigée par le professeur Dina Katabi du laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT nous a continuellement rapprochés de la vision à travers les murs.

Leur dernier projet, "RF-Pose, " utilise l'intelligence artificielle (IA) pour apprendre aux appareils sans fil à détecter les postures et les mouvements des gens, même de l'autre côté d'un mur.

Les chercheurs utilisent un réseau de neurones pour analyser les signaux radio qui rebondissent sur le corps des gens, et peut ensuite créer un bonhomme allumette dynamique qui marche, s'arrête, s'assoit et bouge ses membres pendant que la personne exécute ces actions.

L'équipe dit que le système pourrait être utilisé pour surveiller des maladies comme la maladie de Parkinson et la sclérose en plaques (SEP), fournissant une meilleure compréhension de la progression de la maladie et permettant aux médecins d'ajuster les médicaments en conséquence. Cela pourrait également aider les personnes âgées à vivre de manière plus autonome, tout en offrant la sécurité supplémentaire de la surveillance des chutes, les blessures et les changements dans les habitudes d'activité.

(Toutes les données collectées par l'équipe ont le consentement des sujets et sont anonymisées et cryptées pour protéger la confidentialité des utilisateurs. Pour les futures applications du monde réel, l'équipe prévoit de mettre en œuvre un « mécanisme de consentement » dans lequel la personne qui installe l'appareil est invitée à effectuer un ensemble spécifique de mouvements afin qu'elle commence à surveiller l'environnement.)

L'équipe travaille actuellement avec des médecins pour explorer de multiples applications dans le domaine de la santé.

« Nous avons vu que surveiller la vitesse de marche des patients et leur capacité à effectuer des activités de base par eux-mêmes donne aux prestataires de soins de santé une fenêtre sur leur vie qu'ils n'avaient pas auparavant, ce qui pourrait être significatif pour toute une gamme de maladies, " dit Katabi, qui a co-écrit un nouvel article sur le projet. « Un avantage clé de notre approche est que les patients n'ont pas à porter de capteurs ou à se souvenir de charger leurs appareils. »

Outre les soins de santé, l'équipe dit que RF-Pose pourrait également être utilisé pour de nouvelles classes de jeux vidéo où les joueurs se déplacent dans la maison, ou même dans des missions de recherche et de sauvetage pour aider à localiser les survivants.

« Tout comme les téléphones portables et les routeurs Wi-Fi sont devenus des éléments essentiels des ménages d'aujourd'hui, Je crois que les technologies sans fil comme celles-ci contribueront à alimenter les maisons du futur, " dit Katabi, qui a co-écrit le nouvel article avec Ph.D. étudiant et auteur principal Mingmin Zhao, professeur au MIT Antonio Torralba, postdoctoral Mohammad Abu Alsheikh, étudiant diplômé Tianhong Li et Ph.D. étudiants Yonglong Tian et Hang Zhao. Ils le présenteront plus tard ce mois-ci à la Conférence sur la vision par ordinateur et la reconnaissance de formes (CVPR) à Salt Lake City, Utah.

L'un des défis auxquels les chercheurs ont dû faire face est que la plupart des réseaux de neurones sont entraînés à l'aide de données étiquetées à la main. Un réseau de neurones entraîné à identifier les chats, par exemple, exige que les gens regardent un grand ensemble de données d'images et étiquettent chacune comme "chat" ou "pas de chat". Signaux radio, pendant ce temps, ne peut pas être facilement étiqueté par les humains.

Pour remédier à ce, les chercheurs ont collecté des exemples en utilisant à la fois leur appareil sans fil et une caméra. Ils ont rassemblé des milliers d'images de personnes faisant des activités comme marcher, parlant, séance, ouvrir les portes et attendre les ascenseurs.

Ils ont ensuite utilisé ces images de la caméra pour extraire les bonhommes allumettes, qu'ils ont montré au réseau de neurones avec le signal radio correspondant. Cette combinaison d'exemples a permis au système d'apprendre l'association entre le signal radio et les chiffres de bâton des personnes dans la scène.

Post-formation, RF-Pose a pu estimer la posture et les mouvements d'une personne sans caméra, en utilisant uniquement les reflets sans fil qui rebondissent sur le corps des gens.

Puisque les caméras ne peuvent pas voir à travers les murs, le réseau n'a jamais été explicitement formé sur les données de l'autre côté d'un mur, ce qui a rendu l'équipe du MIT particulièrement surprenante que le réseau puisse généraliser ses connaissances pour pouvoir gérer le mouvement à travers le mur.

"Si vous pensez au système de vision par ordinateur comme à l'enseignant, c'est un exemple vraiment fascinant de l'élève surpassant l'enseignant, " dit Torralba.

En plus de détecter le mouvement, les auteurs ont également montré qu'ils pouvaient utiliser des signaux sans fil pour identifier avec précision quelqu'un 83 pour cent du temps sur une file de 100 personnes. Cette capacité pourrait être particulièrement utile pour l'application d'opérations de recherche et de sauvetage, quand il peut être utile de connaître l'identité de personnes spécifiques.

Pour ce papier, le modèle génère un bonhomme allumette 2D, mais l'équipe travaille également à créer des représentations 3D qui pourraient refléter des micromouvements encore plus petits. Par exemple, il peut être en mesure de voir si les mains d'une personne âgée tremblent suffisamment régulièrement pour qu'elle veuille subir un contrôle.

"En utilisant cette combinaison de données visuelles et d'IA pour voir à travers les murs, nous pouvons permettre une meilleure compréhension de la scène et des environnements plus intelligents pour vivre plus en sécurité, vies plus productives, " dit Zhao.