Une équipe de chercheurs a montré qu'elle pouvait récupérer une vidéo de mouvement se déroulant dans une scène cachée en observant les changements d'éclairage dans une région visible à proximité. Ils ont examiné l'effet indirect sur les ombres et l'ombrage dans une région observée.

Traduction :Jouer avec les ombres pour obtenir des informations peut être très gratifiant. L'équipe de chercheurs a créé un nouvel algorithme d'IA qui peut aider les caméras à « voir » les choses hors caméra en utilisant uniquement des ombres en mouvement.

Leur méthode peut reconstruire une vidéo cachée en fonction des ombres qu'elle projette. Le résultat est que vous pouvez estimer à quoi ressemble la vidéo cachée.

Hillary Grigonis dans Tendances numériques ont écrit sur leurs recherches avec une comparaison intéressante, comme "lire des ombres chinoises à l'envers". Comment? "... l'ordinateur voit l'ombre en forme de lapin et est alors capable de créer une estimation de l'objet qui a créé cette ombre. L'ordinateur ne sait pas ce qu'est cet objet, mais peut fournir un aperçu approximatif de la forme."

Commençant, ils étaient intéressés à résoudre le problème de l'activité se déroulant en dehors de leur champ de vision.

Il y a plus d'informations sur la page Web du projet MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) à l'adresse compmirrors.csail.mit.edu et sur GitHub.

Les auteurs ont considéré la valeur de leurs recherches :« Nous avons montré que des scènes encombrées peuvent être transformées par ordinateur en miroirs basse résolution sans étalonnage préalable. » Avec une seule entrée vidéo de la scène visible, ils pourraient récupérer une vidéo latente de la scène cachée ainsi qu'une matrice de transport de lumière.

« Nous trouvons cela remarquable, " ils ont dit, "que le simple fait de demander des facteurs latents facilement exprimables par un CNN [convolutional neural network] est suffisant pour résoudre notre problème, nous permettant de contourner entièrement les défis tels que l'estimation de la géométrie et des propriétés de réflectance de la scène."

Posté le 6 décembre leur vidéo s'intitule « Computational Mirrors :Revealing Hidden Video ». Michael Zhang dans PetaPixel résume ce qu'ils ont fait dans la vidéo. "Les scientifiques du CSAIL du MIT expliquent comment ils ont pointé une caméra sur une pile d'objets, puis ont filmé les ombres créées sur ces objets par une personne se déplaçant hors caméra."

Les légendes de la vidéo ont en outre souligné que leur méthode peut également reconstruire la silhouette d'une performance en direct à partir de ses ombres. Les résultats couvrent au moins la couleur et le mouvement. Zhang a évalué ce qu'ils étaient capables de faire. "L'IA a analysé les ombres et a pu reconstituer une vidéo floue mais d'une précision saisissante de ce que la personne faisait avec ses [sic] mains."

Applications potentielles? Notes vidéo :« Avec un raffinement supplémentaire, cette méthode pourrait permettre aux voitures autonomes de détecter les obstacles cachés.

Rachel Gordon, MIT CSAIL, a évoqué d'autres possibilités :les centres de soins aux personnes âgées qui veillent à la sécurité de leurs résidents; les équipes de recherche et de sauvetage l'utilisent lorsqu'elles doivent naviguer dans des zones dangereuses et obstruées.

En tout, les chercheurs ont emprunté une voie intéressante pour saisir des informations au-delà de la ligne de mire, mais d'autres au MIT ont en quelque sorte été là, c'est fait. Il y a sept ans, les chercheurs du MIT se sont concentrés sur les scènes en dehors d'une ligne de mire normale, a dit Gordon de CSAIL, et ils ont ensuite utilisé des lasers pour produire des images en 3D.

Dans le dernier effort de recherche, cependant, l'équipe voulait voir ce qu'elle pouvait réaliser sans équipement spécial. Gordon a cité le chercheur principal à ce sujet. Miika Aittala, qui a dit, « Vous pouvez faire beaucoup avec des équipements d'imagerie sans visibilité directe comme les lasers, mais dans notre approche, vous n'avez accès qu'à la lumière qui atteint naturellement la caméra, et vous essayez de tirer le meilleur parti des rares informations qu'il contient."

Pensez à déchiffrer. Le défi était de déchiffrer et de donner un sens à ces signaux lumineux. Pensez algorithme. Gordon a écrit que l'équipe s'est concentrée sur la levée de l'ambiguïté en spécifiant de manière algorithmique qu'elle souhaitait un modèle de « brouillage » qui correspond à des ombres et des ombres plausibles dans le monde réel, pour découvrir la vidéo cachée qui semble avoir des bords et des objets qui se déplacent de manière cohérente.

Elle a expliqué que leur algorithme entraîne simultanément deux réseaux de neurones. "Un réseau produit le schéma de brouillage, et l'autre estime la vidéo cachée. Les réseaux sont récompensés lorsque la combinaison de ces deux facteurs reproduit la vidéo enregistrée à partir du fouillis, les poussant à expliquer les observations avec des données cachées plausibles."

Leur article discutant de leur travail s'intitule "Computational Mirrors:Blind Inverse Light Transport by Deep Matrix Factorization, " et c'est sur arXiv. Les auteurs sont Miika Aittala, Prafull Sharma, Lukas Murmann, Adam Yedidia, Grégory Wornell, William T. Freeman et Frédo Durand.

Les rapports ont indiqué qu'ils présenteraient leurs travaux à la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS 2019) à Vancouver, Colombie britannique.

© 2019 Réseau Science X