Les personnes entrant et sortant des photographies étaient autrefois réservées au monde de Harry Potter. Mais maintenant, les informaticiens de l'Université de Washington ont donné vie à cette magie.

Leur algorithme, Réveil photo, peut prendre une personne à partir d'une photo 2D ou d'une œuvre d'art et la faire courir, marcher ou sauter hors du cadre. Le système permet également aux utilisateurs de visualiser l'animation en trois dimensions à l'aide d'outils de réalité augmentée. Les chercheurs présenteront leurs résultats le 19 juin à la Conférence sur la vision par ordinateur et la reconnaissance de formes à Long Beach, Californie. Cette recherche a d'abord attiré l'attention des médias lorsqu'elle a été publiée sous forme de prépublication en décembre sur ArXiv.

"C'est un problème fondamental très difficile en vision par ordinateur, " a déclaré le co-auteur Ira Kemelmacher-Shlizerman, professeur agrégé à la Paul G. Allen School of Computer Science &Engineering de l'UW. "Le grand défi ici est que l'entrée ne provient que d'une seule position de caméra, donc une partie de la personne est invisible. Notre travail combine l'avancement technique sur un problème ouvert dans le domaine avec la visualisation créative artistique."

Précédemment, les chercheurs pensaient qu'il serait impossible d'animer une personne à court d'une seule photo.

"Il y a des travaux antérieurs qui essaient de créer un personnage en 3D en utilisant plusieurs points de vue, " a déclaré le co-auteur Brian Curless, professeur à l'école Allen. "Mais vous ne pouviez toujours pas donner vie à quelqu'un et le faire manquer une scène, et vous ne pouviez pas y intégrer la réalité augmentée. C'était vraiment surprenant que nous puissions obtenir des résultats convaincants en utilisant une seule photo."

Les applications de Photo Wake-Up sont nombreuses, dit l'équipe. Les chercheurs envisagent que cela pourrait conduire à une nouvelle façon pour les joueurs de créer des avatars qui leur ressemblent réellement, une méthode permettant aux visiteurs d'interagir avec les peintures d'un musée d'art - disons s'asseoir pour prendre le thé avec Mona Lisa - ou quelque chose qui permet aux enfants de donner vie à leurs dessins. Les exemples dans le document de recherche incluent l'animation de Stephen Curry des Golden State Warriors pour qu'il s'enfuie du terrain, Paul McCartney pour sauter de la couverture du "Help!" album et "Icare" de Matisse pour sortir de son cadre.

Pour faire de la magie une réalité, Photo Wake-Up commence par identifier une personne dans une image et faire un masque du contour du corps. De là, il correspond à un modèle 3-D à la position du corps du sujet. Ensuite, l'algorithme fait quelque chose de surprenant :afin de déformer le modèle afin qu'il ressemble réellement à la personne sur la photo, il projette la personne 3-D en 2-D.

"C'est très difficile à manipuler en 3D précisément, " a déclaré le co-auteur Chung-Yi Weng, un doctorant à l'école Allen. "Peut-être que tu peux le faire grossièrement, mais toute erreur sera évidente lorsque vous animerez le personnage. Nous devons donc trouver un moyen de gérer les choses parfaitement, et c'est plus facile de le faire en 2D."

Photo Wake-Up stocke des informations 3D pour chaque pixel :sa distance par rapport à la caméra ou à l'artiste et la manière dont les articulations d'une personne sont reliées entre elles. Une fois que le modèle a été déformé pour correspondre à la forme de la personne, l'algorithme colle sur la texture, les couleurs de l'image. Il génère également le dos de la personne en utilisant les informations de l'image et du modèle 3D. Ensuite, l'outil coud les deux côtés ensemble pour former une personne en 3D qui pourra se retourner.

Une fois que le personnage 3D est prêt à fonctionner, l'algorithme doit configurer l'arrière-plan de manière à ce que le personnage ne laisse pas d'espace vide. Photo Wake-Up comble le trou derrière la personne en empruntant des informations à d'autres parties de l'image.

À l'heure actuelle, Photo Wake-Up fonctionne mieux avec des images de personnes tournées vers l'avant, et peut animer à la fois des créations artistiques et des photographies de personnes réelles. L'algorithme peut également gérer certaines photos où les bras des gens bloquent une partie de leur corps, mais il n'est pas encore capable d'animer des personnes qui ont les jambes croisées ou qui se bloquent de grandes parties d'elles-mêmes.

"Photo Wake-Up est une nouvelle façon d'interagir avec les photos, " dit Weng. " Il ne peut pas encore tout faire, Mais ce n'est que le début."