Le film en 3D Avatar de James Cameron a cherché à révolutionner l'expérience cinématographique lors de sa première sortie en 2009, créer un monde immersif pour les téléspectateurs. Mais si vous vouliez aussi sentir la chaleur et le vent, en volant sur une banshee, directement depuis votre siège de cinéma ?

Alors qu'un petit nombre de films dits "4D" qui ajoutent un élément physique existent déjà, des chercheurs de l'Université de Toronto travaillent sur un moyen d'appliquer la fonctionnalité plus largement.

"Habituellement, la chaise tremblera, il peut y avoir des éclaboussures ou un autre type d'interaction pendant le visionnage du film, " dit Yuhao Zhou, un premier cycle de quatrième année dans le département de génie électrique et informatique Edward S. Rogers Sr., du divertissement émergent. « À l'heure actuelle, tous ces effets sont créés dès la première phase de production. Nous aimerions automatiser ce type de processus pour les films qui n'ont pas été créés à l'origine pour les cinémas 4D.

Zhou travaille avec Makarand Tapaswi, un boursier postdoctoral en informatique de l'Université de Toronto, et Sanja Fidler, professeur adjoint au département des sciences mathématiques et informatiques de l'Université de Toronto et au département d'informatique des trois campus. Ils ont récemment eu leur travail, Now You Shake Me :Vers un cinéma 4D automatique, présenté dans une présentation sous les projecteurs à la conférence Computer Vision and Pattern Recognition (CVPR) à Salt Lake City, Utah.

Zhou dit qu'un film 4-D est généralement perçu du point de vue à la première personne, ou appareil photo. Si Will Turner dans Pirates des Caraïbes sent le vent lui souffler au visage, et le cinéphile veut faire l'expérience d'être Turner, puis ils, trop, aurait à éprouver du vent dans leur visage.

"Nous voulons avoir une fonctionnalité où vous pouvez simplement actionner un interrupteur et découvrir ce que ressentent les personnages, " dit Zhou.

Pour convertir un film normal ou 3D en 4D, les chercheurs ont utilisé un site Web indépendant pour annoter les effets du film pour leur modèle de prédiction 4-D.

"Par exemple, [dans Le Seigneur des Anneaux :La Communauté de l'Anneau] Frodon tire Sam hors de l'eau, mais il y a plusieurs effets qui se produisent simultanément, " dit Zhou, qui a commencé à travailler avec Fidler au cours de sa troisième année d'études de premier cycle. "D'abord, il le tire – il y a une interaction physique avec la main. Quand Sam redescend dans l'eau, il tire Frodon, et le bateau tremble.

"La caméra est votre entrée, " ajoute Tapaswi. " Mais dans ce cas, vous voulez faire l'expérience non seulement de ce que la caméra voit, mais aussi l'un des personnages - revivez comment les personnages se sont sentis tremblants et ainsi de suite."

Bien que la technologie 4-D soit encore hors de portée des interactions physiques, c'est-à-dire une main tirant - Tapaswi envisage des capteurs de pression pour simuler le toucher à mesure que la technologie progresse. Le modèle pourrait s'avérer utile dans d'autres domaines comme la réalité virtuelle ou la réalité augmentée.

"Nous collectons ce type d'annotations pour de futures études, " dit Zhou.

Pour leur jeu de données, ils ont appliqué à la fois la classification et la détection des effets. Pour la classification des effets, Zhou dit que leur réseau neuronal, une fonction de machine learning qui permet une analyse et un apprentissage approfondis des données, caractéristiques extraites d'un court clip, y compris le mouvement et l'audio. Pour la détection, il dit, le réseau neuronal peut prédire quels sont les effets, et où ils se produisent, dans un long clip vidéo.

"Vous ne voulez pas seulement savoir ce qui arrive à un personnage dans un plan particulier. Vous voulez pouvoir dire, '[l'effet] est le vent maintenant, non seulement parce que je vois le vent en ce moment, mais [parce que] il y avait probablement du vent avant, '", dit Tapaswi.

Les chercheurs ont découvert que certains genres de films avaient tendance à partager des effets similaires - par exemple, des films se déroulant dans l'espace comme Interstellar ou Gravity. Cela peut être considéré comme une nouvelle façon de regrouper, dit Tapaswi.

"Généralement avec des films en 3D, les cinéphiles portent des lunettes et s'assoient sur une chaise, " dit Zhou. " Avec le cinéma 4D automatique, le réseau neuronal traiterait les informations de film en 2D et en 3D, le nourrir dans la chaise, et simuler les effets."