Le quart-arrière des Patriots, Tom Brady, a souvent attribué son succès au fait qu'il a passé d'innombrables heures à étudier les mouvements de son adversaire sur film. Cette compréhension du mouvement est nécessaire pour toutes les espèces vivantes, qu'il s'agisse de déterminer à quel angle lancer une balle, ou percevoir le mouvement des prédateurs et des proies. Mais de simples vidéos ne peuvent pas nous donner une image complète.

C'est parce que les vidéos et les photos traditionnelles pour étudier le mouvement sont en deux dimensions, et ne nous montrez pas la structure 3D sous-jacente de la personne ou du sujet d'intérêt. Sans la géométrie complète, nous ne pouvons pas inspecter les petits mouvements subtils qui nous aident à aller plus vite, ou donner un sens à la précision nécessaire pour perfectionner notre forme athlétique.

Récemment, bien que, Des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT ont trouvé un moyen de mieux comprendre cette compréhension du mouvement complexe.

Le nouveau système utilise un algorithme qui peut prendre des vidéos en 2D et les transformer en "sculptures en mouvement" imprimées en 3D qui montrent comment un corps humain se déplace dans l'espace. En plus d'être une visualisation esthétique intrigante de la forme et du temps, l'équipe envisage que leur système "MoSculp" pourrait permettre une étude beaucoup plus détaillée du mouvement pour les athlètes professionnels, danseurs, ou toute personne souhaitant améliorer ses capacités physiques.

"Imaginez que vous ayez une vidéo de Roger Federer servant une balle dans un match de tennis, et une vidéo de vous en train d'apprendre le tennis, " dit le doctorant Xiuming Zhang, auteur principal d'un nouvel article sur le système. « Vous pouvez ensuite créer des sculptures en mouvement des deux scénarios pour les comparer et étudier de manière plus approfondie les points à améliorer. »

Parce que les sculptures en mouvement sont en 3D, les utilisateurs peuvent utiliser une interface informatique pour naviguer dans les structures et les voir sous différents points de vue, révélant des informations liées au mouvement inaccessibles du point de vue d'origine.

Zhang a écrit l'article aux côtés des professeurs du MIT William Freeman et Stefanie Mueller, doctorat étudiant Jiajun Wu, Les chercheurs de Google Qiurui He et Tali Dekel, ainsi que l'U.C. Post-doctorat de Berkeley et ancien PhD du CSAIL. Andrew Owens.

Comment ça fonctionne

Les artistes et les scientifiques ont longtemps lutté pour mieux comprendre le mouvement, limités par leur propre objectif d'appareil photo et ce qu'il pourrait fournir.

Les travaux antérieurs ont surtout utilisé des techniques photographiques dites « stroboscopiques », qui ressemblent beaucoup aux images d'un flip book cousues ensemble. Mais comme ces photos ne montrent que des instantanés de mouvement, vous ne seriez pas en mesure de voir autant de la trajectoire du bras d'une personne lorsqu'elle frappe une balle de golf, par exemple.

Quoi de plus, ces photographies nécessitent également une configuration pré-shoot laborieuse, comme l'utilisation d'un arrière-plan propre et de caméras de profondeur spécialisées et d'équipements d'éclairage. Tout ce dont MoSculp a besoin est une séquence vidéo.

Étant donné une vidéo d'entrée, le système détecte d'abord automatiquement les points clés 2D sur le corps du sujet, comme la hanche, le genou, et la cheville d'une ballerine pendant qu'elle fait une séquence de danse complexe. Puis, il prend les meilleures poses possibles à partir de ces points pour être transformés en "squelettes" 3D.

Après avoir cousu ces squelettes ensemble, le système génère une sculpture en mouvement qui peut être imprimée en 3D, montrant la douceur, cheminement continu du mouvement tracé par le sujet. Les utilisateurs peuvent personnaliser leurs chiffres pour se concentrer sur différentes parties du corps, attribuer différents matériaux pour distinguer les pièces, et même personnaliser l'éclairage.

Dans les études d'utilisateurs, les chercheurs ont découvert que plus de 75 pour cent des sujets pensaient que MoSculp fournissait une visualisation plus détaillée pour étudier le mouvement que les techniques de photographie standard.

« La danse et les mouvements athlétiques hautement qualifiés semblent souvent être des « sculptures en mouvement », mais ils ne créent que des formes fugaces et éphémères, " dit Courtney Brigham, responsable de la communication chez Adobe. "Ce travail montre comment prendre des mouvements et les transformer en véritables sculptures avec des visualisations objectives du mouvement, fournir un moyen aux athlètes d'analyser leurs mouvements pour l'entraînement, ne nécessitant pas plus d'équipement qu'une caméra mobile et un peu de temps de calcul."

Le système fonctionne mieux pour les mouvements plus importants, comme lancer une balle ou faire un grand saut pendant une séquence de danse. Cela fonctionne également pour les situations qui pourraient obstruer ou compliquer les mouvements, comme des personnes portant des vêtements amples ou portant des objets.

Actuellement, le système n'utilise que des scénarios à une seule personne, mais l'équipe espère bientôt s'étendre à plusieurs personnes. Cela pourrait ouvrir la possibilité d'étudier des choses comme les troubles sociaux, interactions interpersonnelles, et la dynamique d'équipe.