"Cette recherche ouvre la porte à la simulation de sports avec des avatars virtuels qualifiés, " dit Liu, le premier auteur du rapport. "La technologie peut être appliquée au-delà de la simulation sportive pour créer des personnages plus interactifs pour les jeux, animation, analyse de mouvement, et à l'avenir, robotique."

Les données de capture de mouvement ajoutent déjà du réalisme aux jeux vidéo de pointe. Mais ces jeux comportent aussi des artefacts déconcertants, Liu a noté, comme des balles qui suivent des trajectoires impossibles ou qui semblent coller à la main d'un joueur.

Une méthode basée sur la physique a le potentiel de créer des jeux plus réalistes, mais obtenir les détails subtils est difficile. C'est particulièrement le cas pour dribbler un ballon de basket, car le contact du joueur avec le ballon est bref et la position des doigts est critique. Quelques détails, comme la façon dont une balle peut continuer à tourner brièvement lorsqu'elle entre en contact léger avec les mains du joueur, sont difficiles à reproduire. Et une fois le ballon relâché, le joueur doit anticiper quand et où la balle reviendra.

Liu et Hodgins ont choisi d'utiliser l'apprentissage par renforcement approfondi pour permettre au modèle de saisir ces détails importants. Les programmes d'intelligence artificielle ont utilisé cette forme d'apprentissage en profondeur pour comprendre une variété de jeux vidéo et le programme AlphaGo l'a utilisé pour maîtriser le jeu de société Go.

Les données de capture de mouvement utilisées comme entrée concernaient des personnes faisant des choses telles que faire tourner la balle autour de la taille, dribbler en courant et dribbler sur place à la fois avec la main droite et en changeant de main. Ces données de capture n'incluaient pas le mouvement de la balle, ce que Liu a expliqué est difficile à enregistrer avec précision. Au lieu, ils ont utilisé l'optimisation de la trajectoire pour calculer les trajectoires les plus probables de la balle pour un mouvement de main donné.

Le programme a appris les compétences en deux étapes :d'abord, il a maîtrisé la locomotion, puis a appris à contrôler les bras et les mains et, à travers eux, le mouvement de la balle. Cette approche découplée est suffisante pour des actions telles que le dribble ou peut-être le jonglage, où l'interaction entre le personnage et l'objet n'a pas d'effet sur l'équilibre du personnage. Des travaux supplémentaires sont nécessaires pour aborder le sport, comme le football, où l'équilibre est étroitement lié aux manœuvres de jeu, dit Liu.