Nos yeux trahissent souvent nos intentions. Pensez aux joueurs de poker cachant leurs "tells" derrière des lunettes de soleil ou aux gardiens de but qui surveillent le regard de l'attaquant pour prédire où ils vont tirer.

Dans les sports, jeux de société, et jeux de cartes, les joueurs peuvent se voir, qui crée une couche supplémentaire de gameplay social basé sur le regard, langage corporel et autres signaux non verbaux.

Les jeux numériques manquent complètement de ces signaux. Même quand on joue contre les autres, il y a peu de moyens de transmettre des informations implicites sans mots.

Cependant, l'augmentation récente de la disponibilité des eye trackers commerciaux peut changer cela. Les eye trackers utilisent une caméra infrarouge et des LED infrarouges pour estimer où l'utilisateur regarde sur l'écran. De nos jours, il est possible d'acheter des eye trackers précis et robustes pour aussi peu que 125 $A.

Suivi oculaire pour les jeux

Les eye trackers sont également vendus intégrés dans les ordinateurs portables et les casques VR, ouvrant de nombreuses opportunités pour intégrer le suivi oculaire dans les jeux vidéo. Dans un article de synthèse récent, nous avons proposé un catalogue de la large gamme de mécanismes de jeu rendus possibles par l'eye tracking.

Cela nous a ouvert la voie pour étudier comment les signaux sociaux émis par nos yeux peuvent être incorporés dans des jeux contre d'autres joueurs et l'intelligence artificielle.

Pour explorer cela, nous avons utilisé la version numérique du jeu de société Ticket to Ride. Dans le jeu, les joueurs doivent construire des pistes entre des villes spécifiques sur le plateau. Cependant, parce que les adversaires pourraient bloquer votre chemin, vous devez faire de votre mieux pour garder vos intentions cachées.

Dans un décor de table, si vous ne faites pas attention, votre adversaire pourrait comprendre votre plan en fonction de la façon dont vous regardez le tableau. Par exemple, imaginez que votre objectif est de construire une route entre Santa Fe et Seattle. Notre tendance naturelle est de regarder dans les deux sens entre ces villes, envisager des itinéraires alternatifs et les ressources que vous avez entre les mains.

Dans notre récent article, nous avons découvert que lorsque les humains peuvent voir où regardent leurs adversaires, ils peuvent déduire certains de leurs objectifs – mais seulement si cet adversaire ne sait pas que leurs yeux sont surveillés. Autrement, ils commencent à employer différentes stratégies pour essayer de tromper leur adversaire, y compris en regardant une route de leurre ou en regardant partout.

L'IA peut-elle utiliser ces informations ?

Nous voulions voir si une IA de jeu pouvait utiliser ces informations pour mieux prédire les futurs mouvements des autres joueurs, en s'appuyant sur les modèles précédents de reconnaissance d'intention en IA.

La plupart des IA de jeu utilisent les actions du joueur pour prédire ce qu'il peut faire ensuite. Par exemple, dans la figure ci-dessous à gauche, imaginez qu'un joueur revendique des itinéraires pour aller de Sante Fe à une destination inconnue sur la carte. La tâche de l'IA est de déterminer quelle ville est la destination.

Quand à Santa Fe, toutes les destinations possibles sont également probables. Après être arrivé à Denver, il devient moins probable qu'ils veuillent aller à Oklahoma City, car ils auraient pu prendre une route beaucoup plus directe. S'ils voyagent ensuite de Denver à Helena, alors la ville de Salt Lake devient beaucoup moins probable, et Oklahoma City encore moins.

Dans notre modèle, nous avons augmenté ce modèle de base pour également considérer où ce joueur regarde.

L'idée est simple :si le joueur regarde un certain itinéraire, plus le joueur tentera de réclamer cet itinéraire. Par exemple, considérer le côté droit de la figure. Après être allé à Denver, notre système de suivi oculaire sait que le joueur a regardé l'itinéraire entre Seattle et Helena, en ignorant les autres parties de la carte. Cela nous indique qu'il est plus probable qu'ils empruntent cette route et finissent à Seattle.

Notre IA augmente la probabilité relative de cette action, tout en diminuant les autres. En tant que tel, sa prédiction est que le prochain déménagement sera à Helena, plutôt qu'à Salt Lake City. Vous pouvez en savoir plus sur les détails dans notre article.

Expérimentation

Nous avons évalué dans quelle mesure notre IA pouvait prédire le prochain mouvement dans 20 parties Ticket To Ride à deux joueurs. Nous avons mesuré la précision de nos prédictions et à quel point elles pouvaient être faites tôt dans le jeu.

Les résultats montrent que le modèle de base de reconnaissance d'intention a correctement prédit le prochain mouvement dans 23% du temps. Cependant, quand nous avons ajouté du regard au mélange, la précision a plus que doublé, passant à 55 %.

Plus loin, le modèle du regard a pu prédire la bonne ville de destination plus tôt que le modèle de base, avec l'IA qui utilisait le regard reconnaissant les intentions une minute et demie plus tôt que celle sans regard. Ces résultats démontrent que l'utilisation du regard peut être utilisée pour prédire l'action beaucoup mieux et plus rapidement que la simple utilisation des actions passées seules.

Des résultats récents non publiés montrent que le modèle du regard fonctionne également si la personne observée sait qu'elle est observée. Nous avons découvert que les stratégies de tromperie que les joueurs emploient pour rendre plus difficile pour les autres joueurs de déterminer leurs intentions ne trompent pas les IA aussi bien qu'elles trompent les humains.

Où ensuite ?

Cette idée peut être appliquée dans des contextes autres que les jeux. Par exemple, assemblage collaboratif entre robots et humains dans une usine.

Dans ces scénarios, le regard d'une personne conduira naturellement à une prédiction plus précoce et plus précise du robot, augmentant potentiellement la sécurité et conduisant à une meilleure coordination.

Cet article a été initialement publié sur The Conversation. Lire l'article original.