Des informaticiens de l'Université de Bonn ont développé un logiciel qui peut regarder quelques minutes dans le futur. Le programme apprend d'abord la séquence typique d'actions, comme la cuisine, à partir de séquences vidéo. Sur la base de ces connaissances, il peut alors prédire avec précision dans de nouvelles situations ce que le chef fera à quel moment. Les chercheurs présenteront leurs résultats à la plus grande conférence au monde sur la vision par ordinateur et la reconnaissance de formes, qui se tiendra du 19 au 21 juin à Salt Lake City, ETATS-UNIS.

Le majordome parfait, comme tout fan de drame social britannique le sait, a une capacité spéciale :il perçoit les souhaits de son employeur avant même qu'ils ne soient prononcés. Le groupe de travail du Prof. Dr. Jürgen Gall veut enseigner aux ordinateurs quelque chose de similaire :" il explique.

Un robot de cuisine, par exemple, pourrait alors passer les ingrédients dès qu'ils sont nécessaires, préchauffer le four à temps et en attendant avertir le chef s'il est sur le point d'oublier une étape de préparation. L'aspirateur automatique sait quant à lui qu'il n'a pas d'affaire dans la cuisine à ce moment-là, et s'occupe plutôt du salon.

Nous, les humains, sommes très doués pour anticiper les actions des autres. Pour les ordinateurs cependant, cette discipline en est encore à ses balbutiements. Les chercheurs de l'Institut d'informatique de l'Université de Bonn sont aujourd'hui en mesure d'annoncer un premier succès :ils ont développé un logiciel d'auto-apprentissage qui permet d'estimer le timing et la durée des activités futures avec une précision étonnante sur des périodes de plusieurs minutes.

Données d'entraînement :quatre heures de vidéos sur les salades

Les données de formation utilisées par les scientifiques comprenaient 40 vidéos dans lesquelles les artistes préparent différentes salades. Chacun des enregistrements durait environ 6 minutes et contenait en moyenne 20 actions différentes. Les vidéos contenaient également des détails précis sur l'heure à laquelle l'action a commencé et combien de temps cela a pris.

L'ordinateur "a regardé" ces vidéos de salades totalisant environ quatre heures. Par ici, l'algorithme a appris quelles actions se suivent généralement au cours de cette tâche et combien de temps elles durent. Ce n'est pas anodin :après tout, chaque chef a sa propre approche. En outre, la séquence peut varier selon la recette.

« Ensuite, nous avons testé le succès du processus d'apprentissage, " explique Gall. " Pour cela, nous avons confronté le logiciel avec des vidéos qu'il n'avait jamais vues auparavant. l'ordinateur a été informé de ce qui est montré dans les 20 ou 30 premiers pour cent d'une des nouvelles vidéos. Sur cette base, il lui fallait alors prédire ce qui se passerait pendant la suite du film.

Cela a incroyablement bien fonctionné. Gall : « La précision était supérieure à 40 % pour les courtes périodes de prévision, mais ensuite abandonné plus l'algorithme devait regarder vers l'avenir." Pour les activités qui étaient plus de trois minutes dans le futur, l'ordinateur avait toujours raison dans 15 pour cent des cas. Cependant, le pronostic n'était considéré comme correct que si l'activité et son timing étaient correctement prédits.

Gall et ses collègues souhaitent que l'étude ne soit comprise que comme une première étape dans le nouveau domaine de la prédiction d'activité. D'autant plus que l'algorithme fonctionne nettement moins bien s'il doit reconnaître tout seul ce qui se passe dans la première partie de la vidéo, au lieu d'être dit. Parce que cette analyse n'est jamais correcte à 100 %, Gall parle de données « bruyantes ». « Notre processus fonctionne avec, " dit-il. "Mais malheureusement loin d'être aussi bien."