Jason Weston, avec un doctorat en apprentissage automatique à l'Université de Londres et Douwe Kiela, avec un doctorat de l'Université de Cambridge avec une thèse sur l'ancrage de la sémantique dans les modalités perceptives, sont des chercheurs de Facebook Research et ont présenté au monde entier Talk the Walk de leur formidable équipe.

Talk the Walk est une révélation pour les scientifiques intéressés à faire plus pour l'IA en tant qu'agent de conversation. Ces jours, ils ne se contentent pas de se réjouir des assistants vocaux qui disent aux gens quand le concert commence ou s'il va pleuvoir. Les scientifiques explorent les dialogues axés sur les objectifs.

À quel point cela semble-t-il facile ? Ne vous faites pas d'illusions. Essayer d'y arriver est difficile.

Entreprise rapide s'est tourné vers Kiela pour les raisons pour lesquelles l'effort de guide touristique a un poids de recherche. "Cette tâche est très importante pour la recherche en IA car elle est très difficile, " Kiela dit, " et parce qu'il combine tous ces problèmes intéressants - la perception visuelle de trois cent soixante, navigation cartographique, raisonnement visuel, et les communications en langage naturel via le dialogue."

Ils ont fait le point, tout d'abord, que le langage naturel est compréhensible pour la plupart des gens "sans nécessiter d'étapes ou de connaissances supplémentaires pour déchiffrer sa signification". Vers cette fin, Le groupe de recherche sur l'IA de Facebook, ÉQUITABLE, sont accrochés à une certaine stratégie pour que l'IA montre une compréhension du langage au niveau humain.

Cette stratégie, ils ont écrit, "est de former ces systèmes d'une manière plus naturelle, en liant le langage à des environnements spécifiques. Tout comme les bébés apprennent d'abord à nommer ce qu'ils peuvent voir et toucher, cette approche, parfois appelée IA incarnée, favorise l'apprentissage dans le contexte de l'environnement d'un système, plutôt que de s'entraîner avec de grands ensembles de données de texte (comme Wikipédia)."

Entrez Talk the Walk. Ils enseignent aux systèmes d'IA à naviguer dans les rues de New York en utilisant des échanges linguistiques qui semblent naturels entre le guide et le touriste. Deux bots ont des tâches. Le bot touristique veut se frayer un chemin à travers des images à 360 degrés des quartiers de New York. Le bot guide est d'aider avec une carte du quartier. L'équipe a utilisé MASC (Masked Attention for Spatial Convolution) afin que le robot guide puisse se concentrer sur le bon endroit sur la carte.

Ils ont déclaré que leur objectif était « d'atteindre ce degré élevé de performance synthétique grâce à l'interaction en langage naturel, et de défier la communauté à faire de même.

Les informations pour Talk the Walk sont sur GitHub. "Le partage de ce travail fournira à d'autres chercheurs un cadre pour tester leurs propres systèmes d'IA incorporés, notamment en matière de dialogue."

Une caméra à 360 degrés a capturé 5 quartiers, La cuisine de l'enfer, Village de l'Est, Quartier financier, Upper East Side, et Williamsburg à Brooklyn. Daniel Terdiman dans Entreprise rapide a déclaré que le robot-guide utilisait une carte 2D standard avec des points de cheminement génériques :« banque, " "café, " "deli"—pour fournir ses instructions sur la façon de naviguer.

Le travail d'IA impliqué consiste à percevoir un certain environnement, en le parcourant, et communiquer à ce sujet. Lucas Matney dans TechCrunch a écrit que "Dans "Talk the Walk, " le bot AI du guide avait toutes ces données cartographiques 2D et le bot touristique avait toutes ces riches données visuelles 360, mais ce n'est que par la communication entre eux qu'ils ont pu exécuter leurs directives. »

Touriste :Woo j'ai trouvé un Chipotle

Guide :« Froid ».

Le document discutant de leur travail peut être trouvé sur arXiv. Il s'intitule "Talk the Walk:Navigating New York City through Grounded Dialogue, " par Harm de Vries, Kurt Shuster, Dhruv Batra, Devi Parikh, Jason Weston et Douwe Kiela.

© 2018 Tech Xplore