Si vous étiez convaincu que vous connaissiez le chemin du retour, allumerais-tu toujours ton GPS ?

Des scientifiques de l'armée ont récemment tenté de répondre à une question similaire en raison d'une préoccupation constante selon laquelle l'intelligence artificielle, qui peut être opaque et frustrant pour beaucoup de gens, peut ne pas être utile dans la prise de décision sur le champ de bataille.

"L'armée américaine continue de pousser la modernisation de ses forces, avec des efforts notables, notamment le développement de logiciels sur smartphone pour la diffusion d'informations en temps réel, tels que le kit d'assaut tactique Android, ou ATAK, et l'allocation de fonds importants à la recherche de nouvelles méthodes d'IA et d'apprentissage automatique pour aider le personnel de commandement et de contrôle, " a déclaré le Dr James Schaffer, scientifique pour le Laboratoire de Recherche de l'Armée de RDECOM, le laboratoire de recherche d'entreprise (ARL) de l'armée de terre, à l'ARL West à Playa Vista, Californie.

Selon Schaffer, malgré ces avancées, une lacune importante dans les connaissances de base sur l'utilisation de l'IA existe toujours, et on ne sait pas quels facteurs de l'IA aideront ou non les processus de prise de décision militaire.

La recherche universitaire et d'entreprise a fait des progrès significatifs dans la résolution de ce problème pour des applications telles que les recommandations de films et de restaurants, mais les résultats ne se traduisent pas exactement dans le monde militaire.

"Par exemple, de nombreuses études de recherche et tests A/B, telles que celles réalisées par Amazon, ont expérimenté différentes formes de persuasion, l'argumentation et les styles d'interface utilisateur pour déterminer la combinaison gagnante qui déplace le plus de produit ou inspire le plus de confiance, " a déclaré Schaffer. " Malheureusement, il existe de grands écarts entre les hypothèses dans ces domaines à faible risque et la pratique militaire. »

La recherche de l'armée, qui était une collaboration entre des scientifiques de l'armée et des chercheurs universitaires de l'Université de Californie, Santa Barbara, fait l'hypothèse que de nombreuses personnes font bien plus confiance à leurs propres capacités qu'à celles d'un ordinateur, ce qui affectera leur jugement lorsqu'ils sont poussés à jouer.

Selon Schaffer, cela implique que même si une IA sans faille pouvait être créée, certaines personnes n'écouteraient pas les conseils de l'IA.

Les chercheurs ont construit un résumé similaire au dilemme du prisonnier itéré, un jeu où les joueurs doivent choisir de coopérer ou de faire défection contre leurs co-joueurs à chaque tour, afin de contrôler tous les facteurs pertinents.

Le dilemme du prisonnier itéré a été utilisé en ce qui concerne plusieurs problèmes du monde réel, comme les courses aux armements militaires, le partage public des ressources et la politique internationale.

Une version en ligne du jeu a été développée par l'équipe de recherche, où les joueurs ont obtenu des points en prenant de bonnes décisions à chaque tour.

Une IA a été utilisée pour générer des conseils à chaque tour, qui a été montré à côté de l'interface de jeu, et a fait une suggestion sur la décision à prendre par le joueur.

Les chercheurs ont eu l'occasion de concevoir une IA qui recommandait toujours le plan d'action optimal.

Cependant, Juste comme dans la vraie vie, les joueurs devaient accéder manuellement aux conseils de l'IA, tout comme vous devez activer manuellement le GPS, et étaient libres d'accepter ou d'ignorer sa suggestion.

Les chercheurs ont également présenté différentes versions de cette IA - certaines étaient délibérément inexactes, certaines informations de jeu requises à saisir manuellement, et certains ont justifié leurs suggestions par des arguments rationnels.

Toutes les variantes de ces traitements d'IA ont été testées afin que les effets d'interaction entre les configurations d'IA puissent être étudiés.

Les gens ont été invités à jouer au jeu en ligne et les chercheurs ont collecté un profil de chaque joueur et surveillé leur comportement.

Pour chaque joueur, les chercheurs ont posé des questions sur leur familiarité avec le jeu tout en mesurant leur véritable compétence.

En outre, un test a été donné à mi-parcours pour mesurer la prise de conscience des éléments de gameplay.

"Ce qui a été découvert pourrait troubler certains défenseurs de l'IA. Deux tiers des décisions humaines ne sont pas d'accord avec l'IA, quel que soit le nombre d'erreurs dans les suggestions, " a déclaré Schaffer.

Plus le joueur a estimé sa familiarité avec le jeu à l'avance, moins l'IA était utilisée, un effet qui était encore observé lors du contrôle de la précision de l'IA. Cela implique que l'amélioration de la précision d'un système ne sera pas en mesure d'augmenter l'adoption du système dans cette population.

"Cela pourrait être un résultat inoffensif si ces joueurs faisaient vraiment mieux, mais ils étaient en fait nettement moins bons que leurs pairs plus humbles, qui a déclaré en savoir moins sur le jeu à l'avance, " a déclaré Schaffer. "Lorsque l'IA a tenté de justifier ses suggestions aux joueurs qui ont signalé une grande familiarité avec le jeu, une prise de conscience réduite des éléments de gameplay a été observée comme un symptôme de confiance excessive et de complaisance."

Malgré ces constatations, une augmentation correspondante de l'accord avec les suggestions de l'IA n'a pas été observée.

Cela représente un piège pour les concepteurs de systèmes :les utilisateurs incompétents ont avant tout besoin de l'IA, mais sont les moins susceptibles d'être influencés par des justifications rationnelles, a dit Schaffer.

Les utilisateurs incompétents étaient également les plus susceptibles de dire qu'ils faisaient confiance à l'IA, qui a été étudiée à travers un questionnaire d'après-match.

"Cela contraste fortement avec leur négligence observée des suggestions de l'IA, démontrer que les gens ne sont pas toujours honnêtes, ou peuvent ne pas toujours être conscients de leur propre comportement, " a déclaré Schaffer.

Pour Schaffer et l'équipe, cette recherche met en évidence les problèmes persistants dans l'utilisabilité de complexes, des systèmes opaques tels que l'IA, malgré les progrès continus de la précision, robustesse et rapidité.

"Les arguments rationnels se sont avérés inefficaces sur certaines personnes, les concepteurs peuvent donc avoir besoin d'être plus créatifs dans la conception d'interfaces pour ces systèmes, " a déclaré Schaffer.

Schaffer a déclaré que cela pourrait être accompli en faisant appel aux émotions ou à la compétitivité, ou même en supprimant la présence de l'IA, de telle sorte que les utilisateurs n'enregistrent pas sa présence et ne s'ancrent donc pas sur leurs propres capacités.

"Malgré les défis de l'interaction homme-machine, Les systèmes de type IA feront partie intégrante de la stratégie de l'armée de terre au cours des cinq prochaines années, " a déclaré Schaffer. " L'un des principaux défis auxquels sont confrontées les opérations militaires aujourd'hui est la réponse rapide des adversaires de la guérilla, qui ont souvent des chaînes de commandement plus courtes et peuvent donc agir et réagir plus rapidement que les forces armées américaines. Des systèmes complexes capables de réagir rapidement à un environnement changeant et d'accélérer le flux d'informations peuvent améliorer les temps de réponse et aider à maintenir le rythme opérationnel, mais uniquement s'ils leur accordent une confiance suffisante."

Le groupe de recherche continue d'expérimenter différentes interfaces pour les systèmes d'IA afin que tous les types de personnes puissent bénéficier de connaissances automatisées de plus en plus efficaces.

Cette recherche apparaîtra dans les actes de la conférence 2019 de l'ACM sur les interfaces utilisateur intelligentes ( iui.acm.org/2019/ ).