Avec un conjoint étudiant l'évolution de l'intelligence artificielle et naturelle et l'autre faisant des recherches sur le langage, la culture et l'histoire de l'Allemagne, imaginez les discussions à notre table. Nous vivons souvent le conflit stéréotypé dans les points de vue entre le quantifiable, l'approche par la mesure des sciences naturelles et l'approche plus qualitative des sciences humaines, où ce qui compte le plus, c'est comment les gens ressentent quelque chose, ou comment ils l'expérimentent ou l'interprètent.

Nous avons décidé de faire une pause dans ce schéma, pour voir à quel point chaque approche peut aider l'autre. Spécifiquement, nous voulions voir si certains aspects de l'intelligence artificielle pouvaient révéler de nouvelles façons d'interpréter un roman graphique non-fictionnel sur l'Holocauste. Nous avons fini par découvrir que certaines technologies d'IA ne sont pas encore suffisamment avancées et robustes pour fournir des informations utiles, mais des méthodes plus simples ont donné lieu à des mesures quantifiables qui ont montré une nouvelle opportunité d'interprétation.

Choisir un texte

Il existe de nombreuses recherches disponibles qui analysent de grands corps de texte, nous avons donc choisi quelque chose de plus complexe pour notre analyse de l'IA :"The Boxer, de Reinhard Kleist, " un roman graphique basé sur l'histoire vraie de la façon dont Hertzko "Harry" Haft a survécu aux camps de la mort nazis. Nous voulions identifier les émotions dans les expressions faciales du personnage principal affichées dans les illustrations du livre, pour savoir si cela nous donnerait une nouvelle perspective pour comprendre l'histoire.

Dans ce dessin animé en noir et blanc, Haft raconte son histoire horrible, dans lequel lui et d'autres détenus du camp de concentration ont été forcés de se boxer jusqu'à la mort. L'histoire est écrite du point de vue de Haft; intercalés tout au long du récit sont des panneaux de flashbacks illustrant les souvenirs de Haft d'événements personnels importants.

L'approche des sciences humaines consisterait à analyser et à contextualiser les éléments de l'histoire, ou le conte dans son ensemble. Le roman graphique de Kleist est une réinterprétation d'un roman biographique de 2009 par le fils de Haft, Allan, sur la base de ce qu'Allan savait des expériences de son père. L'analyse de cet ensemble complexe d'interprétations et de compréhensions des auteurs pourrait ne servir qu'à ajouter une autre couche subjective en plus de celles existantes.

Du point de vue de la philosophie des sciences, ce niveau d'analyse ne ferait que compliquer les choses. Les chercheurs peuvent avoir des interprétations différentes, mais même s'ils étaient tous d'accord, ils ne sauraient toujours pas si leur intuition était objectivement vraie ou si tout le monde souffrait de la même illusion. Résoudre le dilemme nécessiterait une expérience visant à générer une mesure que d'autres pourraient reproduire indépendamment.

Interprétation reproductible des images ?

Plutôt que d'interpréter nous-mêmes les images, les soumettant à nos propres préjugés et idées préconçues, nous espérions que l'IA pourrait apporter une vision plus objective. Nous avons commencé par scanner tous les panneaux du livre. Ensuite, nous avons également exécuté la vision AI de Google et la reconnaissance faciale et l'annotation émotionnelle des personnages de Microsoft AZURE.

Les algorithmes que nous avons utilisés pour analyser "The Boxer" ont été préalablement entraînés par Google ou Microsoft sur des centaines de milliers d'images déjà étiquetées avec des descriptions de ce qu'elles représentent. Dans cette phase de formation, les systèmes d'IA ont été invités à identifier ce que les images montraient, et ces réponses ont été comparées aux descriptions existantes pour voir si le système en cours de formation était bon ou mauvais. Le système de formation a renforcé les éléments des réseaux de neurones profonds sous-jacents qui ont produit des réponses correctes, et affaibli les parties qui ont contribué aux mauvaises réponses. La méthode et les supports de formation – les images et les annotations – sont essentiels à la performance du système.

Puis, nous avons lâché l'IA sur les images du livre. Tout comme sur "Family Feud, " où les producteurs de l'émission posent une question à 100 inconnus et comptent combien choisissent chaque réponse potentielle, notre méthode demande à une IA de déterminer quelle émotion un visage montre. Cette approche ajoute un élément clé souvent absent lors de l'interprétation subjective du contenu :la reproductibilité. Tout chercheur qui souhaite vérifier peut réexécuter l'algorithme et obtenir les mêmes résultats que nous.

Malheureusement, nous avons constaté que ces outils d'IA sont optimisés pour les photographies numériques, pas des scans de dessins en noir et blanc. Cela signifiait que nous n'avions pas beaucoup de données fiables sur les émotions dans les images. Nous avons également été troublés de constater qu'aucun des algorithmes n'identifiait l'une des images comme étant liée à l'Holocauste ou aux camps de concentration - bien que les téléspectateurs humains identifient facilement ces thèmes. Avec un peu de chance, c'est parce que les IA avaient des problèmes avec les images en noir et blanc elles-mêmes, et non à cause d'une négligence ou d'un parti pris dans leurs ensembles d'apprentissage ou leurs annotations.

Le biais est un phénomène bien connu en apprentissage automatique, ce qui peut avoir des résultats vraiment offensants. Une analyse de ces images basée uniquement sur les données que nous avons obtenues n'aurait pas discuté ou reconnu l'Holocauste, une omission contraire à la loi en Allemagne, entre autres pays. Ces failles soulignent l'importance d'évaluer de manière critique les nouvelles technologies avant de les utiliser plus largement.

Trouver d'autres résultats reproductibles

Déterminé à trouver une alternative aux approches quantitatives pour aider les sciences humaines, nous avons fini par analyser la luminosité des images, comparer des scènes de flashback à d'autres moments de la vie de Haft. À cette fin, nous avons quantifié la luminosité des images numérisées à l'aide d'un logiciel d'analyse d'images.

Nous avons constaté que tout au long du livre, Des phases émotionnellement heureuses et légères comme son évasion de prison ou la vie d'après-guerre de Haft aux États-Unis sont montrées à l'aide d'images lumineuses. Phases traumatisantes et tristes, comme ses expériences dans les camps de concentration, sont affichés sous forme d'images sombres. Cela correspond aux identifications psychologiques des couleurs du blanc en tant que ton pur et joyeux, et noir comme symbolisant la tristesse et le chagrin.

Ayant établi une compréhension générale de la façon dont la luminosité est utilisée dans les images du livre, nous avons regardé de plus près les scènes de flashback. Tous représentaient des événements émotionnellement intenses, et certains d'entre eux étaient sombres, comme des souvenirs d'avoir incinéré d'autres détenus des camps de concentration et d'avoir quitté l'amour de sa vie.

Nous étions surpris, cependant, pour constater que les flashbacks montrant Haft sur le point de frapper à mort des adversaires étaient clairs et clairs – suggérant qu'il a une émotion positive à propos de la prochaine rencontre fatale. C'est exactement le contraire de ce que les lecteurs comme nous ressentent probablement en suivant l'histoire, peut-être en voyant l'adversaire de Haft comme faible et en réalisant qu'il est sur le point d'être tué. Lorsque le lecteur ressent de la pitié et de l'empathie, pourquoi Haft se sent-il positif ?

Cette contradiction, trouvé en mesurant la luminosité des images, peut révéler un aperçu plus profond de la façon dont les camps de la mort nazis ont affecté Haft émotionnellement. Pour nous, à l'heure actuelle, il est inimaginable à quel point la perspective de battre quelqu'un d'autre à mort dans un match de boxe serait positive. Mais peut-être que Haft était dans une situation si désespérée qu'il a vu un espoir de survie face à un adversaire encore plus affamé que lui.

L'utilisation d'outils d'IA pour analyser cette littérature a jeté un nouvel éclairage sur les éléments clés de l'émotion et de la mémoire dans le livre - mais ils n'ont pas remplacé les compétences d'un expert ou d'un universitaire pour interpréter des textes ou des images. À la suite de notre expérience, nous pensons que l'IA et d'autres méthodes de calcul présentent une opportunité intéressante avec le potentiel d'être plus quantifiables, recherche reproductible et peut-être objective en sciences humaines.

Il sera difficile de trouver des moyens d'utiliser l'IA de manière appropriée dans les sciences humaines, d'autant plus que les systèmes d'IA actuels ne sont pas encore assez sophistiqués pour fonctionner de manière fiable dans tous les contextes. Les chercheurs doivent également être attentifs aux biais potentiels de ces outils. Si le but ultime de la recherche en IA est de développer des machines qui rivalisent avec la cognition humaine, les systèmes d'intelligence artificielle peuvent avoir besoin non seulement de se comporter comme des personnes, mais comprendre et interpréter les sentiments comme les gens, trop.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.