Presque tout le monde connaît l'histoire de HAL 9000, le supercalculateur tueur dans le film phare de Stanley Kubrick 2001 :L'Odyssée de l'Espace , dont le 50e anniversaire sera célébré le 12 mai, 2018 au 71e Festival de Cannes. Dans une coïncidence d'horaire intrigante, IBM, Le partenaire de Kubrick lors du tournage de Une odyssée de l'espace , et Airbus viennent de dévoiler le projet CIMON (Crew Interactive Mobile Companion), un "intelligent, système mobile et interactif d'assistance aux astronautes" qui rejoindra la Station spatiale internationale.

Ces deux événements nous propulsent dans un débat sur les risques créés par le développement de la superintelligence qui pourrait éliminer massivement des emplois ou, encore pire, effacer l'espèce humaine de la surface de la planète - et soulever la question de savoir comment évaluer une telle menace.

À ce jour, nous n'avons aucune expérience d'accidents ou de catastrophes dus à une IA défectueuse ou malveillante. Cependant, l'imagination des artistes et des scientifiques est un trésor de matériel qui raconte l'histoire de la superintelligence libérée de tout contrôle humain.

Une histoire d'IA qui tourne mal

2001 :L'Odyssée de l'Espace est un précurseur des controverses contemporaines. Il raconte l'histoire de la lutte et de la conquête éventuelle d'un être humain, le seul survivant d'un programme méthodique d'extermination mené par un superordinateur sensible.

A bord du vaisseau spatial Découverte Un , seul le supercalculateur HAL 9000 a été informé par ses créateurs du but de la mission :atteindre Jupiter et rechercher des signes d'intelligence extraterrestre. Bien que considéré comme infaillible, HAL fait une erreur. La machine refuse de l'admettre, et, pris au dépourvu, il prétend que l'erreur est due à une "erreur humaine". En principe, les humains sont les concepteurs de l'ordinateur mais, s'il faut le croire, pourrait-il en fait être l'ordinateur lui-même ? Adoptant ce raisonnement, la machine se donne un statut que les membres d'équipage ne pourraient pas imaginer - celui d'un vivant, être sensible et pensant.

Pour l'équipage, L'erreur de HAL est inacceptable. Il n'y a pas de place pour le pardon ou la charité :l'erreur peut être humaine, mais ce n'est pas une machine. Il n'y a pas de recours :HAL doit être mis hors service. Le supercalculateur, omniprésent et omniscient, découvre immédiatement le projet destiné à mettre fin à sa vie. Pour survivre et accomplir sa mission, il décide d'éliminer l'équipage. Un seul humain survit, L'astronaute David Bowman, et il reprend, avec encore plus de détermination, la mission d'homicide numérique.

Bowman réussit à pénétrer le noyau de l'appareil puis mécaniquement, se déconnecte sans émotion et presque cérémonieusement, un par un, les circuits mémoire de la machine depuis leur boîtier. Comme un enfant pris la main dans la jarre à biscuits, l'ordinateur essaie, en parlant de lui-même, faire dérailler la lobotomie. Dans une dernière tentative, il chante une chanson qu'il a apprise dans ses premières heures de "vie", mais rien ne marche, et finalement sa voix s'évanouit.

Une IA qui peut parler d'elle-même

Bien plus que l'histoire d'un combat à mort, l'un des trésors du film est qu'il considère la dimension narrative de l'IA. Il est capable non seulement d'inventer des histoires sur lui-même, mais peut également échouer en raison des circonstances et de ses propres erreurs. Ainsi, l'élimination de l'équipage n'est pas le résultat de l'autonomie de HAL 9000, mais à partir d'une "mauvaise histoire" que se raconte la machine, celui de croire que l'équipage pouvait compromettre la mission.

Les travaux de Kubrick permettent ainsi de concevoir les risques induits par la superintelligence non en termes de domination technique, mais comme la construction d'une identité narrative imparfaite. Bien que la réalité soit encore loin de rattraper la fiction, quelques premiers résultats dans ce domaine méritent réflexion.

En 2016, un roman intitulé Le jour où un ordinateur écrit un roman… Presque a remporté un prix littéraire japonais, le Nikkei Hoshi Shinichi. Il a été pré-écrit par une équipe de recherche en IA de l'Université d'Hakodate, dont le travail consistait initialement à sélectionner des mots et des phrases, puis définir les paramètres qui ont permis à un programme « d'écrire » le roman. De plus de 1, 450 candidatures pour le prix, 11 avait été écrit, au moins en partie, par un non-humain. Bien sûr, le jury ne savait rien des "auteurs".

L'année suivante, dans le même esprit mais sans co-auteur numérique, Zack Thoutt, fan de la série télé Game of Thrones , utilisé un réseau de neurones alimenté avec plus de 5, 000 pages de texte des livres sur lesquels il était basé pour prédire ce qui pourrait se passer ensuite dans l'histoire. Le résultat est loin d'être égal au travail de l'auteur George R. Martin, mais le texte est, pour la plupart, compréhensible et les prédictions sont similaires à certaines des théories populaires auprès des fans de la série.

Plus récemment, un programme conçu par le Media Lab du MIT - baptisé "Shelley" d'après Mary Shelley, l'auteur de Frankenstein; ou, Le Prométhée moderne – créé des contes terrifiants, conçu pour effrayer. La première étape consistait à former le programme avec des histoires écrites par des humains tirées d'une base de données de plus de 140, 000 références. Dans la deuxième étape, l'ordinateur a généré ses propres travaux qu'il a améliorés en collaborant avec des humains qui ont répondu à ses messages via Twitter.

Et dans le domaine de la lecture et de la compréhension des histoires, Google vient de lancer son service « Talk to book » qui permet aux utilisateurs de converser en langage naturel avec un algorithme d'apprentissage automatique censé les aider dans leurs futurs choix de lecture.

Des histoires qui évoquent les risques de l'IA

Si, comme HAL 9000, Les ordinateurs IA essaient d'écrire des histoires, ils sont encore loin d'atteindre les standards fixés par les auteurs humains. Bien que personne ne puisse prédire avec certitude à quoi pourrait ressembler la superintelligence artificielle, il reste possible de l'imaginer en produisant des histoires qui stimulent notre réflexion.

L'historien Yuval Noah Harari a entrepris la tâche, imaginer un avenir où l'automatisation des machines entraînerait la disparition de la majorité des emplois. Il a fait valoir que les humains risquent de perdre leur valeur économique parce que l'intelligence sera découplée de la conscience. Alors que l'intelligence est nécessaire pour conduire une voiture ou diagnostiquer une maladie, la conscience et les expériences humaines subjectives ne sont pas obligatoires.

Encore plus alarmiste, le philosophe Nick Bostrom avance l'idée que les humains n'auront probablement pas l'occasion de vivre cette révolution désastreuse car il est probable qu'ils seront exterminés dès l'apparition de la superintelligence artificielle.

Tant Harari que Bostrom fondent leurs conclusions sur une réduction de l'action à sa dimension fonctionnelle, jugé uniquement en termes d'efficacité. Mais une telle vision néglige des pans entiers de l'existence humaine. Pour y remédier, Le neuroscientifique Antonio Damasio soutient que la vie représente un acte complexe dans lequel les sentiments sont l'expression d'une lutte permanente pour atteindre un équilibre qui sous-tend l'existence humaine. Pour Damasio, sans subjectivité il n'y a pas de créativité, et sans les émotions qui se manifestent dans les relations entre le corps et le cerveau pour percevoir la réalité, il n'y a pas d'humanité.

Accepter cela relègue Kubrick au rang d'un génie dont la prophétie, bien que poétique, est irréaliste. C'est aussi admettre qu'un ordinateur IA ne pourra jamais redéfinir sa propre mission aux dépens de ses créateurs. Et enfin, nous devons prendre très au sérieux l'idée que le principal risque pour l'humanité est une cyberguerre initiée par les humains eux-mêmes – un conflit peuplé de drones et de robots tueurs soutenus par des essaims de virus informatiques tous plus intelligents les uns que les autres.

Cet article a été initialement publié sur The Conversation. Lire l'article original.