Les systèmes d'apprentissage automatique s'immiscent de plus en plus dans notre vie quotidienne, défiant nos valeurs morales et sociales et les règles qui les régissent. De nos jours, les assistants virtuels menacent l'intimité de la maison ; les recommandataires de nouvelles façonnent notre façon de comprendre le monde ; les systèmes de prévision des risques indiquent aux travailleurs sociaux quels enfants protéger contre les abus ; tandis que les outils de recrutement basés sur les données classent également vos chances de décrocher un emploi. Cependant, l'éthique de l'apprentissage automatique reste floue pour beaucoup.

En recherchant des articles sur le sujet pour les jeunes ingénieurs du cursus Ethique et Technologies de l'Information et de la Communication de l'UCLouvain, Belgique, j'ai été particulièrement frappé par le cas de Joshua Barbeau, un homme de 33 ans qui utilisait un site Internet appelé Projet Décembre pour créer un robot conversationnel (un chatbot) qui simulerait une conversation avec sa fiancée décédée, Jessica.

Des robots conversationnels imitant des morts

Connu sous le nom de deadbot, ce type de chatbot permettait à Barbeau d'échanger des SMS avec une "Jessica" artificielle. Malgré la nature éthiquement controversée de l'affaire, j'ai rarement trouvé des documents allant au-delà du simple aspect factuel et analysant l'affaire à travers une lentille normative explicite :pourquoi serait-il bon ou mauvais, éthiquement souhaitable ou répréhensible, de développer un robot mort ?

Avant d'aborder ces questions, remettons les choses en contexte :Project Decembre a été créé par le développeur de jeux Jason Rohrer pour permettre aux utilisateurs de personnaliser les chatbots avec la personnalité avec laquelle ils souhaitent interagir, à condition de payer pour cela. Le projet a été construit en s'appuyant sur une API de GPT-3, un modèle de langage générateur de texte par la société de recherche en intelligence artificielle OpenAI. Le cas de Barbeau a ouvert un fossé entre Rohrer et OpenAI parce que les directives de l'entreprise interdisent explicitement l'utilisation du GPT-3 à des fins sexuelles, amoureuses, d'automutilation ou d'intimidation.

Qualifiant la position d'OpenAI d'hyper-moraliste et affirmant que des personnes comme Barbeau étaient des "adultes consentants", Rohrer a fermé la version GPT-3 de Project December.

Bien que nous puissions tous avoir des intuitions quant à savoir s'il est bon ou mauvais de développer un robot mort d'apprentissage automatique, énoncer ses implications n'est pas une tâche facile. C'est pourquoi il est important d'aborder les questions éthiques soulevées par le cas, étape par étape.

Le consentement de Barbeau est-il suffisant pour développer le deadbot de Jessica ?

Étant donné que Jessica était une personne réelle (bien que décédée), Barbeau consentant à la création d'un deadbot l'imitant semble insuffisant. Même quand ils meurent, les gens ne sont pas de simples choses dont les autres peuvent faire ce qu'ils veulent. C'est pourquoi nos sociétés considèrent qu'il est mal de profaner ou de manquer de respect à la mémoire des morts. En d'autres termes, nous avons certaines obligations morales concernant les morts, dans la mesure où la mort n'implique pas nécessairement que les personnes cessent d'exister d'une manière moralement pertinente.

De même, le débat est ouvert quant à savoir si nous devons protéger les droits fondamentaux des morts (par exemple, la vie privée et les données personnelles). Développer un deadbot reproduisant la personnalité de quelqu'un nécessite de grandes quantités d'informations personnelles telles que les données des réseaux sociaux (voir ce que proposent Microsoft ou Eternime) qui se sont avérées révéler des traits très sensibles.

Si nous convenons qu'il est contraire à l'éthique d'utiliser les données des personnes sans leur consentement de leur vivant, pourquoi serait-il éthique de le faire après leur mort ? En ce sens, lors du développement d'un deadbot, il semble raisonnable de demander le consentement de celui dont la personnalité est reflétée, dans ce cas, Jessica.

Lorsque la personne imitée donne le feu vert

Ainsi, la deuxième question est :le consentement de Jessica serait-il suffisant pour considérer la création de son deadbot comme éthique ? Et si c'était dégradant pour sa mémoire ?

Les limites du consentement sont, en effet, une question controversée. Prenons comme exemple paradigmatique le "Rotenburg Cannibal", qui a été condamné à la réclusion à perpétuité alors que sa victime avait accepté d'être mangée. À cet égard, il a été soutenu qu'il est contraire à l'éthique de consentir à des choses qui peuvent nous être préjudiciables, que ce soit physiquement (vendre ses propres organes vitaux) ou abstraitement (aliéner ses propres droits), tant qu'une bonne société devrait encourager tous ses membres à vivre mieux et plus librement (pas nécessairement dans un sens paternaliste, aux conditions imposées par quelqu'un d'autre, mais de manière démocratique, aux conditions du peuple).

En quels termes spécifiques quelque chose pourrait être préjudiciable aux morts est une question particulièrement complexe que je n'analyserai pas en détail. Il convient de noter, cependant, que même si les morts ne peuvent être blessés ou offensés de la même manière que les vivants, cela ne signifie pas qu'ils sont invulnérables aux mauvaises actions, ni que celles-ci sont éthiques. Les morts peuvent subir des atteintes à leur honneur, leur réputation ou leur dignité (par exemple, des campagnes de diffamation posthumes), et le manque de respect envers les morts nuit également à leurs proches. De plus, se comporter mal envers les morts nous conduit à une société plus injuste et moins respectueuse de la dignité des personnes en général.

Enfin, compte tenu de la malléabilité et de l'imprévisibilité des systèmes d'apprentissage automatique, il y a un risque que le consentement fourni par la personne imitée (de son vivant) ne signifie pas grand-chose de plus qu'un chèque en blanc sur ses chemins potentiels.

Compte tenu de tout cela, il semble raisonnable de conclure que si le développement ou l'utilisation du deadbot ne correspond pas à ce que la personne imitée a accepté, son consentement doit être considéré comme invalide. De plus, si cela porte clairement et intentionnellement atteinte à leur dignité, même leur consentement ne devrait pas suffire à le considérer comme éthique.

Qui assume la responsabilité ?

Une troisième question est de savoir si les systèmes d'intelligence artificielle doivent aspirer à imiter n'importe quel type du comportement humain (indépendamment du fait que cela soit possible).

C'est une préoccupation de longue date dans le domaine de l'IA et elle est étroitement liée au différend entre Rohrer et OpenAI. Doit-on développer des systèmes artificiels capables, par exemple, de prendre soin des autres ou de prendre des décisions politiques ? Il semble qu'il y ait quelque chose dans ces compétences qui rendent les humains différents des autres animaux et des machines. Par conséquent, il est important de noter que l'instrumentalisation de l'IA à des fins techno-solutionnistes telles que le remplacement d'êtres chers peut conduire à une dévaluation de ce qui nous caractérise en tant qu'êtres humains.

La quatrième question éthique est de savoir qui porte la responsabilité des résultats d'un robot mort, en particulier dans le cas d'effets nocifs.

Imaginez que le deadbot de Jessica ait appris de manière autonome à se comporter d'une manière qui a dégradé sa mémoire ou endommagé de manière irréversible la santé mentale de Barbeau. Qui en assumerait la responsabilité ? Les experts en IA répondent à cette question glissante à travers deux approches principales :premièrement, la responsabilité incombe à ceux qui sont impliqués dans la conception et le développement du système, tant qu'ils le font en fonction de leurs intérêts particuliers et de leur vision du monde; deuxièmement, les systèmes d'apprentissage automatique dépendent du contexte, de sorte que les responsabilités morales de leurs sorties doivent être réparties entre tous les agents qui interagissent avec eux.

Je me place plus près de la première position. Dans ce cas, comme il y a une co-création explicite du deadbot qui implique OpenAI, Jason Rohrer et Joshua Barbeau, je considère logique d'analyser le niveau de responsabilité de chaque partie.

Premièrement, il serait difficile de rendre OpenAI responsable après avoir explicitement interdit l'utilisation de son système à des fins sexuelles, amoureuses, d'automutilation ou d'intimidation.

Il semble raisonnable d'attribuer un niveau significatif de responsabilité morale à Rohrer parce qu'il :(a) a explicitement conçu le système qui a permis de créer le deadbot; (b) l'a fait sans prévoir de mesures pour éviter des résultats négatifs potentiels ; (c) était conscient qu'il ne se conformait pas aux directives d'OpenAI ; et (d) en ont profité.

Et parce que Barbeau a customisé le deadbot en s'appuyant sur des traits particuliers de Jessica, il semble légitime de le tenir co-responsable au cas où cela dégraderait sa mémoire.

Éthique, sous certaines conditions

Donc, pour en revenir à notre première question générale de savoir s'il est éthique de développer un deadbot d'apprentissage automatique, nous pourrions donner une réponse affirmative à condition que :

• tant la personne imitée que celle qui personnalise et interagit avec elle ont donné leur libre consentement à une description aussi détaillée que possible de la conception, du développement et des utilisations du système ;
• les aménagements et usages qui ne respectent pas le consentement de la personne imitée ou qui vont à l'encontre de sa dignité sont interdits ;
• les personnes impliquées dans son développement et celles qui en profitent assument la responsabilité de ses conséquences négatives potentielles. À la fois rétroactivement, pour tenir compte des événements qui se sont produits, et prospectivement, pour empêcher activement qu'ils ne se reproduisent à l'avenir.

Ce cas illustre pourquoi l'éthique de l'apprentissage automatique est importante. Cela illustre également pourquoi il est essentiel d'ouvrir un débat public qui puisse mieux informer les citoyens et nous aider à élaborer des mesures politiques pour rendre les systèmes d'IA plus ouverts, socialement équitables et conformes aux droits fondamentaux.