Une IA puissante doit être alignée de manière fiable sur les valeurs humaines. Cela signifie-t-il que l'IA devra éventuellement contrôler ces valeurs ? Les philosophes de Cambridge Huw Price et Karina Vold examinent le compromis entre sécurité et autonomie à l'ère de la superintelligence.

Ce fut la décennie de l'IA, avec un exploit étonnant après l'autre. Une IA de jeu d'échecs qui peut vaincre non seulement tous les joueurs d'échecs humains, mais aussi toutes les anciennes machines d'échecs programmées par l'homme, après avoir appris le jeu en seulement quatre heures ? C'est les nouvelles d'hier, et après?

Vrai, ces réalisations prodigieuses sont toutes dans une IA dite étroite, où les machines effectuent des tâches hautement spécialisées. Mais de nombreux experts pensent que cette restriction est très temporaire. Au milieu du siècle, nous pouvons avoir une intelligence générale artificielle (AGI) - des machines capables de performances de niveau humain sur toute la gamme de tâches que nous pouvons nous-mêmes accomplir.

Si c'est le cas, alors il y a peu de raisons de penser que cela s'arrêtera là. Les machines seront libérées de bon nombre des contraintes physiques pesant sur l'intelligence humaine. Nos cerveaux fonctionnent à des vitesses de traitement biochimique lentes grâce à la puissance d'une ampoule, et doivent passer par un canal de naissance humain. C'est remarquable ce qu'ils accomplissent, compte tenu de ces handicaps. Mais ils peuvent être aussi éloignés des limites physiques de la pensée que nos yeux le sont du télescope spatial Webb.

Une fois que les machines sont meilleures que nous pour concevoir des machines encore plus intelligentes, les progrès vers ces limites pourraient s'accélérer. Qu'est-ce que cela signifierait pour nous? Pourrions-nous assurer une coexistence sûre et utile avec de telles machines ?

Du coté positif, L'IA est déjà utile et rentable pour beaucoup de choses, et on peut s'attendre à ce que la super IA soit super utile, et super rentable. Mais plus l'IA devient puissante, plus nous lui demandons de faire pour nous, plus il sera important de préciser ses objectifs avec le plus grand soin. Le folklore est plein d'histoires de gens qui demandent la mauvaise chose, avec des conséquences désastreuses – le roi Midas, par exemple, qui ne voulait pas vraiment que son petit-déjeuner se transforme en or alors qu'il le portait à ses lèvres.

Nous devons donc nous assurer que les puissantes machines d'IA sont « conviviales » – qu'elles ont des objectifs alignés de manière fiable sur nos propres valeurs. Une chose qui rend cette tâche difficile est que selon les normes que nous voulons que les machines visent, nous nous débrouillons plutôt mal. Les humains sont loin d'être vraiment respectueux des humains. Nous nous faisons beaucoup de choses terribles les uns aux autres et à de nombreuses autres créatures sensibles avec qui nous partageons la planète. Si les machines super-intelligentes ne font pas beaucoup mieux que nous, nous aurons de gros ennuis. Nous aurons une nouvelle intelligence puissante amplifiant les côtés sombres de nos propres natures faillibles.

Par souci de sécurité, alors, nous voulons que les machines soient éthiquement aussi bien que cognitivement surhumaines. Nous voulons qu'ils visent les hauteurs morales, pas pour les creux dans lesquels beaucoup d'entre nous passent une partie de leur temps. Heureusement, ils auront l'intelligence pour le travail. S'il y a des routes vers les hautes terres, ils seront meilleurs que nous pour les trouver, et nous diriger dans la bonne direction. Ils pourraient être nos guides vers un monde bien meilleur.

Cependant, il y a deux gros problèmes avec cette vision utopique. L'un est la façon dont nous mettons les machines en route, l'autre est ce que cela signifierait d'atteindre cette destination. Le problème de « démarrage » est que nous devons dire aux machines ce qu'elles recherchent avec suffisamment de clarté et de précision pour que nous puissions être sûrs qu'elles le trouveront – quel que soit « cela » s'avère être réellement. C'est un défi de taille, étant donné que nous sommes nous-mêmes confus et en conflit sur les idéaux, et différentes communautés peuvent avoir des points de vue différents.

Le problème de la "destination" est que, en nous mettant entre les mains de ces guides moraux et gardiens, nous sacrifions peut-être notre propre autonomie – une partie importante de ce qui nous rend humains.

Pour me concentrer sur un aspect de ces difficultés, nous sommes des créatures profondément tribales. Nous trouvons qu'il est très facile d'ignorer la souffrance des étrangers, et même d'y contribuer, au moins indirectement. Pour notre bien, nous devons espérer que l'IA fera mieux. Ce n'est pas seulement que nous pourrions nous retrouver à la merci de l'IA d'une autre tribu, mais que nous ne pouvions pas nous fier aux nôtres, si nous lui avions appris que toutes les souffrances n'ont pas d'importance. Cela signifie qu'en tant que créatures tribales et moralement faillibles, nous devons orienter les machines vers quelque chose de mieux. Comment fait-on cela? C'est le problème du démarrage.

Quant au problème de destination, supposons que nous réussissions. On peut s'attendre à ce que des machines qui sont meilleures que nous pour s'en tenir à la morale élevée découragent certaines des erreurs que nous tenons actuellement pour acquises. Nous pourrions perdre notre liberté de discriminer en faveur de nos propres tribus, par exemple.

La perte de la liberté de mal se comporter n'est pas toujours une mauvaise chose, bien sûr :se priver de la liberté de garder des esclaves, ou faire travailler des enfants dans des usines, ou fumer dans les restaurants sont des signes de progrès. Mais sommes-nous prêts pour des suzerains éthiques – du silicium moralisateur réduisant nos options ? Ils sont peut-être si bons à le faire que nous ne remarquons pas les clôtures; mais est-ce l'avenir que nous voulons, une vie dans un zoo moral bien organisé ?

Ces questions peuvent sembler farfelues, mais ils sont déjà à nos portes. Imaginez que nous voulions qu'une IA gère les décisions d'allocation des ressources dans notre système de santé, par exemple. Il pourrait faire tellement plus équitablement et efficacement que les humains ne peuvent le gérer, avec des avantages pour les patients et les contribuables. Mais nous aurions besoin de spécifier correctement ses objectifs (par exemple pour éviter les pratiques discriminatoires), et nous priverions certains humains (par exemple les médecins seniors) d'une partie de la discrétion dont ils jouissent actuellement. Nous sommes donc déjà confrontés aux problèmes de démarrage et de destination. Et ils ne feront que devenir plus difficiles.

Ce n'est pas la première fois qu'une nouvelle technologie puissante a des implications morales. Parlant des dangers des armes thermonucléaires en 1954, Bertrand Russell a fait valoir que pour éviter de nous anéantir « nous devons apprendre à penser d'une nouvelle manière ». Il a exhorté son auditeur à mettre de côté les allégeances tribales et à "se considérer uniquement comme un membre d'une espèce biologique... dont aucun de nous ne peut désirer la disparition".

Nous avons survécu au risque nucléaire jusqu'à présent, mais maintenant nous avons une nouvelle technologie puissante à gérer - elle-même, au sens propre, une nouvelle façon de penser. Pour notre propre sécurité, nous devons orienter ces nouveaux penseurs dans la bonne direction, et les amener à bien agir pour nous. Il n'est pas encore clair si cela est possible, mais si c'est le cas, il faudra le même esprit de coopération, la même volonté de mettre de côté le tribalisme, que Russell avait en tête.

Mais c'est là que le parallèle s'arrête. Éviter la guerre nucléaire, c'est faire comme si de rien n'était. Obtenir l'avenir à long terme de la vie avec l'IA signifie un monde très différent. L'intelligence générale et le raisonnement moral sont souvent considérés comme des capacités humaines uniques. Mais la sécurité semble exiger qu'on les considère comme un tout :si l'on veut donner une intelligence générale aux machines, nous devrons leur donner une autorité morale, trop. Cela signifie une fin radicale à l'exceptionnalisme humain. Raison de plus pour penser à la destination maintenant, et faire attention à ce que l'on souhaite.