Que voulons-nous que les voitures sans conducteur fassent dans les accidents mortels inévitables ?

Aujourd'hui, les chercheurs ont publié un article sur l'expérience de la machine morale pour répondre à cette question.

Pour créer des données pour l'étude, près de 40 millions de personnes de 233 pays ont utilisé un site Web pour enregistrer les décisions sur qui économiser et qui laisser mourir dans des scénarios hypothétiques de voitures sans conducteur. C'est une version du « dilemme du chariot » classique – où vous devez privilégier les personnes à prioriser en cas d'urgence.

Certaines des principales conclusions sont intuitives :les participants préfèrent sauver des personnes plutôt que des animaux, les jeunes sur les vieux, et plus plutôt que moins. D'autres préférences sont plus troublantes :les femmes par rapport aux hommes, cadres sur les sans-abri, l'ajustement sur les obèses.

L'expérience est sans précédent en termes de portée et de sophistication :nous avons maintenant une bien meilleure idée de la façon dont les préférences des gens dans de tels dilemmes varient à travers le monde. Les auteurs, sensiblement, attention à ne pas considérer les résultats comme un simple guide de ce que les voitures autonomes devraient faire.

Mais ce n'est que le premier pas dans ce qui doit être un débat vigoureux. Et dans ce débat, de telles enquêtes (aussi intéressantes soient-elles) ne peuvent jouer qu'un rôle limité.

Quelle est la qualité de notre premier jugement ?

Les machines sont beaucoup plus rapides que nous; ils ne paniquent pas. À leur meilleur, ils pourraient incarner notre sagesse réfléchie et l'appliquer efficacement même dans des circonstances pénibles. Pour faire ça, cependant, nous devons commencer avec de bonnes données.

Les clics sur les quiz en ligne sont un excellent moyen de savoir ce que les gens pensent avant d'engager leur jugement. Pourtant, évidemment, nous ne nous plions pas à tous les préjugés. Les auteurs ont omis la race et la nationalité comme motifs de choix, et à juste titre.

Une bonne conception d'enquête ne peut pas être réalisée en vase clos. Et les préférences morales ne sont pas censées être juste des goûts. Pour trouver la bonne chose à faire moralement (pensez à tout choix moralement important auquel vous avez été confronté), vous devez réfléchir sérieusement.

Nous voulons fonder l'intelligence artificielle éthique sur nos meilleurs jugements, pas nécessairement nos premiers.

Le monde est 'chanceux'

L'étude a utilisé des dilemmes qui impliquaient deux résultats :soit vous frappez définitivement la poussette, soit vous tuez définitivement le chien.

Mais les décisions réelles impliquent une grande incertitude :vous ne savez peut-être pas si la personne qui vous précède est un enfant ou un petit adulte, si les frapper les tuerait ou les blesserait, si une déviation à grande vitesse pourrait fonctionner.

Les ordinateurs pourraient faire de meilleures prédictions, mais le monde est intrinsèquement « hasardeux ». C'est un gros problème. Les préférences de l'un ou l'autre dans certains cas ne vont pas plus loin en nous disant quoi faire dans les cas risqués.

Supposons qu'un véhicule autonome doive choisir entre se laisser écraser et ainsi tuer son passager âgé, ou plutôt virer sur le côté et tuer un nourrisson.

L'expérience de la machine morale prédit que les gens sont du côté de l'enfant. Mais cela ne dit pas de combien nous préférerions épargner l'un à l'autre. Peut-être que c'est presque un tirage au sort, et nous penchons juste pour épargner l'enfant. Ou peut-être que sauver l'enfant est beaucoup plus important que sauver le retraité.

Les opinions à ce sujet seront extrêmement diverses, et cette enquête ne nous offre aucune indication. Mais on ne sait pas peser, dire, une probabilité de 10 % de tuer l'enfant contre une probabilité de 50 % de tuer le retraité, à moins que nous sachions combien il est plus important d'épargner l'un que d'épargner l'autre.

Puisque littéralement tous les choix faits par les voitures sans conducteur seront faits dans l'incertitude, c'est un écart important.

Ce que les sondages ne peuvent pas nous dire

La motivation de l'expérience de la machine morale est compréhensible. La responsabilité de coder la prochaine génération d'intelligence artificielle éthique est intimidante.

Le désaccord moral semble répandu. Un sondage ressemble à un bon moyen de trianguler les opinions dans un monde chauffé.

Mais la façon dont nous gérons les désaccords moraux n'est pas seulement un problème scientifique. C'est aussi une morale. Et, depuis l'époque des anciens Grecs, la solution à ce problème moral n'est pas d'agréger les préférences, mais participation démocratique.

Nul doute que la démocratie est en crise, au moins dans certaines parties du monde riche. Mais il reste notre outil le plus important pour prendre des décisions en présence de désaccord inévitable.

La prise de décision démocratique ne se réduit pas à des cases à cocher. Cela implique de prendre votre vote au sérieux, pas simplement en cliquant sur une case sur un site Web. Il implique la participation, débat, et la justification mutuelle.

Des sondages comme celui-ci ne peuvent pas nous dire pourquoi les gens préfèrent les options qu'ils choisissent. Le fait que la décision d'une voiture autonome soit en corrélation avec les opinions des autres n'est pas, tout seul, justifier ce choix (imaginez un conducteur humain justifiant ses actions dans un accident de la même manière).

La justification mutuelle est au cœur de la citoyenneté démocratique. Et cela suppose de s'engager non seulement sur ce que sont nos choix, mais pourquoi nous les fabriquons.

Décider ensemble

Des études comme celle-ci sont intrinsèquement intéressantes, et les auteurs de celui-ci sont admirablement explicites sur ce que c'est, et ce qu'il n'est pas conçu pour montrer.

Pour construire sur ces fondations, nous devons faire beaucoup plus de réflexion sur la façon de peser nos engagements moraux dans l'incertitude.

Et nous devons le faire dans le cadre d'un processus démocratique inclusif où nous ne nous contentons pas d'agréger les préférences des gens, mais prendre au sérieux la tâche de décider, ensemble, notre avenir en intelligence artificielle.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.