A la mi-juillet 2019, Oakland, Californie, est devenue la troisième ville américaine à interdire aux services municipaux d'utiliser la technologie de reconnaissance faciale. Pendant ce temps, Le Congrès a commencé des audiences sur l'opportunité et la manière de le réglementer au niveau national. Dans un moment surprenant de consensus bipartite, la seule chose contre laquelle les législateurs se sont battus était de savoir à quel point les restrictions devraient être étendues.

Cette réponse à un puissant, une technologie potentiellement invasive est un signe de la façon dont le public et les décideurs pourraient réagir aux futurs développements technologiques, en particulier ceux utilisant l'intelligence artificielle. Non seulement la reconnaissance faciale permet à Facebook d'automatiser le marquage des personnes sur les photos, mais cela renforce également la capacité des forces de l'ordre à traquer les suspects de crime. Les questions éthiques abondent. Comme le dit le Center on Privacy and Technology de Georgetown, la reconnaissance faciale pourrait conduire à « un monde où, une fois que tu as mis le pied dehors, le gouvernement peut suivre chacun de vos mouvements. » Et ce n'est que le début.

À l'horizon, un flot d'innovations numériques qui pourraient être au moins aussi puissantes, vastes et controversées :vidéos "deepfake" montrant des gens faisant des choses qu'ils n'ont jamais faites, l'« internet des objets » surveillant en permanence les habitations privées, réalité virtuelle manipulatrice, les voitures autonomes envahissent les communautés et plus encore.

Je suis chercheur étudiant les impacts sociétaux du numérique, et c'est mon travail de rester informé des technologies à venir et de projeter les résultats futurs. Mais, avec de plus en plus d'innovation, il y a de moins en moins de temps pour réfléchir aux conséquences. Beaucoup de mes collègues ressentent la même chose.

Pour apprivoiser cette marée montante, la société a besoin de barrages et de digues. Tout comme cela a commencé à se produire avec la reconnaissance faciale, il est temps d'envisager des interdictions légales et des moratoires sur d'autres technologies émergentes. Ceux-ci n'ont pas besoin d'être permanents ou absolus, mais l'innovation n'est pas un bien absolu. Plus une technologie est puissante, plus il faut de soins pour fonctionner en toute sécurité.

Peu d'urgence

Il n'y a pas de besoin pressant pour la plupart des nouvelles technologies numériques. Quelques nouveautés, bien sûr, sont presque totalement positifs :anesthésie, lumière électrique, radio, vaccins. Mais la société d'aujourd'hui célèbre souvent l'innovation pour elle-même, même lorsque les avantages sont discutables - et de plus en plus, les avantages sont en effet discutables.

Vaut-il vraiment la peine d'être bondé, ciel bourdonnant rempli de drones pour obtenir une livraison de biens de consommation en une heure, au lieu de la livraison en 24h, ou même deux jours ? La réalité virtuelle est-elle si grande que les enfants devraient, effectivement, grandir les yeux rivés sur les écrans vidéo ? Lorsque les gouvernements peuvent mener des assassinats difficiles à retracer par drone, est-ce que quelqu'un est vraiment en sécurité ? L'analyse des listes de technologies futures possibles peut inciter plus à la peur qu'à l'espoir.

Ces types d'innovations échouent à plusieurs reprises à apporter des améliorations globales de manière vraiment significative, comme à quel point les gens s'aiment, à quel point les gens se soucient de compassion, à quel point la société soutient les moins privilégiés, ou avec quelle sagesse les humains gèrent la planète. Si quoi que ce soit, la technologie semble amplifier les faiblesses morales des humains en dorlotant les gens avec le confort des consommateurs et des chambres d'écho. Le dernier demi-siècle a vu un âge d'or de l'innovation numérique, pourtant les taux de pauvreté ont stagné, les inégalités ont grimpé en flèche et la durabilité semble plus hors de portée.

La plupart des avancées technologiques en cours aujourd'hui ne résoudront pas ces problèmes; ils s'attaqueront aux petits désagréments qu'il n'y a tout simplement pas d'urgence à soulager.

Dommage presque certain, mais pas clair

Les nouvelles technologies ont toujours des conséquences inattendues – souvent négatives – et les innovateurs sous-estiment toujours à quel point elles seront mauvaises. Les pesticides ont causé des fléaux de santé publique. Les bouteilles en plastique ont pollué les océans. Les smartphones contribuent à une crise de santé mentale chez les adolescents.

Réfléchissez à ce qu'un système d'IA pourrait faire si on lui demande de faire quelque chose d'évident, comme maximiser les profits, en utilisant toutes les informations et les outils à sa disposition. Il peut contenir des informations personnelles embarrassantes contre rançon pour contraindre les utilisateurs à acheter des biens, ou extorquer des actions criminelles à des personnes ayant des secrets plus sombres.

Rien n'a encore empêché les algorithmes des boutiques en ligne de mentir pour augmenter les ventes, ni freiné la capacité réelle de Facebook à manipuler les humeurs des utilisateurs. Les entreprises technologiques traitent régulièrement leurs clients comme des cobayes expérimentaux, et appliquent déjà des systèmes d'intelligence artificielle à diverses fins.

Si ce ne sont que les effets connus des entreprises technologiques ; efforts et innovations, imaginez quelles conséquences imprévues pourraient se cacher. La prémisse du jeu populaire "Universal Paperclips" est qu'une IA axée sur l'optimisation d'une entreprise finit par détruire l'univers connu. La science-fiction devient rapidement un fait scientifique.

Difficile de revenir en arrière

Une fois déchaîné, les technologies numériques sont des génies particulièrement difficiles à remettre dans la bouteille. A cet égard, elles diffèrent des autres technologies avancées. Peu après la Seconde Guerre mondiale, les militants ont commencé à appeler à l'interdiction des armes nucléaires, aboutissant au Traité de non-prolifération en 1970. Le traité a réussi à maintenir une technologie vieille de 80 ans limitée à seulement huit ou neuf pays - c'est un exploit impressionnant, en particulier à travers l'histoire déchiquetée de la politique mondiale.

Armes nucléaires, cependant, nécessitent des ressources importantes pour la conception, construire, tester et déployer. Par contre, les technologies numériques sont faciles à partager, les rendant encore plus difficiles à contrôler. Des outils de piratage avancés ont été volés et partagés en ligne :des techniques développées par l'Agence de sécurité nationale des États-Unis ont été utilisées dans des cyberattaques mondiales par la Chine, Russie et Corée du Nord. Leur logiciel est désormais accessible à toute personne disposant d'une connexion Internet.

Un déséquilibre des pouvoirs

Les entreprises technologiques qui poussent leurs avancées ont de l'argent, l'influence et le temps de leur côté. Les millions de dollars de lobbying qu'ils dépensent sont de l'argent de poche par rapport à leurs profits de plusieurs milliards de dollars, et ils peuvent maintenir le financement indéfiniment, en attente des cycles d'actualités et de l'énergie militante.

À mon avis, l'incertitude quant à la façon dont les nouvelles technologies affecteront la société dans son ensemble signifie que les forces sceptiques méritent plus de soutien. Interdictions et moratoires signifieraient que riches, les entités puissantes devraient demander une autorisation légale et sociétale avant de lancer leurs monstres potentiels sur le marché. Cela ne semble pas trop demander.

Il existe de nombreuses raisons de continuer à développer de nouvelles technologies :rester compétitif à l'échelle mondiale, faire progresser les connaissances humaines et se préparer à d'éventuelles crises futures. La technologie a ses avantages. Mais ralentir le rythme de sa progression donnerait à la société plus de temps pour réfléchir aux conséquences et débattre des aspects souhaitables des nouvelles technologies, et qui devrait être interdit.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.