Je me souviens encore de ma surprise lorsqu'un livre du biologiste évolutionniste Peter Lawrence intitulé La fabrication d'une mouche est venu à un prix sur Amazon à 23 $, 698, 655,93 (plus 3,99 $ d'expédition). Alors que mes collègues du monde entier ont dû devenir plutôt déprimés qu'un livre universitaire puisse réaliser un tel exploit, le prix élevé était en fait le résultat d'algorithmes se nourrissant les uns des autres et devenant incontrôlables. Il s'avère, ce n'était pas seulement le personnel de vente qui était créatif :les algorithmes étaient à l'origine de la décision.

Cet exemple accrocheur a été repéré et corrigé. Mais que se passe-t-il si une telle interférence algorithmique se produit tout le temps, y compris d'une manière que nous ne remarquons même pas ? Si notre réalité est de plus en plus construite par des algorithmes, où cela nous laisse-t-il, nous les humains ?

Inspiré par de tels exemples, mon collègue, le professeur Allen Lee, et moi-même avons récemment entrepris d'explorer les effets plus profonds de la technologie algorithmique dans un article paru dans le Journal of the Association for Information Systems. Notre exploration nous a mené à la conclusion que, heures supplémentaires, les rôles des technologies de l'information et des humains ont été inversés. Autrefois, nous, les humains, avons utilisé la technologie comme un outil. Maintenant, la technologie a progressé au point de nous utiliser et même de nous contrôler.

Nous, les humains, ne sommes pas simplement coupés des décisions que les machines prennent pour nous, mais nous en sommes profondément affectés de manière imprévisible. Au lieu d'être au centre du système de décisions qui nous concerne, nous sommes rejetés dans son environnement. Nous avons progressivement restreint notre propre capacité de décision et laissé les algorithmes prendre le relais. Nous sommes devenus des humains artificiels, ou des artefacts humains, qui sont créés, façonné et utilisé par la technologie.

Les exemples abondent. En loi, les analystes juridiques sont progressivement remplacés par l'intelligence artificielle, ce qui signifie que la défense ou la poursuite réussie d'une affaire peut s'appuyer en partie sur des algorithmes. Les logiciels ont même été autorisés à prédire les futurs criminels, contrôler en fin de compte la liberté humaine en façonnant la façon dont la libération conditionnelle est refusée ou accordée aux prisonniers. De cette façon, l'esprit des juges est façonné par des mécanismes de prise de décision qu'ils ne peuvent pas comprendre en raison de la complexité du processus et de la quantité de données qu'il implique.

Sur le marché du travail, la dépendance excessive à l'égard de la technologie a conduit certaines des plus grandes entreprises du monde à filtrer les CV via des logiciels, ce qui signifie que les recruteurs humains ne regarderont même jamais les détails de certains candidats potentiels. Non seulement cela met les moyens de subsistance des gens à la merci des machines, elle peut aussi s'accompagner de biais d'embauche que l'entreprise n'a pas souhaité mettre en place, comme c'est arrivé avec Amazon.

Dans l'actualité, ce que l'on appelle l'analyse automatisée des sentiments analyse les opinions positives et négatives sur les entreprises en fonction de différentes sources Web. À son tour, ceux-ci sont utilisés par des algorithmes de trading qui prennent des décisions financières automatisées, sans que les humains aient à lire les nouvelles.

Conséquences inattendues

En réalité, les algorithmes fonctionnant sans intervention humaine jouent désormais un rôle important sur les marchés financiers. Par exemple, 85% de toutes les transactions sur les marchés des changes sont effectuées uniquement par des algorithmes. La course aux armements algorithmique croissante pour développer des systèmes toujours plus complexes pour rivaliser sur ces marchés signifie que d'énormes sommes d'argent sont allouées en fonction des décisions des machines.

A petite échelle, les personnes et les entreprises qui créent ces algorithmes peuvent affecter ce qu'elles font et comment elles le font. Mais parce qu'une grande partie de l'intelligence artificielle implique la programmation d'un logiciel pour comprendre comment accomplir une tâche par elle-même, nous ne savons souvent pas exactement ce qui se cache derrière la prise de décision. Comme pour toute technologie, cela peut entraîner des conséquences inattendues qui peuvent aller bien au-delà de tout ce que les concepteurs ont jamais envisagé.

Prenez le « Flash Crash » de 2010 de l'indice Dow Jones Industrial Average. L'action des algorithmes a contribué à créer la plus forte baisse de l'indice de son histoire, effaçant près de 9% de sa valeur en quelques minutes (bien qu'il ait regagné la majeure partie de cette valeur à la fin de la journée). Une enquête de cinq mois n'a pu que suggérer ce qui a déclenché le ralentissement (et diverses autres théories ont été proposées).

Mais les algorithmes qui ont amplifié les problèmes initiaux ne se sont pas trompés. Il n'y avait pas de bug dans la programmation. Le comportement a émergé de l'interaction de millions de décisions algorithmiques se jouant de manière imprévisible, suivant leur propre logique d'une manière qui a créé une spirale descendante pour le marché.

Les conditions qui ont rendu cela possible se sont produites parce que, au cours des années, les responsables du système commercial en étaient venus à considérer les décisions humaines comme un obstacle à l'efficacité du marché. En 1987, lorsque le marché boursier américain a chuté de 22,61 %, certains courtiers de Wall Street ont simplement cessé de décrocher leur téléphone pour éviter de recevoir les ordres de leurs clients de vendre des actions. Cela a lancé un processus qui, comme l'a dit l'auteur Michael Lewis dans son livre Flash Boys, « a pris fin avec des ordinateurs remplaçant entièrement les gens ».

Le monde financier a investi des millions dans des câbles ultrarapides et des communications micro-ondes pour réduire de quelques millisecondes la vitesse à laquelle les algorithmes peuvent transmettre leurs instructions. Quand la vitesse est si importante, un être humain qui nécessite 215 millisecondes pour cliquer sur un bouton est presque complètement redondant. Il ne nous reste plus qu'à reconfigurer les algorithmes à chaque fois que le système de décisions technologiques échoue.

Alors que de nouvelles frontières se creusent entre les humains et la technologie, nous devons réfléchir soigneusement à la destination de notre dépendance extrême aux logiciels. Comme les décisions humaines sont remplacées par des algorithmes, et nous devenons des outils dont la vie est façonnée par les machines et leurs conséquences imprévues, nous nous préparons à la domination technologique. Nous devons décider, while we still can, what this means for us both as individuals and as a society.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.