Amazon a décidé de fermer son outil de recrutement expérimental d'intelligence artificielle (IA) après avoir découvert qu'il discriminait les femmes. L'entreprise a créé l'outil pour parcourir le web et repérer les candidats potentiels, notez-les de une à cinq étoiles. Mais l'algorithme a appris à déclasser systématiquement les CV des femmes pour des emplois techniques tels que développeur de logiciels.

Bien qu'Amazon soit à la pointe de la technologie de l'IA, l'entreprise n'a pas pu trouver un moyen de rendre son algorithme neutre en termes de genre. Mais l'échec de l'entreprise nous rappelle que l'IA développe des biais provenant de diverses sources. Bien qu'il existe une croyance commune selon laquelle les algorithmes sont censés être construits sans aucun des biais ou préjugés qui colorent la prise de décision humaine, la vérité est qu'un algorithme peut involontairement apprendre des biais à partir d'une variété de sources différentes. Tout depuis les données utilisées pour l'entraîner, aux personnes qui l'utilisent, et même des facteurs apparemment sans rapport, peuvent tous contribuer au biais de l'IA.

Les algorithmes d'IA sont entraînés à observer des modèles dans de grands ensembles de données pour aider à prédire les résultats. Dans le cas d'Amazon, son algorithme a utilisé tous les CV soumis à l'entreprise sur une période de dix ans pour apprendre à repérer les meilleurs candidats. Compte tenu de la faible proportion de femmes travaillant dans l'entreprise, comme dans la plupart des entreprises technologiques, l'algorithme a rapidement repéré la dominance masculine et a pensé que c'était un facteur de succès.

Parce que l'algorithme a utilisé les résultats de ses propres prédictions pour améliorer sa précision, il s'est enlisé dans un modèle de sexisme contre les candidates. Et comme les données utilisées pour l'entraîner ont été créées à un moment donné par des humains, cela signifie que l'algorithme a également hérité de traits humains indésirables, comme les préjugés et la discrimination, qui ont également été un problème de recrutement pendant des années.

Certains algorithmes sont également conçus pour prédire et fournir ce que les utilisateurs veulent voir. Cela se voit généralement sur les réseaux sociaux ou dans la publicité en ligne, où les utilisateurs voient du contenu ou des publicités avec lesquels un algorithme pense qu'ils vont interagir. Des tendances similaires ont également été signalées dans le secteur du recrutement.

Un recruteur a signalé qu'en utilisant un réseau social professionnel pour trouver des candidats, l'IA a appris à lui donner des résultats très similaires aux profils avec lesquels il s'est initialement engagé. Par conséquent, des groupes entiers de candidats potentiels ont été systématiquement exclus du processus de recrutement.

Cependant, un biais apparaît également pour d'autres raisons non liées. Une étude récente sur la façon dont un algorithme diffusait des annonces faisant la promotion d'emplois STEM a montré que les hommes étaient plus susceptibles de voir l'annonce, non pas parce que les hommes étaient plus susceptibles de cliquer dessus, mais parce que les femmes sont plus chères à faire de la publicité. Étant donné que les entreprises fixent un prix plus élevé pour les publicités ciblant les femmes (les femmes représentent 70 à 80 % de tous les achats des consommateurs), l'algorithme a choisi de diffuser davantage d'annonces aux hommes qu'aux femmes, car il a été conçu pour optimiser la diffusion des annonces tout en maintenant les coûts bas.

Mais si un algorithme ne reflète que des modèles dans les données que nous lui donnons, ce que ses utilisateurs aiment, et les comportements économiques qui se produisent sur son marché, n'est-il pas injuste de lui reprocher de perpétuer nos pires attributs ? Nous nous attendons automatiquement à ce qu'un algorithme prenne des décisions sans aucune discrimination alors que c'est rarement le cas avec les humains. Même si un algorithme est biaisé, il peut s'agir d'une amélioration par rapport au statu quo actuel.

Pour profiter pleinement de l'IA, il est important d'étudier ce qui se passerait si nous laissions l'IA prendre des décisions sans intervention humaine. Une étude de 2018 a exploré ce scénario avec des décisions de mise en liberté sous caution en utilisant un algorithme formé sur des données criminelles historiques pour prédire la probabilité de récidive des criminels. Dans une projection, les auteurs ont réussi à réduire les taux de criminalité de 25 % tout en réduisant les cas de discrimination chez les détenus.

Pourtant, les gains mis en évidence dans cette recherche ne se produiraient que si l'algorithme prenait réellement chaque décision. Il est peu probable que cela se produise dans le monde réel, car les juges préféreraient probablement choisir de suivre ou non les recommandations de l'algorithme. Même si un algorithme est bien conçu, il devient redondant si les gens choisissent de ne pas s'y fier.

Beaucoup d'entre nous s'appuient déjà sur des algorithmes pour nombre de nos décisions quotidiennes, de quoi regarder sur Netflix ou acheter sur Amazon. Mais la recherche montre que les gens perdent confiance dans les algorithmes plus rapidement que les humains lorsqu'ils les voient faire une erreur, même lorsque l'algorithme fonctionne mieux dans l'ensemble.

Par exemple, si votre GPS vous suggère d'utiliser un itinéraire alternatif pour éviter un trafic qui prend plus de temps que prévu, vous cesserez probablement de vous fier à votre GPS à l'avenir. Mais si prendre l'autre itinéraire était votre décision, il est peu probable que vous arrêtiez de vous fier à votre propre jugement. Une étude de suivi sur la lutte contre l'aversion pour les algorithmes a même montré que les gens étaient plus susceptibles d'utiliser un algorithme et d'accepter ses erreurs s'ils avaient la possibilité de modifier l'algorithme eux-mêmes, quitte à le rendre imparfaitement performant.

Alors que les humains pourraient rapidement perdre confiance dans les algorithmes défectueux, beaucoup d'entre nous ont tendance à faire davantage confiance aux machines si elles ont des caractéristiques humaines. Selon les recherches sur les voitures autonomes, les humains étaient plus susceptibles de faire confiance à la voiture et pensaient qu'elle fonctionnerait mieux si le système augmenté du véhicule avait un nom, un sexe spécifié, et une voix humaine. Cependant, si les machines deviennent très humaines, mais pas tout à fait, les gens les trouvent souvent effrayants, ce qui pourrait affecter leur confiance en eux.

Même si nous n'apprécions pas forcément l'image que les algorithmes peuvent renvoyer de notre société, il semble que nous ayons toujours envie de vivre avec eux et de les faire ressembler et agir comme nous. Et si c'est le cas, les algorithmes peuvent-ils aussi faire des erreurs ?

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.