La technologie de reconnaissance faciale s'infiltrait déjà dans la vie de tous les jours, de vos photos sur Facebook aux scans de photos d'identité de la police, lorsque Joy Buolamwini a remarqué un grave problème :certains logiciels ne pouvaient pas détecter les visages à la peau foncée comme le sien.

Cette révélation a incité le chercheur du Massachusetts Institute of Technology à lancer un projet qui a une influence démesurée sur le débat sur la façon dont l'intelligence artificielle devrait être déployée dans le monde réel.

Ses tests sur des logiciels créés par des entreprises technologiques de marque telles qu'Amazon ont révélé des taux d'erreur beaucoup plus élevés dans la classification du sexe des femmes à la peau plus foncée que pour les hommes à la peau plus claire.

Le long du chemin, Buolamwini a incité Microsoft et IBM à améliorer leurs systèmes et a contrarié Amazon, qui attaquait publiquement ses méthodes de recherche. Mercredi, un groupe de chercheurs en IA, dont un gagnant du premier prix de l'informatique, a lancé une défense énergique de son travail et a appelé Amazon à cesser de vendre son logiciel de reconnaissance faciale à la police.

Son travail a également attiré l'attention des dirigeants politiques des États et du Congrès et a conduit certains à chercher des limites à l'utilisation des outils de vision par ordinateur pour analyser les visages humains.

"Il doit y avoir un choix, " dit Buolamwini, un étudiant diplômé et chercheur au Media Lab du MIT. "À l'heure actuelle, ce qui se passe, c'est que ces technologies sont déployées à grande échelle sans surveillance, souvent secrètement, de sorte qu'au moment où nous nous réveillons, il est presque trop tard."

Buolamwini n'est pas le seul à mettre en garde contre l'adoption rapide de la reconnaissance faciale par la police, les agences gouvernementales et les entreprises, des magasins aux complexes d'appartements. De nombreux autres chercheurs ont montré comment les systèmes d'IA, qui recherchent des modèles dans d'énormes trésors de données, imiteront les biais institutionnels intégrés dans les données dont ils tirent des enseignements. Par exemple, si les systèmes d'IA sont développés à partir d'images d'hommes majoritairement blancs, les systèmes fonctionneront mieux pour reconnaître les hommes blancs.

Ces disparités peuvent parfois être une question de vie ou de mort :une étude récente sur les systèmes de vision par ordinateur qui permettent aux voitures autonomes de « voir » la route montre qu'elles ont plus de mal à détecter les piétons à la peau plus foncée.

Ce qui a touché une corde sensible dans le travail de Boulamwini, c'est sa méthode de test des systèmes créés par des entreprises bien connues. Elle applique de tels systèmes à une échelle de teint utilisée par les dermatologues, puis nomme et fait honte à ceux qui montrent des préjugés raciaux et sexistes. Buolamwini, qui a également fondé une coalition d'universitaires, militants et autres appelés la Ligue de justice algorithmique, a mêlé ses recherches universitaires à son activisme.

"Cela s'ajoute à un nombre croissant de preuves que la reconnaissance faciale affecte différents groupes différemment, " a déclaré Shankar Narayan, de l'Union américaine des libertés civiles de l'État de Washington, où le groupe a demandé des restrictions sur la technologie. "Le travail de Joy a fait partie de cette prise de conscience."

Amazone, dont le PDG, Jeff Bezos, elle a envoyé un e-mail directement l'été dernier, a répondu en s'attaquant agressivement à ses méthodes de recherche.

Une étude dirigée par Buolamwini publiée il y a un peu plus d'un an a révélé des disparités dans la façon dont les systèmes d'analyse faciale construits par IBM, Microsoft et la société chinoise Face Plus Plus ont classé les personnes par sexe. Les femmes à la peau plus foncée étaient le groupe le plus mal classé, avec des taux d'erreur allant jusqu'à 34,7%. Par contre, le taux d'erreur maximal pour les hommes à peau claire était inférieur à 1 %.

L'étude a appelé à une "attention urgente" pour remédier au biais.

"J'ai répondu à peu près tout de suite, " dit Ruchir Puri, scientifique en chef d'IBM Research, décrivant un e-mail qu'il a reçu de Buolamwini l'année dernière.

Depuis, il a dit, "c'est une relation très fructueuse" qui a informé IBM le dévoilement cette année d'une nouvelle base de données d'un million d'images pour mieux analyser la diversité des visages humains. Les systèmes précédents étaient trop dépendants de ce que Buolamwini appelle des référentiels d'images « masculins pâles ».

Microsoft, qui avait les taux d'erreur les plus bas, commentaire refusé. Messages laissés à Megvii, qui possède Face Plus Plus, n'ont pas été immédiatement renvoyés.

Quelques mois après sa première étude, lorsque Buolamwini a travaillé avec la chercheuse de l'Université de Toronto Inioluwa Deborah Raji sur un test de suivi, les trois entreprises ont montré des améliorations majeures.

Mais cette fois, ils ont également ajouté Amazon, qui a vendu le système qu'il appelle Rekognition aux forces de l'ordre. Les résultats, publié fin janvier, a montré à Amazon une mauvaise identification des femmes aux teintes plus foncées.

"Nous avons été surpris de voir qu'Amazon était là où étaient ses concurrents il y a un an, " a déclaré Buolamwini.

Amazon a rejeté ce qu'il a appelé les "affirmations erronées" de Buolamwini et a déclaré que l'étude confondait l'analyse faciale avec la reconnaissance faciale, mesurant incorrectement le premier avec des techniques pour évaluer le second.

« La réponse aux inquiétudes suscitées par les nouvelles technologies n'est pas d'exécuter des « tests » incompatibles avec la façon dont le service est conçu pour être utilisé, et d'amplifier les conclusions fausses et trompeuses du test à travers les médias, " Matt Bois, directeur général de l'intelligence artificielle de la division cloud-computing d'Amazon, a écrit dans un article de blog de janvier. Amazon a refusé les demandes d'interview.

"Je ne savais pas que leur réaction serait si hostile, " Buolamwini a récemment déclaré dans une interview à son laboratoire du MIT.

Venant à sa défense mercredi était une coalition de chercheurs, dont le pionnier de l'IA Yoshua Bengio, récent lauréat du prix Turing, considéré comme la version du prix Nobel dans le domaine technologique.

Ils ont critiqué la réponse d'Amazon, en particulier sa distinction entre reconnaissance faciale et analyse.

"Contrairement aux affirmations du Dr Wood, les biais trouvés dans un système sont préoccupants dans l'autre, en particulier dans les cas d'utilisation qui pourraient avoir un impact grave sur la vie des gens, telles que les applications répressives, " ils ont écrit.

Ses quelques clients publiquement connus ont défendu le système d'Amazon.

Chris Adzima, analyste principal des systèmes d'information pour le bureau du shérif du comté de Washington en Oregon, a déclaré que l'agence utilise Rekognition d'Amazon pour identifier les correspondances les plus probables parmi sa collection d'environ 350, 000 photos d'identité. Mais parce qu'un humain prend la décision finale, « le biais de ce système informatique n'est transféré dans aucun résultat ou aucune action entreprise, " dit Adzima.

Mais de plus en plus, les régulateurs et les législateurs ont des doutes. Un projet de loi bipartite au Congrès vise à limiter la reconnaissance faciale. Les législatures de Washington et du Massachusetts envisagent leurs propres lois.

Buolamwini a déclaré qu'un message majeur de ses recherches est que les systèmes d'IA doivent être soigneusement examinés et surveillés de manière cohérente s'ils doivent être utilisés sur le public. Non seulement pour vérifier l'exactitude, elle a dit, mais pour s'assurer que la reconnaissance faciale n'est pas utilisée pour violer la vie privée ou causer d'autres dommages.

"On ne peut pas laisser les entreprises seules faire ce genre de contrôle, " elle a dit.

© 2019 La Presse Associée. Tous les droits sont réservés.