Non seulement les entreprises, mais aussi les institutions publiques s'appuient de plus en plus sur des décisions automatisées par des systèmes basés sur des algorithmes. Leur efficacité permet d'économiser du temps et de l'argent, mais comporte également de nombreux risques de discrimination à l'encontre d'individus ou de groupes de population. C'est le résultat d'une étude réalisée par l'Institute for Technology Assessment and Systems Analysis (ITAS) du Karlsruhe Institute of Technology (KIT) pour le compte de l'Agence fédérale de lutte contre la discrimination.

Lors de l'octroi d'un prêt, sélection de nouveaux membres du personnel, ou prendre des décisions juridiques - dans un nombre croissant de secteurs, des algorithmes sont appliqués pour préparer des décisions humaines ou pour prendre ces décisions pour des humains. "Malheureusement, c'est souvent une erreur de penser que cela conduit inévitablement à des décisions plus objectives et plus justes, " déclare Carsten Orwat de l'Institute for Technology Assessment and Systems Analysis (ITAS) du KIT. " Les situations deviennent particulièrement critiques lorsque les algorithmes fonctionnent avec des données biaisées et reposent sur des critères qui doivent être protégés, " dit l'auteur. Ces critères comprennent, en particulier, âge, genre, origine ethnique, religion, orientation sexuelle, et handicaps.

Au nom de l'Agence fédérale de lutte contre la discrimination, Carsten Orwat a étudié en détail les causes de la discrimination, son impact sur la société, et les options futures pour réduire les risques de discrimination. Son étude intitulée "Diskriminierungsrisiken durch Verwendung von Algorithmen" (risques de discrimination à l'aide d'algorithmes) répertorie 47 exemples pour illustrer comment les algorithmes peuvent discriminer les personnes de diverses manières et comment cela peut être détecté et prouvé.

Immobiliers, Prêts, Affaires Judiciaires, et plus :Divers exemples de risques de discrimination

A titre d'exemples, Orwat décrit des situations sur les marchés de l'immobilier et des prêts ou dans le système judiciaire. Aux Etats-Unis, par exemple, plusieurs cas ont été documentés, dans lequel les algorithmes des médias sociaux permettaient aux publicités ciblées d'être invisibles pour les personnes protégées par le "Fair Housing Act, " comme les migrants, personnes handicapées, ou avec une couleur de peau non blanche, dit l'auteur. En Finlande, une banque a été condamnée à payer une amende parce que son algorithme d'octroi automatique de prêts en ligne montrait un biais en faveur des hommes par rapport aux femmes et du finnois par rapport aux locuteurs natifs suédois. Cette inégalité de traitement est interdite par la loi finlandaise contre la discrimination. Au moment de décider des libérations anticipées de prison, Les juges américains utilisent un système très controversé qui calcule les scores de risque. Des journalistes et des associations de défense des droits humains critiquent le fait que ce système surestime systématiquement le risque de récidive des Noirs.

"Les systèmes d'apprentissage automatique ont souvent des problèmes lorsqu'ils sont entraînés avec des données reflétant des traitements inégaux ou des stéréotypes, " explique Carsten Orwat. " Dans ce cas, les algorithmes générés le feront également. Lors du traitement de données contenant des évaluations de personnes par d'autres personnes, des traitements inégaux et des discriminations peuvent même se propager ou augmenter.

Recommandations de contre-mesures

Cependant, la société ne doit plus accepter ces traitements inégaux. L'étude énumère plusieurs options pour contrer la discrimination par des algorithmes. « Les mesures préventives semblent être les plus raisonnables, ", explique Carsten Orwat. Les entreprises peuvent demander aux agences de lutte contre la discrimination d'instruire leur personnel et leurs experts informatiques et d'accroître leur sensibilisation. Ensuite, ces personnes utiliseront des ensembles de données qui ne reflètent pas de pratiques discriminatoires ou de traitements inégaux.

Selon Orwat, l'objectif est de rendre les futurs algorithmes "sans discrimination par conception". Cela signifie que les programmes doivent être vérifiés lors de leur développement initial.

À la fin, il s'agit de la protection des valeurs de la société, comme l'égalité ou le libre développement de la personnalité. Pour garantir cela malgré les développements très rapides du « big data » et de l'IA, il est nécessaire d'améliorer la législation anti-discrimination et de protection des données à certains moments, fait remarquer Orwat.