Si le récent scandale des données de Cambridge Analytica nous a appris quelque chose, c'est que les cultures éthiques de nos plus grandes entreprises technologiques ont besoin d'un examen plus rigoureux.

Mais les questions morales sur les données qui doivent être collectées et comment elles doivent être utilisées ne sont qu'un début. Ils soulèvent des questions plus larges quant à savoir qui prend ces décisions en premier lieu.

Nous avons actuellement un système dans lequel le pouvoir sur l'utilisation judicieuse et éthique des données est massivement concentré parmi les hommes blancs. La recherche montre que les préjugés inconscients qui émergent de l'éducation et des expériences d'une personne peuvent être intégrés à la technologie, entraînant des conséquences négatives pour les groupes minoritaires.

Ces biais sont difficiles à éliminer, ce qui fait de la diversité sur le lieu de travail un outil puissant et nécessaire pour détecter les préjugés insoupçonnés avant qu'ils n'aient une chance de causer des dommages. À mesure que l'impact des algorithmes et des décisions basés sur les données se fait plus profond, nous devons nous demander :comment cela va-t-il changer à l'avenir ?

Malheureusement, les indicateurs suggèrent que la réponse est :pas grand-chose.

De quelles conséquences parle-t-on ?

Le biais algorithmique est maintenant un problème largement étudié qui fait référence à la façon dont les biais humains se glissent dans les décisions prises par les ordinateurs.

Le problème a conduit à des traductions linguistiques genrées, recommandations de condamnations pénales biaisées, et les systèmes de reconnaissance faciale racialement biaisés.

Par exemple, lorsqu'un outil de traduction automatique tel que Google Translate est requis pour traduire une langue neutre en termes de genre (comme le turc) en une langue spécifique au genre (comme l'anglais), il fait une supposition quant au genre à attribuer au texte traduit.

Les gens ont remarqué que Google Translate avait tendance à attribuer des pronoms féminins à certains emplois et des pronoms masculins à d'autres - "elle est une baby-sitter" ou "il est médecin" - d'une manière qui empestait le sexisme. Google Translate fonde sa décision sur le sexe à attribuer à un travail particulier sur les données de formation dont il tire des enseignements. Dans ce cas, c'est ramasser les préjugés sexistes qui existent déjà dans le monde et nous les renvoyer.

Si nous voulons nous assurer que les algorithmes ne perpétuent pas et ne renforcent pas les biais existants, nous devons faire attention aux données que nous utilisons pour entraîner les algorithmes. Mais si nous pensons que les femmes sont plus susceptibles d'être des baby-sitters et les hommes sont plus susceptibles d'être médecins, alors nous pourrions même ne pas remarquer – et corriger – les données biaisées dans les outils que nous construisons.

Il est donc important de savoir qui écrit le code car le code définit l'algorithme, qui porte le jugement sur la base des données.

Qui détient le pouvoir ?

Il y a seulement dix ans, les premiers smartphones faisaient leur apparition. Aujourd'hui, certaines des personnes les plus puissantes de la planète sont celles qui contrôlent les données recueillies grâce aux technologies mobiles.

Les données sont au cœur du fonctionnement du monde moderne. Et le pouvoir sur les affaires, la démocratie et l'éducation continueront probablement de reposer sur des données et des outils dépendants des données, comme l'apprentissage automatique et l'intelligence artificielle.

Actuellement, les personnes qui ont le pouvoir de prendre des décisions éthiques concernant l'utilisation des données sont généralement des hommes blancs à revenu élevé, familles bien éduquées.

Une société de recherche, MIC ouvert, qui se décrit comme « investir dans la diversité raciale dans le monde de la technologie », a examiné les données de certaines des plus grandes entreprises de technologie et a trouvé un schéma cohérent :des pourcentages disproportionnés d'employés blancs par rapport à l'ensemble de la population active.

Les effectifs d'Adobe sont à 69 % blancs, Apple est blanc à 56%, Google est blanc à 59 % et Microsoft est blanc à 58 %. La liste est longue :« Les Noirs, Latinos, et les Amérindiens sont sous-représentés dans la technologie de 16 à 18 points de pourcentage par rapport à leur présence dans la population active américaine en général. »

Ceci est aggravé par un manque de diversité des genres paralysant.

Dans un rapport Microsoft de 2017, une enquête auprès des leaders britanniques de l'informatique et de la technologie a révélé qu'en moyenne, la mixité au sein de leurs équipes était de 80 % d'hommes et 20 % de femmes. Un nombre impressionnant de 35 % des répondants n'avaient aucun plan en place pour changer ce déséquilibre.

Les chiffres sont similaires en Australie, selon une étude de profils professionnels australiens sur le réseau social LinkedIn.

Il a révélé que seulement 14% des postes de direction dans l'industrie technologique locale étaient occupés par des femmes. Sur les 435, 000 personnes en IT répertoriées sur LinkedIn en Australie, seulement 31 % étaient des femmes. Même ces chiffres peuvent être optimistes, selon le scientifique en chef australien, Alain Finkel, qui a noté que les femmes représentent moins d'un cinquième des Australiens qualifiés en sciences, La technologie, ingénierie et mathématiques.

Cela changera-t-il ?

Les personnes susceptibles d'être chargées de développer les algorithmes du futur sont celles qui étudient actuellement l'informatique et les sciences mathématiques. Malheureusement, les groupes dominant ces matières dans les écoles et les universités reflètent largement la main-d'œuvre actuelle.

Les étudiants nationaux australiens inscrits dans les technologies de l'information de niveau supérieur ont chuté d'un sommet de 46, 945 en 2002 à 27, 547 en 2013. Alors que les chiffres se sont légèrement améliorés selon les classements universitaires de l'AEN, les femmes en ingénierie et en informatique représentent encore moins d'un étudiant sur cinq.

Pendant ce temps, le nombre de filles au niveau lycée suivant les matières avancées d'informatique et de mathématiques nécessaires pour accéder à ces rôles reste résolument faible.

Ce navire met du temps à faire demi-tour.

Que pouvons-nous y faire?

Si les codeurs du futur sont les garçons de la classe moyenne d'aujourd'hui, comment les préparons-nous à faire des choix éthiques impartiaux lorsqu'ils deviennent les Zuckerberg de demain ? Et comment pouvons-nous diriger le navire pour que la richesse et le pouvoir qui continueront de découler de la maîtrise de telles compétences techniques ne soient pas refusés à ceux qui ne sont pas blancs et masculins ?

Notre système éducatif permet involontairement aux garçons de se former en tant que techniciens sans les compétences nécessaires pour mettre leur travail dans un contexte social, et permettre aux filles de faire l'inverse.

En effet, alors que bon nombre des jeunes femmes les plus intelligentes choisissent d'aller en médecine ou en droit, ces professions sont vulnérables aux avancées de l'intelligence artificielle – parajuristes, radiologues, et ceux qui font des diagnostics préliminaires.

Nous sommes dans une structure dans laquelle les mêmes vieux déséquilibres se renforcent et cherchent à persister. Mais ce n'est pas ainsi que cela devrait être. À moins que nous ne confrontions la culture à travers de grands changements dans les tendances éducatives, rien ne changera.

Cet article a été initialement publié sur The Conversation. Lire l'article original.