Dans la course pour surpasser les autres entreprises, la conception de l'intelligence artificielle (IA) manque de compréhension approfondie de la signification des données sur les humains et de leur relation avec l'équité. Deux sociologues de l'Université Drexel suggèrent que nous accordions une plus grande attention à l'impact sociétal de l'IA, car il apparaît plus fréquemment que jamais auparavant.

"La pandémie de coronavirus a accéléré l'utilisation de l'IA et de l'automatisation pour remplacer les travailleurs humains, dans le cadre de l'effort visant à minimiser les risques liés aux interactions en face à face, " a déclaré Kelly Joyce, Doctorat., professeur au Collège des Arts et des Sciences et directeur fondateur du Center for Science, Technologie et société chez Drexel. « De plus en plus, nous voyons des exemples d'algorithmes qui intensifient les inégalités existantes. En tant qu'institutions telles que l'éducation, soins de santé, guerre, et le travail adoptent ces systèmes, nous devons remédier à cette injustice."

Dans un article récemment publié dans Socius , Joyce, Susan Bell, Doctorat., professeur à la Faculté des Arts et des Sciences, et ses collègues s'inquiètent de la volonté d'accélérer rapidement le développement de l'IA aux États-Unis sans accélérer les pratiques de formation et de développement nécessaires pour rendre la technologie éthique. L'article propose un programme de recherche pour une sociologie de l'IA.

« La compréhension par la sociologie de la relation entre les données humaines et les inégalités de longue date est nécessaire pour créer des systèmes d'IA qui favorisent l'égalité, " expliqua Joyce.

Comment définissons-nous l'IA ?

Le terme IA a été utilisé de différentes manières et les premières interprétations associent le terme à un logiciel capable d'apprendre et d'agir par lui-même. Par exemple, les voitures autonomes apprennent et identifient les itinéraires et les obstacles, tout comme les aspirateurs robotiques le font pour le périmètre ou l'aménagement d'une maison, et les assistants intelligents (Alexa ou Google Assistant) identifient le ton de la voix et les préférences de leur utilisateur.

"L'IA a une portée définitionnelle fluide qui aide à expliquer son attrait, " dit Joyce. " C'est expansif, une signification encore indéterminée permet aux promoteurs de faire des empiriquement non fondée, promesses prometteuses de son impact sociétal positif potentiel."

Joyce, Bell et ses collègues expliquent qu'au cours des dernières années, les communautés de programmation se sont largement concentrées sur le développement de l'apprentissage automatique (ML) en tant que forme d'IA. Le terme ML est plus couramment utilisé parmi les chercheurs que le terme AI, bien que l'IA continue d'être le terme public utilisé par les entreprises, instituts, et initiatives. « ML met l'accent sur la formation des systèmes informatiques à reconnaître, sorte, et prédire les résultats de l'analyse des ensembles de données existants, " expliqua Joyce.

Praticiens de l'IA, informaticiens, les data scientists et les ingénieurs sont des systèmes de formation pour reconnaître, trier et prédire les résultats à partir de l'analyse des ensembles de données existants. Les humains saisissent les données existantes pour aider à former les systèmes d'IA à prendre des décisions autonomes. Le problème ici est que les praticiens de l'IA ne comprennent généralement pas comment les données sur les humains sont presque toujours aussi des données sur les inégalités.

« Les praticiens de l'IA peuvent ne pas être au courant que les données sur X (par exemple, Codes ZIP, carnet de santé, l'emplacement des autoroutes) peuvent également être des données sur Y (par exemple, classer, inégalités de genre ou de race, Statut socioéconomique), " dit Joyce, qui est l'auteur principal de l'article. "Ils peuvent penser, par exemple, que les codes postaux sont une donnée neutre qui s'applique à toutes les personnes de manière égale au lieu de comprendre que les codes postaux fournissent souvent également des informations sur la race et la classe en raison de la ségrégation. Ce manque de compréhension a entraîné l'accélération et l'intensification des inégalités à mesure que les systèmes de ML sont développés et déployés."

« Identifier les corrélations entre les groupes vulnérables et les chances de vie, Les systèmes d'IA acceptent ces corrélations comme causalité, et les utiliser pour prendre des décisions sur les interventions à venir. De cette façon, Les systèmes d'IA ne créent pas de nouveaux futurs, mais plutôt reproduire les inégalités durables qui existent dans un monde social particulier, " explique Joyce.

L'IA est-elle menacée par le racisme systémique et les préjugés humains ?

Il y a de la politique liée aux algorithmes, données et codes. Considérez le moteur de recherche Google. Bien que les résultats de recherche Google puissent sembler être des sorties neutres ou singulières, Le moteur de recherche de Google recrée le sexisme et le racisme que l'on retrouve dans la vie de tous les jours.

"Les résultats de la recherche reflètent les décisions qui entrent dans la fabrication des algorithmes et des codes, et ceux-ci reflètent le point de vue des employés de Google, " explique Bell. " Plus précisément, leurs décisions sur ce qu'il faut qualifier de sexiste ou de raciste reflètent les structures sociales plus larges du racisme et du sexisme omniprésents. À son tour, les décisions sur ce qu'il faut étiqueter comme sexiste ou raciste « entraîne » un système de BC. Bien que Google accuse les utilisateurs de contribuer aux résultats de recherche sexistes et racistes, la source réside dans "l'entrée".

Bell souligne « contrairement à la neutralité perçue des résultats de recherche de Google, l'oppression et l'inégalité sociétales y sont intégrées et amplifiées par elles. »

Un autre exemple que les auteurs soulignent sont les systèmes d'IA qui utilisent les données des dossiers de santé électroniques (DSE) des patients pour faire des prédictions sur les recommandations de traitement appropriées. Bien que les informaticiens et les ingénieurs prennent souvent en compte la confidentialité lors de la conception de systèmes d'IA, comprendre les dimensions multivalentes des données humaines ne fait généralement pas partie de leur formation. Compte tenu de cela, ils peuvent supposer que les données du DSE représentent une connaissance objective du traitement et des résultats, au lieu de les regarder à travers une lentille sociologique qui reconnaît à quel point les données DSE sont partielles et situées.

« Lorsqu'on utilise une approche sociologique, " Joyce explique, « Vous comprenez que les résultats des patients ne sont ni neutres ni objectifs :ils sont liés au statut socio-économique des patients, et nous en disent souvent plus sur les différences de classe, le racisme et d'autres types d'inégalités que l'efficacité de traitements particuliers.

L'article note des exemples tels qu'un algorithme recommandant que les patients noirs reçoivent moins de soins de santé que les patients blancs souffrant des mêmes conditions et un rapport montrant que les logiciels de reconnaissance faciale sont moins susceptibles de reconnaître les personnes de couleur et les femmes ont montré que l'IA peut intensifier les inégalités existantes.

« Une compréhension sociologique des données est importante, étant donné qu'une utilisation non critique des données humaines dans les systèmes sociotechniques d'IA aura tendance à se reproduire, et peut-être même exacerber, inégalités sociales préexistantes, " a déclaré Bell. "Bien que les entreprises qui produisent des systèmes d'IA se cachent derrière l'affirmation selon laquelle les algorithmes ou les utilisateurs de la plate-forme créent du racisme, résultats sexistes, La recherche sociologique illustre comment la prise de décision humaine se produit à chaque étape du processus de codage. »

Dans le journal, les chercheurs démontrent que l'érudition sociologique peut être associée à d'autres recherches critiques en sciences sociales pour éviter certains des pièges des applications de l'IA. "En examinant la conception et la mise en œuvre de systèmes sociotechniques d'IA, le travail sociologique met en perspective le travail humain et les contextes sociaux, " a déclaré Joyce. En s'appuyant sur la reconnaissance par la sociologie de l'importance des contextes organisationnels dans l'élaboration des résultats, le document montre que les sources de financement et les contextes institutionnels sont des facteurs clés de la façon dont les systèmes d'IA sont développés et utilisés.

L'IA a-t-elle besoin des conseils de la sociologie ? Les chercheurs disent oui.

Joyce, Bell et ses collègues suggèrent que, malgré des efforts bien intentionnés pour incorporer les connaissances sur les mondes sociaux dans les systèmes sociotechniques, Les scientifiques de l'IA continuent de démontrer une compréhension limitée du social, en accordant la priorité à ce qui peut être déterminant pour l'exécution des tâches d'ingénierie de l'IA, mais en effaçant la complexité et l'enracinement des inégalités sociales.

« L'approche profondément structurelle de la sociologie s'oppose également aux approches qui mettent l'accent sur le choix individuel, " a déclaré Joyce. " L'un des tropes les plus répandus du libéralisme politique est que le changement social est conduit par le choix individuel. En tant qu'individus, la logique va, nous pouvons créer un avenir plus équitable en fabriquant et en choisissant de meilleurs produits, les pratiques, et des représentants politiques. Le monde de la technologie a tendance à maintenir une perspective tout aussi individualiste lorsque ses ingénieurs et éthiciens mettent l'accent sur l'élimination des préjugés humains au niveau individuel et l'amélioration de la formation à la sensibilité comme moyen de lutter contre les inégalités dans les systèmes d'IA. »

Joyce, Bell et ses collègues invitent les sociologues à utiliser les outils théoriques et méthodologiques de la discipline pour analyser quand et comment les inégalités sont rendues plus durables par les systèmes d'IA. Les chercheurs soulignent que la création de systèmes sociotechniques d'IA n'est pas simplement une question de conception technologique, mais soulève aussi des questions fondamentales sur le pouvoir et l'ordre social.

« Les sociologues sont formés pour identifier comment les inégalités sont ancrées dans tous les aspects de la société et pour indiquer des pistes de changement social structurel. Par conséquent, les sociologues devraient jouer un rôle de premier plan dans l'imagination et la formation des futurs de l'IA, " dit Joyce.