Les chercheurs de l'Université Carnegie Mellon remettent en question une hypothèse de longue date selon laquelle il existe un compromis entre précision et équité lors de l'utilisation de l'apprentissage automatique pour prendre des décisions de politique publique.

Alors que l'utilisation de l'apprentissage automatique a augmenté dans des domaines tels que la justice pénale, l'embauche, la prestation de soins de santé et les interventions de services sociaux, des inquiétudes ont augmenté quant à savoir si ces applications introduisent de nouvelles inégalités ou amplifient des inégalités existantes, en particulier parmi les minorités raciales et les personnes économiquement défavorisées. Pour se prémunir contre ce biais, des ajustements sont apportés aux données, aux étiquettes, à la formation des modèles, aux systèmes de notation et à d'autres aspects du système d'apprentissage automatique. L'hypothèse théorique sous-jacente est que ces ajustements rendent le système moins précis.

Une équipe de la CMU vise à dissiper cette hypothèse dans une nouvelle étude, récemment publiée dans Nature Machine Intelligence . Rayid Ghani, professeur au Département d'apprentissage automatique de l'École d'informatique et au Collège Heinz des systèmes d'information et des politiques publiques ; Kit Rodolfa, chercheur en ML ; et Hemank Lamba, chercheur postdoctoral en SCS, a testé cette hypothèse dans des applications réelles et a constaté que le compromis était négligeable dans la pratique dans un éventail de domaines politiques.

"Vous pouvez en fait obtenir les deux. Vous n'avez pas à sacrifier la précision pour construire des systèmes justes et équitables", a déclaré Ghani. "Mais cela vous oblige à concevoir délibérément des systèmes justes et équitables. Les systèmes prêts à l'emploi ne fonctionneront pas."

Ghani et Rodolfa se sont concentrés sur des situations où les ressources demandées sont limitées, et des systèmes d'apprentissage automatique sont utilisés pour aider à allouer ces ressources. Les chercheurs ont examiné les systèmes dans quatre domaines :donner la priorité à une portée limitée des soins de santé mentale en fonction du risque d'une personne de retourner en prison pour réduire la réincarcération ; prévoir les violations graves de la sécurité pour mieux déployer les inspecteurs du logement limités d'une ville ; modéliser le risque que les élèves n'obtiennent pas leur diplôme d'études secondaires à temps pour identifier ceux qui ont le plus besoin d'un soutien supplémentaire ; et aider les enseignants à atteindre les objectifs de financement participatif pour les besoins de la classe.

Dans chaque contexte, les chercheurs ont constaté que les modèles optimisés pour la précision - pratique standard pour l'apprentissage automatique - pouvaient prédire efficacement les résultats d'intérêt, mais présentaient des disparités considérables dans les recommandations d'interventions. Cependant, lorsque les chercheurs ont appliqué des ajustements aux sorties des modèles visant à améliorer leur équité, ils ont découvert que les disparités fondées sur la race, l'âge ou le revenu, selon la situation, pouvaient être supprimées sans perte de précision.

Ghani et Rodolfa espèrent que cette recherche commencera à faire changer d'avis leurs collègues chercheurs et décideurs alors qu'ils envisagent l'utilisation de l'apprentissage automatique dans la prise de décision.

"Nous voulons que les communautés de l'intelligence artificielle, de l'informatique et de l'apprentissage automatique cessent d'accepter cette hypothèse d'un compromis entre précision et équité et commencent intentionnellement à concevoir des systèmes qui maximisent les deux", a déclaré Rodolfa. "Nous espérons que les décideurs adopteront l'apprentissage automatique comme un outil dans leur prise de décision pour les aider à obtenir des résultats équitables."