Par la loi, les décisions de crédit et de prêt ne peuvent pas discriminer sur la base de la race ou conduire à des résultats qui diffèrent considérablement selon la race. Mais pour s'assurer qu'ils ne font pas de discrimination, les banques et autres prêteurs ne sont pas autorisés à poser des questions sur la race sur la plupart des applications. Il est donc difficile pour les auditeurs de s'assurer que les décisions de crédit sont justes.

Pour évaluer les disparités raciales dans les décisions de prêt, les prêteurs ou les auditeurs doivent déduire les races des candidats, utilisant généralement un système - appelé proxy - qui devine les courses des candidats en fonction de ce qu'ils savent, tels que leurs quartiers et leurs noms de famille.

Mais ces procurations - y compris une méthode utilisée par le Consumer Financial Protection Bureau pour auditer les prêteurs - peuvent donner des résultats très différents en fonction de petits changements dans la façon dont ils devinent les races des candidats, selon une nouvelle étude menée par Cornell.

"Il est inquiétant que ces modèles soient utilisés pour déterminer si les institutions financières respectent la loi, " dit Madeleine Udell, Richard et Sybil Smith Sesquicentennial Fellow et professeur adjoint à l'École de recherche opérationnelle et d'ingénierie de l'information. "Ils n'évaluent clairement pas ce qu'ils sont censés faire."

Leur papier, « L'équité sous l'ignorance :évaluer la disparité lorsque la classe protégée n'est pas observée, " sera présenté à la conférence ACM sur l'équité, Responsabilité et transparence, 29-31 janvier à Atlanta. Xiaojie Mao, doctorante de Cornell Tech, en est l'auteur principal. Les co-auteurs comprenaient Udell; Nathan Kallus, professeur adjoint de recherche opérationnelle et d'ingénierie de l'information à Cornell Tech; et les scientifiques des données de l'industrie financière Jiahao Chen et Geoffry Svacha.

Il est particulièrement important de comprendre les risques de discrimination lors de l'utilisation de l'intelligence artificielle, car les institutions financières s'appuient de plus en plus sur l'apprentissage automatique pour les décisions de prêt. Les modèles d'apprentissage automatique peuvent analyser des quantités de données pour arriver à des prédictions relativement précises, mais leurs opérations sont opaques, rendant difficile la garantie de l'équité.

« Comment un ordinateur peut-il être raciste si vous ne saisissez pas la race ? Eh bien, ça peut, et l'un des plus grands défis auxquels nous allons être confrontés dans les années à venir est l'utilisation de l'apprentissage automatique par les humains avec des conséquences néfastes involontaires qui pourraient nous conduire à une polarisation et à des inégalités accrues, " a déclaré Kallus. " Il y a eu beaucoup de progrès dans l'apprentissage automatique et l'intelligence artificielle, et nous devons être vraiment responsables dans notre utilisation."

La race est l'une des nombreuses caractéristiques protégées par les lois d'État et fédérales; d'autres incluent l'âge, le sexe et le statut de handicap.

Les chercheurs ont utilisé les données des hypothèques – le seul type de prêt à la consommation qui inclut la course aux demandes – pour tester l'exactitude du système d'audit Bayesian Improved Surname Geocoding (BISG). Ils ont trouvé que ses résultats sous-estimaient souvent ou surestimaient les divergences raciales, en fonction de plusieurs facteurs. En supposant que la race soit basée sur les secteurs de recensement où vivent les candidats, on efface les candidats noirs qui vivent dans des quartiers majoritairement blancs et les candidats blancs qui vivent dans des quartiers majoritairement noirs.

Le modèle BISG estime la probabilité qu'une personne appartienne à une certaine race, et en effectuant des calculs, un utilisateur peut définir une probabilité minimale - par exemple, choisir d'utiliser des exemples dans lesquels la probabilité d'une race donnée est de 80 pour cent ou plus. Mais des différences dans cette probabilité minimale ont donné lieu à des variations étonnamment importantes dans les résultats, les chercheurs ont trouvé.

"Selon le seuil que vous avez choisi, vous obtiendriez des réponses très différentes quant à l'équité de votre procédure de crédit, " a déclaré Udell.

Les découvertes des chercheurs ont non seulement mis en lumière l'exactitude de BISG, ils pourraient aider les développeurs à améliorer les modèles d'apprentissage automatique qui prennent des décisions de crédit. De meilleurs modèles pourraient aider les banques à prendre des décisions plus éclairées lorsqu'elles approuvent ou rejettent des prêts, ce qui peut les amener à accorder du crédit à des candidats qualifiés mais à faible revenu.

« Vous pouvez déterminer qui sera réellement par défaut ou non de manière équitable, " a déclaré Kallus. " Ce que nous voulons faire, c'est nous assurer que nous mettons ces contraintes sur les systèmes d'apprentissage automatique que nous construisons et formons, donc nous comprenons ce que signifie être juste et comment nous pouvons nous assurer que c'est juste dès le départ."