Nous avons appris ces dernières années que les systèmes d'IA peuvent être injustes, ce qui est dangereux, car ils sont de plus en plus utilisés pour tout, de la prédiction du crime à la détermination des informations que nous consommons. L'étude de l'année dernière montrant le racisme des algorithmes de reconnaissance faciale a démontré une vérité fondamentale sur l'IA :si vous vous entraînez avec des données biaisées, vous obtiendrez des résultats biaisés.

Une équipe du MIT CSAIL travaille sur une solution, avec un algorithme qui peut automatiquement « dé-biaiser » les données en les ré-échantillonnant pour qu'elles soient plus équilibrées.

L'algorithme peut apprendre à la fois une tâche spécifique comme la détection de visage, ainsi que la structure sous-jacente des données d'entraînement, ce qui lui permet d'identifier et de minimiser les biais cachés. Lors des tests, l'algorithme a réduit le « biais catégorique » de plus de 60 % par rapport aux modèles de détection faciale de pointe, tout en maintenant la précision globale de ces systèmes. L'équipe a évalué l'algorithme sur le même ensemble de données d'images faciales qui a été développé l'année dernière par des chercheurs du MIT Media Lab.

De nombreuses approches existantes dans ce domaine nécessitent au moins un certain niveau d'intervention humaine dans le système pour définir les biais spécifiques que les chercheurs veulent qu'il apprenne. En revanche, l'algorithme de l'équipe du MIT peut regarder un ensemble de données, apprendre ce qui est intrinsèquement caché à l'intérieur, et le rééchantillonner automatiquement pour être plus juste sans avoir besoin d'un programmeur dans la boucle.

« La classification faciale en particulier est une technologie souvent considérée comme « résolue, ' même s'il est devenu clair que les ensembles de données utilisés ne sont souvent pas correctement vérifiés, " dit le doctorant Alexander Amini, qui était co-auteur principal d'un article connexe présenté cette semaine à la Conférence sur l'intelligence artificielle, Ethique et Société (AIES). « Réparer ces problèmes est particulièrement important alors que nous commençons à voir ce genre d'algorithmes être utilisés dans la sécurité, application de la loi et d'autres domaines."

Amini dit que le système de l'équipe serait particulièrement pertinent pour les ensembles de données plus volumineux qui sont trop volumineux pour être vérifiés manuellement et s'étend également à d'autres applications de vision par ordinateur au-delà de la détection faciale.