La modélisation prédictive est censée être neutre, un moyen d'aider à éliminer les préjugés personnels de la prise de décision. Mais les algorithmes sont emballés avec les mêmes biais qui sont intégrés aux données du monde réel utilisées pour les créer. Le professeur de statistiques de Wharton, James Johndrow, a développé une méthode pour éliminer ces biais.

Ses dernières recherches, co-écrit avec sa femme, le statisticien Kristian Lum, "Un algorithme pour supprimer les informations sensibles :application à la prédiction de la récidive indépendante de la race, " se concentre sur la suppression des informations sur la race dans les données qui prédisent la récidive, mais la méthode peut être appliquée au-delà du système de justice pénale.

« En justice pénale, il y a beaucoup d'utilisation d'algorithmes pour des choses comme qui devra verser une caution pour sortir de prison avant le procès par rapport à qui sera simplement libéré sur son propre engagement, par exemple. Au cœur de tout cela se trouve cette idée d'évaluation des risques et d'essayer de voir qui est le plus susceptible, par exemple, se présenter à leurs dates d'audience, " dit Johndrow.

"Les problèmes potentiels avec cela sont simplement que ces algorithmes sont entraînés sur des données qui se trouvent dans le monde réel. Les algorithmes et leurs prédictions peuvent cuire dans toutes ces choses humaines qui se passent, Il y a donc eu beaucoup plus d'attention ces derniers temps pour s'assurer que certains groupes ne sont pas discriminés par ces algorithmes. »