Dans une étude aux implications potentiellement de grande envergure pour la justice pénale aux États-Unis, une équipe de chercheurs californiens a découvert que les algorithmes sont nettement plus précis que les humains pour prédire quels accusés seront plus tard arrêtés pour un nouveau crime.

Lors de l'évaluation d'une poignée de variables dans un environnement contrôlé, même des humains non formés peuvent égaler les compétences prédictives d'instruments sophistiqués d'évaluation des risques, dit la nouvelle étude réalisée par des universitaires de l'Université de Stanford et de l'Université de Californie, Berkeley.

Mais les cadres de justice pénale du monde réel sont souvent beaucoup plus complexes, et lorsqu'un plus grand nombre de facteurs sont utiles pour prédire la récidive, les outils basés sur des algorithmes fonctionnaient bien mieux que les gens. Dans certains essais, les outils ont approché une précision de 90 % pour prédire quels accusés pourraient être à nouveau arrêtés, contre environ 60% pour la prédiction humaine.

« L'évaluation des risques fait depuis longtemps partie de la prise de décision dans le système de justice pénale, " a déclaré Jennifer Skeem, un psychologue spécialisé en justice pénale à l'UC Berkeley. "Bien que le débat récent ait soulevé des questions importantes sur les outils basés sur des algorithmes, notre recherche montre que dans des contextes ressemblant à de véritables cadres de justice pénale, les évaluations des risques sont souvent plus précises que le jugement humain pour prédire la récidive. Cela est cohérent avec une longue lignée de recherches comparant les humains aux outils statistiques. »

« Des instruments d'évaluation des risques validés peuvent aider les professionnels de la justice à prendre des décisions plus éclairées, " a déclaré Sharad Goel, un chercheur en sciences sociales computationnelles à l'Université de Stanford. "Par exemple, ces outils peuvent aider les juges à identifier et potentiellement libérer les personnes qui présentent peu de risques pour la sécurité publique. Mais, comme tous les outils, les instruments d'évaluation des risques doivent être associés à une politique saine et à une surveillance humaine pour soutenir une réforme juste et efficace de la justice pénale. »

L'article - "Les limites des prédictions humaines de la récidive" - ​​devait être publié le 14 février. 2020, dans Avancées scientifiques . Skeem a présenté la recherche le 13 février lors d'un point de presse lors de la réunion annuelle de l'American Association for the Advancement of Science (AAAS) à Seattle, Wash. Deux co-auteurs la rejoignaient :Ph.D. diplômé Jongbin Jung et Ph.D. le candidat Zhiyuan "Jerry" Lin, qui ont tous deux étudié les sciences sociales computationnelles à Stanford.

Les résultats de la recherche sont importants car les États-Unis débattent de la manière d'équilibrer les besoins des communautés en matière de sécurité tout en réduisant les taux d'incarcération qui sont les plus élevés de tous les pays du monde et affectent de manière disproportionnée les Afro-Américains et les communautés de couleur.

Si l'utilisation d'outils avancés d'évaluation des risques se poursuit et s'améliore, qui pourraient affiner les décisions d'une importance cruciale que les professionnels de la justice prennent quotidiennement :quelles personnes peuvent être réadaptées dans la communauté, plutôt qu'en prison ? Qui pourrait aller dans des prisons de basse sécurité, et lesquels vers les sites de haute sécurité ? Et quels prisonniers peuvent être remis en liberté sur parole en toute sécurité ?

Les outils d'évaluation pilotés par des algorithmes sont largement utilisés aux États-Unis, dans des domaines aussi divers que les soins médicaux, admissions bancaires et universitaires. Ils ont longtemps été utilisés dans la justice pénale, aider les juges et autres à peser les données dans la prise de leurs décisions.

Mais en 2018, des chercheurs de l'Université de Dartmouth ont soulevé des questions sur l'exactitude de ces outils dans un cadre de justice pénale. Dans une étude, ils ont assemblé 1, 000 courtes vignettes de prévenus criminels, avec des informations tirées d'une évaluation des risques largement utilisée appelée le Profil de gestion des délinquants correctionnels pour les sanctions alternatives (COMPAS).

Les vignettes comprenaient chacune cinq facteurs de risque de récidive :le sexe de la personne, âge, accusation criminelle en cours, et le nombre d'infractions commises antérieurement par des adultes et des mineurs. Les chercheurs ont ensuite utilisé la plate-forme Mechanical Turk d'Amazon pour recruter 400 volontaires pour lire les vignettes et évaluer si chaque accusé commettrait un autre crime dans les deux ans. Après avoir examiné chaque vignette, on a dit aux volontaires si leur évaluation prédisait avec précision la récidive du sujet.

Les personnes et l'algorithme étaient précis un peu moins des deux tiers du temps.

Ces résultats, les auteurs de Dartmouth ont conclu, mettre en doute la valeur des instruments d'évaluation des risques et de prédiction algorithmique.

L'étude a généré une couverture médiatique très médiatisée et a envoyé une vague de doute dans la communauté américaine de la réforme de la justice pénale. Si des outils sophistiqués n'étaient pas meilleurs que des personnes pour prédire quels accusés récidiveraient, certains ont dit, alors il y avait peu d'intérêt à utiliser les algorithmes, ce qui ne pourrait que renforcer les préjugés raciaux dans la détermination de la peine. Certains ont soutenu que des décisions aussi profondes devraient être prises par des personnes, pas des ordinateurs.

Aux prises avec le « bruit » dans les décisions complexes

Mais lorsque les auteurs de la nouvelle étude californienne ont évalué des ensembles de données supplémentaires et d'autres facteurs, ils ont conclu que les outils d'évaluation des risques peuvent être beaucoup plus précis que les personnes pour évaluer le potentiel de récidive.

L'étude a reproduit les conclusions de Dartmouth qui étaient fondées sur un nombre limité de facteurs. Cependant, les informations disponibles dans les milieux judiciaires sont bien plus riches et souvent plus ambiguës.

« Rapports d'enquête présentenciels, déclarations de l'avocat et de la victime, et le comportement d'un individu ajoutent du complexe, inconsistant, sans rapport avec le risque, et des informations potentiellement biaisées, " explique la nouvelle étude.

L'hypothèse des auteurs :si les évaluations de la recherche fonctionnent dans un cadre du monde réel, lorsque les informations relatives aux risques sont complexes et « bruyantes, « alors des outils avancés d'évaluation des risques seraient plus efficaces que les humains pour prédire quels criminels récidiveraient.

Pour tester l'hypothèse, ils ont élargi leur étude au-delà de COMPAS pour inclure d'autres ensembles de données. En plus des cinq facteurs de risque utilisés dans l'étude de Dartmouth, ils en ont ajouté 10 de plus, y compris le statut d'emploi, consommation de substances et santé mentale. Ils ont également élargi la méthodologie :contrairement à l'étude de Dartmouth, dans certains cas, les volontaires n'étaient pas informés après chaque évaluation si leurs prédictions étaient exactes. Une telle rétroaction n'est pas disponible pour les juges et d'autres dans le système judiciaire.

Le résultat :les humains ont obtenu des résultats « systématiquement pires » que l'outil d'évaluation des risques sur les cas complexes lorsqu'ils n'avaient pas de rétroaction immédiate pour orienter les décisions futures.

Par exemple, le COMPAS a correctement prédit la récidive dans 89 % des cas, contre 60 % pour les humains qui n'ont pas reçu de retour d'information au cas par cas sur leurs décisions. Lorsque plusieurs facteurs de risque étaient fournis et prédictifs, un autre outil d'évaluation des risques a prédit avec précision la récidive dans 80 % du temps, contre moins de 60 % pour les humains.

Les résultats semblent soutenir l'utilisation continue et l'amélioration future des algorithmes d'évaluation des risques. Mais, comme l'a noté Skeem, ces outils ont généralement un rôle de support. L'autorité ultime appartient aux juges, agents de probation, cliniciens, les commissaires aux libérations conditionnelles et les autres personnes qui façonnent les décisions du système de justice pénale.