La police de Nouvelle-Galles du Sud a récemment abandonné un programme largement condamné, connu sous le nom de Plan de gestion du ciblage des suspects. Il a utilisé des scores de risque algorithmiques pour sélectionner des « cibles », certaines âgées d'à peine 10 ans, à des fins de surveillance policière.

Mais des programmes similaires restent en place. Par exemple, Corrective Services NSW utilise un outil d'évaluation statistique appelé LSI-R pour prédire si les prisonniers récidiveront.

Les prisonniers « à haut risque » reçoivent des « interventions de haute intensité » et peuvent se voir refuser la libération conditionnelle. Les scores de risque sont calculés à partir de faits tels que les « amis criminels », l'implication de la famille dans la criminalité ou la drogue, les problèmes financiers, la vie dans un « quartier à forte criminalité » et les changements d'adresse fréquents.

Un algorithme prédictif est un ensemble de règles que les ordinateurs (et parfois les personnes) doivent suivre, basées sur des modèles de données. De nombreux écrits ont été écrits sur la manière dont les algorithmes nous discriminent, depuis les moteurs de recherche biaisés jusqu'aux bases de données sur la santé.

Dans mon livre récemment publié, Artificial Justice, je soutiens que l’utilisation d’outils qui prédisent notre comportement en fonction de facteurs tels que la pauvreté ou les antécédents familiaux devrait également nous inquiéter. Si nous sommes punis, ce devrait être uniquement pour ce que nous avons mal fait, et non pour les cartes qui nous ont été distribuées.

Les algorithmes nous surveillent

Les algorithmes génèrent des scores de risque utilisés dans les systèmes de justice pénale du monde entier. Au Royaume-Uni, l'OASys (Offender Assessment System) est utilisé dans le cadre de l'information présentencielle fournie aux juges :il influence les décisions relatives à la libération sous caution, à la libération conditionnelle et à la détermination de la peine. Aux États-Unis, un outil connu sous le nom de COMPAS fait quelque chose de similaire.

Les scores de risque sont également utilisés au-delà de la justice pénale, et ils n'ont pas toujours besoin d'ordinateurs pour les générer. Une courte enquête connue sous le nom d'Opioid Risk Tool aide les médecins d'Australie et du monde entier à décider s'ils doivent prescrire un soulagement de la douleur en cas de maladie aiguë ou chronique, en prédisant si les patients feront un mauvais usage de leurs médicaments.

Les algorithmes prédictifs sauvent littéralement des vies :ils sont utilisés pour attribuer des organes de donneurs, trier les patients et prendre des décisions urgentes en matière de traitement médical. Mais ils peuvent aussi créer et entretenir des inégalités injustifiées.

Imaginez que nous développions un algorithme – « CrimeBuster » – pour aider la police à patrouiller les « points chauds » du crime. Nous utilisons des données qui relient la criminalité aux zones peuplées de familles à faible revenu. Puisque nous ne pouvons pas mesurer directement la « criminalité », nous examinons plutôt les taux d'arrestation.

Pourtant, le fait que les taux d’arrestation soient élevés dans ces zones pourrait bien nous indiquer que la police y consacre plus de temps à patrouiller. S'il n'y a aucune justification à cette pratique policière intensive, le déploiement de CrimeBuster donnerait à ces préjugés le statut de politique.

Les algorithmes nous jugent

Le problème s'aggrave lorsque nous utilisons des statistiques pour faire des prédictions sur des actions intentionnelles, c'est-à-dire sur les choses que nous choisissons de faire.

Cela pourrait être une prédiction quant à savoir si quelqu'un sera un employé « toxique », commettra des crimes ou abusera de drogues.

Les facteurs qui influencent ces prévisions sont rarement rendus publics. Pour l'algorithme britannique de détermination de la peine OASys, ils indiquent si une personne a été victime de violence domestique.

Le système américain COMPAS capture le divorce parental et la maltraitance infantile. L'outil de gestion des risques liés aux opioïdes demande si la famille du patient a des antécédents de toxicomanie et si le patient (s'il est de sexe féminin) a des antécédents d'« abus sexuel préadolescent ».

Dans chaque cas, ces faits rendent plus probable qu'une personne aille en prison, ne bénéficie pas d'un traitement médical, etc.

Nous voulons tous avoir la chance de faire des choix qui correspondent à qui nous sommes et de répondre à nos besoins et à nos objectifs. Et nous voulons avoir les mêmes choix que les autres, plutôt que d'être considérés comme incapables de bien choisir.

Lorsque nous punissons quelqu'un en raison de faits sur lesquels il ne peut pas facilement influencer, nous faisons exactement ceci :nous traitons cette personne comme si elle ne pouvait tout simplement pas s'empêcher de faire de mauvais choix.

Nous ne pouvons pas enfermer les gens au cas où

Le problème n’est pas l’utilisation d’algorithmes en soi. Au XIXe siècle, le médecin italien Cesare Lombroso affirmait que nous pouvions identifier « le criminel-né » à partir de caractéristiques physiques :un crâne déformé, une mâchoire large, des membres longs ou de grandes oreilles.

Peu de temps après, le criminologue britannique Charles Goring a repris cette idée et a soutenu que certaines caractéristiques mentales « défectueuses » rendaient « le sort de l'emprisonnement » inévitable.

Les algorithmes rendent tout simplement beaucoup plus difficile la compréhension de ce qui se passe dans le monde de l'évaluation des risques de criminalité.

Mais quand on y regarde, il s'avère que ce qui se passe est quelque chose d'assez similaire à la vision de Lombroso-Goring :nous traitons les gens comme s'ils étaient destinés à faire le mal, et les enfermons (ou les gardons enfermés) juste au cas où. /P>

Les organismes publics devraient être tenus de publier les faits qui éclairent les prévisions qui sous-tendent de telles décisions. L’apprentissage automatique ne devrait être utilisé que si et dans la mesure où ces exigences de publication peuvent être remplies. Il est ainsi plus facile d'avoir des conversations significatives sur la limite à fixer.

Dans le contexte de la justice pénale, cette ligne est claire. Nous ne devrions imposer des sanctions plus sévères qu’en cas de mauvais comportement, et non en cas d’autres caractéristiques physiques, mentales ou sociales. Il existe de nombreuses lignes directrices qui adoptent cette approche, et c'est la ligne que les institutions australiennes devraient suivre.

Une fois que les sanctions pour leur crime ont été appliquées, les prisonniers ne devraient pas être traités différemment ou incarcérés plus longtemps en raison de leurs amis et de leur famille, de leur situation financière ou de la manière dont ils ont été traités par d'autres.