Septembre dernier, l'ACLU a déposé un mémoire d'amicus dans une affaire californienne qui porte à son comble une controverse sur l'utilisation d'algorithmes et d'intelligence artificielle en droit pénal.

Un échantillon d'ADN prélevé sur un échantillon plus important d'ADN humain mixte impliquait Billy Ray Johnson dans des cambriolages et des agressions sexuelles. Johnson a nié avoir commis les crimes, mais il a reçu une peine de prison à vie sans libération conditionnelle. Les procureurs ont fondé leur dossier sur les résultats d'un outil d'application de la loi exécutant un algorithme sophistiqué appelé TrueAllele.

Les avocats de Johnson n'ont jamais été autorisés à examiner le code source de TrueAllele, pour voir s'il contenait d'une manière ou d'une autre un biais d'information. Les procureurs ont fait valoir avec succès que les lois protégeaient l'algorithme en tant que secret commercial.

Pour Jessica Gabel Cino, doyen associé aux affaires académiques et professeur associé de droit, la décision a soulevé un grand drapeau rouge.

"Aucune technologie n'est infaillible, " dit-elle. " La technologie est conçue par des humains et gérée par des humains, il y a donc certainement de la place pour l'erreur humaine tout au long du processus. De plus, les résultats sont aussi bons que l'apport."

Cino continua. « Les systèmes sont développés à des fins exclusives, par des entreprises privées cherchant à faire des profits. Mais on parle d'accès à l'information qui affecte la liberté d'une personne. Pour refuser l'accès aux séquences de validation, code source ou données propriétaires lorsqu'elles affectent la liberté d'une personne ? Utiliser un sorcier caché derrière un rideau pour obtenir une condamnation dilue l'intégrité du système."

Vera Eidelman de l'ACLU, un William J. Brennan Fellow avec le discours de l'ACLU, Intimité, et projet technologique, expliqué plus en détail en septembre.

"Les préjugés raciaux se glissent aussi souvent dans les algorithmes, à la fois parce que les données sous-jacentes reflètent les disparités raciales existantes et parce que des résultats inexacts pour des groupes minoritaires plus petits peuvent être cachés dans les résultats globaux, " Eidelman a écrit. " Et, bien sûr, il est possible que des incitations financières pervertissent les objectifs des entreprises qui construisent ces algorithmes. Dans le cadre du typage ADN, l'accusation, soutenu par les ressources substantielles de l'État, est le client le plus probable d'une entreprise — et ce client est susceptible d'être le plus satisfait d'un algorithme qui offre une correspondance. Ainsi, les entreprises peuvent créer des programmes pour biaiser les correspondances avec la vérité. »

Des préoccupations similaires se posent concernant l'utilisation de l'IA dans les décisions de mise en liberté sous caution et de condamnation.

Vic Reynolds (J.D. '86), procureur de district du comté de Cobb, Géorgie, a vu l'essor de la technologie dans la pratique du droit au cours de sa carrière. Il a été des deux côtés du banc, en tant que juge, un avocat de la défense et, aujourd'hui, un procureur.

"Nous parlons d'un domaine du droit où il y a très peu de précédents, " a déclaré Reynolds. " Si nous nous engageons dans un système où l'IA est utilisée pour aider à formuler une peine pénale, nous avons en fait l'obligation éthique de partager les fondements de ce système avec les personnes mêmes dont la vie est affectée. »

Il dit qu'il y a à la fois des avantages et des inconvénients à utiliser l'IA comme outil de détermination de la peine.

"Sur le côté positif — chaque fois que nous avons l'élément humain impliqué, il porte en lui les fragilités humaines, " dit-il. " Les juges sont humains, donc même les bons juges peuvent avoir une très mauvaise journée, un jour où il y a une dispute avec un conjoint ou quelque chose d'autre qui l'affecte.

"L'utilisation d'un système d'IA a le potentiel de supprimer une partie de cette fragilité humaine, " a déclaré Reynolds.

Et les inconvénients ?

"Ayant été juge, Je sais que l'essence de cette position est la discrétion, " a déclaré Reynolds. " Même les directives fédérales en matière de détermination de la peine ont récemment commencé à redonner une partie de ce pouvoir discrétionnaire aux juges de détermination de la peine.

"Disons que nous branchons l'histoire d'une personne dans un système d'intelligence artificielle. Sur la base de condamnations pour crime antérieures, le système recommande une peine de 10 ans. Mais à y regarder de plus près, nous pouvons voir que les condamnations antérieures étaient fondées sur une situation de toxicomanie et qu'une meilleure décision à long terme pourrait être une peine qui met l'accent sur un traitement de fond. Tome, c'est là que le pouvoir discrétionnaire d'un juge entrerait en jeu.

"Si vous n'avez pas cet élément humain impliqué, et vous perdez l'élément de discrétion, il y a un risque d'erreurs."

Cino cite une étude publiée dans Avancées scientifiques sur la crédibilité du programme informatique COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), qui évalue si les prévenus doivent être libérés sous caution en fonction de leur risque de récidive. Les auteurs de l'étude ont découvert que COMPAS, qui a été utilisé pour évaluer plus d'un million d'accusés à travers les États-Unis, "n'est pas plus précis ou juste que les prédictions de personnes ayant peu ou pas d'expertise en matière de justice pénale qui ont répondu à un sondage en ligne."

« Le système de justice pénale est avide de technologies qui rendent la prise de décision moins subjective, " dit Cino, "mais l'adoption précoce sans validation appropriée crée des conséquences à long terme qui sont difficiles à rectifier."

Cino, Reynolds et de nombreux autres acteurs du système judiciaire surveilleront l'affaire Johnson en Californie. Les avocats présenteront des arguments oraux début 2018. Cino espère une décision favorable à la transparence.

"Si nous utilisons l'intelligence artificielle, " elle a dit, "Nous espérons passer à un modèle open source qui nous permettra de dépasser ce mur chinois de secrets commerciaux propriétaires. Soit open source, ou l'accusé a accès à l'algorithme. Il y a une raison pour laquelle nous avons droit à un procès équitable."