Les gens peuvent être biaisés, même sans le savoir, mais les programmes informatiques ne devraient avoir aucune raison de discriminer les patients noirs lorsqu'ils prédisent leurs besoins en matière de soins de santé. Droit?

Tort, de nouvelles recherches suggèrent.

Les scientifiques qui étudient un algorithme largement utilisé typique du type utilisé par les assureurs-maladie pour prendre des décisions cruciales en matière de soins pour des millions de personnes ont découvert des preuves importantes de préjugés raciaux lorsqu'il s'agit de prédire les risques pour la santé des patients noirs.

Les résultats, décrit jeudi dans le journal Science , ont des implications de grande envergure pour la santé et le bien-être des Américains alors que nous devenons de plus en plus dépendants des ordinateurs pour transformer les données brutes en informations utiles. Les résultats indiquent également la racine du problème, et ce n'est pas le programme informatique.

"Nous ne devrions pas blâmer l'algorithme, " a déclaré le directeur de l'étude, le Dr Ziad Obermeyer, chercheur en apprentissage automatique et en santé à l'Université de Californie, Berkeley. "Nous devrions nous blâmer, parce que l'algorithme ne fait qu'apprendre des données que nous lui donnons."

Un algorithme est un ensemble d'instructions qui décrivent comment effectuer une certaine tâche. Une recette de brownies est un algorithme. Il en va de même pour la liste des virages à faire pour se rendre à la fête de votre ami.

Un algorithme informatique n'est pas différent, sauf que c'est écrit en code au lieu de mots. Aujourd'hui, ils sont utilisés pour cibler les publicités en ligne, reconnaître les visages et trouver des modèles dans des ensembles de données à grande échelle, en espérant transformer le monde en un monde plus efficace, endroit compréhensible.

Mais alors que les algorithmes sont devenus plus puissants et omniprésents, les preuves se sont accumulées qu'ils reflètent et même amplifient les préjugés et le racisme du monde réel.

Un algorithme utilisé pour déterminer les peines de prison s'est avéré être raciste, prédisant à tort un risque de récidive plus élevé pour les accusés noirs et un risque plus faible pour les accusés blancs. Il a été démontré que les logiciels de reconnaissance faciale ont à la fois des préjugés raciaux et sexistes, identifier avec précision le sexe d'une personne uniquement parmi les hommes blancs. Il a été constaté que les publicités en ligne qui apparaissent avec les résultats de recherche Google montrent des emplois à revenu élevé aux hommes beaucoup plus souvent qu'aux femmes.

Obermeyer a déclaré que c'était presque par accident que lui et ses collègues étaient tombés sur le biais intégré dans l'algorithme de soins de santé qu'ils étudiaient.

L'algorithme est utilisé pour identifier les patients présentant des problèmes de santé susceptibles d'entraîner des complications plus graves et des coûts plus élevés à terme. Un grand hôpital universitaire l'avait acheté pour aider à distinguer les patients candidats à un programme de coordination des soins, qui donne accès à des services tels que des rendez-vous médicaux accélérés et une équipe d'infirmières qui peuvent faire des visites à domicile ou renouveler des ordonnances.

"C'est un peu comme un programme VIP pour les personnes qui ont vraiment besoin d'une aide supplémentaire pour leur santé, ", a déclaré Obermeyer.

L'objectif est de prendre en charge ces patients avant que leur état ne s'aggrave. Non seulement cela les maintient en meilleure santé à long terme, cela réduit les coûts pour le système de santé.

Ces types d'algorithmes sont souvent propriétaires, « ce qui rend difficile pour les chercheurs indépendants de les disséquer, " ont écrit les auteurs de l'étude. Mais dans ce cas, le système de santé l'a volontairement fourni, ainsi que des données qui permettraient aux chercheurs de voir si l'algorithme prédisait avec précision les besoins des patients.

Les chercheurs ont remarqué quelque chose d'étrange :les patients noirs qui avaient reçu le même score de risque élevé que les patients blancs étaient beaucoup plus susceptibles de voir leur santé se détériorer au cours de l'année suivante.

"A un niveau de risque donné vu par l'algorithme, les patients noirs ont fini par tomber beaucoup plus malades que les patients blancs, ", a déclaré Obermeyer.

Cela n'avait pas de sens, il a dit, les scientifiques se sont donc concentrés sur l'écart. Ils ont analysé les données de santé de 6, 079 patients noirs et 43, 539 patients blancs et s'est rendu compte que l'algorithme faisait exactement ce qu'on lui avait demandé de faire.

Le problème était que les personnes qui l'avaient conçu lui avaient demandé de faire la mauvaise chose.

Le système évaluait les patients en fonction des coûts de santé qu'ils encouraient, en supposant que si leurs coûts étaient élevés, c'était parce que leurs besoins étaient élevés. Mais l'hypothèse selon laquelle les coûts élevés étaient un indicateur de besoins élevés s'est avérée fausse, Obermeyer a dit, parce que les patients noirs reçoivent généralement moins de services de santé que les patients blancs, même quand ils sont également malades.

Cela signifiait que l'algorithme éloignait à tort certains patients noirs du programme de coordination des soins.

Remédier à cette disparité raciale pourrait faire passer le pourcentage de patients noirs inscrits au programme de soins spécialisés de 17,7 % à 46,5 %, les scientifiques ont réalisé.

Après avoir identifié le problème - une hypothèse humaine erronée - les scientifiques ont entrepris de le résoudre. Ils ont développé un modèle alternatif qui s'est concentré sur les « coûts évitables, " comme les visites aux urgences et les hospitalisations. Un autre modèle axé sur la santé, tel que mesuré par le nombre de poussées de maladies chroniques au cours de l'année.

Les chercheurs ont partagé leur découverte avec le fabricant de l'algorithme, qui a ensuite analysé son ensemble de données nationales de près de 3,7 millions de patients assurés commercialement, confirmer les résultats. Ensemble, ils ont expérimenté un modèle qui combinait la prédiction de la santé avec la prédiction des coûts, réduisant finalement le biais de 84 %.

Dr Karen Joynt Maddox, cardiologue et chercheur en politiques de santé à l'Université Washington de St. Louis, a salué le travail comme "une façon réfléchie d'examiner ce problème émergent vraiment important".

« Nous faisons de plus en plus confiance à ces algorithmes et à ces modèles de prédiction de type boîte noire pour nous dire quoi faire, comment se comporter, comment traiter les patients, comment cibler les interventions, " dit Joynt Maddox, qui n'a pas participé à l'étude. "C'est troublant, dans un sens, se demander si ces modèles que nous tenons pour acquis et que nous utilisons désavantagent systématiquement des groupes particuliers. »

La faute dans ce cas n'était pas avec l'algorithme lui-même, mais avec les hypothèses faites lors de sa conception, s'empressa-t-elle d'ajouter.

Obermeyer a déclaré avoir choisi de ne pas distinguer l'entreprise qui a fabriqué l'algorithme ou le système de santé qui l'a utilisé. Il a dit qu'ils espéraient mettre l'accent sur le rôle de tout un groupe d'algorithmes de prédiction des risques qui, selon les estimations de l'industrie, sont utilisés pour évaluer environ 200 millions de personnes par an.

Certaines personnes ont réagi aux découvertes de biais algorithmiques en suggérant que les algorithmes soient complètement abandonnés, mais les algorithmes ne sont pas le problème, dit Sendhil Mullainathan, un scientifique du comportement informatique à l'Université de Chicago et auteur principal de l'étude.

En réalité, lorsqu'il est correctement étudié et traité, ils peuvent faire partie de la solution.

"Ils reflètent les biais dans les données qui sont nos biais, " a déclaré Mullainathan. " Maintenant, si vous pouvez trouver un moyen de le réparer … le potentiel qu'il a pour nous débiaiser est vraiment fort. "

Un meilleur algorithme peut aider à diagnostiquer et traiter les effets des disparités raciales dans les soins, mais il ne peut pas "guérir" la disparité à la racine du problème :le fait que moins d'argent soit dépensé pour les soins aux patients noirs, en moyenne, que sur les patients blancs, a-t-il reconnu.

Ces disparités de coûts surviennent probablement pour un certain nombre de raisons, les auteurs de l'étude ont dit. La race et la discrimination peuvent jouer un rôle, et même quand ils ont une assurance, les patients les plus pauvres sont confrontés à des « obstacles substantiels à l'accès aux soins de santé ».

« Dans la mesure où la race et le statut socio-économique sont corrélés, ces facteurs affecteront différemment les patients noirs, ", ont écrit les chercheurs.

Corriger ces sources de disparité dans le monde réel présente un défi plus profond et beaucoup plus compliqué.

Finalement, Obermeyer a dit, "il est beaucoup plus facile de corriger les biais dans les algorithmes que chez les humains."

©2019 Los Angeles Times
Distribué par Tribune Content Agency, LLC.