Les applications logicielles fournissent aux gens de nombreux types de décisions automatisées, comme l'identification du risque de crédit d'un individu, informer un recruteur du candidat à embaucher, ou déterminer si quelqu'un est une menace pour le public. Dans les années récentes, Les gros titres de l'actualité ont mis en garde contre un avenir dans lequel les machines fonctionneraient en arrière-plan de la société, décider du cours des vies humaines tout en utilisant une logique indigne de confiance.

Une partie de cette crainte provient de la manière obscure dont fonctionnent de nombreux modèles d'apprentissage automatique. Connu sous le nom de modèles de boîte noire, ils sont définis comme des systèmes dans lesquels le voyage de l'entrée à la sortie est presque impossible à comprendre, même pour leurs développeurs.

« Alors que l'apprentissage automatique devient omniprésent et est utilisé pour des applications aux conséquences plus graves, il est nécessaire que les gens comprennent comment il fait des prédictions afin qu'ils lui fassent confiance lorsqu'il fait plus que diffuser une publicité, " dit Jonathan Su, membre du personnel technique du groupe d'aide à la décision et à l'informatique du laboratoire MIT Lincoln.

Actuellement, les chercheurs utilisent soit des techniques post hoc, soit un modèle interprétable tel qu'un arbre de décision pour expliquer comment un modèle de boîte noire parvient à sa conclusion. Avec des techniques post hoc, les chercheurs observent les entrées et les sorties d'un algorithme, puis essaient de construire une explication approximative de ce qui s'est passé à l'intérieur de la boîte noire. Le problème avec cette méthode est que les chercheurs ne peuvent que deviner le fonctionnement interne, et les explications peuvent souvent être fausses. Arbres de décision, qui cartographient les choix et leurs conséquences potentielles dans une construction arborescente, fonctionnent bien pour les données catégorielles dont les caractéristiques sont significatives, mais ces arbres ne sont pas interprétables dans des domaines importants, tels que la vision par ordinateur et d'autres problèmes de données complexes.

Su dirige une équipe au laboratoire qui collabore avec le professeur Cynthia Rudin à l'Université Duke, avec les étudiants de Duke Chaofan Chen, Oscar Li, et Alina Barnett, à rechercher des méthodes pour remplacer les modèles de boîte noire par des méthodes de prédiction plus transparentes. Leur projet, appelé Adaptable Interpretable Machine Learning (AIM), se concentre sur deux approches :les réseaux de neurones interprétables ainsi que les listes de règles bayésiennes (BRL) adaptables et interprétables.

Un réseau de neurones est un système informatique composé de nombreux éléments de traitement interconnectés. Ces réseaux sont généralement utilisés pour l'analyse d'images et la reconnaissance d'objets. Par exemple, un algorithme peut être enseigné pour reconnaître si une photographie comprend un chien en montrant d'abord des photos de chiens. Les chercheurs disent que le problème avec ces réseaux de neurones est que leurs fonctions sont non linéaires et récursives, ainsi que compliqué et déroutant pour les humains, et le résultat final est qu'il est difficile de déterminer exactement ce que le réseau a défini comme "dogness" dans les photos et ce qui l'a conduit à cette conclusion.

Pour résoudre ce problème, l'équipe développe ce qu'elle appelle des « réseaux de neurones prototypes ». Ceux-ci sont différents des réseaux de neurones traditionnels en ce sens qu'ils codent naturellement des explications pour chacune de leurs prédictions en créant des prototypes, qui sont des parties particulièrement représentatives d'une image d'entrée. Ces réseaux font leurs prédictions sur la base de la similitude des parties de l'image d'entrée à chaque prototype.

Par exemple, si un réseau est chargé d'identifier si une image est un chien, chat, ou cheval, il comparerait des parties de l'image à des prototypes de parties importantes de chaque animal et utiliserait ces informations pour faire une prédiction. Un article sur ce travail :"Ça ressemble à ça :apprentissage profond pour la reconnaissance d'images interprétables, " a récemment été présenté dans un épisode du podcast "Data Science at Home". Un article précédent, "Apprentissage approfondi pour le raisonnement basé sur des cas à travers des prototypes :un réseau de neurones qui explique ses prédictions, " utilisé des images entières comme prototypes, plutôt que des pièces.

L'autre domaine que l'équipe de recherche étudie est les BRL, qui sont moins compliqués, des arbres de décision unilatéraux adaptés aux données tabulaires et souvent aussi précis que d'autres modèles. Les BRL sont constitués d'une séquence d'instructions conditionnelles qui forment naturellement un modèle interprétable. Par exemple, si la tension artérielle est élevée, alors le risque de maladie cardiaque est élevé. Su et ses collègues utilisent les propriétés des BRL pour permettre aux utilisateurs d'indiquer quelles fonctionnalités sont importantes pour une prédiction. Ils développent également des BRL interactifs, qui peut être adapté immédiatement lorsque de nouvelles données arrivent plutôt que recalibré à partir de zéro sur un ensemble de données en constante augmentation.

Stéphanie Carnell, un étudiant diplômé de l'Université de Floride et un stagiaire d'été dans le groupe d'informatique et d'aide à la décision, applique les BRL interactifs du programme AIM à un projet visant à aider les étudiants en médecine à mieux interroger et diagnostiquer les patients. Actuellement, les étudiants en médecine mettent en pratique ces compétences en interrogeant des patients virtuels et en recevant un score sur la quantité d'informations diagnostiques importantes qu'ils ont pu découvrir. Mais le score n'inclut pas d'explication de quoi, précisément, dans l'entretien que les étudiants ont fait pour obtenir leur score. Le projet AIM espère changer cela.

"Je peux imaginer que la plupart des étudiants en médecine sont assez frustrés de recevoir une prédiction concernant le succès sans aucune raison concrète, " dit Carnell. " Les listes de règles générées par AIM devraient être une méthode idéale pour donner aux étudiants commentaires compréhensibles."

Le programme AIM fait partie de la recherche en cours au laboratoire en ingénierie des systèmes humains - ou la pratique de la conception de systèmes plus compatibles avec la façon dont les gens pensent et fonctionnent, comme compréhensible, plutôt qu'obscur, algorithmes.

« Le laboratoire a l'opportunité d'être un leader mondial dans le rapprochement de l'humain et de la technologie, " dit Hayley Reynolds, chef adjoint du groupe d'informatique et d'aide à la décision. "Nous sommes à l'aube d'énormes progrès."

Melva James est un autre membre du personnel technique du groupe d'informatique et d'aide à la décision impliqué dans le projet AIM. "Au laboratoire, nous avons développé des implémentations Python de BRL et de BRL interactifs, " dit-elle. " [Nous] testons simultanément la sortie des implémentations BRL et BRL interactives sur différents systèmes d'exploitation et plates-formes matérielles pour établir la portabilité et la reproductibilité. Nous identifions également d'autres applications pratiques de ces algorithmes."

Su explique : « Nous espérons créer une nouvelle capacité stratégique pour le laboratoire :des algorithmes d'apprentissage automatique auxquels les gens font confiance parce qu'ils les comprennent. »

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.