Des chercheurs du MIT et d'ailleurs ont développé un outil interactif qui, pour la première fois, permet aux utilisateurs de voir et de contrôler le fonctionnement des systèmes d'apprentissage automatique automatisés. L'objectif est de renforcer la confiance dans ces systèmes et de trouver des moyens de les améliorer.

Concevoir un modèle d'apprentissage automatique pour une certaine tâche, telle que la classification d'images, diagnostic de maladie, et la prévision boursière - est une tâche ardue, processus chronophage. Les experts choisissent d'abord parmi de nombreux algorithmes différents pour construire le modèle autour. Puis, ils modifient manuellement les "hyperparamètres" - qui déterminent la structure globale du modèle - avant que le modèle ne commence à s'entraîner.

Les systèmes d'apprentissage automatique (AutoML) récemment développés testent et modifient de manière itérative les algorithmes et ces hyperparamètres, et sélectionnez les modèles les mieux adaptés. Mais les systèmes fonctionnent comme des "boîtes noires, " ce qui signifie que leurs techniques de sélection sont cachées aux utilisateurs. Par conséquent, les utilisateurs peuvent ne pas faire confiance aux résultats et peuvent trouver difficile d'adapter les systèmes à leurs besoins de recherche.

Dans un article présenté à la conférence ACM CHI sur les facteurs humains dans les systèmes informatiques, chercheurs du MIT, l'Université des sciences et technologies de Hong Kong (HKUST), et l'Université du Zhejiang décrivent un outil qui place les analyses et le contrôle des méthodes AutoML entre les mains des utilisateurs. Appelé ATMSeer, l'outil prend en entrée un système AutoML, un jeu de données, et quelques informations sur la tâche d'un utilisateur. Puis, il visualise le processus de recherche dans une interface conviviale, qui présente des informations détaillées sur les performances des modèles.

"Nous laissons les utilisateurs choisir et voir comment les systèmes AutoML fonctionnent, " dit le co-auteur Kalyan Veeramachaneni, chercheur principal au MIT Laboratory for Information and Decision Systems (LIDS), qui dirige le groupe Data to AI. "Vous pouvez simplement choisir le modèle le plus performant, ou vous pourriez avoir d'autres considérations ou utiliser l'expertise du domaine pour guider le système dans la recherche de certains modèles plutôt que d'autres."

Dans les études de cas avec des étudiants diplômés en sciences, qui étaient des novices d'AutoML, les chercheurs ont découvert qu'environ 85 % des participants qui utilisaient ATMSeer avaient confiance dans les modèles sélectionnés par le système. Presque tous les participants ont déclaré que l'utilisation de l'outil les rendait suffisamment à l'aise pour utiliser les systèmes AutoML à l'avenir.

"Nous avons constaté que les gens étaient plus susceptibles d'utiliser AutoML en ouvrant cette boîte noire et en voyant et en contrôlant le fonctionnement du système, " dit Micah Smith, un étudiant diplômé du Département de génie électrique et informatique (EECS) et chercheur au LIDS.

"La visualisation des données est une approche efficace pour une meilleure collaboration entre les humains et les machines. ATMSeer illustre cette idée, " déclare l'auteur principal Qianwen Wang de HKUST. " ATMSeer profitera principalement aux praticiens de l'apprentissage automatique, quel que soit leur domaine, [qui] ont un certain niveau d'expertise. Cela peut soulager la douleur de la sélection manuelle des algorithmes d'apprentissage automatique et du réglage des hyperparamètres."

Rejoindre Smith, Veeramachaneni, et Wang sur le papier sont :Yao Ming, Qiaomu Shen, Dongyu Liu, et Huamin Qu, tout HKUST ; et Zhihua Jin de l'Université du Zhejiang.

Réglage du modèle

Au cœur du nouvel outil se trouve un système AutoML personnalisé, appelés « modèles à réglage automatique » (ATM), développé par Veeramachaneni et d'autres chercheurs en 2017. Contrairement aux systèmes AutoML traditionnels, ATM catalogue entièrement tous les résultats de recherche alors qu'il essaie d'adapter les modèles aux données.

ATM prend en entrée n'importe quel ensemble de données et une tâche de prédiction codée. Le système sélectionne au hasard une classe d'algorithmes, telle que les réseaux de neurones, arbres de décision, forêt aléatoire, et la régression logistique — et les hyperparamètres du modèle, comme la taille d'un arbre de décision ou le nombre de couches de réseau de neurones.

Puis, le système exécute le modèle par rapport à l'ensemble de données, ajuste itérativement les hyperparamètres, et mesure les performances. Il utilise ce qu'il a appris sur les performances de ce modèle pour sélectionner un autre modèle, etc. À la fin, le système génère plusieurs modèles les plus performants pour une tâche.

L'astuce est que chaque modèle peut essentiellement être traité comme un seul point de données avec quelques variables :algorithme, hyperparamètres, et performances. En s'appuyant sur ce travail, les chercheurs ont conçu un système qui trace les points de données et les variables sur des graphiques et des tableaux désignés. De là, ils ont développé une technique distincte qui leur permet également de reconfigurer ces données en temps réel. "Le truc c'est que, avec ces outils, tout ce que vous pouvez visualiser, vous pouvez également modifier, " dit Smith.

Des outils de visualisation similaires sont conçus pour analyser un seul modèle d'apprentissage automatique spécifique, et permettre une personnalisation limitée de l'espace de recherche. "Par conséquent, ils offrent une prise en charge limitée du processus AutoML, dans lequel les configurations de nombreux modèles recherchés doivent être analysées, " dit Wang. " En revanche, ATMSeer prend en charge l'analyse de modèles d'apprentissage automatique générés avec divers algorithmes."

Contrôle et confiance de l'utilisateur

L'interface d'ATMSeer se compose de trois parties. Un panneau de configuration permet aux utilisateurs de télécharger des ensembles de données et un système AutoML, et démarrez ou suspendez le processus de recherche. Ci-dessous se trouve un panneau de présentation qui affiche des statistiques de base, telles que le nombre d'algorithmes et d'hyperparamètres recherchés, et un "classement" des modèles les plus performants par ordre décroissant. "C'est peut-être le point de vue qui vous intéresse le plus si vous n'êtes pas un expert qui plonge dans les moindres détails, " dit Veeramachaneni.

ATMSeer inclut un « Profiler AutoML, " avec des panneaux contenant des informations détaillées sur les algorithmes et les hyperparamètres, qui peuvent tous être ajustés. Un panneau représente toutes les classes d'algorithmes sous forme d'histogrammes :un graphique à barres qui montre la distribution des scores de performance de l'algorithme, sur une échelle de 0 à 10, en fonction de leurs hyperparamètres. Un panneau séparé affiche des nuages ​​de points qui visualisent les compromis de performances pour différents hyperparamètres et classes d'algorithmes.

Études de cas avec des experts en machine learning, qui n'avait aucune expérience avec AutoML, a révélé que le contrôle utilisateur permet d'améliorer les performances et l'efficacité de la sélection AutoML. Des études d'utilisateurs avec 13 étudiants diplômés dans divers domaines scientifiques, tels que la biologie et la finance, ont également été révélatrices. Les résultats indiquent trois facteurs principaux :le nombre d'algorithmes recherchés, temps d'exécution du système, et trouver le modèle le plus performant - déterminé comment les utilisateurs ont personnalisé leurs recherches AutoML. Ces informations peuvent être utilisées pour adapter les systèmes aux utilisateurs, disent les chercheurs.

« Nous commençons tout juste à voir le début des différentes façons dont les gens utilisent ces systèmes et font des sélections, " dit Veeramachaneni. " C'est parce que maintenant que toutes ces informations sont au même endroit, et les gens peuvent voir ce qui se passe dans les coulisses et ont le pouvoir de le contrôler."

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.