Les systèmes d'intelligence artificielle peuvent être capables d'accomplir des tâches rapidement, mais cela ne signifie pas qu'ils le font toujours de manière équitable. Si les ensembles de données utilisés pour former des modèles d'apprentissage automatique contiennent des données biaisées, il est probable que le système puisse présenter ce même biais lorsqu'il prend des décisions dans la pratique.

Par exemple, si un ensemble de données contient principalement des images d'hommes blancs, un modèle de reconnaissance faciale formé avec ces données peut être moins précis pour les femmes ou les personnes ayant des tons de peau différents.

Un groupe de chercheurs du MIT, en collaboration avec des chercheurs de l'Université de Harvard et de Fujitsu, Ltd., a cherché à comprendre quand et comment un modèle d'apprentissage automatique est capable de surmonter ce type de biais d'ensemble de données. Ils ont utilisé une approche issue des neurosciences pour étudier comment les données d'entraînement affectent la capacité d'un réseau neuronal artificiel à apprendre à reconnaître des objets qu'il n'a jamais vus auparavant. Un réseau de neurones est un modèle d'apprentissage automatique qui imite le cerveau humain dans la manière dont il contient des couches de nœuds interconnectés, ou "neurones", qui traitent les données.

Les nouveaux résultats montrent que la diversité des données d'entraînement a une influence majeure sur la capacité d'un réseau de neurones à surmonter les biais, mais en même temps, la diversité des ensembles de données peut dégrader les performances du réseau. Ils montrent également que la manière dont un réseau de neurones est formé et les types spécifiques de neurones qui émergent au cours du processus de formation peuvent jouer un rôle majeur dans sa capacité à surmonter un ensemble de données biaisé.

"Un réseau de neurones peut surmonter le biais des ensembles de données, ce qui est encourageant. Mais le principal point à retenir ici est que nous devons prendre en compte la diversité des données. Nous devons cesser de penser que si vous ne collectez qu'une tonne de données brutes, cela va obtenir vous quelque part. Nous devons d'abord faire très attention à la façon dont nous concevons les ensembles de données », déclare Xavier Boix, chercheur au Département des sciences du cerveau et cognitives (BCS) et au Centre pour les cerveaux, les esprits et les machines (CBMM ), et auteur principal de l'article.

Les co-auteurs comprennent d'anciens étudiants diplômés Spandan Madan, un auteur correspondant qui poursuit actuellement un doctorat. à Harvard, Timothy Henry, Jamell Dozier, Helen Ho et Nishchal Bhandari; Tomotake Sasaki, un ancien scientifique invité maintenant chercheur à Fujitsu; Frédo Durand, professeur de génie électrique et d'informatique et membre du Laboratoire d'informatique et d'intelligence artificielle; et Hanspeter Pfister, professeur An Wang d'informatique à la Harvard School of Engineering and Applied Sciences. La recherche apparaît aujourd'hui dans Nature Machine Intelligence .

Penser comme un neuroscientifique

Boix et ses collègues ont abordé le problème du biais des ensembles de données en pensant comme des neuroscientifiques. En neurosciences, explique Boix, il est courant d'utiliser des ensembles de données contrôlés dans les expériences, c'est-à-dire un ensemble de données dans lequel les chercheurs en savent le plus possible sur les informations qu'il contient.

L'équipe a construit des ensembles de données contenant des images de différents objets dans des poses variées et a soigneusement contrôlé les combinaisons afin que certains ensembles de données aient plus de diversité que d'autres. Dans ce cas, un jeu de données a moins de diversité s'il contient plus d'images qui montrent des objets d'un seul point de vue. Un ensemble de données plus diversifié contenait plus d'images montrant des objets de plusieurs points de vue. Chaque ensemble de données contenait le même nombre d'images.

Les chercheurs ont utilisé ces ensembles de données soigneusement construits pour former un réseau de neurones pour la classification des images, puis ont étudié dans quelle mesure il était capable d'identifier des objets à partir de points de vue que le réseau n'a pas vus pendant la formation (appelée combinaison hors distribution).

Par exemple, si les chercheurs entraînent un modèle pour classer les voitures dans des images, ils veulent que le modèle apprenne à quoi ressemblent les différentes voitures. Mais si chaque Ford Thunderbird de l'ensemble de données d'entraînement est affiché de face, lorsque le modèle entraîné reçoit une image d'une Ford Thunderbird prise de côté, il peut le classer de manière erronée, même s'il a été entraîné sur des millions de photos de voitures.

The researchers found that if the dataset is more diverse—if more images show objects from different viewpoints—the network is better able to generalize to new images or viewpoints. Data diversity is key to overcoming bias, Boix says.

"But it is not like more data diversity is always better; there is a tension here. When the neural network gets better at recognizing new things it hasn't seen, then it will become harder for it to recognize things it has already seen," he says.

Testing training methods

The researchers also studied methods for training the neural network.

In machine learning, it is common to train a network to perform multiple tasks at the same time. The idea is that if a relationship exists between the tasks, the network will learn to perform each one better if it learns them together.

But the researchers found the opposite to be true—a model trained separately for each task was able to overcome bias far better than a model trained for both tasks together.

"The results were really striking. In fact, the first time we did this experiment, we thought it was a bug. It took us several weeks to realize it was a real result because it was so unexpected," he says.

They dove deeper inside the neural networks to understand why this occurs.

They found that neuron specialization seems to play a major role. When the neural network is trained to recognize objects in images, it appears that two types of neurons emerge—one that specializes in recognizing the object category and another that specializes in recognizing the viewpoint.

When the network is trained to perform tasks separately, those specialized neurons are more prominent, Boix explains. But if a network is trained to do both tasks simultaneously, some neurons become diluted and don't specialize for one task. These unspecialized neurons are more likely to get confused, he says.

"But the next question now is, how did these neurons get there? You train the neural network and they emerge from the learning process. No one told the network to include these types of neurons in its architecture. That is the fascinating thing," he says.

That is one area the researchers hope to explore with future work. They want to see if they can force a neural network to develop neurons with this specialization. They also want to apply their approach to more complex tasks, such as objects with complicated textures or varied illuminations.

Boix is encouraged that a neural network can learn to overcome bias, and he is hopeful their work can inspire others to be more thoughtful about the datasets they are using in AI applications.