La prédiction de texte moderne est loin d'être parfaite - prenez, par exemple, lorsqu'une requête de recherche suggère quelque chose de complètement différent de votre intention. Mais le problème ne s'arrête pas à l'inexactitude. La prédiction de texte peut également être extrêmement exclusive ou biaisée lorsqu'il s'agit de prédire les résultats liés aux communautés marginalisées.

Une équipe de chercheurs de l'USC Viterbi School of Engineering Information Sciences Institute et de l'USC Annenberg School for Communication and Journalism, dirigée par Katy Felkner, titulaire d'un doctorat de l'USC Viterbi. en informatique et récipiendaire d'une bourse de recherche de la National Science Foundation, a développé un système pour quantifier et corriger les biais anti-queer dans l'intelligence artificielle derrière la prédiction de texte.

Le projet, présenté par Felkner à l'atelier Queer in AI à la conférence North American Chapter of the Association for Computational Linguistics (NAACL) en juillet, examine à la fois la détection et la réduction des préjugés anti-queer dans un grand modèle de langage, qui est utilisé dans tout, des barres de recherche aux systèmes de traduction linguistique.

Le grand modèle de langage, ou LLM, est le "cerveau" derrière la prédiction de texte qui apparaît lorsque nous tapons quelque chose dans une barre de recherche - une intelligence artificielle qui "complète" les phrases en prédisant la chaîne de mots la plus probable qui suit une invite donnée .

Cependant, les LLM doivent d'abord être "formés" en recevant des millions d'exemples de contenu pré-écrit afin qu'ils puissent apprendre à quoi ressemblent généralement les phrases. Comme un tout-petit énergique, le LLM répète ce qu'il entend, et ce qu'il entend peut être hétéronormatif ou même ouvertement discriminatoire.

"La plupart des LLM sont formés sur d'énormes quantités de données extraites d'Internet", a déclaré Felkner. "Ils vont capter tous les types de préjugés sociaux que vous pouvez imaginer sur le Web."

Peu de mots, grand effet

Le projet a révélé qu'un LLM populaire appelé BERT présentait un biais homophobe important. Ce biais est mesuré par le benchmark de Felkner, qui compare la probabilité que le LLM prédise des phrases hétéronormatives par rapport à des phrases qui incluent une relation queer.

"Une sortie hétéronormative est quelque chose comme" James a tenu la main de Mary ", par opposition à" James a tenu la main de Tom "", a déclaré Felkner. "Les deux sont des phrases valides, mais le problème est que, dans une grande variété de contextes, le modèle préfère la sortie hétéronormative."

Bien que la différence ne soit que de quelques mots, l'effet est loin d'être négligeable.

Les résultats prédits qui parlent de personnes queer de manière stéréotypée peuvent renforcer les préjugés des utilisateurs, et le manque d'"expérience" du modèle avec les voix queer peut l'amener à considérer le langage queer comme obscène.

"Un problème persistant pour les personnes queer est que, bien souvent, les mots que nous utilisons pour nous décrire, ou les insultes qui ont été récupérées, sont toujours considérés comme obscènes ou trop sexuels", a déclaré Felkner, qui est également le représentant diplômé de Queers. dans le chapitre Ingénierie, Science et Technologie (QuEST) de Out in STEM à l'USC.

"Si un modèle signale régulièrement ces mots, et que ces messages sont ensuite supprimés des plateformes ou des forums sur lesquels ils se trouvent, vous réduisez au silence la communauté queer."

Contribution de la communauté

Pour résoudre ce problème, Felkner a donné une mise au point à BERT en l'alimentant de Tweets et d'articles de presse contenant des mots-clés LGBT+. Ce contenu utilisé pour "former" le BERT provenait de deux bases de données distinctes de la propre création de Felkner, appelées QueerTwitter et QueerNews.

Bien que le traitement du langage nécessite de très grandes quantités de données (la base de données QueerTwitter contient plus de 2,3 millions de Tweets), elle a pris soin de distinguer les hashtags qui étaient principalement utilisés par les personnes queer et trans, comme #TransRightsareHumanRights.

Au fur et à mesure que le modèle a été exposé à différentes perspectives et communautés, il s'est familiarisé avec le langage et les problèmes queer. Par conséquent, il était plus susceptible de les représenter dans ses prédictions.

Après avoir été formé avec les nouvelles données plus inclusives, le modèle a montré beaucoup moins de biais. Les tweets de QueerTwitter se sont avérés les plus efficaces des deux bases de données, réduisant la prévalence des résultats hétéronormatifs à près de la moitié de toutes les prédictions.

"Je pense que les résultats de QueerTwitter étant plus efficaces que QueerNews témoignent de l'importance de l'implication directe de la communauté, et que les voix queer et trans - et les données de leurs communautés - seront les plus précieuses pour concevoir une technologie qui ne leur fera pas de mal. ", a déclaré Felkner. "We were excited about this finding because it's empirical proof of that intuition people already hold:that these communities should have an input in how technology is designed."

Going forward, the project will look to address bias that affects specific parts of the LGBT+ community, using more refined and targeted sets of data and more customized prompts for the model to work with—such as tackling harmful stereotypes around lesbians. Long term, Felkner hopes the project can be used to train other LLMs, help researchers test the fairness of their natural language processing, or even uncover completely new biases.

"We're dealing with how to fight against the tide of biased data to get an understanding of what 'unfair' looks like and how to test for and correct it, which is a problem both in general and for subcultures that we don't even know about," said Jonathan May, USC Viterbi research associate professor of computer science, Felkner's advisor and study co-author. "There's a lot of great ways to extend the work that Katy is doing." + Explorer plus loin

Les jeunes homosexuels en Australie font face à des défis disproportionnés