Pas la nouvelle la plus réconfortante dans le monde de la technologie :le laboratoire d'intelligence artificielle (OpenAI) cofondé par Elon Musk a déclaré que son logiciel pouvait trop facilement être adapté pour produire de fausses nouvelles. "Deux diplômés l'ont recréé de toute façon." C'était Filaire La couverture du 26 août d'une histoire sur deux récents diplômés de maîtrise en informatique ayant publié ce qu'ils ont dit être « une recréation du logiciel retenu d'OpenAI » pour que quiconque puisse le télécharger et l'utiliser.

Retenu ? Pourquoi? Il avait été retenu en raison de préoccupations concernant l'impact sociétal.

En février, OpenAI a annoncé son modèle, GPT-2, et dit qu'il a été formé pour prédire le mot suivant dans 40 Go de texte Internet.

Ils ont expliqué leur stratégie de publication : « En raison des préoccupations concernant les grands modèles de langage utilisés pour générer des informations trompeuses, biaisé, ou un langage abusif à grande échelle, nous ne publions qu'une version beaucoup plus petite de GPT-2 avec du code d'échantillonnage. Nous ne publions pas l'ensemble de données, code de formation, ou des poids de modèle GPT-2." En mai, mentionné Technologie MIT Revoir , "quelques mois après les débuts du GPT-2, OpenAI a révisé sa position sur la rétention du code complet à ce qu'il appelle une "version par étapes".

Charanjeet Singh dans Fossbytes a déclaré que le logiciel analysait les modèles de langage et pouvait être utilisé pour des tâches telles que les chatbots et pour trouver des réponses sans précédent, mais "la préoccupation la plus alarmante parmi les experts a été la création de texte synthétique".

Bien, les deux diplômés de l'actualité ont publié une recréation du logiciel OpenAI sur Internet, mais les deux chercheurs, Aaron Gokaslan et Vanya Cohen, n'a jamais voulu drainer les océans ou faire tomber le ciel.

Tom Simonite, qui a écrit l'article très cité dans Filaire , ont dit les deux chercheurs, 23 et 24 ans, n'étaient pas là pour faire des ravages, mais ont déclaré que leur publication visait à montrer qu'il n'était pas nécessaire d'être un laboratoire d'élite riche en dollars et en doctorat pour créer ce type de logiciel :ils ont utilisé environ 50 $, 000 d'une valeur de cloud computing gratuit de Google.

Sissi Cao, Observateur :Similaire au processus d'OpenAI, Gokaslan et Cohen ont formé leur logiciel de langage en utilisant des pages Web de texte "écrites par des humains (en récoltant des liens partagés sur Reddit) et le cloud computing de Google.

De plus, les actions des chercheurs étant potentiellement dangereuses pourraient être débattues.

Simonite a souligné ce point :« Les logiciels d'apprentissage automatique récupèrent les modèles statistiques du langage, pas une vraie compréhension du monde. Le texte du logiciel original et du logiciel en herbe fait souvent des sauts insensés. Ni l'un ni l'autre ne peut être dirigé pour inclure des faits ou des points de vue particuliers. »

Un exemple de sortie a été fourni par Gokaslan et Cohen en Moyen et, avec certitude, c'est un casse-tête lorsque l'on essaie de trouver un flux logique d'une phrase à l'autre.

Cet article était intitulé « OpenGPT-2 :nous avons répliqué GPT-2 parce que vous le pouvez aussi ». Ils ont déclaré qu'ils pensaient que la publication de leur modèle était une première étape raisonnable pour contrer les abus potentiels futurs de ce type de modèles. Il a déclaré qu'ils avaient modifié leur base de code pour correspondre à l'objectif de formation en modélisation linguistique de GPT-2. « Étant donné que leur modèle a été entraîné sur un corpus tout aussi important, une grande partie du code et des hyper-paramètres se sont avérés facilement réutilisables."

Comme Open-AI n'avait pas encore sorti son plus grand modèle [la date de sa publication était le 22 août], il a déclaré que les deux chercheurs ont cherché à reproduire leur modèle 1.5B pour permettre à d'autres de s'appuyer sur leur modèle pré-entraîné et de l'améliorer davantage.

Avance rapide jusqu'au 29 août. Où tout cela laisse-t-il le GPT-2 d'OpenAI ? Karen Hao dans Examen de la technologie du MIT a déclaré que son équipe politique avait publié un article, soumis le 24 août, qui est maintenant disponible sur arXiv, et "A côté, le laboratoire a publié une version du modèle, connu sous le nom de GPT-2, c'est la moitié de la taille de la pleine, qui n'a toujours pas été publié."

L'article de Hao a été particulièrement utile pour comprendre ce drame de faux texte, car elle a expliqué comment l'approche de la diffusion par étapes était reçue en dehors d'OpenAI.

Un ingénieur en apprentissage profond de Nvidia a déclaré qu'il ne pensait pas qu'une version par étapes était particulièrement utile dans ce cas, car le travail était facilement reproductible, "Mais cela pourrait être utile dans la mesure où cela crée un précédent pour les projets futurs. Les gens verront la sortie par étapes comme une option alternative."

Elle a également cité Oren Etzioni, le PDG de l'Institut Allen pour l'intelligence artificielle. « J'applaudis leur intention de concevoir un processus de sortie progressif de la technologie de l'IA, mais je me demande si toute la fanfare était justifiée."

© 2019 Réseau Science X