Faux. Dangereux. Angoissant. Trop bon. Quand les gros titres regorgent de verdicts comme ceux que vous soupçonnez, correctement, que tu es au pays de l'intelligence artificielle, où quelqu'un a mis au point un autre modèle d'IA.

Donc, c'est , GPT-2, un algorithme et, que cela fasse s'inquiéter ou s'émerveiller, "Il excelle dans une tâche connue sous le nom de modélisation du langage, " mentionné Le bord , "qui teste la capacité d'un programme à prédire le mot suivant dans une phrase donnée."

Selon la façon dont vous le regardez, vous pouvez blâmer, ou féliciter, une équipe d'OpenAI, basée en Californie, qui a créé GPT-2. Leur programme de modélisation du langage a écrit un essai convaincant sur un sujet avec lequel ils n'étaient pas d'accord.

Comment ils l'ont fait :ils l'ont alimenté par des invites textuelles. Il était capable de compléter des phrases et des paragraphes inventés. Leur modèle a été formé pour prédire le mot suivant dans un texte Internet, a déclaré le billet de blog OpenAI.

David Luan, Vice-président de l'ingénierie au laboratoire de Californie, relayé ce qui est arrivé à Le bord . L'équipe a décidé de lui demander « d'argumenter sur un point qu'ils jugeaient contre-intuitif. Dans ce cas :pourquoi le recyclage est mauvais pour le monde ». Le résultat :Un professeur agréable, essai bien argumenté, "quelque chose que vous auriez pu soumettre à l'US SAT et obtenir un bon score, " dit Louan.

C'est là que réside la raison pour laquelle certaines personnes s'inquiétant d'Armageddon mettant en scène des robots pourraient ne pas bien dormir la nuit. Donnez-lui un faux titre, a dit James Vincent dans Le bord , et il partira pour écrire le reste de l'article.

"Nous avons commencé à le tester, et découvert rapidement qu'il est possible de générer assez facilement du contenu malveillant, " dit Jack Clark, directeur des politiques chez OpenAI, dans Examen de la technologie du MIT . De fausses citations ? Aucun problème. De fausses statistiques ? Terminé.

Vincent a ajouté, il y avait une autre raison pour laquelle GPT-2 était sous le feu des projecteurs. Il a également été remarqué pour sa flexibilité. La rédaction de faux essais n'était pas la seule capacité; il pourrait aussi faire d'autres tâches :"traduire du texte d'une langue à une autre, résumer de longs articles, et répondre à des questions triviales, " dit Vincent.

En tout, le blog OpenAI publié jeudi a résumé ce qu'ils ont fait. Notez leurs derniers mots, sans formation spécifique à la tâche :

« Nous avons formé un modèle de langage non supervisé à grande échelle qui génère des paragraphes de texte cohérents, atteint des performances de pointe sur de nombreux benchmarks de modélisation de langage, et effectue une compréhension de lecture rudimentaire, traduction automatique, réponse aux questions, et la synthèse, le tout sans formation spécifique à la tâche. »

Il s'agit du secteur « zero-shot » de la recherche en IA.

« Notre modèle n'est entraîné sur aucune des données spécifiques à l'une de ces tâches et n'est évalué sur celles-ci qu'en tant que test final. ensembles de données (par exemple Wikipédia, nouvelles, livres) lorsqu'ils sont évalués sur ces mêmes ensembles de données. le programme OpenAI ne nécessite pas de texte étiqueté ou organisé."

L'équipe a déclaré que leur système avait établi un record de performances sur les soi-disant schémas de Winograd, une tâche de compréhension de lecture difficile; obtient des performances quasi humaines au test du livre pour enfants, une autre vérification de la compréhension en lecture ; et génère son propre texte, y compris des articles de presse très convaincants et des critiques d'Amazon, selon Vox .

Bloomberg s'est tourné vers Sam Bowman, informaticien de l'Université de New York, spécialisé dans le traitement du langage naturel. Bowman ne faisait pas partie du projet OpenAI, juste informé à ce sujet. ""Il est capable de faire des choses qui sont qualitativement beaucoup plus sophistiquées que tout ce que nous avons vu auparavant."

À la fin, qu'avons-nous ici ? Ont-ils créé une percée ou un monstre ?

En ajoutant un peu de perspective, Will Knight dans Examen de la technologie du MIT a déclaré qu'une telle technologie pourrait avoir des utilisations bénéfiques, comme résumer du texte ou améliorer les compétences conversationnelles des chatbots. Aussi, un expert du traitement du langage naturel et le scientifique en chef de Salesforce ont reconnu ce travail OpenAI comme un exemple de système d'apprentissage des langues plus général. Richard Socher, l'expert, a commenté le potentiel de tromperie et de désinformation. "Vous n'avez pas besoin d'IA pour créer de fausses nouvelles, " a-t-il dit. " Les gens peuvent facilement le faire :) "

Néanmoins, "OpenAI avance prudemment avec le dévoilement de GPT-2, " a écrit Vincent. " Contrairement à la plupart des étapes importantes de la recherche en IA, le laboratoire ne partagera pas l'ensemble de données qu'il a utilisé pour entraîner l'algorithme ou tout le code sur lequel il s'exécute (bien qu'il ait donné un accès temporaire à l'algorithme à un certain nombre de publications médiatiques, comprenant Le bord )."

L'équipe a déclaré dans leur article de blog. « En raison de nos préoccupations concernant les applications malveillantes de la technologie, nous ne publions pas le modèle entraîné. À titre d'expérience de divulgation responsable, nous publions plutôt un modèle beaucoup plus petit pour que les chercheurs puissent l'expérimenter, ainsi qu'un document technique."

Spécifiquement, ils ont dit qu'ils ne publiaient qu'une version beaucoup plus petite de GPT-2 avec du code d'échantillonnage. "Nous ne publions pas l'ensemble de données, code de formation, ou des poids de modèle GPT-2."

OpenAI préfère parler des dangers avant qu'ils n'arrivent. Jack Clark, Le directeur des politiques d'OpenAI a parlé d'algorithmes de modélisation de langage comme GPT-2. "Notre hypothèse est que le monde pourrait être meilleur et plus sûr si vous parlez de [ces dangers] avant qu'ils n'arrivent, " il a dit.

GPT-2 a été formé sur un ensemble de données de millions de pages Web. Dave Lee, journaliste technologique en Amérique du Nord, BBC, ajouté le caractère « non supervisé » de ce qu'ils ont créé, de telle sorte qu'il n'ait pas besoin d'être recyclé pour passer à un autre sujet.

Lee, tout en reconnaissant que leur travail était d'un réalisme impressionnant lorsqu'il fonctionnait bien, remarqué des lacunes aussi.

"L'IA génère l'histoire mot par mot. Le texte qui en résulte est souvent cohérent, mais rarement véridique - toutes les citations et attributions sont fabriquées. Les phrases sont basées sur des informations déjà publiées en ligne, mais la composition de cette information est censée être unique. Parfois, le système crache des passages de texte qui n'ont pas beaucoup de sens structurellement, ou contenir des inexactitudes risibles."

Risible maintenant, mais l'IA s'améliorera-t-elle avec le temps ? Selon Knight, Clark a déclaré qu'il ne faudrait peut-être pas longtemps pour que les fausses histoires produites par l'IA soient plus convaincantes. "Il est très clair que si cette technologie mûrit - et je lui donnerais un ou deux ans - elle pourrait être utilisée à des fins de désinformation ou de propagande, " dit Clark, et "Nous essayons d'aller de l'avant."

© 2019 Réseau Science X