À l'avenir, il y aura des chatbots encore plus bavards et moins stupides. Oui, le jour viendra où vous pourrez facilement réfléchir au chemin parcouru par les compétences linguistiques de l'IA. Et sur cette réflexion, n'ignorez pas les contributions de Nvidia dans leur travail avec BERT.

D'ACCORD, nous nous abstiendrons d'appeler les compétences linguistiques de l'IA stupides. Nvidia l'a formulé avec plus de tact dans son annonce du 13 août. Des « services d'IA conversationnels limités » existent depuis plusieurs années mais cela a été extrêmement difficile pour les chatbots, des assistants personnels intelligents et des moteurs de recherche pour fonctionner avec une compréhension de niveau humain en raison de l'incapacité à déployer des modèles d'IA extrêmement volumineux en temps réel, dit la compagnie.

Cela a changé. Nvidia a déclaré que les optimisations clés ajoutées à sa plate-forme d'IA ont permis d'atteindre des records de vitesse dans la formation et l'inférence de l'IA. HotHardware aller droit au but dans l'évaluation de l'impact de ce travail. "Nvdia a battu des records de formation à l'IA conversationnelle qui pourrait "turbocharger" des assistants traditionnels tels qu'Alexa et Siri.

Revenons au BERT qui s'est déjà taillé une place de choix dans le traitement du langage naturel. Une annonce de novembre 2018 de Google est apparue sur son blog Google AI :

"L'un des plus grands défis du traitement du langage naturel (PNL) est le manque de données d'entraînement... la plupart des ensembles de données spécifiques à une tâche ne contiennent que quelques milliers ou quelques centaines de milliers d'exemples d'entraînement étiquetés par l'homme... Pour aider à combler cet écart dans les données, les chercheurs ont développé une variété de techniques pour former des modèles de représentation linguistique à usage général en utilisant l'énorme quantité de texte non annoté sur le Web (connu sous le nom de pré-formation). Le modèle pré-entraîné peut ensuite être affiné sur des tâches de PNL à petites données telles que la réponse aux questions et l'analyse des sentiments, résultant en des améliorations substantielles de la précision par rapport à la formation sur ces ensembles de données à partir de zéro.

"Cette semaine, nous avons ouvert une nouvelle technique pour la pré-formation en PNL appelée Représentations d'encodeur bidirectionnel à partir de transformateurs, ou BERT."

Bien, c'était "cette semaine" en 2018 et maintenant c'est cette semaine en 2019. Le blog des développeurs de Nvidia a annoncé mardi que Nvidia avait enregistré le temps de formation BERT le plus rapide au monde. NVIDIA DGX SuperPOD a entraîné BERT-Large en seulement 53 minutes.

Comme Darrell Etherington l'a dit dans TechCrunch , cela signifie que "la marque de l'heure" dans la formation BERT a été dépassée (53 minutes). Etherington a dit, "La plate-forme d'IA de Nvidia a pu entraîner le modèle en moins d'une heure, une performance record en seulement 53 minutes."

Shar Narasimhan de Nvidia a écrit qu'un avantage clé de BERT était qu'il n'avait pas besoin d'être pré-formé avec des données étiquetées, afin qu'il puisse apprendre en utilisant n'importe quel texte brut. Cet avantage ouvre la porte à des ensembles de données massifs. Les chiffres du BERT :Narasimhan a déclaré qu'il était généralement "pré-formé sur une concaténation de BooksCorpus (800 millions de mots) et de Wikipedia anglais (2,5 milliards de mots), pour former un ensemble de données total de 3,3 milliards de mots."

Le communiqué de presse de Nvidia du 13 août indiquait que Microsoft et les startups exploitant sa plate-forme pour développer des services linguistiques pour les clients ont été parmi les premiers à avoir adopté les avancées en matière de performances de l'entreprise. Microsoft Bing utilise sa plate-forme Azure AI et la technologie Nvidia pour exécuter BERT.

Rangan Majumde, responsable de programme groupe, Microsoft Bing, a déclaré que Bing a encore optimisé l'inférence de BERT. Il a déclaré qu'ils avaient obtenu "deux fois plus de latence et cinq fois plus de débit lors de l'inférence à l'aide des GPU Azure NVIDIA par rapport à une plate-forme basée sur un processeur".

David Cardinal dans Technologie extrême avait plus de détails sur ce que Nvidia a apporté à la table pour faire avancer le BERT :"Nvidia a démontré qu'il peut désormais former le BERT (le modèle de langage de référence de Google) en moins d'une heure sur un DGX SuperPOD composé de 1, 472 GPU Tesla V100-SXM3-32 Go, 92 serveurs DGX-2H, et 10 Mellanox Infiniband par nœud."

Un modèle de langage basé sur Transformers fait également partie des droits de vantardise de Nvidia sur le front de l'IA, le bloc de construction technologique utilisé pour BERT. Nvidia a déclaré : « En mettant l'accent sur le besoin toujours croissant des développeurs de modèles plus grands, NVIDIA Research a construit et formé le plus grand modèle de langage au monde basé sur Transformers, le bloc de construction technologique utilisé pour BERT et un nombre croissant d'autres modèles d'IA en langage naturel. le modèle personnalisé de NVIDIA, avec 8,3 milliards de paramètres, est 24 fois la taille de BERT-Large."

Selon Nvidia, ils "ont construit le plus grand modèle de langage basé sur un transformateur au monde sur le matériel d'apprentissage en profondeur existant, Logiciel, et modèles. Ce faisant, nous avons dépassé avec succès les limitations posées par la formation traditionnelle sur un seul GPU en mettant en œuvre une approche parallèle de modèle simple et efficace avec seulement quelques modifications ciblées des implémentations de transformateurs PyTorch existantes. »

© 2019 Réseau Science X