Crédit :CC0 Domaine public
Construire un modèle de réseau neuronal pour chaque nouvel ensemble de données est le cauchemar ultime pour tout data scientist. Et si vous pouviez prévoir la précision du réseau de neurones plus tôt grâce à l'expérience accumulée et à l'approximation ? C'était l'objectif d'un projet récent chez IBM Research et le résultat est TAPAS ou Train-less Accuracy Predictor for Architecture Search (cliquez pour une démo). Son astuce est qu'il peut estimer, en quelques fractions de seconde, performances de classification pour les ensembles de données d'entrée invisibles, sans formation pour la classification d'images et de textes.
Contrairement aux approches proposées précédemment, TAPAS n'est pas seulement calibré sur les informations topologiques du réseau, mais aussi sur la caractérisation de la difficulté du jeu de données, ce qui nous permet de réajuster la prédiction sans aucun entraînement.
Cette tâche était particulièrement difficile en raison de l'hétérogénéité des ensembles de données utilisés pour la formation des réseaux de neurones. Ils peuvent avoir des classes complètement différentes, structure, et tailles, ajoutant à la complexité de trouver une approximation. Lorsque mes collègues et moi avons réfléchi à la manière de résoudre ce problème, nous avons essayé de ne pas considérer cela comme un problème pour un ordinateur, mais plutôt de penser à la façon dont un humain prédirait l'exactitude.
Nous avons compris que si vous demandiez à un humain ayant une certaine connaissance du deep learning si un réseau serait bon ou mauvais, cette personne aurait naturellement une intuition à ce sujet. Par exemple, nous reconnaîtrions que deux types de couches ne se mélangent pas, ou qu'après un type de couche, il y en a toujours un autre qui suit et améliore la précision. Nous avons donc examiné si l'ajout de fonctionnalités ressemblant à ces intuitions humaines dans un ordinateur pourrait l'aider à faire un travail encore meilleur. Et nous avions raison.
