Figure 1. Qualité d'image avant (à gauche) et après (à droite) l'application de la technologie. Crédit : Institut coréen avancé des sciences et de la technologie (KAIST)
Le professeur Jinwoo Shin et le professeur Dongsu Han de l'École d'ingénierie électrique ont développé une diffusion de vidéo Internet adaptative et neuronale consciente du contenu. Cette technologie est une nouvelle méthode qui combine le streaming adaptatif sur HTTP, le système de transmission vidéo adopté par YouTube et Netflix, avec un modèle d'apprentissage en profondeur.
Cette technologie devrait créer un environnement Internet où les utilisateurs peuvent regarder des vidéos 4K et AV/VR avec des vidéos de haute qualité et haute définition (HD), même avec des connexions Internet faibles.
Grâce aux services de streaming vidéo, la vidéo sur Internet a connu une croissance remarquable; néanmoins, les utilisateurs souffrent souvent d'une qualité vidéo médiocre en raison de conditions de réseau défavorables. Actuellement, les systèmes de streaming adaptatifs existants ajustent la qualité de la vidéo en temps réel, s'adapter à la bande passante Internet en constante évolution. Divers algorithmes sont à l'étude pour les systèmes de streaming adaptatifs, mais il y a une limitation inhérente; C'est, les vidéos de haute qualité ne peuvent pas être diffusées dans des environnements réseau médiocres, quel que soit l'algorithme utilisé.
En incorporant la super-résolution dans le streaming adaptatif, l'équipe a surmonté la limite des réseaux de distribution de contenus existants, dont leur qualité dépend trop de la bande passante. Dans la méthode conventionnelle, le serveur qui fournit la vidéo divise une vidéo en certaines durées à l'avance. Mais le nouveau système introduit par l'équipe permet le téléchargement de segments de réseau neuronal. Pour faciliter cette méthode, le serveur vidéo doit fournir des réseaux de neurones profonds pour chaque segment vidéo ainsi que des tailles de réseaux de neurones profonds (DNN) en fonction des spécifications de la capacité de calcul de l'utilisateur.
Figure 2. Le concept technologique. Crédit : Institut coréen avancé des sciences et de la technologie (KAIST)
La plus grande taille de réseau de neurones est de deux mégaoctets, ce qui est considérablement plus petit que la vidéo. Lors du téléchargement du réseau neuronal à partir du lecteur vidéo de l'utilisateur, il est divisé en plusieurs segments. Même son téléchargement partiel est suffisant pour une super-résolution légèrement comprise.
Pendant la lecture de la vidéo, le système convertit la vidéo de faible qualité en une version de haute qualité en utilisant une super-résolution basée sur des réseaux de neurones à convolution profonde (CNN). L'ensemble du processus se fait en temps réel, et les utilisateurs peuvent profiter de la vidéo haute définition.
Même avec une bande passante inférieure de 17 %, le système peut fournir une qualité d'expérience équivalente au dernier service de streaming adaptatif. À une bande passante Internet donnée, il peut fournir une QoE moyenne 43 % supérieure à celle du dernier service.
Figure 3. Une transition d'une vidéo de faible qualité à une vidéo de haute qualité après la transmission vidéo depuis le serveur vidéo. Crédit : Institut coréen avancé des sciences et de la technologie (KAIST)
L'utilisation d'une méthode d'apprentissage en profondeur permet à ce système d'atteindre un niveau de compression plus élevé que les méthodes de compression vidéo existantes. Leur technologie a été reconnue comme un système vidéo Internet de nouvelle génération qui applique une super-résolution basée sur un réseau de neurones à convolution profonde aux vidéos en ligne.
Le professeur Han a dit, "Jusque là, il n'a été implémenté que sur les ordinateurs de bureau, mais nous continuerons à développer des applications qui fonctionnent également sur les appareils mobiles. Cette technologie a été appliquée aux mêmes systèmes de transmission vidéo utilisés par les chaînes de streaming telles que YouTube et Netflix, et montre ainsi de bons signes de praticabilité."
