Dans un monde de photographes et vidéastes novices, capter un déluge de contenus via leurs smartphones et appareils portables, il y a un besoin d'un intelligent, outil simple d'utilisation pour automatiser la création de films et de montages vidéo. À ce jour, de nombreuses vidéos de qualité reposent toujours sur des outils de montage professionnels basés sur des images pour manipuler des séquences brutes et produire une vidéo cohérente avec un scénario captivant.

Une équipe mondiale d'informaticiens, des universités Tsinghua et Beihang en Chine, Harvard University aux États-Unis et IDC Herzliya en Israël, ont développé "Write-A-Video, " un nouvel outil qui génère des vidéos à partir de textes thématiques. À l'aide de mots et d'édition de texte, l'outil détermine automatiquement quelles scènes ou plans sont choisis dans un référentiel pour illustrer le scénario souhaité. L'outil permet aux utilisateurs novices de produire des montages vidéo de qualité d'une manière simple et conviviale qui ne nécessite pas de compétences professionnelles en matière de production et de montage vidéo.

L'équipe est prête à présenter son travail à ACM SIGGRAPH Asia, tenue du 17 au 20 novembre à Brisbane, Australie. SIGGRAPH Asie, maintenant dans sa 12e année, attire les personnes techniques et créatives les plus respectées du monde entier en infographie, animation, interactivité, jeu, et les technologies émergentes.

Alors que les outils de montage vidéo existants exigent encore des connaissances en traitement et montage vidéo, la nouvelle méthode des chercheurs permet aux novices de créer des vidéos qui racontent des histoires plus naturellement. Écrivez-une-vidéo, disent les chercheurs, permet aux utilisateurs de créer un montage vidéo en éditant simplement le texte qui accompagne la vidéo. Par exemple, ajouter ou supprimer du texte, et déplacer des phrases autour de convertir en opérations de montage vidéo, comme la recherche de plans correspondants, couper et réarranger les plans, et créer un résultat de montage vidéo final.

"Write-A-Video utilise les avancées actuelles en matière de compréhension automatique de la vidéo et une interface utilisateur unique pour permettre une création vidéo plus naturelle et plus simple, " dit le professeur Ariel Shamir, Doyen de l'école d'informatique Efi Arazi à IDC Herzliya. "Avec notre outil, l'utilisateur fournit des entrées principalement sous la forme d'édition de texte. L'outil recherche automatiquement les plans candidats correspondant sémantiquement à partir d'un référentiel vidéo, et utilise ensuite une méthode d'optimisation pour assembler le montage vidéo en coupant et en réorganisant les plans automatiquement."

"Write-A-Video permet également aux utilisateurs d'explorer les styles visuels pour chaque scène en utilisant des idiomes cinématographiques générant, par exemple, des films plus rapides ou plus lents, moins ou plus de mouvements de contenu, etc. », explique le Dr Miao Wang de l'Université de Beihang.

Lors de la sélection des plans candidats à partir du référentiel vidéo, la méthode tient également compte de l'attrait esthétique des prises de vue, choisir celles qui sont idéalement éclairées, qui sont bien concentrés et ne sont pas flous ou instables. « À tout moment, l'utilisateur peut restituer le film et prévisualiser le résultat du montage vidéo avec une narration en voix off." explique le professeur Shi-Min Hu de l'Université de Tsinghua.

Les recherches de l'équipe montrent que des outils numériques intelligents combinant les capacités des humains et des algorithmes peuvent aider les utilisateurs dans le processus créatif. "Notre travail démontre le potentiel de l'appariement visuel-sémantique automatique dans l'édition informatique basée sur les idiomes, offrir un moyen intelligent de rendre la création vidéo plus accessible aux non-professionnels, " dit Shamir.

Pour l'étude, l'approche a été testée sur différents référentiels de textes et de vidéos thématiques, avec évaluation quantitative et études d'utilisateurs. Les utilisateurs sans aucune expérience en montage vidéo pourraient produire des vidéos satisfaisantes à l'aide de l'outil Write-A-Video, parfois même plus rapidement que les professionnels utilisant un logiciel de montage basé sur des images. Chez SIGGRAPH Asie, l'équipe fera une démonstration de l'application Write-A-Video et présentera une variété d'exemples de productions text-to-video.