Les produits de drones commerciaux peuvent s'attaquer à certaines tâches automatisées, mais une chose que ces systèmes ne traitent pas est le tournage artistique. Une équipe dirigée par des chercheurs de l'Université Carnegie Mellon a proposé un système complet de cinématographie aérienne qui apprend les préférences visuelles des humains. Le système entièrement autonome ne nécessite pas de scènes scénarisées, Balises GPS pour localiser des cibles ou des cartes antérieures de l'environnement.

"Nous mettons le pouvoir d'un réalisateur à l'intérieur du drone, " a déclaré Rogerio Bonatti, un doctorat étudiant à l'Institut de Robotique de la CMU. "Le drone se positionne pour enregistrer les aspects les plus importants d'une scène. Il comprend de manière autonome le contexte de la scène - où se trouvent les obstacles, où se trouvent les acteurs - et cela explique activement quels points de vue vont créer une scène visuellement plus intéressante. Cela explique également qu'il faut rester en sécurité et ne pas s'écraser. »

Comme objectif, « artistiquement intéressant » est subjectif et difficile à quantifier mathématiquement, le système a donc été entraîné à l'aide d'une technique appelée apprentissage par renforcement en profondeur. Dans une étude d'utilisateurs, les gens ont regardé des scènes sur un simulateur photo-réaliste qui a changé entre frontal, arrière, perspectives gauche et droite. L'échelle de tir et la distance ont également été explorées, ainsi que la position de l'acteur à l'écran. Les utilisateurs ont noté des scènes en fonction de leur attrait visuel et de leur intérêt artistique.

Le système a appris que certains mouvements étaient plus intéressants que d'autres. Par exemple, d'autres produits de drones autonomes utilisent souvent un backshot continu car il permet au drone de suivre un plan clair, chemin sûr derrière l'acteur. Mais dans l'étude utilisateur, les participants ont signalé qu'un backshot constant devient ennuyeux après un certain temps. Ils ont également constaté que le drone devait souvent changer d'angle pour que la prise de vue reste intéressante, mais ils ne pouvaient pas changer trop souvent.

Bonatti a déclaré que l'équipe voulait généraliser le comportement appris, allant de la formation à la simulation au déploiement dans des scénarios réels. Alors que le système faisait la moyenne des préférences des utilisateurs pour les plans en tant qu'acteur marchant dans un couloir étroit entre les bâtiments, il peut appliquer ces préférences à des obstacles similaires comme un chemin forestier en utilisant la cartographie topographique.

"Les travaux futurs pourraient explorer de nombreux paramètres différents ou créer des préférences artistiques personnalisées en fonction du style ou du genre d'un réalisateur, " a déclaré Sébastien Scherer, professeur agrégé de recherche à l'Institut de robotique.

Le système aérien est également habile à maintenir une vision claire de l'acteur, en évitant ce qu'on appelle les occlusions. "Nous avons été le premier groupe à proposer de nouvelles façons de traiter l'occlusion qui ne soient pas seulement binaires, mais peut en fait quantifier la gravité de l'occlusion, " a déclaré Bonatti.

D'autres innovations incluent des planificateurs de mouvement efficaces pour anticiper les trajectoires des acteurs, et un système de cartographie incrémentielle et efficace de l'environnement utilisant LiDAR.

Ce système pourrait être utile au-delà du divertissement et du sport. Les gouvernements et les services de police utilisent déjà aujourd'hui des drones à pilotage manuel pour de nombreuses applications, y compris la surveillance des foules et la compréhension des modèles de trafic. Mais piloter manuellement des drones demande beaucoup d'attention, et un officier ne peut pas dépenser son énergie à regarder la scène. "Tout comme l'apprentissage des principes artistiques, la machine pourrait apprendre les coups nécessaires à d'autres applications comme la sécurité, " a déclaré Bonatti.

"Le but de la recherche n'est pas de remplacer les humains. Nous aurons toujours un marché pour des experts professionnels hautement qualifiés, " a déclaré Bonatti. " L'objectif est de démocratiser la cinématographie de drones et de permettre aux gens de se concentrer vraiment sur ce qui compte pour eux. "

Ce travail sera présenté à la Conférence internationale 2019 sur les robots et systèmes intelligents, et a été accepté pour publication dans le Journal de la robotique de terrain .