• Home
  • Chimie
  • Astronomie
  • Énergie
  • La nature
  • Biologie
  • Physique
  • Électronique
  •  science >> Science >  >> Astronomie
    L'IA augmente les images lunaires d'Apollo à 60 FPS

    Crédit :Dutchsteammachine

    Aussi excitant et excitant que de regarder toutes les images historiques des alunissages d'Apollo, tu dois admettre, la qualité n'est parfois pas terrible. Même si la NASA a travaillé à la restauration et à l'amélioration de certaines des images Apollo les plus populaires, une partie est encore granuleuse ou floue.

    Mais maintenant, les nouveaux développements de l'intelligence artificielle sont venus à la rescousse, offrant aux téléspectateurs une expérience presque inédite en regardant une vidéo historique d'Apollo.

    Un spécialiste de la restauration de photos et de films, du nom de DutchSteamMachine, a utilisé la magie de l'IA pour améliorer le film Apollo original, créer des clips vidéo et des images d'une clarté et d'une vivacité saisissantes.

    "Je voulais vraiment offrir une expérience sur cette vieille séquence qui n'a pas été vue auparavant, " a-t-il déclaré à Universe Today.

    Jetez un œil à ces images améliorées d'une traversée du rover lunaire Apollo 16 avec Charlie Duke et John Young, dans lequel le métrage initialement tourné à 12 images par seconde ( fps) a été augmenté à 60 fps :

    Superbe, droit? Et j'ai été époustouflé par la vue nette de la surface de la lune dans cette vue améliorée du site d'atterrissage d'Apollo 15 à Hadley Rille :

    Crédit :Dutchsteammachine

    Ou jetez un œil à la clarté avec laquelle Neil Armstrong est visible dans cette version améliorée de la vidéo « première étape » souvent vue d'Apollo 11 prise par une caméra vidéo 16 mm à l'intérieur du module lunaire :

    Crédit :Dutchsteammachine

    L'IA utilisée par DutchSteamMachine s'appelle l'interpolation d'images vidéo avec prise en compte de la profondeur, ou DAIN pour faire court. Cette IA est open source, gratuit et constamment développé et amélioré. L'interpolation de mouvement ou l'interpolation d'images à compensation de mouvement est une forme de traitement vidéo dans laquelle des images d'animation intermédiaires sont générées entre celles existantes dans le but de rendre la vidéo plus fluide, pour compenser le flou, etc.

    "Les gens ont utilisé les mêmes programmes d'IA pour redonner vie à d'anciens enregistrements de films des années 1900, en haute définition et couleur, " at-il dit. " Cette technique semblait être une bonne chose à appliquer à des images beaucoup plus récentes. "

    Mais vous ne pourrez peut-être pas essayer cela à la maison. Il faut un puissant, GPU haut de gamme avec ventilateurs de refroidissement spéciaux. DutchSteamMachine a déclaré qu'une vidéo de seulement cinq minutes peut prendre de six à 20 heures. Mais les résultats parlent d'eux-mêmes.

    Il a expliqué comment il fait ce travail :« Je me suis d'abord efforcé de trouver les vidéos sources de la plus haute qualité, que j'ai heureusement trouvé sous forme de fichiers vidéo 720p à haut débit, " dit-il. " Ainsi, le problème de qualité a été résolu. Il est important de commencer par la source la plus élevée possible et d'éditer à partir de là. Cependant, la plupart des séquences tournées étaient encore très saccadées. C'est parce que pour épargner le film et enregistrer pendant de longues périodes, la plupart des images du rover ont été tournées à 12 heures, six voire une image(s) par seconde. Alors que les gens ont déjà essayé d'appliquer une stabilisation et/ou des types de mélange de cadres pour atténuer cet effet, Je n'en ai jamais vraiment été satisfait."

    DutchSteamMachine cherche à déterminer la fréquence d'images du métrage original, qui peuvent généralement être trouvés dans les documents de la NASA ou, comme dans le cas des images d'Apollo 16 ci-dessus, les astronautes l'annoncent lorsqu'ils allument la caméra.

    "Malheureusement, parfois, le framerate semble être éteint ou fluctuant, ne fonctionne pas toujours comme prévu, " a-t-il dit. " Donc, la meilleure façon de trouver le framerate est d'écouter les points de repère dont parlent les astronautes et de faire correspondre les images à cela. J'ai divisé le fichier source en images PNG individuelles, entrez-les dans l'IA avec le framerate d'entrée (un, six, 12 ou 24) et la fréquence d'images de sortie souhaitée par taux d'interpolation (2x, 4x, 8x). L'IA commence à utiliser mon GPU et regarde deux vrais, trames consécutives. À l'aide d'algorithmes, il analyse les mouvements des objets dans les deux cadres et en restitue de tout nouveaux. Avec un taux d'interpolation de, par exemple, 5x, il est capable de restituer cinq "fausses" images à partir de deux vraies images. Si le métrage a été enregistré à 12 ips et que le taux d'interpolation est réglé sur 5x, le framerate final sera de 60, ce qui signifie qu'avec seulement 12 images réelles, il a fait 48 'faux' cadres. Les deux sont ensuite exportés vers une vidéo et lus à 60 ips avec les images réelles et fausses. Enfin, j'applique la correction des couleurs, comme souvent, les fichiers sources ont une teinte bleue ou orange. Je synchronise les images avec l'audio, et si possible, aussi la télévision et les photos prises en même temps. Parfois, deux caméras 16 mm fonctionnaient en même temps, pour que je puisse les jouer les uns à côté des autres."

    Voici une vidéo qu'il a partagée de son studio et de son équipement spécialisé :

    Crédit :Dutchsteammachine

    DutchSteamMachine fait ce travail pendant son temps libre, et le publie gratuitement sur sa page YouTube. Son slogan est "Préserver le passé pour l'avenir, " et il utilise également les mêmes techniques pour améliorer les anciennes vidéos personnelles, images et diapositives.

    "C'est super de lire les réactions des gens sur mes images, " a-t-il dit. " Alors, quand les gens publient des choses comme, 'Wow! Ceci est incroyable! Je n'avais jamais vu ça avant!, ' ça me permet de continuer."

    Si vous souhaitez soutenir l'incroyable travail de restauration/amélioration que DutchSteamMachine fait pour les images d'Apollo, voici sa page Patreon. En soutenant son travail, vous obtiendrez des extras, accès anticipé et aperçus des travaux à venir, et une chance de poser des questions sur le processus. Et il a l'intention de garder tout cela à venir.

    "Je prévois d'améliorer des tonnes de séquences Apollo comme celle-ci, " Il a dit. " Beaucoup plus d'espace et de séquences liées à l'histoire vont être publiés sur ma chaîne YT en continu. " Il a également une page Flickr avec des images plus améliorées.


    © Science https://fr.scienceaq.com