Microsoft et Warner Bros. ont collaboré avec succès pour stocker et récupérer l'intégralité du film emblématique "Superman" de 1978 sur un morceau de verre à peu près de la taille d'un sous-verre, 75 par 75 par 2 millimètres d'épaisseur.

C'était le premier test de preuve de concept pour le projet Silica, un projet de recherche de Microsoft qui utilise les découvertes récentes en optique laser ultrarapide et en intelligence artificielle pour stocker des données dans du verre de quartz. Un laser code les données dans le verre en créant des couches de réseaux tridimensionnels à l'échelle nanométrique et des déformations à différentes profondeurs et angles. Les algorithmes d'apprentissage automatique relisent les données en décodant les images et les motifs créés lorsque la lumière polarisée brille à travers le verre.

Le verre de silice dur peut supporter d'être bouilli dans de l'eau chaude, cuit au four, au micro-ondes, inondé, décapé, démagnétisés et autres menaces environnementales qui peuvent détruire des archives historiques inestimables ou des trésors culturels si les choses tournent mal.

Il représente un investissement de Microsoft Azure pour développer des technologies de stockage conçues spécifiquement pour les modèles de cloud computing, plutôt que de s'appuyer sur des supports de stockage conçus pour fonctionner dans des ordinateurs ou d'autres scénarios. Ce n'est qu'une des nombreuses façons dont Azure s'appuie sur l'expertise de Microsoft en matière de recherche pour résoudre les défis à court et à long terme, des tests de centre de données sous-marins du projet Natick à la puissance de traitement FPGA du projet Brainwave et à la recherche émergente sur l'optique pour le cloud.

"Stocker tout le film 'Superman' dans du verre et pouvoir le lire avec succès est une étape importante, " a déclaré Mark Russinovich, Directeur technique d'Azure. "Je ne dis pas que toutes les questions ont reçu une réponse complète, mais il semble que nous soyons maintenant dans une phase où nous travaillons sur le raffinement et l'expérimentation, plutôt poser la question « pouvons-nous le faire ? » »

Warner Bros., qui a approché Microsoft après avoir pris connaissance de la recherche, est toujours à la recherche de nouvelles technologies pour sauvegarder sa vaste bibliothèque d'actifs :des trésors historiques comme « Casablanca, " Les émissions de radio des années 40, courts métrages d'animation, films de cinéma tournés numériquement, séries télévisées, quotidiens des plateaux de tournage. Pendant des années, ils avaient recherché une technologie de stockage qui pourrait durer des centaines d'années, résister aux inondations ou aux éruptions solaires et qui ne nécessitent pas d'être maintenus à une certaine température ni de rafraîchissement constant.

"Cela a toujours été notre lueur d'espoir pour ce que nous pensions être possible un jour, alors quand nous avons appris que Microsoft avait développé cette technologie à base de verre, nous voulions le prouver, ", a déclaré Vicky Colf, directrice de la technologie de Warner Bros..

Réduire les coûts de stockage à long terme

La plupart des gens considèrent le « cloud » comme un moyen de tout stocker, des milliers de photos de famille à des millions d'e-mails, sans prendre de place sur votre téléphone ou votre ordinateur. Mais toutes ces informations sont physiquement stockées sur du matériel dans un emplacement distant, vous permettant d'y accéder à partir de plusieurs appareils.

La quantité de données que l'humanité cherche maintenant à stocker, des dossiers médicaux aux vidéos amusantes de chats en passant par les images prises par les engins spatiaux, explose en même temps que la capacité des technologies de stockage existantes s'aplatit.

Les coûts de stockage à long terme sont entraînés par la nécessité de transférer à plusieurs reprises des données sur des supports plus récents avant que les informations ne soient perdues. Les disques durs peuvent s'user au bout de trois à cinq ans. La bande magnétique ne peut durer que cinq à sept ans. Les formats de fichiers deviennent obsolètes, et les mises à niveau sont chères. Dans ses propres archives numériques, par exemple, Warner Bros. migre de manière proactive le contenu tous les trois ans pour éviter les problèmes de dégradation.

Le stockage en verre a le potentiel de devenir une option moins coûteuse car vous n'écrivez les données sur le verre qu'une seule fois. Les lasers femtosecondes, qui émettent des impulsions optiques ultracourtes et qui sont couramment utilisés en chirurgie LASIK, modifient en permanence la structure du verre, ainsi les données peuvent être conservées pendant des siècles.

Le verre de quartz n'a pas non plus besoin d'une climatisation énergivore pour maintenir le matériau à une température constante ou de systèmes qui éliminent l'humidité de l'air, ce qui pourrait réduire l'empreinte environnementale du stockage de données à grande échelle.

"Nous n'essayons pas de créer des choses que vous mettez dans votre maison ou à partir desquelles vous regardez des films. Nous construisons un stockage qui fonctionne à l'échelle du cloud, " a déclaré Ant Rowstron, directeur adjoint du laboratoire partenaire de Microsoft Research Cambridge au Royaume-Uni, qui a collaboré avec l'Université de Southampton pour développer le projet Silica.

« Une grande chose que nous voulions éliminer est ce cycle coûteux de déplacement et de réécriture des données vers la prochaine génération. Nous voulons vraiment quelque chose que vous pouvez mettre sur l'étagère pour 50 ou 100 ou 1, 000 ans et oubliez jusqu'à ce que vous en ayez besoin, " dit Rowstron.

Project Silica vise à stocker ce que l'on appelle des données « froides », des données d'archives qui peuvent avoir une valeur énorme ou que les entreprises sont tenues de conserver, mais qui n'ont pas besoin d'être consultées fréquemment. Cela peut inclure des données médicales qui doivent être conservées pendant toute la vie d'un patient, données de régulation financière, contrats légaux, des informations géologiques relatives à l'exploration énergétique et aux plans de construction auxquels les villes doivent s'accrocher.

Warner Bros. souhaitait vivement aider Microsoft à tester des solutions susceptibles de réduire les coûts et les inefficacités associés au stockage des données sur ces horizons à long terme, dit Colf.

"Avec la plus grande bibliothèque de contenu de l'industrie des médias et du divertissement à de nombreux égards, nos défis sont uniques par leur ampleur, mais ils ne sont certainement pas uniques en termes de problème que nous essayons de résoudre, " elle a dit.

Transformer les données numériques en artefacts physiques

Avec une histoire de près de 100 ans dans le cinéma et la télévision, Warner Bros. possède l'une des bibliothèques de divertissement les plus importantes et les plus importantes au monde. La réédition de films plus anciens dans de nouveaux formats ou pour de nouveaux publics est une partie importante de l'entreprise. C'est aussi une énorme responsabilité culturelle de préserver à perpétuité certaines des histoires les plus appréciées au monde, dit Colf.

"Imaginez si un titre comme le 'Magicien d'Oz' ou une émission comme 'Friends' n'était pas disponible génération après génération pour apprécier, voir et comprendre, " dit-elle. " Nous pensons que c'est inimaginable, et c'est pourquoi nous prenons très au sérieux le travail de préservation et d'archivage de notre contenu."

L'entreprise a mis en place des plans de licenciement pour gérer plusieurs scénarios pessimistes :un tremblement de terre ou un ouragan qui frappe l'une des côtes, un incendie où les systèmes d'extinction ne se déclenchent pas ou une défaillance du contrôle climatique qui permet à l'humidité de s'accumuler et de ruiner le film.

L'objectif est d'avoir trois copies d'archives de chaque actif stockées dans différents endroits dans le monde :deux copies numérisées distinctes, ainsi que la copie physique originale sur n'importe quel support un épisode de film ou de télévision ou un dessin animé a été créé.

Heureusement, les négatifs de films originaux dureront des siècles s'ils sont stockés dans de bonnes conditions. Mais pour certaines émissions de télévision plus anciennes - pensez aux épisodes d'"Alice" tournés dans les années 1970 - la copie physique originale a une durée de vie limitée qui nécessite une migration vers des formats plus récents. Et pour les films et les émissions de télévision d'aujourd'hui qui sont tournés en numérique, le troisième exemplaire de qualité archive a un cycle de migration très court de trois à cinq ans, ce qui est difficile à gérer.

« Disons qu'une émission de télévision pousse directement dans nos archives numériques ; il n'y a rien de physique, " a déclaré Steven Anastasi, Vice-président de Warner Bros. pour les archives médiatiques mondiales et les services de préservation. "Le fichier numérique entre mais je n'ai rien que je puisse mettre dans un coffre-fort ou dans une mine de sel ou quoi que ce soit de physique entrant dans le bâtiment."

Warner Bros. envisage potentiellement Project Silica pour créer un actif physique permanent pour stocker du contenu numérique important et fournir des copies de sauvegarde durables. À l'heure actuelle, pour les sorties en salles tournées en numérique, la société crée une troisième copie d'archive en la reconvertissant en film analogique. Il divise le métrage final en trois composantes de couleur :cyan, magenta et jaune et transfère chacun sur des négatifs de film noir et blanc qui ne se décoloreront pas comme un film couleur.

Ces négatifs sont placés dans une archive de stockage à froid. Dans ces coffres hautement gérés, la température et l'humidité sont étroitement contrôlées, et les renifleurs d'air recherchent des signes de décomposition chimique qui pourraient signaler des problèmes. S'ils ont besoin de récupérer le film, ils doivent inverser ces étapes compliquées.

Ce procédé coûte cher, et il ne reste plus qu'une poignée de laboratoires de cinéma dans le monde qui peuvent le faire. Et le processus n'est pas optimal d'un point de vue qualitatif, dit Brad Collar, Warner Bros. vice-président senior des archives mondiales et de l'ingénierie des médias.

« Quand nous tournons quelque chose en numérique - avec des zéros et des uns représentant les pixels à l'écran ¬ - et que nous l'imprimons sur un support analogique appelé film, vous détruisez les valeurs de pixel d'origine. Et, Bien sur, ça a l'air pas mal, mais ce n'est pas réversible, " dit Collier.

"Si nous pouvons prendre la représentation numérique de ces pixels et la placer sur un support comme de la silice et la relire exactement telle qu'elle était lorsqu'elle est sortie de l'appareil photo, nous avons fait notre travail de préservation au mieux de nos capacités. C'est ce que j'aime à ce sujet, " il a dit.

Il n'est pas économique de créer des négatifs de films d'archives pour chaque épisode télévisé tourné numériquement dans la bibliothèque Warner Bros. La société espère que le projet Silica pourrait s'avérer moins cher, alternative de meilleure qualité pour créer des archives physiques de contenu numérique.

Il reste encore beaucoup de travail à faire pour atteindre cette échelle :les chercheurs de Microsoft devraient augmenter considérablement la vitesse à laquelle les données peuvent être écrites et lues, ainsi que sa densité. Warner Bros. envisage sa propre infrastructure pour lire les données des archives de verre. Mais les deux partenaires voient la promesse du chemin parcouru.

« Si la solution de stockage de Project Silica s'avère aussi rentable et évolutive qu'elle pourrait l'être - et nous reconnaissons tous que ce n'est qu'un début - c'est quelque chose que nous aimerions voir adopté par d'autres studios et nos pairs et d'autres industries, " dit Colf.

"Si ça marche pour nous, nous sommes convaincus que cela profitera à quiconque souhaite conserver et archiver du contenu, " elle a dit.

Conception de stockage pour le cloud

Il est impossible de savoir combien d'informations ont été perdues car personne n'a réalisé leur valeur à l'époque, des films muets que personne n'imaginait ne jamais voir en dehors d'un cinéma aux données historiques dont les outils d'analyse modernes et l'IA pourraient glaner de nouvelles informations.

L'un des objectifs de la recherche sur le stockage de nouvelle génération de Microsoft, qui comprend des efforts parallèles pour stocker des données dans l'ADN, est de développer des solutions suffisamment bon marché et sans effort pour que vous n'ayez pas vraiment à choisir si vous souhaitez stocker vos données, dit l'entreprise.

Les chercheurs de Microsoft ont passé des années à essayer d'y arriver avec les technologies actuellement utilisées dans les centres de données. Mais la taille, la forme et les contraintes de choses telles que le spooling de bande et les disques rotatifs, qui ont tous été inventés à d'autres fins bien avant l'existence du cloud, ne pouvaient tout simplement pas leur apporter les gains qu'ils souhaitaient.

"Finalement, nous avons juste pensé « pouvons-nous construire quelque chose à partir de zéro pour le cloud qui n'a pas besoin de faire autre chose ? »", a déclaré Rowstron.

Ils ont lancé une collaboration avec le Centre de recherche optoélectronique de l'Université de Southampton, où les chercheurs ont initialement démontré comment stocker des données dans du verre avec des lasers femtosecondes. Avec l'investissement d'Azure, Cambridge de Microsoft, ROYAUME-UNI, le laboratoire a constitué une équipe interdisciplinaire de physiciens, experts en optique, ingénieurs électriciens et chercheurs ayant une formation en stockage pour pousser la technologie plus loin.

Depuis, l'équipe Microsoft Research a réalisé des progrès spectaculaires en termes de vitesse et de précision. Ils ont également travaillé en étroite collaboration avec leurs homologues Azure pour concevoir Project Silica en gardant à l'esprit les défis et les exigences quotidiens du stockage cloud commercial.

« Obtenir toutes leurs contributions et réfléchir au projet dès le premier jour signifie que nous allons générer quelque chose à la fin qui leur sera vraiment utilisable, " a déclaré Rowstron à propos de la relation avec l'équipe produit Azure.

Les lasers infrarouges de Project Silica encodent les données en "voxels, " l'équivalent tridimensionnel des pixels qui composent une image plate. Contrairement aux autres supports de stockage optiques qui écrivent des données à la surface de quelque chose, Project Silica stocke les données dans le verre lui-même. Un morceau de verre de 2 mm d'épaisseur, par exemple, peut contenir plus de 100 couches de voxels.

Les données sont codées dans chaque voxel en modifiant la force et l'orientation des impulsions laser intenses qui déforment physiquement le verre. C'est un peu comme créer des icebergs à l'envers à l'échelle nanométrique, avec différentes profondeurs et tailles et rainures qui les rendent uniques.

Pour relire les données, les algorithmes d'apprentissage automatique décodent les motifs créés lorsque la lumière polarisée brille à travers le verre. Contrairement au stockage sur bande, qui prend du temps à s'enrouler pour arriver à l'endroit que vous souhaitez relire, les algorithmes peuvent rapidement se concentrer sur n'importe quel point du carré de verre, potentiellement réduire le temps de latence pour récupérer les informations.

"Si vous êtes assez vieux pour vous souvenir de rembobiner et de transférer des chansons sur des cassettes, cela peut prendre un certain temps pour arriver à la partie que vous voulez, " dit Richard Black, Ingénieur principal en logiciel de recherche Microsoft. "Par contre, il est très rapide de relire à partir du verre car vous pouvez vous déplacer simultanément dans l'axe x, y ou z.

Contrairement aux verres à vin fragiles ou aux ampoules électriques, les carrés de verre de quartz utilisés pour le stockage des données sont étonnamment difficiles à détruire. Tôt, l'équipe de recherche a essayé d'en cuire un dans un four à 500 degrés, micro-ondes, le faire bouillir, le récurer avec de la laine d'acier. Et quand ils relisent les données, tout était encore là.

C'était tout à fait logique pour les archivistes de Warner Bros., qui, il y a des années, a découvert des boîtes de séries radio de Superman enregistrées dans les années 1940 sur des morceaux de verre de la taille d'un record.

"Nous avons en fait trouvé des joueurs sur lesquels nous pouvions rejouer ces choses, et ils étaient tout aussi bons parce qu'ils étaient stockés sur du verre. Et nous avons pu numériser et enregistrer ces merveilleux éléments de contenu, " dit Collier.

"Alors maintenant, l'un de nos actifs les plus anciens dans notre coffre-fort est le verre et l'une des technologies les plus récentes dans notre coffre-fort est le verre. Et ils sont tous les deux Superman. Nous avons donc vraiment bouclé la boucle, " il a dit.