Votre amie vous envoie par SMS une photo du chien qu'elle est sur le point d'adopter mais tout ce que vous voyez est bronzé, brume vaguement animale de pixels. Pour vous donner une image plus grande, elle envoie le lien vers le profil d'adoption du chien parce qu'elle s'inquiète de sa limite de données. Un clic et votre écran se remplit de descriptions et d'images beaucoup plus satisfaisantes de sa future meilleure amie.

Envoyer un lien au lieu de télécharger une image massive n'est qu'une astuce utilisée par les humains pour transmettre des informations sans brûler les données. En réalité, ces astuces pourraient inspirer une toute nouvelle classe d'algorithmes de compression d'images, selon les recherches d'une équipe d'ingénieurs de l'Université de Stanford et d'étudiants du secondaire.

Les chercheurs ont demandé aux gens de comparer les images produites par un algorithme de compression traditionnel qui réduit les images énormes en flous pixelisés à celles créées par les humains dans des conditions de données restreintes - communication texte uniquement, qui pourraient inclure des liens vers des images publiques. Dans de nombreux cas, les produits du partage d'images par l'homme se sont avérés plus satisfaisants que le travail de l'algorithme. Les chercheurs présenteront leurs travaux le 28 mars lors de la conférence 2019 Data Compression.

"Presque tous les compresseurs d'images que nous avons aujourd'hui sont évalués à l'aide de métriques qui ne représentent pas nécessairement ce que les humains apprécient dans une image, " a déclaré Irena Fischer-Hwang, un étudiant diplômé en génie électrique et co-auteur de l'article. "Il s'avère que nos algorithmes ont un long chemin à parcourir et peuvent apprendre beaucoup de la façon dont les humains partagent l'information."

Le projet est né d'une collaboration entre des chercheurs dirigés par Tsachy Weissman, professeur de génie électrique, et trois lycéens qui ont fait un stage dans son laboratoire.

"Franchement, nous sommes entrés dans cette collaboration dans le but de donner aux étudiants quelque chose qui ne les détournerait pas trop de la recherche en cours, " a déclaré Weissman. " Mais ils voulaient faire plus, et ce chutzpah a conduit à un article et à une toute nouvelle orientation de recherche pour le groupe. Cela pourrait très bien devenir l'un des projets les plus excitants auxquels j'ai jamais participé."

Une image moins perdante

Conversion d'images dans un format compressé, comme un JPEG, les rend nettement plus petits, mais perd certains détails - cette forme de conversion est souvent appelée "avec perte" pour cette raison. L'image résultante est de moindre qualité car l'algorithme doit sacrifier des détails sur la couleur et la luminance afin de consommer moins de données. Bien que les algorithmes conservent suffisamment de détails pour la plupart des cas, Les stagiaires de Weissman pensaient qu'ils pouvaient faire mieux.

Dans leurs expériences, deux étudiants ont travaillé ensemble à distance pour recréer des images à l'aide d'un logiciel de retouche photo gratuit et d'images publiques provenant d'Internet. Une personne de la paire avait l'image de référence et a guidé la deuxième personne dans la reconstruction de la photo. Les deux personnes pouvaient voir la reconstruction en cours, mais le descripteur ne pouvait communiquer que par texte tout en écoutant son partenaire parler.

La taille finale du fichier de l'image reconstruite était la taille compressée des messages texte envoyés par le descripteur, car c'est ce qui serait nécessaire pour recréer cette image. (Le groupe n'a pas inclus d'informations audio.)

Les étudiants ont ensuite opposé les reconstructions humaines à des images compressées par machine avec des tailles de fichier égales à celles des fichiers texte de reconstruction. Donc, si une équipe humaine créait une image avec seulement 2 kilo-octets de texte, ils ont compressé le fichier original à la même taille. Avec l'accès aux images originales, 100 personnes en dehors des expériences ont évalué la reconstruction humaine mieux que la compression basée sur la machine sur 10 des 13 images.

Visages flous OK

Lorsque les images originales correspondaient étroitement aux images publiques sur Internet, comme une intersection de rue, les reconstructions faites par l'homme ont particulièrement bien fonctionné. Même les reconstitutions qui combinaient diverses images ont souvent bien fonctionné, sauf dans les cas comportant des visages humains. Les chercheurs n'ont pas demandé à leurs juges d'expliquer leur classement mais ils ont quelques idées sur les disparités qu'ils ont trouvées.

« Dans certains scénarios, comme des scènes de nature, les gens s'en fichaient si les arbres étaient un peu différents ou si la girafe était une girafe différente. Ils se souciaient plus que l'image ne soit pas floue, ce qui signifie une compression traditionnelle classée plus bas, " dit Shubham Chandak, un étudiant diplômé du groupe de Weissman et co-auteur de l'article. "Mais pour les visages humains, les gens préfèrent avoir le même visage même s'il est flou."

Cette faiblesse apparente du partage d'images basé sur l'homme s'améliorerait à mesure que de plus en plus de personnes téléchargent des images d'elles-mêmes sur Internet. Les chercheurs font également équipe avec un dessinateur de la police pour voir comment son expertise pourrait faire la différence. Même si ce travail montre la valeur de l'apport humain, les chercheurs finiraient par essayer d'automatiser le processus.

"L'apprentissage automatique travaille sur des morceaux et des parties de cela, et j'espère que nous pourrons les faire travailler ensemble bientôt, " dit Kedar Tatwawadi, un étudiant diplômé du groupe de Weissman et co-auteur de l'article. "Il semble qu'un compresseur pratique qui fonctionne avec ce genre d'idéologie n'est pas très loin."

Appel à tous les élèves

Weissman a souligné la valeur de la contribution des lycéens, même au-delà de ce papier.

"Des dizaines, voire des centaines de milliers d'heures d'ingénierie humaine ont été consacrées à la conception d'un algorithme que trois lycéens sont venus et lui ont botté les fesses, " a déclaré Weissman. " C'est humiliant de considérer jusqu'où nous sommes dans notre ingénierie. "

En raison du succès de cette collaboration, Weissman a créé un programme formel de stages d'été dans son laboratoire pour les lycéens. Imaginer comment un artiste ou des étudiants intéressés par la psychologie ou les neurosciences pourraient contribuer à ce travail, il est particulièrement désireux d'amener des étudiants aux intérêts et aux antécédents variés.