Traduire le processus de conception en étapes de calcul :le mélange de deux concepts crée une métaphore visuelle. Crédit :Lydia Chilton/Columbia Engineering
Mélanges visuels, qui joignent deux objets dans un insolite, manière accrocheuse, sont une technique de conception graphique avancée utilisée dans la publicité, commercialisation, et les médias pour attirer l'attention sur un message spécifique. Ces mariages visuels sont conçus pour précipiter un "aha!" moment chez le spectateur qui saisit une idée de l'union de deux images. Par exemple, mélanger une image d'une orange avec une image du soleil pourrait transmettre une boisson avec de la vitamine C.
Alors que les graphistes professionnels sont habiles à faire des mélanges visuels, la plupart des gens ne sont pas aussi doués pour construire ces images imaginatives. Pour aider les non-professionnels à créer des mélanges visuels pour leurs actualités et messages d'intérêt public, les informaticiens de Columbia Engineering ont développé VisiBlends, une souplesse, plateforme conviviale qui transforme l'activité de brainstorming créatif en fonction de recherche, et permet une sortie statistiquement plus élevée d'images visuellement mélangées. La plate-forme VisiBlends combine une série d'étapes humaines ou « microtâches » avec des techniques d'IA et de calcul. Le crowdsourcing est un élément clé du système permettant à des groupes de personnes de collaborer, ensemble ou hors site.
"Pour la personne moyenne, il semble qu'un mélange visuel nécessite une inspiration créative - un aha! moment - et qu'il n'y a pas de formule exacte pour en faire un, " dit Lydia Chilton, professeur assistant en informatique, qui a dirigé l'équipe et a présenté le document aujourd'hui à Glasgow, ROYAUME-UNI, à la conférence ACM CHI 2019 sur les facteurs humains dans les systèmes informatiques, la première conférence internationale sur l'interaction homme-machine. "Nous voulions déconstruire le processus de construction de mélanges visuels et voir s'il y avait un moyen de le rendre plus accessible aux gens en couplant l'élément humain avec des méthodes de calcul."
Des mélanges visuels efficaces sont difficiles à réaliser car ils doivent remplir deux objectifs opposés :combiner deux objets en un tout en s'assurant que les deux objets sont toujours reconnaissables. Chilton a noté que, alors qu'il n'y a pas de structure évidente au niveau de la surface pour les mélanges visuels, beaucoup ont une structure abstraite commune, ils combinent deux objets de forme similaire. Après avoir analysé des centaines de mélanges, l'équipe a opté pour une approche basée sur les principes de la reconnaissance d'objets visuels humains. Les gens utilisent de nombreuses caractéristiques visuelles différentes à différentes étapes pour reconnaître un objet, y compris la forme 3D simple de l'objet, silhouette, profondeur, Couleur, et détails.
La forme est la caractéristique la plus importante que les gens utilisent pour reconnaître un objet; secondairement, ils utiliseront de la couleur ou des détails. En combinant des objets basés sur une forme partagée, puis en mélangeant leurs couleurs ou leurs détails, on peut envoyer aux systèmes visuels des gens des messages contradictoires sur ce qu'est l'objet. Les messages contradictoires sont ce qui incite les téléspectateurs à regarder l'objet pour comprendre de quoi il s'agit.
Cela montre l'appariement des deux concepts, McDonald's et « sain ». Crédit :Lydia Chilton/Columbia Engineering
Le processus VisiBlends commence par la découverte par les utilisateurs de deux concepts importants du message qu'ils souhaitent associer au mélange. Par exemple, pour le concept publicitaire associant McDonald's et « healthy, " les utilisateurs pouvaient choisir une pomme et un hamburger comme les deux concepts à mélanger. Pour le titre " Le football dangereux pour le développement des jeunes, " les utilisateurs peuvent sélectionner "football" et "dangereux" comme les deux concepts à mélanger. Les concepts doivent être suffisamment larges pour qu'il y ait suffisamment de variété dans les symboles pour trouver des correspondances, et sinon, les utilisateurs peuvent avoir besoin de réfléchir pour élargir les concepts.
Après avoir réfléchi aux associations avec le concept, les utilisateurs doivent trouver des images d'objets qui représentent visuellement le concept de manière simple, manières emblématiques, et doit ensuite annoter les images pour leur forme et leur couverture. Une fois que les utilisateurs ont une collection d'images annotées pour les deux concepts, les ordinateurs sont utilisés pour faire correspondre automatiquement les images et les synthétiser en mélanges basés sur le modèle de conception.
Une fois les mélanges synthétisés, les utilisateurs peuvent évaluer les résultats. S'il n'y a pas de mélanges réussis, le processus doit être répété afin de recentrer le brainstorming pour trouver plus de symboles. Alors que ce processus de conception itératif produit souvent de nouvelles contraintes, la flexibilité du workflow permet aux utilisateurs de s'adapter facilement en se déplaçant entre les tâches et en voyant le travail de leurs collaborateurs.
Chilton et son équipe, qui comprenait son doctorat. l'étudiant Savvas Petridis et Maneesh Agrawala, le professeur Forest Baskett d'informatique et directeur du Brown Institute for Media Innovation à l'Université de Stanford, s'est demandé si cela aiderait les concepteurs novices à faire de meilleurs mélanges visuels. Pour tester ceci, ils ont mené une étude contrôlée pour comparer le nombre de mélanges réussis que les utilisateurs novices pouvaient faire avec et sans VisiBlends.
Dans l'étude, VisiBlends a produit 10 fois plus de résultats créatifs que les sessions de brainstorming non guidées. Les utilisateurs de VisiBlends ont eu un taux de réussite de 96%, par opposition à un taux de 21 % sans utiliser le système. Les chercheurs ont également découvert que le système permettait à des groupes situés à différents endroits de générer facilement des mélanges collaboratifs dans des microtâches indépendantes et à des groupes situés dans une zone de travailler ensemble sur des images mélangées.
Une illustration de la façon dont VisiBlends crée un mélange visuel pour « Starbucks est là pour l'été ». Les gens réfléchissent à des symboles pour Starbucks et l'été. L'ordinateur les combine automatiquement en fonction de la forme. Les gens jugent les sorties, et dites à l'ordinateur comment améliorer l'image en fonction de la couleur, forme, ou des détails. Crédit :Lydia Chilton/Columbia Engineering
"C'était vraiment excitant, " Chilton dit, « de voir que l'utilisation de notre outil VisiBlends a considérablement augmenté le nombre de mélanges visuels réussis. »
VisiBlends prend le processus de conception général et l'adapte à un problème spécifique, basé sur un modèle de conception. "Mais le processus de conception et l'idée des modèles de conception est très large", Chilton observe. « Nous travaillons maintenant à la création de flux de travail flexibles pour d'autres problèmes en comprenant quels composants sous-tendent la solution et quel modèle de conception abstrait peut le mieux décrire comment ces composants s'emboîtent. Par exemple, de nombreuses tâches créatives ont des modèles - les histoires ont des intrigues comme le voyage du héros, la musique a des progressions d'accords, les preuves mathématiques ont des techniques de preuve, le logiciel a des modèles de conception, et même les articles universitaires ont une structure abstraite que les conseillers transmettent aux étudiants. »
Il n'y avait pas de modèle de conception existant pour les mélanges visuels, l'équipe a donc dû discerner le modèle en examinant des exemples et en testant des théories. Ils ont découvert que, pour trouver des modèles de conception, ils devaient ignorer les détails de surface et se concentrer sur les éléments les plus fondamentaux de la cognition humaine. "Pour les mélanges visuels, la forme était importante pour un mélange, " Chilton ajoute. " Pour un domaine tel que l'écriture persuasive, les principes psychologiques des états émotionnels peuvent être les éléments clés d'un modèle de conception."
Chilton explore maintenant comment étendre son approche à d'autres problèmes de conception créative, explorer comment son équipe peut trouver des liens entre deux domaines de recherche et les fusionner en un seul pour produire de nouveaux résultats et accélérer la recherche interdisciplinaire. Chilton note que de nombreux résultats surprenants des résultats scientifiques dans l'histoire sont venus de l'utilisation d'une technique expérimentale dans un domaine, comme la physique, et l'appliquer dans un domaine différent, comme l'informatique, qui fait partie de la façon dont l'apprentissage en profondeur est né.
« Les impacts des champs de mélange peuvent être énormes, mais jusqu'ici, ils arrivent pour la plupart par accident, " dit-elle. " Nous pouvons rendre les échanges scientifiques et les découvertes plus systématiques et accélérer le rythme des découvertes. "
