Des chercheurs de l'Idiap et de l'EPFL ont travaillé avec des psychologues pour comprendre comment les gens forment les premières impressions à partir de photos. Ils se sont concentrés sur la façon dont les gens réagissent aux propriétés disponibles sur Airbnb. Une meilleure analyse du comportement humain devrait permettre aux scientifiques de programmer des machines capables de prendre des décisions plus « humaines ».

En quelques clics sur TripAdvisor ou Airbnb, vous pouvez réserver un appartement romantique pour un week-end en amoureux, ou un restaurant élégant pour un déjeuner d'affaires. Les décisions rapides impliquées, basé principalement sur des images, sont loin d'être anodines compte tenu de leur importance commerciale et de la révolution économique représentée par l'avènement des sites d'économie à la demande comme Airbnb. Mais qu'en est-il d'une image qui nous incite à qualifier un intérieur de « tendance », « coloré » ou « pratique » ? Pour répondre à cette question, des chercheurs de l'Idiap Research Institute et de l'EPFL ont travaillé avec des psychologues de l'Université de Lausanne. Ils veulent mieux comprendre les perceptions et le comportement des utilisateurs des médias sociaux, puis utiliser ces connaissances pour programmer des ordinateurs capables de prendre des décisions de manière plus humaine. "A l'ère du big data, les machines sont de plus en plus à l'origine d'un grand nombre de décisions, " explique Daniel Gatica-Perez, professeur associé à l'EPFL School of Engineering and Digital Humanities Institute. "Notre objectif est de les rendre aussi similaires que possible aux décisions humaines."

Une collaboration entre psychologues et ingénieurs

Pour comprendre comment se forme une première impression, les chercheurs ont d'abord mené des entretiens avec des invités et des voyageurs, leur demander comment ils choisissent les logements. Ils en ont utilisé 350, 000 images sur 22, 000 propriétés répertoriées sur Airbnb en Suisse et au Mexique, et leur a appliqué une analyse algorithmique pour vérifier qu'il s'agissait d'images d'intérieurs. Ils ont ensuite sélectionné 200 propriétés au hasard et envoyé une liste d'adjectifs aux observateurs en ligne. Ces observateurs devaient décider avec quelle précision les adjectifs décrivaient chaque propriété, sur une échelle de 1 à 7. Certains adjectifs étaient plus factuels (comme « propre » et « encombré »), tandis que d'autres étaient plus subjectifs (comme "bohème" et "charmant"). Cette étape, réalisé en collaboration entre psychologues et ingénieurs, ont révélé les caractéristiques sur lesquelles tous les participants étaient d'accord et celles sur lesquelles ils n'étaient pas d'accord. Pour les propriétés décrites comme "colorées" ou "sombres, " la plupart des répondants étaient d'accord avec ces adjectifs et les scores étaient très similaires. Les scores pour les autres adjectifs, comme "détendu" ou "traditionnel, " varie considérablement selon les propriétés.

Analyser la perception humaine en ligne

Les scientifiques ont ensuite réalisé une modélisation à partir des données obtenues. Ils ont tenté de détecter quelles caractéristiques des photos incitaient les participants à les décrire à l'aide d'un adjectif donné, afin de programmer les ordinateurs pour les reconnaître. Prochain, ils ont examiné dans quelle mesure les adjectifs étaient interreliés. Les personnes décrivant une propriété comme « colorée » associeront-elles également l'adjectif « propre » à cette propriété ? Quel est le lien entre "prétentieux, "branché, " "organisé" et "grand" ? Comment sont les adjectifs positifs et négatifs, et les adjectifs factuels et subjectifs, interdépendants ? Et pourquoi l'adjectif « romantique » est-il plus étroitement associé à « sophistiqué » qu'à « tendance » ? "On pourrait s'attendre à ce que 'grand' et 'spacieux' soient très proches l'un de l'autre dans l'esprit des gens, et 'encombré' et 'vide' pour être très éloignés, " dit Gatica-Perez. " Mais les relations sont plus complexes. En utilisant notre système, si nous reconnaissons une caractéristique, nous pouvons également associer d'autres adjectifs qui leur sont liés dans l'esprit des gens."

Des machines au service des humains

Finalement, les chercheurs ont pris les images de propriété et appliqué les algorithmes utilisés dans le domaine de l'apprentissage profond, comparer les résultats avec ceux obtenus chez l'homme. Finalement, des professionnels tels que des architectes ou des designers pourraient appliquer les résultats à des photos d'intérieurs. Le laboratoire suit également le développement des sites de partage d'images qui, pour un lieu donné, afficher des photos très différentes – professionnelles et amateurs – conduisant à des perceptions très différentes. Cependant, l'objectif principal des scientifiques est de comprendre les caractéristiques des images et les connexions qui déterminent la façon dont nous formons des impressions, afin qu'ils puissent programmer des ordinateurs pour les imiter. "On entend souvent dire que les machines fonctionnent mieux que les humains, " conclut Gatica-Perez. " Notre objectif est différent :nous voulons former des machines à reconnaître ces subtilités que les humains perçoivent et expriment dans leur vie de tous les jours, et de les utiliser pour répondre aux besoins réels des gens."

"Check Out This Place:Inferring Ambiance from Airbnb Photos" est publié dans Transactions IEEE sur le multimédia .