Les outils de recommandation d'intelligence artificielle (IA) sont largement utilisés par des secteurs tels que le commerce électronique, les médias, la banque et les services publics. L'algorithme de l'outil utilise l'activité en ligne passée des visiteurs du site Web et d'autres données, à la fois implicites et explicites, pour prédire ce que ce visiteur aimerait voir ou acheter ensuite, puis lui présente ces options. Cela peut être très bénéfique; par exemple, pour les clients, le conseiller peut leur faire gagner du temps en leur proposant des options adaptées à leurs goûts et à leurs besoins. Alors que, pour les entreprises, cela peut inciter les consommateurs à dépenser plus via leur site Web et à fidéliser leurs clients :dans le cas du géant du streaming Netflix, on estime que son moteur de recommandation génère 1 milliard de dollars par an.

Un groupe de chercheurs chinois, finlandais et coréens a entrepris de découvrir les effets négatifs potentiels de ces outils d'IA. En tant que co-auteur Sihua Chen, de l'Université chinoise des finances et de l'économie du Jiangxi, explique que "chaque pièce a deux faces, et avec la pénétration des recommandateurs d'IA dans nos vies, les inconvénients deviennent plus apparents". La recherche a été publiée pour la première fois en ligne le 10 août 2021 dans le Journal of Management Science and Engineering , et devrait être publié en version papier en décembre 2021.

Après avoir examiné des recherches antérieures sur le sujet, l'équipe a construit un modèle empirique, qui révèle comment les préférences d'un client influencent ses décisions d'achat, et le rôle que joue la recommandation de l'IA dans ce processus. Ils étaient particulièrement intéressés par l'exploration du phénomène du "cocon d'information" sur Internet :lorsqu'ils sont confrontés à un grand volume d'informations en ligne, les internautes ont tendance à ne voir que ce qu'ils veulent voir.

Les chercheurs ont mené deux expériences en utilisant Jingdong et Taobao, les deux plus grandes plateformes d'achat en ligne en Chine. Selon l'auteur Jian Mou, de l'Université nationale de Pusan ​​en Corée, ils "ont découvert que la recommandation de l'IA augmentait l'effet de cocon d'informations. En d'autres termes, les gens voient ce qu'ils veulent voir, puis l'algorithme de recommandation de l'IA du site Web sélectionne le contenu pour eux en fonction de ceux-ci. préférences. Cela a un impact négatif sur la qualité des décisions d'achat du client."

Le co-auteur Mikko Siponen, de l'Université finlandaise de Jyvaskyla, ajoute que "comme pour de nombreuses autres nouvelles technologies, la recommandation de l'IA est une source de conséquences imprévues. Nos résultats ont des implications importantes pour les consommateurs, en particulier dans l'industrie du commerce électronique, s'ils le souhaitent. pour prendre des décisions d'achat indépendantes, ils doivent éviter l'influence écrasante des outils de recommandation de l'IA."