Une équipe internationale de chercheurs a testé l'idée que les évaluations en ligne gratuites sont moins fiables que celles qui ont un certain coût pour elles, s'inspirant de la théorie écologique connue sous le nom de « théorie de la signalisation coûteuse ».

La théorie suggère que si laisser un avis a un certain prix, que ce soit de l'argent, du temps ou de l'énergie, cela se traduira par des évaluations plus précises. En écologie, la théorie de la signalisation coûteuse soutient que les affichages qui "coûtent" plus - comme des queues de paon élaborées, ou des démonstrations intenses de faim de la part des oisillons—sont plus susceptibles de refléter la réalité. Une queue colorée dénote un paon en bonne santé, et un poussin avec un ventre plein ne gaspillera pas l'énergie pour crier pour plus de nourriture.

Mais le sociologue de Princeton Dalton Conley et ses collègues sont les premiers à appliquer cette théorie à Yelp ou Uber et leurs systèmes de notation. En testant une série d'outils de notation pondérée dans le cadre d'un jeu vidéo, ils ont constaté que les évaluations à faible effort étaient moins précises que celles qui coûtaient quelques secondes supplémentaires à utiliser. Ils ont conclu que les sites de commerce électronique devraient reconcevoir leurs interfaces pour imposer des coûts de temps aux évaluateurs de produits ou de services.

"En termes simples :rendre l'évaluation des biens ou des services aussi simple que possible, comme de nombreux sites de commerce électronique essaient de le faire, est contre-productif, " dit Conley, Professeur de sociologie à l'Université Henry Putnam de Princeton et membre du corps professoral de l'Office of Population Research et du Center for Health and Wellbeing, qui est l'auteur principal d'un article récent dans les Actes des National Academies of Science. "Idem pour forcer tout le monde à donner une note. Les notes sont plus précises à la place quand elles coûtent quelque chose à donner."

Il a poursuivi:"L'intuition d'Uber et d'autres sites de commerce électronique est probablement fausse. Il y a une raison pour laquelle les plumes de paon sont si coûteuses à produire:leur coût assure un signal honnête de la capacité de reproduction."

Ou, comme l'a dit le co-auteur Lucas Parra :« Les évaluations en ligne ne valent rien, n'est-ce pas ? À moins qu'ils n'entraînent des frais pour les évaluateurs ! » Parra est le professeur Harold Shames de génie biomédical au City College de New York.

Conley, Parra et leur équipe de co-auteurs ont fait valoir que même s'il y a peu de motivation pour tricher avec les évaluations en ligne, il n'y a aucune incitation évidente à laisser une critique d'une étoile sur un endroit que nous aimons, ou une critique cinq étoiles d'un dépotoir - il y a, au mieux, peu d'avantages directs pour les évaluateurs qui fournissent des évaluations précises, suggérant que les gens sont susceptibles de fournir des informations de mauvaise qualité.

Ils ont décidé de tester la théorie en imposant un « coût » à la fourniture d'informations - et des coûts plus élevés sur les évaluations extrêmes - pour voir s'ils pouvaient éliminer ou réduire le nombre de malhonnêtes, notations moyennement asymétriques une étoile et cinq étoiles.

Alors ils ont créé des jeux vidéo, et recruté des joueurs d'Amazon's Mechanical Turk.

Dans un jeu typique, les joueurs ont manœuvré une voiture pour collecter des pièces, sachant qu'ils recevraient un cent de paiement réel pour chaque pièce numérique collectée. Les routes étaient séparées par des lacs qui ne pouvaient être traversés qu'avec des ferries. Les deux premiers trajets en ferry ont été utilisés comme ensemble d'entraînement, avec des retards de 20 secondes puis 4 secondes, pour établir une base commune pour les évaluations des performances des traversiers. Après ça, le jeu variait au hasard les retards et les vitesses des services de ferry. Les ferries les plus rapides sont arrivés immédiatement et ont traversé le lac en 2 secondes, tandis que les ferries les plus lents étaient à la fois retardés à l'arrivée et lents, nécessitant un total de 40 secondes pour traverser un lac.

A la fin de chaque traversée en ferry, les joueurs devaient évaluer le service de ferry sur une échelle de 0 à 100 avant de pouvoir continuer. Ces évaluations sont devenues les données de l'équipe de recherche. L'outil de notation en jeu utilisait une barre coulissante pondérée avec une « friction » numérique pour chaque point qu'un joueur s'éloignait d'une note moyenne précédemment déterminée. En d'autres termes, plus votre score est extrême, plus vous passez de secondes à pousser la barre vers le haut ou vers le bas.

Le gameplay total était limité à 15 minutes, les joueurs étaient donc motivés à soumettre leur classement le plus rapidement possible afin de pouvoir recommencer à collecter leurs récompenses monétaires. Les joueurs ont parcouru en moyenne 17 ferries par match, permettant aux chercheurs de mesurer les corrélations entre leurs notes subjectives et le service objectif des ferries (mesuré en temps total pour prendre le ferry), à la fois au sein des sujets et entre eux.

Ils ont constaté que leur barre coulissante pondérée conduisait à des estimations de qualité plus fiables qu'une barre de clic non pondérée, où tous les scores de 0 à 100 pouvaient être donnés par un clic instantané sur l'écran, où toutes les notes étaient également « bon marché ».

Leurs résultats ont des implications pour les demandes omniprésentes de notations dans le commerce électronique, et leur approche peut être généralisée et testée dans une variété de systèmes de communication en ligne à grande échelle, ont dit les chercheurs.

L'équipe n'avait pas prévu de tester les cotes, dit Conley. Ils étaient à l'origine intéressés par l'apprentissage en ligne, "mais au cours des expériences, nous avons réalisé que les données d'évaluation que nous obtenions … n'étaient pas très bonnes, nous avons donc entrepris d'améliorer ce problème."

Ils ont été surpris de constater que la réduction du coût des notations s'est en fait retournée contre eux. La théorie économique classique suggère que la minimisation des coûts donnerait les meilleurs résultats, mais leurs données montrent le contraire.

En bref, Uber doit ralentir son outil de notation, dit Conley. "Convertir l'appareil de notation d'un simple clic en un curseur, où donner des scores très élevés ou faibles devient difficile en raison du ralentissement du curseur à mesure que l'utilisateur s'éloigne dans l'une ou l'autre direction, donne de meilleures distributions de notation. Seuls les évaluateurs très motivés fourniront des scores extrêmes."