Une vue de l'interface qu'Hosseini et son équipe ont utilisée pour tester leur modèle, poser des questions aux travailleurs participatifs sur la géographie, films et œuvres d'art au choix, par exemple, quel film parmi une sélection de quatre a eu le revenu au box-office le plus élevé de tous les temps. Les chercheurs ont utilisé six formats différents pour obtenir les réponses des participants, comme sélectionner la meilleure réponse dans une liste de quatre choix (comme indiqué dans la tâche 2) ou classer ces quatre choix dans l'ordre (comme indiqué dans la tâche 8). Certains participants ont également été invités à prédire quelle première réponse les autres choisiraient ou comment les autres classeraient leur ordre, comme le montrent les deux exemples. Crédit :Université d'État de Pennsylvanie
Imaginez qu'on vous demande de classer les comtés de Pennsylvanie en termes de nombre d'infections au COVID-19. Ou on vous demandera peut-être de classer les villes suivantes en Pennsylvanie en fonction de leur population :Harrisburg, Allentown, Erie et State College.
Quelle serait votre réponse? Comment pensez-vous que les autres répondraient à ces questions ?
Un nouvel algorithme développé par une équipe de chercheurs dirigée par Hadi Hosseini, professeur assistant au Penn State College of Information Sciences and Technology, peut atteindre la vraie réponse à cette question et à des questions similaires en combinant le vote ou l'opinion d'un répondant avec sa prédiction sur la façon dont les autres répondront.
Hosseini a expliqué qu'une personne connaissant bien la Pennsylvanie connaîtrait très probablement la réponse à la question ci-dessus. Ils peuvent également prédire que d'autres participants moins informés, en moyenne, fournirait un classement incorrect. Inversement, les participants en uniforme ne sont probablement pas au courant de la bonne réponse et peuvent donner un mauvais classement de ces villes.
« C'est le cœur de notre algorithme :utiliser les informations supplémentaires dont disposent les participants informés pour corriger de telles erreurs, " il a dit.
La méthode des chercheurs s'étend sur une approche existante de sollicitation de la sagesse d'une foule, appelée méthode étonnamment populaire, qui a été utilisé dans des scénarios tels que les sondeurs politiques prédisant le résultat des élections et les chercheurs prédisant les gagnants des matchs de la NFL. Comme le modèle d'Hosseini, méthode étonnamment populaire demande aux répondants de fournir deux réponses par question :quelle est leur propre opinion ou vote, et comment ils prédisent que les autres voteront. La technique tire parti des connaissances d'un petit groupe d'experts dans une foule plus large pour indiquer la bonne réponse.
Cependant, la méthode étonnamment populaire s'est limitée à prédire une seule réponse correcte à une question posée, telles que « Quelle est la capitale de la Pennsylvanie ? » ou "Combien d'argent le film "Titanic" a-t-il gagné au box-office mondial ? " Le modèle d'Hosseini étend ce concept aux choix ou alternatives classés.
"On n'a pas besoin d'obtenir pleinement les classements complets et les prédictions des autres, " a déclaré Hosseini. " Nous sommes capables de récupérer la vérité terrain en combinant à la fois le vote et les prédictions sans obtenir des distributions complètes sur tous les n possibles ! classements. Et cela est vrai pour récupérer soit seulement le premier choix, soit le classement complet."
La méthode pourrait potentiellement être appliquée pour améliorer les prévisions avec des choix classés, comme dans les sondages de sortie pour prédire les résultats des élections politiques. Selon Hosseini, en posant des questions secondaires aux électeurs grâce à sa méthode, moins d'échantillons seraient nécessaires par rapport aux sondages de sortie standard qui reposent sur un échantillonnage aléatoire.
L'approche d'Hosseini surpasse également de manière significative les méthodes de vote conventionnelles, comme la règle de la majorité simple, qui ne demandent pas aux répondants de prédire comment les autres réagiront.
"Il s'avère que la prédiction des votes des autres est plus importante que les votes réels, " a déclaré Hosseini. "C'est très crucial car cela pose que demander ce que vous pensez de l'opinion des autres est une question plus critique que de demander leur propre opinion."
Pour tester leur modèle, Hosseini et son équipe ont posé à 720 travailleurs participatifs des questions sur la géographie, films et œuvres d'art au choix, par exemple, quel film parmi une sélection de quatre a le plus de recettes, revenu au box-office de tous les temps. Les chercheurs ont utilisé six formats différents pour obtenir les réponses des participants, comme sélectionner la meilleure réponse dans une liste de quatre choix ou classer ces quatre choix dans l'ordre. Certains participants ont également été invités à prédire quelle première réponse les autres choisiraient ou comment les autres classeraient leur ordre.
"Nos méthodes et résultats algorithmiques peuvent avoir un impact significatif sur la façon dont nous voyons et traitons les élections, que ce soit au niveau national ou local, " a déclaré Hosseini. " Plus important encore, notre technique montre que nous pouvons prédire un classement de la vérité terrain avec une grande précision sans avoir besoin d'une collecte massive de données. »
En outre, il a dit, la méthode pourrait être appliquée dans des domaines autres que la prévision des résultats objectifs d'événements tels que les élections politiques et les jeux sportifs.
"Étonnamment, cette technique fonctionne même pour prédire le classement des prix des peintures abstraites, ce qui est généralement plus difficile à spéculer par la foule, " il ajouta.
Ils ont présenté leur papier, "Le vote étonnamment populaire récupère les classements, Étonnamment!" cette semaine à la Conférence internationale conjointe sur l'intelligence artificielle (IJCAI-21), tenue virtuellement du 19 au 26 août. Le travail a été partiellement financé par la National Science Foundation.
