Les experts ne sont pas toujours d'accord les uns avec les autres lorsqu'ils font des prédictions ou des diagnostics. Alors, comment pouvons-nous savoir quel expert d'un groupe prend les décisions les meilleures et les plus précises ? Une équipe interdisciplinaire de chercheurs de l'Institut Max Planck pour le développement humain et de l'Institut Leibniz d'écologie des eaux douces et des pêches continentales a développé une méthode simple pour identifier les experts les plus précis et l'a testée avec succès dans divers groupes. Leurs conclusions ont été publiées dans Avancées scientifiques .

Une masse sur une mammographie indique-t-elle un cancer du sein ? La Serbie sera-t-elle membre de l'UE d'ici 2025 ? Y aura-t-il plus d'inondations en Allemagne dans cinq ans ? Les diagnostics et prédictions faits par les médecins, scientifiques, et les experts ont souvent des conséquences de grande envergure. Et dans de nombreux cas, ce n'est que des années plus tard qu'il est possible de dire quel expert a fait le bon appel le plus souvent.

Une équipe de recherche interdisciplinaire du Max Planck Institute for Human Development et du Leibniz Institute of Freshwater Ecology and Inland Fisheries a développé une nouvelle méthode simple qui peut être utilisée pour identifier les meilleurs décideurs parmi un groupe d'experts sans avoir à savoir si leur les décisions, passées ou présentes, sont correctes ou incorrectes. "À condition qu'au moins la moitié de toutes les décisions prises au sein du groupe soient correctes - ce qui est généralement le cas dans les groupes d'experts - et que chaque personne ait pris environ 20 décisions oui/non, cette méthode s'est avérée très efficace, " dit Max Wolf, chercheur à l'Institut Leibniz d'écologie des eaux douces et des pêches continentales et co-auteur de l'étude.

La méthode a été développée sur la base d'un éclairage sur l'intelligence collective. Il repose sur une hypothèse simple :les individus d'un groupe d'experts qui prennent les décisions les plus similaires aux décisions des autres prennent également les meilleures décisions. Pour les décisions oui/non, cette hypothèse est facilement confirmée au moyen d'une modélisation mathématique. Pour tester si la méthode fonctionne également dans des groupes réels, les chercheurs ont analysé les prédictions et les diagnostics publiés effectués par divers groupes dans différents domaines.

Par exemple, les chercheurs ont examiné les diagnostics posés par 100 radiologues aux États-Unis. Au début des années 2000, les radiologues ont interprété les mammographies de 155 femmes pour déterminer si elles avaient ou non un cancer du sein. L'équipe de recherche a analysé les données pour identifier les radiologues dont les décisions étaient, en moyenne, le plus semblable aux décisions des autres. Comme ils avaient accès à des informations de suivi sur l'état de santé des 155 femmes dépistées, les chercheurs ont également pu déterminer quels radiologues ont fait les diagnostics les plus précis et donc les meilleurs. Il s'agissait des mêmes radiologues que ceux identifiés par la nouvelle méthode statistique.

« Il a été démontré à maintes reprises que les experts qui sont bons dans leur domaine sont bons de la même manière, alors que les mauvais interprètes sont mauvais de manières très différentes. Partant de ce constat, nous avons développé cette nouvelle méthode et l'avons testée dans divers domaines, " dit Ralf Kurvers, auteur principal et chercheur au Centre pour la rationalité adaptative de l'Institut Max Planck pour le développement humain.

En plus des diagnostics des radiologues, l'équipe de recherche a analysé les diagnostics de cancer de la peau posés par 40 dermatologues italiens; prédictions géopolitiques faites par 90 prévisionnistes sur la plateforme en ligne Good Judgment Project; et les résultats d'un simple test de culture générale, dans lequel 100 participants ont été invités à identifier la plus grande des deux villes américaines.

"Nous pensons que la relation entre la similitude et l'exactitude des décisions peut être un outil efficace pour la pratique. La méthode peut être utilisée pour améliorer les processus décisionnels collectifs et individuels dans le diagnostic médical, analyses de risques environnementaux, et le monde des affaires, " dit le co-auteur Stefan Herzog, également chercheur au Center for Adaptive Rationality.