À quel point devriez-vous être confiant dans les sondages électoraux ? Pas aussi confiant que le prétendent les sondeurs, selon une nouvelle étude de Berkeley Haas.

La plupart des sondages électoraux font état d'un niveau de confiance de 95 %. Pourtant une analyse de 1, 400 sondages de 11 cycles électoraux ont révélé que le résultat se situe dans le résultat du sondage seulement 60 % du temps. Et c'est pour les sondages juste une semaine avant une élection—la précision diminue encore plus loin.

« Si vous êtes confiant, sur la base des sondages, sur le déroulement des élections de 2020, détrompez-vous, " a déclaré le professeur Don Moore de Berkeley Haas, qui a mené l'analyse avec l'ancien étudiant Aditya Kotak, BA 20. « Il y a de nombreuses raisons pour lesquelles le résultat réel pourrait être différent du sondage, et la façon dont les sondeurs calculent les intervalles de confiance ne tient pas compte de ces problèmes. »

Beaucoup de gens ont été surpris lorsque le président Donald Trump a battu Hillary Clinton en 2016 après l'avoir traînée dans les sondages, et spéculé que les sondages deviennent moins précis ou que l'élection était si inhabituelle qu'elle les a déroutés. Mais Moore et Kotak n'ont trouvé aucune preuve d'une baisse de précision dans leur échantillon de sondages remontant à 2008 - plutôt, ils ont trouvé systématiquement des affirmations trop confiantes de la part des sondeurs.

"Peut-être que la façon dont nous interprétons les sondages dans son ensemble doit être ajustée, pour tenir compte de l'incertitude qui les accompagne, " dit Kotak. En fait, être confiant à 95%, les sondages devraient doubler les marges d'erreur qu'ils signalent même une semaine après le jour du scrutin, l'analyse a conclu.

En tant qu'étudiant en statistiques et en informatique en apprentissage de premier cycle en recherche au Moore's Accuracy Lab pendant la primaire présidentielle de 2019, Kotak est devenu curieux des intervalles de confiance inclus dans les sondages. Il a remarqué que la marge d'erreur des sondages était fréquemment mentionnée en note de bas de page dans les articles de presse et les méthodologies de prévision des élections, et il se demande s'ils sont aussi précis que leurs marges d'erreur le laissent supposer.

Kotak a apporté l'idée à Moore, qui étudie l'excès de confiance à la fois d'un point de vue psychologique et statistique. Une grande partie de la recherche sur l'exactitude des sondages considère uniquement si le sondage a correctement appelé le gagnant. Pour évaluer la confiance des sondages, ils ont décidé de jeter un regard rétroactif sur les sondages en fonction de combien de temps avant une élection ils ont été menés, et ne pas considérer si un candidat a gagné ou perdu, mais si la part réelle du vote tombait dans la marge d'erreur rapportée par le sondage. Par exemple, si un sondage montrait que 54 % des votants étaient en faveur d'un candidat, et il avait une marge d'erreur de 5%, il serait exact si le candidat recueillait 49 % à 59 % des voix, mais serait raté si le candidat l'emportait avec plus de 59 % des voix (ou moins de 49 %).

Moore et Kotak ont ​​obtenu 1, 400 sondages menés avant les élections générales de 2008, 2012, et 2016, ainsi que les primaires présidentielles démocrates dans l'Iowa et le New Hampshire de 2008 et 2016 et les primaires républicaines dans les mêmes États de 2012 et 2016. Parce que certains sondages ont posé des questions sur plusieurs candidats, l'échantillon comprenait des résultats de plus de 5, 000 sondages sur la façon dont les gens ont dit qu'ils voteraient pour des candidats particuliers, ainsi que les marges d'erreur qui l'accompagnent.

Analyser les sondages par lots de sept jours, ils ont constaté une baisse constante de la précision au fur et à mesure que le sondage s'éloignait d'une élection, avec seulement environ la moitié s'avérant exacts 10 semaines avant une élection. C'est logique, depuis que des événements imprévus se produisent, comme l'ancien directeur du FBI James Comey annonçant une enquête sur les e-mails de Clinton juste une semaine avant l'élection présidentielle de 2016. Pourtant, la plupart des sondages, même des semaines, ont rapporté l'intervalle de confiance standard de 95 % de l'industrie.

Erreur d'échantillonnage et intervalles de confiance

L'intervalle de confiance quantifie à quel point on peut être sûr que l'échantillon de personnes interrogées reflète l'ensemble de la population électorale. Un intervalle de confiance à 95%, par exemple, signifie que si la même procédure d'échantillonnage était suivie 100 fois, 95 de ces échantillons contiendraient la véritable population électorale. Là est le problème, toutefois.

Le niveau de confiance prend en compte « l'erreur d'échantillonnage, " un terme statistique qui quantifie la probabilité que, par pur hasard, l'échantillon varie de la population plus large d'électeurs à partir de laquelle l'échantillon a été tiré. Par exemple, ne pas sonder un groupe suffisamment important d'électeurs augmenterait l'erreur d'échantillonnage. Mais l'erreur d'échantillonnage n'inclut pas d'autres types d'erreurs, telles que l'enquête auprès du mauvais groupe de personnes pour commencer.

"Les gens oublient souvent que les marges d'erreur des sondages ne capturent que les sources statistiques d'erreur, " a déclaré David Brookman, professeur agrégé au Département de science politique de Berkeley. "Cette analyse montre à quel point les sources d'erreur non statistiques restantes sont importantes dans la pratique."

Ajouté le professeur Gabriel Lenz, également de Berkeley Political Science, "C'est une analyse fascinante, et les travaux futurs pourraient démêler les sources de l'inexactitude, tels que les sondeurs de mauvaise qualité, difficulté à sélectionner les électeurs potentiels, changements de dernière minute dans les intentions des électeurs, et plus."

Il est facile de prendre en compte l'erreur d'échantillonnage dans les statistiques de sondage, mais beaucoup plus difficile de rendre compte de toutes les autres inconnues, dit Moore. C'est une leçon qui va bien au-delà des sondages.

"Parce que nous basons nos croyances sur des échantillons d'informations imparfaits et biaisés, parfois nous nous tromperons pour des raisons que nous n'avions pas anticipées, " il a dit.