Des chercheurs de la Northwestern University et de Facebook ont ​​publié en mars de nouvelles recherches dans la revue INFORMS Sciences du marketing qui met en lumière si les approches courantes pour la mesure de la publicité en ligne sont aussi fiables et précises que la « norme d'or » de la publicité à grande échelle, expériences randomisées.

L'étude sera publiée dans l'édition de mars de la revue INFORMS Sciences du marketing est intitulé "A Comparison of Approaches to Advertising Measurement:Evidence from Big Field Experiments at Facebook, " et est rédigé par Brett Gordon de la Northwestern University; Florian Zetttelmeyer de la Northwestern University et du National Bureau of Economic Research; et Neha Bhargava et Dan Chapsky de Facebook.

"Nos résultats suggèrent que les approches d'observation couramment utilisées qui reposent sur des données généralement disponibles pour les annonceurs échouent souvent à mesurer avec précision l'effet réel de la publicité, ", a déclaré Brett Gordon.

Les approches d'observation sont celles qui englobent une large classe de modèles statistiques qui reposent sur les données « telles qu'elles sont, " généré sans manipulation explicite par une expérience randomisée.

"Nous avons trouvé une différence significative dans l'efficacité publicitaire obtenue à partir d'essais contrôlés randomisés et des méthodes d'observation fréquemment utilisées par les annonceurs pour évaluer leurs campagnes, " a ajouté Zettelmeyer. " En général, les méthodes actuelles et plus courantes surestiment l'efficacité de la publicité par rapport à ce que nous avons trouvé dans nos tests randomisés. Bien que dans certains cas, ils sous-estiment considérablement l'efficacité."

La mesure de l'efficacité de la publicité reste un problème important pour de nombreuses entreprises. Une question clé est de savoir si une campagne publicitaire a produit des résultats supplémentaires :est-ce que plus de consommateurs ont acheté parce qu'ils ont vu une annonce, ou beaucoup de ces consommateurs auraient-ils acheté même en l'absence de l'annonce ? L'obtention d'une mesure précise des résultats incrémentiels (« conversions ») aide un annonceur à calculer le retour sur investissement (ROI) de la campagne.

« Les plateformes numériques qui diffusent de la publicité, comme Facebook, ont créé des moyens complets pour évaluer l'efficacité de la publicité, en utilisant des données granulaires qui relient les expositions publicitaires, clics, visite de la page, achats en ligne et même achats hors ligne, " dit Gordon. " Pourtant, même avec ces données, mesurer l'effet causal de la publicité nécessite une plate-forme d'expérimentation appropriée."

Les auteurs de l'étude ont utilisé les données de 15 expériences publicitaires américaines sur Facebook, comprenant 500 millions d'observations d'expériences d'utilisateurs et 1,6 milliard d'impressions publicitaires.

La plate-forme d'expérimentation « augmentation de la conversion » de Facebook offre aux annonceurs la possibilité d'exécuter des expériences contrôlées randomisées pour mesurer l'effet causal d'une campagne publicitaire sur les résultats des consommateurs.

Ces expériences allouent aléatoirement les utilisateurs à un groupe témoin, qui ne sont jamais exposés à l'annonce, et à un groupe test, qui sont éligibles pour voir l'annonce. La comparaison des résultats entre les groupes fournit l'effet causal de l'annonce, car la randomisation garantit que les deux groupes sont, en moyenne, équivalent sauf pour les expositions publicitaires dans le groupe test. Les résultats expérimentaux de chaque campagne publicitaire ont servi de référence pour évaluer les méthodes d'observation courantes.

Les méthodes d'observation comparent les résultats entre les utilisateurs qui ont été exposés à l'annonce aux utilisateurs qui n'ont pas été exposés. Ces deux groupes d'utilisateurs ont tendance à différer systématiquement à bien des égards, comme l'âge et le sexe. Ces différences de caractéristiques peuvent être observables car l'annonceur (ou sa plateforme publicitaire) a souvent accès à des données sur ces caractéristiques et d'autres, par exemple., en plus de connaître le sexe et l'âge d'un internaute, il est possible d'observer le type d'appareil utilisé, la localisation de l'utilisateur, combien de temps s'est écoulé depuis la dernière visite de l'utilisateur, etc. Cependant, la partie délicate est que les groupes exposés et non exposés peuvent également différer de manière très difficile à mesurer, tels que les utilisateurs sous-jacents à l'affinité pour la marque. Pour dire que la publicité a « causé » un effet, la recherche doit être en mesure de tenir compte des différences observées et non observées entre les deux groupes. Les méthodes d'observation utilisent des données sur les caractéristiques des utilisateurs observés pour tenter d'ajuster les différences observables et non observables.

"Nous avons cherché à déterminer si, comme on le croit communément, les méthodes d'observation actuelles utilisant des données complètes au niveau individuel sont « assez bonnes » pour la mesure des publicités, ", a déclaré Zettelmeyer. "Ce que nous avons découvert, c'est que même des données assez complètes s'avèrent insuffisantes pour fournir des estimations fiables des effets de la publicité."

"En principe, nous pensons que l'utilisation d'essais contrôlés randomisés à grande échelle pour évaluer l'efficacité de la publicité devrait être la méthode préférée des annonceurs dans la mesure du possible."