Depuis les débuts des réseaux sociaux, la façon dont les traces de données laissées par les utilisateurs peuvent être exploitées pour l'étude du comportement humain a suscité de l'enthousiasme. De nos jours, les chercheurs qui étaient autrefois limités à des enquêtes ou à des expériences en laboratoire ont accès à d'énormes quantités de données « du monde réel » provenant des médias sociaux.

Les opportunités de recherche permises par les données des médias sociaux sont indéniables. Cependant, les chercheurs analysent souvent ces données avec des outils qui n'ont pas été conçus pour gérer le genre de des ensembles de données d'observation bruyants que vous trouvez sur les médias sociaux.

Nous avons exploré les problèmes que les chercheurs pourraient rencontrer en raison de cette inadéquation entre les données et les méthodes.

Ce que nous avons découvert, c'est que les méthodes et les statistiques couramment utilisées pour fournir des preuves de découvertes scientifiques apparemment importantes peuvent également sembler étayer des affirmations absurdes.

Science absurde

La motivation de notre article vient d'une série d'études de recherche qui présentent délibérément des résultats scientifiques absurdes.

Une étude d'imagerie cérébrale a semblé montrer l'activité neuronale d'un saumon mort chargé d'identifier les émotions sur les photos. Une analyse des statistiques longitudinales des dossiers de santé publique a suggéré que l'acné, la taille, et les maux de tête sont contagieux. Et une analyse de la prise de décision humaine semble indiquer que les gens peuvent juger avec précision la taille de la population de différentes villes en les classant par ordre alphabétique.

Pourquoi un chercheur ferait-il tout son possible pour explorer des idées aussi ridicules ? L'intérêt de ces études n'est pas de présenter une nouvelle conclusion de fond. Aucun chercheur sérieux ne contesterait, par exemple, qu'un saumon mort a une perspective sur les émotions dans les photos.

Plutôt, les résultats absurdes mettent en évidence des problèmes avec les méthodes utilisées pour les atteindre. Notre recherche explore si les mêmes problèmes peuvent affliger les études qui utilisent les données des médias sociaux. Et nous avons découvert qu'en effet ils le font.

Résultats positifs et négatifs

Lorsqu'un chercheur cherche à répondre à une question de recherche, la méthode qu'ils utilisent devrait pouvoir faire deux choses :

• révéler un effet quand il y a un effet significatif
• montrer aucun effet lorsqu'il n'y a pas d'effet significatif.

Par exemple, imaginez que vous souffrez de maux de dos chroniques et que vous passez un test médical pour en trouver la cause. Le test identifie un disque mal aligné dans votre colonne vertébrale. Cette découverte peut être importante et éclairer un plan de traitement.

Cependant, si vous découvrez alors que le même test identifie ce disque désaligné chez une grande partie de la population qui n'a pas de maux de dos chroniques, la conclusion devient beaucoup moins informative pour vous.

Le fait que le test n'identifie pas un élément pertinent, caractéristique distinctive des cas négatifs (pas de mal de dos) des cas positifs (mal de dos) ne signifie pas que le disque mal aligné dans votre colonne vertébrale est inexistant. Cette partie de la conclusion est aussi "réelle" que n'importe quelle conclusion. Pourtant, l'échec signifie que le résultat n'est pas utile :des « preuves » qui ont autant de chances d'être trouvées lorsqu'il y a un effet significatif (dans ce cas, mal de dos) comme quand il n'y en a pas n'est tout simplement pas diagnostique, et, à la suite, une telle preuve n'est pas informative.

Contagion XYZ

En utilisant le même raisonnement, nous avons évalué les méthodes couramment utilisées pour analyser les données des médias sociaux, appelées « tests de signification d'hypothèse nulle » et « statistiques corrélationnelles », en posant une question de recherche absurde.

Des études passées et actuelles ont tenté d'identifier les facteurs qui influencent la décision des utilisateurs de Twitter de retweeter d'autres tweets. C'est intéressant à la fois comme fenêtre sur la pensée humaine et parce que le partage des publications est un mécanisme clé par lequel les messages sont amplifiés ou diffusés sur les réseaux sociaux.

Nous avons donc décidé d'analyser les données Twitter en utilisant les méthodes standard ci-dessus pour voir si un effet absurde que nous appelons "contagion XYZ" influence les retweets. Spécifiquement, nous avons demandé, "Est-ce que le nombre de X, Oui, et les Z dans un tweet augmentent la probabilité qu'il se propage ?"

Après avoir analysé six ensembles de données contenant des centaines de milliers de tweets, la "réponse" que nous avons trouvée était oui. Par exemple, dans un ensemble de données de 172, 697 tweets sur COVID-19, la présence d'un X, Oui, ou Z dans un tweet semblait augmenter la portée du message d'un facteur de 8 %.

Il va sans dire, on ne croit pas à la présence de Xs, Oui, et Zs est un facteur central pour déterminer si les gens choisissent de retweeter un message sur Twitter.

Cependant, comme le test médical pour diagnostiquer les maux de dos, notre découverte montre que parfois, les méthodes d'analyse des données des médias sociaux peuvent « révéler » des effets là où il ne devrait y en avoir aucun. Cela soulève des questions sur la pertinence et l'information des résultats obtenus en appliquant les méthodes actuelles des sciences sociales aux données des médias sociaux.

Alors que les chercheurs continuent d'analyser les données des médias sociaux et d'identifier les facteurs qui façonnent l'évolution de l'opinion publique, détourner notre attention, ou expliquer autrement notre comportement, nous devons réfléchir de manière critique aux méthodes qui sous-tendent de telles découvertes et reconsidérer ce que nous pouvons en apprendre.

Qu'est-ce qu'une découverte « significative » ?

Les questions soulevées dans notre article ne sont pas nouvelles, et il existe en effet de nombreuses pratiques de recherche qui ont été développées pour garantir que les résultats sont significatifs et solides.

Par exemple, les chercheurs sont encouragés à pré-enregistrer leurs hypothèses et leurs plans d'analyse avant de commencer une étude afin d'éviter une sorte de tri sélectif des données appelé « p-hacking ». Une autre pratique utile consiste à vérifier si les résultats sont stables après avoir supprimé les valeurs aberrantes et contrôlé les covariables. Les études de réplication sont également importantes, qui évaluent si les résultats obtenus dans une expérience peuvent être retrouvés lorsque l'expérience est répétée dans des conditions similaires.

Ces pratiques sont importantes, mais elles ne suffisent pas à elles seules à traiter le problème que nous identifions. Bien qu'il soit nécessaire de développer des pratiques de recherche standardisées, la communauté des chercheurs doit d'abord réfléchir de manière critique à ce qui donne un sens à une découverte dans les données des médias sociaux.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.