De nouvelles recherches cherchent à comprendre ce qui motive les décisions dans les analyses de données et le processus par lequel les universitaires testent une hypothèse en comparant les analyses de différents chercheurs qui ont testé les mêmes hypothèses sur le même ensemble de données. Les analystes ont rapporté des analyses radicalement différentes et des résultats empiriques dispersés, comprenant, dans certains cas, effets significatifs dans des directions opposées les unes des autres. Les décisions concernant l'opérationnalisation des variables expliquaient le manque de cohérence des résultats au-delà des choix statistiques (c. quelle analyse ou covariables utiliser).

"Nos résultats illustrent l'importance des choix analytiques et comment différentes méthodes statistiques peuvent conduire à des conclusions différentes, " explique Martin Schweinsberg. " Une question de recherche académique peut parfois être étudiée de différentes manières, même si les réponses sont dérivées du même ensemble de données et par des analystes sans aucune incitation à trouver un résultat particulier, et cette recherche le met en évidence."

Pour mener la recherche, Le professeur Schweinsberg a recruté une foule d'analystes du monde entier pour tester deux hypothèses concernant les effets du sexe et du statut professionnel des scientifiques sur la participation active aux conversations de groupe. En utilisant le forum académique en ligne Edge, les chercheurs ont analysé les données de discussions de groupe de discussions scientifiques de plus de deux décennies (1996-2014). L'ensemble de données contenait plus de 3 millions de mots de 728 contributeurs et 150 variables liées à la conversation, ses contributeurs, ou le niveau textuel de la transcription. Puis, en utilisant la nouvelle plateforme DataExplained, développé par les co-auteurs Michael Feldman, Nicolas Staub, et Abraham Bernstein, les chercheurs ont analysé les données de R pour déterminer s'il existait un lien entre le sexe ou le statut professionnel d'un scientifique et son niveau de verbosité.

Les analystes ont utilisé divers ensembles de tailles d'échantillons, approches statistiques, et covariables, ce qui a conduit à plusieurs résultats différents par rapport aux hypothèses. Cette, donc, a donné lieu à divers, conclusions pourtant défendables des divers analystes. En utilisant DataExplained, Le professeur Schweinsberg et ses collègues ont pu comprendre précisément en quoi ces choix analytiques différaient, bien que les données et les hypothèses soient les mêmes. Une étude qualitative du code R utilisé par les analystes a révélé un modèle de processus pour la psychologie derrière les analyses de données.

Le professeur Schweinsberg dit que leur « étude illustre les avantages de pratiques scientifiques transparentes et ouvertes. Les choix analytiques subjectifs sont inévitables, et nous devrions les adopter parce qu'une collection de divers horizons et approches analytiques peut révéler la véritable cohérence d'une affirmation empirique. »

Cette recherche montre le rôle critique que les décisions subjectives des chercheurs jouent en influençant les résultats empiriques rapportés. Selon les chercheurs, ces résultats soulignent l'importance des données ouvertes, qui est accessible au public, des contrôles de robustesse systématiques dans la recherche académique, et le plus de transparence possible sur les deux chemins analytiques empruntés et non empruntés, afin de s'assurer que la recherche est aussi précise que possible. Ils suggèrent également l'humilité lors de la communication des résultats de la recherche et la prudence dans leur application à la prise de décision organisationnelle.