Plus tôt cet automne, Des chercheurs du Dartmouth College ont publié une étude prétendant lier les jeux vidéo violents à l'agression chez les enfants. La logique d'une étude méta-analytique comme celle-ci est qu'en combinant de nombreuses études individuelles, les scientifiques peuvent rechercher des tendances ou des effets communs identifiés dans des travaux antérieurs. Seul, en tant que chercheur en psychologie qui s'est longtemps concentré sur ce domaine, Je prétends que cette méta-analyse n'a rien fait de la sorte. En réalité, l'ampleur de l'effet qu'ils ont trouvé est à peu près la même que celle de manger des pommes de terre sur le suicide des adolescents. Si quoi que ce soit, il suggère que les jeux vidéo ne prédisent pas l'agressivité des jeunes.

Cette étude, et d'autres aiment ça, sont symptomatiques d'un gros problème au sein des sciences sociales :la surenchère de louches, résultats de recherche peu fiables qui ont peu d'application dans le monde réel. Souvent, de telles découvertes façonnent les perceptions publiques de la condition humaine et orientent les politiques publiques – bien qu'elles soient en grande partie des ordures. Voici comment cela se passe.

Ces dernières années ont vu la psychologie, en particulier, entraîné dans ce que certains appellent une crise de reproductibilité. De nombreuses découvertes de longue date en sciences sociales se sont avérées difficiles à reproduire dans des conditions rigoureuses. Lorsqu'une étude est réexécutée, il ne donne pas les mêmes résultats que ceux publiés à l'origine. La pression de publier des résultats positifs et la tendance des chercheurs à injecter leurs propres biais dans les analyses aggravent le problème. Une grande partie de cet échec de réplication peut être résolue avec des méthodes plus transparentes et plus rigoureuses en sciences sociales.

Mais l'overhyping des résultats faibles est différent. Cela ne peut pas être corrigé méthodologiquement; une solution devrait venir d'un changement culturel dans le domaine. Mais les incitations à être franc sur les lacunes sont peu nombreuses, en particulier pour un domaine comme la psychologie, qui inquiète la perception du public.

Un exemple est le test d'association implicite (IAT). Cette technique est surtout connue pour sonder les préjugés raciaux inconscients. Compte tenu de l'attention qu'elle a reçue et des théories fondées sur elle, une sorte d'industrie artisanale s'est développée pour former les employés à leurs préjugés implicites et à la façon de les surmonter. Malheureusement, un certain nombre d'études suggèrent que l'IAT n'est pas fiable et ne prédit pas le comportement dans le monde réel. La lutte contre les préjugés raciaux est élogieuse, mais l'investissement public considérable dans l'IAT et le concept de biais implicites sont probablement moins productifs qu'annoncés.

Une partie du problème est quelque chose que j'appelle "la mort par communiqué de presse". Ce phénomène se produit lorsque des chercheurs ou leur université, ou une organisation de publication de revues telle que l'American Psychological Association, publie un communiqué de presse qui vante les conclusions d'une étude sans en détailler les limites. Les allégations sensationnalistes ont tendance à attirer davantage l'attention des médias.

Par exemple, un laboratoire alimentaire désormais notoire à Cornell a connu de multiples rétractations après qu'il soit apparu qu'ils avaient torturé leurs données afin d'obtenir des conclusions favorables aux gros titres. Leurs recherches suggèrent que les gens mangent plus lorsqu'ils sont servis de plus grandes portions, la télévision d'action montre une consommation alimentaire accrue, et la consommation de légumes des enfants augmenterait si les produits étaient renommés avec des thèmes adaptés aux enfants tels que « carottes à vision aux rayons X ». Surtout, le chef de laboratoire Brian Wansink semble être devenu un expert en marketing des sciences sociales, même si la plupart des conclusions étaient fragiles.

Une autre préoccupation est un processus que j'appelle « blanchiment scientifique » :le nettoyage des déchets sales, désordonné, science peu concluante pour la consommation publique. Dans mon domaine d'expertise, la méta-analyse de Dartmouth sur les jeux vidéo en est un bon exemple. Des preuves similaires à celles qui avaient été introduites dans la méta-analyse étaient disponibles depuis des années et constituaient en fait la base pour laquelle la plupart des chercheurs ne liaient plus les jeux violents aux agressions de jeunes.

Le magazine Science a récemment expliqué comment les méta-analyses peuvent être utilisées à mauvais escient pour tenter de mettre fin prématurément aux débats scientifiques. Les méta-analyses peuvent être utiles lorsqu'elles éclairent des pratiques scientifiques susceptibles de provoquer des effets parasites, afin d'orienter les recherches futures. Mais ils peuvent aplanir artificiellement des désaccords importants entre les études.

Disons que nous émettons l'hypothèse que manger des myrtilles guérit la dépression. Nous menons 100 études pour tester cette hypothèse. Imaginez qu'environ 25 % de nos expériences trouvent de petits liens entre les myrtilles et une dépression réduite, alors que les 75 pour cent restants ne montrent rien. La plupart des gens conviendraient qu'il s'agit d'une assez mauvaise performance pour l'hypothèse de la myrtille. La majeure partie de nos preuves n'a trouvé aucune amélioration de la dépression après avoir mangé les baies. Mais, en raison d'un caprice de la méta-analyse, combiner les 100 de nos études ensemble montrerait ce que les scientifiques appellent un effet « statistiquement significatif » – ce qui signifie quelque chose qui ne se produira probablement pas par hasard – même si la plupart des études individuelles n'étaient pas statistiquement significatives.

Fusionner même quelques études qui montrent un effet avec un plus grand groupe d'études qui ne le font pas peut aboutir à un résultat de méta-analyse qui semble statistiquement significatif - même si les études individuelles variaient passablement. Ces types de résultats constituent ce que certains psychologues ont appelé le « facteur brut » de la recherche psychologique - des résultats statistiquement significatifs qui sont le bruit, pas des effets réels qui reflètent quoi que ce soit dans le monde réel. Ou, en termes clairs, les méta-analyses sont un excellent outil avec lequel les chercheurs peuvent se leurrer.

Les organisations professionnelles des guildes dans des domaines tels que la psychologie et la pédiatrie devraient assumer une grande partie de la responsabilité de la propagation de la surméditation de la recherche. De telles organisations libèrent de nombreux, souvent profondément imparfait, des énoncés de politique claironnant les résultats de la recherche dans un domaine. Le public ne se rend souvent pas compte que de telles organisations fonctionnent pour commercialiser et promouvoir une profession; ils ne sont pas neutres, observateurs objectifs de la recherche scientifique – qui est souvent publiée, pour le revenu, dans leurs propres journaux.

Malheureusement, un tel blanchiment scientifique peut revenir hanter un domaine lorsque des affirmations exagérées s'avèrent trompeuses. Une surpromotion malhonnête des sciences sociales peut amener le public et les tribunaux à devenir plus sceptiques à leur égard. Pourquoi les contribuables devraient-ils financer des recherches qui sont des ordures survendues ? Pourquoi les consommateurs de médias devraient-ils faire confiance à ce que la recherche dit aujourd'hui s'ils ont été brûlés par ce qu'elle a dit hier ?

Les chercheurs individuels et les corporations professionnelles qui les représentent peuvent faire beaucoup pour résoudre ces problèmes en reconsidérant les normes de preuve laxistes, la survente des effets faibles, et le manque actuel d'honnêteté à l'avance concernant les limites méthodologiques. En attendant, le public fera bien de continuer à appliquer une bonne dose de pensée critique aux affirmations nobles provenant des communiqués de presse en sciences sociales. Demandez si l'ampleur de l'effet est significativement plus grande que pour les pommes de terre sur le suicide. Si la réponse est non, il est temps de passer à autre chose.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.