Caveat videur. Ne soyez pas si sûr de pouvoir faire confiance à toutes les soi-disant études scientifiques qui apparaissent dans l'actualité, même si l'écrivain porte des lunettes. Shironosov/iStock/Thinkstock Mangez du chocolat, perdre du poids! En mars 2015, les résultats d'une nouvelle étude menée par des chercheurs allemands ont fait des vagues en affirmant que le chocolat pourrait faire partie d'un régime amincissant. L'étude, dirigé par un certain Johannes Bohannon, directeur de recherche de l'Institut à but non lucratif de l'alimentation et de la santé, ont montré que l'ajout de chocolat à un régime pauvre en glucides augmentait en fait la perte de poids.
Le seul problème était que l'étude était complètement bidon. Johannes Bohannon était en fait un journaliste scientifique nommé John Bohannon. Bohannon a concocté l'étude pour démontrer à quel point les médias s'engagent peu dans la vérification des faits lorsqu'il s'agit de rendre compte de la science [source :Hiltzik].
Alors que "l'étude" a fait sensation dans les tabloïds, peu ou pas de points de vente réputés le couvraient. C'est peut-être parce qu'ils ont reconnu les signes révélateurs d'une fausse étude. Voyons ce que c'est.
Contenu
Ne le fais pas, bébé. Ne laissez pas tomber cette tasse. Ne le faites pas - vous allez totalement le faire, n'est-ce pas ? Alliance/iStock/Thinkstock Tout le monde fait des études. Quand vous voyez des bébés laisser tomber leurs gobelets de leur chaise haute encore et encore, ils s'engagent dans l'une des expériences les plus importantes de leur vie. L'objet de leur enquête ? La gravité.
Peu importe combien de fois nous laissons tomber des tasses, ils tombent toujours au sol. Le fait que cette expérience puisse être répétée à l'infini et par n'importe qui avec le même résultat est l'un des principes de base de toute étude. Peu importe à quel point les résultats d'une étude peuvent être convaincants, si elle ne peut pas être répétée par des pairs chercheurs, cela signifie qu'il ne peut pas être validé.
Pour signaler ce problème, le Center for Open Science a coordonné 270 chercheurs dans un projet de grande envergure visant à reproduire les résultats de 100 études publiées dans le domaine de la psychologie. En 2015, après des années de travail, le Centre a signalé que plus de la moitié des études n'ont pas pu être répétées parce que les preuves recueillies à leur sujet n'étaient pas aussi solides qu'on le prétendait à l'origine.
L'une des études qu'ils ont testées, par exemple, a été conçu pour déterminer si les hommes ont plus de mal à distinguer les signaux sexuels de l'amitié. Suivant la structure de l'étude originale, le Center for Open Science a montré aux sujets de test une série de photos de femmes présentant différentes expressions faciales.
Alors que l'étude originale a révélé que, En effet, les hommes étaient des niais à clouer les queues, le test de suivi de l'étude n'a pas pu reproduire ces résultats. Il n'est pas clair si cela était dû à des différences culturelles entre la première et la deuxième étude (une étude a été menée au Royaume-Uni, l'autre aux USA) ou le temps écoulé entre les études [source :Firger]. Dans les deux cas, une découverte qui ne peut pas être reproduite n'est pas une pour les âges.
Jim a pris toute cette histoire de recherche observationnelle un peu trop au pied de la lettre. Daltonien/Getty Images Des gens très sérieux en blouse blanche penchés pensivement sur des éprouvettes — c'est l'image qui vient souvent à l'esprit quand on pense à une étude scientifique. Mais ce n'est qu'un type d'étude — une expérience en laboratoire.
Un autre type d'étude est appelé « observationnelle ». C'est alors que les chercheurs trouvent un groupe de sujets de test, posez-leur beaucoup de questions, enregistrez les réponses, puis « exploitez les données » des résultats pour voir ce qu'ils trouvent.
Il était une fois, des études d'observation ont suggéré qu'avoir une personnalité de « type A » vous expose à un risque plus élevé de crise cardiaque. Mais les essais cliniques randomisés de suivi n'ont pas pu répéter ces résultats, et on sait maintenant que la découverte initiale était complètement fausse. Comment est-ce arrivé?
Les études observationnelles peuvent, bien sûr, être extrêmement utile et éclairant. Mais il y a un potentiel pour des résultats trompeurs. Un problème est que vous pouvez obtenir des résultats statistiquement significatifs par hasard environ 5 % du temps. Donc, si vous posez suffisamment de questions (et parfois ces études peuvent inclure des milliers de questions), les données peuvent sembler rendre quelque chose d'important. Mais lors d'un examen ultérieur, ou tente de répéter l'étude, les résultats pourraient ne pas être les mêmes [source :Miller et Young].
Ne leur disons pas que l'étude de la virginité était fausse pour l'instant. Fusible/Thinkstock Dernières nouvelles :une nouvelle étude révèle que la manière dont vous avez perdu votre virginité aura un impact important sur la façon dont vous vivrez le sexe pour toujours.
Les résultats surprenants d'études de recherche étranges sont une caractéristique régulière du cycle de l'actualité de nos jours. Mais si vous pouvez mettre la main sur l'étude de recherche proprement dite, la conception du projet pourrait vous surprendre encore plus que les résultats.
La chose à propos de cette étude de virginité de 2013, c'est que ses sujets étaient extrêmement homogènes. En réalité, il s'avère, ils le sont généralement lorsqu'il s'agit d'études en psychologie et en sciences sociales.
Étant donné que bon nombre de ces études sont menées par des universitaires, l'échantillon de population typique pour une telle recherche est — surprise, surprise - étudiants. Cela les rend étranges - un acronyme pour Western, Instruits et issus d'industrialisation, Pays riches et démocratiques. En d'autres termes, pas exactement représentatif de la société mondiale dans son ensemble.
Pour empirer les choses, dans l'étude de virginité, les chercheurs ont exclu les personnes ayant vécu des premières rencontres violentes ainsi que toute personne ayant vécu autre chose que des rapports hétérosexuels [source :Brookshire].
Alors la prochaine fois que vous entendrez les dernières nouvelles d'une autre découverte étonnante sur le comportement et l'expérience humains, prenez-le avec un grain de sel car vous vous demandez qui exactement était étudié.
Non, tout ira bien, Souris! Prenez juste ce médicament et faites une petite sieste ! WUNCHANA_SEUBWAI/iStock/Thinkstock Supposons que vous meniez un essai sur un nouveau médicament pour aider à prévenir les accidents vasculaires cérébraux. Vous avez 20 souris :10 recevant le médicament et les 10 restantes dans votre groupe témoin. C'est un petit groupe d'étude, vraiment petit, mais alors votre budget est petit, et, bien, tout le monde le fait de cette façon ces jours-ci.
Sept de vos souris de test se portent très bien, mais malheureusement trois d'entre eux meurent d'attaques massives. Que fais-tu? Simple. Laissez-les simplement en dehors des résultats. Oui, C'est vrai, lorsque vous créez vos tableaux et graphiques, ne mentionnez pas les rongeurs décédés. Tout le monde le fait de cette façon ces jours-ci.
C'est vraiment arrivé. Réellement, il s'avère que cela arrive vraiment tout le temps dans la recherche animale. Heureusement, dans ce cas particulier, le scientifique à qui l'on a demandé de revoir l'étude ne l'a pas laissé passer. Les trois souris mortes, il a souligné, étaient des éléments essentiels de l'étude. En effet, ils ont montré que le nouveau médicament pouvait être nocif plutôt qu'utile.
Ce scientifique, Ulrich Dirnagl, et un collègue nommé Malcolm MacLeod ont sonné l'alarme au sujet des normes laxistes trouvées dans de nombreuses études de recherche sur les animaux [source :Couzin-Frankel]. Espérons que leur message passe.
Elle vient de découvrir que l'International Journal of Overly Large Fignernails n'est pas vraiment légitime - et qu'ils s'attendent à ce qu'elle paie pour la publication. Bart Sadowski/Getty Images Te voilà, un jeune médecin qui démarre sa carrière lorsque vous recevez un e-mail de "The Journal of Clinical Case Reports" vous demandant de soumettre des articles. Comme ça arrive, vous avez des cas intéressants à signaler, alors vous les écrivez et les envoyez. Pour votre plus grand plaisir, ils sont acceptés. Un bel ajout à votre CV.
Vient ensuite la facture - le journal dit que vous leur devez 2 $, 900 ! Choqué, vous écrivez pour dire que vous n'avez jamais entendu parler d'être facturé pour publier et que vous n'avez pas l'intention de payer. Ils publient quand même vos articles, offrant de réduire votre facture à 2 $, 600. Après un an de querelles, le journal accepte enfin de "pardonner" votre soi-disant dette.
Bienvenue dans le nouveau monde de l'édition prédatrice, une conséquence inattendue du mouvement du libre accès pour rendre les découvertes scientifiques plus largement disponibles. Jeffrey Beall, un bibliothécaire de recherche, a tenu un registre des publications qu'il considère comme prédatrices. Il pense qu'il pourrait y en avoir jusqu'à 4, 000 d'entre eux - ce serait 25 pour cent de toutes les revues en libre accès.
Qu'il suffise de dire que les éditeurs prédateurs sont plus soucieux de leur marge bénéficiaire que de la rigueur scientifique. Si les chercheurs peuvent payer, ils peuvent être publiés, quelle que soit la qualité de leur travail. Par conséquent, le nombre d'études douteuses publiées s'est multiplié. Sauf si vous êtes un expert dans un domaine donné, il peut être difficile de dire quelle science est fiable et laquelle est indésirable [source :Kolata].
Communément, pour progresser dans le monde universitaire, les savants doivent publier ou périr. Pas étonnant que l'édition prédatrice s'épanouisse dans une telle atmosphère. Acheteur (et lecteur) méfiez-vous !
Méfiez-vous du puissant lobby du chewing-gum. Qui sait quelle sorte d'influence ils ont sur les chercheurs de gomme ? belchonock/iStock/Thinkstock Un jour, vous décidez d'essayer une nouvelle marque de chewing-gum, mais peu de temps après l'avoir mis dans votre bouche, vous éclatez en ruches. Dans la salle d'urgence, le médecin vous dit que les tests sanguins révèlent une allergie à un ingrédient du nouveau chewing-gum. Mais disons que tu es étrangement têtu, et disons que tu as vraiment aimé ce chewing-gum, trop. Oh, et vous décidez de consulter neuf autres médecins.
Huit sur neuf d'entre eux sont d'accord avec le premier. Mais un seul médecin dit non, ce n'est pas la gomme, c'est juste une coïncidence. En réalité, il pense que vous pourriez être allergique à la mastication, ou marcher, ou marcher et mâcher en même temps. Vous aimez sa réponse, et vous aimez son bureau chic, mais vous commencez à vous demander comment il l'a payé.
Lorsque vous essayez de déterminer si une étude est fausse, un peu de bon sens est utile. Si 99,9 % des experts d'un domaine donné disent une chose et qu'une poignée d'autres ne sont pas d'accord, regardez d'où vient le financement des sceptiques. En d'autres termes, Suivez l'argent.
Willie Soon est l'un des rares chercheurs à nier que l'activité humaine ait quoi que ce soit à voir avec le changement climatique. Le fait qu'il travaille au Harvard-Smithsonian Center for Astrophysics confère un certain prestige à ses opinions. Cependant, le Center for Astrophysics a une relation sans lien de dépendance avec Harvard, et les chercheurs là-bas ne sont pas rémunérés et ne reçoivent aucun financement de l'université.
En réalité, il s'avère que la majeure partie du financement de Soon provient de sources telles qu'Exxon Mobil et l'American Petroleum Institute, entre autres dans le secteur de l'énergie. En d'autres termes, les personnes qui paient pour la recherche de Soon sont celles-là mêmes qui ont le plus investi pour réfuter la responsabilité humaine du changement climatique. Alors que Soon insiste sur le fait que la source de son financement n'a aucune incidence sur ses recherches, les optiques ne sont pas en sa faveur [source :Goldberg].
« Je t'examinerai plus tard moi-même. » mediaphotos/Getty Images Examen par les pairs :C'est le fondement d'une publication scientifique réputée. L'idée est que si une étude a été soigneusement examinée et approuvée par un autre chercheur dans le même domaine, alors c'est assez valable pour être publié dans une revue respectée. Mais cette idée ne tient que si le système d'évaluation par les pairs lui-même est digne de confiance.
Hynung-In Lune, chercheur en plantes médicinales dans une université en Corée du Sud, avait de la chance avec les critiques des études qu'il publiait dans "The Journal of Enzyme Inhibition and Medicinal Chemistry". Mis à part quelques suggestions sur la façon d'améliorer ses papiers, ils ont été rapidement approuvés. Très rapidement. En réalité, les évaluations par les pairs revenaient parfois au rédacteur en chef de la revue dans les 24 heures suivant leur envoi.
De plus en plus méfiant, l'éditeur a demandé à Moon ce qui se passait. Le chercheur a avoué - ceux qui sont rapides, les critiques approuvant venaient de nul autre que lui-même. Suivant la pratique courante, le journal avait demandé à Moon de suggérer des critiques potentiels. Quand il l'a fait, il leur a donné une combinaison de noms réels et fictifs avec de fausses coordonnées, y compris les adresses e-mail qui sont arrivées dans la boîte de réception de Moon [source :Ferguson et al].
Il s'avère que certains des systèmes mis en place pour l'examen comportent des failles comme celle-ci, et l'exemple d'auto-évaluation de Moon n'est pas une anomalie isolée. Cela nous laisse avec la possibilité que certaines des études évaluées par des pairs dont nous entendons parler pourraient en fait être sans pairs.
"Peu importe. Cette étude sur le cancer du poumon avait probablement une faible puissance statistique." iStock/Thinkstock Le domaine des neurosciences est dans une phase passionnante avec une nouvelle technologie puissante capable d'analyser le cerveau avec une exactitude toujours croissante. À l'aide de scans, par exemple, un certain nombre d'études différentes ont examiné la relation entre la santé mentale et un volume cérébral anormal. De nombreux, en fait la plupart d'entre eux, trouvé une corrélation.
Mais le rythme effréné auquel ces études ne cessaient de se confirmer a piqué la curiosité du chercheur John Ioannidis. Après avoir analysé les données, il a constaté que, pris ensemble, toutes ces études avaient une puissance statistique moyenne de 8. Cela semble faible, et c'est. Mais qu'est-ce que ça veut dire?
La puissance statistique d'une étude fait référence à la taille des échantillons utilisés et à la taille des résultats. Pour simplifier massivement, si vous étudiez 10, 000 fumeurs et 10, 000 non-fumeurs et constatent que 50 pour cent des fumeurs ont développé un cancer du poumon alors que seulement 5 pour cent des non-fumeurs l'ont fait, alors votre étude a une puissance très élevée. Vous aviez un énorme échantillon de population, et les résultats étaient aussi énormes.
Mais si vous étudiez 10 fumeurs et 10 non-fumeurs et constatez que deux des fumeurs ont développé un cancer du poumon et un des non-fumeurs aussi, alors vous avez une étude extrêmement sous-alimentée. La taille de l'échantillon est si petite que la différence entre les deux groupes n'a pas de sens [source :Yong].
Être juste, la plupart des études accusées d'avoir une faible puissance ne sont pas aussi ridiculement basses que cet exemple fictif. Mais ces dernières années, des chercheurs inquiets ont dénoncé la prévalence d'études sous-alimentées. Leur message ? Il est temps de s'allumer !
Attendez peut-être un peu avant de vous précipiter pour essayer le dernier remède supposé contre le cancer présenté par une toute nouvelle étude. Images/Stockbytes Thinkstock Tous les deux jours, nous entendons parler d'une nouvelle étude qui a trouvé de la vitamine X, Y ou Z prévient le cancer ou la maladie d'Alzheimer ou les maladies auto-immunes, et nous nous précipitons pour acheter de grandes quantités de la substance. Avant de proposer un autre supplément à la mode, il pourrait être sage de s'asseoir et d'attendre un peu pour voir si la recherche ultérieure renforce ou démystifie sa valeur.
Les médias prospèrent sur les dernières et les plus récentes. Mais quand il s'agit de science, la nouveauté n'est pas forcément une bonne chose. Souvent, cela signifie simplement que les résultats passionnants d'une nouvelle étude surprenante sont trop nouveaux pour avoir encore été réfutés. Revenez dans quelques années et voyez combien de ces résultats de recherche en tête d'affiche ont résisté à l'épreuve du temps.
En termes de recherche, une grande partie de ce que les médias rapportent sont des « résultats initiaux ». Les premiers résultats ne sont que cela, initiale. Ils doivent être vérifiés par d'autres études pour voir si les résultats peuvent être reproduits. Souvent, ils ne peuvent pas l'être, mais il est rare que les médias rapportent des résultats de recherche négatifs [source :Crowe]. C'est parce qu'ils ne sont jamais aussi populaires qu'une nouvelle découverte passionnante.
On dirait que la nature avait raison. Espérons que vous avez des tenues ignifuges à portée de main. Don Arnold/WireImage/Getty Images L'édition d'avril 2015 de "Nature, " l'une des revues scientifiques les plus prestigieuses et réputées au monde, a surpris son lectorat avec les résultats extraordinaires d'une nouvelle étude. Dragon, Ça disait, ne sont pas des produits mythiques de l'imagination pré-moderne, mais de vraies créatures qui ont subsisté dans une phase de dormance depuis le Moyen Âge. L'une des découvertes les plus inquiétantes était qu'il y avait des preuves que ces anciennes bêtes étaient sur le point de se réveiller.
La date de publication est le signe évident que cet article était une farce élaborée du poisson d'avril. Mais malgré la nature ridicule de la pièce, cela met en évidence une caractéristique importante du journalisme scientifique :les gens aiment les bonnes histoires. Les scientifiques le savent. Même la publication d'un article dans une revue scientifique peut nécessiter la création d'une « belle histoire » pour expliquer les résultats. Et meilleure est l'histoire, plus il est probable que les médias grand public le couvriront [source :Firger].
Mais la recherche scientifique ne donne pas toujours de bonnes histoires. En réalité, le plus souvent, ce n'est pas le cas. De nombreuses recherches importantes sont très peu concluantes. Au mieux, cela pourrait nous donner une fenêtre provisoire sur une vérité possible. Aussi souvent qu'autrement, il nous dit peu ou rien du tout. Alors quand il s'agit de science, méfiez-vous des bonnes histoires, dragons ou non.
Je suis aussi cynique que la prochaine personne, mais les recherches requises pour cet article m'ont choqué plus d'une fois. Comme la plupart des gens, J'associe la science à la rigueur, donc j'ai été découragé d'apprendre à propos de certains des mauvais, travail bâclé et compromis en cours. Mais je suppose que je ne devrais pas l'être. Les scientifiques ne sont pas des robots opérant dans des environnements hermétiquement clos. Ils sont aussi sujets à la vénalité et aux tendances culturelles que n'importe qui d'autre. Et à la fin, je suis reparti avec peut-être encore plus de respect pour un mode d'enquête qui se contrôle lui-même dans la mesure où la science le fait. Il y a beaucoup de mauvaise science là-bas, mais les dénonciateurs sont... des scientifiques !
