Statcheck :Quand les bots « corrigent » les universitaires Jason Stang/Getty Images

Vous connaissez ce collègue qui se promène toujours vers votre bureau et vous dit haut et fort qu'il a trouvé une erreur dans le rapport que vous rendez ? D'un côté, c'est bien - pas besoin que le patron vous voit encore confondre "leur/là". D'un autre côté... quelle douleur.

Au cours des derniers mois, les scientifiques ont ressenti les mêmes émotions mitigées que statcheck, une nouvelle application qui scanne les études psychologiques pour les erreurs, a été dévoilé. Et tout comme le collègue « utile », c'est le mode de dévoilement qui a touché quelques nerfs.

Commençons par ce que fait exactement statcheck. Sam Schwarzkopf, un neuroscientifique de l'University College London qui écrit le blog scientifique NeuroNeurotic, le compare à un correcteur orthographique pour les statistiques. "La plupart des erreurs signalées par statcheck sont très probablement sans conséquence, " explique-t-il par e-mail. " Alors c'est un peu pénible de voir l'erreur, mais ça ne fait pas vraiment de mal." Une faute de frappe, par exemple. Super à attraper, mais pas terrible.

Cependant, lorsque statcheck signale les erreurs comme "changeant potentiellement les conclusions, " c'est comme trouver une faute de frappe qui " changerait le sens de la phrase, " dit Schwarzkopf. Mais cela ne signifie pas que ces erreurs statistiques changent définitivement les résultats, Soit.

"Je parierais que la plupart de ces erreurs sont probablement des fautes de frappe et ne changent pas réellement les conclusions, " dit Schwarzkopf. " Dans de nombreux cas, vous pouvez dire à partir des résultats, soit les chiffres, soit les graphiques, que les conclusions sont correctes et que le test statistique est simplement mal rapporté."

Bien sûr, il y aura des cas où il y aura une erreur réelle, ce qui signifierait qu'il y a eu une erreur dans un calcul réel, ou que les numéros sont frauduleux. Dans les deux cas, cela impliquerait un manuel réel, vérification à l'ancienne.

Alors ça sonne bien, droit? Un moyen pour les universitaires de vérifier leurs recherches avant de les soumettre et d'aider à obtenir des résultats plus précis. Mais le grand déploiement de statcheck a été un peu plus spectaculaire :50, 000 articles sur PubPeer (une plateforme en ligne qui permet aux chercheurs de partager et de discuter des articles publiés) ont été analysés à l'aide de statcheck, et étaient donc signalés par des rapports générés automatiquement, même si le rapport disait simplement qu'il n'y avait pas d'erreurs.

Tout le monde n'était pas ravi que son travail soit analysé et commenté de manière non sollicitée, surtout dans un forum où un commentaire sur un papier signifie généralement qu'une erreur est trouvée. Un drapeau indiquant que le papier a été scanné par statcheck pourrait conduire à une mauvaise interprétation, en d'autres termes.

Et il est important de se rappeler que statcheck n'est en aucun cas un élément parfait de l'intelligence artificielle. "Parce que statcheck est un algorithme automatisé, il ne sera jamais aussi précis qu'un contrôle manuel, " dit Michéle Nuijten par e-mail. Nuijten est doctorante à l'Université de Tilburg aux Pays-Bas et a aidé à créer statcheck. "En raison des erreurs commises par statcheck, vous devez toujours vérifier manuellement les incohérences signalées par statcheck, avant de tirer des conclusions solides."

Nuijten et Chris Hartgerink (le chercheur qui a scanné et rendu compte des articles de PubPeer), étaient clairs que statcheck avait des bugs et des erreurs. Le manuel de statcheck comprend également des listes détaillées de ce que statcheck ne peut pas faire.

Ce qui revient à ce que Schwarzkopf souligne également :trouver des erreurs dans les statistiques est un excellent avertissement, mais il ne raconte pas nécessairement l'histoire des données. L'article rapporte qu'un article sur huit contenait une erreur qui peut ont affecté la conclusion statistique, ce qui pourrait nous amener tous à paniquer que la science a tort, le haut est le bas, et personne n'est digne de confiance. Mais statcheck ne nous dit pas combien d'erreurs réellement affecté les conclusions des études. Il signale simplement des incohérences grossières potentielles.

Schwarzkopf prévient que nous n'avons pas besoin de paniquer que toutes ces erreurs signifient de fausses conclusions. "L'écrasante majorité, même de ces erreurs sur huit, sont probablement sans conséquence car elles sont dues à des fautes de frappe plutôt qu'à de véritables erreurs de calcul des résultats, " dit-il. " Il est certainement bon de repérer de telles erreurs mais elles n'invalident pas les interprétations des résultats. La seule façon de distinguer si une erreur est due à une faute de frappe ou à une véritable erreur de calcul est de regarder les données elles-mêmes et de reproduire les statistiques."

En d'autres termes, nous devons nous assurer que les auteurs et les publications vérifient (puis revérifient) les statistiques avant la publication et, ce qui est crucial, reproduisent également les résultats.

Et bien que certains scientifiques n'aient pas été ravis que leurs travaux soient analysés ou signalés sur PubPeer, il est juste de dire que les chercheurs trouveront un soulagement d'utiliser la technologie statcheck pour revérifier leur propre travail, ce qu'ils peuvent désormais faire facilement sur http://statcheck.io.

MAINTENANT C'EST INTÉRESSANT

Il est important de noter que statcheck n'est conçu que pour les documents psychologiques. Nuijten et ses collègues travaillent actuellement sur un financement pour étendre statcheck à d'autres domaines, comme les sciences biomédicales et l'économie.