La signification statistique est un indicateur objectif de la question de savoir si les résultats d'une étude sont mathématiquement «réels» et statistiquement défendables, plutôt qu'un simple hasard. Les tests de signification couramment utilisés recherchent des différences dans les moyennes des ensembles de données ou des différences dans les variances des ensembles de données. Le type de test appliqué dépend du type de données analysées. Il appartient aux chercheurs de déterminer à quel point les résultats doivent être significatifs - en d'autres termes, quel risque ils sont prêts à prendre pour se tromper. Typiquement, les chercheurs sont prêts à accepter un niveau de risque de 5%.
Erreur de type I: Refuser à tort l'hypothèse nulle
Des expériences sont menées pour tester des hypothèses spécifiques, ou des questions expérimentales avec un résultat. Une hypothèse nulle est celle qui ne détecte aucune différence entre les deux ensembles de données comparés. Dans un essai médical, par exemple, l'hypothèse nulle pourrait être qu'il n'y a pas de différence dans l'amélioration entre les patients recevant le médicament à l'étude et les patients recevant le placebo. Si le chercheur rejette à tort cette hypothèse nulle lorsqu'elle est vraie, c'est-à-dire si elle «détecte» une différence entre les deux groupes de patients alors qu'il n'y avait pas vraiment de différence, alors elle a commis une erreur de type I. Les chercheurs déterminent à l'avance le risque de commettre une erreur de type I qu'ils sont prêts à accepter. Ce risque est basé sur une valeur p maximale qu'ils accepteront avant de rejeter l'hypothèse nulle, et s'appelle alpha.
Erreur de type II: Rejeter à tort l'hypothèse alternative
Une autre hypothèse est celui qui détecte une différence entre les deux ensembles de données comparés. Dans le cas de l'essai médical, vous vous attendez à voir différents niveaux d'amélioration chez les patients recevant le médicament à l'étude et chez les patients recevant le placebo. Si les chercheurs ne parviennent pas à rejeter l'hypothèse nulle quand ils le devraient, en d'autres termes, s'ils ne "détectent" aucune différence entre les deux groupes lorsqu'il y avait vraiment une différence, alors ils ont commis une erreur de type II. Déterminer le niveau de signification
Lorsque les chercheurs effectuent un test de signification statistique et que la valeur p résultante est inférieure au niveau de risque jugé acceptable, le résultat du test est considéré comme statistiquement significatif. Dans ce cas, l'hypothèse nulle - l'hypothèse qu'il n'y a pas de différence entre les deux groupes - est rejetée. En d'autres termes, les résultats indiquent qu'il existe une différence d'amélioration entre les patients recevant le médicament à l'étude et les patients recevant le placebo.
Choisir un test de signification
Il existe plusieurs tests statistiques différents à choisir de. Un test t standard compare les moyennes de deux ensembles de données, tels que les données de notre étude sur les médicaments et nos données placebo. Un test t apparié est utilisé pour détecter les différences dans le même ensemble de données, comme une étude avant-après. Une analyse de variance unidirectionnelle (ANOVA) peut comparer les moyennes d'au moins trois ensembles de données, et une ANOVA à deux voies compare les moyennes de deux ou plusieurs ensembles de données en réponse à deux variables indépendantes différentes, telles que les différentes forces de la étudier la drogue. Une régression linéaire compare les moyennes des ensembles de données selon un gradient de traitements ou de temps. Chaque test statistique donnera lieu à des mesures de significativité, ou alpha, pouvant être utilisées pour interpréter les résultats du test.
