L3
Taille d'effet, puissance et limites de la p-value
Une différence « statistiquement significative » peut être minuscule, et une différence importante peut être non significative si l'échantillon est trop petit. La taille d'effet quantifie l'ampleur indépendamment de n.
d de Cohen
d = (x̄₁ − x̄₂) / SD poolée. Repères de Cohen : 0,2 petit, 0,5 moyen, 0,8 grand. L'échelle de Hopkins, très utilisée en sciences du sport, propose 0,2 petit, 0,6 modéré, 1,2 grand, 2,0 très grand, 4,0 quasi parfait. Ces seuils sont des conventions, pas des vérités : un effet de 0,2 sur la performance d'un athlète d'élite peut avoir une grande importance pratique. Pour les petits échantillons, on corrige le biais avec le g de Hedges. D'autres indicateurs existent : η² (ANOVA), r, odds ratio.
Plus petit effet d'intérêt (SWC)
Le smallest worthwhile change est la plus petite variation jugée utile pour la pratique. Souvent fixé à 0,2 fois l'écart-type interindividuel (seuil de Cohen, repris par Hopkins) ; pour des athlètes de haut niveau en sport individuel, d'autres approches existent (par exemple fraction du coefficient de variation entre compétitions).
Puissance et taille d'échantillon
La puissance est la probabilité de détecter un effet réel. On la fixe en général à 80 % (β = 0,20). Pour deux groupes indépendants, avec α bilatéral 0,05, le nombre de sujets par groupe est environ n ≈ 2 × (1,96 + 0,84)² / d² = 15,7 / d². Pour d = 0,5, n ≈ 63 par groupe ; pour d = 0,8, n ≈ 25 (approximation normale ; le calcul exact avec la loi t, par exemple dans G*Power, donne 64 et 26, valeurs recalculées avec la loi t non centrale). Un calcul a priori (logiciel G*Power) est préférable à un calcul post hoc, qui n'apporte rien de plus que la p-value.
Limites de la p-value
L'American Statistical Association (Wasserstein et Lazar, 2016) rappelle que : p ne mesure ni la probabilité que H0 soit vraie, ni la taille ou l'importance d'un effet ; le seuil 0,05 est arbitraire ; la conclusion ne doit pas reposer uniquement sur le franchissement d'un seuil ; p-hacking et analyses sélectives invalident la valeur de p. On rapporte donc : la p-value exacte, la taille d'effet et l'IC.
« Non significatif » ne veut pas dire « pas d'effet » : l'absence de preuve n'est pas la preuve de l'absence. L'inférence basée sur les magnitudes (Hopkins) et les approches bayésiennes sont des alternatives discutées.
🎯 À retenir
- La taille d'effet (d, η², r) quantifie l'ampleur, indépendamment de n.
- Cohen : d = 0,2 / 0,5 / 0,8 ; Hopkins : 0,2 / 0,6 / 1,2 / 2,0 / 4,0.
- Puissance usuelle 80 % ; n par groupe ≈ 15,7 / d² (α = 0,05 bilatéral).
- p n'est ni la probabilité que H0 soit vraie ni une mesure d'importance.
- Rapporter p exact, taille d'effet et IC 95 % ; éviter la dichotomie significatif/non significatif.
- SDp : écart-type poolé
- nᵢ, sᵢ : effectifs et écarts-types
- zα/2 = 1,96 (α = 0,05)
- zβ = 0,84 (puissance 80 %)
- d : taille d'effet attendue
⚠️ Erreurs fréquentes
- Conclure « pas d'effet » à partir de p > 0,05 avec un petit échantillon.
- Interpréter p = 0,001 comme un effet « très grand ».
Pour s'entraîner
✅ QCM : Méthodologie de la recherche et statistiques 🃏 Fiches
Calculateurs liés
- Moyenne, écart-type et médiane d'une série (jusqu'à 8 valeurs)
- Intervalle de confiance à 95 % d'une moyenne
- Test t de Welch à partir de résumés (2 groupes indépendants)
- Taille d'effet : d de Cohen et g de Hedges
← Corrélation et régression linéaire Fiabilité et validité des mesures →