La schizophrénie des méthodes quantitatives

La schizophrénie des
méthodes quantitatives :
source d’une science de
l’éducation incohérente ? Jimmy Bourque, CRDE
Plan de la présentation • Introduction: obsédés par p ? • Les tests d’hypothèse: le combat du siècle… • Retour sur p: ce que c’est, ce qu’on pense que c’est et ce qu’on aimerait que ce soit • L’apport de la taille de l’effet: mon effet est plus gros que le tien • La puissance statistique: mon test est­il impuissant? • Conclusion: un paradigme redevenu festif!
Introduction: obsédés par p ? • Lorsque vous publiez ou lisez des articles quantitatifs, que regardez­vous? • Biais de publication en faveur des articles présentant des résultats “significatifs” • Depuis les années 1960, recours presque exclusif à p pour l’interprétation des résultats
Les tests d’hypothèse:
le combat du siècle Fisher
Inférence inductive [!] Population infinie Une hypothèse: H Non rejet de H: suspension du jugement Erreur de type I α fixes, puis (1950) valeurs exactes de p Neyman & Pearson Prise de décision [t. effet] Répétition à l’infini Nulle (H 0 ), alternative (H 1 ) Non rejet de H 0 : adoption de H 1 Erreurs de type I et II α et β fixés a priori sur des bases pratiques Retour sur p : ce que c’est • À partir d’un échantillon aléatoire tiré d’une population où H 0 est vraie, c’est la probabilité d’obtenir un résultat au moins aussi extrême que celui observé • La probabilité qu’une statistique soit au moins aussi éloignée que la valeur obtenue si H 0 est vraie dans la population • Si H 0 est vraie dans la population et que l’expérience est répétée un grand nombre de fois, c’est la proportion des résultats qui seront au moins aussi éloignés de H 0 que celui observé • P(D|H 0 )
Retour sur p :
ce qu’on pense que c’est • La probabilité que le résultat obtenu soit dû au hasard • La probabilité de rejeter à tort l’hypothèse nulle: P(H 0 |rejeté H 0 ) • 1 – p = la probabilité de réplication des résultats obtenus (ceteris paribus!)
Retour sur p :
ce qu’on voudrait que ce soit • La probabilité que l’hypothèse nulle soit vraie dans la population (en se basant sur les valeurs obtenues pour l’échantillon) • P(H 0 |D) • Un clin d’oeil au révérend Thomas Bayes
Retour sur p : exemple • Échantillon aléatoire de 23 112 élèves • La proportion de garçons et de filles est­elle la même dans chaque province canadienne? • L²[16] = 42,117, p = 0,000 • En supposant que ces proportions soient exactement égales dans la population (H 0 ), la probabilité d’obtenir ce résultat (ou un résultat plus extrême) est de 0,00% • Conclusion: la proportion de garçons et de filles diffère de façon statistiquement significative dans les provinces canadiennes… • Est­ce que signification = importance pratique?
Apport de la taille de l’effet • À quel degré un phénomène donné est présent dans la population (J. Cohen) • À quel point l’hypothèse nulle est fausse • Retour à l’exemple: L²[16] = 42,117, p = 0,000 V = 0,043, p = 0,000 τ = 0,002, p = 0,000 • L’effet est négligeable (V < 0,100) et permettrait d’éviter 0,2% des erreurs de prédiction • Est­ce que signification = importance pratique?
La puissance statistique • La probabilité qu’un test donné mène au rejet de l’hypothèse nulle (J. Cohen) • Varie directement avec n, α et la taille de l’effet • Dans notre exemple: 99,96% • Je fais une recherche ou je tire à pile ou face? • Analyse a priori: combien de sujet dans mon échantillon pour avoir une probabilité raisonnable de détecter un effet donné? • Je fixe les valeurs de la taille de l’effet, de la puissance et de α • G*Power: http://www.psycho.uni­duesseldorf.de/abteilungen/aap/gpower3/
Conclusion • La Terre est ronde (p < 0,05): un “homme de paille”, l’hypothèse nulle? • Résultats contradictoires: un artefact de devis à puissance variable? • L’aspect éthique: 50 000$ ou 0.25$? MERCI! (Vous pouvez prendre une Tylenol…)
Quelques références • Blais, J.­G. (1991). Statistique, méthodes quantitatives et analyse des données. Repères, essais en éducation, (13), 63­90. • Chow, S. L. (1996). Statistical Significance: Rationale, Validity and Utility. London, UK: Sage. • Gigerenzer, G. (1993). The Superego, the Ego, and the Id in Statistical Reasoning. Dans G. Keren & C. Lewis (Eds.), A Handbook for Data Analysis in the Behavioral Sciences: Methodological Issues (pp. 311­ 339). Hillsdale, NJ: Erlbaum. • Harlow, L. L., Mulaik, S. A, and Steiger, J. H. (Eds) (1997). What if there Was No Significance Tests? Mahwah, NJ: Erlbaum. • Kline, R. B. (2004). Beyond Significance Testing: Reforming Data Analysis Methods in Behavioral Research. Washington, DC: American Psychological Association. • Wilkinson, L. and the Task Force on Statistical Inference (1999). Statistical Methods in Psychology Journals: Guidelines and Explanations. American Psychologist, 54 (8), 594­604.