Regression3 notes

FSG - D´ epartement de math´ ematiques et de statistique STT-2902 A-12 Emmanuelle Reny-Nolin
Semaine 6 : Covariance et corr´ elation
1 La covariance entre Xet Y
1.1 La covariance th´ eorique
La covariance th´ eorique
La covariance th´ eorique entre deux variables al´ eatoires Xet Yest une mesure d’association lin´ eaire d´ efinie
comme suit :
Cov(X, Y ) = E(X−µX) (Y−µY)
Remarques :
•Si Cov(X, Y )>0, alors la relation est ...
•Si Cov(X, Y )<0, alors la relation est ...
•Si Cov(X, Y )=0, alors ...
•Si Xet Ysont ind´ ependantes, alors Cov(X, Y ) =
•Unit´ es :
•Valeurs possibles :
Propri´ et´ es de la covariance th´ eorique
1) Cov(X, X) =
2) Cov(X, Y ) =
3) Cov(aX, Y ) =
4) Cov(X+b, Y ) =
5) Cov(X1+X2, Y ) =
6) V ar(X+Y) =
7) V ar(X−Y) =
1.2 La covariance ´ echantillonnale
La covariance ´ echantillonnale
On estime en g´ en´ eral la covariance th´ eorique par la covariance ´ echantillonnale :
d
Cov(X, Y ) =
n
P
i=1
(Xi−X)(Yi−Y)
n−1
=SXY
n−1
=
1

FSG - D´ epartement de math´ ematiques et de statistique STT-2902 A-12 Emmanuelle Reny-Nolin
2 La corr´ elation entre Xet Y
2.1 La corr´ elation th´ eorique
Coefficient de corr´ elation th´ eorique : ρ
Pour r´ egler le probl` eme des unit´ es de la covariance, on utilise plus souvent le coefficient de corr´ elation entre Xet
Y.
ρ=Cov(X, Y )
pV ar(X)V ar(Y)
Ce coefficient est compris entre −1et 1.
Unit´ es :
2.2 La corr´ elation ´ echantillonnale
Coefficient de corr´ elation ´ echantillonnal : r
On estime la corr´ elation par le coefficient de corr´ elation ´ echantillonnal r:
r=d
Cov(X, Y )
SXSY
=
1
n−1
n
P
i=1
(Xi−X)(Yi−Y)
s1
n−1
n
P
i=1
(Xi−X)2·1
n−1
n
P
i=1
(Yi−Y)2
=SXY
√SXX SY Y
=
Propri´ et´ es de r
•
•
•
•
2

FSG - D´ epartement de math´ ematiques et de statistique STT-2902 A-12 Emmanuelle Reny-Nolin
Parmi les principales propri´et´es du coefficient de corr´elation, notons les suivantes :
1. Le coefficient de corr´elation mesure le degr´e d’association lin´eaire entre la variable
Xet la variable Y.
2. On a toujours −1≤r≤1.
3. On obtient r= 1 si et seulement si les npoints sont sur une droite de pente positive
et on obtient r=−1 si et seulement si les npoints sont sur une droite de pente
n´egative.
4. Un coefficient de corr´elation nul indique l’absence d’association lin´eaire.
5. Un coefficient de corr´elation positif indique une association lin´eaire positive entre la
variable Xet la variable Y: plus Xest grand et plus Ya tendance `a ˆetre grand ;
plus Xest petit et plus Ya tendance `a ˆetre petit. Cette association est d’autant
plus forte que rest proche de 1.
6. Un coefficient de corr´elation n´egatif indique une association lin´eaire n´egative entre
la variable Xet la variable Y: plus Xest grand et plus Ya tendance `a ˆetre petit ;
plus Xest petit et plus Ya tendance `a ˆetre grand. Cette association est d’autant
plus forte que rest proche de -1.
Voici quelques exemples de nuages de points et leurs coefficients de corr´elation :
Corrélation = 0.3
Corrélation = 0.6
Corrélation = 0.9
Corrélation = −0.3
Corrélation = −0.6
Corrélation = −0.9
209
Questions
•Si r= 1, que vaut ˆσ2=MSE ?
•Si r= 0, qu’est-ce que cela signifie ?
•Que vaut rsi tous les points sont sur une droite de pente nulle ?
Causalit´ e
Peut-on dire que plus une corr´ elation est forte entre 2 variables, plus cela indique la pr´ esence d’un lien causal
entre elles ?
3

FSG - D´ epartement de math´ ematiques et de statistique STT-2902 A-12 Emmanuelle Reny-Nolin
Exemple sur l’IMC
Que valent la covariance et le coefficient de corr´ elation ´ echantillonnaux entre l’IMC et le poids selon l’´ etude chez
les jeunes de 16-17 ans ?
10
15
20
25
30
35
40
45
50
55
40 50 60 70 80 90 100 110
IMC
Poids(kg)
Diagrammededispersion
Rappels :
n= 278, SXX = 49 442, SY Y = 5 411, SXY = 12 841
4

FSG - D´ epartement de math´ ematiques et de statistique STT-2902 A-12 Emmanuelle Reny-Nolin
2.3 La m´ ethode du rectangle
Estimation de ρpar le rectangle
0
5
10
15
20
25
30
35
55,566,577,588,59
Nombredepatatesparplant
pHdusol
Nbpatates/plantenfonctiondupH
Source : Visions, Sciences naturelles, manuel de l’´ el` eve, volume 1, p. 17.
Calcul par la m´ ethode du rectangle
Dans les livres du secondaire, on estime le coefficient de corr´ elation par la formule suivante :
r≈
5