MASTER RECHERCHE « GESTION DES RISQUES EN FINANCE ET ASSURANCE »

MASTER RECHERCHE
« GESTION DES RISQUES
EN FINANCE ET ASSURANCE »
COURS DE MISE A NIVEAU
POUR ETUDIANTS ISC
COURS
D’ ECONOMETRIE
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
2
Contents
Chapitre 1 : Variables aléatoires et lois de probabilité
A. Notions de probabilité (rappels) . . . . . . . . . . . . . .
B. Variables aléatoires discrètes et absolument continues . .
C. Lois usuelles . . . . . . . . . . . . . . . . . . . . . . . . .
D. Couples de variables aléatoires . . . . . . . . . . . . . . .
E. Théorèmes de convergence . . . . . . . . . . . . . . . . .
Chapitre 2: Echantillonnage
Introduction: quelques définitions
A. Moyenne d’échantillon . . . .
B. Proportion d’échantillon . . .
C. Variances dans un échantillon
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
5
6
7
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
8
8
8
9
10
Chapitre 3: Estimation et tests
A Estimation : généralités . . . . . . . . . . . . . . .
B Tests : généralités . . . . . . . . . . . . . . . . . .
C Applications : estimations et tests paramétriques .
D. Quelques tests non paramétriques . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13
13
14
15
21
Chapitre 4: Régression linéaire
A La régression linéaire simple . . .
B Le modèle de régression multiple .
C Prévision (prédiction) . . . . . . .
D Variables explicatives particulières
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
23
27
30
31
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Annexe 1 : alphabet grec et quelques utilisations typiques en statistiques ou économétrie
33
Annexe 2 : Calculs sur les sommes de carrés
34
Annexe 3 : Statistiques descriptives et régression linéaire simple
Autres “Statistiques de la régression” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
“ANALYSE DE VARIANCE” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
35
35
Annexe 4 : Notations, rappels et compléments de calcul matriciel
Vecteurs et matrices particuliers . . . . . . . . . . . . . . . . . . . . . .
Transposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Produit d’une matrice A par un vecteur X . . . . . . . . . . . . . . . .
Produit de deux matrices A et B . . . . . . . . . . . . . . . . . . . . . .
Matrice de variance-covariance d’un vecteur X . . . . . . . . . . . . . .
Statistiques descriptives sur un ensemble de variables . . . . . . . . . . .
Opérations vectorielles sur espérance et variance . . . . . . . . . . . . .
36
36
36
36
36
36
37
37
37
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
3
Chapitre 1 : Variables aléatoires et lois de probabilité
A. Notions de probabilité (rappels)
1◦ ) Espace probabilisé (Ω, a, P )
Ω : espace fondamental : fini ou infini, discret (dénombrable) ou continu
ω ∈ Ω : événement élémentaire
@ ≡ P (Ω) : tribu des parties de Ω
A ∈ @⇔ A ⊂Ω : événement complexe (composé)
P
P : @→ [0; 1]
P (A) =
P (ω) dans la cas discret
loi de probabilité sur @
A 7→ P (A) = P (ω ∈ A)
ω∈A
1
équiprobabilité ⇔ P (ω) = CardΩ
∀ω ∈ Ω (n’a de sens que si Ω fini)
uniformité ⇔ P (A) =
“T aille”(A)
“T aille”(Ω)
avec “Taille”=longueur si Ω ⊂ R ; “Taille”=surface si Ω ⊂ R2
∀A ∈ @
2◦ ) Axiomes de probabilités et règles de calcul des probabilités
∀A ⊂ Ω, 0 ≤ P (A) ≤ 1
P (Ω) = 1
P (∅) = 0
si ¡A ∩¢ B = ∅ ⇒ P (A ∪ B) = P (A) + P (B)
P A = 1 − P (A)
P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
3◦ ) Probabilités conditionnelles et indépendance
P (A / B) = P P(A∩B)
(B)
P (A ∩ B) = P (A / B) .P (B) = P (B / A) .P (A)
A et B indépendants ⇔ P (A ∩ B) = P (A) .P (B) ⇔ P (A / B) = P (A) ⇔ P (B / A) = P (B)
4◦ ) Théorème de Bayes
P (B / A) ≡
P (A / B).P (B)
P (A)
=
P (A / B).P (B)
P (A / B).P (B)+P (A / B ).P (B )
B. Variables aléatoires discrètes et absolument continues
1◦ ) Définitions
•
X : Ω→ R
: variable aléatoire réelle (v.a.r.) : fonction définie par: ensemble de départ, ensemω 7→ X (ω)
ble d’arrivée et correspondance : ω 7→ X (ω) ∀ω ∈ Ω
• X (ω) = x ∈ R = réalisation de X = valeur prise par X une fois la tirage réalisé (et ω connu).
• X (Ω) = support de X= {X (ω) , ω ∈ Ω}
• X discrète ⇔ X (Ω) discret
• Fonction de répartition :
X absolument continue ⇔ X (Ω) continu
FX : R → [0; 1]
x 7→ FX (x) ≡ P (X ≤ x) = P ({ω ∈ Ω / X (ω) ≤ x})
∀ x ∈ R, 0 ≤ FX (x) ≤ 1
FX continue à droite: FX (x0 ) = lim FX (x0 + dx)
FX croissante (au sens large)
dx→0+
FX (−∞)
=0
FX (+∞) = 1
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
Loi∗
Calcul de FX
Espérance∗∗
Variance∗∗
4
Cas discret
Cas continu
distribution de probabilité
densité
PX : X (Ω) → [0; 1]
fX : R → R+
0 (x)
(x) ≡ P (X = x)
x 7→ fX (x) ≡ FX
x
7→ PX P
P (ω)
=
= lim P (x≤X≤x+dx)
dx
+
ω / X(ω)=x
R x0dx→0
P
FX (x0 ) =
PX (x)
FX (x0 ) = −∞ fX (x) dx
x≤x0
R +∞
P
µX = EX = E (X) ≡
xPX (x)
µX ≡ −∞ xfX (x) dx
x∈X(Ω) ³
´
¡ ¢
VX = V (X) ≡ E (X − EX)2 = E X 2 − (EX)2
R +∞
P
(x − EX)2 PX (x)
VX =
VX = −∞ (x − EX)2 fX (x) dx
x∈X(Ω)
R +∞
P
=
x2 PX (x) − (EX)2
= −∞ x2 fX (x) dx − (EX)2
x∈X(Ω)
∗
/ X (Ω).
On peut considérer que PX est définie sur R, N ou Z, avec PX (x) = 0 ∀x ∈
∗∗ Il existe des v.a.r. (discrètes ou continues) X / EX n’est pas définie ou VX n’est pas définie (car
la somme ou l’intégrale correspondante diverge).
Remarques:
• Ecart-type : σ X
r ³
´
√
= σ (X) ≡ VX = E (X − EX)2
2◦ ) Probabilités et statistiques descriptives
Probabilités (théorie)
Statistiques descriptives (concret)
Espace Ω
Population P
Probabilité d’un événement
% de cas où l’événement est réalisé
Loi théorique (PX ou fX ; FX ) Répartition empirique des valeurs (histogramme)∗
Espérance
Moyenne empirique
Variance
Variance empirique
* : Dans les populations de petite taille, on regroupe généralement les observations dans des classes (intervalles
de valeurs).
3◦ ) Opérations sur les v.a.r.
Soient : une v.a.r. X : Ω→R et une fonction g : Dg ⊂ R → Img ⊂ R, on définit la v.a.r. Y = g (X) :
Y : Ω→R
. Alors:
ω 7→ Y (ω) ≡ g (X(ω))
P

g (x) PX (x) si X discrète
x∈X(Ω)
Attention : en général, EX (g (X)) 6= g (EX (X))
EX (Y ) ≡ EX (g (X)) ≡
R
 +∞ g (x) f (x) dx si X continue
X
−∞
Applications:
¡ ¢
∗
Moment non centré d’ordre k³ : E X k , pour
´ k∈N
Moment centré d’ordre k : E (X − EX)k , pour k ∈ N∗
4◦ ) Changement de variables
Soit Y = g (X), avec les notations du 3◦ ). Alors:
• FY (y) = P (Y ≤ y) = P (g (X) ≤ y)
¡
¢
= FX g −1 (y) si g inversible (sinon, il faut réfléchir au cas par cas).
• fY (y) =
fX (g −1 (y))
g 0 (g −1 (y))
si g inversible
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
5
5◦ ) Propriétés de l’espérance et de la variance
Soient X : Ω→R une v.a.r. et (a.b) ∈ R2 , alors :
• E (a + bX) = a + bEX et
• V (a + bX) = b2 VX
C. Lois usuelles
1◦ ) Cas discret
Bernoulli : X Ã B (p), p ∈ [0; 1]
X (Ω) = {0; 1}
P (X = 1) = p
P (X = 0) = 1 − p
EX = p
VX = p. (1 − p)
Binomiale : X Ã B (n, p), n ∈ N∗ , p ∈ [0; 1]
X (Ω) = {0; 1; 2...n}
P (X = k) = Cnk pk (1 − p)n−k ∀k = 0, ...n
EX = np
VX = np. (1 − p)
n
P
Xi à B (n, p)
Si X1 , X2 ,...Xn à B (p) indépendantes, alors Un ≡
i=1
Poisson : X Ã P (λ), λ ∈ R+∗
−λ k
X (Ω) = N
P (X = k) = e k!λ
∀k ∈ N
EX = λ
VX = λ
Si X Ã B (n, p), avec n grand (> 20 à 50) et np petit (< 5 à 7), alors X suit approximativement une loi de
−np
k
Poisson (λ = np), et P (X = k) ≈ e k!(np)
Si X Ã B (n, p), avec n et np grands (> 7 à 10), alors X suit approximativement une loi normale (µ = np,
σ 2 = np (1 − p))
Géométrique : X Ã G (p), p ∈ [0, 1]
X (Ω) = N∗
P (X = k) = p (1 − p)k−1
∀k ∈ N∗
EX =
1
p
VX =
1
p
³
1
p
´
−1 =
1−p
p2
Hypergéométrique : X Ã H (N, n1 , n2 ), (N, n1 , n2 ) ∈ N3 , 0 < n2 < n1 < N
k C
Cn
EX =
n1 n2
N
n1 −k
P (X = k) = 2C nN1−n2 ∀k = 0, 1, ...n2
N
´
¡
¢³
n1 n2
n1
n2 −1
1 )(N−n2 )
(inutile de retenir ces formules)
VX = N 1 − N 1 − N−1 = n1 n2 (N−n
N 2 (N −1)
X (Ω) = {0; 1; ...n2 }
2◦ ) Cas continu
Uniforme : X Ã Ua,b , (a, b) ∈ R2 , a < b
X (Ω) = [a; b]
f (x) =
1
b−a
∀x ∈ [a; b]
EX =
a+b
2
VX =
Normale centrée réduite : X Ã N (0, 1)
x2
X (Ω) = R
f (x) =
− 2
e√
2π
∀x ∈ R
EX = 0
¡
¢
Normale : X Ã N µ, σ 2 , µ ∈ R, σ 2 ∈ R+∗
−
VX = 1
(x−µ)2
e √ 2σ2
2πσ
X (Ω) = R
f (x) =
∀x ∈ R
EX = µ
VX = σ 2
Attention : on trouve aussi la notation : X Ã N (µ, σ)
(b−a)2
12
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
6
D. Couples de variables aléatoires
1◦ ) Lois jointe, marginales, conditionnelles
Cas discret
Loi jointe
distribution : PX,Y (x, y)
= P (X = x, Y = y)
Lois marginales
P
PX (x) ≡
PY (y) ≡
Cas continu
densité : fX,Y (x, y)
≤y+dy)
= lim P (x≤X≤x+dx,y≤Y
dx.dy
dx→0+
dy→0+
PX,Y (x, y)
fX (x) ≡
PX,Y (x, y)
fY (y) ≡
y∈Y (Ω)
P
x∈X(Ω)
Lois
PX /
condi-
=
tion-
PY
nelles
Indépendance
(X, Y ) indép.
=
⇔ PX,Y (x, y) = PX (x) .PY (y) ∀ (x, y)
⇔ PX / Y =y (x; y) = PX (x) ∀ (x, y)
⇔ PY / X=x (y; x) = PY (y) ∀ (x, y)
P
=
(x − µX ) (y − µY ) PX,Y (x, y)
(x,y)
P
=
xyPX,Y (x, y) − µX µY
Covariance
cov (X, Y )
Y =y (x; y) ≡ P (X =
P
(x,y)
P (X=x,Y =y)
= X,Y
P (Y =y)
PY (y)
x / Y = y)
fX /
/ X=x (y; x) ≡ P (Y =
P
(x,y)
P (X=x,Y =y)
= X,Y
P (X=x)
PX (x)
y / X = x)
fY
(x,y)
Y =y
R +∞
y=−∞ fX,Y
R +∞
x=−∞ fX,Y
(x; y) ≡
/ X=x (y; x)
≡
(x, y) dy
(x, y) dx
fX,Y (x,y)
fY (y)
fX,Y (x,y)
fX (x)
fX,Y (x, y) = fX (x) .fY (y) ∀ (x, y)
fX / Y =y (x; y) = fX (x) ∀ (x, y)
fY RR
∀ (x, y)
/ X=x (y; x) = fY (y)
=
(x − µX ) (y − µY ) fX,Y (x, y) dxdy
x,y
RR
=
xyfX,Y (x, y) dxdy − µX µY
x,y
• Covariance : cov (X, Y ) ≡ EX,Y ((X − µX ) . (Y − µY )) = EX,Y (X.Y ) − µX .µY
• Corrélation : corr (X, Y ) ≡
corr (X, Y ) ∈ [−1; 1]
cov(X,Y )
σX σY
corr (X, Y ) = 1 ⇔ ∃ (a, b) ∈ R × R+∗ / Y = a + bX
corr (X, Y ) = −1 ⇔ ∃ (a, b) ∈ R × R−∗ / Y = a + bX
• V (aX + bY ) = a2 VX + b2 VY + 2abcov (X, Y )
∀ (a, b) ∈ R2
2◦ ) Lois déduites de la loi normale
Chi-deux à n degrés de liberté : χ2 (n) , n ∈ N∗
Si X1 , X2 ,... Xn à N (0; 1) indépendantes, alors Un ≡
Un (Ω) = R+
EUn = n
VUn = 2n
n
P
i=1
Student à n degrés de liberté : St (n) , n ∈ N∗
Si X Ã N (0; 1) et Y Ã χ2 (n) indépendantes, alors Tn ≡
Tn (Ω) = R
ETn = 0
VTn =
n
n−2
Xi2 Ã χ2 (n)
X
Y
n
à St (n)
Fisher à ν 1 et ν 2 degrés de liberté: F (ν 1 , ν 2 ) , (ν 1 , ν 2 ) ∈ (N∗ )2
X / ν1
Y / ν 2 Ã F (ν 1 , ν 2 )
2ν 22 .(ν 2 +ν 1 −2)
si ν 2 > 4 (inutile
ν 1 (ν 2 −4)(ν 2 −2)2
Si X Ã χ2 (ν 1 ) et Y Ã χ2 (ν 2 ) indépendantes, alors F ≡
F (Ω) = R+
EF =
ν2
ν 2 −2
si ν 2 > 2
VF =
de retenir ces formules)
Statistiques et Econométrie - chapitre 1 : Variables aléatoires et lois de probabilité
7
E. Théorèmes de convergence
1◦ ) Deux notions de convergence
(Pour les puristes. En pratique, on considérera surtout la convergence en loi).
Converge en probabilité : Soient (Zn )n∈N∗ une suite de v.a.r. et Z une v.a.r.
On dit que Zn converge en probabilité vers Z ssi, pour toute valeur > 0, la probabilité que
|Zn − Z| > tend vers 0 pour n assez grand:
P
Zn −→ Z ⇐⇒ ∀ > 0, P (|Zn − Z| > ) −→ 0
n→+∞
n→+∞
Converge en loi : Soient (Zn )n∈N∗ une suite de v.a.r. et Z une v.a.r.
On dit que Zn converge en loi vers Z ssi la fonction de répartition de Zn tend vers celle de Z:
L
Zn −→ Z ⇐⇒ ∀x ∈ R, FZn (x) −→ FZ (x)
n→+∞
n→+∞
2◦ ) Loi des Grands Nombres (LGN)
Soient (Xi )i∈N∗ une suite de v.a.r. i.i.d. (indépendantes identiquement distribuées) d’espérance µX finie, soit
n
P
Xn ≡ n1
Xi ∀n ∈ N∗ . Alors Xn converge en probabilité vers la v.a.r. (discrète) valant µX sur Ω.
i=1
Enoncé formalisé:
(Xi )i∈N∗ suite de v.a.r. i.i.d. / EXi = µX < +∞; Xn ≡
P
Alors Xn → µX .
1
n
n
P
Xi
i=1
∀n ∈ N∗ .
3◦ ) Théorème Central Limite (TCL)
Soient (Xi )i∈N∗ une suite de v.a.r. i.i.d. (indépendantes identiquement distribuées) d’espérance µX et de
√
n
P
n.(Xn −µX )
Xi ∀n ∈ N∗ . Alors
converge en loi vers une normale centrée
variance σ 2X finies, soit Xn ≡ n1
σX
i=1
réduite.
Enoncé formalisé:
(Xi )i∈N∗ suite de v.a.r. i.i.d. / EXi = µX < +∞ et VXi = σ 2X < +∞; Xn ≡
Alors
√
n.(Xn −µX ) L
→
σX
N (0; 1).
³
´
σ2
N µX ; nX :
n grand
³
´
σ2
“Xn suit approximativement une N µX ; nX pour n grand”.
Par abus de langage, Xn
Ã
1
n
n
P
i=1
Xi
∀n ∈ N∗ .
Statistiques et Econométrie - chapitre 2: Echantillonnage
8
Chapitre 2: Echantillonnage
Introduction: quelques définitions
• Echantillon de taille n (X1 , ...Xn )1≤i≤n : Ensemble de n v.a.r. correspondant à n tirages (avec ou sans
remise) effectués dans une population de référence P (de taille N ou infinie).
Lorsque ce n’est pas précisé, on considère n tirages indépendants (donc avec remise) et identiquement distribués.
→Chaque Xi peut être considéré comme une v.a.r. dont la loi est donnée par la répartition des valeurs
de X dans la population.
→La réalisation de la v.a.r. Xi (valeur prise par Xi ) est notée xi (→nombre).
• Inférence statistique: Méthode visant à retrouver les caractéristiques d’une population à partir des renseignements contenus dans un échantillon.
θn = f (X1 , ...Xn ) : v.a.r. calculée à partir des v.a.r. de l’échantillon, suivant une règle définie
• Statistique b
à l’avance. b
θn est utilisée pour faire de l’inférence, c’est-à-dire pour se faire une idée sur la vraie valeur
inconnue d’un paramètre θ.
θn
• Distribution d’échantillonnage de la statistique b
θn : loi (discrète ou continue) de la v.a.r. b
→distribution de l’ensemble (fini ou infini, dénombrable ou non) des valeurs que l’on peut obtenir avec
les différents échantillons de taille n tirés dans la population.
θn d’un paramètre inconnu θ : statistique qui, quel que soit l’échantillon, doit
• Estimateur (ponctuel) b
prendre des valeurs proches de θ (→variable aléatoire).
θn d’un paramètre inconnu θ : valeur b
θn = f (x1 , ...xn ) prise par un estimateur
• Estimation (ponctuelle) : b
b
θn de θ sur un échantillon particulier (x1 , ...xn ) (→nombre).
³ ´
θn = θ.
• b
θn Estimateur non biaisé (ou sans biais) du paramètre θ ⇔ E b
³ ´
θn = θ.
• b
θn Estimateur asymptotiquement non biaisé (ou sans biais) du paramètre θ ⇔ lim E b
n→+∞
• Biais de l’estimateur b
θn de θ :
A. Moyenne d’échantillon
³ ´
³ ´
θn − θ
biais b
θn = E b
On part d’une population P de moyenne µX et de variance σ 2X et on s’intéresse à un échantillon (Xi )1≤i≤n
tiré dans cette population. Alors, ∀i = 1, ...n, EXi = µX et VXi = σ 2X .
1◦ ) Estimateur ponctuel
Définition : Moyenne d’échantillon:
n
Xi
Xn ≡
i=1
n
n
xi
On note xn ≡
et sn ≡
n
P
i=1
i=1
n
la réalisation de la v.a.r. Xn ; Sn ≡
xi sa réalisation.
n
P
i=1
Xi la somme des n v.a.r. constituant l’échantillon
Statistiques et Econométrie - chapitre 2: Echantillonnage
2◦ ) Espérance
9
¡ ¢
E Xn = µX
La moyenne empirique est 
un estimateur
non biaisé de l’éspérance.

n
¶
µn
Xi
n
n
P
P
P
i=1
1


Xi = n1
µX = n1 nµX = µX
Démonstration : EXn = E
= nE
EXi = n1
n
i=1
i=1
i=1
3◦ ) Variance
a) Cas de tirages indépendants avec remise
VXn =

σ 2X
n
n
Xi
dans le cas de tirages indépendants avec remise

Démonstration : VXn = V  i=1n  =
1
n2 V
µ
n
P
Xi
i=1
¶
=
1
n2
n
P
VXi =
i=1
1
n2
n
P
i=1
σ 2X =
1
nσ 2X
n2
=
σ2X
n
b) Cas de tirages sans remise
VXn =
σ2X N −n
n . N−1
“terme de correction pour population finie”.:
dans le cas de tirages sans remise
N−n
N−1
à N , on applique simplement la formule de a).
−→ 1, souvent négligé : si n suffisamment petit par rapport
n
N
→0
4◦ ) Distribution d’échantillonnage
On s’intéresse à des tirages indépendants (avec remise ou N ≫ n).
a) Cas d’une population normale
n
¢
¡
si Xi à N µX , σ 2X ∀i ∈ P, alors ∀n ∈ N∗ , Xn ≡
Xi
i=1
n
³
´
σ2
à N µX , nX , ou :
Xn −µX
√
σX / n
à N (0, 1)
¡
¢
¡
¢
Démonstration basée sur les 2 propriétés suivantes : si X Ã N µX , σ 2X et Y Ã N ³µY , σ 2Y ´⇒ X + Y Ã
¢
¡
¢
¡
σ2
N µX + µY , σ 2X + σ 2X + 2 ∗ cov (X, Y ) . Si X Ã N µX , σ 2X et k ∈ R∗ , alors X Ã N µkX , kX2 .
b) Cas d’une population quelconque :
Soit (Xi )1≤i≤n un échantillon indépendant tiré dans une population d’espérance µX et de variance σ 2X , alors
n
³
´
Xi
P
σ2
n −µX
√ −→ N (0, 1). C’est simplement le TCL.
Xn ≡ i=1n
à N µX , nX . De façon plus rigoureuse: X
σ / n
n grand
X
n
si (Xi )1≤i≤n i.i.d. / EXi = µX et VXi = σ 2X , alors Xn ≡
Xi
i=1
n
Ã
n grand
³
´
σ2
N µX , nX
B. Proportion d’échantillon
1◦ ) Estimateur ponctuel
On part d’une population constituée de 2 types d’individus, avec une proportion
p (inconnue) de type 1. On
½
1 si l’individu est de type 1
.
tire un échantillon indépendant (Xi )1≤i≤n de n individus et on note Xi =
0 si l’individu est de type 2
Statistiques et Econométrie - chapitre 2: Echantillonnage
Sn ≡
n
P
i=1
10
Xi à B (n, p), avec E (Sn ) = np et V (Sn ) = np (1 − p).
n
cn ≡
P
2◦ ) Espérance et variance
n
V
n
E
= Xn
n
n
E(Xi )
i=1
=
n
i=1
=
n
p
i=1
=
n
np
n
= p.
n
V(Xi )
=
p(1−p)
n
n
Xi
n
Xi
i=1
n2
Xi
≡
i=1
³ ´
³ ´
cn = p V P
cn =
E P
 n 
³ ´
Xi
cn = E  i=1  =
Démonstration : E P
n
 n 
³ ´
Xi
cn = V  i=1  =
V P
n
Sn
n
i=1
n2
p(1−p)
=
i=1
n2
=
np(1−p)
n2
=
p(1−p)
n .
Remarque: on aurait pu obtenir directement les résultats en utilisant A.
3◦ ) Distribution d’échantillonnage
a) Loi exacte :
cn à B (n, p) à une constante multiplicative près :
cn = Sn , avec Sn à B (n, p), donc P
P
n
cn (Ω) = {0, 1/n, 2/n, ...n/n = 1} = {k/n, k ∈ {0, 1, 2, ...n}}
P
cn (Ω) → [0, 1]
PPn : P


³
´
cn = x = P Sn = nx
 = Cnnx pnx (1 − p)n(1−x)
x
7→ P P
|{z}
%∈{0,1,...n}
Il existe des tables qui donnent la f.d.r. de binomiales pour n pas trop grand (généralement n ≤ 20).
b) Approximation par une loi de Poisson :
´
³
cn = x = P (Sn = nx) ∼
Valable pour n grand et np petit. Sn à P (np) ⇒ P P
=
app.
c) Approximation par une loi normale :
Valable pour n grand et np grand : on utilise le
à TCL
³
´
´
³
Pn −p
cn = Xn à N p, p(1−p) ⇒ P P
cn ≤ x = P
P
≤
n
p(1−p)
as.
n
x−p+0.5/n
p(1−p)
n
!
∼
=F
Ã
e−np (np)nx
(nx)!
x−p+0.5/n
p(1−p)
n
!
.
Terme
correcteur
pour approximation d’une loi discrète par une loi normale, qui est continue:
´
³
c
P Pn = x = P (Sn = nx) ∼
= P (nx − 0.5 ≤ z ≤ nx + 0.5) = F (nx + 0.5) − F (nx − 0.5) plutôt que f (nx)
´
³
cn ≤ x = P (Sn ≤ nx) ∼
P P
= P (z ≤ nx + 0.5)
C. Variances dans un échantillon
On part d’une population P de moyenne µX et de variance σ 2X , toutes deux inconnues, et on s’intéresse à
un échantillon (Xi )1≤i≤n tiré de façon indépendante dans cette population. Alors, ∀i = 1, ...n, EXi = µX et
n
P
Xi
VXi = σ 2X . µX est estimée par Xn ≡ n1
i=1
Statistiques et Econométrie - chapitre 2: Echantillonnage
1 ) Variance empirique (non modifiée) Sn2 (X)
Sn2 (X)
≡
1
n
n ¡
¢2
P
Xi − Xn =
1
n
i=1
¡
¢
E Sn2 (X) =
µ
n
P
i=1
11
Xi2
n−1 2
n σX
− nXn
2
¶
=
1
n
n
P
i=1
Xi2 − Xn
2
= σ 2X − n1 σ 2X
n ¡
n ¡
n £
¡
¢2 P
¢2 P
¢¤2
P
Xi − Xn =
Xi − µX + µX − Xn =
(Xi − µX ) − Xn − µX
Démonstration : soit SXX ≡
i=1
i=1
i=1
n h
¢2
¢i
¡
¡
P
2
=
(Xi − µX ) + Xn − µX − 2 (Xi − µX ) Xn − µX
=
i=1
n
P
=
i=1
n
P
n ¡
n
¡
¢2
¢
P
P
Xn − µX − 2
(Xi − µX ) Xn − µX
i=1
i=1
i=1
¶
¶
µµ n
n
¢2
¢
¡
¡
P
P
2
(Xi − µX ) + n Xn − µX − 2 Xn − µX
Xi − nµX
=
i=1
(Xi − µX )2 +
2
¡
(Xi − µX ) + n Xn − µX
µ
¶
¢2
µ
i=1
n
¢¡
¢ P
¢2
¡
(Xi − µX )2 − n Xn − µX
− 2 Xn − µX nXn − nµX =
¡
i=1
¶
³ ¡
n ¡
n
¢2
¢2 ´
P
P
Xi − Xn
(Xi − µX )2 − E n Xn − µX
=E
³ i=1
´
³¡ i=1
n
n
¢2 ´ P
P
σ2
2
=
σ 2X − n/ X = nσ 2X − σ 2X = (n − 1) σ 2X
=
E (Xi − µX ) − nE Xn − µX
n/
i=1
i=1µ
µ n
¶
¶
n ¡
¡ 2
¡
¢
¢2
¢
P
P
2
1
1
2
Xi − Xn
Xi − Xn
= nE
= n−1
Donc E Sn (X) = E n
n σX
D’où E
i=1
i=1
¡
¢
2
biaisé de σ 2X
E Sn2¡ (X) 6=¢ σ 2X ⇒
¡ S2n (X)¢ est 2un estimateur
n−1 2
2
2
biais Sn (X) = E Sn (X) − σ X = n σ X − σ X = − n1 σ 2X −→ 0
n→+∞
⇒ Sn2 (X) est un estimateur asymptotiquement non biaisé (ou convergent) de σ 2X .
2 ) Variance empirique modifiée σ̂ 2X
σ̂ 2X ≡
¡ ¢
E σ̂ 2X =
n−1 2
n−1 σ X
1
n−1
n ¡
P
i=1
Xi − Xn
¢2
=
n
2
n−1 Sn (X)
= σ 2X : σ̂ 2X est un estimateur non biaisé de σ 2X
3 ) Distribution d’échantillonnage de Sn2 (X) et σ̂ 2X (population normale ou n grand)
¢
¡
X
Si on a une population normale, Xi à N µX , σ 2X ∀ i ∈ P et Xiσ−µ
à N (0; 1) ∀ i ∈ P. Comme les Xi sont
X
³
³
´
´
n
2
P Xi −µX
σ2X
2 (n). Mais µ
µ
X
X
,
inconnue⇒remplacée
par
.
Or
Ã
χ
Ã
N
indépendantes,
⇒
n
n
X
X
σX
n
i=1
Xn −µX
√
σX / n
SXX
σ 2X
à N (0; 1). On en déduit que :
³
´
´2 P
´
´2
³
n X −X 2
n ³
n ³
P
P
( i n)
Xi −µX 2
Xn −µX
Xi −µX 2
Xn −µX
√
=
=
à χ2 (n − 1).
≡
−
n
−
2
σX
σX
σX
σX / n
σX
i=1
i=1
i=1
½
2 (X)
∀ n ≥ 2 si population normale
σ̂2X
Sn
SXX
2 (n − 1)
=
(n
−
1)
=
n
Ã
χ
σ 2X
σ2X
σ 2X
asymptotiquement si population quelconque
σ̂2
2
¡ ¢
V σ̂ 2X =
2σ4X
n−1
¡
¢
et V Sn2 (X) =
Sn (X)
Démonstration : (n − 1) σX
à χ2 (n − 1)
2 = n σ2
X
X
2(n−1)σ 4X
n2
Statistiques et Econométrie - chapitre 2: Echantillonnage
³
³
´
³
´2 ¡ ¢
´
¡ 2¢
σ̂ 2
(n−1) 2
2
σ̂
=
2
(n
−
1)
/
σ̂
= 2 (n − 1) = (n−1)
⇒
V
⇒ V (n − 1) σX
V
2
2
2
X
X
σ
σ
³ 2 ´X
³ X ´2
³ ´2 X ¡
¢
¡
¢
Sn (X)
= 2 (n − 1) = σn2
et V n σ2
V Sn2 (X) ⇒ V Sn2 (X) = 2 (n − 1) / σn2
X
X
4 ) Erreur quadratique moyenne
¡ ¢ 2σ4X
¡ ¢
¡ ¢
EQM σ̂ 2X = B σ̂ 2X + V σ̂ 2X = n−1
¡
¡
¢
¡
¢
¢
EQM Sn2 (X) = B Sn2 (X) + V Sn2 (X) =
12
X
1 4
σ
n2 X
+
2(n−1)σ 4X
n2
=
(2n−1)σ4X
n2
=
2σ4X
n−1
³
n−1
2n2
+
(n−1)2
n2
´
.
2
¡
¢
¡ ¢
2
+ (n−1)
= 2n −4n+2+n−1
= 1 + −3n+1
< 1 ∀n > 1. Conclusion : EQM Sn2 (X) < EQM σ̂ 2X :
Or n−1
2n2
n2
2n2
2n2
Sn2 (X) est un estimateur biaisé de σ 2X , mais plus précis que σ̂ 2X .
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
13
Chapitre 3: Estimation et tests
On part d’un échantillon (indépendant sauf précision contraire) (Xi )1≤i≤n extrait d’une population P de
moyenne µX et de variance σ 2X .
A Estimation : généralités
1 ) Estimation ponctuelle
a) Définitions et rappels :
Rappel : Statistique b
θn = f (X1 , ...Xn ) : v.a.r. calculée à partir des v.a.r. de l’échantillon, suivant une règle
b
définie à l’avance. θn est utilisée pour faire de l’inférence sur un paramètre θ.
θn d’un paramètre inconnu θ : statistique qui, quel que soit l’échantillon, doit prendre
Estimateur (ponctuel) b
des valeurs proches de θ (→variable aléatoire).
θn
θn d’un paramètre inconnu θ : valeur b
θn = f (x1 , ...xn ) prise par un estimateur b
Estimation (ponctuelle) : b
de θ sur un échantillon particulier (x1 , ...xn ) (→nombre).
b) Biais :
³ ´
b
θn = θ.
θn Estimateur non biaisé (ou sans biais) du paramètre θ ⇔ E b
³ ´
b
θn = θ.
θn Estimateur asymptotiquement non biaisé (ou sans biais) du paramètre θ ⇔ lim E b
Biais de l’estimateur b
θn de θ :
n→+∞
³ ´
³ ´
b
θn − θ
biais θn = E b
Biais asymptotique de l’estimateur b
θn de θ :
³ ´
θn − θ
lim E b
n→+∞
c) Efficacité et erreur quadratique moyenne :
³ ´
³ ´
θ2 .
θ1 < V b
θ2 estimateurs sans biais de θ. b
θ1 plus efficace que b
θ2 ⇔ V b
Soient b
θ1 et b
(
b
θn estimateur sans biais de θ
³ ´
³ 0´
b
0
θn estimateur le plus efficace de θ ⇔
θn ≤ V b
θn
∀ b
θn estimateur sans biais de θ, V b
Erreur Quadratique Moyenne = Mean Squared Error :
µ³
³ ´ h
³ ´i2
³ ´
´2 ¶
b
b
b
b
M SE θn ≡ V θn + biais θn
= E θn − θ
³ ´
³ ´
³
´2 ³
´2
b
θn − θ
θn + E b
θn − E b
θn − θ = b
³ ´´2 ³ ³ ´
³ ´´ ³ ³ ´
³
³
´2
´
θn
θn
= b
θn − E b
+ E b
θn − θ + 2 b
θn − E b
θn − θ
E b



2 



³ ´ 
³ ´ ³ ³ ´
³³
´´
´2 
´
³ ³ ´


b
b
b
  + E E b
 + 2E  b
 E b

θ
θ
θ
θ
−
E
θ
−
E
θ
−
θ
−
θ
E b
θn − θ 2 = E 
n
n
n
n
n
n

|{z}
|{z}
 



| {z }
| {z } |
|
{z
}
{z
}
v.a.
v.a.
³nombre
³ ´´2
³ ³ ´ nombre
´
³ nombre
³ ´´
´ ³ ³ ´ nombre
θn
θn
=
V b
+2 E b
θn − θ E b
+
θ−E b
θn
θn − E b
{z
}
{z
}
|
|
=0
=biais(θn )
Démonstration :
2 ) Estimation par intervalle de confiance
a) Définitions et principe :
bn et B
bn deux statistiques construites à partir de l’échantillon (X1 , ...Xn ), dont la loi dépend de θ et
Soient A
α ∈ [0; 1].
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
14
h
i
bn estimateur par Intervalle de Confiance (IC) au niveau (1 − α) 100% pour le paramètre inconnu θ
bn , B
A
h
i´
³
bn , B
bn = 1 − α.
⇐⇒ P θ ∈ A
b
b
Soient
iân et b̂n les réalisations (nombres) de An et Bn , alors :
h
ân , b̂n est une (estimation par) intervalle de confiance à (1 − α) 100% pour θ.
b
b
b)³Lienh avec la
i´loi de³ An et Bn :´
³
´
bn , B
bn = P A
bn ≥ θ .
bn = P A
bn ≤ θ ≤ B
bn ≤ θ et B
P θ∈ A
bn et B
bn , qui dépend de θ.
Pour pouvoir calculer cette probabilité, il faut connaître la loi de A
c) Estimation par intervalle de confiance approché :
bn à distance finie, mais seulement leur loi asymptotique, on ne peut que
bn et B
Si on ne connaît pas la loi de A
construire un estimateur par I.C. approché au niveau (1 − α) 100% pour le paramètre inconnu θ :
h
³
i´
bn , B
bn
P θ∈ A
−→ 1 − α
n→+∞
d) Paramètre opportun :
Dans certains cas, la loi de l’estimateur ponctuel b
θn de θ dépend, en plus du paramètre important θ (que l’on
cherche à estimer), d’un ou plusieurs paramètre(s) opportun(s) θ0 inconnu(s). On ne s’intéresse pas directement
bn
à θ0 , mais on est obligé de se faire une idée sur sa valeur pour pouvoir calculer un estimateur par IC de θ. A
0
0
bn sont alors déduites de la loi de b
θn en remplaçant θ par un estimateur ponctuel θ̂n , ce qui change leur
et B
loi.
B Tests : généralités
1 ) Principe de base et vocabulaire
Population de référence P, de distribution inconnue; échantillon indépendant (Xi )1≤i≤n . On se pose une
question sur la distribution dans P, à laquelle on répond sur la base de l’information contenue dans l’échantillon.
Hypothèse nulle (ou “hypothèse maintenue”) H0 : hypothèse formulée sur la distribution dans P
−→ H0 acceptée “jusqu’à preuve du contraire”, i.e. tant qu’on n’a pas d’indices suffisants pour la rejeter.
Hypothèse alternative H1 : tout ce qui peut se passer si H0 n’est pas vraie.
Ensemble des possibles Ω = Ω0 ∪ Ω1 , avec Ω0 ∩ Ω1 = ∅. H0 vérifiée⇔ ω ∈ Ω0 ; H1 vérifiée⇔ ω ∈ Ω1 .
Statistique de test T̂n (X1 , ...Xn ) : v.a.r. calculée à partir des v.a.r. de l’échantillon, suivant une règle définie
à l’avance. Sa valeur calculée t̂n (x1 , ...xn ) va être utilisée pour accepter ou refuser H0 .
Test = Règle de décision définie a priori (avant de tirer l’échantillon), qui va conduire à accepter ou refuser
H0 en fonction de la valeur t̂n prise par la statistique de test.
Région d’acceptation = ensemble des valeurs de la statistique de test pour lesquelles on accepte H0 .
Région critique Rc , ou région de refus = complémentaire de la région d’acceptation dans l’ensemble des valeurs
possibles pour t̂n = ensemble des valeurs de t̂n pour lesquelles on refuse H0 .
Erreur de première espèce = Erreur de type I : refuser H0 à tort (sachant qu’en réalité, H0 est vérifiée)
Risque de première espèce = Probabilité de commettre une erreur de type I (défini pour ω ∈ Ω0 )
³
´
= P (refuser H0 / ω) = P T̂n ∈ Rc / ω .
Niveau du test = risque de première³espèce max =
´ P(erreur de type I “dans le pire des cas”)
≡ M axP (refuser H0 / ω) = M axP T̂n ∈ Rc / ω ≡ α.
ω∈Ω0
ω∈Ω0
Erreur de seconde espèce = Erreur de type II : accepter H0 à tort (sachant qu’en réalité, H1 est vérifiée)
Risque de seconde espèce = Proba de commettre une erreur de type II (défini pour ω ∈ Ω1 )
³
´
/ Rc / ω ≡ β (ω).
≡ P (accepter H0 / ω) = P T̂n ∈
´
³
Puissance du test (défini pour ω ∈ Ω1 )≡ 1 − β (ω) = P T̂n ∈ Rc / ω −→Probabilité de refuser H0 à raison.
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
15
2 ) Propriétés générales
• à n fixé, β est une fonction décroissante de α, donc si on veut limiter le risque de première espèce, ça
augmente systématiquement le risque de seconde espèce.
• à α fixé, β fonction décroissante de n : on peut limiter simultanément α et β en augmentant n.
Tester
³ H0 contre´ H1 au niveau α, c’est
³ définir une´région critique Rα telle que :
P T̂n ∈ Rα / ω ≤ α ∀ω ∈ Ω0 et P T̂n ∈ Rα / ω ≥ α ∀ω ∈ Ω1 . En général (si T̂n suit une loi continue), on
´
³
a égalité à la frontière (à la limite) : P T̂n ∈ Rα / ω = α ∀ω ∈ F r (Ω0 ).
t̂n de laªstatistique de test), on peut définir :
Une fois que l’expérience est réalisée© (on connaît ªdonc la valeur
©
αC =seuil critique = p-value=M ax α / t̂n ∈
/ Rα = M in α / t̂n ∈ Rα = niveau max pour lequel t̂n conduit
à accepter H0 = niveau mini pour lequel t̂n conduit à rejeter H0 = seuil α0 / t̂n est à la frontière de Rα0 .
→Etant donné t̂n , on refuse H0 pour tout niveau > αC et on accepte H0 pour tout niveau < αC .
Si on sait que T̂n a tendance à prendre des valeurs plus élevées (resp. plus faibles) sous H1 que sous H0 ,
il faut effectuer un test unilatéral, i.e. définir une région critique unilatérale, du type Rα = ]tC ; +∞[ (resp.
Rα = ]−∞; tC [).
tC (α) = valeur critique du test au niveau α : valeur limite pour accepter ou refuser H0 au niveau α :
´
³
´
³
P T̂n > tC (α) / ω = α ∀ω ∈ F r (Ω0 ) (resp. P T̂n < tC (α) / ω = α ∀ω ∈ F r (Ω0 )). tC (α) est donc la
borne de Rα pour laquelle le test est effectué au niveau α.
Si on sait que T̂n peut aussi bien prendre des valeurs plus élevées que plus faibles sous H1 que sous H0 , il faut
On
effectuer un test bilatéral, i.e. définir une région critique bilatérale, du type Rα = ³]−∞; tC1 [ ∪ ]tC2 ; +∞[.
´
choisit généralement les valeurs critiques tC1 et tC2 de façon à ce que ∀ω ∈ Ω0 , P T̂n > tC2 (α) / ω ≤ α/2
´
´
³
´
³
³
et P T̂n < tC1 (α) / ω ≤ α/2 mais ∀ω ∈ Ω1 , P T̂n > tC2 (α) / ω > α/2 ou P T̂n < tC1 (α) / ω > α/2.
3 ) Tests paramétriques : généralités
On dit qu’on a un test paramétrique lorsque H0 peut s’exprimer comme une condition simple sur un (ou
plusieurs) paramètre(s) d’intérêt θ (valeur numérique ou vecteur), qui peut prendre ses valeurs dans N, Q, R, Rn ...
Dans le cas contraire, on a un test non paramétrique.
Hypothèse simple : θ = θ0 : θ prend une seule valeur.
Hypothèse composite : θ ∈ Θ0 : θ appartient à un ensemble de valeurs, généralement un intervalle.
−→En général, on teste une H0 soit simple soit composite contre une H1 composite.
Test unilatéral ⇔H1 unilatérale ⇔ H1 du type θ < θ0 ou θ > θ0
Test bilatéral ⇔H1 bilatérale ⇔ H1 du type θ 6= θ0
C Applications : estimations et tests paramétriques
1 ) Moyenne d’une population
Echantillon (Xi )1≤i≤n ; ∀ i = 1, ...n, EXi = µX et VXi = σ 2X . Xn =
1
n
n
P
Xi .
i=1
Si la loi de Xn (ou de Xσn −µX ) est connue⇒ ∀ α ∈ [0; 1], on peut trouver la valeur critique lα/2 telle que:
Xn
¶
µ
³
´
Xn −µX
P Xn − lα/2 .σ Xn ≤ µX ≤ Xn − lα/2 .σ Xn = P −lα/2 ≤ σ
≤ lα/2
Xn
a) Population normale,
´ connue :³
´
³ variance
Soit zα/2 défini par : P Z > zα/2 = 1 − FN (0,1) zα/2 = α/2, avec Z Ã N (0, 1).
∀ n ∈ N∗ ,
i
h
σ
σ
Xn − zα/2 . √Xn ; Xn + zα/2 . √Xn estimateur par IC à (1 − α) 100% pour µX
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
i h
i
h
σ
σ
σ
On note Xn − zα/2 . √Xn ; Xn + zα/2 . √Xn = Xn ± zα/2 . √Xn
i
h
σ
xn ± zα/2 . √Xn est un intervalle de confiance au niveau (1 − α) 100% pour µX .
16
Test de H0 : ¯µX = µ¯0 contre H1 : µX 6= µ0 au niveau α³(σ 2X connu)³¯
¯´´
¯ xn −µ
¯ xn −µ
0 ¯
0 ¯
√
√
−→ refus ⇔ ¯ σ / n ¯ > zα/2 −→ seuil critique αC = 2. 1 − FN (0,1) ¯ σ / n ¯
X
X
h
√
√ i
• Si n0 > n, l’estimation de µX est plus précise et la zone d’acceptation µ0 − zα/2 σ X / n; µ0 + zα/2 σ X / n
est réduite : à α fixé, β diminue quand on augmente n. A la limite, quand n → +∞, β → 0 et la puissance
du test 1 − β → 1.
¯
¯
¯´
³¯
³
´
α
¯
¯
¯
¯ xn −µ
√0 ¯ = z α ⇒ 1 − F
√0 ¯ = 1 − F
αC
z
= 2C
• Par définition de αC , ¯ σxn −µ
¯
N (0,1)
N (0,1)
/ n
σ / n
C
X
2
X
2
Test de H0 : µX = µ0 (ou µX ≤ µ0 ) contre H1 : µX > µ0 au³¯
niveau α¯´(σ 2X connu)
¯ xn −µ
¯
√0 > z −→ seuil critique αC = 1 − F
−→ refus ⇔ σxn −µ
¯ σ /√0n ¯ si xn > µ0
α
N (0,1)
/ n
X
X
−→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≤ µ0
Test de H0 : µX = µ0 (ou µX ≥ µ0 ) contre H1 : µX > µ0 au niveau
α (σ´2X connu)
³
√0 < −z −→ seuil critique αC = 1 − F
√0
si xn < µ0
−→ refus ⇔ σxn −µ
− σxn −µ
α
N (0,1)
/ n
/ n
X
X
−→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≥ µ0
b) Population quelconque, variance connue, n grand :
n −µX
√
à N (0, 1) =⇒pour n grand:
TCL=⇒ X
σ / n
X
asymp.
h
i
σ
Xn ± zα/2 . √Xn estimateur par IC approché au niveau (1 − α) 100% pour µX
Tous les résultats du a) sont valables asymptotiquement quand la population n’est pas normale.
c) Population normale, variance inconnue :
n ¡
¢2
σ̂2
Xn −µX
1 P
2
√
Xi − Xn . (n − 1) σX
σ̂ 2X = n−1
2 à χ (n − 1) indépendemment de Xn , donc σ̂ / n à St (n − 1).
X
X
i=1
´
³
´
³
Soit tn−1,α/2 défini par : P Z > tn−1,α/2 = 1 − FStn−1 tn−1,α/2 = α/2, avec Z Ã St (n − 1).
h
i
σ̂
Xn ± tn−1,α/2 . √Xn estimateur par IC à (1 − α) 100% pour µX
∀ n ∈ N∗ ,
Test de H0 :µ¯X = µ0¯ contre H1 :µX 6= µ0 au niveau
α (σ 2X³¯inconnu)
¯´´
³
¯ xn −µ
¯
¯
¯
√0 ¯
−→ refus ⇔ ¯ σ̂ /√0n ¯ > tn−1,α/2 −→ αC = 2. 1 − FStn−1 ¯ Sxn −µ
/ n
X
X
Test de H0 : µX = µ0 (ou µX ≤ µ0 ) contre H1 : µX > µ0 au niveau α (σ 2X inconnu)
√0 > t
−→ refus ⇔ σ̂xn −µ
/ n ³ n−1,α ´
X
√0
si xn > µ0
−→ αC = 1 − FStn−1 σ̂xn −µ
/ n
X
→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≤ µ0
Test deH0 : µX = µ0 (ou µX ≥ µ0 ) contre H1 : µX <
α (σ 2X inconnu)
³ µ0 au niveau
´
xn −µ0
xn −µ0
−→ refus ⇔ σ̂ /√n < −tn−1,α −→ αC = 1 − FStn−1 − σ̂ /√n si xn < µ0
X
→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≥ µ0
X
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
17
d) Population quelconque, variance inconnue, n grand :
n ¡
¢2
n −µX
1 P
√ Ã N (0, 1).
Xi − Xn . D’après le TCL, X
σ̂ 2X = n−1
σ̂ / n
as.
X
i=1
h
i
σ̂
Xn ± zα/2 . √Xn estimateur par IC approché à (1 − α) 100% pour µX
2
Test (asymptotique)
¯
¯ de H0 :µX = µ0 contre
¯´´ α (σ X inconnu)
³¯µ0 au niveau
³ H1 :µX 6=
¯
¯
¯
¯
√0 > z
√0
→ refus ⇔ ¯ σ̂xn −µ
−→ αC = 2. 1 − FN (0,1) ¯ σ̂xn −µ
α/2
/ n¯
/ n¯
X
X
Test (asymptotique) de H0 : µX = µ0 (ou µX ≤
H1 : µX > µ0 au niveau α (σ 2X inconnu)
³ µ0 ) contre
´
xn −µ0
√0 > zα −→ αC = 1 − F
√
si xn > µ0
−→ refus ⇔ σ̂xn −µ
N (0,1)
/ n
σ̂ / n
X
X
−→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≤ µ0
Test (asymptotique) de H0 : µX = µ0 (ou µX ≥ ³µ0 ) contre´ H1 : µX < µ0 au niveau α (σ 2X inconnu)
√0 < −z −→ αC = 1 − F
√0
si xn < µ0
−→ refus ⇔ σ̂xn −µ
− σ̂xn −µ
α
N (0,1)
/ n
/ n
X
X
−→ Test inutile (H0 acceptée ∀α < 0.5) si xn ≥ µ0
2 ) Proportion dans une population
Echantillon indépendant (Xi )1≤i≤n de n individus dans une population constituée de 2 types d’individus, avec
½
n
P
1 si l’individu est de type 1
. Sn ≡
Xi à B (n, p) ⇒loi de
une proportion p (inconnue) de type 1. Xi =
0 si l’individu est de type 2
i=1
l’estimateur ponctuel de p :
n
cn ≡
P
Sn
n
Xi
i=1
= Xn
n
³ ´
Pn .(1−Pn )
cn = E(Sn ) = p et σ 2 = V(S2n ) = p.(1−p) estimée par σ
b2P =
E P
n
n
n
n
n
³ 2 ´ Pn ³ ´ ³ ³ ´´2
³ ´
p.(1−p)
cn = V P
cn + E P
cn = p et E P
cn
= n + p2
E P
³
´ E(Pn )−E Pn 2
p−p2 − p.(1−p)
n
b2P =
=
σ 2 = p.(1−p)
⇒E σ
n
n
n
n
TCL=⇒
σ 20 =
Pn −p
Ã
σg
Pn n grand
N (0, 1) et
Pn
Pn −p
Ã
N
σg
Pn n grand
≡
(0, 1), donc
q
¸
h
i ·
Pn .(1−Pn )
c
c
σ Pn = Pn ± zα/2 .
Pn ± zα/2 .b
estimateur par IC approché à (1 − α) 100% pour p
n
p0 .(1−p0 )
.
n
Sous H0 : p = p0 ,
Pn −p0
Ã
σ0
n grand
N (0, 1)
Test (asymptotique)
de¯ H0 : p = p0 contre HÃ1 : p 6= p0 auïniveau α ¯!!
¯
¯
¯
¯
¯
¯ pn −p0 ¯
¯
−p0 ¯
>
z
=
2.
1
−
F
−→
α
−→ refus ⇔ ¯ ppn.(1−p
¯
¯
¯
C
α/2
N (0,1)
0) ¯
¯ p0 .(1−p
¯ 0 n 0) ¯
n
> p0 au niveau α
Test (asymptotique) de H0 : p = p0 (ou p ≤ p0 ) contre
H1 : p!
Ã
−→ refus ⇔
pn −p0
p0 .(1−p0 )
n
> zα −→ αC = 1 − FN (0,1)
−→ Test inutile (H0 acceptée ∀α < 0.5) si pc
n ≤ p0
pn −p0
p0 .(1−p0 )
n
si pc
n > p0
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
18
Test (asymptotique) de H0 : pX = p0 (ou pX ≥ p0 ) Ã
contre H1 : pX
! < p0 au niveau α
−→ refus ⇔
pn −p0
p0 .(1−p0 )
n
< −zα −→ αC = 1 − FN (0,1)
pn −p0
p0 .(1−p0 )
n
−
−→ Test inutile (H0 acceptée ∀α < 0.5) si pc
n ≥ p0
si pc
n < p0
3 ) Variance dans une population normale (ou n grand)
³
´
³
´
Soit χ2n−1,α/2 / P Z > χ2n−1,α/2 = 1 − Fχ2
χ2n−1,α/2 = α/2, avec Z Ã χ2n−1 .
n−1
¶
µ
σ̂ 2
σ̂2
2
2
2
X
X
(n − 1) σ2 Ã χ (n − 1) ⇒ P χn−1,1−α/2 ≤ (n − 1) σ2 ≤ χn−1,α/2 = 1 − α
X
µ X
¶
2
2
σ̂
σ̂
2
2
X
X
= P χn−1,1−α/2 ≤ (n − 1) σ2 et (n − 1) σ2 ≤ χn−1,α/2
X
X
µ
¶
µ
2
σ̂
σ̂2
σ̂2
2
2
X
X
= P σ X ≤ (n − 1) χ2
= P (n − 1) χ2 X
et σ X ≥ (n − 1) χ2
≤ σ 2X ≤ (n − 1) χ2
n−1,1−α/2
·
σ̂2
(n − 1) χ2 X
n−1,α/2
n−1,α/2
; (n − 1) χ2
σ̂2
X
n−1,1−α/2
¸
n−1,α/2
σ̂ 2
X
n−1,1−α/2
estimateur par IC à (1 − α) 100% pour σ 2X
Test de H0 : σ 2X = σ 20 contre H1 : σ 2X 6= σ 20 au niveau α
σ20 .χ2
σ20 .χ2
n−1,α/2
n−1,1−α/2
2
2
−→ refus ⇔
n−1 µ ou σ̂ X < ¶¶ n−1
 σ̂ X µ>
σ̂2


(n − 1) σX2
si σ̂ 2X > σ 20
 2. 1 − Fχ2
0
n−1
µ
¶
−→ αC =
σ̂ 2

X

(n − 1) σ2
2.Fχ2
si σ̂ 2X < σ 20

n−1
0
2
2
Test de H0 : σ 2X = σ 20 (ou σ 2X ≤ σ 20 ) contre H1 : σ
niveau α
µX > σ 0 au2 ¶
2
2
σ̂
σ0 .χn−1,α
2
(n − 1) σX2
si σ̂ 2X > σ 20
−→ refus ⇔ σ̂ X > n−1 −→ αC = 1 − Fχ2
0
n−1
2
−→ Test inutile (H0 acceptée ∀α < 0.5) si σ̂ X ≤
σ 20
Test de H0 : σ 2X = σ 20 (ou σ 2X ≥ σ 20 ) contre H1 µ: σ 2X < σ 20 au
¶ niveau α
σ̂2
σ 20 .χ2n−1,1−α
2
(n − 1) σX2
si σ̂ 2X > σ 20
−→ αC = Fχ2
−→ refus ⇔ σ̂ X <
n−1
0
n−1
−→ Test inutile (H0 acceptée ∀α < 0.5) si σ̂ 2X ≥ σ 20
4 ) Différence de deux moyennes
a) Echantillons dépendants, populations normales, variances et covariance inconnues :
EXi = µX ; EYi = µY ; cov (Xi , Yi ) 6= 0 a priori.
µ
¶
n
σ2
1 P
D
Di ≡ Xi − Yi ⇒ EDi = EXi − EYi = µX − µY → Dn = n
(Xi − Yi ) Ã N µX − µY , n ;
σ̂ 2D
=
1
n−1
n ¡
¢2
P
σ̂2
Di − Dn ⇒ (n − 1) σ2D Ã χ2 (n − 1) ⇒
D
i=1
i=1
Dn −(µX −µY )
σ̂D
à St (n − 1)
h
i
Dn − tn−1,α/2 σ̂ D ; Dn + tn−1,α/2 σ̂ D estimateur par IC à (1 − α) 100% pour µX − µY
Test de H0 : ¯µX = µ¯Y contre H1 : µX 6= µY ³au niveau α³¯
¯´´
¯
¯
¯
¯
√0 ¯
−→ refus ⇔ ¯ σ̂ d/n√n ¯ > tn−1,α/2 −→ αC = 2. 1 − FStn−1 ¯ σ̂dn −d
/ n
D
D
¶
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
19
Test de H0 : µX = µY (ou µX ≤ µY ) contre H1 : µ
³X > µY´ au niveau α
−→ refus ⇔ S d/n√n > tn−1,α −→ αC = 1 − FStn−1 σ̂ d/n√n si dn > 0
D
D
−→ Test inutile (H0 acceptée ∀α < 0.5) si dn ≤ 0
Test de H0 : µX = µY (ou µX ≥ µY ) contre H1 : µX³ < µY au´niveau α
−→ refus ⇔ σ̂ d/n√n < −tn−1,α −→ αC = 1 − FStn−1 − σ̂ d/n√n si dn < 0
D
D
−→ Test inutile (H0 acceptée ∀α < 0.5) si dn ≥ d0
b) Echantillons indépendants, populations normales, variances connues
¡ : ¢
¡
¢
(Xi )1≤i≤n (Yi )1≤i≤n échantillons indépendants tirés dans des populations N µX , σ 2X et N µY , σ 2Y .
X
Y
¡ ¢
¡ ¢
¡ ¢ σ2
¡
¡
¢
¡ ¢
¢
σ2
E X − Y = E X − E Y = µX − µY et V X − Y = V X + V Y = nX + nY
X
Y
µ
¶
σ2
σ2
X−Y −(µX −µY )
X
Y
⇒
à N (0, 1)
⇒ X − Y Ã N µX − µY , n + n
σ2
σ2
X
"
X − Y − zα/2
r
σ2
X
nX
+
σ2
Y
nY
Y
X
nX
; X − Y + zα/2
Test de H0 : ¯µX = µY
¯
¯
−→ refus ⇔ ¯¯ σx−y
2
σ2
¯ nX + nY
X
r
+ nY
σ2
X
nX
Y
+
σ2
Y
nY
#
estimateur par IC à (1 − α)100% pour µX − µY
contre
H1 : µX 6= µY 
au niveau α ¯
¯
¯
¯
¯
¯
¯ > z −→ αC = 2. 1 − F
¯
α/2
N (0;1)
¯
¯
¯
¯
Y
x−y
σ2
X
nX
σ2
+ nY
Y
¯
¯
¯
¯
¯
¯
Test de H0 : µX = µY (ou µX ≤ µY ) contre H1 : µ
X > µY auniveau α
−→ refus ⇔
x−y
σ2
X
n
X
σ2
+ nY
Y
> zα −→ αC = 1 − FN (0;1) 
x−y
σ2
X
n
X
σ2
+ nY
Y
−→ Test inutile (H0 acceptée ∀α < 0.5) si x ≤ y
 si x > y
Test de H0 : µX = µY (ou µX ≥ µY ) contre H1 : µX< µY au niveau
 α
−→ refus ⇔
x−y
σ2
X
nX
σ2
+ nY
Y
< −zα −→ αC = 1 − FN (0;1) −
x−y
σ2
X
nX
σ2
+ nY
Y
−→ Test inutile (H0 acceptée ∀α < 0.5) si x ≥ y
 si x < y
c Echantillons indépendants, populations normales, variances inconnues
¡ (égales)
¢
¡:
¢
(Xi )1≤i≤n (Yi )1≤i≤n échantillons indépendants tirés dans des populations N µX , σ 2 et N µY , σ 2 .
³
³
´
³
´´
¡ ¢ Y ¡ ¢
¡
¢X
2
2
V X − Y = V X + V Y = nσ + nσ = σ 2 n1 + n1 ⇒ X − Y Ã N µX − µY , σ 2 n1 + n1
X
Y
X
Y
X
Y
nY ¡
n
X ¡
¢2
¢2
P
P
(nX −1)σ̂2X +(nY −1)σ̂2Y
2
2
2
1
1
Xi − X et σ̂ Y = n −1
Yi − Y , d’où σ̂ =
σ̂ X = n −1
(nX −1)+(nY −1)
X
Y
i=1
i=1
2
→ (nX + nY − 2) σσ̂2 Ã χ2 (nX + nY − 2) ⇒
X−Y −(µX −µY )
σ̂2
1
n
X
h
q
X − Y − tnX +nY −2,α/2 σ̂ n1 +
X
+ n1
1
nY
.
1
σ̂ 2
σ2
=
X−Y −(µX −µY )
σ̂. n1 + n1
X
Y
à St (nX + nY − 2)
Y
; X − Y + tnX +nY −2,α/2 σ̂
estimateur par I.C. à (1 − α) 100% pourµX − µY
q
1
nX
+
1
nY
i
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
20
Test de H0 : ¯µX = µY contre
H1 : µX 6= µY au niveau α
¯
ï
Ã
¯
¯
¯
¯
¯
¯
x−y
>
t
=
2.
1
−
F
−→
α
−→ refus ⇔ ¯
¯
¯
C
nX +nY −2,α/2
Stn−1
¯ σ̂.
¯ σ̂. n1X + n1Y ¯
x−y
1
+ n1
n
X
µY au niveau!α
Test de H0 : µX = µY (ou µX ≤ µY ) contre H1 : µX > Ã
−→ refus ⇔
x−y
1
+ n1
n
σ̂.
X
Y
> tn−1,α −→ αC = 1 − FSt(n−1)
σ̂.
x−y
1
+ n1
n
X
Y
¯!!
¯
¯
¯
¯
si x > y
Y
−→ Test inutile (H0 acceptée ∀α < 0.5) si x ≤ y
Test de H0 : µX = µY (ou µX ≥ µY ) contre H1 : µX < µY au niveau
à α
−→ refus ⇔
σ̂.
x−y
1
+ n1
n
X
Y
< −tnX +nY −2,α/2 −→ αC = 1 − FSt(n−1)
−
σ̂.
!
x−y
1
+ n1
n
X
Y
si x < y
−→ Test inutile (H0 acceptée ∀α < 0.5) si x ≥ y
5 ) Différence de deux proportions (n grand)
³ ´
³ ´
¡ ¢
¡ ¢
c
c
P
Pc
P
Dn = Pc
D
D
=
p
=
V
+
V
=
et
V
−
⇒
E
−
p
n
n
X
Y
X
Y
X
Y
σ̂ 2D =
n
pX .(1−pX )
nX
+
pY .(1−pY
nY
"
)
c
Pc
X − PY − zα/2 .
. TCL⇒
r
PX −PY −(pX −pY
σ̂ Dn
pX .(1−pX )
nX
+
pY .(1−pY
nY
)
X
Y
X
Y
+
pY .(1−pY
nY
à N (0, 1)
) c
; PX − Pc
Y − zα/2 .
estimateur par IC approché à (1 − α) 100% pour pX − pY
c0 ≡
Sous H0 : pX = pY ≡ p, p peut être estimé par P
³
³
´
´
n +n
= pb0 . (1 − pb0 ) nX n Y =
pb0 . (1 − pb0 ) n1 + n1
pX .(1−pX )
nX
nX PX +nY PY
nX +nY
nX PX +nY PY
nX nY
r
pX .(1−pX )
nX
+
¡ ¢
et V Dn par σ̂ 2D ≡
n
pY .(1−pY
nY
)
p0 .(1−p0 )
nX
)
, d’où
#
+
. Toujours sous H0 , le TCL⇒
p0 .(1−p0 )
nY
=
PX −PY
σ̂2D
Ã
n
N (0, 1).
Test de H0 : pX = pY contre H1
¯
¯
¯
¯
PX −PY
−→ refus ⇔ ¯
¯
¯ p0 .(1−p0 ) n1X + n1Y
c0 ≡ nX PX +nY PY )
: pX 6= pY au niveau α (P
nX 
+n¯Y
¯

¯
¯
¯
¯
¯
¯

PX −PY
¯ > zα/2 −→ αC = 2. 1 − FN (0,1) ¯
¯
¯
¯ p0 .(1−p0 ) n1X + n1Y
¯
Test de H0 : pX = pY (ou pX ≤ pY ) contre H1 : pX > pY au
niveau α
→ refus ⇔
PX −PY
p0 .(1−p0 )
1
n
X
+ n1
Y

> zα −→ αC = 1 − FN (0,1) 
PX −PY
p0 .(1−p0 )
1
nX
+ n1
Y

c
 si Pc
X > PY
PX −PY
p0 .(1−p0 )
Test de H0 : pX = pY (ou pX ≥ pY ) contre H1 : pX < pY au niveau
α

−→ refus ⇔


< −zα −→ αC = 1 − FN (0,1) −
1
n
X
+ n1
Y
PX −PY
p0 .(1−p0 )
1
nX
¯
¯
¯
¯
¯
¯
¯
+ n1
Y


c
 si Pc
X < PY
as.
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
21
6◦ ) Test d’égalité des variances
¡
¢
¡
¢
Echantillons indépendants (Xi )1≤i≤n (Yi )1≤i≤n tirés dans des populations N µX , σ 2X et N µY , σ 2Y .
X
Y
nX ³
nY ³
´2
´2
P
P
σ̂2
σ̂2Y
2
2
1
1
2
Xi − XnX et σ̂ Y = n −1
Yi − YnY . (n − 1) σX
Soient σ̂ X = n −1
2 Ã χ (nX − 1) et (n − 1) σ 2 Ã
X
Y
i=1
X
i=1
σ̂ 2X
χ2 (n
Y
σ̂ 2Y
et
indépendants.
− 1). (Xi )1≤i≤n et (Yi )1≤i≤n indépendants=⇒
Y¶¸
·
¸X ·µ
2
2
(n −1) S
(nY −1) SY
/
= nX −1 σ2X /
à F (nX − 1, nY − 1).
( X ) X
(nY −1) σ2Y
Fv1 ,ν 2 ,α défini par : P (Z > Fν 1 ,ν 2 ,α ) = α, avec Z Ã F (ν 1 , ν 2 ).
Remarque : P (Z < Fv1³
,ν 2 ,1−α ) = 1 − P´(Z > Fv1 ,ν 2 ,1−α ) = 1 − (1 − α) = α et
Y
σ̂ 2X
σ 2X
σ̂ 2Y
σ 2Y
P (Z < Fv1 ,ν 2 ,1−α ) = P
1
Z
>
1
Fv1 ,ν 2 ,1−α
=α⇒
1
Fv1 ,ν 2 ,1−α
1
Fν 2 ,ν 1 ,α
= Fν 2 ,ν 1 ,α ⇔ Fv1 ,ν 2 ,1−α =
Test de H0 : σ 2X = σ 2Y contre H1 : σ 2X 6= σ 2Y au niveau α
σ̂2
σ̂2
1
X
−→ refus ⇔ σ̂X
2 > Fn −1,n −1,α/2 ou
2 < F
X
Y
n −1,n −1,α/2
Y
X
 Y
³ 2 ´ σ̂Y
2
2
 2.Fn −1,n −1,α/2 σ̂X
>
σ̂
si
σ̂
2
Y
X
X
Y
³ σ̂Y2 ´
−→ αC =
 2.Fn −1,n −1,α/2 σ̂2Y si σ̂ 2 < σ̂ 2
Y
X
σ̂
Y
X
X
Test de H0 : σ 2X = σ 2Y (ou σ 2X ≤ σ 2Y ) contre H1 : σ 2X > σ 2Y³ au´niveau α
σ̂2
σ̂2X
si σ̂ 2X > σ̂ 2Y
−→ refus ⇔ σ̂X
2 > FnX −1,nY −1,α −→ αC = FnX −1,nY −1,α
σ̂2
Y
−→ Test inutile (H0 acceptée ∀α < 0.5) si σ̂ 2X ≤ σ̂ 2Y
Y
Test de H0 : σ 2X = σ 2Y (ou σ 2X ≥ σ 2Y ) contre H1 : σ 2X < σ 2Y au niveau α
→ refus ⇔
σ̂ 2X
σ̂2Y
< FnX −1,nY −1,1−α =
1
Fn
Y
−1,n
X
−1,α
−→ αC = FnY −1,nX −1,α
→ Test inutile (H0 acceptée ∀α < 0.5) si σ̂ 2X ≥ σ̂ 2Y
³
σ̂2Y
σ̂ 2X
´
si σ̂ 2X < σ̂ 2Y
D. Quelques tests non paramétriques
1 )Tests du Khi-deux d’adéquation à une loi L connue (continue ou discrète)
On cherche à tester H0 : X Ã L à partir d’un échantillon (Xi )1≤i≤n réparti dans r classes (Cj )1≤j≤r .
Oj = Effectif observé de la classe j=nombre de i / Xi ∈ Cj
Pj = Proportion empirique (observée) dans la classe j= % de i / Xi ∈ Cj : Pj = Oj /n
π j = Probabilité théorique de la classe j = P (X ∈ Cj ) si X Ã L
Tj = Effectif théorique de la classe j=nombre de i / Xi ∈ Cj si X Ã L : Tj = n.π j
r
r
P
P
(Oj −Tj )2
(Pj −π j )2
K≡
=
n
Tj
πj
j=1
j=1
Sous H0 , Oj “proche de” Tj , ∀ j = 1, ...r, ce qu’on teste avec la statistique :
Si on connaît L, on connaît tous les π J et Tj , donc on peut calculer K. TCL⇒ K Ã χ2 (r − 1) sous H0 .
E(Oj ) = Tj ∀ j sous H0 , mais sous H1 , E(Oj ) 6= Tj pour certains j. Oj a donc plus tendance à s’écarter de Tj
sous H1 que sous H0 .
Test de H0 : X Ã L contre H1 : X Ã autre loi au niveau α
r
r
P
P
(Oj −Tj )2
(Pj −π j )2
=
n
> χ2r−1,α
→ refus ⇔ K =
Tj
πj
j=1
j=1
b) Test du Khi-deux d’adéquation à une loi dont certains paramètres sont inconnus :
On se demande si X suit une loi d’un certain type, mais on ne connaît pas le(s) paramètre(s) de cette loi.
H0 : X Ã L (θ), θ inconnu (θ = vecteur de k ≥ 1 nombres). On estime θ par θ̂n à partir des informations
³ ´
contenues dans l’échantillon (Cf. A), puis on en déduit des estimations pour les effectifs théoriques T̂j θ̂n
Statistiques et Econométrie - chapitre 3: Méthodes d’estimation
22
Test de H0 : X Ã L (θ) contre H1 : X Ã autre loi au niveau α
2
2
r
r
P
P
(Oj −T̂j (θ̂n ))
(Pj −π̂j (θ̂n ))
=n
> χ2r−1−k,α
→ refus ⇔ K =
T̂j (θ̂n )
π̂ j (θ̂n )
j=1
j=1
c) Test du Khi-deux d’indépendance : tableau de contingence Echantillon de n individus pour
lesquels on observe 2 caractéristiques (Xi , Yi )1≤i≤n (discrètes ou regroupées en classes (Cj )1≤j≤rX pour X et
(Ck )1≤k≤rY pour Y ). On cherche à tester H0 : (X, Y ) indépendantes.
Distribution de probabilité conjointe théorique : (π j,k )1≤j≤rX : π j,k = P (Xi ∈ Cj , Yi ∈ Ck )
1≤k≤rY
Distributions de probabilité marginales théoriques : (π j )1≤j≤rX : π j = P (Xi ∈ Cj )
(π k )1≤k≤rY : π k = P (Yi ∈ Ck )
Sous H0 , π j,k = π j .π k ∀ (j, k) , 1 ≤ j ≤ rX , 1 ≤ k ≤ rY . On estime les distributions marginales théoriques
par les distributions marginales empiriques Pj et Pk , puis on en déduit la distribution jointe théorique (sous
rX P
rY P −P P 2
P
( j,k j k )
H0 ) (π j,k )1≤j≤rX par π j,k = Pj .Pk . On peut alors calculer la statistique K = n
.
Pj Pk
1≤k≤rY
j=1 k=1
Test de H0 : (X, Y ) indépendantes contre H1 : (X, Y ) contingentes au niveau α
rX P
rY P −P P 2
P
( j,k j k )
> χ2r −1 . r −1 ,α
→ refus ⇔ K = n
Pj Pk
( X )( Y )
j=1 k=1
Statistiques et Econométrie - chapitre 4: Régression linéaire
23
Chapitre 4: Régression linéaire
A La régression linéaire simple
1 ) Approche géométrique et probabiliste et modèle statistique de régression
Convention adoptée dans la mesure du possible : lettres majuscules pour les variables aléatoires ; minuscules
pour leurs réalisations (valeurs observées). Caractères gras pour les matrices.
Echantillon (Xi , Yi )1≤i≤n . Modèle : Yi = a + bXi + Ui
Ui = perturbation = (résidu)
Xi considérées commes des variables certaines, mais variant d’un échantillon à l’autre⇒ xi valeur prise par
Xi dans l’échantillon.
Yi et Ui considérées commes des variables aléatoires; réalisations (une fois l’échantillon tiré) : yi et ui
yi =valeur observée de la variable expliquée ou dépendante Y
xi =valeur observée de la variable explicative ou indépendante X
ui =valeur non observable d’une variable aléatoire représentant la perturbation
Nuage de points (réalisation de l’échantillon) (xi , yi )1≤i≤n
Toutes les espérances sont définies en référence
à la loi
³
´ des Ui ou, de façon équivalente, des Yi .
Droite de régression = droite d’équation ŷ = â + b̂x passant “le plus près” du nuage de points
ûi =valeur non observable d’une variable aléatoire représentant la différence entre la hauteur du point sur
la droite de régression et celle du point observé, c’est-à-dire entre la valeur estimée et la vraie valeur.
â = ordonnée à l’origine de la droite de régression= valeur de Y à laquelle on peut s’attendre (d’après les
estimations) quand X = 0
b̂ = pente de la droite de régression = augmentation moyenne (sur la droite de régression) de Y quand X
augmente d’une unité.
³
´´2
n
n ³
P
P
û2i =
yi − â + b̂xi
Somme des carrés des résidus SCR =
(RSS =“Residul Sum of Squares”)
i=1
i=1
Droite représentant la réalité moyenne = droite d’équation (y = a + bx), représentant l’effet moyen de X sur
Y dans la population
a et b vraies valeurs (inconnues) des paramètres à estimer
a = E (Y / X = 0) ordonnée à l’origine de la droite représentant la réalité moyenne = valeur espérée de Y
quand X = 0
)
∆E(Y )
b = ∂E(Y
∂X = ∆X = pente de la droite représentant la réalité moyenne = augmentation espérée de Y quand
X augmente d’une unité.
Modèle statistique :
Yi =
a + bXi + Ui ∀ i = 1, ...n
 EUi = 0 ∀ i = 1, ...n
VUi = σ 2 ∀ i = 1, ...n
avec

Cov (Ui , Uj ) = 0 ∀ i 6= j
Toutes les relations vérifiées par les variables Xi , Yi et Ui sont évidemment transposables à leurs valeurs dans
l’échantillon xi , yi et ui .
2 ) Estimateur des MCO (Moindres Carrés Ordinaires) ou OLS (Ordinary Least Squares)
µn
¶
³ ´
P
2
â, b̂ = arg min
(Yi − (α + βXi ))
a) Définition et calcul
i=1
(α,β)

³ ´
´
n ³
P

∂SCR

â, b̂ = 0 = −2
Yi − â − b̂Xi

∂a
i=1 ³
Conditions de premier ordre (C.P.O.) :
³ ´
´
n
P

∂SCR

Xi . Yi − â − b̂Xi
â, b̂ = 0 = −2
 ∂b
i=1
Statistiques et Econométrie - chapitre 4: Régression linéaire

n
n


Xi Yi −nXn Yn
(Xi −Xn )(Yi −Yn )

 Yn = â + b̂Xn

(1)
i=1
i=1
b̂
=
=
=
n
n
n
n
n
2
2
P
P
P
⇔
⇔
Xi2 −n(Xn )
(Xi −Xn )
Xi Yi =
Xi â + b̂
Xi2
(2)


i=1
i=1


i=1
i=1
i=1
â = Yn − b̂Xn
µn
¶
n
P
P 2
2
Xi Yi − nXn Yn = b̂
Xi − nXn
Démonstration : (2) − (1) ∗ nXn :
avec nXn =
=
n
P
i=1
n
P
n ¡
P
Xi et
i=1
Xi Yi − 2nYn
n
P
i=1
i=1
24
Cove m p (X,Y )
Vem p (X)
i=1
n
n
n
¢¡
¢ P
P
P
Xi − Xn Yi − Yn =
Xi Yi − Yn
Xi − Xn
Yi + nXn Yn
Xi + nXn Yn =
i=1
n
P
i=1
i=1
i=1
i=1
Xi Yi − nXn Yn
Ŷi = â + b̂Xi = valeur estimée de Yi et Ûi = Yi − Ŷi = résidu estimé
n
2
i=1
σ̂ =
n
Ûi2
n−2
i=1
=
n
2
(Yi −Ŷi )
=
n−2
2
(Yi −(â+b̂Xi ))
estimateur des MCO de σ 2
i=1
n−2
b) Propriétés dans le cas général
• Propriétés ”moyennes”
Ûn = 0
n
P
n
n
P
Ûi Xi = 0
i=1
Ûi Ŷi = 0
n
P
mais
i=1
i=1
Ûi Yi 6= 0
Ŷn = Yn
b̂ =
(Yi −Yn )
(Xi −Xn )
2
(Xi −Xn )
i=1
n
2
(Xi −Xn )
⇒
i=1
b̂ =moyenne pondérée des pentes des droites joignant les observations (Xi , Yi ) au point moyen de l’échantillon
¡
¢
¡
¢2
Xn , Yn , pondérée par Xi − Xn , qui mesure la distance entre Xi et sa valeur moyenne.
• Equation de décomposition de la variance (ou d’analyse de la variance)
n
X
Yi2
n
X
=
i=1
Ŷi2 +
i=1
n ¡
P
i=1
⇔
n
X
i=1
Yi − Yn
n
Ûi2 ⇔
¢2
=
n
n ³
n
´2 X
X
¡
¢2 X
Yi − Yn =
Ŷi − Ŷn +
Ûi2 ⇔
i=1
n
P³
i=1
Ŷi − Ŷn
n
´2
+
i=1
n
P
i=1
Ûi2
n
⇔
SCT = SCE + SCR
SY Y = SŶ Ŷ + SÛ Û
i=1
³ ´
³ ´
+ Vemp Û
Vemp (Y ) = Vemp Ŷ
Vemp totale = Vemp estimée + Vemp résiduelle
• Coefficient de détermination multiple R2
Vemp (Ŷ )
Vemp (Y )
R2 ≡
=
Vem p ex p liq u ée
Ve m p to ta le
³
³
´´2
(X)
V
= b̂2 Veemm pp (Y ) = (Corremp (X, Y ))2 = Corremp Y, Ŷ
Vemp (Û )
Vemp (Y ) .
Remarque : 1 − R2 =
Ces variances empiriques non modifiées sont des estimateurs biaisés des
¢
¡
2
2
variances de U et Y . Quand on corrige ces biais, on obtient le R2 ajusté R ≡ 1 − n−1
:
n−2 . 1 − R
¡
¢
Ve m p m o d ifi é e (Û )
2
2
1 − R = Ve m p m o d ifi é e (Y ) = n−1
n−2 . 1 − R .
• Biais et efficacité

b̂ =

n
a + bXi
(Xi −Xn )
|
{z
i=1
Yi
n

¡
¢
+ Ui − a + bXn + Un 

} |
{z
}
Yn
2
(Xi −Xn )
i=1
n
=
(Xi −Xn )(b(Xi −Xn )+(Ui −Un ))
i=1
n
2
(Xi −Xn )
i=1
¡
¢
(Xi −Xn )E Ui − Un
i=1
|
{z
}
n
n
b
=
2
(Xi −Xn )
n
+
i=1
n
(Xi −Xn )(Ui −Un )
i=1
2
(Xi −Xn )
i=1
n
=b+
(Xi −Xn ).(Ui −Un )
i=1
n
2
(Xi −Xn )
i=1
³ ´
⇒ E b̂ = b +
n
=0
2
(Xi −Xn )
i=1
⇒ Eb̂ = b
Statistiques et Econométrie - chapitre 4: Régression linéaire
´
³ ´
³
³
´
¡
¢
Eâ = E Yn − b̂Xn = E a + bXn + Un − Xn E b̂ = a + b − Eb̂ Xn = a ⇒ Eâ = a
³ ´
V b̂ =
n
n
σ2
2
(Xi −Xn )
i=1
n
³ ´
Xi2
i=1
, V (â) = V b̂ . n =
³ ´
³ ´
Cov â, b̂ = −Xn .V b̂ = −Xn .
n
n
σ2
2
(Xi −Xn )
.
i=1
25
Xi2
et
n
i=1
σ2
2
(Xi −Xn )
i=1
On en déduit des estimateurs pour la variance et l’écart-type de â et b̂ en remplaçant σ 2 par σ̂ 2 :
³ ´
V̂ b̂ =
n
σ̂ 2
2
(Xi −Xn )
=
SCR
n−2
SXX
=
n
S
Ûi2
i=1
n−2
2 (X)
nSn
n
, V̂ (â) =
i=1
³ ´
d â, b̂ = −Xn .
et Cov
n
σ̂ 2
2
(Xi −Xn )
i=1
n
σ̂2
2
(Xi −Xn )
; σ̂ b̂ =
i=1
s
n
n
Xi2
. i=1n
=
v
u
u
u
et σ̂ â = t
σ̂ 2
2
(Xi −Xn )
i=1
SCR
n−2
SXX .
i=1
=
n
n
n
n
S
n
Ûi2
Xi2
i=1
i=1
n−2
2 (X)
n
nSn
Xi2
σ̂2
2
(Xi −Xn )
.
i=1
.
Xi2
n
i=1
³
´
¡
¢
Si la distribution des (Ui ) est symétrique, alors Cov σ̂ 2 , b̂ = 0 et Cov σ̂ 2 , â = 0
• Théorème de Gauss-Markov
L’estimateur des MCO de (a, b) est le plus efficace parmi les estimateurs linéaires sans biais de (a, b) .
→ Les MCO sont “ce qu’on peut faire de mieux” pour estimer a et b.
c) Propriétés sous hypothèse de normalité
• Lois marginales des estimateurs
¡
¢
Si les Ui à N 0, σ 2 , alors :
2
µ
â
b̂
¶

µ ¶
a

ÃN
,
b
n
σ2
2
(Xi −Xn )
i=1

.
et (n − 2) . σσ̂2 Ã χ2 (n − 2) indépendant de â et b̂ . On en déduit :
• Intervalles de confiance et tests de nullité
£
¤
IC bilatéral au niveau α pour a : â ± σ̂ â .tn−2,α/2
n
i=1
Xi2
n
−Xn
â−a
σ̂â

−Xn 
1
à St (n − 2) et
b̂−b
σ̂b̂
à St (n − 2)
i
h
IC bilatéral au niveau α pour b : b̂ ± σ̂ b̂ .tn−2,α/2
Les logiciels classiques calculent automatiquement les IC à 95% ainsi que les “t de Student” :
t̂â ≡ σ̂ââ et t̂b̂ ≡ σ̂b̂ servant à tester respectivement H0 : a = 0 et H0 : b = 0.
b̂
³ ´ ¡
¢
Vemp (Û )
Remarque : 1 − R2 = Vemp (Y ) ⇒ Vemp Û = 1 − R2 .Vemp (Y )
n/ V Û
³
´
2
Covemp (X,Y ) 2
(Covemp (X,Y )) 2
1
R2
n−2 ( )
2
/
= (n − 2) . Vemp
. (1−R2 ).V
= (n − 2) . 1−R
⇒ t̂2b̂ = σ̂b̂ 2 =
2 = t̂
(X)
Vemp (X)
emp (Y )
b̂
(X)
V
n
/
emp
b̂
On peut donc simplement tester l’absence d’effet de X sur Y (b = 0) à partir du R2 de la régression, c’est-à-dire
à partir du coefficient de corrélation empirique entre X et Y .
• Tests d’égalité à une valeur précise
0
Sous H0 : a = a0 , â−a
σ̂â Ã St (n − 2), alors que, sous l’alternative H1 (uni- ou bi-latérale) : Eâ = a1 6= a0 ,
â − a1
0
0
+ a1σ̂−a
est décalée (vers la droite ou vers la gauche). Comme σ̂ â est une fonction
la loi de â−a
σ̂ â =
â
σ̂ â
| {z }
ÃSt(n−2)
Statistiques et Econométrie - chapitre 4: Régression linéaire
26
décroissante de n, et que σ̂ â −→ 0, on en déduit que le décalage est d’autant plus important que l’échantillon
n→+∞
¯
¯
¯ â−a0 ¯
0
est grand et que, sous H1 : ¯ σ̂â ¯ −→ +∞. Par conséquent, la statistique de test â−a
σ̂â permet de tester
n→+∞
0
H0 : a = a0 . De même, la statistique de test b̂−b
σ̂b̂ permet de tester H0 : b = b0 .
Pour a0 6= 0 ou b0 6= 0, le test n’est pas pré-programmé sous EXCEL et doit être fait “à la main”, à partir de
â, a0 et σ̂ â ou b̂, b0 et σ̂ b̂ . Avec de véritables logiciels d’économétrie tels que RATS, STATA ou SAS, de tels
tests sont pré-programmés.
• Tests joints sur (a, b)
¶ ³
µ
´2 ¶
³
´ µP
n
2
1
2
F ≡ 2σ̂2 . n. (â − a) + 2.n.Xn . (â − a) . b̂ − b +
Xi . b̂ − b
à F (2, n − 2)
i=1
On peut donc tester conjointement (a = a0 ) et (b = b0 ) avec la statistique de test :
µ
¶ ³
´ µP
´2 ¶
³
n
2
1
2
. n. (â − a0 ) + 2.n.Xn . (â − a0 ) . b̂ − b0 +
Xi . b̂ − b0
 Ã 
2σ̂ 2
i=1
a   a0
=
sous H0 :
b0
b


F (2, n − 2)
De tels tests sont pré-programmés sous les logiciels d’économétrie tels que RATS, STATA ou SAS.
d) Propriétés asymptotiques :
La loi approchée de (a, b) quand n grand et les Ui Ãloi quelconque est la même que la loi exacte quand
 n


µ ¶
µ ¶
Xi2
¡
¢
â
2
a
−Xn 
.  i=1n
Ui à N 0, σ 2 :
à N
, n σ
2
b
b̂
n grand
X
−X
( i n)
−Xn 1
i=1
Les intervalles de confiance asymptotiques sont obtenus en remplaçant les Student par des Normales.
4 ) Remise en cause des hypothèses et analyse des résidus

 EUi = 0 ∀ i = 1, ...n
VUi = σ 2 ∀ i = 1, ...n
Le modèle des MCO suppose que :

Cov (Ui , Uj ) = 0 ∀ i 6= j
a) Points aberrants (atypiques) :
Symptôme : point(s) éloigné(s) de la droite de régression
Hypothèse non respectée : EUi = 0 ∀ i = 1, ...n
Conséquence : Eâ 6= a et prédictions faussées (d’autant plus que la proportion de points aberrants dans
l’échantillon est élevée)
Remède : * Exclusion de(s) point(s) aberrant(s) de la régression ou * introduction d’une variable indicatrice
(“dummy”; Cf. B)
b) Effet non linéaire de la variable explicative :
Relation non linéaire entre X et Y
→Exemples de vrais modèles : Y ' α + β log X ou Y ' α + β 1 X + β 2 X 2 ou Y ' αX β ou Y 2 ' α + βX;
→Le vrai modèle n’est plus représenté par une droite, mais par une courbe, qui coupe la droite de régression
en 2 points
Symptôme : tendance de Y à être systématiquement en-dessous de la droite de régression pour les valeurs
extrêmes de X et au-dessus pour les valeurs moyennes de X, ou vice-versa. Le nuage de points n’est pas
“aligné” le long d’une droite, mais le long d’une courbe.
Hypothèse non respectée : EUi = 0 ∀ i = 1, ...n
Conséquence : prédictions d’autant plus faussées que xn+1 est éloigné des 2 points d’intersection
Remède : * Transformation sur X ou Y pour retrouver une relation linéaire ou * régression sur X et X 2 et
éventuellement X 3 , X 4 , ....
Statistiques et Econométrie - chapitre 4: Régression linéaire
27
c) Hétéroscédasticité :
Symptôme : Tendence des résidus à être plus dispersés pour certaines valeurs de X
Hypothèse non respectée : VUi = σ 2 (ici, VUi =fonction de Xi )
 n

µ ¶
Xi2
â
2
−Xn 
6= n σ
.  i=1n
Conséquence : â et b̂ non biaisés, mais V
2
b̂
(Xi −Xn )
−Xn 1
i=1
µ ¶
â
par la méthode de White (programmée dans la plupart des logiciels
Remède : * Correction de V
b̂
d’économétrie) si on ne connaît pas a priori la forme de l’hétéroscédasticité (simple option dans l’instruction
de régression).
ou * division Yi par σ Ui si on connaît a priori la forme de l’hétéroscédasticité
B Le modèle de régression multiple
1 ) Différentes écritures du modèle et Conditions de Premier Ordre


Y1


n observations; variable expliquée : Y =  ... ; variables explicatives : X1 , ...Xk (vecteurs de taille n).
Y


n

b1
U1




X = (X1 ...Xk ) matrice de taille (n, k). B =  ...  (vecteur de taille k). Résidus U =  ... . Souvent
bk
Un

 

1
b2

 

(mais pas toujours), X1 = e =  ...  (constante). On note alors : X̃ = (X2 ...Xk ), b1 = a et B̃ =  ... , ce
bk
1
µ
¶
a
qui donne : X = (e X̃) et B =
.
B̃
Le modèle s’écrit (dans le cas général) :


Y = b1 X1 + ... + bk Xk + U = X B + U

Y
=
b
X
+
b
X
+
...
+
b
X
+
U


1
1
11
2
21
1
k
k1
(n,1)
(n,1)
(n,k)(k,1)


(n,1)
(n,1)


µ
¶

 ..




a
.




= ae + X̃B̃ + U si X1 = e
 = (e X̃) B̃




 Yi = b1 X1i + b2 X2i + ... + bk Xki + Ui


..
1 0 ··· 0
⇔
.








 0 1 . . . ... 


=
b
X
+
b
X
+
...
+
b
X
+
U
Y


n
1 1n
2 2n
n
k kn
2
2




EU = 0
VU = σ I = σ  . .



2 ∀ i = 1...n


..
=
0
∀
i
=
1...n
VU
=
σ
EU


.
.
i
i

.
.


0 
.


0

Cov (Ui , Ui0 ) = 0 ∀ i 6= i
0 ··· 0 1
³
´´2
n
n ³
P
P
On cherche le vecteur de coefficients B̂ qui minimisent SCR =
Yi − b̂1 X1i + b̂2 X2i + ... + b̂k Xki
Ûi2 =
.
i=1
i=1
Les calculs sont faits par les logiciels. Les Conditions de Premier Ordre donnent, en écriturematricielle :
³
´ ¡
¢
Xt Y = Xt XB̂ = Xt X B̂
Cas particulier : si X1 = e,
â = Y −
SX̃Y
k
P
b̂j Xj
j=2
b̃
= SX̃ X̃ B
si X1 = e
Cas particulier : si k = 2 et X1 = e, SX̃Y et SX̃ X̃ sont des nombres (matrices de taille (1, 1)), et on retrouve
S
(X,Y )
Cov
le résultat du A : b̂ = SX̃Y = Veemm pp (X)
X̃ X̃
Statistiques et Econométrie - chapitre 4: Régression linéaire
28
2 ) Estimateur et propriétés des MCO
Condition nécessaire pour pouvoir estimer (i.e. pour pouvoir inverser X t X) :
Vecteurs (Xj )1≤j≤k linéairement indépendants⇔il n’existe pas de relation linéaire entre les (Xj )1≤j≤k ⇔
¢
¡
¢
¡
rang X t X = k ⇔ det X t X 6= 0 ⇔Dans l’échantillon considéré, l’information apportée par les k
variables explicatives (Xj )1≤j≤k ne pourrait pas être contenue dans un ensemble plus petit de k0 < k variables
explicatives.
¢
¡
Si X¡1 = e,¢ la condition nécessaire pour pouvoir estimer est de pouvoir inverser SX̃ X̃ ⇔ rang SX̃ X̃ = k − 1 ⇔
det SX̃ X̃ 6= 0.
Cas particuliers :
¢
¡
• Pour X1 = e et k = 2, la condition det SX̃ X̃ 6= 0 signifie simplement : VX 6= 0 ⇔ X 6= cte
¢
¡
• Pour X1 = e et k = 3, la condition det SX̃ X̃ 6= 0 signifie simplement : VXi 6= 0 pour i = 1, 2 et
Corr (X1 , X2 ) 6= ±1
¢
¡
0
0
Remarque : si rang Xt X = k < k →reformuler le modèle pour avoir k variables explicatives linéairement
indépendantes.
¢
¡
Dans toute la suite, on supposera rang Xt X = k. On peut alors inverser les matrices pour obtenir les
b̃ = ¡S ¢−1 S
B
X̃ X̃
X̃Y
¡ t ¢−1 ¡ t ¢
b= XX
k
X Y . Si X1 = e, alors :
estimateurs des MCO : B
P
â = Y −
b̂j Xj
j=2


Ŷ1
k
 .. 
b = P b̂j Xj sont appelées valeurs estimées
Les valeurs du vecteur Ŷ =  .  = XB
j=1
Ŷ
 n 
Û1
 .. 
b sont appelées résidus estimées. Leur variance est
Les valeurs du vecteur Û =  .  = Y − Ŷ = Y − XB
Ûn
n
2
estimée par : σ̂ =
i=1
Ûi2
n−k
• Propriétés “moyennes”
Xj t Û ≡
(1,n) (n,1)
t
⇒ Ŷ
n
P
i=1
Û =
(1,n) (n,1)
Xji Ûi = 0 ∀j = 1, ...k
n
P
i=1
Ŷi Ûi = 0 et Xj t Ŷ = Xj t Y , i.e.
(1,n) (n,1)
(1,n) (n,1)
n
P
i=1
Xji Ŷi =
n
P
i=1
Xji Yi
∀j = 1, ...k
´
³
Si X1 = e ⇒ Û = 0 et Ŷ = Y et Covemp Xj , Û = 0 ∀j = 2, ...k
• Equation de décomposition de la variance (ou d’analyse de la variance)
Ce paragraphe n’a de sens que si X1 = e
n
n ³
n
´2 X
X
X
¡
¢2
Yi − Yn
Ŷi − Ŷn +
Ûi2 ⇔
=
i=1
n
P
i=1
i=1
¡
¢2
Yi − Yn
n
=
n
P
i=1
i=1
³
´2
Ŷi − Ŷn
n
+
n
P
i=1
Ûi2
n
• Coefficient de détermination multiple R2
⇔
SCT = SCE + SCR
SY Y = SŶ Ŷ + SÛ Û
³ ´
Vemp (Y ) = Vemp Ŷ
+
³ ´
Vemp Û
Vemp totale = Vemp estimée + Vemp résiduelle
Statistiques et Econométrie - chapitre 4: Régression linéaire
R2 ≡
2
n−1
n−k .
R2 ajusté R ≡ 1 −
Ve m p (Ŷ )
Vem p (Y )
Vem p ex p liq u ée
Ve m p to ta le
=
¢
¡
2
1 − R2 : 1 − R =
29
³
´´2
³
= Corremp Y, Ŷ
Ve m p m o d ifi é e (Û )
Ve m p m o d ifi é e (Y )
n−1
n−k .
=
¢
¡
1 − R2 .
• Biais et efficacité
³ ´
¡ ¢
E B̂ = B et E σ̂ 2 = σ 2 .
³ ´
³ ´
³ ´
³ ´
¡
¡
¢−1
¢−1
b̃ = σ 2 S−1 et V̂ B
b̃ = σ̂ 2 S−1
estimée par : V̂ B̂ = σ̂ 2 Xt X . Si X1 = e, V B
V B̂ = σ 2 Xt X
X̃³
X̃
X̃ X̃
³ ´
³ ´
¡ t ¢−1 ´
2
XX
La variance d’un coefficient estimé b̂j se lit sur la diagonale de V B̂ : V b̂j = σ
et n’a pas
r ³ ´
r³jj
´
2
(Xt X)−1
d’expression simple. Attention : ce n’est pas (XtσX) . Ecart-type estimé : σ̂ b̂j = V̂ b̂j = σ̂
jj
jj
³ ´
b̃
−1
2
Remarque : s’il y a une constante, comme V B = σ SX̃ X̃ ., l’estimation est d’autant moins précise que les
variables explicatives sont corrélées entre elles.
• Théorème de Gauss-Markov : L’estimateur des MCO de B̂ est le plus efficace parmi les estimateurs
linéaires sans biais de B.
3 ) Tests sur les paramètres (cas normal ou n grand)
a) Loi des estimateurs et intervalles de confiance
³
¡
¢ ´ )
2 Xt X −1
¡
¢
B,
σ
B̂
Ã
N
si U Ã N 0, σ 2 I , alors
indépendants
2
(n − k) σσ̂2 Ã χ2 (n − k)
σ̂ 2b̂ = σ̂ 2
j
³¡
¢−1 ´
Xt X
jj
⇒
σ̂b̂
j
σb̂
j
= σσ̂ . Comme
b̂j −bj
σ̂ b̂
=
j
b̂j −bj σ̂b̂j
σ b̂ / σb̂
j
¡
¢
si U Ã N 0, σ 2 I , alors
=
j
j
b̂j −bj
σ̂ b̂
j
q
b̂j −bj
σ b̂ /
1 (n−k).σ̂
,
σ
(n−k)
à St (n − k)
i
h
IC à 100 (1 − α) % pour bj : b̂j ± σ̂ b̂j .tn−1,α/2
b) Test de nullité de l’ensemble des coefficients des vraies variables explicatives :
Ce paragraphe n’a de sens que si X1 = e (sinon, X̃ n’a pas de sens). On cherche à tester H0 : B̃ = 0
´t
´
³
´
³
³
SX̃ X̃ b̃
b̃
b̃
2 (k − 1). D’autre part, (n − k) σ̂ 2 Ã χ2 (n − k) inB̃
B̃
B
−
B
−
Ã
χ
B Ã N B̃, σ 2 S−1
⇒
2
σ
σ2
X̃ X̃
´t
´t
³
´
³
´
³
³
S
S
b̃
b̃
b̃
b̃
b̃
X̃ X̃
X̃ X̃
B̃
B̃
.
Conclusion
:
B
−
B̃
dépendant de B, donc de B − B̃
B
−
B
−
à F (k − 1, n − k).
2
2
σ
(k−1)σ̂
Donc, sous H0 : B̃ = 0,
n
b̃ t
B
SX̃ X̃
b̃
2B =
(k − 1) .σ̂
2
(Ŷi −Ȳ )
/(k−1)
i=1
n
i=1
Ûi2 /(n−k)
=
n−k R2
n−1 . 1−R2
Ã
sous H0 :B̃=0
F (k − 1, n − k)
Pour k = 2, SX̃ X̃ est une matrice de dimension (1, 1), i.e. un nombre et b̃b est aussi un nombre, donc
2
2
2
b̃bt SX̃ X̃ b̃b = b̃b2 nSn2 (X) = b̃
b̃
=
= σ̂b̃ Ã F (1, n − 2), ce qui correspond bien à σ̂b̃ Ã St (n − 2), puisque
σ̂ 2
(k−1).σ̂2
σ̂2
σ̂ 2
2 (X)
nSn
b̂
b̂
le carré d’une Student St (n − 2) est une Fisher F (1, n − 2).
b̂
Statistiques et Econométrie - chapitre 4: Régression linéaire
30
c) Test de nullité d’un sous-ensemble de coefficients :
alors B en :
On cherche à tester la nullité des k2 derniers coefficients parmi k = kÃ
1 + k2 . On décompose
!
¶
µ
B1
} k1 lignes
X2 . On estime le :
et, de la même façon, X en deux blocs : X = X1
B2
} k2 lignes
(n,k)
(n,k1 ) (n,k2 )
Modèle “non contraint” M1 : Y = XB + U = X1 B1 + X2 B2 + U , avec E(U ) = 0 et V(U ) = σ 2 I, dans lequel
on veut tester H0 : B2 = 0. Pour cela, on estime aussi le :
Modèle “contraint” (en imposant B2 = 0) M2 : Y = X1 C1 + V .
n
P
Sous H0 et sous H1 ,
Ûi2 /σ 2 Ã χ2 (n − k). Sous H0 , C1 = B1 et V = U (ce qui n’implique pas du tout
i=1
que V̂ = Û ). Attention : sous H1 , on n’a pas C1 = B1 et V = X2 B2 + U car X1 et X2 peuvent a priori être
corrélés. En effet, si on avait ces égalités, il y aurait une corrélation entre vi et X1i , ce qui contredit l’hypothèse
E(vi ) = 0 ∀X1i .
n
n
n
P
P
P
V̂i2 −Ûi2
V̂i2 /σ 2 Ã χ2 (n − k1 ) et
V̂i2 /σ 2 . Par conséquent,
à χ2 (k2 ) , indépendant de
Sous H0 ,
σ2
i=1
i=1
n
F ≡
i=1
n
i=1
V̂i2 −Ûi2
σ2
i=1
n
/k2
Ûi2 /σ 2 /(n−k)
=
(V̂i2 −Ûi2 )
i=1
n
i=1
/k2
Ûi2 /(n−k)
=
SCRC −SCRN C
SCRN C
∗
n−k
Ã
k2 sous
H0
n
P
V̂i2 − Ûi2 ,
i=1
H0 : B2 = 0.
Sous H1 , la variance des V̂i est supérieure à celle des Ûi , donc F , tout comme
plus élevées sous H1 que sous H0 . On peut donc bien utiliser F pour tester
F (k2 , n − k)
prend des valeurs
C Prévision (prédiction)
1 ) Dans le modèle de régression simple
Valeur prédite (prédicteur) pour la (n + 1)ème observation : Ŷn+1 ≡ â + b̂.Xn+1
Yn+1 = a + b.Xn+1 + Un+1 = vraie valeur inconnue
³
´
Erreur de prévision (de prédiction): Ên+1 ≡ Yn+1 − Ŷn+1 = a + b.Xn+1 − â + b̂.Xn+1 + Un+1 = (a − â) +
´
³
b − b̂ .Xn+1 + Un+1
⇒ EÊn+1 = 0 : Ŷn+1 prédicteur sans biais de Yn+1
Attention : Ça n’aurait aucun sens d’écrire : EŶn+1 = Yn+1
 car Yn+1n est une variable aléatoire.

³ ´
Xi2
2
X
i=1
2 .Vb̂+2.X
2
+ n n+1 2 − 2. n Xn+1 .Xn 2 
VÊn+1 = VUn+1 +Vâ+Xn+1
n
n+1 .Cov â, b̂ = σ . 1 +
2
n
(Xi −Xn )
(Xi −Xn )
(Xi −Xn )
i=1
i=1



 i=1
n
n
2
2
2
2
Xi2
Xi2 −n(Xn )
(Xn+1 −Xn ) −(Xn ) 
(Xn+1 −Xn ) 
i=1
i=1
2
2


=σ . 1+ n
+
.
1
+
+
=
σ
n
n
n
2
2
2
2
n.
n.
(Xi −Xn )
(Xi −Xn )
(Xi −Xn )
(Xi −Xn )
i=1
i=1
i=1
i=1




n
2
2
2
(Xi −Xn )
(Xn+1 −Xn ) 
i=1
2
2 . 1 + 1 + (Xn+1 −Xn ) 

=σ . 1+ n
+
=
σ
n
n
n
2
2
2
n.
(Xi −Xn )
(Xi −Xn )
(Xi −Xn )
i=1
i=1
i=1
³
´
¡
¢
(On se place dans le cas où la loi des Ui est symétrique, ce qui garantit : Cov σ̂ 2 , b̂ = 0 et Cov σ̂ 2 , â = 0).


2
X
−X
( n+1 n ) 
VÊn+1 = σ 2 . 1 + n1 + n
2
(Xi −Xn )
i=1
¢
¡
2
Ên+1
= (n − 2) σσ̂2 Ã χ2 (n − 2) indépendant de â et b̂, donc
Dans le cas normal, Ui à N 0, σ 2 et (n − 2) V̂
VÊn+1
h
i
−Yn+1
de Ŷn+1 . On en déduit : Ŷn+1
.t
:
Ŷ
Ã
St
(n
−
2),
d’où
l’IC
pour
Y
±
σ̂
n+1
n+1
n−2,α/2
σ̂
Ê
Ên+1
n+1
Statistiques et Econométrie - chapitre 4: Régression linéaire
31
2 ) Dans le modèle de régression multiple
On dispose d’observations X et Y
(n,k)
(n,1)
et on cherche à prédire Yn+1 en fonction des valeurs des explicatives
pour la (n + 1)ième observation : (X1,n+1 , ...Xk,n+1 ).
k
P
b̂j Xj,n+1
valeur prédite : Ŷn+1 =
j=1
vraie valeur (inconnue) Yn+1 =
k
P
bj Xj,n+1 + Un+1
j=1
erreur de prévision : Ên+1 ≡ Yn+1 − Ŷn+1 =
´
k ³
P
bj − b̂j Xj,n+1 + Un+1
j=1
⇒ EÊn+1 = 0 : Ŷn+1 prédicteur sans biais de Yn+1
³
¡
¢−1 n+1t ´
X
, expression matricielle compliquée, inutile à retenir : calculée pour
VÊn+1 = σ 2 1 + Xn+1 Xt X
chaque observation par les logiciels d’économétrie. A retenir : VÊn+1 proportionnel à σ 2 , fonction décroissante
2
(Xj,n+1 −Xj )
pour chaque j.
de n et fonction croissante de
2 (X )
nSn
j
On peut en déduire
un IC pour Yn+1 dans
le cas normal, ou si n est grand.
³
¡ t ¢−1 n+1t ´
Ŷn+1 −Yn+1
V̂Ên+1
2
σ̂2
n+1
2
XX
X
=
(n
−
k)
, avec (n − k) V
V̂Ên+1 = σ̂ 1 + X
Ã
2 Ã χ (n − k), donc
σ̂
σ
Ên+1
Ên+1
i
h
St (n − k), d’où l’IC pour Yn+1 : Ŷn+1 ± σ̂ Ê .tn−k,α/2
n+1
D Variables explicatives particulières
1 ) Variable “indicatrice” ou “muette” (“dummy”)
Soit
½ la variable Xj = Icondition , représentée par un vecteur dont chaque terme est donné par : Xji =
1 si la condition est vérifiée pour l’observation i
.L’effet de cette variable explicative est mesuré par
0 si la condition n’est pas vérifiée pour l’observation i
:
bj = E (Yi / Xji = 1) − E (Yi / Xji = 0)
2 ) Variable discrète à plus de 2 catégories
Si une variable explicative Z ne peut prendre qu’un petit nombre (l > 2) de valeurs, ou catégories (ex : CSP,
tranche d’âge,...) on peut créer autant d’indicatrices que de catégories. Supposons plour simplifier qu’il n’y
a pas d’autres variables explicatives. On note, pour chaque catégorie j = 1, ...l : Xj = IZ=zj la variable
indicatrice qui vaut 1 pour la j ème catégorie et 0 pour les autres. On note aussi (bj )1≤j≤l les coefficients
l
P
Xj = e. On choisit
associés. On ne peut pas régresser Y sur une constante et tous les (Xj )1≤j≤l car
j=1
généralement une catégorie de référence j0 et on régresse Y sur la constante et tous les (Xj )1≤j≤l sauf Xj0 .
Pour toute catégorie j 6= j0 , on oa alors :
bj = E (Y / Z = zj ) − E (Y / Z = zj0 )
et la constante du modèle vaut :
a = E (Y / Z = zj0 )
3 ) Effet non linéaire d’une variable explicative
Pour simplifier, on suppose qu’il n’y a pas d’autres variables explicatives que X, sauf la constante. Si l’on
pense que l’effet de X sur Y est non linéaire, on peut prendre une approximation polynomiale, ce qui revient
à considérer X, X 2 , X 3 , etc... parmi les variables explicatives.
Statistiques et Econométrie - chapitre 4: Régression linéaire
32
Cas le plus simple : effet quadratique (polynôme de degré 2). Si Y = a + b1 X + b2 X 2 + U , effet marginal espéré
de X sur Y , évalué au point X = x :
∂E (Y / X = x)
= b1 + 2 ∗ b2 x
∂x
Cas général : Y = φ (X, B) + U , où φ est linéaire par rapport à chacun des paramètres du vecteur B, et est
une fonction continue quelconque de X. L’effet marginal de X sur EY au point X = x est donné par :
∂φ (x, B)
∂E (Y / X = x)
=
∂x
∂x
Exemple : Y = a + b1 X + b2 log X +
b3
X+1
+U ⇒
Attention : Un modèle du type : Y = a +
n’est pas linéaire en b2 .
b1
X+b2
∂E(Y /X=x)
∂x
= b1 +
b2
X
−
b3
(X+1)2
+ U ne peut pas être estimé par MCO car la fonction
b1
X+b2
4 ) Effets croisés de deux variables explicatives
Pour simplifier, on suppose qu’il n’y a pas d’autres variables explicatives que X1 et X2 , sauf la constante, et que,
à X2 fixé, l’effet de X1 est linéaire (et réciproquement). On suppose donc Y = a + b1 X1 + b2 X2 + b3 X1 X2 + U
et l’effet marginal espéré de X1 sur Y , évalué au point X1 = x1 , X2 = x2 est :
∂E (Y / X1 = x1 , X2 = x2 )
= b2 + b3 x2
∂x1
On peut combiner ce point avec l’un des trois points traités ci-dessus (X1 et/ou X2 discrète ou ayant un effet
non linéaire).
Statistiques et Econométrie - chapitre 4: Régression linéaire
33
Annexe 1 : alphabet grec et quelques utilisations typiques en statistiques
ou économétrie
Les lettres suivies de * seront utilisées régulièrement dans le cours, donc à retenir.
Minuscules Majuscules Lecture
Utilisation
α∗
alpha
paramètre, constante
β∗
bêta
paramètre, pente
ψ
Ψ
psi
δ∗
∆
delta
variation
ε∗
epsilon
v.a., résidu
φ
Φ
fi
densité (φ) et f.d.r. (Φ) de la N (0, 1)
γ
Γ
gamma
η
ι
iota
κ
kappa
λ
Λ
lambda
µ
mu
ν
nu
π
Π
pi
constante (π =3,14); produit Π
χ∗
khi
loi du “khi-deux” χ2
ρ
rho
coefficient de corrélation
σ∗
Σ
sigma
écart-type (σ) ; signe somme (Σ)
τ
tau
υ
Υ
ω
Ω
omega
variable aléatoire ω; ensemble Ω auquel appartient ω
ξ
Ξ
ksi
résidu, en remplacement de ε
θ∗
Θ
théta
paramètre inconnu θ; ensemble Θ auquel appartient θ
ζ
dzeta
variable aléatoire, en remplacement de ε
Statistiques et Econométrie - chapitre 4: Régression linéaire
34
Annexe 2 : Calculs sur les sommes de carrés
Il faut vous habituer à “jouer sur les différentes façons d’écrire et sur les relations entre sommes de carrés
centrées SXX , variance empirique Sn2 (X) et variance empirique modifiée σ̂ 2X . Toutes les propriétés qui
suivent sont utilisées dans les différentes démonstrations du chapitre (régression linéaire simple et multiple) et
le détail des calcul ci-dessous a pour seul but d’aider ce que ça intéresse à comprendre les calculs. Les autres
pourront se contenter d’apprendre par coeur les formules encadrées. Ceux qui n’ont pas envie de les apprendre
peuvent les retrouver rapidement par de simples calculs à partir des définitions.
Faites bien attention aux parenthèses !!!
n
Xi
Xn =
i=1
⇒
n
n
P
Xi = nXn
i=1
Soit SXX =
n
n ¡
n
n
n
n
X
¢2 P
P
P
P
P
2
2
2
2
Xi − Xn =
Xi2 +
Xn − 2 ∗
Xi Xn =
Xi2 + nXn − 2 ∗ nXn =
Xi2 − nXn
i=1
D’autre part,
n
P
i=1
Donc SXX =
n
P
i=1
i=1
¡
i=1
¢
Xn Xi − Xn = Xn
n
P
i=1
Xi −
n
P
i=1
i=1
|i=1{z }
i=1
nXn
2
2
Xn = Xn nXn − nXn = 0
n
n
¡
¢ X
¡
¢ P
¡
¢
Xi Xi − Xn −
Xn Xi − Xn =
Xi Xi − Xn
Bilan :
SXX =
|i=1
n
P
i=1
{z
i=1
}
=0
n
n
¡
¢2 P
¡
¢ P
2
Xi − Xn =
Xi Xi − Xn =
Xi2 − nXn
i=1
i=1
D’autre part, par définition des variances empiriques (modifiées et non modifiées) :
SXX = nSn2 (X) = (n − 1) σ̂ 2X
On en déduit :
n
Sn2 (X)
=
SXX
n
=
n
2
(Xi −Xn )
i=1
n
=
i=1
Xi (Xi −Xn )
n
n
=
i=1
Xi2
n
− Xn
2
On peut procéder de la même façon pour une autre variable Y , ainsi que pour les sommes croisées, qui
correspondront aux covariance, corrélation, etc...
SY Y =
n ¡
P
i=1
SXY =
n
P
i=1
Xi − Xn
¡
¢¡
¢
Xi − Xn Yi − Yn =
¢2
n
P
i=1
=
n
P
i=1
n
¡
¢ P
2
Xi Xi − Xn =
Xi2 − nXn
¡
¢
Xi − Xn Yi =
i=1
n
P
i=1
n
¡
¢ P
Xi Yi − Yn =
Xi Yi − nXn Yn
i=1
Statistiques et Econométrie - chapitre 4: Régression linéaire
35
Annexe 3 : Statistiques descriptives et régression linéaire simple
Méthode pour retrouver tous les résultats du modèle de régression simple à partir des statistiques descriptives.
Sous EXCEL, les statistiques descriptives donnent les variances et covariances empiriques modifiées.
• b̂ =
Cove m p (X,Y )
Vem p (X)
SXY
SXX
=
• â = yn − b̂ ∗ xn
• R2 = (Corremp (X, Y ))2
• R̄2 = 1 −
n−1
n−2
• R2 = 1 −
SCR
SCT
⇒ σ̂ 2 =
n−1
n−2
³ ´
b b̂ =
• V
¡
¢
∗ 1 − R2
¡
¢
¡
¢
⇒ SCR = (n − 2) σ̂ 2 = SCT ∗ 1 − R2 = (n − 1) 1 − R2 σ̂ 2Y
¡
¢
(1−R2 )SY Y
1 − R2 σ̂ 2Y =
n−2
σ̂2
n
=
2
(xi −xn )
σ̂2
SXX
=
σ̂2
2 (X)
nSn
σ̂ 2
(n−1)∗σ̂2X
=
= σ̂ 2b̂ → t̂b̂ = b̂/σ̂ b̂
i=1
³ ´
b (â) = V
b b̂ ∗
• V
n
i=1
n
x2i
n
=
2
σ̂
SXX
i=1
n
x2i
n
=
2
n
x2i
i=1
σ̂
2 (X)
n
nSn
=
2
σ̂
(n−1)∗σ̂2X
i=1
x2i
n
= σ̂ 2â → t̂â = b̂/σ̂ â
³ ´
³ ´
d
b
â,
b̂
=
−x
• Cov
n ∗ V b̂
Autres “Statistiques de la régression”
√
• “Coefficient de détermintion multiple”= R2 = Corremp (X, Y )
√
• “Erreur-type”=σ̂ = σ̂ 2
• “Observations”=n
“ANALYSE DE VARIANCE”
• “Somme des Carrés-Régression”=SC Ŷ =
Vemp (X)
n ¡
P
i=1
ŷi − ŷn
¢2
= b̂2
n
P
i=1
(xi − xn )2 =
³
´
Covem p (X,Y ) 2
Ve m p (X)
∗ (n − 1) ∗
• “Degré de liberté-Régression”=1 (correspond à b̂) pour une régression simple
• “Somme des Carrés-Résidus”=SC Û =
n
P
i=1
û2i = (n − 2) ∗ σ̂ 2
• “Degré de liberté-Résidus”=n − 2 pour une régression simple
• “Somme des Carrés-Total”=SCY =
• “Degré de liberté-Total”=n − 1
n
P
i=1
(yi − yn )2 = (n − 1) ∗ Vemp (Y )
• “Moyenne des carrés”=SC/DLÃ χ2 (DL) à une constante multiplicative près.
• “F”=M C Ŷ /M C Û Ã F (1, n − 2) sous H0 : b = 0
• “Valeur critique de F”=Seuil critique pour le test de H0 : b = 0 contre Ha : b 6= 0 = P (F ≥ f / b = 0)
Statistiques et Econométrie - chapitre 4: Régression linéaire
36
Annexe 4 : Notations, rappels et compléments de calcul matriciel
Cette section ne sera pas traitée explicitement en cours, mais elle pourra aider certains à comprendre le cours.
Vecteurs et matrices particuliers





Matrice identité : I = 

(n,n)

1
 .. 
Vecteur constant : e =  . 
(n,1)
1
1
0

0
.. 
. 


0 
1
···
..
.
..
.
0
..
.
1
..
.
0 ···
0
Transposée

X1
¢
¡


Vecteur : X =  ...  → X t = X1 · · · Xn
(n,1)
X

 n

a11 · · · a1n
a11 · · ·

 ..

.
.
..
t
..
..  → A =  ...
Matrice : A =  .
.
(k,n)
(n,k)
ak1 · · · akn
a1n · · ·

Produit scalaire

X1


X =  ... 
(n,1)
Xn


ak1
.. 
. 
akn

Y1
n
P


Y =  ...  → X t Y =
Xi .Yi
(n,1)
i=1
Yn

Applications : Ê (X.Y ) =
XtY
n
; Xn =
X te
n
et X
n
=
Produit d’une matrice A par un vecteur X

a11 · · ·
 ..
..
A . X = .
.
(k,n) (n,1)
ak1 · · ·


Application : X = 
(n,k)
 
X1
..
.
a1n
..  . 
.  
akn
X11 · · ·
..
..
.
.
X1n · · ·

Xn
 P
n
a .X
 j=1 1j j

  ..
= .
 n
 P
akj .Xj

j=1


Xk1
..  et Y = 
.  (n,1) 
Xkn

Ê (X1 .Y )

 ..
Applications : Ê (X.Y ) ≡  .
=
(k,1)
Ê (Xk .Y )
X tY
n
a11 · · ·
 ..
..
A . B = .
.
(k,n) (n,m)
ak1 · · ·
 
a1n
..  . 
.  
akn
b11 · · ·
..
..
.
.
bn1 · · ·
Yn
; X ≡
(1,k)
Produit de deux matrices A et B

Y1
..
.
b1m
..
.
bnm







 P
n
X .Y
 j=1 1j j

 .

 → X t Y =  ..
 n
(k,1)
 P
Xkj .Yj

j=1
¡
X1 · · ·
Xk
¢
 P
n
a b
···
 j=1 1j j1

 
..
..
=
.
 n .
 P
akj bj1 · · ·

j=1
=







et X
n
n
P
a1j bjm
j=1
n
P
j=1
..
.
akj bjm







Statistiques et Econométrie - chapitre 4: Régression linéaire
¶t
µ
A . B
= B t . At
Propriété :
(k,n) (n,m)
(m,n) (n,k)

 


X11 · · ·
X11 · · · Xk1
X11 · · · X1n



 ..

.
.
.
.
.
..
t
..
..  → X .X =  ..
..
..  .  ...
Application : X =  .
.
(n,k)
(k,n)(n,k)
X1n · · · Xkn
Xk1 · · · Xkn
X1n · · ·

 P
n
n
P
2
¡ ¢


X1j
X1j Xkj
···

 j=1
Ê X12
· · · Ê (X1 Xk )
j=1






..
..
..
..
..
..
X t .X = 
 = n. 

.
.
.
.
.

 n .
(k,n)(n,k)
¡
¢
n
2
P

 P
Ê Xk
Ê (Xk X1 ) · · ·
2
Xkj X1j · · ·
Xkj
j=1
j=1


1 ··· 1


eet =  ... . . . ... 
1 ··· 1
37

Xk1
.. 
. 
Xkn
Matrice de variance-covariance d’un vecteur X

X1
¡
¢


X =  ...  → V (X) = E (X − EX)t . (X − EX) =
(n,1)
Xn

(X−EX)t .(X−EX)
n−1
Statistiques descriptives sur un ensemble de variables

X11 · · ·
 ..
..
Matrice de données : X =  .
.
(n,k)
X1n · · ·

Xk1
.. 
. 
Xkn

X11 − X1 · · · Xk1 − Xk


..
..
eet X
ee
..
Matrice des données centrées : X − eX
X=

.
.
.
n =X− n
n
X1n − X1 · · · Xkn − Xk

n ¡
n ¡
¢2
¢¡
¢ 
P
P
X1j − X1
X1j − X1 Xkj − Xk
···


j=1
j=1

³
´t ³
´ 


.
.
eX
..
.
.
SXX = X − eX
X
−
=


.
.
.
n
n

 n
n ¡
¢¡
¢
¢2
P

 P¡
Xkj − Xk X1j − X1 · · ·
Xkj − Xk
j=1
j=1


d (X1 , Xk )
V̂ (X1 )
· · · Cov


..
..
..
= n. 

.
.
.
d
V̂ (Xk )
Cov (Xk , X1 ) · · ·
³
= I−
Opérations vectorielles sur espérance et variance
E (A.X) = A.E (X)
t
t .A.(X−EX)
V (A.X) = (X−EX) .A
n−1
V (X.B) =
B t (X−EX)t (X−EX)B
n−1
= B t V (X) B
´
t
