Introduction à l'économétrie : Chapitre de régression linéaire multiple

Introduction à l’économétrie S6-LEF sc. éco. & gestion Prof. Mohamed El Merouani
1
Chapitre 2 : REGRESSION LINÉAIRE MULTIPLE
Plan du Chapitre :
I.- Position du problème
II.- Hypothèses d’application de la Méthode de moindres carrées
III.- Estimation des composants du vecteur A
IV.- Espérance mathématique et matrices des variances covariances des estimateurs
…à suivre…
I.- Position du problème :
Le modèle de régression linéaire multiple est de la forme :
ε
+
+
+
+
=
kk XaXaXaY L 2211 ,
où Y est la variable à expliquer,.
X1,X2,…,Xk ce sont les variables explicatives.
a1,a2,…,ak ce sont les paramètres du modèle.
ε est l’erreur aléatoire, inconnue et centrée.
Les variables Y, X1,X2,…,Xk et ε sont des vecteurs de n composantes.
= = = =
n
i
nk
ik
k
k
k
n
i
n
i
x
x
x
x
X
x
x
x
x
X
y
y
y
y
Y
ε
ε
ε
ε
ε
M
M
M
M
LLL
M
M
M
M
2
1
2
1
1
1
21
11
1
2
1
;;;;
Le vecteur aléatoire Y est connu. Les vecteurs X1,X2,…,Xk sont connus et non aléatoires.
Résoudre le problème consiste en estimer les paramètres a1,a2,…,ak qui sont inconnus. Notons
par k
aaa ˆ ,,
ˆ
,
ˆ21 Lleurs estimateurs. Le modèle s’écrit, alors :
+ ++ =
n
i
nk
ik
k
k
k
n
i
n
i
x
x
x
x
a
x
x
x
x
a
y
y
y
y
ε
ε
ε
ε
M
M
M
M
LL
M
M
M
M
2
1
2
1
1
1
12
11
1
2
1
www.elmerouani.jimdo.com
®El Merouani FP Tetouan

Introduction à l’économétrie S6-LEF sc. éco. & gestion Prof. Mohamed El Merouani
2
ou encore sous forme matricielle,
+ =
nknknn
k
k
n
ia
a
a
xxx
xxx
xxx
y
y
y
y
ε
ε
ε
MM
L
MOM
L
L
M
M2
1
2
1
21
22221
112112
1
Soit finalement, en posant,
=
nknn
k
k
xxx
xxx
xxx
X
L
MOM
L
L
21
22221
11211
et
=
k
a
a
a
AM
2
1
sous forme d’une équation matricielle :
ε
+
=
XAY
Matrices de types (n,1)=(n,k)(k,1)+(n,1)
Remarquons qu’un modèle écrit sous forme non homogène, c'est-à-dire avec un terme
constant :
ε
+
+
+
+
+
=
kk XaXaXaaY L 22110
Revient au cas général précédent en supposant que la constante a0 est multipliée par un
vecteur unitaire X0 :
ε
+
+
+
+
+
=
kk XaXaXaXaY L 221100
La matrice X admet, alors, une colonne complètement des « 1 » :
=
nkn
k
k
xx
xx
xx
X
L
MOM
L
L
1
221
111
1
1
1
et
=
k
a
a
a
AM
1
0
Par la suite, nous allons considérer le cas homogène et nous allons estimer les termes du
vecteur A en appliquant la méthode des moindres carrées.
www.elmerouani.jimdo.com
®El Merouani FP Tetouan

Introduction à l’économétrie S6-LEF sc. éco. & gestion Prof. Mohamed El Merouani
3
II.- Hypothèses d’application de la méthode des moindres carrées :
On suppose que :
1°) Le nombre des composantes (n) est plus grand que le nombre des variables explicatives
(k) : n>k.
Les variables explicatives sont connues et non-aléatoires. En d’autres termes, commençant de
nouveau par l’échantillonnage, l’unique source de variation pour Y provient de l’erreur
aléatoire ε.
2°) La matrice X de type (n,k) est de rang k, c'est-à-dire que aucune variable explicative n’est
linéairement dépendante des autres.
Dans le cas où le rang de X est inférieur à k, la procédure d’estimation n’est plus valable. En
effet, le rang de la matrice X’X, ou X’ désigne la matrice transposée de X, est alors inférieur à
k, et la matrice (X’X)-1, matrice inverse de X’X n’existe pas.
3°) L’espérance mathématique du vecteur résiduel ε est nulle :
E(ε)=0 (hypothèse fondamentale)
Le zéro représente le vecteur 0 de n composantes. En effet, pour tout i, on a E(εi)=0, c'est-à-
dire :
(
)
( )
( )
( ) 0
0
0
0
0
0
0
2
1
2
1
=⇔ = ⇔
=
=
=
ε
ε
ε
ε
ε
ε
ε
EE
E
E
E
nn
M
MM
4°) L’espérance mathématique de la matrice formée par le produit du vecteur ε et de sa
transposée ε’ est égale à σ2I, où pour tout i,
(
)
22 i
E εσ =
et où I est la matrice identité de type
(n,n).
En effet,
( )
= =
′
2
21
2
2
212
121
2
1
21
2
1
,,,
nnn
n
n
n
n
εεεεε
εεεεε εεεεε
εεε
ε
ε
ε
εε
L
MOM
L
L
L
M
de types (n,1) (1,n) (n,n)
Alors, l’espérance de cette matrice sera :
www.elmerouani.jimdo.com
®El Merouani FP Tetouan

Introduction à l’économétrie S6-LEF sc. éco. & gestion Prof. Mohamed El Merouani
4
ε
εεεεε
εεεεε εεεεε
εε
Ω= =
′
)()()(
)()()(
)()()(
)(
2
21
2
2
212
121
2
1
nnn
n
n
EEE
EEE
EEE
E
L
MOM
L
L
Cette matrice est la matrice des variances-covariances des erreurs que l’on note Ωε.
Mais, par l’hypothèse d’homoscédasticité, on a : 222
2
2
1
)()()( σεεε ====
n
EEE L
et par l’hypothèse de non-corrélation des erreurs :
jisiE
ji
≠= ,0)( εε
D’où
IE 22
2
2
2
100
0
10
001
00
0
0
00
)( σσ
σ
σ
σ
εε
= = =
′
L
OOM
MO
L
L
OOM
MO
L
Finalement,
IE
2
)( σεε ε =Ω=
′
.
III.- Estimation des composants du vecteur A :
Soit le modèle Y=XA+ε, où ε est une variable aléatoire inconnue.
Soit
A
ˆle vecteur estimateur de A.
Le modèle estimé est alors : .
ˆ
ˆAXY
=
Désignons par e le résidu qui existe entre la valeur réelle de Y et la valeur estimé
Y
ˆ :
AXYYYe
ˆ
ˆ
−=−=
Le vecteur e est un vecteur colonne de n composantes e1, e2, …,en.
Calculons selon la méthode des moindres carrées, la somme des carrées des résidus :
eee
n
ii. 1
2′
=
∑
=
où e
′
est le vecteur ligne transposée de
e
.
On a :
(
)
(
)
∑
=−
′
−=
n
iiAXYAXYe 1
2ˆˆ
or
(
)
(
)
XAYAXYAXY ′′ −
′
=
′
−
′
=
′
−ˆˆˆ
www.elmerouani.jimdo.com
®El Merouani FP Tetouan

Introduction à l’économétrie S6-LEF sc. éco. & gestion Prof. Mohamed El Merouani
5
alors
(
)
(
)
AXXAYXAAXYYYAXYXAYe
n
iiˆˆˆˆˆˆ 1
2′′
+
′′
−
′
−
′
=−
′′
−
′
=
∑
=
les termes de cette somme sont des matrices de type (1,1), c'est-à-dire des scalaires. Or, la
transposée d’un scalaire est le même scalaire. Ainsi,
(
)
′
′
=
′AXYAXY ˆˆ
de type (1,n)(n,k)(k,1)=(1,1)
mais aussi
(
)
( ) YXAYXAAXY ′′ =
′
′′′
=
′
′ˆˆˆ
Finalement AXXAYXAYYe
n
iiˆˆˆ
2
1
2′′
+
′′
−
′
=
∑
=
Le 2ème terme du 2ème membre est une forme linéaire en
A
′
ˆ, le 3ème est une forme quadratique
en
A
ˆ (la matrice X’X est une matrice de type (k,k) symétrique).
Pour déterminer le minimum de ∑
=
n
ii
e
1
2, nous la dérivons par rapport au paramètre à estimer
A
ˆ
On a :
YX
A
YXA ′
=
∂
′′
∂ˆ)
ˆ
(
et
AXX
A
AXXA ˆ
2
ˆ)
ˆˆ
(′
=
∂
′′
∂
Donc, la dérivée de la somme des carrées des résidus est :
( )
AXXYX
A
e
n
iiˆ
22
0
ˆ
1
2
′
+
′
−=
∂
∂∑
=
Alors ;
( )
YXAXX
A
e
n
ii′
=
′
⇔=
∂
∂∑
=ˆ
0
ˆ
1
2
Si la matrice X est de rang k, la matrice (X’X)-1 existe, alors ;
(
)
YXXXA ′′ =
−1
ˆ
Le vecteur
A
ˆ
est aléatoire. En effet, si on remplace Y par sa valeur Y=XA+ε, on aura :
(
)
(
)
ε +
′′
=
−
XAXXXA
1
ˆ
(
)
(
)
ε XXXAXXXXA ′′ +
′′
=
−− 11
)(
ˆ
(
)
ε XXXAA ′′ +=
−1
ˆ
Le vecteur
A
ˆ
dépend linéairement du vecteur aléatoire ε.
www.elmerouani.jimdo.com
®El Merouani FP Tetouan