Modèle de régression linéaire multiple

14/09/2013
Claudio Araujo, CERDI 1
Introduction à l’économétrie
III. Modèle de régression linéaire multiple
Claudio Araujo
CERDI, Université d’Auvergne
Clermont-Ferrand, France
www.cerdi.org
http://www.cerdi.org/claudio-araujo/perso/
1. Spécification du modèle et estimateurs
a) Spécification sous forme matricielle
•Dans un modèle de régression multiple, il existe kvariables
explicatives, y compris la constante.
–Par exemple, la demande d’essence dépend du prix de l’essence, des
transports publics, du revenu, …
•Le modèle de régression multiple est plus flexible pour expliquer la
variable dépendante. On peut contrôler les autres facteurs
influençant la variable expliquée et éviter un biais d’omission. On
mesure mieux l’effet partiel de chacune des variables explicatives.
•L’inclusion de variables non pertinente fortement corrélées avec
les autres variables explicatives conduit à la multicolinéarité et
rend les tests d’inférence statistiques imprécis.
Licence 3
iiKKiii
x...xxy
ε
+
β
+
+
β
+
β
=
2211
Écriture matricielle :
( ) ( ) ( ) ( )
11
1××
×
×
ε+β=
NK
KN
N
XY
=
N
y
y
y
YM
2
1
=
NKNN
K
K
xxx
xxx
xxx
X
L
MMM
L
L
21
22221
11211
β
β
β
=β
K
M
2
1
=
==
=
N
ε
ε
ε
εM
2
1
1. Spécification du modèle et estimateurs
Licence 3
b) Calcul des estimateurs
On cherche à minimiser
la somme des erreurs
au carré entre Y et
Υ
ˆ
(
)
( ) ( ) ββεε Χ−Υ
′
Χ−Υ=
′minmin
02
022
2
>
′
=
∂
′
∂∂
=
′
+
′
−=
∂
∂
XX
O
XXYX
O
ββ
β
β
β
ββ
β = (X’X)-1 X’ Y
^
Condition de premier ordre
Condition de second ordre
(matrice hessienne)
β
ββ
β = (X’X)-1 X’(X β
ββ
β + ε
ε ε
ε )
^
β
ββ
β = β
ββ
β + (X’X)-1 X’ ε
εε
ε
^
β
ββ
β – β
ββ
β = (X’X)-1 X’ ε
εε
ε
^
1. Spécification du modèle et estimateurs

14/09/2013
Claudio Araujo, CERDI 2
Licence 3
c) Multicolinéarité
•Le problème de la multicolinéarité parfaite (singular matrix)
–Une des variables est une combinaison linéaire parfaite des autres variables
explicatives.
–Pas un problème de données mais plutôt une erreur de spécification du
modèle.
•Le problème de la multicolinéarité imparfaite : Symptômes
–Les variances estimées des coefficients sont élevées. Les variables
considérées individuellement ne sont pas significatives alors que
globalement elle le sont
–Changements notables dans les coefficients estimés lors d’une petite
modification d’échantillon
–Il y a présomption de multicolinéarité lorsque les coefficients de
détermination des variables deux à deux >R²
1. Spécification du modèle et estimateurs
Licence 3
•Le problème de la multicolinéarité imparfaite : Remèdes
–Une variable justifiée sur le plan théorique ne doit pas être
éliminée.
–L’élimination d’une variable corrélé avec les variables explicatives
entraîne le rejet de l’hypothèse d’orthogonalité.
–Remplacer les variables par une nombre plus faible de
combinaison linéaires.
–Ridge regression : régression basé sur l’erreur quadratique
moyenne d’un estimateur.
–Augmenter la taille de l’échantillon.
1. Spécification du modèle et estimateurs
Licence 3
Exercices pratiques
•Calculez la valeur des paramètres du modèle
suivant :
y = a0+ a1x1+ a2x2+ e
Soit les matrices suivantes :
( ) ;
3.45.60.1
5.60.15.3
0.15.30.2
1
−
−
=
′
−
XX ( ) 96.10;
6.0
2.2
0.3 =
′
−
=
′eeyX
Licence 3
2. Hypothèses de base d’un modèle
économétrique
a) Hypothèses stochastiques
Hypothèse A :
Hypothèse B :
Hypothèse C :
ε
isuit une distribution normale :
L’espérance mathématique de ε est nulle :
∀i,E(εi) = 0
N(µ , σ²)
La variance de ε est constante :
∀i , V( ε
i) = E(
ε
i²) = σ²
Hypothèse
d’HOMOSCEDASTICITE

14/09/2013
Claudio Araujo, CERDI 3
Licence 3
2. Hypothèses de base d’un modèle économétrique
Hypothèse D :
Hypothèse E :
Les termes aléatoires sont indépendants
(covariance nulle) :
Les écarts aléatoires sont indépendants des
variables explicatives
∀i ≠ j,E( ε
i
ε
j) = 0
Cov(xi,εi) = 0 ⇒E(X ′ ε) = 0
Hypothèse d’ORTHOGONALITÉ
Hypothèse d’INDÉPENDANCE
SERIELLE DES ECARTS
Licence 3
2. Hypothèses de base d’un modèle économétrique
Hypothèses
C + D :
Matrice variance - covariances des
écarts aléatoires :
( ) ( )
=
′
=
²00
0²0
00²
σ
σ
σ
εεε
L
OM
L
L
EV
Ω=Ι=
N
22
100
010
001
σσ
L
MOM
L
L
Matrice Identité
Licence 3
b) Hypothèses structurelles
2. Hypothèses de base d’un modèle économétrique
Hypothèse F :
Hypothèse G :
Pas de restriction a priori sur la
valeur des coefficients estimés
La matrice X est de rang K,
Rg(X)=K, plein rang colonne
Les variables X sont bornées dans leur ensemble
Nombre d’observations et nombre de paramètres
Multicolinéarité
Hypothèse I : La matrice des variables X est
non stochastique
Variables stationnaires
Hypothèse H :
Licence 3
c) Caractéristiques de la variable expliquée
•L’ensemble des hypothèses stochastiques et structurelles
permettent de caractériser l’espérance, la variance et la
distribution de probabilité de la variable expliquée.
2. Hypothèses de base d’un modèle économétrique
Espérance
conditionnelle
Variance
conditionnelle
Distribution
conditionnelle
(
)
β=ε X,XYE
(
)
(
)
Ω=Ι=
′
=
N
EXYV
2
σεε
(
)
Ω> ,~ β XNXY

14/09/2013
Claudio Araujo, CERDI 4
Licence 3
Y
X
Résidu
i ε
ˆ
iy
ˆ
Écarts
aléatoires
i
ε
(
)
iyE
yi
xi
Population
(
)
β XYE =
Échantillon
β
ˆ
ˆXY=
2. Hypothèses de base d’un modèle économétrique
Licence 3
3. Propriétés des estimateurs
a) L’estimateur existe
•Linéarité du modèle par rapport aux paramètres
•Possibilité d’effectuer un échantillonnage aléatoire sur les
variables X et Y
•Absence de colinéarité parfaite entre les variables X
–Un haut degré de colinéarité entre les variables explicatives
induit de la multicolinéarité
–N > K
Licence 3
3. Propriétés des estimateurs
b) Estimateur sans biais
•L’erreur conditionnelle est nulle en moyenne
(
)
(
)
( )
( ) ( )
εββ
εββ
EXXXE
XXXEE
′′
+=
′′
+=
−
−
1
1
ˆ
ˆ
D’après l’hypothèse B : E( ε ) = 0
(
)
ββ =
ˆ
E
Licence 3
3. Propriétés des estimateurs
•L’omission d’une variable explicative importante conduit à un
biais d’omission.
•L’importance du biais dépend de la dépendance entre la
variable omisse et les variables explicatives incluses dans la
régression.
•Supposons deux modèles :
•Le biais du paramètre est donnée par :
•Le biais est d’autant plus négligeable que
–L’effet partiel de x3sur yest négligeable
–Les variables x2et x3sont faiblement corrélées
–La variance de x2est élevée
é)dimensionn-sous (modèle
~
~~ modèle) (vrai
ˆ
ˆˆˆ
221
33221
iii
iiii
xy
xxy
εββ
εβββ
++=
+++=
(
)
2
,
322
2
32
~
x
xx
E
σ
σ
βββ =−

14/09/2013
Claudio Araujo, CERDI 5
Licence 3
3. Propriétés des estimateurs
•Signe attendu du biais
•Estimateur biaisé et convergence (consistance)
–Asymptotiquement (lorsque N → ∞) un estimateur
convergent (« consistant ») donne une estimation égale à
la valeur vraie du paramètre.
–Un estimateur sans biais est nécessairement convergent
(« consistant ») – l’inverse n’est pas vrai.
σx2,x3 > 0 σx2,x3 < 0
β3> 0 Biais Positif Biais Négatif
β3< 0 Biais Négatif Bias Positif
Licence 3
c) Estimateur efficace
•Un estimateur est efficace si la variance est la plus
faible par rapport à n’importe quel autre estimateur
linéaire sans biais ou biaisé.
•Un estimateur efficace peut être biaisé.
•Dans certaines circonstances, il peut être préférable de
choisir un estimateur biaisé (plutôt que sans biais) s’il a
la variance minimale.
3. Propriétés des estimateurs
(
)
(
)
( )( )
′
−−=
−==
ββββ
βββ
β
ˆˆ
ˆˆ
2
2
E
ESV
Licence 3
D’après l’hypothèse C (homoscédasticité) :
( ) ( )
( )
1
2
11
2
2
−
−−
′
=
′′′
=
XX
XXXXXXS
σ
σ
β
Paramètre inconnu
3. Propriétés des estimateurs
Estimation de σ² à partir de la variance des résidus
βε XYYY −=−= ˆ
ˆ
Démonstration ABC
page 50 - 51
Licence 3
En considérant les hypothèses C et D :
Somme carrés des
résidus – SCR
(
)
(
)
2
ˆˆ
σεε KNE −=
′
( )
(
)
εεσ
ˆˆ
1
ˆ
2
′
−
=KN
( )
(
)
(
)
ββσ
ˆˆ
1
ˆ
2
XYXY
KN −
′
−
−
=
Degrés de liberté – ddl
( )
1
2
2
ˆ
ˆ
−
′
=XXS σ
β
Estimateur sans biais de
la matrice Var-Cov des
paramètres estimés
Estimateur de la
variance des écarts
3. Propriétés des estimateurs