Econométrie 1 : TD 2

Master M.A.E.F., 2016-2017
1
Econométrie 1 : TD 2
REGRESSION LINEAIRE MULTIPLE
Exercice 1.
Soit (z1 , y1 ), · · · , (zn , yn ) des réels. On effectue une régression linéaire simple des yi en fonction des zi .
1. Réécrire le modèle sous forme matricelle : Y = Xθ + ε en précisant qui est qui.
bµ
2. Calculer l’estimateur θb et retrouver les formules vues pour β,
b.
Exercice 2. (*) QCM
Nous avons effectué une régression multiple (une des variables explicatives est la constante).
1. La somme des résidus calculés vaut :
(a) 0
(b) Approximativement 0.
(c) Parfois 0.
2. Le vecteur Yb est-il orthogonal au vecteur des résidus estimés εb ?
(a) Oui.
(b) Non.
3. Un estimateur de la variance de θb est
(a) σ 2 (X 0 X)−1 .
c2 (X 0 X)−1 .
(b) σ
c2 (XX 0 )−1 .
(c) σ
4. Le calcul de la SCR a donné la valeur notée SCR1. Une variable est ajoutée, le calcul de la SCR a
donnée SCR2. Nous savons
(a) SCR1 ≤ SCR2.
(b) SCR1 ≥ SCR2.
(c) Cela dépend de la variable ajustée.
Exercice 3. (*)
Soit Y qui suit le modèle suivant
Y = Xθ + ε
(0.1)
avec les εi des v.a.i.i.d. centrées de variance constante. Soit T ∈ IRn un vecteur déterministe. Montrer que
IE (kT − Y k2 ) = nσ 2 + kT − Xθk2 .
Exercice 4. (*) Deux variables explicatives
On examine l’évolution d’une variable réponse yi en fonction de deux variables explicatives xi et zi . Soit
X = (1 x z) la matrice n × 3 du plan d’expérience.
Master M.A.E.F., 2016-2017
2
1. Nous avons obtenu :


25 0
0
X 0 X =  ? 9.3 5.4  ,
?
? 12.7
(X 0 X)−1


0.04
0
0
0.1428 −0.0607
= 0
0
−0.0607 0.1046
(a) Donner les valeurs manquantes.
(b) Que vaut n ?
(c) Calculer le coefficient de corrélation empirique entre x et z.
2. La régression linéaire de Y sur (1, x, z) donne :
Y = −1.611 + 0.61x + 0.46z + εb,
SCR = kb
εk2 = 0.3
Déterminer la moyenne empirique y. Calculer la somme des carrés expliquée et totalement, ainsi que
R2 , Ra2 .
Exercice 5. (**) Théorème de Gauss-Markov
On se propose de montrer dans cet exercice que, pour Y qui suit le modèle linéaire (0.1) avec les εi des
v.a.i.i.d. centrées de variance constante, l’estimateur des moindres carrés θb est optimal parmi les estimateurs
linéaires sans biais.
L’optimalité veut dire que si θe est un autre estimateur linéaire sans biais :
e − Var (θ)
b est une matrice semi-définie positive,
Var (θ)
ou encore, ce qui est équivalent, que pour toute combinaison linéaire C 0 · θ des paramètres,
e ≥ Var (C 0 · θ).
b
Var (C 0 · θ)
1. Posons θe = M · Y où M est une matrice de taille (k, n). Montrer que M · X = In .
2. écrire θb = T · P[X] Y , et montrer que M · P[X] = T · P[X] .
3. Montrer que θe = θb + M · P[X]⊥ Y , la somme étant non-corrélée. Conclure.
Exercice 6. (**)
1. Nous considérons le modèle de régression linéaire Y = Xθ + ε avec : Y ∈ Rn , X ∈ Mn,p (R) de rang p,
θ ∈ Rp , ε ∼ N (0, σ 2 In ).
(a) Quelle est l’interprétation géométrique de Yb = X θb ?
b
(b) Donner θb et calculer son esprérance et sa matrice de covariance de θ.
c2 sont indépendants et que (n − p)σ
c2 /σ 2 ∼ χ2 (n − p).
(c) Montrer que θb et σ
2. Considérons un modéle avec 4 variables explicatives (la première étant la constante). Nous avons
observé :




100 20 0 0
−60
 20 20 0 0


 , X 0 Y =  20  , Y 0 Y = 159.
X 0X = 
 0


0 10 0
10 
0
0 0 1
1
(a) Estimer θ, σ 2 .
b
(b) Donner un estimateur de la variance de θ.
(c) Donner un intervalle de confiance pour β2 au niveau 95%.
Master M.A.E.F., 2016-2017
3
Exercice 7. (**) [Test de runs] Ce test est utilisé pour tester la présence ou non de corrélations dans les
εi . On commence d’abord par le décrire dans le cas où l’on observe des variables aléatoires Y1 , . . . , Yn dont
on veut tester l’indépendance. On les suppose de médiane zéro. On compte parmi Y1 , · · · , Yn le nombre R de
"paquets" (ou "runs") de (Yi ) consécutifs ayant le même signe.
Par exemple, si Y1 , . . . , Y9 = (1.1, 1.3, −2, −1, 4.5, 1.6, −2.7, −1.3, 4), il y a 5 runs pour n = 9 données.
1. Montrer que si on suppose qu ’aucun des Yi n’est nul, alors :
R=1+
n−1
X
1IYi Yi+1 <0 := 1 +
i=1
n−1
X
Zi
i=1
2. On suppose que les Yi sont indépendantes et de loi diffuse (c’est-à-dire absolument continue par rapport
n+1
à la mesure de Lebesgue). Montrer que IE (R) =
,
2
3. Montrer que si |i − j| > 1, Zi et Zj sont indépendantes. Montrer que Zi et Zi+1 sont également
indépendantes. En déduire Var (R).
4. En utilisant le théorème de la limite centrale, construire pour des grands échantillons une statistique
libre qui suit une loi normale centrée réduite sous l’hypothèse H0 d’indépendance et qui tend vers ±∞
sous les alternatives H1 d’intrication et de répulsion. Nous laissons au lecteur le soin de deviner le sens
de ces deux derniers mots.
Remarque : Pour ce qui est du test de l’indépendance des erreurs dans un modèle linéaire, on appliquera
le test de runs aux estimateurs εbi en négligeant leurs liaisons (toujours présentes, même sous l’hypothèse
d’indépendance des εi ) et en négligeant le fait que leur médiane n’est qu’approximativement nulle. Il existe
d’autres versions de ce test sous des hypothèses d’échangeabilité.
Références :
Cours Master 2 Rennes Regression linéaire. A. Guyader.
Livre La régression linaire par l’exemple J-M. Azaïs & J-M. Bardet