Econométrie 1 : TD 2

Master M.A.E.F., 2016-2017 1
Econométrie 1 : TD 2
REGRESSION LINEAIRE MULTIPLE
Exercice 1.
Soit (z1, y1),· · · ,(zn, yn)des réels. On effectue une régression linéaire simple des yien fonction des zi.
1. Réécrire le modèle sous forme matricelle : Y=Xθ +εen précisant qui est qui.
2. Calculer l’estimateur b θet retrouver les formules vues pour b β, bµ.
Exercice 2. (*) QCM
Nous avons effectué une régression multiple (une des variables explicatives est la constante).
1. La somme des résidus calculés vaut :
(a) 0
(b) Approximativement 0.
(c) Parfois 0.
2. Le vecteur b Yest-il orthogonal au vecteur des résidus estimés bε?
(a) Oui.
(b) Non.
3. Un estimateur de la variance de b θest
(a) σ2(X0X)−1.
(b) c σ2(X0X)−1.
(c) c σ2(XX0)−1.
4. Le calcul de la SCR a donné la valeur notée SCR1. Une variable est ajoutée, le calcul de la SCR a
donnée SCR2. Nous savons
(a) SCR1≤SCR2.
(b) SCR1≥SCR2.
(c) Cela dépend de la variable ajustée.
Exercice 3. (*)
Soit Yqui suit le modèle suivant
Y=Xθ +ε(0.1)
avec les εides v.a.i.i.d. centrées de variance constante. Soit T∈IRnun vecteur déterministe. Montrer que
IE (kT−Yk2) = nσ2+kT−Xθk2.
Exercice 4. (*) Deux variables explicatives
On examine l’évolution d’une variable réponse yien fonction de deux variables explicatives xiet zi. Soit
X= (1x z)la matrice n×3du plan d’expérience.

Master M.A.E.F., 2016-2017 2
1. Nous avons obtenu :
X0X=
25 0 0
? 9.3 5.4
? ? 12.7
,(X0X)−1=
0.04 0 0
0 0.1428 −0.0607
0−0.0607 0.1046
(a) Donner les valeurs manquantes.
(b) Que vaut n?
(c) Calculer le coefficient de corrélation empirique entre xet z.
2. La régression linéaire de Ysur (1, x, z)donne :
Y=−1.611+ 0.61x+ 0.46z+bε, SCR =kbεk2= 0.3
Déterminer la moyenne empirique y. Calculer la somme des carrés expliquée et totalement, ainsi que
R2,R2
a.
Exercice 5. (**) Théorème de Gauss-Markov
On se propose de montrer dans cet exercice que, pour Yqui suit le modèle linéaire (0.1) avec les εides
v.a.i.i.d. centrées de variance constante, l’estimateur des moindres carrés b θest optimal parmi les estimateurs
linéaires sans biais.
L’optimalité veut dire que si e θest un autre estimateur linéaire sans biais :
Var (e θ)−Var (b θ)est une matrice semi-définie positive,
ou encore, ce qui est équivalent, que pour toute combinaison linéaire C0·θdes paramètres,
Var (C0·e θ)≥Var (C0·b θ).
1. Posons e θ=M·Yoù Mest une matrice de taille (k, n). Montrer que M·X=In.
2. écrire b θ=T·P[X]Y, et montrer que M·P[X]=T·P[X].
3. Montrer que e θ=b θ+M·P[X]⊥Y, la somme étant non-corrélée. Conclure.
Exercice 6. (**)
1. Nous considérons le modèle de régression linéaire Y=Xθ +εavec : Y∈Rn,X∈ Mn,p(R)de rang p,
θ∈Rp,ε∼ N (0, σ2In).
(a) Quelle est l’interprétation géométrique de b Y=Xb θ?
(b) Donner b θet calculer son esprérance et sa matrice de covariance de b θ.
(c) Montrer que b θet c σ2sont indépendants et que (n−p)c σ2/σ2∼χ2(n−p).
2. Considérons un modéle avec 4 variables explicatives (la première étant la constante). Nous avons
observé :
X0X=
100 20 0 0
20 20 0 0
0 0 10 0
0 0 0 1
, X0Y=
−60
20
10
1
, Y 0Y= 159.
(a) Estimer θ,σ2.
(b) Donner un estimateur de la variance de b θ.
(c) Donner un intervalle de confiance pour β2au niveau 95%.

Master M.A.E.F., 2016-2017 3
Exercice 7. (**) [Test de runs] Ce test est utilisé pour tester la présence ou non de corrélations dans les
εi. On commence d’abord par le décrire dans le cas où l’on observe des variables aléatoires Y1, . . . , Yndont
on veut tester l’indépendance. On les suppose de médiane zéro. On compte parmi Y1,· · · , Ynle nombre Rde
"paquets" (ou "runs") de (Yi)consécutifs ayant le même signe.
Par exemple, si Y1, . . . , Y9= (1.1,1.3,−2,−1,4.5,1.6,−2.7,−1.3,4), il y a 5runs pour n= 9 données.
1. Montrer que si on suppose qu ’aucun des Yin’est nul, alors :
R= 1 +
n−1
X
i=1
1IYiYi+1<0:= 1 +
n−1
X
i=1
Zi
2. On suppose que les Yisont indépendantes et de loi diffuse (c’est-à-dire absolument continue par rapport
à la mesure de Lebesgue). Montrer que IE (R) = n+ 1
2,
3. Montrer que si |i−j|>1,Ziet Zjsont indépendantes. Montrer que Ziet Zi+1 sont également
indépendantes. En déduire Var (R).
4. En utilisant le théorème de la limite centrale, construire pour des grands échantillons une statistique
libre qui suit une loi normale centrée réduite sous l’hypothèse H0d’indépendance et qui tend vers ±∞
sous les alternatives H1d’intrication et de répulsion. Nous laissons au lecteur le soin de deviner le sens
de ces deux derniers mots.
Remarque : Pour ce qui est du test de l’indépendance des erreurs dans un modèle linéaire, on appliquera
le test de runs aux estimateurs bεien négligeant leurs liaisons (toujours présentes, même sous l’hypothèse
d’indépendance des εi) et en négligeant le fait que leur médiane n’est qu’approximativement nulle. Il existe
d’autres versions de ce test sous des hypothèses d’échangeabilité.
Références :
Cours Master 2 Rennes Regression linéaire. A. Guyader.
Livre La régression linaire par l’exemple J-M. Azaïs & J-M. Bardet