Exercices de statistiques mathématiques

Exercices de statistiques mathématiques
Guillaume Lecué
15 septembre 2016
Table des matières
1 Rappels de probabilités 1
2 Vraisemblance, EMV, IC, Information de Fisher 15
3 Tests 22
4 Modèle de régression 26
5 Examen du lundi 26 octobre 2015 32
6 Rattrapage 2015-2016 36
1 Rappels de probabilités
**********************
Exercice 1.1 (Théorème de la limite centrale)
Soit (Xn)nune suite de variables aléatoires i.i.d. centrées de variance σ2>1. Soit
Zn=1
σ√n
n
X
j=1
Xj.
Par le théorème de la limite centrale, cette variable converge en loi vers la loi normale
centrée réduite, c’est-à-dire, pour tout t∈R, on a limn→+∞E[eitZn] = e−t2
2. L’objet de cet
exercice est de montrer que la suite Znne peut pas converger en probabilité.
1. Calculer la fonction caractéristique de Z2n−Znet montrer que cette différence
converge en loi.
2. En étudiant P(|Z2n−Zn| ≥ ), montrer que Znne converge pas en probabilité.
**********************
Correction de l’exercice 1.1 L’objectif de cet exercice est de manipuler les différents types de
convergence. On commence donc par rappeler les différentes convergences en probabilités. Soit (Xn)
une suite de variables aléatoires et Xune autre variable aléatoire. On dit que :
1

ENSAE Statistiques mathématiques
—(Xn)converge presque surement vers Xquand {ω∈Ω : lim Xn(ω) = X(ω)}est de mesure 1(on
vérifiera que cet ensemble est bien mesurable).
—(Xn)converge en probabilité vers Xquand pour tout  > 0,P|Xn−X| ≥ →0quand ntend
vers +∞.
—(Xn)converge en loi vers Xquand pour toute fonction continue bornée fon a Ef(Xn)→Ef(X).
— si p≥1, on dit que (Xn)converge dans Lpvers Xquand E|Xn−X|p→0quand ntend vers
+∞.
On a les implications suivantes :
[cv presque sure] (1)
=⇒
[cv en proba] (2)
=⇒
[cv en loi]
(3) ⇑
[cv dans Lp]
Démo et contre-exemple de “(1)
=⇒
” : Soit  > 0. On a {Xn→X} ⊂ liminfn{|Xn−X| ≤ }. En
passant, au complémentaire, on a :
0≤limsupnP|Xn−X|> ≤P[limsupn{|Xn−X|> }]
=Pliminfn{|Xn−X| ≤ }c≤0.
Il n’y a pas équivalence dans “(1) ⇒”. Voici une exemple d’une suite qui converge en probabilité
mais pas presque surement : (Xn)des v.a. indépendantes telles que
P[Xn= 1] = 1
net P[Xn= 0] = 1 −1 n.
La suite (Xn)converge en probabilité vers 0car pour tout n, on P[|Xn|> ] = P[Xn= 1] = 1/n. Mais
elle ne converge pas presque surement vers car on a PnP({Xn= 1}) = ∞donc d’après le “second
lemme de Borel-Cantelli” (les événements ({Xn= 1})sont indépendants), on a P[limsupn{Xn= 1}] =
1. Notamment, (Xn)ne converge pas presque surement vers 0.
Démo et contre-exemple de “(2)
=⇒
” : Soit fune fonction continue bornée. Soit  > 0et N∈N
tel que P|f(Xn)−f(X)| ≥ ≤(on rappel que si fest continue et (Xn)converge en probabilité
vers Xalors (f(Xn)) converge en probabilité vers f(X)). On a donc
Ef(Xn)−Ef(X)≤E(f(Xn)−f(X))I(|f(Xn)−f(X)| ≥ )
+E(f(Xn)−f(X))I(|f(Xn)−f(X)|< )
≤2kfk∞P|f(Xn)−f(X)| ≥ +≤2kfk∞+ 1.
La réciproque est trivialement fausse. Il suffit de prendre la suite stationnaire (Xn)où pour tout n,
Xn=goù gest une gaussienne. Comme gest symmétrique, −gest aussi distribuée comme g. Donc
(Xn)converge en loi vers get donc aussi vers −g. Par contre |Xn−(−g)|= 2|g|ne converge pas en
probabilité vers 0. Donc (Xn)ne converge par vers −gen probabilité.
Démo et contre-exemple de “(3) ⇑” : D’après l’inégalité de Markov, P|Xn−X≥|≤
−pE|Xn−X|p. Pour le contre-exemple, on prend Xnde loi (n−1δn2+ (1 −n−1)δ0). On a P[|Xn| ≥
1 RAPPELS DE PROBABILITÉS 2

ENSAE Statistiques mathématiques
]≤n−1donc (Xn)converge en probabilité mais E|Xn|=ndonc (Xn)ne converge pas dans L1vers
0.
Correction de l’exercice
1. Pour tout t∈R, on a par indépendance
Eexp(it(Z2n−Zn)) = Eexp it
σ√n1
√2−1n
X
j=1
ZjEexp it
σ√2n
2n
X
j=n+1
Zj.
En appliquant le TCL sur chacun des membres du produit, quand ntend vers l’infini, on obtient
que (Z2n−Zn)ntend vers une loi dont la fonction caractéristique est t7→ exp −t2(2 −√2)/2,
c’est donc une Gaussienne centrée de variance p2−√2.
2. Supposons que (Zn)converge en probabilité. Alors il existe une variable aléatoire Ztelle que
pour tout  > 0, on a P[|Zn−Z|> ]→0. Soit  > 0, on a
{|Z2n−Zn| ≥ 2} ⊂ {|Zn−Z| ≥ } ∪ {|Z2n−Z| ≥ }.
Alors, par une borne de l’union :
P|Z2n−Zn| ≥ 2≤P|Zn−Z| ≥ +P|Z2n−Z| ≥ 
et donc en passant à la limite, on obtient P|Z2n−Zn| ≥ 2→0. Donc (Z2n−Zn)nconverge en
probabilité vers 0. En particulier, cette suite converge en loi vers 0. Ce qui est en contradiction
avec 1..
**********************
Exercice 1.2 (Lemme de Slutsky)
1. Donner un exemple de suites (Xn)et (Yn)telles que Xn
loi
→Xet Yn
loi
→Y, mais Xn+Yn
ne converge pas en loi vers X+Y.
2. Soient (Xn),(Yn)deux suites de variables aléatoires réelles, Xet Ydes variables
aléatoires réelles, telles que
(i) Xn
loi
→Xet Yn
P
→Y,
(ii) Yest indépendante de (Xn)et X.
Montrer que le couple (Xn, Yn)converge en loi vers (X, Y ).
3. En déduire que si (Xn)et (Yn)sont deux suites de variables aléatoires réelles telles
que (Xn)converge en loi vers une limite Xet (Yn)converge en probabilité vers une
constante c, alors (Xn+Yn)converge en loi vers X+cet (XnYn)converge en loi vers
c X.
**********************
Correction de l’exercice 1.2
1 RAPPELS DE PROBABILITÉS 3

ENSAE Statistiques mathématiques
1. Soit (δn)une suite de v.a. i.i.d. de Bernoulli de moyenne 1/2(càd P[δn= 0] = P[δn= 1] =
1/2,∀n). D’après le TCL, on sait que
Xn:= 2
√n
n
X
i=1 δi−1/2 N(0,1).
On le démontre facilement, en utilisant le Théorème de Levy et en voyant que quand ntend vers
l’infini, pour tout t∈R,
Eexp 2it
√nn
X
i=1 δi−1/2=1
2exp −it
√n+ exp it √nn
=1−t2
2n+Ot3
n3/2n−→ exp −t2
2.
Soit gune variable Gaussienne standard. Comme gest symmétrique, −gest aussi une Gaussienne
Standard. On a donc, (Xn)converge en loi vers get aussi (Xn)converge en loi vers −g. Mais
(Xn+Xn)converge en loi vers 2g6=g+(−g) = 0. Cet exercice souligne le fait que la convergence
en loi est une convergence des lois de distribution et non des variables aléatoires elles mêmes.
2. On note par Cb(R)l’ensemble des fonctions continues bornées sur R. Pour montrer que (Xn, Yn)
converge en loi vers (X, Y ), il suffit de prouver que pour tout f, g ∈ Cb(R), on a Ef(Xn)g(Yn)→
Ef(X)g(Y)quand ntend vers l’infini. Par ailleurs, on sait que si (Yn)converge en probablité
vers Yet si gest continue alors (g(Yn)) converge en probabilité vers g(Y).
Soit f, g ∈ Cb(R)et  > 0. Soit N∈Ntel que pour tout n≥N,
P|g(Yn)−g(Y)| ≥ ≤and Ef(Xn)−Ef(X)≤.
On a pour tout n≥N, par indépendance de g(Y)avec f(Xn)et f(X),
Ef(Xn)g(Yn)−Ef(X)g(Y)≤Ef(Xn)(g(Yn)−g(Y))I(|g(Yn)−g(Y)| ≥ )
+Ef(Xn)(g(Yn)−g(Y))I(|g(Yn)−g(Y)|< )+Eg(Y)(f(Xn)−f(X))
≤2kfk∞kgk∞P|g(Yn)−g(Y)| ≥ +kfk∞+Eg(Y)Ef(Xn)−Ef(X)
≤2kfk∞kgk∞+kfk∞+kgk∞.
3. Comme (Yn)converge en probabilité vers Y=cp.p. qui est indépendante de toutes variables
aléatoires, on peut appliquer la question 2. : (Xn, Yn)converge en probabilité vers (X, c).
Notamment, comme les applications somme et produit sont des fonctions continues de R2dans
R, on voit que (Xn+Yn)converge en loi vers X+cainsi que (XnYn)converge en loi vers cX.
**********************
Exercice 1.3 (Convergence dans Lp)
Soit (Xn)une suite de variables aléatoires réelles bornées par une même constante.
Montrer que si (Xn)converge en probabilité, alors Xnconverge dans Lppour tout p≥1.
**********************
1 RAPPELS DE PROBABILITÉS 4

ENSAE Statistiques mathématiques
Correction de l’exercice 1.3 Pour cet exercice, on va démontrer un résultat plus fort. On rappel
qu’une suite (Xn)est équi-intégrable quand
lim
a→+∞sup
n∈N
E|Xn|I(|Xn|> a)= 0.
Soit p≥1et (Xn)une suite d’éléments de Lp. On montre que les deux assertions suivantes sont
équivalentes :
1. la suite (Xn)converge dans Lp.
2. la suite (Xn)converge en probabilité et la suite (|Xn|p)est équi-intégrable.
b) implique a) : On montre d’abord que si (Yn)est équi-intégrable alors elle est équi-continue :
càd pour tout  > 0, il existe η > 0tel que si P(A)≤ηalors supn∈NE|Yn|A≤. Soit  > 0et
a0>0tel que pour tout a≥a0et tout n∈N,E|Xn|I(|Xn|> a)≤. On a pour tout ensemble
mesurable A, tout n∈Net tout a≥a0,
E|Xn|A=E|Xn|I(A∩ {|Xn| ≤ a})+E|Xn|I(A∩ {|Xn|> a})
≤aP(A) + E|Xn|I(|Xn|> a)≤aP(A) + .
On en déduit que (Yn)est bien équi-continue.
Soit  > 0. Pour tout q, r ∈N, on a
E|Xr−Xq|p≤E|Xr−Xq|pI(|Xr−Xq|p≤)+ 2p−1E|Xr|p+|Xq|pI(|Xr−Xq|p> )
≤+ 2p−1E|Xr|p+|Xq|pI(|Xr−Xq|p> ).
Comme (|Xn|p)est équi-continue, il existe η > 0tel que pour tout Atel que P[A]≤η, on a
sup
r∈N
E|Xr|pA+ sup
q∈N
E|Xq|pA≤/2p−1.
Comme (Xn)converge en probabilité, il existe un Ntel que pour tout r, q ≥N,P|Xr−Xq| ≥
1/p≤η. On en déduit, que limsupr,q E|Xr−Xq|p≤2pour tout r, q ≥N. Alors (Xn)est une suite
de Cauchy dans Lp, qui est complet, donc elle est convergente dans Lp.
a) implique b) : Par Markov, on a pour tout  > 0,
P|Xn−X| ≥ ≤−pE|Xn−X|p.
Soit N∈Ntel que pour tout n≥N,E|Xn−X|p≤/2p−1. L’inégalité de Markov donne
P|Xn|p> a≤a−1E|Xn|p≤Ba−1≤.
où Bmajore uniformément la suite (E|Xn|p)(qui est bien bornée vue que c’est une suite convergente).
Soit a0>0tel que supn∈NP[|Xn|p> a0]≤ηoù ηest tel que E|X|pA≤/2p−1pour tout Atel que
P(A)≤η(par définition X∈Lp). On a donc pour n≥Net tout a≥a0,
E|Xn|pI(|Xn|p> a)≤2p−1E|Xn−X|pI(|Xn|p> a)+ 2p−1E|X|pI(|Xn|p> a)≤.
De plus, il est facile de voir que toute famille finie de variables aléatoires est équi-intégrable. C’est le
cas pour (Xn: 1 ≤n≤N).
1 RAPPELS DE PROBABILITÉS 5