CHAPITRE 5 : Loi faible des grands nombres

CHAPITRE 5 : Loi faible des grands
nombres
Dans cette section, on va montrer plusieurs "lois faibles des
grands nombres". On dénit d'abord le mode de convergence
qui apparaitra en conclusion des théorèmes.
On dira que Yn converge vers Y en probabilité si pour tout
> 0, P (|Yn − Y | > ) → 0 quand n → ∞.
Lois faibles L2
La première version de loi faible va découler du calcul des
variances et de l'utilisation des inégalités de Chebyshev. On
étend la dénition donnée dans l'exemple (4.2) pour deux
variables aléatoires en disant qu'une famille de variables
aléatoires Xi , i ∈ I avec EXi2 < ∞ est dite non corrélées si
on a
E(Xi Xj ) = EXi EXj
à chaque fois que
i
6= j
La clé pour la loi faible pour des variables aléatoires non
corrélées est :
Lemme 5.1
Soient X1 , ..., Xn avec EXi2 < ∞ et non corrélées. Alors
var (X1 + ... + Xn ) = var (X1 ) + ... + var (Xn )
où var (Y )= la variance de Y .
Preuve
Posons µi = EXi et Sn = ni=1 Xi . Puisque ESn = ni=1 µi ,
en utilisant la dénition de la variance, en écrivant le carré de
la somme comme le produit de deux copies de la somme, et en
développant, on obtient
P
P
!2
n
X
var (Sn ) = E(Sn − ESn ) = E
(Xi − µi )
i =1
!
n X
n
X
= E
(Xi − µi )(Xj − µj )
i =1 j =1
n
n X
i −1
X
X
=
E(Xi − µi )2 + 2
E(Xi − µi )(Xj − µj )
i =1
i =1 j =1
2
où dans la dernière égalité, on a séparé les termes se trouvant
sur la diagonale (i = j ) et utilisé le fait que la somme sur
1 ≤ i < j ≤ n est la même que sur 1 ≤ j < i ≤ n.
La première somme vaut var (X1 ) + ... + var (Xn ) ainsi il reste à
montrer que la deuxième vaut 0. Pour cela, on observe que
E(Xi − µi )(Xj − µj ) = EXi Xj − µi EXj − µj EXi + µi µj
= EXi Xj − µi µj
car Xi et Xj sont non corrélées.
En d'autres termes, (5.1) dit que pour des variables aléatoires
non corrélées, la variance de la somme est égale à la somme
des variances. Le second ingrédient dans la preuve de (5.2) est
une conséquence de (3.10c)
var (cY ) = c 2 var (Y )
Ce résultat et (5.1) donne facilement :
Théorème 5.2 (Loi faible
L2 )
Soient X1 , X2 , ... une suite de variables aléatoires non corrélées
avec EXi = µ et var (Xi ) ≤ C < ∞ pour tout i ≥ 1.
Si Sn = X1 + .. + Xn alors quand n → ∞, Sn /n → µ dans L2
et en probabilité.
Preuve
Pour montrer la convergence dans L2 , on observe que
E(Sn /n) = µ, ainsi
E(Sn /n−µ)2 = var (Sn /n) =
1
n
2
(var (X1 )+...+var (Xn )) ≤
Cn
n2
Pour conclure que la convergence a lieu aussi en probabilité,
on applique le résultat suivant à Zn = Sn /n − µ.
→0
Lemme 5.3
Si p > 0 et E |Zn |p → 0 alors Zn → 0 en probabilité.
Preuve
L'inégalité de Chebyshev, (3.4), avec φ(x ) = x p et X = |Zn |
implique que si > 0 alors P (|Zn | ≥ ) ≤ −p E |Zn |p → 0.
La principale application de (5.2) se produit quand X1 , X2 , ...
sont des variables aléatoires indépendantes ayant la même loi.
Dans le vocabulaire probabiliste, on applique ce type de
variables indépendantes identiquement distribuées et on
les note i.i.d.. Dans (5.2), la convergence L2 exige que si
EXi2 < ∞ alors Sn /n converge vers µ = EXi en probabilité
quand n → 0. On verra dans la suite que la condition
E |Xi | < ∞ est susante pour avoir la dernière conclusion.
L'application suivante concerne une situation où rien n'indique
qu'il faut utiliser de l'aléatoire. Mais pourtant !
Exemple 5.1 : Approximation polynomiale
Soit f une fonction continue sur [0, 1], et soit
fn (x ) =
n
X
m=0
Cnm x m (1 − x )n−m f (m/n) où Cnm =
le polynôme de
quand n → ∞
Bernstein de dégré n
associé à f . Alors
sup |fn (x ) − f (x )| → 0
x ∈[0,1]
n!
m!(n − m)!
Preuve
On observe d'abord que si Sn est la somme de n variables
aléatoires indépendantes avec P (Xi = 1) = p et
P (Xi = 0) = 1 − p alors
EXi = p , var (Xi ) = p (1 − p ) et
P (Sn = m) = Cnm pm (1 − p)n−m
ainsi Ef (Sn /n) = fn (p ). (5.2) dit que quand
n → ∞, Sn /n → p en probabilité. Les deux derniers résultats
motivent la dénition de fn (p ) mais pour montrer la conclusion
désirée, on va utiliser la preuve de (5.2) plus que le résultat
lui-même.
Combinant la preuve de (5.2) avec notre nouvelle formule pour
la variance de Xi et le fait que p (1 − p ) ≤ 1/4 quand
p ∈ [0, 1] on a
P (|Sn /n − p| > δ) ≤ var (Sn /n)/δ2 = p(1 − p)/nδ2 ≤ 1/4nδ2
Pour conclure maintenant que Ef (Sn /n) → f (p ), posons
M = supx ∈[0,1] |f (x )|, soit > 0, et on choisit δ > 0 tel que si
|x − y | < δ alors |f (x ) − f (y ) < |.(Ceci est possible car toute
fonction continue sur un intervalle borné y est uniformément
continue). Maintenant l'utilisation de l'inégalité de Jensen
donne
|Ef (Sn /n) − f (p )| ≤ E |f (Sn /n) − f (p )|
≤ + 2MP (|Sn /n − f (p )| > δ)
en faisant tendre n → ∞ on obtient que
lim supn→∞ |Ef (Sn /n) − f (p )| ≤ , mais étant arbitraire, on
obtient le résultat.
Tableaux triangulaires
Plusieurs théorèmes limites classiques en probabilité
concernent les tableaux Xn,k , 1 ≤ k ≤ n de variables aléatoires
et on étudie le comportement limite des sommes des lignes
Sn = Xn,1 + .... + Xn,n . Dans plusieurs cas, on suppose que
chaque ligne est indépendante mais pour le résultat trivial
suivant (mais utile), on n'a pas besoin de cette hypothèse. En
eet, ici Sn peut être n'importe quelle suite de variables
aléatoires.
Théorème 5.4
Posons µn = ESn , σn2 = var (Sn ). S'il existe une suite bn > 0
vériant bn → ∞ et σn2 /bn2 → 0 alors
Sn − µn
bn
→0
en probabilité
Preuve
Notre hypothèse implique
E((Sn − µn )/bn )2 = bn−2 var (Sn ) → 0, le résultat voulu s'en
suit à partir (5.3).
Nous allons donner deux applications de (5.4). Pour ces
exemples le calcul suivant est utile
n
X
1
Z n
m=1 m
(∗)
≥
1
ln n ≤
dx
x
≥
n
X
1
m=1 m
n
X
1
m =2 m
≤ 1 + ln n
Exemple 5.2 : Problème du collectionneur de coupons
Soient X1 , X2 , .... des variables aléatoires i.i.d. suivant la loi
uniforme sur {1, 2, ..., n}. Pour motiver le nom, il faut penser à
un collectionneur de coupons représentant les photos de
footballeurs. Supposons que le i -ème coupon à collectionner
est choisi au hasard dans un ensemble de possibilités et est
indépendant des choix précédents.
Soit τkn = inf {m : |{X1 , ..., Xm }| = k } le premier temps où on
a k coupons. Dans ce problème, on s'intéresse au
comportement asymptotique de Tn = τnn , le temps où on a
complété la collection. Il est facile de voir que τ1n = 1. Pour
établir les formules suivantes, il est pratique de poser τ0n = 0.
Pour 1 ≤ k ≤ n, Xn,k ≡ τkn − τkn−1 représente le temps
nécessaire pour faire un choix diérent des (k − 1) premiers
choix, ainsi Xn,k suit une loi géométrique de paramètre
1 − (k − 1)/n, et est indépendante des temps d'attente
Xn,j , 1 ≤ j < k .
L'exemple 3.5 arme que si X suit une loi géométrique de
paramètre p alors EX = 1/p et var (X ) ≤ 1/p 2 . Utilisant la
linéarité de l'espérance,(*) et (5.1) on voit que
ETn =
var (Tn )
=
n X
k −1
1−
n
−1
k −1
1−
n
−2
k =1
n X
k =1
=n
=n
n
X
m−1 ≈ n ln n
m=1
n
X
2
m=1
m
−2
≤n
2
∞
X
m=1
m −2
Prenons bn = n ln n et l'utilisation de (5.4) il s'en suit que
Tn − n nm=1 m−1
→ 0 en probabilité
n ln n
et ainsi Tn /(n ln n) → 1 en probabilité.
Pour un exemple concret, si on prend n = 500, le théorème
P
limite dit que l'on doit eectuer 500 ln 500 = 3107 essais pour
avoir toute la collection.
Troncature
Tronquer une variable aléatoire au niveau M signie considérer
X
= X 1|X |≤M =
X
0
si |X | ≤ M
si |X | > M
Pour étendre la loi faible à des variables aléatoires sans que le
moment d'ordre second soit ni, nous allons tronquer et puis
utiliser l'inégalité de Chebyshev. On commence avec un cas
général mais aussi très utile. Sa preuve est facile car on a
supposé ce dont on a besoin. Plus tard, on travaillera un peu
plus pour vérier les hypothèses dans des cas spéciaux mais le
résultat général sert à identier les ingrédients essentiels dans
la preuve.
Théorème 5.5 (Loi faible pour tableaux triangulaires)
Pour tout n soit Xn,k , 1 ≤ k ≤ n indépendantes. Soit bn > 0
avec bn → ∞, et soit X n,k = Xn,k 1(|Xn,k |≤bn ) . On suppose que
(i) nk =1 P (|Xn,k | > bn ) → 0, et
P
2
(ii) bn−2 nk =1 EX n,k → 0 quand n → ∞.
Si on pose Sn = Xn,1 + ... + Xn,n et posons an = EX n,k alors
P
(Sn − an )
bn
→0
en probabilité
Preuve
Soit S n = X n,1 + ... + X n,n . Il est clair que,
Sn − an
S n − an > )
P (
> ) ≤ P (Sn 6= S n ) + P (
bn
bn Pour estimer le premier terme, on note que
P (Sn 6= S n ) ≤ P (
n [
k =1
X n,k 6= Xn,k
)≤
n
X
k =1
P (X n,k > bn ) → 0
par (i). Pour le second terme, on note que l'inégalité de
Chebyshev, an = ES n ,(5.1), et var (X ) ≤ EX 2 implique
2
S n − an −2 S n − an −2 −2
P (
>
)
≤
E
bn = bn var (S n )
bn n
n
X
X
−2
−2
= (bn )
var (X n,k ) ≤ (bn )
E(X n,k )2
k =1
k =1
par (ii) et la preuve est complète.
A partir de (5.5) on donne le résultat suivant pour une suite
simple.
Théorème 5.6 (Loi faible des grands nombres)
Soient X1 , X2 , ..., une suite i.i.d. avec
xP (|Xi | > x ) → 0 quand x → ∞
Soit Sn = X1 + ... + Xn et soit µn = E(X1 1|X1 |≤n ). Alors
Sn /n − µn → 0 en probabilité.
Preuve
Nous allons appliquer (5.5) avec Xn,k = Xk et bn = n. Pour
2
vérier (ii), on a besoin de montrer que n−2 nEX n,1 → 0. Pour
cela, on a besoin du résultat suivant qui nous sera très utile
dans la suite.
Lemme 5.7
Si Y ≥ 0 et p > 0 alors E(Y p ) =
R∞
0
py p−1 P (Y
> y )dy .
Preuve
Utilisant la dénition de l'espérance, le théorème de Fubini
(pour des variables aléatoires positives), et le calcul de ces
intégrales donne
Z
0
∞
py p−1 P (Y > y )dy =
Z
∞
Z
Z0 Z
Ω
∞
=
Ω
0
Z Z Y
=
ZΩ
=
Ω
0
py p−1 1(Y >y ) dPdy
py p−1 1(Y >y ) dydP
py p−1 dydP
Y p dP = E(Y p )
Revenons à la preuve de (5.6), on observe que (5.7) et le fait
que X n,1 = X1 1(|X1 |≤n) implique
Z n
2yP (X n,1 > y )dy ≤
EX n,1 =
2yP (|X1 | > y )dy
0
0
puisque P (X n,1 > y ) = 0 pour y ≥ n et
= P (|X1 | > y ) − P (|X1 | > n) pour y ≤ n.
On peut voir que yP (|X1 | > y ) → 0 implique que
Z
1 n
2
E(Xn,1 )/n ≤
2yP (|X1 | > y )dy → 0
n
2
Z
∞
0
quand n → ∞. Intuitivement ceci est vrai puisque l'expression
à droite est la moyenne de 2yP (|X1 | > y ) sur [0, n]. Pour
montrer cela, soit g (y ) = 2yP (|X1 | > y ). Puisque
0 ≤ g (y ) ≤ 2y et g (y ) → 0 quand y → ∞ on doit avoir
M = sup g (y ) < ∞. Si on pose K = sup {g (y ) : y > K } alors
en considérant les intégrales sur [0, K ] et [K , n] séparément
Z n
0
2yP (|X1 | > y )dy ≤ KM + (n − K )K
Divisons par n et faisant tendre n → ∞ on obtient
lim sup
n→∞
1
n
Z n
0
2yP (|X1 | > y )dy ≤ K
Puisque K est arbitraire et K → 0 quand n → ∞, le résultat
s'en suit.
Finalement nous avons la loi faible en ses termes familiers.
Corollaire 5.8
Soit X1 , X2 , ... une suite i.i.d. de variables aléatoires avec
E |Xi | < ∞. Soit Sn = X1 + ... + Xn et on pose µ = EX1 .
Alors Sn /n → µ en probabilité.
Preuve
Deux applications du théorème du convergence dominée
impliquent
xP (|X1 | > x ) ≤ E(|X1 | 1|X1 |>x ) → O quand x → ∞
µn = E(X1 1(|X1 |≤n) ) → EX1 = µ quand
En utilisant (5.6),on voit que si > 0 alors
n→∞
P (|Sn /n − µn | > /2) → 0. Puisque µn → µ, il s'en suit que
P (|Sn /n − µ| > ) → 0.
Exemple 5.4
Pour un exemple où la loi faible n'est pas vraie, supposons
X1 , X2 , ..... sont indépendantes et ont pour loi de Cauchy :
P (Xi
≤ x) =
Z x
−∞
dt
π(1 + t 2 )
Quand x → ∞
P (|X1 | > x ) = 2
Z
x
∞
dt
π(1 + t
2)
∼
2
Z
π x
∞
2
t −2 dt = x −1
π
A partir de la condition nécessaire avant on peut conclure qu'il
n'existe pas de suite µn tel que Sn /n − µn → 0. On verra plus
loin que Sn /n a toujours la même loi que X1 .
L'exemple suivant montre qu'on ne peut avoir une loi faible
dans plusieurs situations pour lesquels E |X | = ∞.