Inégalité de Hoeffding

Inégalité de Hoeffding
Alexandre Bailleul
Réf : [O2] Ouvrard, Probabilités 2 - Maîtrise, agrégation, p.132-135
L’inégalité de Hoeffding est une inégalité de type « grandes déviations »qui
mesure la vitesse à laquelle la probabilité qu’une moyenne du type loi des grands
nombres s’écarte de la moyenne tend vers 0.
Théorème 1 Soit (Xn)nune suite de variables aléatoires réelles indépendantes,
identiquement distribuées, centrées et telles que ∀n∈N∗,|Xn| ≤ cnavec cn>0.
Pour n∈N∗on note Sn=Pn
i=1 Xi.
Alors pour tout ε > 0et pour tout n∈N∗, on a
P(|Sn|> ε)≤2 exp −ε2
2Pn
i=1 c2
i!.
Démonstration : Commençons par montrer le résultat suivant.
Lemme 1 Soit Xune variable aléatoire centrée et bornée par 1. Pour tout t∈R
on a
E(etX )≤exp t2
2!.
Démonstration : Soit tdans R. Par convexité de la fonction exponentielle on a
∀x∈[−1,1],exp(tx)≤1
2(1 −x) exp(−t) + 1 2(1 + x) exp(t).
En introduisant les fonctions cosinus hyperbolique et sinus hyperbolique on a
donc
∀x∈[−1,1],exp(tx)≤cosh(t) + xsinh(t).
On a
ch(t) =
+∞
X
n=0
t2n
(2n)! ≤
+∞
X
n=0
t2n
2nn!= exp t2 2!
car pour tout n∈N∗,2nn!≤(2n)!. (Il suffit de remarquer que le quotient (2n)!
n!est
le produit de nentiers supérieurs à 2)
1

Finalement on a donc
∀x∈[−1,1],exp(tx)≤exp t2
2!+xsinh(t)
d’où en passant aux espérances (car tout est positif et Xest à valeurs dans [−1,1])
on a
E(etX )≤exp t2
2!+ sinh(t)E(X).
Enfin, comme Xest centrée on a bien
E(etX )≤exp t2
2!.
Soient ε > 0et ndans N∗. Remarquons que
P(|Sn|> ε) = P(Sn> ε) + P(−Sn> ε).
Nous n’allons étudier que la première quantité ci-dessus, car si Xvérifie les hypo-
thèses du lemme 1alors −Xaussi et on obtiendra les mêmes majorations.
Soit tdans R. On a, par croissance de la fonction exponentielle et l’inégalité
de Markov
P(Sn> ε) = P(tSn> tε) = P(exp(tSn)>exp(tε)) ≤E(exp(tSn)
exp(tε).
Utilisant la définition de Snet l’indépendance des Xion obtient
E(exp(tSn)) = E n
Y
i=1
exp(tXi)!=
n
Y
i=1
E(exp(tXi)).
Soit idans {1, ..., n}. La variable aléatoire Xi
ciest centrée et à valeurs dans
[−1,1], on peut donc lui appliquer le lemme 1. Posons ti=tci, on a donc
E(exp(tXi)) = Eexp ti
Xi
ci≤exp t2
i
2!= exp t2 2c2
i!.
Ainsi
E(exp(tSn)) ≤exp t2
2
n
X
i=1
c2
i!
et donc
P(Sn> ε)≤exp −tε +t2
2
n
X
i=1
c2
i!
2

et ceci pour tquelconque.
Cherchons maintenant le minimum de la fonction t7→ −tε +t2
2Pn
i=1 c2 isur
R. Sa dérivée est t7→ tPn
i=1 c2 i−εqui s’annule en ε
Pn
i=1 c2
i
. Ainsi le minimum du
polynôme de degré 2à coefficient dominant positif ci-dessus est atteint en ε
Pn
i=1 c2
i
.
Finalement on obtient
P(Sn> ε)≤exp −ε2
2Pn
i=1 c2
i!.
Comme les majorations fonctionnent également pour les variables aléatoires
−Xion obtient de même
P(−Sn> ε)≤exp −ε2
2Pn
i=1 c2
i!
et finalement on a
P(|Sn|> ε)≤2 exp −ε2
2Pn
i=1 c2
i!.
3