Feuille de TD 3.

ENS Cachan 2015-2016
Probabilités
L3
Feuille de TD No3
Exercice 1. On lance une pièce à plusieurs reprises jusqu’à obtenir face. Soit Xle nombre de
lancers requis.
1. Trouver l’entropie H2(X)en bits.
2. Trouver une séquence de questions binaires (oui ou non) de la forme “Xest-il contenu
dans l’ensemble S?” qui permettrait de déterminer les valeurs de X. Comparer le nombre
moyen de questions à H2(X).
Exercice 2. Soit l’épreuve aléatoire “Lancer deux dés non pipés”, et les variables aléatoires
suivantes :
—P1qui vaut 0si le nombre tiré (dé 1) est pair, 1s’il est impair.
—X1qui représente le nombre tiré (dé 1).
—X12 qui représente le couple de nombres tirés (dé 1, dé 2).
—Σqui représente la somme des nombres tirés (dé 1+ dé 2).
Calculer
1. La quantité d’information associée aux évènements : {X1= 4};{P1= 0};{Σ=6};
{X12 = (4,2)};{X12 = (4,2) |Σ = 6}.
2. Les entropies de X1,P1,X12 et Σ.
3. L’information mutuelle I(X1, P1).
Exercice 3. Soient Xet Ydeux variables aléatoires à valeurs dans {1,2,3}dont la distribution
jointe p(x, y)est donnée par : p(1,1) = p(2,2) = p(3,3) = p(1,3) = 0,p(1,2) = p(2,1) =
p(2,3) = 1/4et p(3,1) = p(3,2) = 1/8. Calculer H(X),H(Y),H(X|Y)et H(Y|X).
Exercice 4.
1. Calculer H(X)où X∼B(p).
2. Calculer Ent(f)où fest la densité de X∼ E(λ).
3. Calculer Ent(f)où fest la densité de X∼ N (m, σ2).
Exercice 5. (Inégalité de Pinsker) Soient Pet Qdeux mesures de probabilité sur (Ω,A). La
distance en variation totale entre Pet Qest définie par
T V (P, Q) := sup
A∈A 
P(A)−Q(A) .
Le but de cet exercice est de montrer que si QPalors
T V (P, Q)2≤1
2D(Q|| P).

1. Soit λune mesure t.q Pλet Qλ. On note p(x) = dP/dλ et q(x) = dQ/dλ.
Montrer que
T V (P, Q) = P(A∗)−Q(A∗) = 1
2Z|p(x)−q(x)|dλ(x),
où A∗={x:p(x)≥q(x)}.
2. Soit Yt.q Q=Y P ,B∗={Y≥1}et Z=1{B∗}. Montrer que
T V (P, Q) = EQZ−EZ.
3. Montrer que ΛZ−EZ(α)≤α2
8. (Penser à Hoeffding).
4. Montrer que pour tout α > 0
T V (P, Q)≤
α2
8+D(P|| Q)
α
5. En déduire l’inégalité de Pinsker
T V (P, Q)2≤1
2D(Q|| P).
Exercice 6. Soit Pune mesure de probabilité sur X. Montrer que la fonction qui à toute
mesure de probabilité Qsur Xassocie D(P|| Q)est convexe.
Exercice 7. (Inégalité de Han) Soient X1, . . . , Xndes variables aléatoires discrètes. Montrer
que
H(X1, . . . , Xn)≤1
n
n
X
i=1
H(X1, . . . , Xi−1, Xi+1, . . . , Xn).
Exercice 8. Let but de cet exercice est de montrer que si Zest une variable aléatoire positive
alors Var(Z)≤Ent(Z2).
1. Montrer que
φ(p) = EZ2−(EZp)2
p
1
p−1 2
est croissante sur [1,2).
2. Montrer que limp→2φ(p)=2Ent(Z2).
3. En déduire que Var(Z)≤Ent(Z2).
Exercice 9. Soit A, B ⊂Rdeux ensembles compacts. On définit
A+B={x+y:x∈A, y ∈B}.
Montrer que
Vol(A+B)≥Vol(A) + Vol(B).
Indication : Montrer qu’il suffit de considérer A⊂(−∞,0] et B⊂[0,∞).
Exercice 10. (Inégalité de Prékopa-Leindler) Soit λ∈(0,1), et f, g, h =Rn→[0,∞)vérifiant
pour tout x, y ∈Rn
h((1 −λ)x+λy)≥f(x)1−λg(y)λ.
Le but de cet exercice est de montrer que
ZRn
h(x)dx ≥ZRn f(x)dx1−λZRn g(x)dxλ .

1. Justifier qu’il suffit de montrer l’inégalité quand sup f(x) = sup g(x) = 1.
2. On suppose n= 1. Justifier que
ZR
f(x)dx =Z1
0
Vol({x:f(x)≥t}).
3. Montrer que
(1 −λ){x:f(x)≥t}+λ{x:g(x)≥t}⊆{x:h(x)≥t}.
4. En utilisant l’exercice précédent, montrer que
ZR
h(x)dx ≥(1 −λ)ZR f(x)dx +λZR g(x)dx.
5. En déduire que
ZR
h(x)dx ≥ZR f(x)dx1−λZR g(x)dxλ .
6. On suppose que l’inégalité de Prékopa-Leindler est vérifiée pour toutes les dimensions
inférieure ou égale à n−1. Montrer cette inégalité en dimension n.
Exercice 11. (Inégalité de Brunn-Minkowski) Le but de cet exercice est de montrer que pour
tout A, B ⊂Rncompacts et pour tout λ∈(0,1), on a
Vol((1 −λ)A+λB)1
n≥(1 −λ)Vol(A)1 n+λVol(B)1 n.(1)
1. En utilisant l’inégalité de Prékopa-Leindler, montrer que
Vol((1 −λ)A+λB)≥Vol(A)1−λ+Vol(B)λ.
2. Montrer que pour avoir (1), il suffit de montrer que pour tout A, B ⊂Rncompacts
Vol(A+B)1
n≥Vol(A)1 n+Vol(B)1 n.
3. Justifier qu’on peut supposer Vol(A)et Vol(B)strictement positifs.
4. On pose A0=Vol(A)−1
nAet B0=Vol(B)−1 nB. Montrer que pour tout λ∈(0,1) on a
Vol((1 −λ)A0+λB0)≥1.
5. En utilisant l’inégalité ci-dessous avec un λbien choisi, montrer l’inégalité de Brunn-
Minkowski.