1 Pile, face, coupons

1
Pile, face, coupons
Mots-clés. Combinatoire ; loi discrète ; distance en variation totale ; loi
des petits nombres ; convergence abrupte ; loi de Gumbel.
Outils. Loi des grands nombres ; théorème limite central ; inégalité de
Markov.
Difficulté. *
Ce chapitre est consacré au jeu de pile ou face et au problème du collectionneur de coupons, deux objets probabilistes importants qu’il est bon de
connaître et savoir reconnaître. Ce chapitre contient également une étude de
la distance en variation totale pour les mesures de probabilité discrètes.
1.1 Jeu de pile ou face
Le jeu de pile ou face consiste en des lancers successifs d’une pièce de
monnaie qui donnent à chaque fois soit pile (succès, codé 1) soit face (échec,
codé 0). On modélise cela par une suite (Xn )n1 de variables aléatoires indépendantes et identiquement distribuées de loi de Bernoulli Ber(p) :
P(Xn = 1) = 1 − P(Xn = 0) = p ∈ [0, 1].
Le nombre de succès dans les n premiers lancers
Sn = X 1 + · · · + X n
est une variable aléatoire à valeurs dans {0, 1, . . . , n} qui suit la loi binomiale
Bin(n, p) de taille n et de paramètre p, donnée pour tout k = 0, 1, . . . , n par
n k
n!
pk (1 − p)n−k .
p (1 − p)n−k =
P(Sn = k) =
k!(n − k)!
k
© Springer-Verlag Berlin Heidelberg 2016
D. Chafaï and F. Malrieu, Recueil de Modèles Aléatoires,
Mathématiques et Applications 78, DOI 10.1007/978-3-662-49768-5_1
1
2
1 Pile, face, coupons
La moyenne et la variance de Sn sont donnés par
E(Sn ) = np
et Var(Sn ) = np(1 − p).
Le temps T du premier succès, qui est aussi le nombre de lancers pour obtenir
un premier succès, est donné par
T := inf{n 1 : Xn = 1}
Si p > 0, T suit la loi géométrique Geo(p) sur N∗ de paramètre p donnée par
P(T = k) = (1 − p)k−1 p,
k ∈ N∗ .
On a T ≡ ∞ si p = 0 et P(T < ∞) = 1 sinon. De plus
E(T ) =
1
p
et Var(T ) =
1−p
.
p2
Le nombre d’échecs avant le premier succès
T := inf{n 0 : Xn+1 = 1} = T − 1
suit la loi géométrique GeoN (p) sur N et de paramètre p donnée par
P(T = k) = P(T − 1 = k) = (1 − p)k p,
k ∈ N,
et on a
E(T ) = E(T ) − 1 =
1−p
p
et Var(T ) = Var(T ) =
1−p
.
p2
Pour tout r ∈ N∗ , le nombre de lancers Tr nécessaires pour obtenir r succès
est défini par récurrence par
T1 := T
Tr+1 := inf{n > Tr : Xn = 1}.
et
Les variables aléatoires T1 , T2 − T1 , T3 − T2 , . . . sont indépendantes et identiquement distribuées de loi géométrique Geo(p). La variable aléatoire Tr suit
la loi de Pascal ou loi binomiale-négative Geo(p)∗r . On a pour tout k r,
k−1
(1 − p)k1 −1 p · · · (1 − p)kr −1 p = (1 − p)k−r pr
P(Tr = k) =
r−1
k1 1,...,kr 1
k1 +···+kr =k
et
E(Tr ) = rE(T ) =
r
p
et Var(Tr ) = rVar(T ) = r
1−p
.
p2
Le processus de Bernoulli (Sn )n0 a des trajectoires constantes par morceaux, avec des sauts d’amplitude +1, et les temps de saut sont donnés par
(Tr )r1 (temps inter-sauts i.i.d. géométriques). Il constitue le processus de
1.1 Jeu de pile ou face
3
comptage de tops espacés par des durées indépendantes de même loi géométrique, analogue discret du processus de Poisson. Comme Sn est une somme
de variables indépendantes, (Sn )n0 est une chaîne de Markov sur N de noyau
P(x, y) = p1y=x+1 + (1 − p)1y=x , et (Sn − np)n0 est une martingale.
Par la loi des grands nombres (LGN) et le théorème limite central (TLC)
√
Sn
Sn p.s.
n
loi
− p −→ N (0, 1).
−→ p et n→∞
n n→∞
n
p(1 − p)
Cela permet notamment de construire un intervalle de confiance asymptotique
pour p appelé intervalle de Wald, qui est cependant peu précis.
Remarque 1.1 (Intervalle de Clopper-Pearson). Il est également possible de
confectionner des intervalles de confiance pour p non asymptotiques, comme
celui de Clopper-Pearson par exemple, basé sur la correspondance Betabinomiale. Soit U1 , . . . , Un des v.a.r. i.i.d. de loi uniforme sur [0, 1]. Notons U(1,n) · · · U(n,n) leur réordonnement croissant. Alors pour tout
k = 1, . . . , n la v.a.r. U(k,n) suit la loi Beta(k, n − k + 1) sur [0, 1] de densité
t ∈ [0, 1] →
tk−1 (1 − t)n−k
,
Beta(k, n − k + 1)
où
1
sa−1 (1 − s)b−1 ds,
Beta(a, b) :=
0
et
P(Sn k) = P(1{U1 p} + · · · + 1{Un p} k) = P(U(k,n) p).
On déduit de cette identité une expression exacte de la probabilité que Sn
appartienne à un intervalle donné. Notons que comme Sn est discrète, ses
quantiles sont aussi discrets, ce qui empêche de fabriquer un intervalle exact
de niveau α ∈ [0, 1] arbitraire, et suggère de procéder à un lissage.
Remarque 1.2 (Motifs répétés et lois du zéro-un). Lorsque 0 < p < 1, le
lemme de Borel-Cantelli (cas indépendant) entraîne que toute suite finie de 0
et de 1 apparaît presque sûrement une infinité de fois dans la suite X1 , X2 , . . .
L’indépendance est capitale. Un singe éternel tapant sur un clavier finira toujours par écrire les œuvres complètes de William Shakespeare ! Alternativement, on peut déduire ce résultat de la nature géométrique du temps d’apparition du premier succès dans un jeu de pile ou face obtenu en découpant le jeu
de pile ou face en blocs successifs de même longueur que la chaîne recherchée.
Remarque 1.3 (Jeu de pile ou face et loi uniforme sur [0, 1]). Si U est une
∞
variable aléatoire sur [0, 1] et si U = n=1 bn 2−n est son écriture en base 2,
alors U suit la loi uniforme sur [0, 1] si et seulement si les bits (bn )n1 de son
écriture en base 2 sont des v.a.r. i.i.d. de Bernoulli de paramètre 1/2.
Remarque 1.4 (Algorithme de débiaisage de von Neumann). Soit (Xn )n1
une suite de variables aléatoires de Bernoulli indépendantes et de paramètre
0 < p < 1 inconnu. On fabrique la suite (Yn )n1 de variables aléatoires indépendantes et de même loi sur {0, 1, 2} comme suit
4
1 Pile, face, coupons
X1 X2 X3 X4 · · ·
Y1
Y2
en posant Yn = 0 si (X2n−1 , X2n ) = (0, 1), Yn = 1 si (X2n−1 , X2n ) = (1, 0), et
Yn = 2 sinon. La suite (Zn )n1 obtenue à partir de (Yn )n1 en effaçant les 2
est constituée de variables aléatoires de Bernoulli indépendantes de paramètre
1/2. La production de chaque terme de la suite (Zn )n1 nécessite un nombre
aléatoire géométrique de termes de la suite (Xn )n1 .
1.2 Approximation binomiale-gaussienne
Soit (Xn )n1 des v.a.r. i.i.d. de moyenne m et variance 0 < σ 2 < ∞, et
Sn = X1 + · · · + Xn . Le théorème limite central indique que pour tout t ∈ R,
t
x2
Sn − nm
1
√
√ e− 2 dx.
lim P
t =
n→∞
nσ
−∞ 2π
Le théorème limite central de Berry-Esseen raffine ce résultat asymptotique en
fournissant une borne quantitative uniforme : si X1 , X2 , . . . sont de Bernoulli
de paramètre p ∈ ]0, 1[, on a m := E(X1 ) = p, σ 2 := E((X − m)2 ) = p(1 − p),
τ 3 := E(|X1 − m|3 ) = p(1 − p)(1 − 2p(1 − p)), et
t e− x22
√
dx
sup P Sn np(1 − p)t + np −
2π
t∈R
−∞
τ3
1 − 2p(1 − p)
√ 3 =
√ .
nσ
p(1 − p) n
Cette approximation de la loibinomiale par la loi gaussienne est d’autant
meilleure que (1 − 2p(1 − p))/ np(1 − p) est petit. À n fixé, cette borne est
minimale pour p = 1/2 mais explose quand p se rapproche de 0 ou de 1. Pour
ces régimes extrêmes, il est plus approprié d’utiliser une approximation par
la loi de Poisson, abordée dans la section 1.4.
Lorsque X1 , X2 , . . . sont des variables de Bernoulli de paramètre p ∈ ]0, 1[,
le TLC suggère d’approcher la loi binomiale Bin(n, p) de Sn par la loi gaussienne N (nm, nσ 2 ) lorsque n est grand. Le théorème limite central de de
Moivre et Laplace précise que pour tous −∞ < a < b < +∞,
(k−np)2
exp − 2np(1−p)
√
=0
lim n sup P(Sn = k) − n→∞
2πnp(1 − p) k∈In (a,b) où
In (a, b) =
0kn: k − np
np(1 − p)
∈ [a, b] ,
1.3 Distance en variation totale
5
Lois binomiales
0.2
Bin(42,0.1)
Bin(42,0.5)
Bin(42,0.9)
P(X=n)
0.15
0.1
0.05
0
0
10
20
n
30
40
Fig. 1.1. Lois binomiales de même taille, pour trois valeurs du second paramètre,
illustrant la pertinence de l’approximation de la loi binomiale par une loi gaussienne
et par une loi de Poisson selon les cas.
qui redonne le TLC par intégration :
b
x2
1
Sn − np
e− 2 dx.
lim P ∈ [a, b] = √
n→∞
2π a
np(1 − p)
1.3 Distance en variation totale
Dans toute cette section, E est un ensemble au plus dénombrable muni de
la topologie et de la tribu discrètes P(E). L’ensemble des lois sur E est un
espace métrique complet pour la distance en variation totale
dVT (μ, ν) := sup |μ(A) − ν(A)|.
A⊂E
6
1 Pile, face, coupons
Notons que dVT (μ, ν) = μ − νVT où ηVT := supA⊂E |η(A)| pour toute
mesure signée η de masse finie sur E. On a 0 dVT (μ, ν) 1 car le diamètre
de [0, 1] est 1. De plus dVT (μ, ν) = 1 si μ et ν ont des supports disjoints.
Théorème 1.5 (Autres expressions). Si μ et ν sont des lois sur E alors 1
1
f dμ − f dν = 1
sup
dVT (μ, ν) =
|μ(x) − ν(x)|.
2 f :E→[−1,1]
2
x∈E
De plus, le supremum dans la définition de dVT (·, ·) est atteint pour l’ensemble
A∗ = {x ∈ E : μ(x) ν(x)},
et il est atteint dans l’expression variationnelle fonctionnelle de dVT (·, ·) pour
f = 1A∗ − 1Ac∗ .
Démonstration. La seconde égalité provient de l’inégalité
f dμ − f dν |f (x)||μ(x) − ν(x)| sup |f (x)|
|μ(x) − ν(x)|
x∈E
x∈E
x∈E
qui est saturée pour f = 1A∗ − 1Ac∗ . Pour la première égalité, on écrit
1 |μ(A) − ν(A)| = fA dμ −
fA dν 2
où f = 1A − 1Ac , ce qui donne
1
1
=
f
dμ
−
f
dν
sup
|μ(x) − ν(x)|
|μ(A) − ν(A)| 2
2 f :E→[−1,1] x∈E
qui est saturée pour A = A∗ car, par définition de A∗ ,
2|μ(A∗ ) − ν(A∗ )| = μ(A∗ ) − ν(A∗ ) + ν(Ac∗ ) − μ(Ac∗ )
|μ(x) − ν(x)| +
|μ(x) − ν(x)|.
=
x∈A∗
x∈Ac∗
Théorème 1.6 (Convergence en loi). Si (Xn )n1 sont des variables aléatoires
sur E et si μn désigne la loi de Xn , alors pour toute loi μ sur E, les propriétés
suivantes sont équivalentes :
1. limn→∞ f dμn = f dμ pour toute fonction bornée f : E → R ;
2. limn→∞ μn (x) = μ(x) pour tout x ∈ E ;
1. En particulier on a 2·VT = ·1 (E,R) .
1.3 Distance en variation totale
7
3. limn→∞ dVT (μn , μ) = 0.
Lorsqu’elles ont lieu on dit que (Xn ) converge en loi vers μ quand n → ∞.
Toute fonction E → R est continue pour la topologie discrète sur E.
Démonstration. Pour déduire 1. de 3. il suffit d’utiliser l’expression variationnelle fonctionnelle de dVT (·, ·). Pour déduire 2. de 1. on peut prendre
f = 1{x} . Pour déduire 3. de 2. on observe que pour tout A ⊂ E,
|μn (x) − μ(x)| =
x∈E
|μn (x) − μ(x)| +
|μn (x) − μ(x)|.
x∈Ac
x∈A
Grâce à 2., si A est fini, alors pour tout ε > 0, il existe un entier N = N (A, ε)
tel que le premier terme du membre de droite est majoré par ε pour tout
n N . Le second terme du membre de droite peut se contrôler comme suit :
|μn (x) − μ(x)| μn (x) +
μ(x).
x∈Ac
x∈Ac
x∈Ac
Puisqu’on a
x∈Ac
μn (x) =
μ(x) −
x∈A
x∈A
μn (x) +
μ(x),
x∈Ac
on obtient
|μn (x) − μ(x)| x∈Ac
|μn (x) − μ(x)| + 2
μ(x).
x∈Ac
x∈A
Puisque μ ∈ P, pour tout ε > 0, on peut choisir A fini tel que μ(Ac ) ε .
Ainsi, on obtient
lim
|μn (x) − μ(x)| = 0,
n→∞
x∈E
qui n’est rien d’autre que 3. d’après le théorème 1.5.
Remarque 1.7 (Dispersion à l’infini). Si (μn )n1 sont des lois sur E et
μ(x) := limn→∞ μn (x) alors μ n’est pas forcément une loi, sauf si E est fini.
En effet, lorsque E est infini, il peut se produire un phénomène de dispersion
de masse à l’infini. Un contre-exemple est fourni par E = N et μn qui affecte
la masse 1/n aux singletons {1}, . . . , {n}, ce qui donne μ identiquement nulle.
Théorème 1.8 (Minimum). Si μ et ν sont des lois sur E alors
(μ(x) ∧ ν(x)).
dVT (μ, ν) = 1 −
x∈E
En particulier, dVT (μ, ν) = 1 ssi μ et ν ont des supports disjoints.
8
1 Pile, face, coupons
Démonstration. Rappelons que a ∧ b = min(a, b). Il suffit d’écrire
(μ(x) ∧ ν(x)) =
1
(μ(x) + ν(x) − |μ(x) − ν(x)|) = 1 − dVT (μ, ν).
2
x∈E
x∈E
Théorème 1.9 (Couplage). Si μ et ν sont des lois sur E alors
dVT (μ, ν) = inf P(X = Y )
(X,Y )
où l’infimum porte sur les couples de variables aléatoires sur E × E de lois
marginales μ et ν. De plus, il existe un couple de ce type pour lequel l’égalité
est atteinte c’est-à-dire que l’infimum est un minimum.
Le théorème 1.9 est souvent utilisé de la manière suivante : on construit
explicitement grâce au contexte un couple (X, Y ) de variables aléatoires tel
que X ∼ μ et Y ∼ ν, et on en déduit que dVT (μ, ν) P(X = Y ).
Démonstration. Soit (X, Y ) un couple de v.a. sur E × E de lois marginales μ
et ν. Comme P(X = x, Y = x) μ(x) ∧ ν(x) pour tout x ∈ E,
(μ(x) ∧ ν(x)) P(X = x, Y = x) = P(X = Y ).
1 − dVT (μ, ν) =
x∈E
x∈E
Il suffit donc de construire un couple (X, Y ) pour lequel l’égalité est atteinte.
Posons p = 1 − dVT (μ, ν) ∈ [0, 1] et distinguons trois cas.
— Cas où p = 0. On prend (X, Y ) avec X et Y indépendantes de lois
respectives μ et ν. Puisque dVT (μ, ν) = 1, μ et ν ont des supports
disjoints, d’où P(X = Y ) = x∈E μ(x)ν(x) = 0 ;
— Cas où p = 1. Alors dVT (μ, ν) = 0, d’où μ = ν. On prend (X, Y ) où
X ∼ μ et Y = X ;
— Cas où 0 < p < 1. Soit U, V, W des variables aléatoires de lois
p−1 (μ ∧ ν),
(1 − p)−1 (μ − (μ ∧ ν)), (1 − p)−1 (ν − (μ ∧ ν)).
Notons que p = x∈E (μ(x) ∧ ν(x)) (théorème 1.8). Soit B une v.a.
de loi de Bernoulli Ber(p) indépendante du triplet (U, V, W ). Posons
(X, Y ) = (U, U ) si B = 1 et (X, Y ) = (V, W ) si B = 0. On a alors
X ∼ μ et Y ∼ ν, et puisque les lois de V et W ont des supports
disjoints, on a P(V = W ) = 0, et donc P(X = Y ) = P(B = 1) = p.
1.4 Approximation binomiale-Poisson
Si Sn suit la loi binomiale Bin(n, p) alors pour tout k ∈ N, on a,
1.5 Problème du collectionneur de coupons
P(Sn = k) − e−np
(np)k
=
k!
9
n
(np)k
n−k+1
···
(1 − p)n − e−np
.
n(1 − p)
n(1 − p)
k!
Ceci montre que si p dépend de n avec limn→∞ np = λ alors la loi de Sn
tend vers Poi(λ). La distance en variation totale permet de quantifier cette
convergence en loi : l’inégalité de Le Cam du théorème 1.10 ci-dessous donne
∞ k
P(Sn = k) − e−np (np) 2np2 ,
k! k=0
utile si np2 est petit. Si par exemple p = λ/n alors np = λ et np2 = λ2 /n.
Théorème 1.10 (Inégalité de Le Cam). Soient X1 , . . . , Xn des variables
aléatoires indépendantes de lois de Bernoulli Ber(p1 ), . . . , Ber(pn ). Soit μn la
loi de Sn = X1 + · · · + Xn et soit νn = Poi(p1 + · · · + pn ) la loi de Poisson de
même moyenne que Sn . Alors on a
dVT (μn , νn ) p21 + · · · + p2n .
Démonstration. On établit par récurrence sur n que si α1 , . . . , αn et β1 , . . . , βn
sont des lois de probabilité sur N alors on a l’inégalité sous-additive
dVT (α1 ∗ · · · ∗ αn , β1 ∗ · · · ∗ βn ) dVT (α1 , β1 ) + · · · + dVT (αn , βn ).
On établit ensuite que dVT (Ber(p), Poi(p)) p2 , et on exploite le semi-groupe
de convolution des lois de Poisson : Poi(a) ∗ Poi(b) = Poi(a + b).
L’inégalité 2 − 1 − ∞ suivante
p21 + · · · + p2n (p1 + · · · + pn ) max pk
1kn
permet de retrouver la loi des petits nombres : si (Xn,k )1kn est un tableau
triangulaire de variables aléatoires indépendantes de lois de Bernoulli avec
Xn,k ∼ Ber(pn,k ) pour tous n k 1, et si
lim pn,1 + · · · + pn,n = λ
n→∞
et
lim max pn,k = 0,
n→∞ 1kn
alors Xn,1 + · · · + Xn,n converge en loi vers Poi(λ) quand n → ∞.
1.5 Problème du collectionneur de coupons
Le problème du collectionneur de coupons est dans la même boîte à outils
que le jeu de pile ou face ou le jeu de dé, auquel il est intimement relié. Un
grand nombre de situations concrètes cachent un collectionneur de coupons
ou une de ses variantes. Nous nous limitons ici à sa version la plus simple.
10
1 Pile, face, coupons
Il faut jouer un nombre de fois (aléatoire) géométrique à pile ou face pour
voir apparaître les deux côtés de la pièce. Si on remplace la pièce de monnaie
par un dé à r 2 faces, combien de fois faut-il lancer le dé pour voir apparaître les r faces différentes ? On modélise cela, pour un entier fixé r 2, en
considérant la variable aléatoire
T := min{n 1 : {X1 , . . . , Xn } = {1, . . . , r}}
= min{n 1 : card{X1 , . . . , Xn } = r}
où (Xn )n1 est une suite de variables aléatoires i.i.d. de loi uniforme sur
{1, . . . , r}. La variable aléatoire T est le premier instant où les r faces du
dé sont apparues. Ce temps dépend bien entendu de r mais, par souci de
simplicité, nous omettrons cette dépendance dans la notation. Le nom collectionneur de coupons provient des coupons à collectionner présents dans
certains paquets de céréales.
Théorème 1.11 (Combinatoire). On a T r, et pour tout n r,
r! n − 1
P(T = n) = n
r−1
r
où la notation en accolades désigne le nombre de Stirling de seconde espèce,
qui est le nom donné en combinatoire au nombre de manières de partitionner
un ensemble à n − 1 éléments en r − 1 sous-ensembles non vides.
Démonstration. On a XT ∈ {X1 , . . . , XT −1 } car le coupon qui termine la collection n’a forcément jamais été vu auparavant. Si on fixe n r, l’événement
{T = n} correspond à choisir le type du dernier coupon puis à répartir les
n−1 coupons restants sur les r−1 types restants. Le résultat désiré en découle
car la loi des types est uniforme.
Bien qu’explicite, le théorème 1.11 n’est malgré tout pas très parlant. Le
résultat intuitif suivant va beaucoup nous aider à étudier la variable T .
Lemme 1.12 (Décomposition). On a T = G1 + · · · + Gr où G1 , . . . , Gr sont
des variables aléatoires indépendantes avec
Gi ∼ Geo(πi ),
πi :=
r−i+1
,
r
1 i r.
En particulier, on a P(T < ∞) = 1, et de plus
E(T ) = r(log(r) + γ) + or→∞ (r)
et
Var(T ) =
π2 2
r + or→∞ (r2 ),
6
n
où γ = limn→∞ ( i=1 1/i − log(n)) ≈ 0.577 est la constante d’Euler.
1.5 Problème du collectionneur de coupons
11
Démonstration. On pose G1 ≡ 1 et pour tout 1 < i r,
Gi = min{n 1 : XGi−1 +n ∈ {X1 , . . . , XGi−1 }}.
On a card({X1 , . . . , XGi }) = i pour tout 1 i n. Les variables aléatoires
G1 , G1 + G2 , . . . , G1 + · · · + Gr sont les temps d’apparition des r premiers
succès dans un jeu de pile ou face spécial dans lequel la probabilité de gagner
change après chaque succès : cette probabilité vaut successivement
π1 = 1, π2 =
r−1
r−2
1
, π3 =
, . . . , πr = .
r
r
r
La décroissance de cette suite traduit le fait qu’il est de plus en plus difficile
d’obtenir un coupon d’un nouveau type au fil de la collection.
Calculons à présent les moments de T . La linéarité de l’espérance donne
E(T ) =
r
E(Gi ) =
i=1
=
r
i=1
r
1
π
i=1 i
r
r
1
=r
= r(log(r) + γ + o(1)).
r−i+1
i
i=1
D’autre part, l’indépendance des v.a. G1 , . . . , Gr (exercice !) donne
Var(T ) =
r
Var(Gi ) =
i=1
=r
i=1
r−1
r−i
i=1
r
1 − πi
i2
=
πi2
π2 2
r − r(log(r) + γ) + o(r2 ).
6
Théorème 1.13 (Queue de distribution). Pour tout n 1,
P(T > n) =
r
k=1
(−1)k−1
n
r
k
.
1−
k
r
Démonstration. On a
{T > n} = En,1 ∪ · · · ∪ En,r
où En,i := {X1 = i, . . . , Xn = i}.
Si i1 , . . . , ik ∈ {1, . . . , r} sont deux à deux distincts, alors, en notant
R = {1, . . . , r} \ {i1 , . . . , ik },
on a
P(En,i1 ∩ · · · ∩ En,ik ) = P(X1 ∈ R) · · · P(Xn ∈ R)
12
1 Pile, face, coupons
=
r−k
r
n
=
1−
k
r
n
.
On utilise enfin le principe d’inclusion-exclusion ou crible de Poincaré 2 .
Il est délicat de déduire le comportement de la queue de T en fonction de
n et r à partir du théorème 1.13 en raison de l’alternance des signes.
Théorème 1.14 (Déviation). Pour tout réel t > 0,
T − r log(r)
> t e−t+εr
P(T > rt + r log(r)) = P
r
où εr = (rt + r log(r) − rt + r log(r))/r ∈ [0, 1/r[.
Démonstration. Pour tout entier n 1, on peut écrire
r
P(T > n) = P(∪ri=1 En,i ) P(En,i )
où En,i := {X1 = i, . . . , Xn = i}.
i=1
Comme P(En,i ) = (1 − 1/r) e−n/r , on choisit n = rt + r log(r).
n
Pour α > 0 et r fixés, on peut choisir t assez grand pour que e−t+εr α,
par exemple t = − log(α) + 1/r, ce qui donne l’intervalle de prédiction non
asymptotique [r, r log(r) − r log(α) + 1] de niveau 1 − α pour T .
Théorème 1.15 (Comportement asymptotique).
T
P
−→ 1.
r log(r) r→∞
Démonstration. Fixons ε > 0. Par l’inégalité de Markov et le lemme 1.12,
T
E((T − r log(r))2 )
P − 1 > ε r log(r)
ε2 r2 log(r)2
Var(T ) + (E(T ) − r log(r))2
=
ε2 r2 log(r)2
1
=O
.
log(r)2
Il s’agit d’une preuve par méthode du second moment. Dans le même esprit,
une méthode du quatrième moment est utilisée pour le théorème 11.6.
La borne établie dans la preuve du théorème précédent n’est pas sommable
en r et ne permet donc pas de démontrer une convergence presque sûre en
utilisant le lemme de Borel-Cantelli, qui n’aurait de sens qu’avec un espace de
n
n
j+1
2. P(∪k=1 Ak ) =
j=1
(−1)
k1 <...<kj
P(Ak1 ∩ · · · ∩ Akj ).
1.5 Problème du collectionneur de coupons
13
probabilité unique valable pour tout r. D’autre part, la borne établie permet
d’obtenir un intervalle de prédiction non asymptotique : pour α = 0.05, r fixé,
et t bien choisi, on a P(|T − r log(r)|/r > t) = O(1/t2 ) = α. L’intervalle de
prédiction est de largeur 2rt, et se dégrade quand t croît (α diminue).
Le théorème suivant affirme que les fluctuations asymptotiques dans la
convergence précédente suivent une loi de Gumbel.
Théorème 1.16 (Fluctuations asymptotiques). On a
T
T − r log(r)
loi
= log(r)
− 1 −→ Gumbel
r→∞
r
r log(r)
−t
où la loi de Gumbel a pour fonction de répartition t ∈ R → e−e .
La figure 1.2 illustre ce résultat.
Queue du collectionneur de coupons r=20
1
MonteCarlo N=2000
Gumbel
P(T>n)
0.8
0.6
0.4
0.2
0
50
100
150
200
n
Fig. 1.2. Approximations de la queue de distribution de la variable aléatoire T par
celle de r log(r) + rG où G suit la loi de Gumbel en vertu du théorème 1.16, ainsi
que par une méthode de Monte-Carlo avec N tirages en utilisant la représentation
de T en somme de variables aléatoires géométriques indépendantes.
Démonstration. Il suffit d’établir que pour tout t ∈ R on a
14
1 Pile, face, coupons
−t
lim P(T > r log(r) + tr) = S(t) := 1 − e−e .
r→∞
Fixons t ∈ R et supposons que r est assez grand pour que r log(r) + tr > r.
Introduisons l’entier nt,r = r log(r) + tr. Le théorème 1.13 donne
P(T > r log(r) + tr) = P(T > nt,r ) =
r
k−1
(−1)
k=1
Comme
r k
n
r
k t,r
1−
.
k
r
rk /k! et 1 − u e−u pour tout u 0, on a
n
r
k t,r e−tk
.
−→
1−
r→∞ k!
k
r
Enfin, par convergence dominée, on obtient
lim
r→∞
r
k=1
(−1)k−1
n
∞
e−tk
r
k t,r = S(t).
=
(−1)k−1
1−
r
k!
k
k=1
Ceci achève la preuve du théorème. Alternativement, il est possible d’établir
le théorème en utilisant l’approximation exponentielle des lois géométriques.
Posons Hk := 1r Gr−k+1 . Pour tout k 1 fixé, la suite (Hk )rk converge en
loi vers la loi exponentielle de paramètre k. On dispose de plus de la version
quantitative suivante sur les fonctions caractéristiques : pour tout t ∈ R et
tout k 1, il existe une constante C > 0 telle que pour r assez grand,
E(eitHk ) − E(eitEk ) C
rk
où Ek est une v.a.r. de loi exponentielle de paramètre k. En utilisant l’inégalité
|a1 · · · ar − b1 · · · br | |a1 − b1 | + · · · + |ar − br |,
a, b ∈ {z ∈ C : |z| 1}r ,
il vient, en considérant des variables aléatoires réelles E1 , . . . , Er indépendantes de lois exponentielles de paramètres respectifs 1, . . . , r,
T
log(r)
.
E(eit r ) − E(eit(E1 +···+Er ) ) C
r
Le lemme de Rényi 11.3 indique que E1 + · · · + Er a même loi que la variable
aléatoire max(F1 , . . . , Fr ) où F1 , . . . , Fr sont des v.a.r. i.i.d. de loi exponentielle de paramètre 1, puis on utilise la convergence en loi vers la loi de Gumbel
de la suite de v.a.r. (max(F1 , . . . , Fr ) − log(r))r1 .
Le théorème 1.16 fournit un intervalle de prédiction asymptotique pour la
variable aléatoire T : pour tous réels b a,
−b
lim P(T ∈ [r log(r) + ra, r log(r) + rb]) = e−e
r→∞
− e−e
−a
.
1.6 Pour aller plus loin
15
La loi de Gumbel est très concentrée, et sa fonction de répartition fait
apparaître une montée abrupte de 0 à 1. Cela donne un phénomène de seuil 3
pour la variable aléatoire T . La quantité P(T > n) passe abruptement de ≈ 1
à ≈ 0 autour de n = r log(r) si r 1 :
Théorème 1.17 (Convergence abrupte en n = r log(r)). Pour tout réel c > 0,
P(T > r log(r) + rc) e−c+εr
où
0 εr < 1/r.
Si (cr )r∈N∗ est une suite qui tend vers l’infini, alors
lim P(T > r log(r) − rcr ) = 1.
r→∞
Démonstration. La première majoration provient du théorème 1.14. D’autre
part, le théorème 1.16 affirme que (T − r log(r))/r converge en loi vers la loi
de Gumbel quand r → ∞, ce qui donne, grâce au fait que cr → ∞,
T − r log(r)
> −cr −→ 1.
P(T > r log(r) − rcr ) = P
r→∞
r
1.6 Pour aller plus loin
Notre étude du jeu de pile ou face fait l’impasse sur un certain nombre de
propriétés remarquables, comme la loi de l’arc–sinus et les principes d’invariance, abordées dans le livre de William Feller [Fel68, Fel71]. Ce livre contient
également une preuve du théorème de Berry-Esseen, à base d’analyse de Fourier. Un joli problème de la plus longue sous-suite commune à deux jeux de
pile ou face est étudié dans le livre d’optimisation combinatoire randomisée de
Michael Steele [Ste97]. L’article [Ste94] de Michael Steele sur l’approximation
par la loi de Poisson est bien éclairant. On trouvera également dans le livre
[BHJ92] de Andrew Barbour, Lars Holst, et Svante Janson une version renforcée de l’inégalité de Le Cam, obtenue par Barbour et Eagleson en utilisant
la méthode d’intégration par parties de Louis Chen et Charles Stein :
dVT (Ber(p1 ) ∗ · · · ∗ Ber(pn ), Poi(p1 + · · · + pn ))
(1 − e−(p1 +···+pn ) )
p21 + · · · + p2n
.
p1 + · · · + p n
À titre de comparaison, une version inhomogène du théorème limite central
de Berry-Esseen, tirée du livre de William Feller, affirme que si (Xn )n1 sont
des variables aléatoires indépendantes alors en notant Sn = X1 + · · · + Xn ,
σk2 = E(|Xk − E(Xk )|2 ), τk3 = E(|Xk − E(Xk )|3 ), on a
3. «Threshold phenomenon» en anglais.
16
1 Pile, face, coupons
2
x
2
Sn − E(Sn )
1
(τ 3 + · · · + τn3 )2
− t2
x −√
sup P e
dt 1
3.
2π −∞
Var(Sn )
x∈R (σ12 + · · · + σn2 )
D’autre part, on peut voir la distance en variation totale dVT (·, ·) comme
une distance de Wasserstein (couplage). Pour le voir, on observe tout d’abord
que P(X = Y ) = E(d(X, Y )) pour la distance atomique d(x, y) = δx=y , d’où,
en notant Π(μ, ν) l’ensemble des lois sur E × E de lois marginales μ et ν,
dVT (μ, ν) = min
d(x, y) dπ(x, y).
π∈Π(μ,ν)
E×E
Le problème du collectionneur de coupons est notamment abordé dans le
livre de William Feller [Fel68, Fel71], le livre de Rejeev Motwani et Prabhakar
Raghavan [MR95], et dans les articles de Lars Holst[Hol01] et de Aristides
Doumas et Vassilis Papanicolaou [DP13]. Donald Newman et Lawrence Shepp
on montré dans [NS60] que si on impose que chaque type soit observé m fois,
alors le temps de complétion de la collection vaut en moyenne
r log(r) + (m − 1)r log(log(r)) + O(r).
D’autres variantes se trouvent dans le livre de Claude Bouzitat, Gilles Pagès,
Frédérique Petit, et Fabrice Carrance [BPPC99]. Le théorème 1.16 révélant
une fluctuation asymptotique de loi de Gumbel a été obtenu par Paul Erdős
et Alfréd Rényi [ER61a]. Une analyse du cas non uniforme associé à une probabilité discrète (p1 , . . . , pr ) est menée dans un article de Lars Holst [Hol01].
Lorsque r n’est pas connu, on dispose de l’estimateur
rn := card{X1 , . . . , Xn }.
Si e1 , . . . , er est la base canonique de Rr alors le vecteur aléatoire
Cn := (Cn,1 , . . . , Cn,r ) := eX1 + · · · + eXn
de Nr suit la loi multinomiale de taille n et de paramètre (p1 , . . . , pr ), et on a
rn =
r
1{Cn,i >0} = r −
i=1
r
1{Cn,i =0} .
i=1
En particulier,
E(
rn ) = r −
r
i=1
P(Cn,i = 0) = r −
r
(1 − pi )n .
i=1
Notons enfin que comme les r types sont ordonnés, la variable aléatoire
max(X1 , . . . , Xn ) est un estimateur du bord droit r du support {1, . . . , r}.
Le collectionneur de coupons est un cas particulier du problème du recouvrement abordé dans l’article [Ald91] de David Aldous, dans le livre de David
1.6 Pour aller plus loin
17
Aldous et James Fill [AF01], dans le cours de Amir Dembo [Dem05], et le
livre de David Levin, Yuval Peres, et Elizabeth Wilmer [LPW09] : si (Xn )n1
est une suite de variables aléatoires, pas nécessairement indépendantes ou de
même loi, et prenant leurs valeurs dans un même ensemble fini E, alors le
temps de recouvrement 4 de E est T := inf{n 1 : {X1 , . . . , Xn } = E}.
4. En anglais : covering time.
http://www.springer.com/978-3-662-49767-8