Travaux dirigés

Travaux dirigés
E. Moulines, A. Sánchez-Pérez
22 octobre 2012
Soit π une densité par rapport à la mesure de Lebesgue sur Rd . Elle est associée à la mesure de
probabilité
R
π (x) dx
A
R
.
νπ (A) =
π (x) dx
Rd
Nous utilisons la même notation pour la loi et sa densité. Nous supposons que π est donnée par
π (x) =
l
Y
fi (x) ,
(1)
i=0
pour des fonctions fi : Rd → ]0, ∞[. On considère l’algorithme suivant, introduit par R. Neal, appelé
le f0 -slice sampler. Étant donné Xk = (Xk,1 , . . . , Xk,d ) :
a) On échantillonne l variables aléatoires indépendantes Yk+1,1 , . . . , Yk+1,l avec
l
Q
Yk+1,i ∼ Unif (0, fi (Xk )). Si l’on note Ax =
[0, fi (x)], nous avons donc
i=1
Yk+1 |Xk ∼ Unif (AXk )
b) On échantillonne Xk+1 suivant la loi de densité proportionnelle à la distribution de probabilité
tronquée f0 (x) 1L(Yk+1 ) (x) où
n
o
L (y) = x ∈ Rd : fi (x) ≥ yi , i = 1, . . . , l .
Nous avons donc
Xk+1 |Yk+1
∼ C (f0 , L (Yk+1 )) f0 (·) 1L(Yk+1 ) (·)
Exercice 1 (Slice sampler)
1. Donner l’expression des noyaux de transition associés aux deux mouvements (a)) et (b)).
2. Montrer que l’algorithme précédent peut être interprété comme un échantillonneur de Gibbs.
Déterminer la loi invariante associée à la chaı̂ne {(Xk , Yk )}k≥0 .
3. Montrer que {Xk }k≥0 est une chaı̂ne de Markov.
4. Montrer que νπ est la loi invariante de la chaı̂ne {Xk }k≥0 .
Exercice 2
Nous allons maintenant étudier les propriétés du slice sampler lorsque f0 (x) = 1, ∀x ∈ Rd et que
l = 1.
1
1. Montrer que {Xk }k≥0 est une chaı̂ne de Markov sur Rd de noyau de transition,
π(x)
Z
1
P (x, B) =
π (x)
λd (L (w) ∩ B)
dw .
λd (L (w))
0
où λd est la mesure de Lebesgue sur Rd .
2. Montrer que si B = {u ∈ Rd |π(u) < z}, alors
1
P (x, B) =
π(x)
π(x) Z
Q(z)
1−
Q(w)
0
∨ 0dw .
Par conséquent, indépendamment de la dimension d, le slice-sampler uniforme est caractérisé
par la donnée de la fonction z 7→ Q(z) = λd (L(z)).
3. Montrer que, si la densité π est bornée et supp (π) a mesure de Lebesgue finie, l’échantillonneur
résultant est uniformément géométriquement ergodique.
4. La vitesse de convergence de l’algorithme dépend elle de la connaissance de la constante de
normalisation ?
Exercice 3
On étudie dans cet exercice le cas où f0 est intégrable sur Rd et f1 est borné. Remarquons que sous
cette hypothèse il est possible de simuler la loi à l’aide d’une technique de rejet.
1. Montrer que la chaı̂ne {Xk } a une densité donnée par
K(x, y) =
1
f1 (x)
f1 (x)∧f1 (y)
Z
0
où
f0 (y)
dz ,
Qf0 (z)
Z
Qf0 (z) =
f0 (w) dw .
{w∈Rd ,f1 (z)≥w}
2. Montrer que Qf0 (z) ≤
R
f0 pour tout z ∈ Rd .
3. En déduire que
f0 (y)
K(x, y) ≥ R
f0
1∧
f1 (y)
supz f1 (z)
.
4. En déduire que l’échantillonneur est uniformément ergodique.
Nous allons maintenant implémenter l’algorithme précédent pour échantillonner une loi de densité
proportionnelle à
−1
kxk2
π (x) = e− 2 1 + kx − x0 k2
.
La forme particulière de cette loi suggère de décomposer π de la façon suivante
π(x) = f0 (x)f1 (x)
avec f0 (x) ∝ e−
kxk2
2
et f1 (x) = (1 + kx − x0 k2 )−1 . On se situe dans le cas où d = 1 et x0 = 0.
Exercice 4
1. Ecrire de façon explicite l’algorithme du f0 -slice sampler [indication : Utiliser la méthode de
rejet pour le mouvement (b))].
2
2. Calculer explicitement la vitesse de convergence à l’équilibre pour cet échantillonneur [indication : on utilisera la condition de Doeblin].
3. Déterminer le nombre de simulations nécessaire pour que la distance en variation totale à la
loi d’équilibre soit inférieur à 0, 01.
4. Confronter les histogrammes faits à partir des valeurs de X0 , . . . , Xk avec k = 100, 500, 1000,
2000, 5000 et le graphe de la fonction π. Normaliser dans les deux cas afin d’obtenir courbes
comparables.
On s’intéresse maintenant au cas où
π(x) = e−
kxk2
2
1 + kx − x0 k2
−1
(1 + kx − x1 k4 ) .
Remarquons que, dans ce cas, cette loi ne peut pas être simulée par une technique de rejet. La
forme particulière de cette loi suggère de décomposer π de la façon suivante
π(x) = f0 (x)f1 (x)f1 (x)
kxk2
avec f0 (x) ∝ e− 2 et f1 (x) = (1 + kx − x0 k2 )−1 , f2 (x) = (1 + kx − x1 k4 ). On se situe dans le cas
où d = 1, x0 = 0 et x1 = 1.
Exercice 5
1. Ecrire de façon explicite l’algorithme du f0 -slice sampler.
2. Confronter les histogrammes faits à partir des valeurs de X0 , . . . , Xk avec k = 100, 500, 1000,
2000, 5000 et le graphe de la fonction π. Normaliser dans les deux cas afin d’obtenir courbes
comparables.
3