Travaux dirigés

Travaux dirig´es
E. Moulines, A. S´anchez-P´erez
22 octobre 2012
Soit πune densit´e par rapport `a la mesure de Lebesgue sur Rd. Elle est associ´ee `a la mesure de
probabilit´e
νπ(A) = R
A
π(x)dx
R
Rd
π(x)dx .
Nous utilisons la mˆeme notation pour la loi et sa densit´e. Nous supposons que πest donn´ee par
π(x) =
l
Y
i=0
fi(x),(1)
pour des fonctions fi:Rd→]0,∞[. On consid`ere l’algorithme suivant, introduit par R. Neal, appel´e
le f0-slice sampler.´ Etant donn´e Xk= (Xk,1, . . . , Xk,d) :
a) On ´echantillonne lvariables al´eatoires ind´ependantes Yk+1,1, . . . , Yk+1,l avec
Yk+1,i ∼Unif (0, fi(Xk)). Si l’on note Ax=
l
Q
i=1
[0, fi(x)], nous avons donc
Yk+1 |Xk∼Unif (AXk)
b) On ´echantillonne Xk+1 suivant la loi de densit´e proportionnelle `a la distribution de probabilit´e
tronqu´ee f0(x) 1L(Yk+1)(x) o`u
L(y) = nx∈Rd:fi(x)≥yi, i = 1, . . . , lo.
Nous avons donc
Xk+1 |Yk+1 ∼C(f0, L (Yk+1)) f0(·) 1L(Yk+1 )(·)
Exercice 1 (Slice sampler)
1. Donner l’expression des noyaux de transition associ´es aux deux mouvements (a)) et (b)).
2. Montrer que l’algorithme pr´ec´edent peut ˆetre interpr´et´e comme un ´echantillonneur de Gibbs.
D´eterminer la loi invariante associ´ee `a la chaˆıne {(Xk, Yk)}k≥0.
3. Montrer que {Xk}k≥0est une chaˆıne de Markov.
4. Montrer que νπest la loi invariante de la chaˆıne {Xk}k≥0.
Exercice 2
Nous allons maintenant ´etudier les propri´et´es du slice sampler lorsque f0(x) = 1,∀x∈Rdet que
l= 1.
1

1. Montrer que {Xk}k≥0est une chaˆıne de Markov sur Rdde noyau de transition,
P(x, B) = 1
π(x)
π(x)
Z
0
λd(L(w)∩B)
λd(L(w)) dw .
o`u λdest la mesure de Lebesgue sur Rd.
2. Montrer que si B={u∈Rd|π(u)< z}, alors
P(x, B) = 1
π(x)Zπ(x)
01−Q(z)
Q(w)∨0dw .
Par cons´equent, ind´ependamment de la dimension d, le slice-sampler uniforme est caract´eris´e
par la donn´ee de la fonction z7→ Q(z) = λd(L(z)).
3. Montrer que, si la densit´e πest born´ee et supp (π) a mesure de Lebesgue finie, l’´echantillonneur
r´esultant est uniform´ement g´eom´etriquement ergodique.
4. La vitesse de convergence de l’algorithme d´epend elle de la connaissance de la constante de
normalisation ?
Exercice 3
On ´etudie dans cet exercice le cas o`u f0est int´egrable sur Rdet f1est born´e. Remarquons que sous
cette hypoth`ese il est possible de simuler la loi `a l’aide d’une technique de rejet.
1. Montrer que la chaˆıne {Xk}a une densit´e donn´ee par
K(x, y) = 1
f1(x)Zf1(x)∧f1(y)
0
f0(y)
Qf0(z)dz ,
o`u
Qf0(z) = Z
{w∈Rd,f1(z)≥w}
f0(w) dw .
2. Montrer que Qf0(z)≤Rf0pour tout z∈Rd.
3. En d´eduire que
K(x, y)≥f0(y)
Rf01∧f1(y)
supzf1(z).
4. En d´eduire que l’´echantillonneur est uniform´ement ergodique.
Nous allons maintenant impl´ementer l’algorithme pr´ec´edent pour ´echantillonner une loi de densit´e
proportionnelle `a
π(x)=e−kxk2
21 + kx−x0k2−1.
La forme particuli`ere de cette loi sugg`ere de d´ecomposer πde la fa¸con suivante
π(x) = f0(x)f1(x)
avec f0(x)∝e−kxk2
2et f1(x) = (1 + kx−x0k2)−1. On se situe dans le cas o`u d= 1 et x0= 0.
Exercice 4
1. Ecrire de fa¸con explicite l’algorithme du f0-slice sampler [indication : Utiliser la m´ethode de
rejet pour le mouvement (b))].
2

2. Calculer explicitement la vitesse de convergence `a l’´equilibre pour cet ´echantillonneur [indi-
cation : on utilisera la condition de Doeblin].
3. D´eterminer le nombre de simulations n´ecessaire pour que la distance en variation totale `a la
loi d’´equilibre soit inf´erieur `a 0,01.
4. Confronter les histogrammes faits `a partir des valeurs de X0, . . . , Xkavec k= 100,500,1000,
2000,5000 et le graphe de la fonction π. Normaliser dans les deux cas afin d’obtenir courbes
comparables.
On s’int´eresse maintenant au cas o`u
π(x)=e−kxk2
21 + kx−x0k2−1(1 + kx−x1k4).
Remarquons que, dans ce cas, cette loi ne peut pas ˆetre simul´ee par une technique de rejet. La
forme particuli`ere de cette loi sugg`ere de d´ecomposer πde la fa¸con suivante
π(x) = f0(x)f1(x)f1(x)
avec f0(x)∝e−kxk2
2et f1(x) = (1 + kx−x0k2)−1,f2(x) = (1 + kx−x1k4). On se situe dans le cas
o`u d= 1, x0= 0 et x1= 1.
Exercice 5
1. Ecrire de fa¸con explicite l’algorithme du f0-slice sampler.
2. Confronter les histogrammes faits `a partir des valeurs de X0, . . . , Xkavec k= 100,500,1000,
2000,5000 et le graphe de la fonction π. Normaliser dans les deux cas afin d’obtenir courbes
comparables.
3