Coupling from the past

Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Coupling from the past
Arthur Leclaire
Université Paris Descartes
Groupe de travail des thésards
et jeunes docteurs
7 mai 2013
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Plan de la présentation
1
Rappels sur les Chaînes de Markov
2
Coupling from the past
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
3
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Bibliographie
James Gary Propp and David Bruce Wilson.
Exact sampling with coupled markov chains and
applications to statistical mechanics.
Random structures and Algorithms, 9(1-2) :223–252, 1996.
Christian Lantuejoul.
Geostatistical Simulation : Models and Algorithms.
Springer, 2002.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Plan
1
Rappels sur les Chaînes de Markov
2
Coupling from the past
3
Application aux champs de Gibbs
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Définition
Soit Ω un espace d’états
fini.
Définition
Soit (Xn )n≥0 une suite de v.a. à valeurs dans Ω.
On dit que (Xn ) est une chaîne de Markov de matrice de
transition Q si pour tout n ≥ 0,
P(Xn+1 = y | X0 = x0 , . . . , Xn = xn ) = Q(xn , y )
pour tous x0 , . . . , xn , y ∈ Ω tels que
P(X0 = x0 , . . . , Xn = xn ) > 0 .
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Matrice de transition
Soit (Xn ) une chaîne de Markov de matrice de transition Q.
Alors, Q est une matrice vérifiant
∀x, y ∈ Ω,
Q(x, y ) = P(Xn+1 = y | Xn = x) .
Plus généralement,
∀x, y ∈ Ω,
Q k (x, y ) = P(Xn+k = y | Xn = x) .
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Irréductibilité
Définition
La chaîne (ou la matrice Q) est dite irréductible si
∀x, y ∈ Ω, ∃n,
Q n (x, y ) > 0 .
Proposition
Pour Ω fini, si la chaîne est irréductible, alors elle est
récurrente, c’est-à-dire que presque sûrement, (Xn ) visite une
infinité de fois tous les états.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Loi invariante
Définition
On dit qu’une loi de probabilité p sur Ω est invariante (ou
stationnaire) pour Q si
X
pQ = p i.e. ∀y ∈ Ω,
p(x)Q(x, y ) = p(y ) .
x∈Ω
Cela revient à dire que
Xn ∼ p
=⇒
Xn+1 ∼ p .
Théorème
Pour Ω fini, si la chaîne est irréductible, alors il existe une
unique mesure de probabilité invariante.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Apériodicité
Définition
La période de x ∈ Ω pour la chaîne (Xn ) est
d(x) = pgcd{n ≥ 0 | Q n (x, x) > 0} .
Proposition
Supposons (Xn ) irréductible. Alors
1
Tous les points ont la même période d ≥ 1.
2
Si d = 1, alors
∀x, y ∈ Ω, ∃n0 , ∀n ≥ n0 ,
Q n (x, y ) > 0 .
On dit dans ce cas que la chaîne est apériodique.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Convergence en loi
Théorème
Pour Ω fini, si (Xn ) est irréductible apériodique, et si l’on note p
la loi de probabilité invariante, alors quelle que soit la loi initiale
de X0 , on a
∀y ∈ Ω,
P(Xn = y ) −−−→ p(y ) .
n→∞
Autrement dit,
∀x, y ∈ Ω,
Q n (x, y ) −−−→ p(y ) .
A. Leclaire
n→∞
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Plan
1
Rappels sur les Chaînes de Markov
2
Coupling from the past
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
3
Application aux champs de Gibbs
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Composition inversée
F1
F IGURE: Composition des applications de transition
F1 = F1
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Composition inversée
F2
F1
F IGURE: Composition des applications de transition
F2 = F1 ◦ F2
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Composition inversée
F3
F2
F1
F IGURE: Composition des applications de transition
F3 = F1 ◦ F2 ◦ F3
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Composition inversée
F4
F3
F2
F1
F IGURE: Composition des applications de transition
F4 = F1 ◦ F2 ◦ F3 ◦ F4
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Algorithme CFTP
Initialisation : n ← 0, F0 = Id.
Tant que ]Fn (Ω) > 1,
Générer Fn+1 de loi µ.
Poser Fn+1 = F1 ◦ · · · ◦ Fn ◦ Fn+1 .
n ←n+1
Retourner l’unique état de Fn (Ω).
F IGURE: Algorithme CFTP
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Conditions de coalescence
Au tableau...
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Exemple de CFTP monotone
F1
F IGURE: Composition d’applications croissantes
F1 = F1
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Exemple de CFTP monotone
F2
F IGURE: Composition d’applications croissantes
F2 = F1 ◦ F2
A. Leclaire
Coupling from the past
F1
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Exemple de CFTP monotone
F3
F2
F IGURE: Composition d’applications croissantes
F3 = F1 ◦ F2 ◦ F3
A. Leclaire
Coupling from the past
F1
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Exemple de CFTP monotone
F4
F3
F2
F IGURE: Composition d’applications croissantes
F4 = F1 ◦ F2 ◦ F3 ◦ F4
A. Leclaire
Coupling from the past
F1
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Exemple de CFTP monotone
F5
F4
F3
F2
F IGURE: Composition d’applications croissantes
F5 = F1 ◦ F2 ◦ F3 ◦ F4 ◦ F5
A. Leclaire
Coupling from the past
F1
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Algorithme CFTP monotone
Initialisation : n ← 0, F0 = Id.
Tant que Fn (0̂) 6= Fn (1̂),
Générer Fn+1 de loi µ.
Poser Fn+1 = F1 ◦ · · · ◦ Fn ◦ Fn+1 .
n ←n+1
Retourner l’unique état de Fn (Ω).
F IGURE: Algorithme CFTP monotone
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Simulation de v.a. binomiales
On veut simuler une v.a. X sur {0, . . . , k } de loi
x x
p(x) =
r (1 − r )k −x (r ∈ (0, 1)) .
k
On considère la matrice de transition Q défini par
(1 − r )x
p(x − 1)
=
p(x) + p(x − 1)
r (k − x + 1) + (1 − r )x
r (k − x)
p(x + 1)
=
Q(x, x + 1) =
p(x) + p(x + 1)
r (k − x) + (1 − r )(x + 1)
Q(x, x) = 1 − Q(x, x − 1) − Q(x, x + 1) .
Q(x, x − 1) =
On simule une application de transition F à partir de U ∼ U(0, 1).
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Applications de transition et coalescence
Conditions de coalescence
Le cas monotone
Simulation de v.a. binomiales, algorithme
Initialisation : N ← 1
Faire
x ←0
y ←k
Pour n = N, N − 1, . . . , 1
◦ Si n > N/2, générer et mémoriser Un ∼ U(0, 1)
◦ x ← Fn (x)
◦ y ← Fn (y )
N ← 2N
Tant que x 6= y
Retourner x
F IGURE: CFTP pour la simulation de v.a. binomiales
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Plan
1
Rappels sur les Chaînes de Markov
2
Coupling from the past
3
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Echantillonneur de Gibbs
Initialisation de σ quelconque.
On itère les deux étapes suivantes :
1
Choix (aléatoire) d’un site i
2
On note σ− (resp. σ+ ) la modification de σ faisant passer i
à −1 (resp. à +1). On génère U ∼ U(0, 1) et on pose
(
−)
σ− si U < π(σ−π(σ
)+π(σ+ )
σ=
σ+ sinon
On notera F l’application de transition associée à i et U.
On notera G l’application de transition correspondant à un
parcours entier de la grille et à des v.a. uniformes (U(i))i∈S .
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Ising perfect sampling
Initialisation : N ← 1
Faire
X ← −1
Y ← +1
Pour n = N, N − 1, . . . , 1
◦ Si n > N/2, ∀i ∈ S, générer et mémoriser Un (i) ∼ U(0, 1)
◦ X ← Gn (X )
◦ Y ← Gn (Y )
N ← 2N
Tant que X 6= Y
Retourner X
F IGURE: CFTP pour la simulation Ising
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Le résultat de Darbon & Sigelle
Soit S = [1, M] × [1, N] et V = [0, 255].
Considérons un champ de Gibbs X : S → V de loi p(x) =
1 −U(x)
e
.
Z
Théorème (Darbon, Sigelle, 2012)
On suppose que
U(x) =
X
U1 (xs ) +
s∈S
X
U2 (xs , xt )
s,t∈S
avec U2 sous-modulaire, c’est-à-dire que pour tous a, b ∈ V ,
U2 (a + 1, b + 1) + U2 (a, b) ≤ U2 (a + 1, b) + U2 (a, b + 1) .
Alors, l’échantillonneur de Gibbs associé a des transitions croissantes, et
donc on peut simuler ce champ X de manière exacte via CFTP.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Champs L2 + TV
Exemple
U(x) =
X
(xs − ys )2 +
X
ws,t |xs − xt |
s∼t
s∈S
où y : S → V est une donnée, et où ws,t ≥ 0.
Pour ws,t = λ, on obtient
U(x) = kx − y k2 + λTV(x) .
Simus...
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Bibliographie
Jérôme Darbon and Marc Sigelle.
Image restoration with discrete constrained total variation part I : Fast and exact
optimization.
JMIV, 26(3) :261–276, 2006.
Jérôme Darbon and Marc Sigelle.
Image restoration with discrete constrained total variation part II : Levelable
functions, convex priors and non-convex cases.
Journal of Mathematical Imaging and Vision, 26(3) :277–291, 2006.
Christian Lantuejoul.
Geostatistical Simulation : Models and Algorithms.
Springer, 2002.
James Gary Propp and David Bruce Wilson.
Exact sampling with coupled markov chains and applications to statistical
mechanics.
Random structures and Algorithms, 9(1-2) :223–252, 1996.
A. Leclaire
Coupling from the past
Rappels sur les Chaînes de Markov
Coupling from the past
Application aux champs de Gibbs
Modèle d’Ising
Champ de Gibbs à énergie sous-modulaire
Merci !
M ERCI DE VOTRE ATTENTION
A. Leclaire
Coupling from the past