Chaines de Markov, chapitre 3

Chapitre 3
Mesures stationnaires
et théorèmes de convergence
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.1
I. Mesures stationnaires
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pour
la chaine de Markov (Xn )n≥0 si, pour tout n ≥ 0 :
(∀ x ∈ E, P(Xn = x) = π(x)) =⇒ (∀ x ∈ E, P(Xn+1 = x) = π(x)).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pour
la chaine de Markov (Xn )n≥0 si, pour tout n ≥ 0 :
(∀ x ∈ E, P(Xn = x) = π(x)) =⇒ (∀ x ∈ E, P(Xn+1 = x) = π(x)).
Proposition 1 : La probabilité π est stationnaire si et seulement si :
X
∀ y ∈ E,
π(x)p(x, y) = π(y).
x∈E
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pour
la chaine de Markov (Xn )n≥0 si, pour tout n ≥ 0 :
(∀ x ∈ E, P(Xn = x) = π(x)) =⇒ (∀ x ∈ E, P(Xn+1 = x) = π(x)).
Proposition 1 : La probabilité π est stationnaire si et seulement si :
X
∀ y ∈ E,
π(x)p(x, y) = π(y).
x∈E
En fait π est stationnaire si et seulement si, lorsque la loi initiale de la
chaine est π (c’est-à-dire si P(X0 = x) = π(x) pour tout x) alors, pour
tout instant n, la loi de Xn est également π (c’est-à-dire
P(Xn = x) = π(x) pour tout x).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.2
Exemple : Dans le cas d’une chaine
pour laquelle

 E = {0, 1} et
1−a
a

,
p=
b
1−b
nous avons montré que
P(Xn = 0) =
et
b
b
+ (1 − a − b)n (µ(0) −
)
a+b
a+b
a
a
n
P(Xn = 1) =
+ (1 − a − b) (µ(1) −
)
a+b
a+b
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.3
Exemple : Dans le cas d’une chaine
pour laquelle

 E = {0, 1} et
1−a
a

,
p=
b
1−b
nous avons montré que
P(Xn = 0) =
et
b
b
+ (1 − a − b)n (µ(0) −
)
a+b
a+b
a
a
n
P(Xn = 1) =
+ (1 − a − b) (µ(1) −
)
a+b
a+b
Par conséquent la probabilité π définie par π(0) =
stationnaire et c’est la seule.
b
a+b , π(1)
=
a
a+b
est
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.3
Exemple : Dans le cas d’une chaine
pour laquelle

 E = {0, 1} et
1−a
a

,
p=
b
1−b
nous avons montré que
P(Xn = 0) =
et
b
b
+ (1 − a − b)n (µ(0) −
)
a+b
a+b
a
a
n
P(Xn = 1) =
+ (1 − a − b) (µ(1) −
)
a+b
a+b
Par conséquent la probabilité π définie par π(0) =
stationnaire et c’est la seule.
b
a+b , π(1)
=
a
a+b
est
On retrouve ce résultat en appliquant la proposition 1.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.3
Exemple : Dans le cas d’une chaine
pour laquelle

 E = {0, 1} et
1−a
a

,
p=
b
1−b
nous avons montré que
P(Xn = 0) =
b
b
+ (1 − a − b)n (µ(0) −
)
a+b
a+b
a
a
n
P(Xn = 1) =
+ (1 − a − b) (µ(1) −
)
a+b
a+b
et
Par conséquent la probabilité π définie par π(0) =
stationnaire et c’est la seule.
b
a+b , π(1)
=
a
a+b
est
On retrouve ce résultat en appliquant la proposition 1.
En outre
lim P(Xn = 0) =
n→+∞
b
= π(0),
a+b
lim P(Xn = 1) =
n→+∞
a
= π(1).
a+b
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.3
En fait, si π est stationnaire et si la loi de X0 est π , alors pour tout n,
(Xk+n )k≥0 a même loi que (Xp )p≥0 au sens où : pour tout m ≥ 0, le
vecteur (Xn , Xn+1 , . . . , Xn+m ) a même loi que le vecteur
(X0 , X1 , . . . , Xm ).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.4
En fait, si π est stationnaire et si la loi de X0 est π , alors pour tout n,
(Xk+n )k≥0 a même loi que (Xp )p≥0 au sens où : pour tout m ≥ 0, le
vecteur (Xn , Xn+1 , . . . , Xn+m ) a même loi que le vecteur
(X0 , X1 , . . . , Xm ).
Cela signifie que la chaine de Markov regardée depuis l’instant initial a
même loi que la chaine de Markov regardée à partir de tout instant n.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.4
En fait, si π est stationnaire et si la loi de X0 est π , alors pour tout n,
(Xk+n )k≥0 a même loi que (Xp )p≥0 au sens où : pour tout m ≥ 0, le
vecteur (Xn , Xn+1 , . . . , Xn+m ) a même loi que le vecteur
(X0 , X1 , . . . , Xm ).
Cela signifie que la chaine de Markov regardée depuis l’instant initial a
même loi que la chaine de Markov regardée à partir de tout instant n.
Il est commode d’étendre la notion d’invariance aux mesures sur E et
de ne pas la réserver aux probabilités sur E .
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.4
En fait, si π est stationnaire et si la loi de X0 est π , alors pour tout n,
(Xk+n )k≥0 a même loi que (Xp )p≥0 au sens où : pour tout m ≥ 0, le
vecteur (Xn , Xn+1 , . . . , Xn+m ) a même loi que le vecteur
(X0 , X1 , . . . , Xm ).
Cela signifie que la chaine de Markov regardée depuis l’instant initial a
même loi que la chaine de Markov regardée à partir de tout instant n.
Il est commode d’étendre la notion d’invariance aux mesures sur E et
de ne pas la réserver aux probabilités sur E .
Définition : Une mesure m sur E (c’est à dire une famille (m(x))x∈E de
réels positifs ou nuls) est dite invariante (ou stationnaire) si la mesure
m n’est pas la mesure identiquement nulle et si :
X
∀y ∈ E
m(x) p(x, y) = m(y).
x∈E
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.4
Une probabilité invariante est évidemment une mesure invariante.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est une
mesure invariante.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est une
mesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) est
une probabilité invariante.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est une
mesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) est
une probabilité invariante.
En pratique, on cherche des mesures stationnaires et on les
renormalise éventuellement pour avoir des probabilités stationnaires.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est une
mesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) est
une probabilité invariante.
En pratique, on cherche des mesures stationnaires et on les
renormalise éventuellement pour avoir des probabilités stationnaires.
Si E est fini et comprend d éléments, m peut être représentée par un
vecteur colonne de d composantes et les équations de stationnarité
s’écrivent :
mt p = mt .
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est une
mesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) est
une probabilité invariante.
En pratique, on cherche des mesures stationnaires et on les
renormalise éventuellement pour avoir des probabilités stationnaires.
Si E est fini et comprend d éléments, m peut être représentée par un
vecteur colonne de d composantes et les équations de stationnarité
s’écrivent :
mt p = mt .
Cela revient à chercher les vecteurs propres à gauche de p (c’est-à-dire
les vecteurs propres de pt associés à la valeur propre 1). On voit que 1
est valeur propre de p donc de pt , mais il n’est pas évident qu’il existe un
vecteur propre dont toutes les composantes soient positives ou nulles.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.5
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice de
transition p est :


0
1
0
0
 1/3 0 2/3 0 



.
 0 2/3 0 1/3 
0
0
1
0
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice de
transition p est :


0
1
0
0
 1/3 0 2/3 0 



.
 0 2/3 0 1/3 
0
0
1
0
On trouve :
1
3
3
1
π(0) = , π(1) = , π(2) = , π(3) = .
8
8
8
8
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice de
transition p est :


0
1
0
0
 1/3 0 2/3 0 



.
 0 2/3 0 1/3 
0
0
1
0
On trouve :
1
3
3
1
π(0) = , π(1) = , π(2) = , π(3) = .
8
8
8
8
Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si n
est impair Px (Xn = x) = 0.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice de
transition p est :


0
1
0
0
 1/3 0 2/3 0 



.
 0 2/3 0 1/3 
0
0
1
0
On trouve :
1
3
3
1
π(0) = , π(1) = , π(2) = , π(3) = .
8
8
8
8
Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si n
est impair Px (Xn = x) = 0.
Cette chaine a un comportement “périodique", nous y reviendrons à la
fin du chapitre.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.6
Il peut être lourd de chercher les mesures stationnaires à l’aide de la
définition, la notion de réversibilité est plus restrictive mais plus facile à
manipuler.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.7
Il peut être lourd de chercher les mesures stationnaires à l’aide de la
définition, la notion de réversibilité est plus restrictive mais plus facile à
manipuler.
Définition : La mesure m sur E est réversible pour la chaine de
Markov de fonction de transition p si :
m(x) p(x, y) = m(y) p(y, x), ∀ x; y ∈ E.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.7
Il peut être lourd de chercher les mesures stationnaires à l’aide de la
définition, la notion de réversibilité est plus restrictive mais plus facile à
manipuler.
Définition : La mesure m sur E est réversible pour la chaine de
Markov de fonction de transition p si :
m(x) p(x, y) = m(y) p(y, x), ∀ x; y ∈ E.
Proposition 2 : Toute mesure réversible est stationnaire.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.7
Exemple d’une chaine de naissance et mort :
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Exemple d’une chaine de naissance et mort :
On suppose que qx > 0 pour tout x ≥ 1.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Exemple d’une chaine de naissance et mort :
On suppose que qx > 0 pour tout x ≥ 1.
On vérifie que la mesure m est réversible si et seulement si elle s’écrit pour
x ≥ 1, x ∈ E :
p0 ....px−1
m(x) =
m(0).
q1 ......qx
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Exemple d’une chaine de naissance et mort :
On suppose que qx > 0 pour tout x ≥ 1.
On vérifie que la mesure m est réversible si et seulement si elle s’écrit pour
x ≥ 1, x ∈ E :
p0 ....px−1
m(x) =
m(0).
q1 ......qx
Si E = {0, 1, ...d}, la probabilité π donnée par :
m(x)
π(x) = Pd
=
y=0 m(y)
est réversible donc stationnaire.
p0 ....px−1
q1 ......qx
Pd p0 ....py−1
y=0 q1 ......qy
pour 0 ≤ x ≤ d,
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Exemple d’une chaine de naissance et mort :
On suppose que qx > 0 pour tout x ≥ 1.
On vérifie que la mesure m est réversible si et seulement si elle s’écrit pour
x ≥ 1, x ∈ E :
p0 ....px−1
m(x) =
m(0).
q1 ......qx
Si E = {0, 1, ...d}, la probabilité π donnée par :
m(x)
π(x) = Pd
=
y=0 m(y)
p0 ....px−1
q1 ......qx
Pd p0 ....py−1
y=0 q1 ......qy
est réversible donc stationnaire.
P
P
Si E = N, et si y≥0 m(y) =< +∞, c’est-à-dire si y≥0
une seule probabilité réversible π donnée par :
pour 0 ≤ x ≤ d,
p0 ....py−1
q1 ......qy
< +∞, il existe une et
p0 ....px−1
m(x)
q ......qx
P
π(x) =
= P 1 p0 ....p
y−1
m(y)
y≥0
y≥0 q1 ......qy
pour x ∈ N.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Exemple d’une chaine de naissance et mort :
On suppose que qx > 0 pour tout x ≥ 1.
On vérifie que la mesure m est réversible si et seulement si elle s’écrit pour
x ≥ 1, x ∈ E :
p0 ....px−1
m(x) =
m(0).
q1 ......qx
Si E = {0, 1, ...d}, la probabilité π donnée par :
m(x)
π(x) = Pd
=
y=0 m(y)
p0 ....px−1
q1 ......qx
Pd p0 ....py−1
y=0 q1 ......qy
est réversible donc stationnaire.
P
P
Si E = N, et si y≥0 m(y) =< +∞, c’est-à-dire si y≥0
une seule probabilité réversible π donnée par :
pour 0 ≤ x ≤ d,
p0 ....py−1
q1 ......qy
< +∞, il existe une et
p0 ....px−1
m(x)
q ......qx
P
π(x) =
= P 1 p0 ....p
y−1
m(y)
y≥0
y≥0 q1 ......qy
Si E = N, et si
p0 ....py−1
y≥0 q1 ......qy
P
pour x ∈ N.
= +∞, il n’existe pas de probabilité réversible.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.8
Soit π une probabilité stationnaire. Si y est un état
transient ou récurrent nul, alors π(y) = 0.
Proposition 3 :
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.9
Proposition 3 : Soit π une probabilité stationnaire. Si y est un état
transient ou récurrent nul, alors π(y) = 0.
car si y est transient ou récurrent nul, alors pour tout x
à n
!
X
1
1{Xk =y} −−−−−→ 0.
Ex
n→+∞
n
k=1
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.9
II. Cas d’une chaine récurrente irréductible
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.10
II. Cas d’une chaine récurrente irréductible
Lemme 5 : Soit m une mesure invariante (donc non identiquement
nulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E , on a
m(y) > 0.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.10
II. Cas d’une chaine récurrente irréductible
Lemme 5 : Soit m une mesure invariante (donc non identiquement
nulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E , on a
m(y) > 0.
Théorème 5 : Une chaine de Markov récurrente irréductible possède
une mesure invariante m. Cette mesure stationnaire est strictement
positive en tout point et unique à une constante multiplicative près. En
outre pour tout x0 ∈ E on a :


Tx0
X
∀ y ∈ E, m(y) = c(x0 ) Ex0 
1{Xk =y}  (c(x0 ) > 0).
k=1
Par suite la chaine est récurrente positive si et seulement si ses
mesures stationaires sont de masse totale finie.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.10
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Soit m une mesure invariante
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Soit m une mesure invariante
Pn
- pour tout z ∈ E , m(z) ≥ m(x0 ) k=1 Px0 (Tx0 ≥ k, Xk = z),
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Soit m une mesure invariante
Pn
- pour tout z ∈ E , m(z) ≥ m(x0 ) k=1 Px0 (Tx0 ≥ k, Xk = z),
- pour tout z ∈ E , m(z) ≥ m(x0 ) λx0 (z),
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Soit m une mesure invariante
Pn
- pour tout z ∈ E , m(z) ≥ m(x0 ) k=1 Px0 (Tx0 ≥ k, Xk = z),
- pour tout z ∈ E , m(z) ≥ m(x0 ) λx0 (z),
- m1 = m − m(x
P 0 ) λx0 est une mesure (positive) qui vérifie, pour tout
y ∈ E , m1 (y) = x∈E m1 (x) p(x, y).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
On fixe x0 ∈ E et on pose


Tx0
X
X
λx0 (y) = Ex0 
1{Xk =y}  =
Px0 (Tx0 ≥ k, Xk = y) ∈ R+ .
k=1
k≥1
Etape 1 : λx0 est une mesure invariante strictement positive
- λx0 (x0 ) = 1,
P
- pour tout z ∈ E , y∈E λx0 (y) p(y, z) = λx0 (z),
- pour tout y0 ∈ E , λx0 (y0 ) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0 .
Soit m une mesure invariante
Pn
- pour tout z ∈ E , m(z) ≥ m(x0 ) k=1 Px0 (Tx0 ≥ k, Xk = z),
- pour tout z ∈ E , m(z) ≥ m(x0 ) λx0 (z),
- m1 = m − m(x
P 0 ) λx0 est une mesure (positive) qui vérifie, pour tout
y ∈ E , m1 (y) = x∈E m1 (x) p(x, y).
- m1 (x0 ) = 0, donc m1 = 0 (lemme 4).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.11
Une chaine de Markov irréductible et récurrente
positive possède une et une seule probabilité stationnaire π . Cette
probabilité stationnaire π vérifie :
Théorème 6 :
PTx0
Ex0 ( k=1 1{Xk =y} )
1
∀ x0 ∈ E, ∀ y ∈ E, π(y) =
=
.
Ex0 (Tx0 )
Ey (Ty )
En outre, pour tout y ∈ E :
n
X
1
p.s.
1{Xk =y} −−−→ π(y).
n→+∞
n
k=1
Plus généralement, pour toute fonction f positive ou π -intégrable :
Z
n
X
X
1
p.s.
f (Xk ) −−−→
f (y) π(y) = f dπ.
n→+∞
n
k=1
y∈E
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.12
Remarque : :
n
n
n−1
k=1
k=0
k=0
1X
1X
1X
lim
1{Xk =y} = lim
1{Xk =y} = lim
1{Xk =y} ,
n→+∞ n
n→+∞ n
n→+∞ n
et de même :
n
n
n−1
X
X
1
1
1X
lim
f (Xk ) = lim
f (Xk ) = lim
f (Xk ).
n→+∞ n
n→+∞ n
n→+∞ n
k=1
k=0
k=0
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.13
Remarque : :
n
n
n−1
k=1
k=0
k=0
1X
1X
1X
lim
1{Xk =y} = lim
1{Xk =y} = lim
1{Xk =y} ,
n→+∞ n
n→+∞ n
n→+∞ n
et de même :
n
n
n−1
X
X
1
1
1X
lim
f (Xk ) = lim
f (Xk ) = lim
f (Xk ).
n→+∞ n
n→+∞ n
n→+∞ n
k=1
k=0
k=0
Corollaire 8 : Une chaine irréductible est récurrente positive si et
seulement si elle possède une probabilité stationnaire (et celle-ci est
alors unique).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.13
Remarque : :
n
n
n−1
k=1
k=0
k=0
1X
1X
1X
lim
1{Xk =y} = lim
1{Xk =y} = lim
1{Xk =y} ,
n→+∞ n
n→+∞ n
n→+∞ n
et de même :
n
n
n−1
X
X
1
1
1X
lim
f (Xk ) = lim
f (Xk ) = lim
f (Xk ).
n→+∞ n
n→+∞ n
n→+∞ n
k=1
k=0
k=0
Corollaire 8 : Une chaine irréductible est récurrente positive si et
seulement si elle possède une probabilité stationnaire (et celle-ci est
alors unique).
Corollaire 8 : Une chaine irréductible sur un espace d’états fini
possède une et une seule probabilité stationnaire π et tous ses états
sont récurrents positifs.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.13
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à la
recherche directe de mesures invariantes,
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à la
recherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,
alors la chaine est transiente.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à la
recherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,
alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à la
recherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,
alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
P
- ou bien x m(x) < +∞, la chaine est
alors récurrente positive
P
et la probabilité invariante est π(x) = m(x)/ y m(y),
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’une
chaine irréductible, on peut
commencer par chercher des mesures réversibles γ ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à la
recherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,
alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
P
- ou bien x m(x) < +∞, la chaine est
alors récurrente positive
P
et la probabilité invariante est π(x) = m(x)/ y m(y),
P
- ou bien x m(x) = +∞, la chaine est alors récurrente nulle ou
transiente.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.14
III. Cas d’une chaine non irréductible
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.15
III. Cas d’une chaine non irréductible
Lemme 10 : Soit C une classe fermée et m une mesure portée par C
(c’est-à-dire telle que m(C c ) = 0). Alors m est invariante pour la chaine
de Markov initiale si et seulement si elle est invariante pour la chaine
de Markov restreinte à C .
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.15
III. Cas d’une chaine non irréductible
Lemme 10 : Soit C une classe fermée et m une mesure portée par C
(c’est-à-dire telle que m(C c ) = 0). Alors m est invariante pour la chaine
de Markov initiale si et seulement si elle est invariante pour la chaine
de Markov restreinte à C .
Théorème 10 : Soit C une classe fermée irréductible formée d’états
récurrents positifs, alors la chaine possède une et une seule probabilité
stationnaire π concentrée sur C . Elle est donnée par :
(
1
si x ∈ C,
E
x (Tx )
π(x) =
0
sinon.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.15
Théorème 11 : Soit (Ck )k∈K (K fini ou dénombrable) l’ensemble des
classes récurrentes irréductibles qui sont récurrentes positives
(c’est-à-dire formées d’états récurrents positifs). Notons πk (k ∈ K)
l’unique probabilité stationnaire concentrée sur Ck . Alors les
probabilités stationnaires de la chaine sont les mesures de la forme :
X
X
π=
ck πk , avec ck ≥ 0,
ck = 1.
k∈K
k∈K
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.16
IV. Convergence en loi vers la loi stationnaire
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px (Tx < +∞) > 0
(c’est-à-dire il existe n ≥ 1 tel que pn (x, x) > 0), sa période dx est le
p.g.c.d. de {n : n ≥ 1, pn (x, x) > 0}.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px (Tx < +∞) > 0
(c’est-à-dire il existe n ≥ 1 tel que pn (x, x) > 0), sa période dx est le
p.g.c.d. de {n : n ≥ 1, pn (x, x) > 0}.
Remarque :
1 ≤ dx ≤ min{n ≥ 1 : pn (x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px (Tx < +∞) > 0
(c’est-à-dire il existe n ≥ 1 tel que pn (x, x) > 0), sa période dx est le
p.g.c.d. de {n : n ≥ 1, pn (x, x) > 0}.
Remarque :
1 ≤ dx ≤ min{n ≥ 1 : pn (x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous les
éléments d’une chaine de Markov irréductible ont même période.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px (Tx < +∞) > 0
(c’est-à-dire il existe n ≥ 1 tel que pn (x, x) > 0), sa période dx est le
p.g.c.d. de {n : n ≥ 1, pn (x, x) > 0}.
Remarque :
1 ≤ dx ≤ min{n ≥ 1 : pn (x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous les
éléments d’une chaine de Markov irréductible ont même période.
On dit que la chaine est périodique de période d si d > 1 et apériodique
si d = 1.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.17
Théorème 13 :
Soit (Xn )n∈N une chaine de Markov récurrente irréductible.
Si elle est récurrente nulle, alors :
lim pn (x, y) = lim Px (Xn = y) = 0.
n→+∞
n→+∞
Si elle est récurrente positive de loi stationnaire π :
soit elle est apériodique, et alors :
lim pn (x, y) = lim Px (Xn = y) = π(y).
n→+∞
n→+∞
soit elle est périodique de période d, et alors pour tout couple
x, y d’états de E , il existe un entier r (0 ≤ r < d) dépendant de x
et y , tel que :
Px (Xn = y) = 0 si n n′ est pas de la forme md + r avec m ∈ N
lim Px (Xmd+r = y) = d π(y).
m→+∞
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.18
Application : algorithme de Métropolis
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : algorithme de Métropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,
mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peut
calculer car E est trop grand.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : algorithme de Métropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,
mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peut
calculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible et
apériodique (Xn )n≥0 de loi stationnaire π .
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : algorithme de Métropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,
mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peut
calculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible et
apériodique (Xn )n≥0 de loi stationnaire π .
On se donneP
une fonction de transition q symétrique
(q(x, y) ≥ 0,
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : algorithme de Métropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,
mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peut
calculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible et
apériodique (Xn )n≥0 de loi stationnaire π .
On se donneP
une fonction de transition q symétrique
(q(x, y) ≥ 0,
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
On suppose que Xk = x,
- on tire y avec la probabilité q(x, ·)
π(y)
, 1) et Xn+1 = x avec
- on prend Xk+1 = y avec probabilité min( π(x)
π(y)
, 1).
probabilité 1 − min( π(x)
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : algorithme de Métropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,
mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peut
calculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible et
apériodique (Xn )n≥0 de loi stationnaire π .
On se donneP
une fonction de transition q symétrique
(q(x, y) ≥ 0,
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
On suppose que Xk = x,
- on tire y avec la probabilité q(x, ·)
π(y)
, 1) et Xn+1 = x avec
- on prend Xk+1 = y avec probabilité min( π(x)
π(y)
, 1).
probabilité 1 − min( π(x)
Alors la probabilité π est réversible pour la chaine de Markov (Xn )n≥0 .
La chaine est irréductible, récurrente positive et apériodique. On prend
Z = Xn pour n "grand".
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.19
Application : recuit simulé
But : minimiser une fonction U définie sur un espace fini mais très
grand.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.20
Application : recuit simulé
But : minimiser une fonction U définie sur un espace fini mais très
grand.
Soit T > 0 (la température). On pose
πT (x) =
1
−
T
e U (x)
ZT
,
ZT constante de normalisation (inconnue).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.20
Application : recuit simulé
But : minimiser une fonction U définie sur un espace fini mais très
grand.
Soit T > 0 (la température). On pose
πT (x) =
1
−
T
e U (x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensemble
des points où U est minimum (minimum global).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.20
Application : recuit simulé
But : minimiser une fonction U définie sur un espace fini mais très
grand.
Soit T > 0 (la température). On pose
πT (x) =
1
−
T
e U (x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensemble
des points où U est minimum (minimum global).
On simule πT tout en faisant tendre la température vers 0 :
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.20
Application : recuit simulé
But : minimiser une fonction U définie sur un espace fini mais très
grand.
Soit T > 0 (la température). On pose
πT (x) =
1
−
T
e U (x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensemble
des points où U est minimum (minimum global).
On simule πT tout en faisant tendre la température vers 0 :
on construit une chaine de Markov inhomogène en temps, telle que la
loi de Xn tende vers la loi uniforme sur l’ensemble des points où U est
minimum (minimum global).
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.20
On utilise l’algorithme de Métropolis mais en faisant varier la
température.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.21
On utilise l’algorithme de Métropolis mais en faisant varier la
température.
On suppose que Xk = x,
pour construire Xk+1 :
- on tire y avec la probabilité q(x, ·),
- si U (y) ≤ U (x) on prend Xk+1 = y ,
− T1 (U (y)−U (x))
- si U (y) > U (x) on prend Xk+1 = y avec probabilité e
− T1 (U (y)−U (x))
Xk+1 = x avec probabilité 1 − e
k
k
et
.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.21
On utilise l’algorithme de Métropolis mais en faisant varier la
température.
On suppose que Xk = x,
pour construire Xk+1 :
- on tire y avec la probabilité q(x, ·),
- si U (y) ≤ U (x) on prend Xk+1 = y ,
− T1 (U (y)−U (x))
- si U (y) > U (x) on prend Xk+1 = y avec probabilité e
− T1 (U (y)−U (x))
Xk+1 = x avec probabilité 1 − e
k
k
et
.
Le fait de se laisser la possibilité de prendre Xk+1 = y même si
U (y) > U (x) évite de rester piégé dans des points correspondant à des
minima locaux . . . mais il faut que la température Tk ne décroisse pas
trop vite vers 0.
Christiane Cocozza-Thivent, Université de Marne-la-Vallée – p.21