2.5 Notion de mesure invariante 2.6 Notion de mesure réversible

P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
Cours 4
2.5
Notion de mesure invariante
Nous avons déjà observé que dans certain cas, une chaîne de Markov pouvait se stabiliser i.e.
qu’après un assez grand nombre de transitions, la probabilité d’être dans un état donné devenait
constante. On donne la définition suivante :
Définition 10 – Soit une chaîne de Markov homogène sur un espace d’états fini, de matrice de
transition P . On appelle mesure invariante (ou probabilité invariante) pour cette chaîne, toute
mesure π telle que :
∀ i,
X
π i P i, j = π j
i
©
ª
Proposition 10 – Si π est une mesure invariante pour la chaîne de Markov homogène X n , n > 0
et si la loi de X 0 vaut π, alors la loi de X n est égale à π, quelque soit l’instant n.
X
Preuve : P ( X 1 = i ) = P ( X 1 = i | X 0 = j )P ( X 0 = j ). Si P ( X 0 = j ) = π j , le terme de droite est égal
j
X
X
à π j P j,i . Mais si la mesure est invariante, on a : π j P j,i = π i donc P ( X 1 = i ) = π i .
j
j
Par récurrence, on obtient : P ( X n = i ) = π i , ∀ n.
2.6
Notion de mesure réversible
Définition 11 – Soit une chaîne de Markov homogène sur un espace d’états fini, de matrice de
transition P . On appelle mesure réversible (ou probabilité réversible) pour cette chaîne, toute
mesure π telle que :
∀ i, j, π i P i, j = π j P j,i .
Etant en i , la probabilité d’aller en j est la même que la probabilité d’aller de i vers j alors que
l’on était en i .
Proposition 11 – Toute mesure réversible est invariante.
Preuve :
Si π est réversible, π i P i, j = π j P j,i donc
X
i
π i P i, j =
X
i
π j P j,i = π j
X
P j,i = π j
i
19
L3 MIS
2.7
Comportement asymptotique d’une chaîne de Markov
Théorème 2 – Soit une chaîne de Markov récurrente, apériodique et irréductible. Alors :
(i)
lim p(iin) = P
∞
(ii)
1
( n)
n=0 n f ii
n→∞
.
lim p(jin) = lim p(iin) .
n→∞
n→∞
Ainsi donc, si la chaîne est récurrente, apériodique et irréductible, après un nombre suffisamment
de transitions, les probabilités d’atteindre l’état i partant de n’importe quel état j , sont identiques.
Après un certain nombre de transitions, les probabilités que la chaîne soit dans les différents états
sont constantes.
La preuve du point ( i ) dépasse le cadre de ce cours. Nous allons prouver le point ( ii ).
On veut montrer que :
lim p(jin) = lim p(iin) .
n→+∞
n→+∞
On sait d’après la proposition (5) que : p(jin) =
On va donc s’intéresser à :
lim
n→+∞
f (k) p(iin−k) ,
k=1 ji
Pn
n
X
k =1
pour tout n > 1.
( k ) ( n− k )
f ji
p ii .
Pour calculer cette limite, on va utiliser le résultat d’analyse suivant :
Théorème 3 – Soit yn =
Alors lim yn = c.
n
X
k =0
a n−k xk avec a m > 0,
+∞
X
m =0
a m = 1 et lim xn = c.
n→+∞
n→+∞
Preuve :
Il s’agit de prouver que : lim yn = c i.e. que :
n→+∞
∀ε > 0, ∃ N (ε) tel que ∀ n > N (ε), | yn − c| < ε.
On remarque que :
yn − c =
n
X
k =0
a n− k x k − c
+∞
X
m =0
am =
n
X
k =0
a n− k ( x k − c ) − c
+∞
X
m = n +1
On a : lim xk = c donc ∀ξ > 0, ∃ K (ξ) tel que ∀ n > K (ξ), | xk − c| < ξ.
k→+∞
On décompose alors : yn − c en
KX
(ξ)
k =0
20
a n− k ( x k − c ) +
n
X
k=K (ξ)
a n− k ( x k − c ) − c
+∞
X
m = n +1
am.
am.
P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
On pose M = max | xk − c| et on prend ξ = ε/3.
k >0
On peut alors écrire :
| yn − c| 6 M
KX
(ξ)
k =0
a n− k +
La série de terme a m converge vers 1 donc
n
X
ε
3 k=K (ξ)+1
n
X
k=K (ξ)+1
a n− k + | c |
+∞
X
m = n +1
k =0
a n−k = a n + a n−1 + · · · + a n−K (ξ) =
m = n +1
am.
a n− k < 1 .
De plus, on peut toujours choisir un N (ε) tel que | c|
KX
(ξ)
+∞
X
n
X
k= n−K (ξ)
a m < ε/3 et tel que :
a k < ε/3 M , pour tout n > N (ε).
On a alors
| yn − c| <
ε ε ε
+ + = ε , pour tout n > N (ε),
3 3 3
Ce qui prouve le résultat.
En appliquant le résultat avec yn = p(jin) , a n = f i(nj ) et xn = p(iin) , on a :
lim p(jin) = lim p(iin) .
n→+∞
n→+∞
2.8
Calcul de la loi stationnaire pour une chaîne à espace d’états fini
Théorème 4 – Soit une chaîne de Markov homogène irréductible et apériodique sur un espace
d’états fini {0, 1, · · · , N }, de matrice de transition P .
Alors il existe une loi stationnaire unique π′ = [π0 π1 . . . π N ] ; c’est la solution du système d’équations :

N
X



π j p i j , i = 0, 1, · · · , N.
π
=

i

j =0
N
X



πj = 1


j =0
Exemple :
Considérons la chaîne de Markov de matrice de transition P définie par :


1/2 0 1/2
P =  1/4 1/2 1/4 
1/3 1/3 1/3
21
L3 MIS
Le graphe de cette chaîne est :
1/2
0
1/3
1/4
1/2
1/3
2
1
1/4
1/2
1/2
Tous les états communiquent : la chaîne est irréductible. Prenons l’état 0. Cet état est de
manière évidente de période 1. La périodicité étant une propriété de classe, tous les états sont de
période 1 et la chaîne est apériodique. D’après le théorème précédent, on peut donc dire qu’il
X
existe une loi stationnaire. C’est l’unique solution du système : π′ P = π′ et π = 1, c’est-à-dire du
i
système :

π0 + π1 + π2 = 1







1
1
1


 2 π0 + 4 π1 + 3 π2 = π0










1
1
2 π1 + 3
= π1
1
1
1
2 π0 + 4 π1 + 3 π2
= π2
Les solutions s’obtiennent sans difficultés et on a : π0 = 3/8 , π1 = 1/4 et π2 = 3/8 .
Ainsi donc lim p(j,n0) = lim p(j,n2) = 3/8 et lim p(j,n1) = 1/4.
n→+∞
n→+∞
n→+∞

3/8 1/4 3/8
lim P n =  3/8 1/4 3/8  .
n→+∞
3/8 1/4 3/8

Remarque : on sait que que P (n) = P n . On peut donc approximer lim P (n) par P M pour un M très
n→+∞
grand (voir TP).
2.9
Calcul de lois limites
Les conditions du théorème (4) sont des conditions suffisantes mais non nécessaires. En effet,
on peut toujours chercher à calculer les lim p i, j .
n→+∞
22
P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
Exemple – Considérons la chaîne de Markov de matrice de transition


1/2 1/2 0
0
 1/4 3/4 0
0 




 1/4 1/4 1/4 1/4 
0
0
0
1
On a le graphe suivant :
C1
1/2
1/2
0
1
3/4
1/4
C2
1/4
2
1/4
1/4
1/4
3
1
C3
La chaîne n’est clairement pas irréductible : tous les états ne communiquent pas. On ne pourra
donc pas appliquer le théorème précédent.
Il y a 3 classes d’équivalences : C1 = {0, 1}, C2 = {2} et C3 = {3}.
Les classes C1 et C3 sont absorbantes ; une fois entré dans l’une ces classes, on ne peut en
sortir. La classe C2 est elle transiente ; lorsqu’on est dans cette classe, on peut y rester un certain
temps mais on en sortira nécessairement après un certain nombre de transitions.
Tous les états sont de période 1 puisque pour tout i , p(iin) > 0, quelque soit n ∈ N.
La chaîne est donc apériodique.
Nous ne sommes donc pas dans les conditions d’application du théorèmes. On peut cependant,
calculer les lois limites : lim p(i,nj) , pour tout i, j dans {0, 1, 2, 3}.
n→+∞
Supposons que l’on soit initialement en l’état 3. Lorsqu’on est en 3, on y reste.
n)
On a donc : lim p(33
= 1 et lim p(3nj) = 0, j = 0, 2, 3.
n→+∞
n→+∞
Si on est en 2, on peut y rester un certain temps mais on entrera fatalement à un moment
dans l’une des classes C1 ou C3 .
¡
1¢
n)
n)
On a donc : P ( X n ∈ C1 | X 0 = 2) + P ( X n ∈ C2 | X 0 = 2) = 1 et lim p(22
= 0, n.b. : p(22
= n .
n→+∞
4
Calculons la probabilité d’être absorbé en C3 . La probabilité d’atteindre 3 partant de 2 en n
transitions peut s’écrire :
p(2n,3) =
n
X
k =0
( n− k−1)
p(2k,2) p(1)
=
2,3 p 3,3
n ³ 1 ´k
X
k =0
4
×
1
1 ³ 1 − (1/4)n+1 ´
× 1 n − k −1 =
4
4
1 − 1/4
23
L3 MIS
1³ 1 ´
= 1/3.
n→+∞
4 1 − 1/4
On en déduit alors directement la probabilité partant de 2 d’être absorbé en C1 :
et lim p(2n,3) =
P ( X n ∈ C1 | X 0 = 2) = 1 − P ( X n ∈ C2 | X 0 = 2) = 1/3.
Remarque :
La probabilité d’entrer en C1 partant de 2 peut être obtenue de la manière suivante.
On écrit :
P ( X n ∈ C1 | X 0 = 2) =
3
X
i =0
P ( X n ∈ C1 | X 1 = i )P ( X 1 = i | X 0 = 2)
(3)
On a : P ( X n ∈ C1 | X 1 = 0) = P ( X n ∈ C1 | X 1 = 1) = 1, pour tout n, puisque C1 est fermé.
P ( X n ∈ C1 | X 1 = 3) = 0, pour tout n.
Pour n assez grand, on a : P ( X n ∈ C1 | X 1 = 2) = P ( X n ∈ C1 | X 0 = 2) que l’on note u.
On a alors d’après (3) :
u = 1 × 1/4 + 1 × 1/4 + u × 1/4 + 0 × 1/4 ⇐⇒ u = 2/3
Ainsi donc, partant de l’état 2, la chaîne est absorbée en C1 avec une probabilité 2/3. Cette manière
de calculer s’appelle la stratégie du premier pas.
Une fois en C1 , la chaîne devient irréductible, apériodique, de matrice de transition :
·
¸
1/2 1/2
P1 =
1/4 3/4
D’après le théorème précédent, on peut dire qu’il existe une loi stationnaire (π0 , π1 ) pour cette
sous-chaîne, satisfaisant : π0 + π1 = 1 et
[π0
π1 ]
·
1/2 1/2
1/4 3/4
¸
= [π0 π1 ]
La solution est π0 = 1/3 et π1 = 2/3.
1
2
On a donc : lim p(0n,0) = lim p(1n,0) = , lim p(0n,1) = lim p(1n,1) =
n→+∞
n→+∞
n→+∞
3 n→+∞
3
et lim p(0n, j) = lim p(1n, j) = 0, j = 2, 3.
n→+∞
n→+∞
On peut alors calculer lim p(2n,0) = 2/3 × 1/3 = 2/9, lim p(2n,1) = 2/3 × 2/3 = 4/9
n→+∞
n→+∞
et vérifier lim p(2n,3) = 1 − 2/9 − 4/9 = 1/3.
n→+∞
Pour résumer :



lim P n = 
n→+∞

24
1/3 2/3 0 0
1/3 2/3 0 0
2/9 4/9 0 1/3
0
0 0 1




