processus de markov

CHAPITRE 2
COMPORTEMENT DES PROCESSUS DE MARKOV
A LONG TERME
1. Analyse du Processus de Markov Discret à long terme
Dans la pratique, on s’intéresse souvent à l’évolution du processus après un grand nombre
de transitions (à long terme).
Rappelons, qu’étant connue la probabilité au départ, la probabilité d’état à l’étape n peut
s’exprimer sous forme vectorielle par la relation récurrente de Chapman-KolmogorovSmulukovski :
 n  1   n  .P
(1)
avec n = 0,1,2,……
P représente la matrice de transition
n représente le vecteur d’état à l’étape n
En partant de l’état 0 qui est donné, on peut déterminer les probabilités d’état n de
façon récursive.
Pour
n = 1 ; on a : 1(0).P
pour
n = 2 ; on a : 2(1).P (0).P 2
pour
n = 3; on a : 3(2).P(0).P3
et de façon générale :
 n   0 .Pn
(2)
Comme on le voit, en appliquant la relation (2), on peut calculer n pour n quelconque.
Exemple 1:
Soit l’exemple d’un jeu à deux états : perdre ou gagner, avec la matrice de transition
suivante :
0.4 
 0.6

P
0.55 0.45 



En partant de l’état de succès suivant :  0 =  1 0

 
 2 0  1
 

0 

1
On peut calculer  1 :
1(0).P
(1)(1
,
soit :
 0
=
0.4 
 0.6
   0.6
.0).
0.45 0.55 



.
P=
(1
0)
0.4 

On constate que la somme vaut l’unité.
De même, on peut calculer 2 :
 2 =  1 . P =
 0.6 0.4  0.6 0.4    0.58

 0.55 0.45




0.42 

On constate que la somme vaut l’unité.
On peut facilement programmer la formule récurrente (2) d’ou les tableaux suivants
qui donne les probabilités d’état pour n croissant.
n
0
1
2
1 n
1
0.6
0.58
2 n
0
0.4
0.42
3
4
5
0.579
0.57895
……..
0.421
0.42105
……..
En partant de l’état 1; on constate que lorsque n est grand , les probabilités d’états à
 2 n  tendent vers des valeurs constantes. Ceci est une
long terme 1 n et
propriété très importante des processus de Markov.

Si on démarre de l’état 2 avec (0) 1 0

 
 2 0   0
 

1 .

on obtient cette fois ci le tableau suivant :
n
0
1
2
3
4
5
1 n
0
0.55
0.5775
0.578875
……..
2 n
1
0.45
0.4225
0.421125
……..
En partant de l’état 2; on constate que lorsque n est grand , les probabilités d’états à
long terme 1 n et  2 n  tendent vers des valeurs constantes.
Conclusion : Lorsque le nombre de transition augmente, la probabilité d’état ne dépend
plus de l’état de départ. Des processus aléatoire ayant cette propriété
sont dits Ergodiques.
2
Conclusion Pratique : Dans l’exemple du joueur, compte tenue de l’évolution des
probabilités d’états pour n grand (le long terme) ; le joueur a
intérêt à poursuivre ce jeu s’il part d’un état de succès et
même s’il part de l’état d’insuccès.
Exemple 2:
Si on prend une autre matrice de transition suivante pour le problème du joueur :
 0.5
P
0.4

En partant de l’état de succès ( 1
données par le tableau suivant.
0.5 

0.6 

0), on aura les probabilités d’état pour n croissant
n
0
1
2
3
4
5
1 n
1
0.5
0.45
0.445
0.4445
……..
2 n
0
0.5
0.55
0.555
0.5555
……..
Partant de l’état 1; on constate que lorsque n est grand, les probabilités d’état tendent
vers des valeurs constantes :

1 n  4
9
et

2 n  5
9

Si on démarre de l’état 2 avec  0 =  1 0

 
 2 0   0
 

1 .

on obtient le tableau suivant :
n
0
1
2
3
4
5
1 n
1
0.4
0.44
0.444
0.4444
2 n
0
0.6
0.56
0.556
0.5556 ……..
……..
On note que :
1n  94 
n 
2n  95 
n 
3
Conclusion Pratique : Dans l’exemple du joueur, compte tenue de l’évolution des
probabilités d’états pour n grand (le long terme) ; le joueur
n’a pas intérêt à poursuivre ce jeu.
2-Détermination des probabilités d’état a long terme
La relation (2) permet de calculer récursivement les probabilités d’état à l’horizon n. On
constate également que pour n grand, les probabilités d’états convergent vers des valeurs
constantes. Dès lors, une question fondamentale se pose. Peut-on déterminer directement
les probabilités d’état limites qui correspondent à un grand nombre de transitions ?? La
réponse est positive et est justifiée dans ce qui suit.
On dispose de deux relations, la première stipule que le système après n transitions se
trouve nécessairement dans l’un des états du système, soit:
N
 1
i
i 1
N
ou bien
 p (n)1
(11)
i
i 1
De plus, la relation récurrente :
N
 n1   n P
s’écrit :
p j(n1) pi(n) pij
i 1
Ainsi, pour n grand ( n ), on peut considérer que :  n1   n 
Cela signifie que :  n    n  .P
ou bien :
N
p j(n) pi(n) pij
(12)
i 1
En développant des expressions (11) et (12), on obtient un système d’équations dont la
résolution permet de déterminer les probabilités d’état limites cherchées.
N
 1
 n   n
N
i
i 1
 p (n)1
i
P
i 1
N
p j(n) pi(n) pij
i 1
3-Exemple
 0.6
Soit la matrice de transition d’un système : P
0.55

0.4 

0.45 

De la première relation (11) :
4
 1 ; il découle :  1  2  1
N
i
i 1
de la deuxième relation (12) :
 n   n P ; il découle :
 0.6
1, 21, 2 . 0.55

0.4 
 ce qui donne les deux
0.45 

équations suivantes :
10.610.552
20.420.451
Nous avons ainsi obtenu un système linéaire de trois équations à deux inconnus. Il admet
une solution unique qui est dans ce cas:
111/19
28/19
et
Dans beaucoup de problèmes, ce sont ces valeurs limites qui sont intéressantes.
Il faut cependant remarquer que ces valeurs limites ne sont valables que lorsque le système
aurait effectuer un nombre suffisant de transitions à partir de l’état initial donné. A ce
moment, on peut considérer que le système devient sans mémoire. Le processus
Markovien passe donc par une phase transitoire avant d’atteindre les valeurs limites.
4-Exemple
 0.5
Soit la matrice de transition d’un système : P
 0.4

0.5 

0.6 

De la première relation (11) :
 1 ; il découle :  1  2  1
N
i
i 1
de la deuxième relation (12) :
 n   n P ; il découle :
 0.5
1, 21, 2 . 0.4

0.5 
 ce qui donne les deux
0.6 

équations suivantes :
10.512/52
20.523/51
Nous avons ainsi obtenu un système linéaire de trois équations à deux inconnus. Il admet
une solution unique qui est dans ce cas:
14/9
et
25/9
5
Exercices
Exercice 1 :
Un journaliste effectue un sondage sur plusieurs semaines pour le compte d’un parti
politique et constate que :
les chances pour qu’un citoyen qui était adhérant au parti, le quitte cette semaine sont de
50% ; les chances pour qu’un citoyen qui n’était pas adhérant la semaine passée, le
devienne cette semaine sont de 30%.
1)-quelles sous les probabilités pour qu’un citoyen qui était adhérant la semaine passée y
reste
ou
le
quitte
cette
semaine
et
la
semaine
prochaine.
2) Quelles cour les probabilités pour qu’un citoyen qui n’était pas adhérant la semaine
passée y adhère ou n’y adhère pas cette semaine, et la semaine prochaine.
3)Quel avenir peut ou prévoir pour ce parti à long terme ?
Exercice 2 :
Les chances d’un joueur de gagner au jeu suivent un certain rythme. Lorsqu’il a
gagné une partie probabilité pour qu’il gagne la partie suivante est 0.6 mais s’il perd une
partie, il a une probabilité de 0.1 de perdre la partie suivante.
1/.Déterminer la matrice de transition de se système.
2/-en supposant que le joueur gagne la première partie, quelle est la probabilité pour qu’il
gagne la 2eme partie.
3/-Ce jeu mérite t-il d’être poursuivi ??
Exercice3
Une machine fabrique chaque minute une pièce. La pièce peut être bonne ou défectueuse
On a constaté statistiquement que si la 1ere pièce a été bonne; la deuxième à 65% de
chance d’être bonne. De même, si la première pièce a été défectueuse il y 30% de chance
pour que la suivante soit également défectueuse .
1- si la 1ere pièce a été bonne quelle est la probabilité pour que la seconde soit bonne ?
défectueuse ?
2- si la1ere pièce a été défectueuse quelle est la probabilitée pour que la suivante soit
bonne ? défectueuse ?
3- A la longue, cette machine est elle utile ou non ?
6