Recherche opérationnelle et aide à la décision

1
8
chaînes de
Markov
modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)
2
Une « chaîne de Markov à espace fini et à temps discret » est un processus stochastique ayant
les propriétés suivantes :
T est ensemble fini (ou infini dénombrable) de dates ou d’instants { t0 , t1 , t2 , … , tk , …}
E est un ensemble fini d’états { E0 , E1 , E2 , … , Er }
L’événement [ Xn = k ] se traduit par « le processus est passé dans l’état Ek à l’instant n » .
D’autre part, la probabilité d’atteindre un état à l’instant n ne dépend que de l’état atteint à
l’instant n – 1 . On parle d’une « probabilité de transition » p ij qui indique la probabilité de
passer de l’état Ei à l’état Ej. Les probabilités de transition sont donc indépendantes de
l’instant n. Pour tout état i, la somme des probabilités p ij ( j  { 1 , … , r } ) est toujours égale
à 1.
Une « chaîne de Markov homogène à espace d’états fini et à temps discret » est donc
complètement déterminée par la donnée des p ij . La donnée de tous les p ij est résumée dans la
matrice stochastique M.
La distribution initiale des probabilités des états est  (0) = ( 1(0) , 2(0) , 3(0) , … , r(0) )
où i(0) représente la probabilité de se trouver dans l’état i à l’instant 0.
A l’instant n, la distribution est  (n) = ( 1(n) , 2(n) , 3(n) , … , r(n) ) où i(n) représente
la probabilité de se trouver dans l’état i à l’instant n.
On a  (n) =  (n – 1)  M et donc  (n) =  (0)  Mn
On peut alors s’intéresser à la répétition d’un grand nombre de changements d’états, c’est à
dire rechercher s’il existe une limite pour chacune des suites i(n) quand n   . Si c’est le
cas, on dira alors que l’état  (n) converge vers un état stable. Comme  (n) =  (0)  Mn
il est clair que  (n) a une limite si et seulement si Mn en a une.
Comment trouver l’état stable ? On cherche une matrice ligne  = (x1 , … , xr) avec  xi = 1
telle que  =   M.
modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)
3
Prenons l’exemple d’un taxi qui prend ses clients soit à la gare SNCF, soit à l’aéroport. Le matin, il se
positionne à la gare SNCF. Quand il prend un client à la gare SNCF, 4 fois sur 5, sa course l’emmène
dans le grand Nantes intra périphérique (donc avec la probabilité 0,8), et il revient se positionner à la
gare SNCF. 1 fois sur 5, sa course l’emmène hors de la ceinture du périphérique (donc avec la
probabilité 0,2), et ensuite il va attendre le client suivant à l’aéroport. Quand il est à l’aéroport, 3 fois
sur 5, sa course l’emmène dans le grand Nantes intra périphérique (donc avec la probabilité 0,6), et il
revient se positionner à la gare SNCF. 2 fois sur 5, sa course l’emmène hors de la ceinture du
périphérique (donc avec la probabilité 0,4), et ensuite il retourne attendre le client suivant à l’aéroport.
On peut appeler « état 1 » le taxi attendant son client à la gare SNCF, et « état 2 » le taxi attendant
son client à l’aéroport. La situation décrite ci-dessus peut se représenter de cette façon :
Évidemment, le taxi ne va pas faire des centaines (ni des milliers) de courses dans la journée ! mais
c’est le même principe que l’on va adopter pour étudier des phénomènes aléatoires qui se répètent de
cette façon un très grand nombre de fois.
La matrice stochastique est
 0,8 0, 2 
M 
.
 0,6 0, 4 
Pour chercher l’état stable avec une matrice stochastique de type
système linéaire
 a 1 a
 , on résout le
M  
b 
1  b

y
 1
 x
.

(1  a) x  (b  1) y  0
3
4
Dans l’exemple étudié, on peut conjecturer et vérifier que l’état stable est P  
1
.
4
modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)