Recherche opérationnelle et aide à la décision

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)
1
8
chaînes de
Markov

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)
2
Une « chaîne de Markov à espace fini et à temps discret » est un processus stochastique ayant
les propriétés suivantes :
T est ensemble fini (ou infini dénombrable) de dates ou d’instants { t0 , t1 , t2 , … , tk , …}
E est un ensemble fini d’états { E0 , E1 , E2 , … , Er }
L’événement [ Xn = k ] se traduit par « le processus est passé dans l’état Ek à l’instant n » .
D’autre part, la probabilité d’atteindre un état à l’instant n ne dépend que de l’état atteint à
l’instant n – 1 . On parle d’une « probabilité de transition » p ij qui indique la probabilité de
passer de l’état Ei à l’état Ej. Les probabilités de transition sont donc indépendantes de
l’instant n. Pour tout état i, la somme des probabilités p ij ( j  { 1 , … , r } ) est toujours égale
à 1.
Une « chaîne de Markov homogène à espace d’états fini et à temps discret » est donc
complètement déterminée par la donnée des p ij . La donnée de tous les p ij est résumée dans la
matrice stochastique M.
La distribution initiale des probabilités des états est  (0) = ( 1(0) , 2(0) , 3(0) , … , r(0) )
où i(0) représente la probabilité de se trouver dans l’état i à l’instant 0.
A l’instant n, la distribution est  (n) = ( 1(n) , 2(n) , 3(n) , … , r(n) ) où i(n) représente
la probabilité de se trouver dans l’état i à l’instant n.
On a  (n) =  (n – 1)  M et donc  (n) =  (0)  Mn
On peut alors s’intéresser à la répétition d’un grand nombre de changements d’états, c’est à
dire rechercher s’il existe une limite pour chacune des suites i(n) quand n   . Si c’est le
cas, on dira alors que l’état  (n) converge vers un état stable. Comme  (n) =  (0)  Mn
il est clair que  (n) a une limite si et seulement si Mn en a une.
Comment trouver l’état stable ? On cherche une matrice ligne  = (x1 , … , xr) avec  xi = 1
telle que  =   M.

modélisation, optimisation, complexité des algorithmes chapitre 8 (chaînes de Markov)
3
Prenons l’exemple d’un taxi qui prend ses clients soit à la gare SNCF, soit à l’aéroport. Le matin, il se
positionne à la gare SNCF. Quand il prend un client à la gare SNCF, 4 fois sur 5, sa course l’emmène
dans le grand Nantes intra périphérique (donc avec la probabilité 0,8), et il revient se positionner à la
gare SNCF. 1 fois sur 5, sa course l’emmène hors de la ceinture du périphérique (donc avec la
probabilité 0,2), et ensuite il va attendre le client suivant à l’aéroport. Quand il est à l’aéroport, 3 fois
sur 5, sa course l’emmène dans le grand Nantes intra périphérique (donc avec la probabilité 0,6), et il
revient se positionner à la gare SNCF. 2 fois sur 5, sa course l’emmène hors de la ceinture du
périphérique (donc avec la probabilité 0,4), et ensuite il retourne attendre le client suivant à l’aéroport.
On peut appeler « état 1 » le taxi attendant son client à la gare SNCF, et « état 2 » le taxi attendant
son client à l’aéroport. La situation décrite ci-dessus peut se représenter de cette façon :
Évidemment, le taxi ne va pas faire des centaines (ni des milliers) de courses dans la journée ! mais
c’est le même principe que l’on va adopter pour étudier des phénomènes aléatoires qui se répètent de
cette façon un très grand nombre de fois.
La matrice stochastique est
0,8 0,2
0,6 0,4
M
.
Pour chercher l’état stable avec une matrice stochastique de type
bb
aa
M1
1
, on résout le
système linéaire
0)1()1(
1
ybxa
yx
.
Dans l’exemple étudié, on peut conjecturer et vérifier que l’état stable est
31
44
P
.