L2 Mention Informatique UE Probabilités Chapitre 6 : Chaînes de

1
L2 Mention Informatique
UE Probabilités
Chapitre 6 : Chaînes de Markov
Notes de cours rédigées
par
Régine André-Obrecht, Julien Pinquier et Sergeï Soloviev

2
I. Introduction
Les chaînes de Markov sont dues à Andreï Markov (mathématicien russe, 1856-1922).
De manière simplifiée : « La prédiction du futur, sachant le présent, n'est pas rendue plus précise par
des éléments d'information concernant le passé. »
Définition : Une suite de variables aléatoires (X
n
)
n
∈
N
prenant leur valeurs dans un ensemble
Ω
=
{E
1
, ..., E
r
} fini est une chaîne de Markov si et seulement si elle satisfait aux conditions équivalentes
suivantes :
(i)
(
)
(
)
n1nn101n
ini1nini1i0i1n
EX EXPEX ..., ,EX,EX EXP =======
++
++ ,
(ii)
(
)
1nnn1-n1001nn10
iiiiiiii1nini1i0
pp ... pqEX,EX ..., ,EX,EXP
++
=====
+
.
avec : )EP(Xq i,
i0i
==∀ la loi de probabilité initiale,
et
(
)
iX jXPp
k1kij
===
+
la probabilité de transition X
k
=i à X
k+1
=j.
)EX / EP(Xpn j,i,
inj1nij
===∀
+
la probabilité conditionnelle d’obtenir le résultat E
j
sachant
que le résultat précédent est E
i
.
Définition : La matrice de transition P d’une chaîne de Markov (X
n
)
n
∈
N
est la matrice suivante :
=
rrr2r1
2r2221
1r1211
p...pp
............
p...pp
p...pp
P .
Les p
ij
vérifient ces 2 propriétés : 0p ji,
ij
≥∀ et
∑
==∀ r 1k ik 1p i
.
(matrice carrée dont chaque élément est un réel compris entre 0 et 1 et dont la somme des éléments de
chaque ligne vaut 1).
Les matrices vérifiant ces propriétés sont appelées les matrices stochastiques (ou matrices de
Markov).
Soit )EX / EP(Xp
ikjnk
(n)
ij
===
+
la probabilité conditionnelle de passer de E
i
à E
j
en n étapes :
- ∀n ≥ 0, ∀
i, j = 1, ..., r
les
(n)
ij
p peuvent être calculés récursivement par :
ij
(1)
ij
pp = et
∑
=
+=r
1k
(n)
kjik
1)(n
ij ppp
, (on peut l’écrire ainsi : P
(n+1)
= P.P
(n)
)
- les
(n)
ij
p sont les coefficients de la matrice P
n
(matrice de transition P multipliée par elle-même
n fois !),
- toutes les matrices P
n
sont des matrices stochastiques.

3
II. Graphe d’une chaîne de Markov
Définition : La matrice de transition d’une chaîne de Markov est représentée par un graphe orienté G
= (S, A), défini comme suit :
- S = {E
1
, ...,E
r
} = {1, ..., r} (« les sommets sont les états de la chaîne »),
- (i, j)
∈
A ssi p
ij
> 0 et dans ce cas l’étiquette est p
ij
.
Exemple 1 :
=0,500,5 0,250,50,25
0,250,250,5
P
III. Classification des états
Définition : Un ensemble d’états non vide C est dit fermé si aucun état à l’extérieur de C ne peut être
atteint à partir d’un état E
i
appartenant à C, c’est-à-dire C est fermé ssi :
∀E
i
∈
C et E
j
∉
C, p
ij
= 0.
Si un singleton C = {E
i
} est fermé, on dit que l’état E
i
est absorbant (p
ii
= 1).
Un ensemble fermé F est irréductible s’il n’existe pas de sous-ensemble fermé F′ ≠ F de F.
Une chaîne de Markov est irréductible s’il n’existe pas d’autre ensemble fermé que l’ensemble de
tous les états (« tous les états de la chaîne communiquent entre eux »).
Lemme : Une chaîne de Markov est irréductible ssi son graphe est fortement connexe (il existe un
chemin de chaque état à chaque autre état).
NB : La chaîne de Markov de l’exemple 1 est irréductible.
Définition : Un état E
i
est dit persistant (ou récurrent) si la probabilité que, parti de E
i
, le système y
revienne, est égale à 1. Sinon, il est dit transitoire.
De point de vue pratique, les états persistants et transitoires sont caractérisés par :
- E
i
est transitoire ssi il existe E
j
tel que l’on puisse atteindre E
j
(en plusieurs étapes si besoin) à
partir de E
i
, mais que l’on ne puisse pas atteindre E
i
à partir de E
j
,
- les états d’une chaîne de Markov peuvent être répartis, de manière unique, en une partition :
k21
C...CCTΩ∪∪∪∪= avec T l’ensemble des états transitoires, et chaque C
i
est un
ensemble fermé irréductible d’états persistants. De plus, toute chaîne de Markov finie
admet au moins un état persistant.
Remarque : Dans le graphe, tous les états de C
i
sont mutuellement accessibles. Des états de T on peut
toujours passer à un des C
i
(mais jamais revenir). On ne peut pas passer entre C
i
et C
j
.
1
2
3
0,5
0,5
0,25
0,25
0,5
0,25 0,25
0,5

4
La période d’un état i est le plus grand commun diviseur (PGCD) de tous les entiers n pour lesquels
0p
(n)
ii,
> . Si la période vaut 1, on dira que l’état est apériodique.
IV. Répartition stable
Une répartition est stable (p
1
, ..., p
r
) si (p
1
, ..., p
r
) P = (p
1
, ..., p
r
)
(« quand P(X
n
= E
i
) = p
i
, les probabilités ne changent pas après la transition »),
Les p
i
doivent satisfaire le système des équations linéaires suivant :
=+++
=+++ =+++
rrrr22r11r
2rr2222112
1rr1221111
ppp...pppp
...
ppp...pppp
ppp...pppp
ainsi que l’équation suivante : 1p...pp
r21
=+++ .
Un état i est apériodique 0p
(n)
ii,
> pour tout n suffisamment grand (période = 1, cf. section Erreur !
Source du renvoi introuvable.).
Si la chaîne est irréductible et tous les états sont apériodiques alors il existe une solution unique de ces
équations donc :
(n)
ii
n
i
plimp
∞→
= .
V. Temps moyen d’absorption
Pour chaque état transitoire E
i
, on introduit une variable aléatoire T
i
: le nombre d’étapes avant
l’arrivée à un des états persistants.
Remarque : La probabilité que le système n’arrive jamais à un état persistant est nulle !
Alors, on peut considérer l’espérance E(T
i
) :
∑
∞
=++== 0s ii 1)1).(ssP(T)E(T
.
Pour simplifier la notation, soient des états {1, ..., m} transitoires et des états {m+1, ..., n} persistants.
Evidemment,
∑
+=
==
n
1mj iji
p 1)P(T (probabilité de passage à l’état persistant dans une étape).
On a aussi : s).P(Tp 1)sP(T
j
m
1j iji
==+=
∑
=, s ≥ 1 (si l’on passe à un état persistant en plus qu’1
étape, alors la première étape est ij avec i et j transitoires).
On peut écrire :
∑ ∑∑
∑ ∑∑ ∑∑
=
∞
=
∞
=
=
∞
=
∞
= =
∞
=
=+==
+==+
==++=
m
1j 1s j 1s jij
m
1j 1s jij 1s
m
1j jij 1s i
s)P(T.ss)P(Tp
1)s).(sP(T.p1).(ss).P(Tp1)1).(ssP(T

5
∑
∞
=== 1s j1s)P(T
car l’état j est transitoire donc :
∑ ∑∑
= =
∞
=
+=++=
m
1j
m
1j ijjij 1s i
p)E(Tp1)1).(ssP(T .
D’où : )E(Tp1)E(Tppp)E(T
j
m
1j ijj
m
1j ij
n
1mj
m
1j ijiji
∑∑∑ ∑
==+= =
+=++= .
Posons e
i
= E(T
i
). Le système d’équations pour e
i
est le suivant :
+=
+=
+=
∑
∑
∑
=
=
=
m
1j jmjm
m
1j j2j2
m
1j j1j1
.ep1e
...
.ep1e
.ep1e
.
Ce système possède une solution unique (on ne le démontre pas !).
VI. Probabilités d’absorption
Soit C
s
un des ensembles fermés irréductibles : quelle est la probabilité ab
i
que le système arrive dans
un des états de C
s
à partir de l’état i ?
On peut écrire les équations suivantes :
∑ ∑
∈ =
+=
s
Cj
m
1j jijiji
.abppab , pour i = 1, ..., m.
La contribution des états persistants qui n’appartiennent pas à C
s
est nulle.
On obtient le système suivant :
+=
+=
+=
∑ ∑
∑ ∑
∑ ∑
∈ =
∈ =
∈ =
s
s
s
Cj
m
1j jmjijm
Cj
m
1j j2jij2
Cj
m
1j j1jij1
.abppab
...
.abppab
.abppab
.
On a le même système pour chaque ensemble C
s
.
Exemple :
0,5
0,25
1
1 2
3
0,25
0,125
0,25
0,25 0,125
4
5
0,25
1
1