L2 Mention Informatique UE Probabilités Chapitre 6 : Chaînes de

L2 Mention Informatique
UE Probabilités
Chapitre 6 : Chaînes de Markov
Notes de cours rédigées
par
Régine André-Obrecht, Julien Pinquier et Sergeï Soloviev
1
I.
Introduction
Les chaînes de Markov sont dues à Andreï Markov (mathématicien russe, 1856-1922).
De manière simplifiée : « La prédiction du futur, sachant le présent, n'est pas rendue plus précise par
des éléments d'information concernant le passé. »
Définition : Une suite de variables aléatoires (Xn)n∈ N prenant leur valeurs dans un ensemble Ω =
{E1, ..., Er} fini est une chaîne de Markov si et seulement si elle satisfait aux conditions équivalentes
suivantes :
(
(i) P X n +1 = E i n +1
) (
)
X 0 = E i 0 , X1 = E i1 , ..., X n = E i n = P X n +1 = E i n +1 X n = E i n ,
(
)
(ii) P X 0 = E i 0 , X 1 = E i1 , ..., X n = E i n , X n +1 = E i n +1 = q i 0 p i 0i1 ... p i n -1i n p i n i n +1 .
avec : ∀i, q i = P(X 0 = E i ) la loi de probabilité initiale,
(
)
et p ij = P X k +1 = j X k = i la probabilité de transition Xk=i à Xk+1=j.
∀i, j, n p ij = P(X n +1 = E j / X n = E i ) la probabilité conditionnelle d’obtenir le résultat Ej sachant
que le résultat précédent est Ei.
Définition : La matrice de transition P d’une chaîne de Markov (Xn)n∈ N est la matrice suivante :
 p11

p
P =  21
...

p
 r1
p12
p 22
...
p r2
... p1r 

... p 2r 
.
... ... 

... p rr 
Les pij vérifient ces 2 propriétés : ∀i, j p ij ≥ 0 et ∀i
r
∑p
k =1
ik
= 1.
(matrice carrée dont chaque élément est un réel compris entre 0 et 1 et dont la somme des éléments de
chaque ligne vaut 1).
Les matrices vérifiant ces propriétés sont appelées les matrices stochastiques (ou matrices de
Markov).
Soit p ij(n) = P(X k + n = E j / X k = E i ) la probabilité conditionnelle de passer de Ei à Ej en n étapes :
-
∀n ≥ 0, ∀i, j = 1, ..., r les p ij(n) peuvent être calculés récursivement par :
r
(n+1)
p ij(1) = p ij et p ij(n +1) = ∑ p ik p (n)
= P.P(n))
kj , (on peut l’écrire ainsi : P
k =1
-
les p ij(n) sont les coefficients de la matrice Pn (matrice de transition P multipliée par elle-même
n fois !),
-
toutes les matrices Pn sont des matrices stochastiques.
2
II.
Graphe d’une chaîne de Markov
Définition : La matrice de transition d’une chaîne de Markov est représentée par un graphe orienté G
= (S, A), défini comme suit :
- S = {E1, ...,Er} = {1, ..., r} (« les sommets sont les états de la chaîne »),
- (i, j) ∈ A ssi pij > 0 et dans ce cas l’étiquette est pij.
Exemple 1 :
 0,5 0,25 0,25 


P =  0,25 0,5 0,25 
 0,5
0
0,5 

0,25
0,25
1
0,5
0,25
0,5
2
0,5
0,25
3
0,5
III.
Classification des états
Définition : Un ensemble d’états non vide C est dit fermé si aucun état à l’extérieur de C ne peut être
atteint à partir d’un état Ei appartenant à C, c’est-à-dire C est fermé ssi :
∀Ei ∈ C et Ej ∉ C, pij = 0.
Si un singleton C = {Ei} est fermé, on dit que l’état Ei est absorbant (pii = 1).
Un ensemble fermé F est irréductible s’il n’existe pas de sous-ensemble fermé F′ ≠ F de F.
Une chaîne de Markov est irréductible s’il n’existe pas d’autre ensemble fermé que l’ensemble de
tous les états (« tous les états de la chaîne communiquent entre eux »).
Lemme : Une chaîne de Markov est irréductible ssi son graphe est fortement connexe (il existe un
chemin de chaque état à chaque autre état).
NB : La chaîne de Markov de l’exemple 1 est irréductible.
Définition : Un état Ei est dit persistant (ou récurrent) si la probabilité que, parti de Ei, le système y
revienne, est égale à 1. Sinon, il est dit transitoire.
De point de vue pratique, les états persistants et transitoires sont caractérisés par :
- Ei est transitoire ssi il existe Ej tel que l’on puisse atteindre Ej (en plusieurs étapes si besoin) à
partir de Ei, mais que l’on ne puisse pas atteindre Ei à partir de Ej,
- les états d’une chaîne de Markov peuvent être répartis, de manière unique, en une partition :
Ω = T ∪ C1 ∪ C 2 ∪ ... ∪ C k avec T l’ensemble des états transitoires, et chaque Ci est un
ensemble fermé irréductible d’états persistants. De plus, toute chaîne de Markov finie
admet au moins un état persistant.
Remarque : Dans le graphe, tous les états de Ci sont mutuellement accessibles. Des états de T on peut
toujours passer à un des Ci (mais jamais revenir). On ne peut pas passer entre Ci et Cj.
3
La période d’un état i est le plus grand commun diviseur (PGCD) de tous les entiers n pour lesquels
p i,(n)i > 0 . Si la période vaut 1, on dira que l’état est apériodique.
IV.
Répartition stable
Une répartition est stable (p1, ..., pr) si (p1, ..., pr) P = (p1, ..., pr)
(« quand P(Xn = Ei) = pi, les probabilités ne changent pas après la transition »),
Les pi doivent satisfaire le système des équations linéaires suivant :
 p11 p1 + p 21 p 2 + ... + p r1p r = p1
p p + p p + ... + p p = p
 12 1
22 2
r2 r
2
ainsi que l’équation suivante : p1 + p 2 + ... + p r = 1 .

...

 p1r p1 + p 2r p 2 + ... + p rr p r = p r
Un état i est apériodique p i,(n)i > 0 pour tout n suffisamment grand (période = 1, cf. section Erreur !
Source du renvoi introuvable.).
Si la chaîne est irréductible et tous les états sont apériodiques alors il existe une solution unique de ces
équations donc : p i = lim p ii(n) .
n →∞
V.
Temps moyen d’absorption
Pour chaque état transitoire Ei, on introduit une variable aléatoire Ti : le nombre d’étapes avant
l’arrivée à un des états persistants.
Remarque : La probabilité que le système n’arrive jamais à un état persistant est nulle !
Alors, on peut considérer l’espérance E(Ti) : E(Ti ) =
∞
∑ P(T
s=0
i
= s + 1).(s + 1) .
Pour simplifier la notation, soient des états {1, ..., m} transitoires et des états {m+1, ..., n} persistants.
Evidemment, P(Ti = 1) =
n
∑p
j= m +1
On a aussi : P(Ti = s + 1) =
ij
(probabilité de passage à l’état persistant dans une étape).
m
∑p
j=1
ij
.P(Tj = s) , s ≥ 1 (si l’on passe à un état persistant en plus qu’1
étape, alors la première étape est ij avec i et j transitoires).
On peut écrire :
∞  m
∞
m



P(T
s
1).(s
1)
p
.P(T
s)
.(s
+
1)
=
p
.
=
+
+
=
=
∑
∑
∑
i
j
ij ∑ P(T j = s).(s + 1)
 ∑ ij

s =1
s =1  j=1
j=1
s =1

∞
∞
m
 ∞

= ∑ p ij  ∑ P(Tj = s).s + ∑ P(Tj = s) 
j=1
s =1
 s =1

4
∞
∑ P(Tj = s) = 1 car l’état j est transitoire donc :
s =1
D’où : E(Ti ) =
n
∑
j= m +1
∞
m
m
s =1
j=1
j=1
∑ P(Ti = s + 1).(s + 1) = ∑ p ij E(Tj ) + ∑ p ij .
m
m
m
j=1
j=1
j=1
p ij + ∑ p ij + ∑ p ij E(Tj ) = 1 + ∑ p ij E(Tj ) .
m

e
=
1
+
p1j .e j
∑
 1
j=1

m
 e = 1 + p .e
∑
2j
j .
Posons ei = E(Ti). Le système d’équations pour ei est le suivant :  2
j=1

...

m
e m = 1 + ∑ p mj .e j

j=1
Ce système possède une solution unique (on ne le démontre pas !).
VI.
Probabilités d’absorption
Soit Cs un des ensembles fermés irréductibles : quelle est la probabilité abi que le système arrive dans
un des états de Cs à partir de l’état i ?
On peut écrire les équations suivantes : ab i =
m
∑ p ij + ∑ p ij .ab j , pour i = 1, ..., m.
j∈C s
j=1
La contribution des états persistants qui n’appartiennent pas à Cs est nulle.
m

ab
=
p
+
p1j .ab j
∑
∑
1
ij

j∈C s
j=1

m
 ab =
p
+
p 2j .ab j
∑
ij
On obtient le système suivant :  2 ∑
.
j∈C s
j=1

...

m
ab m = ∑ p ij + ∑ p mj .ab j

j∈C s
j=1
On a le même système pour chaque ensemble Cs.
Exemple :
0,25
0,125
0,25
1
0,25
0,5
2
0,125
0,25
4
3
1
1
5
1
0,25
5
Temps moyen d’absorption :
24

 e1 = 11
 e1 = 1 + p11 .e1 + p12 .e 2 = 1 + 0,25.e1 + 0,25.e 2


28
e 2 = 1 + p 21 .e1 + p 22 .e 2 = 1 + 0,125.e1 + 0,5.e 2
e 2 =
11

Probabilité d’absorption (par C3) :
5

ab
=
1
ab
=
p
+
p
.ab
+
p
.ab
=
0,25
+
0,25.ab
+
0,25.ab

 1
13
11
1
12
2
1
2
11


4
=
p
+
p
.ab
+
p
.ab
=
0,125
+
0,125.ab
+
0,5.ab
23
21
1
22
2
1
2
 2b
ab 2 =
11

6
Unité de cours Probabilités - Exercices –
Chapitre 6 : Chaînes de Markov
Exercice 1*
Soient deux urnes U1 et U2. Initialement, U1 contient 1 boule blanche et 2 boules noires, U2 2 boules
blanches et 2 boules noires. A chaque étape du jeu, on tire une boule dans chaque urne et on la met
dans l’autre urne. Soit Xn, le nombre de boules blanches dans U1 à l’étape n, c'est-à-dire après n
échanges, l’étape initiale correspond à n=0.
1- Montrer que (Xn) est une chaîne de Markov. Calculer les probabilités de transition. En déduire
la matrice de transition.
2- Tracer le graphe de la chaîne. La chaîne est elle irréductible ?
3- Trouver les probabilités stables (probabilités limite).
Exercice 2*
La matrice de transition d’une chaîne de Markov (Xn)n est :
1 / 2 1 / 8 1 / 8 1 / 8 1 / 8 


1 / 4 1 / 2 1 / 8 0 1 / 8 
P= 0
0
1
0
0 


0
0
0
1 
 0
 0
0
0
1
0 

1) Tracer le graphe de la chaîne. La chaîne est elle irréductible ?
2) Quels sont les ensembles d’états fermés irréductibles ?
3) Est-ce qu’il ya des états absorbanst ? périodiques ?
4) Quels sont les états transitoires ? persistants ?
5) Trouver la représentation sous la forme E = T ∪ C1 ∪ C 2 ∪ ... ∪ C k où T est l’ensemble des
états transitoires, et Ci un ensemble fermé irréductible.
6) Trouver les temps moyens d’absorption au départ des états 1 et 2 (justifier cette question).
7) Trouver les probabilités d’absorption par l’état 3 au départ des états 1 et 2 (justifier cette
question).
Exercice 3
Soit le graphe de la chaîne de Markov suivant :
n
½
½
n-1
½
½
½
½
1
½
0
1
Quelle est la matrice de transition ? Quels sont les états transitoires ? les états persistants ?les états
absorbants ? Trouver les temps moyens d’absorption au départ des états n à 1 ?
7
Exercice 4 (Annales Décembre 2010)
On considère l’ensemble {0, 1, 2, 3} et l’opération d’addition « réduite » ++, définie pour a, b
appartenant à {0, 1, 2, 3} comme suit :
si a + b ≤ 3, alors a + +b = a + b
si a + b f 3, alors a + +b = 0
Soit X0,..., Xn,... une suite de variables aléatoires discrètes indépendantes de loi uniforme et à valeurs
dans {0, 1, 2, 3}.
On définit une suite de variables aléatoires discrètes Y0,..., Yn en utilisant l’addition ‘++’ par :
Y0= X0, Y1= Y0 ++ X1, ..., Yn+1 = Yn ++Xn.
1.
2.
3.
Quelles sont les valeurs possibles de Yn ? Quelle est la loi de Y0 (la loi initiale) ?
Trouver la loi de Y1.
Montrer que :
P (Yn+1 = k / Y0 = k0,Y1 = k1,…, Yn-1 = kn-1, Yn = k’) = P (Xn ++ k’ = k)
4.
5.
6.
En déduire que la suite (Yn) est une chaine de Markov (Justifier).
Calculer l’expression (1) pour toutes les valeurs de (k’,k) possibles.
En déduire que la matrice de transition de la chaine de Markov est égale à :
1/ 4 1/ 4 1/ 4 1/ 4 


1/ 4 1/ 4 1/ 4 1/ 4 
1/ 2 0 1/ 4 1/ 4 


3/ 4 0
0 1 / 4 

7.
8.
9.
Quel est son graphe ?
Est-ce que cette chaîne est irréductible ?
Existe-t-il une répartition stable ? Si oui, quelle est-elle ?
8
(1)