Chaine de Markov - UMMTO E

⋆⋆⋆
⋆⋆⋆
PROCESSUS ALÉATOIRES
TO
M
UM F S
Université
MOULOUD MAMMERI
Faulté des Sienes
Proessus aléatoires
Introdution aux
Abdelghani HAMAZ
Table des matières
1 Processus de Markov
1.1 Probabilité de transition et matrice de passage . . . . . . . . . . . . . . . . .
1.1.1 Propriétés des matrices de transition . . . . . . . . . . . . . . . . . .
1.1.2 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . .
1
2
2
4
Chapitre 1
Processus de Markov
Définition 1.1
Un processus aléatoire {Xt }t définie sur un espace d’états S satisfait la pro-
priétéde Markov si :
Pour tout sous ensemble I de S, il est vrai que :
P (Xt+∆ ∈ I/Xu , 0 ≤ u ≤ t) = P (Xt+∆ /Xt ) ;
∀∆u ≥ 0
(1.1)
Un processus aléatoire vérifiant la propriété précédente est appelé processus Markovien.
Formellement, une chaîne de Markov vérifie la propriété de Markov, à savoir, Sachant le
présent, le futur est undépendant du passé.
Dans la suite de ce hapitre nous nous intéressons aux chaîne de Markov discrètes. Pour de
tels processus la définition se simplifie car l’espace des étapes est dénombrable.
Définition 1.2
Soit {Xn } une suite de variables aléatoires de (Ω, A, P ) dans un espace fini
ou dénombrable appelé espace des états.
On dit que {Xn }n∈N est une chaîne de Markov si :
P (Xn+1 = j/X0 = i0 , Xi = i1 , · · · , Xn = i) = P (Xn+1 = j/Xn = i)
Si de plus, P (Xn+1 = j/Xn = i) ne dépend pas de n, alors la chaîne de Markov est dite
homogène si
P (Xn = j/Xn−1 = i = · · · = P (X3 = j/X2 = i) = P (X2 = j/X1 = i))
Exemple 1.1
Soit {Xn } une suite de variables aléatoires et Yn une suite définie par
Yn =
n
X
j=0
Montrer que Yn est une chaîne de Markov.
Xj
2
Processus de Markov
1.1
Probabilité de transition et matrice de passage
La probabilité Pij est appelée probabilité de transition ou bien de passage de l’état i à l’état
j.
On peut présenter ces probabilité sous forme matricielle appelé matrice de transition.
Cette matrice est un ematrice stochastique.
Définition 1.3
Une matrice (Pij )1≤i,j≤n stochastique si et seulement si :
1. Pij ≥ 0,
2.
X
∀i, j
Pij = 1∀i
j
1.1.1
Propriétés des matrices de transition
1. Si P est une matrice stochastique alors λ = 1 est toujours une valeur propre à gauche.
2. Si A et B sont deux matrices stochastique alors plus particulièrement , An , n ≥ 0 est
une matrice stochastique.
Preuve.
1.
Det(P − λI) =
=
=
p11 − λ p12
p21
p22 − λ
· · · p1 n ..
.
···
pn1
1 − λ p12
1 − λ p22 − λ
..
.
···
1−λ
···
p2n pn n p1n p2n pnn 
X
(1 − λ)  (−1)j ∆ij  = 0
j
⇒ λ=1
2.
Soit (A = (aij ))
1≤i≤n
et (B = (bjk ))
1≤k≤p
1≤j≤m
C = A.B = (cik )
1≤i≤n
1≤j≤m
=(
m
X
aij bjk ).
j=1
1≤k≤p
cik positif car somme de produits d’éléments positifs.
deux matrices stochastiques.
3
1.1 Probabilité de transition et matrice de passage
Pp
k=1 cik
Pp
=
k=1
m
X
=
Pm
aij
j=1
j=1 aij bjk
p
X
bjk
k=1
= 1.
n
Le cas particulier A , n ≥ 1 ets une matrice stochatique se démontre facilement.
La loi d’une chaine de Markov homogène est complétement déterminée par
Proposition 1.1
sa matrice de transtion et la loi de l’état initial X0
P (Xn = in , Xn−1 = in−1 , · · · , X0 = i0 ) = µ0 .pi0 i1 pi1 i2 · · · pin−1 in
Preuve.
Par application de
P (∩ni=0 Ai ) P (A0 ).P (A1 /A) . . . P (An /An−1 , · · · A0 )
On obtient
P (Xn = in , Xn−1 = in−1 , · · · , X0 = i0 ) = P (X0 = i0 ).P (X1 = i1 /X0 = i0 ) · · · P (Xn = in /Xn−1 = in−1 )
= P (X0 = i0 ).pi0 i1 pi1 i2 · · · pin−1 in
= µ0 .pi0 i1 pi1 i2 · · · pin−1 in
La matrice de transition caractérise la probablité de passer de l’état i à l’état j en une étape.
Afin de calculer la probabilité de transition en m étapes,
considérons une chaine de Markov se trouvant initialement dans l’état i, la probabilité
que le processus se trouve dans l’état j après 2 transitions est :
E = {0, 1, · · · , n};
(2)
Pij
E = ∪k∈E {X1 = k}
= P (X2 = j/X0 = i)
P (X2 = j, X0 = i)
=
P (X0 = i)
P (X2 = j, ∪k∈E{X1 =k} , X0 = i)
=
P (X0 = i)
Pn
P
(X
2 = j, X1 = k, X0 = i)
k=1
=
P (X0 = i)
Pn
k=1 P (X2 = j/X1 = k).P (X1 = k/X0 = i)P (X0 = i)
=
P (X0 = i)
=
n
X
Pik Pkj = (P 2 )i,j
k=1
D’une manière analogue, on peut démontrer la caractérisation de matrice de passage en m
étapes.
Théorème 1.1
Les éléments de la matrice de passage en m étpaes sont
P (m) = P m
4
Processus de Markov
Preuve.
Par récurrence sur m.
Le résultat est démontré pour m = 2.
1.1.2
Classification des états
Graphe représentatif Une chaine de Markov, ou plus précisemment sa matrice de transition peut être représenter par un graphe orienté dont les somments correspondaent aux
états et on relie les somments i à j si si la probabilité pij > 0.
Afin d’aborder les études de comportment Ãă long terme d’une chaine de Markov, nous
allons introduire quelques définirions permettant de classifier les différentes étapes de processus de MArkov.
Définition 1.4 — Accessibilité
Soit i et j deux états d’une chaine de MArkov. L’état j est
accessible depuis l’état i et on note i ֒→ j si n0 > 0, pij > 0.
Définition 1.5 — Communication
1
2
3
4
Les états i et j d’une chaine de markov sont communicants
si
∃n0 et m0 > 0 tel que pij > 0 et pji > 0
On note note i ↔ j.
Remarquons la relation i R j ⇔ i ↔ j. est une relation d’équivalence.
Preuve.
.
(0)
1. Reflexivité. iRi, En effet, on prend n0 = 0, pii = 1.
2. La symétrie : Par définition.
3. La transitivité :
(n )
(m0 )
i↔j
⇔
∃n0 , pij 0 > 0 et ∃m0 pji
j↔k
⇔
∃m0 , pjk1 > 0 et ∃m1 pji
(n )
(m1 )
>0
>0
Posons n2 = n0 + n1 et m2 = m0 + m1
pnik0 +n1 = pnij0 .pnjk1 > 0
m1
0 +m1
0
pm
= pm
ki
kj .pji > 0
Définition 1.6
Si la chaine de MArkov admet une seule classe d’équivalence alors elle est
dite irréductible.
5
1.1 Probabilité de transition et matrice de passage
1
2
3
4
Une chaine itrréductible.
Définition 1.7
Une classe est dite récurrente s’il est impossible de la quitter
1
2
3
4
c={D} est récurente.
Définition 1.8
Une classe est dite transitoire s’il est possible de la quitter mais ne jamais
revenir.
1
2
3
4
c = {D} est transitoire.
Définition 1.9
UN ensemble d’état C est dit fermé si :
pij = 0 pour j ∈
/ C;
∀i ∈ C;
(n)
(pij = 0.)
Proposition 1.2
∀n ≥ 0, ∀i ∈ C
X
(n)
pij = 1
j∈C
Preuve.
Par récurrence sur n.
1. La relation est vraie pour n = 0. Soit i ∈ C
X
j∈C
(0)
pij =
X
(0)
pij + pii = 1
j∈C,j6=i
2. Suposons que la relation est vraie pour n − 1.
6
Processus de Markov
3. Montrons qu’elle est vraie pour n.
X
(n)
pij
=
P
=
X
j∈C
j∈C
P (Xn = jX0 = i)
P (Xn = j, ∪k∈E {Xn−1 = kX0 = i})
j∈C
=
XX
P {Xn = j, Xn−1 = kX0 = i}
XX
P {Xn = jXn−1 = k}P (Xn−1 = kX0 = i)
XX
pkj pik
XX
pkj pik
X
pkj =
j∈C k∈E
=
j∈C k∈E
=
(n−1)
j∈C k∈E
=
(n−1)
k∈E j∈C
pkj +
j∈C
j∈E
Définition 1.10
X
X
pkj = 1.
j ∈C
/
Si un ensemble d’états fermé est réduit Ãă un seul élément i, cet élément
est dit absorbant, ce qui signifie que
(n)
pii = 1.
Définition 1.11 — Stationnarité
On dit qu’une distribution π est stationnaire par rapport à
la matrice de passage P si :
πP = P
Pour déterminer le vecteur de distribution π, il convient de résoudre le système d’équation
suivante :
πP = π
π.1 = 1
Exemple 1.2
Soit P une matrice de passage


1/2 1/2
P =
 1/2
0
0
1
0


1/2 

Déterminer la distribution stationnaire de passage.
0