Chaine de Markov - UMMTO E

⋆ ⋆ ⋆ ⋆ ⋆ ⋆
Abdelghani HAMAZ

Table des matières
1 Processus de Markov 1
1.1 Probabilité de transition et matrice de passage . . . . . . . . . . . . . . . . . 2
1.1.1 Propriétés des matrices de transition . . . . . . . . . . . . . . . . . . 2
1.1.2 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Chapitre 1
Processus de Markov
Définition 1.1 Un processus aléatoire {Xt}tdéfinie sur un espace d’états Ssatisfait la pro-
priétéde Markov si :
Pour tout sous ensemble Ide S, il est vrai que :
P(Xt+∆ ∈I/Xu,0≤u≤t) = P(Xt+∆/Xt) ; ∀∆u≥0 (1.1)
Un processus aléatoire vérifiant la propriété précédente est appelé processus Markovien.
Formellement, une chaîne de Markov vérifie la propriété de Markov, à savoir, Sachant le
présent, le futur est undépendant du passé.
Dans la suite de ce hapitre nous nous intéressons aux chaîne de Markov discrètes. Pour de
tels processus la définition se simplifie car l’espace des étapes est dénombrable.
Définition 1.2 Soit {Xn}une suite de variables aléatoires de (Ω, A, P ) dans un espace fini
ou dénombrable appelé espace des états.
On dit que {Xn}n∈Nest une chaîne de Markov si :
P(Xn+1 =j/X0=i0, Xi=i1,··· , Xn=i) = P(Xn+1 =j/Xn=i)
Si de plus, P(Xn+1 =j/Xn=i) ne dépend pas de n, alors la chaîne de Markov est dite
homogène si
P(Xn=j/Xn−1=i=··· =P(X3=j/X2=i) = P(X2=j/X1=i))
Exemple 1.1 Soit {Xn}une suite de variables aléatoires et Ynune suite définie par
Yn=
n
X
j=0
Xj
Montrer que Ynest une chaîne de Markov.