chaine de Markov

B.A. Ferrif
24/07/01
52
2-Chaînes de Markov

B.A. Ferrif
24/07/01
53
I-Introduction
La structure de chaîne de Markov modélise un type particulier de processus
stochastiques : les processus "sans mémoire" et pour lesquels les changements
d'état se produisent à des instants déterminés. Dans certaines situations où la
mémoire du passé intervient, le concept de processus de Markov sera étendu et
précisera le niveau de mémoire nécessaire.
La découverte en est due à Markov, qui l’a dégagée d’une étude statistique sur la
dépendance entre certaines lettres d’un texte littéraire [étude de l’alternance des
voyelles et des consonnes dans "Eugène Oneguine" de Pouchkine], considéré
pour l’occasion comme suite de symboles. Il est intéressant de penser qu’un
siècle plus tard, le modèle et la problématique sous-jacente sont utilisés avec
succès aussi bien dans des projets de haute technologie que dans la gestion des
organisations.
Cette structure se retrouve fréquemment comme modèle de phénomènes
naturels et les modèles markoviens se révèlent très efficaces dans de multiples
secteurs; en particulier :
∑ dans les systèmes assimilables à des réseaux de files d’attente, par exemple
dans le domaine des télécommunications avec les réseaux à commutation de
paquets ;
∑ dans les organisations de gestion : affectation de personnel, systèmes de
maintenance ;
∑ en démographie, pour étudier l’évolution de la taille d’une population ;
∑ en vie artificielle, pour étudier l’évolution d’une population sous l’influence des
facteurs de mutation et de sélection ;

B.A. Ferrif
24/07/01
54
∑ en physique, pour étudier les mouvements de particules sur les réseaux ;
∑ dans les systèmes de reconnaissance des formes ;
∑ …….
Le concept de chaîne de Markov cachée que nous introduirons en conclusion est,
quand à lui, à la base de nombreux algorithmes dans un grand nombre de
domaines (par exemple dans la reconnaissance du langage naturel ou encore
dans le séquençage du génome).
II-Prérequis et Objectifs
Ce que vous devez au minimum maîtriser pour aborder de ce chapitre :
∑ Probabilités : Concepts d’espace probabilisé, de variable aléatoire, de
dépendance et d’indépendance (en théorie des probabilités); la formule de
Bayes.
∑ Algèbre : Algèbre matricielle.
Ce que vous devez maîtriser pour tirer pleinement profit de ce chapitre :
∑ Probabilités : Concepts d’espace probabilisé, de variable aléatoire, de
dépendance et d’indépendance (en théorie des probabilités); la formule de
Bayes.
∑ Algèbre : l’algèbre matricielle, les notions de base de la théorie des graphes.
∑ Informatique: des éléments de programmation et des éléments de
programmation sous Mathematica

B.A. Ferrif
24/07/01
55
Ce que vous devez savoir faire à la fin de cette leçon :
∑ Savoir reconnaître un modèle markovien,
∑ Savoir en déterminer les principales caractéristiques,
∑ Savoir le modéliser et le simuler.
Ce qui vous est proposé dans ce chapitre :
∑ Apprendre les concepts fondamentaux,
∑ Apprendre à modéliser et à simuler des processus markoviens,
∑ S’exercer sur des applications immédiates,
∑ Réfléchir sur des problèmes concrets et de synthèse,
∑ S’évaluer par tests de connaissance et de savoir-faire.

B.A. Ferrif
24/07/01
56
1-Processus et Chaînes de Markov
1-1-Définition des Processus de Markov
Un processus aléatoire ()XttI
nn
Πest un processus de Markov (on dit parfois
processus de Markov d'ordre 1 ou de mémoire 1) s'il vérifie l'axiome suivant
fréquemment appelé propriété de Markov :
"
()
Œ<<<<"
()
Œ
-+--
+
tt t t I t t t t xx x x E
nn
n
nn nn
n
01 1
1
01 1 01 1
1
,,..., , , ... , , ,..., , ,
PX x X x X x
tt tttt
nn
(,..., , )
--
===>
111100
0 ,
PX x X x X x X x PX x X x
ttt tt t tt ttt t
nnn n n n nnn n
== = =
()
== =
()
---- --1122 00 11
,,..., .
Autrement dit :
La propriété de Markov exprime que l'état futur Xtn ne dépend pas des états
passés Xi n
ti,,,,.., ,Œ-
{}
012 2 mais seulement de l'état présent Xtn-1 . Ainsi cette
propriété précise l'absence de mémoire du processus.
Chaîne et processus de Markov
1-Un processus de Markov tel que I=N et E dénombrable s'appelle une chaîne de
Markov à temps discret.
2-Un processus de Markov tel que I=N et E diffus s'appelle un processus de
Markov à temps discret.
3-Un processus de Markov tel que I=R et E dénombrable s'appelle une chaîne de
Markov à temps continu.
4-Un processus de Markov tel que I=R et E diffus s'appelle un processus de
Markov à temps continu.