Chaînes de Markov

1
Cahier de Mathématiques Appliquées no11
Chaînes de Markov
B. Ycart
Un modèle d’évolution dynamique en temps discret dans lequel on fait dé-
pendre l’évolution future de l’état présent et du hasard est une chaîne de
Markov. On en rencontre dans de nombreux domaines d’applications, des
sciences de la vie à l’informatique. Ces notes traitent surtout les chaînes à
espaces d’états finis, et mettent l’accent sur le traitement algébrique à partir
des matrices de transition. Le matériel présenté reste à un niveau élémen-
taire, et se trouve dans la plupart des références classiques, comme les livres
suivants.
N. Bouleau Processus stochastiques et applications.
Hermann, Paris, 1988.
W. Feller Introduction to probability theory and its applications, Vol. 1.
Wiley, London, 1968.
J.G. Kemeny, L. Snell Finite Markov chains.
Van Nostrand, Princeton, 1960.
Ce “cahier de mathématiques appliquées” doit beaucoup aux relectures
scrupuleuses de Romain Abraham, au dynamisme de Sylvie Sevestre-Ghalila,
au soutien de l’Ecole Supérieure de la Statistique et de l’Analyse de l’Infor-
mation de Tunisie, par son directeur Makki Ksouri et son directeur des études
Nacef Elloumi, ainsi qu’à la compétence de Habib Bouchriha, directeur du
Centre des Publications Universitaires de la Tunisie.

2Cahier de Mathématiques Appliquées no11
Table des matières
1 Modèles markoviens 3
1.1 Définition algorithmique . . . . . . . . . . . . . . . . . . . . . 3
1.2 Espace d’états fini ou dénombrable . . . . . . . . . . . . . . . 5
1.3 Informatique ........................... 9
1.4 Génétique............................. 11
1.5 Planification économique . . . . . . . . . . . . . . . . . . . . . 13
2 Traitement mathématique 14
2.1 Formules récurrentes . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Classification des états . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Comportement asymptotique . . . . . . . . . . . . . . . . . . 29
2.5 Mesures réversibles . . . . . . . . . . . . . . . . . . . . . . . . 32
3 Modèles sur IN 36
3.1 Le problème de la ruine du joueur . . . . . . . . . . . . . . . 36
3.2 Un modèle simple de file d’attente . . . . . . . . . . . . . . . 40
3.3 Le problème de l’extinction du nom . . . . . . . . . . . . . . 44
4 Exercices 48

Chaînes de Markov 3
1 Modèles markoviens
1.1 Définition algorithmique
Une chaîne de Markov est classiquement définie comme une suite de va-
riables aléatoires pour laquelle la meilleure prédiction que l’on puisse faire
pour l’étape n+1 si on connaît toutes les valeurs antérieures est la même
que si on ne connaît que la valeur à l’étape n(le futur et le passé sont indé-
pendants conditionnellement au présent). Nous partons ici d’une définition
moins classique, mais plus proche des applications.
Définition 1.1 Soit Eun espace mesurable. Une chaîne de Markov sur E
est une suite de variables aléatoires (Xn), n∈IN à valeurs dans Etelle qu’il
existe :
1. une suite (Un), n∈IN de variables aléatoires indépendantes et de même
loi, à valeurs dans un espace probabilisé U,
2. une application mesurable Φde IN ×E× U dans Evérifiant :
∀n∈IN , Xn+1 = Φ(n, Xn, Un).
On distingue plusieurs cas particuliers.
•Si l’application Φne dépend pas de n, la chaîne est dite homogène.
•Si l’application Φne dépend pas de x, la chaîne est une suite de va-
riables indépendantes. Si Φne dépend ni de nni de x, ces variables
indépendantes sont de plus identiquement distribuées.
•Si l’application Φne dépend pas de u,Φdéfinit un système itératif.
La chaîne est une suite récurrente (déterministe si sa valeur initiale est
déterministe).
Toutes les chaînes de Markov que nous considérons ici sont homogènes. On
peut toujours passer du cas non homogène au cas homogène en remplaçant
Xnpar le couple (n, Xn).
C’est évidemment aux appels d’un générateur pseudo-aléatoire qu’il faut
penser pour la suite (Un)de la définition 1.1. Nous désignons par Random
un générateur pseudo-aléatoire, qui “retourne des réels au hasard entre 0et
1”. En d’autres termes, nous supposons que tout vecteur constitué d’appels
successifs de Random est une réalisation d’un vecteur de variables aléatoires
indépendantes et de même loi, uniforme sur l’intervalle [0,1].
En pratique une chaîne de Markov est simulée de manière itérative comme
le dit la définition 1.1. Une initialisation dans Eest d’abord choisie (aléatoire
ou non). Puis chaque nouveau pas est simulé selon une loi de probabilité
dépendant du point atteint précédemment. Cette simulation utilise un ou
plusieurs appels de Random successifs, qui constituent la variable Un.

4Cahier de Mathématiques Appliquées no11
En toute rigueur, les chaînes de Markov au sens de la définition 1.1 de-
vraient s’appeler “chaînes de Markov simulables”. Elles vérifient la propriété
suivante, dite “propriété de Markov”.
Proposition 1.2 Soit (Xn), n∈IN une chaîne de Markov.
Pour tout n≥0et pour toute suite d’états i0,...,in∈E, la loi conditionnelle
de Xn+1 sachant “X0=i0,...,Xn=in” est égale à la loi conditionnelle de
Xn+1 sachant “Xn=in”.
Démonstration : Notons IP la loi de probabilité conjointe de X0et de la suite
(Un). D’après la définition 1.1, Unest indépendante de X0,...,Xn. Pour tout
sous ensemble mesurable Bde E, on a :
IP[Xn+1 ∈B|X0=i0,...,Xn=in]
=IP[Φ(Xn, Un)∈B|X0=i0, . . . , Xn=in]
=IP[Φ(in, Un)∈B]
=IP[Xn+1 ∈B|Xn=in].
Cette propriété d’“oubli du passé” constitue la définition classique des chaînes
de Markov. Il est naturel de se demander s’il existe des chaînes de Markov,
au sens de la proposition 1.2, qui ne soient pas simulables. Il n’en existe pas
si Eest dénombrable, ou si Eest IRd, muni de sa tribu de boréliens. On n’en
rencontrera donc jamais en pratique.
Exemple : Marches aléatoires.
Soit (Un), n∈IN une suite de variables aléatoires indépendantes et de même
loi sur IRd. La suite de variables aléatoires (Xn), n ∈IN définie par X0∈IRd
et :
∀n , Xn+1 =Xn+Un,
est une chaîne de Markov. Comme cas particulier, si Unsuit la loi normale
Nd(0, hId), on obtient une discrétisation du mouvement brownien standard
sur IRd(figure 1).
Plus généralement, soit (G, ∗)un groupe topologique quelconque, muni de
sa tribu des boréliens. Soit πune loi de probabilité sur G, et (Un)une suite
de variables aléatoires de même loi πsur G. La suite de variables aléatoires
définie par X0∈Get pour tout n≥0:
Xn+1 =Xn∗Un,
est une chaîne de Markov sur G, dite “marche aléatoire de pas π”. Les marches
aléatoires sur les groupes constituent un cas particulier important des chaînes
de Markov.

Chaînes de Markov 5
-10 -5 0 5 10
-10
-5
0
5
10
.
Brownien standard dans le plan
Figure 1 – Mouvement brownien standard dans le plan : trajectoire jusqu’en
t= 10.
1.2 Espace d’états fini ou dénombrable
Lorsque E={i, j, . . .}est un ensemble fini ou dénombrable, la loi de
la variable aléatoire Φ(n, i, Un)(définition 1.1) avec laquelle on tire le pas
n+1 à partir du pas n, est habituellement notée sous forme matricielle. Si la
chaîne est homogène, cette loi ne dépend pas de n. Dans ce cas, on note pij
la probabilité de choisir l’état jà partir de l’état i:
pij =IP[Φ(i, Un) = j] = IP[Xn+1 =j|Xn=i],∀i, j ∈E .
Dans la relation ci-dessus, IP désigne encore la loi conjointe de X0et de la
suite (Un). La probabilité pij porte le nom de “probabilité de transition de i
àj”. La matrice :
P= (pij )i,j∈E,
est la matrice de transition de la chaîne. Dans ce qui suit, la définition usuelle
des matrices est étendue au cas dénombrable, les vecteurs indicés par Esont
des vecteurs colonnes. La matrice de transition a des coefficients positifs ou
nuls, et la somme des éléments d’une même ligne vaut 1. Comme nous le ver-
rons dans les exemples des paragraphes suivants, il arrive fréquemment dans
les applications que pour un état idonné, le nombre d’états jdirectement
accessibles depuis i(tels que pij >0) soit faible. La matrice de transition est
alors très creuse (elle contient beaucoup de zéros). Il est plus économique de
résumer les probabilités de transitions par le diagramme de transition. C’est
un graphe orienté et pondéré, dont l’ensemble des sommets est E. Une arête