Introduction aux chaînes de Markov

Introduction aux
chaînes de Markov
pour les professeurs
Lycée
Auteur : Raymond Moché
Table des matières
1 Introduction 1
1.1 Pourquoi ce papier ? ................................. 1
1.2 Notations ....................................... 2
1.3 Avertissement ..................................... 2
2 Définition des chaînes de Markov 2
2.1 Généralités, vocabulaire et notations de base .................... 2
2.2 Règle de multiplication des probabilités le long d’un chemin ........... 4
2.3 Chaîne de Markov et indépendance ......................... 6
3 Exemples de chaînes de Markov 7
3.1 Lois instantanées d’une chaîne de Markov ..................... 7
3.2 Exemples ....................................... 7
4 Calcul des lois instantanées 10
4.1 Calcul matriciel de lois ................................ 10
4.2 Calcul à la main des lois L1et L2......................... 11
4.3 Transitions lointaines ................................. 12
5 Quels problèmes résolvent les chaînes de Markov ? 14
5.1 Lois-limites ...................................... 14
5.2 Temps d’arrêt ..................................... 14
6 Solution des exercices 16
Mots-clefs : chaînes ou processus de Markov, espace des états, loi initiale, lois instantanées,
matrice de transition, matrice stochastique, probabilité de passage d’un état à un autre, état
absorbant, règle de multiplication des probabilités le long d’un chemin, temps d’arrêt, temps
de retour, temps d’atteinte.
1 Introduction
1.1 Pourquoi ce papier ?
Il est destiné aux professeurs de lycée à l’occasion de la rentrée 2012. En effet, en Spécialité
Mathématiques de la Terminale S, apparaissent, sans être nommées (sauf par exemple dans
[2], p. 51), des chaînes de Markov. Ce sujet, qui élargit considérablement le domaine des suites
de variables aléatoires indépendantes et équidistribuées, permet de traiter de très nombreux
nouveaux problèmes (par exemple des marches aléatoires ou le modèle de diffusion d’Ehrenfest)
1

au moyen notamment de simulations et de calcul matriciel. L’intérêt est donc double, en Calcul
des probabilités et en Algorithmique.
1.2 Notations
•X= (X0, X1, . . .): chaîne de Markov
•Pest la probabilité de l’espace de probabilité sur lequel les variables aléatoires X0, X1, . . .
sont définies.
•E= (1,2, . . . , t): espace ou ensemble des états de la chaîne de Markov
•i, j, i0, i1, . . . : états de la chaîne de Markov
•t: nombre d’états de la chaîne
•Ln: loi sur Ede la variable aléatoire Xn, identifiée à Ln=(Ln(1), Ln(2), . . . , Ln(t))
•T=(p(i, j)): matrice de transition de X
•p(i, j): probabilité de passage de l’état ià l’état j
•p(n)(i, j),n>2: élément générique de la matrice Tn
•nest habituellement l’instant présent du processus (par opposition au passé ou au futur).
1.3 Avertissement
En principe, cet exposé est facile. Les obscurités ou difficultés éventuelles ne sont pas né-
cessairement du fait de l’auteur. Il faut aussi tenir compte
3du manque de connaissances supposé du lecteur. Par exemple, on ne peut pas parler
correctement de la loi d’une variable aléatoire car c’est une mesure. Le Calcul des proba-
bilités est basé sur l’intégrale de Lebesgue (voir par exemple [5]). Toute théorie restreinte
basée sur l’intégrale de Riemann, les sommes et les séries conduit à des difficultés insur-
montables, même au niveau de l’enseignement au lycée. On triche donc. Ci-dessus, on a
confondu Lnet Ln. C’est un moindre mal.
3de l’ambigüité modélisation/mathématiques. Les chaînes de Markov sont des objets ma-
thématiques parfaitement définis. On les utilise comme modèle. Plaquer un modèle sur
un phénomène réel est plutôt un acte de foi. On peut être convaincu ou non. La distinc-
tion modélisation/mathématiques n’est pas toujours claire dans le papier car tout est
imbriqué.
3de la lourdeur des notations et des conditionnements. Il est tentant d’oublier qu’on ne
peut conditionner que par un événement de probabilité >0car la théorie des chaînes de
Markov est connue : on sait que ça marche. Nous n’avons pas cédé à la tentation.
2 Définition des chaînes de Markov
2.1 Généralités, vocabulaire et notations de base
Définition 1 On appelle matrice stochastique toute matrice carrée Tde réels >0dont la
somme des éléments sur chaque ligne vaut 1. 
Exemple 1
T=
010
1/2 0 1/2
1/2 1/6 1/3
△
2

Les éléments d’une matrice stochastique appartiennent donc à l’intervalle [0,1]. Il n’est pas très
utile de s’appesantir sur les matrices stochastiques en soi. Voici une propriété simple :
Exercice 1 Démontrer que toute les puissances d’une matrice stochastique sont des matrices
stochastiques. △
Solution : On démontrera que le produit de deux matrices stochastiques de même taille est
une matrice stochastique puis on fera une récurrence. 
Définition 2 Soit X= (X0, X1, . . . , Xn, . . .)une suite de variables aléatoires à valeurs dans
l’ensemble E= (1,2, . . . , t). On dit que Xest une chaîne de Markov d’espace des états E,
de loi initiale L0sur Eet de matrice de transition T,Tétant une matrice stochastique (t×t)
dont les coefficients seront notés p(·,·)si
3L0est la loi suivie par X0,
3quel que soit l’entier n>0et quels que soient les états i0, i1, . . . , in−1, i et jtels que
P(X0=i0, . . . , Xn−1=in−1, Xn=i)>0,
P(Xn+1 =j/X0=i0, . . . , Xn−1=in−1, Xn=i)=p(i, j).(1)
•La condition P(X0=i0, . . . , Xn−1=in−1, Xn=i)>0assure évidemment que la probabilité
conditionnelle (1) a bien un sens.
•p(i, j), élément générique de la matrice de transition Ts’appelle probabilité de transition de
l’état ià l’état j. (2) nous dit que p(i, j)est une probabilité conditionnelle (si iest un état visité,
c’est à dire s’il existe un instant ntel que P(Xn=i)>0, ce que l’on peut évidemment toujours
supposer). Ce n’est pas une probabilité sauf si l’on se réfère à la notion de loi conditionnelle.
La terminologie est trompeuse.
•On devrait évidemment se poser le problème de l’existence de tels objets mathématiques.
C’est trop difficile pour ce papier, voir [4], pp. 127-128 : Chaînes de Markov homogènes.
La propriété de Markov - égalité (1) - porte sur un conditionnement par l’instant présent (l’ins-
tant n) et tous les instants passés, s’il y en a (si n>1). Voici une propriété de conditionnement
par l’instant présent seulement :
Théorème 1 Soit Xune chaîne de Markov d’espace des états E, de loi initiale L0sur E
et de matrice de transition T. Alors, quels que soient les états i,jet l’entier n>0tels que
P(Xn=i)>0,
P(Xn+1 =j/Xn=i)=p(i, j).(2)
Au lieu du théorème 1, nous allons plutôt démontrer le théorème plus général 2, dans lequel on
conditionne par le présent (l’instant n) et une partie quelconque du passé.
Théorème 2 Soit Xune chaîne de Markov d’espace des états E, de loi initiale L0sur Eet de
matrice de transition T,n, n1, . . . , np, où p>0, des instants tels que 06n1<· · · < np< n,
i1, . . . , ip, i des états tel que PXn1=i1, . . . , Xnp=ip, Xn=i>0. Alors,
PXn+1 =j/Xn1=i1, . . . , Xnp=ip, Xn=i=p(i, j).(3)
Nous ferons dériver le théorème 2de l’importante règle de multiplication des probabilités le
long d’un chemin.
3

2.2 Règle de multiplication des probabilités le long d’un chemin
Cette règle permet souvent d’éviter les conditionnements et leurs contraintes.
Théorème 3 Pour tout entier n>0et quels que soient les états i0, i1, . . . , in−1, in,
P(X0=i0, . . . , Xn=in)=L0(i0)·p(i0, i1)·p(i1, i2)· · · p(in−1, in).(4)
Si de plus P(X0=i0)>0,
P(X1=i1, . . . , Xn=in/X0=i0)=p(i0, i1)·p(i1, i2)···p(in−1, in).(5)
Plus généralement, pour tous entiers m>n>0et quels que soient les états in, in+1, . . .,
im−1, im,
P(Xn=in, . . . , Xm=im)=Ln(in)·p(in, in+1)·p(in+1, in+2)· · · p(im−1, im).(6)
Si de plus P(Xn=in)>0,
P(Xn+1 =in+1, . . . , Xm=im/Xn=in)=p(in, in+1)·p(in+1, in+2)· · · p(im−1, im).(7)
Démonstration : Si n= 1, l’égalité
P(X0=i0, X1=i1)=L0(i0)·p(i0, i1)
est trivialement vraie si L0(i0) = P(X0=i0) = 0 puisqu’alors le deuxième membre est nul ainsi
que le premier puisque
(X0=i0, X1=i1)⊆(X0=i0)⇒P(X0=i0, X1=i1)6L0(i0)⇒P(X0=i0, X1=i1)= 0
Sinon, on peut conditionner et utiliser la propriété (2) :
P(X0=i0, X1=i1)=P(X0=i0)·P(X1=i1/X0=i0)=L0(i0)·p(i0, i1)
Supposons maintenant que pour un certain entier n>1, on ait établi que pour toute suite
d’états i0, . . . , in,
P(X0=i0, . . . , Xn=in)=L0(i0)·p(i0, i1)·p(i1, i2)···p(in−1, in)
Soit une suite quelconque d’états i0, i1, . . . , in+1. Si P(X0=i0, . . . , Xn=in)= 0, on démontre
comme précédemment que l’égalité
P(X0=i0, . . . , Xn+1 =in+1)=p(in, in+1)·P(X0=i0, . . . , Xn=in)(8)
est vérifiée. Sinon, en conditionnant par l’événement (X0=i0, . . . , Xn=in), on retrouve de
nouveau (8). On peut ensuite appliquer l’hypothèse de récurrence et terminer cette récurrence.
(5) découle de la définition de la probabilité conditionnelle ; (6) et (7) se démontrent comme
(4) et (5). 
4

i2
;
;
;
;
;
;
;
;
;
;
;
;
;
;
i1
p(i1,i2)
55
i0
p(i0,i1)
22
--
in−1
p(in−1,in)
n−1
k=0 p(ik, ik+1)
in
•(4) montre que la probabilité de tout événement attaché à une chaîne de Markov est calcu-
lable à partir de sa loi initiale L0et de sa matrice de transition T. Il suffit d’additionner les
probabilités des chemins qui composent cet événement, d’après l’additivité de la probabilité.
•(4) s’applique dans tous les cas, y compris s’il s’agit d’une chaîne de Markov dont l’état initial
n’est pas aléatoire (cas où L0comprend un seul 1 et des 0 : c’est le cas de la souris de l’exemple
(2) où L0= [1,0,0,0]). Si le 1 se trouve en ième position, on obtiendra :
P(X1=i1, . . . , Xn=in)=p(i, i1)·p(i1, i2)· · · p(in−1, in)
Démonstration du théorème 2
PXn+1 =j/Xn1=i1, . . . , Xnp=ip, Xn=i
=(1)
PXn1=i1, . . . , Xnp=ip, Xn=i, Xn+1 =j
PXn1=i1, . . . , Xnp=ip, Xn=i
=(2) P(X0=j0, . . . , Xn−1=jn−1, Xn=i, Xn+1 =j)
PXn1=i1, . . . , Xnp=ip, Xn=i
=(3) L0(j0)·p(j0, j1)···p(jn−1, i)·p(i, j)
PXn1=i1, . . . , Xnp=ip, Xn=i
=(4) p(i, j)·P(X0=j0, . . . , Xn−1=jn−1, Xn=i)
PXn1=i1, . . . , Xnp=ip, Xn=i
=(5) p(i, j)
Justification du calcul :
•=(1) provient de la définition de la probabilité conditionnelle.
•Dans =(2), le numérateur de la fraction précédente est remplacé par une sommation sur tous
les états j0, . . . , jn−1tels que jn1=i1,...,jnp=ip. Cette sommation provient de l’additivité de
la probabilité, l’événement Xn1=i1, . . . , Xnp=ip, Xn=i, Xn+1 =jayant été partitionné
selon les valeurs prises par les variables aléatoires de la famille (X0, . . . , Xn−1)qui n’appar-
tiennent pas à la famille Xn1, . . . , Xnp.
•=(3) provient de la règle de multiplication des probabilités le long d’un chemin.
5