Polycopié complet

Chaînes de Markov (version 0)
Yan Doumerc
ECS1, lycée Gaston Berger, Lille
[e-mail]
15 Mai 2014
Résumé
Ce document accompagne une séance de formation destinée aux professeurs de classe préparatoire
EC. Il s’agit de présenter les fondamentaux des chaînes de Markov, thème qui fait son appartition
dans les nouveaux programmes. L’objectif est de donner les résultats théoriques majeurs ainsi que
quelques preuves significatives, de présenter un panorama assez vaste d’exemples qui peuvent servir
d’inspiration et de détailler les possibilités qu’offre Scilab sur ce thème. Le contenu de ce document
va au delà de ce qui est présentable à nos étudiants mais nous espérons qu’il aidera ses lecteurs à
avoir un bagage confortable et un recul suffisant pour enseigner le sujet.
Table des matières
1 Introduction 2
1.1 Motivations............................................ 2
1.2 Lesquestionsquiseposent ................................... 3
1.3 Listedenotations......................................... 3
2 Généralités 4
2.1 Définitions............................................. 4
2.2 PropriétédeMarkov....................................... 4
2.3 EnScilab ............................................. 4
3 Structure linéaire 6
4 Structure topologique 7
4.1 Communications entre états et classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4.2 Période .............................................. 7
5 Classification des états. 8
5.1 Transience, récurrence positive et récurrence nulle . . . . . . . . . . . . . . . . . . . . . . 8
5.2 EnScilab ............................................. 8
6 Mesure invariante 10
6.1 Définition, existence, unicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
6.2 EnScilab ............................................. 10
7 Asymptotique 12
7.1 Loidesgrandsnombres ..................................... 12
7.2 Convergence en loi de (Xn)................................... 12
8 Aspects matriciels dans le cas Efini 14
9 Analyse à un pas 15
9.1 Tempsd’atteinte ......................................... 15
9.2 Probabilités et temps d’absorption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1

10 Exemples 16
10.1Lachaîneàdeuxétats...................................... 16
10.2Bonus-malusenassurance.................................... 16
10.3Mobilitésociale.......................................... 18
10.4Scoreautennis .......................................... 18
10.5 Mots de taille 2 dans un pile ou face . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
10.6Ascensionetrechutes....................................... 21
10.7 Retenues lorsque l’on pose une addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
10.8Collectionneurdecoupons.................................... 22
10.9 Sisyphe et les matrices compagnons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
10.10Processus de vie et de mort et marches aléatoires . . . . . . . . . . . . . . . . . . . . . . . 22
10.10.1 Sur N........................................... 22
10.10.2 Sur Z........................................... 23
10.10.3 Sur [[0, s]].Ruinedujoueur. ............................... 23
10.11Marche aléatoire sur un graphe. Pagerank de Google. Cavalier sur un échiquier. . . . . . . 24
10.12Marche aléatoire sur un groupe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
10.13Urned’Ehrenfest ......................................... 26
10.14ModèledeWright-Fisher..................................... 28
10.15Processus de Galton-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
10.16Filesd’attente........................................... 29
10.17Un exemple non-homogène : urne de Polya . . . . . . . . . . . . . . . . . . . . . . . . . . 29
11 Quelques preuves 30
1 Introduction
1.1 Motivations
1. Dans les nouveaux programmes, les chaînes de Markov constituent le thème 3 en ECS2 (6h) et
ECT2 (4h), le thème 4 en ECE2 (6h). Elles mobilisent les compétences C2 (modéliser et simuler des
phénomènes aléatoires ou déterministes et les traduire en langage mathématique) et C4 (représenter
et interpréter les différentes convergences).
2. Les familles (Xn)n∈Nde variables aléatoires indépendantes sont des objets fondamentaux en
probabilités mais souvent trop « naïfs » pour décrire en pratique des phénomènes aléatoires. Les
chaînes de Markov constituent un exemple fondamental de familles (Xn)de variables exhibant une
dépendance suffisamment riche pour être pertinente et suffisamment simple pour se prêter à une
étude détaillée.
3. Les chaînes de Markov sont le pendant aléatoire des suites récurrentes xn+1 =f(xn).
4. Certains phénomènes se présentent spontanément comme des chaînes de Markov. Ce sont
souvent des hypothèses d’indépendance inhérentes au phénomène qui se transforment en propriété
de Markov. Cf 10.5, 10.7, 10.12.
5. On peut aussi fabriquer une structure markovienne pour s’adapter au plus près à la modéli-
sation d’une situation réelle. A ce titre, les chaînes de Markov constituent des approximations
de la réalité dont il convient de mesurer ensuite la pertinence (notamment en termes de prédictions).
Cf 10.3, 10.16, 10.15, 10.14, 10.13. Notons que la structure markovienne à choisir peut être sub-
tile : certains phénomènes ne sont pas directement markoviens en eux-mêmes mais proviennent d’un
processus markovien sous-jacent (chaîne de Markov cachée).
6. Enfin, les chaînes de Markov peuvent être utilisées comme outils dans des problèmes qui n’ont a
priori rien de markovien. Par exemple, les bonnes propriétés asymptotiques des chaînes de Markov
peuvent permettre la simulation exacte ou approchée d’une loi de probailité (algorithmes
de Metropolis-Hastings et de Propp-Wilson) ou le calcul approché d’une espérance sous cette
loi (méthodes dites MCMC pour Monte Carlo Markov Chains). Elles peuvent aussi servir dans des
problèmes d’optimisation (algorithme de recuit simulé).
7. Pédagogiquement, les chaînes de Markov permettent de nouer un lien fort entre probabilités et
algèbre linéaire.
2

8. Scilab a des commandes prévues pour les chaînes de Markov. Pour les comprendre, il faut avoir
quelques connaissances mathématiques sur le sujet.
9. Ce document comporte quelques preuves que nous avons jugé utiles et significatives. Nous renvoyons
à l’abondante littérature sur le sujet. Notre bibliographie cîte des ouvrages et des articles publiés
mais il existe aussi des cours très complets disponibles sur internet (il suffit de googliser « chaînes
de Markov » ou « Markov chains » pour obtenir de nombreux cours de type L3 ou M1)
1.2 Les questions qui se posent
En tant que généralisation des suites récurrentes xn+1 =f(xn)et des suites de variables aléatoires
indépendantes et de même loi, les chaînes de Markov soulèvent des questions naturelles.
1. Quels états la chaîne peut-elle visiter ? Combien de fois la chaîne visite-t-elle ces états ?
2. Existe-t-il des régions pièges telles que si la chaîne y entre, elle y reste ?
3. Existence et unicité d’un équilibre (analogue à un point fixe de fpour une suite xn+1 =f(xn)) ?
4. Comportement asymptotique quand n→+∞: loi des grands nombres pour f(X1) + · · · +f(Xn)
n,
convergence de Xn?
1.3 Liste de notations
1. L(Y)= loi de la variable aléatoire Y.
2. CM : chaîne de Markov.
3. CM(E, µ, Q): chaîne de Markov à valeurs dans E, de loi initiale µet de « matrice » de transition
Q. On utilisera CM(E),CM(Q)ou CM (µ, Q)selon les situations.
4. Pµ= loi de la chaîne Xlorsque µ=L(X0),Px=loi de la chaîne Xlorsque X0=x,Lµ(Y) = loi
de la variable aléatoire Ylorsque µ=L(X0).
5. Si n∈N,Xn+•= (Xn+k)k∈N=chaîne translatée de n.
6. Si A⊂E,τA= inf{n≥0|Xn∈A}=temps d’atteinte de A,TA= inf{n > 0|Xn∈A}temps
positif d’atteinte de A,τx=τ{x},Tx=T{x}.
7. ρxy =Px(∃n∈N∗, Xn=y) = Px(Ty<+∞)
8. NA=P+∞
n=0 1Xn∈A=nombre de passages de Xen A.
3

2 Généralités
2.1 Définitions
1. X= (Xn)n∈Nsuite de variables aléatoires à valeurs dans E(espace d’états, fini ou dénombrable).
Xest une CM lorsque ∀n∈N,∀(x0, . . . , xn+1)∈En+2,
P(Xn+1 =xn+1 |(X0, . . . , Xn)=(x0, . . . , xn)) = P(Xn+1 =xn+1 |Xn=xn).
2. Une CM X est homogène lorsque P(Xn+1 =y|Xn=x)ne dépend pas de n. On note
Qxy := P(Xn+1 =y|Xn=x) = P(X1=y|X0=x) = probabilité de transition de xày.
3. Q= (Qxy)(x,y)∈E2:= « matrice » de transition indicée par E2(Qxy ≥0,Py∈EQxy = 1).
4. Si µ=L(X0)(loi de X0i.e. µx=P(X0=x)) alors la loi de la chaîne Xest entièrement déterminée
par µ=L(X0)et Q:
P(X0=x0, X1=x1, . . . , Xn=xn) = µx0Qx0x1Qx1x2· · · Qxn−1xn.
5. CM = suite récurrente aléatoire. Si (Un)n∈N∗est une suite de variables aléatoires indépendantes
et de même loi, indépendantes de X0et Xn+1 =f(Xn, Un+1)alors Xest une CM de transitions
données par Qxy =P(f(x, U) = y). Réciproquement, toute CM peut être réalisée ainsi.
2.2 Propriété de Markov
1. Propriété de Markov faible : conditionnellement à {Xn=x}, la suite Xn+•est une CM (δx, Q)
indépendante de (X0, . . . , Xn−1)i.e. ∀n,∀A⊂En,∀B⊂EN(Bmesurable pour la tribu produit),
Pµ(Xn+•∈B|(X0, . . . , Xn−1)∈A, Xn=x) = Px(X∈B).
2. La propriété de Markov forte permet de remplacer le nfixé de la propriété précédente par un
temps Taléatoire lorsque c’est un temps d’arrêt i.e. lorsque, pour tout k∈N,{T=k}est dans
la tribu Fkengendrée par X0, . . . , Xk. On note alors FT={A| ∀k∈N, A ∩ {T=k} ∈ Fk}et
la propriété de Markov forte dit alors que, conditionnellement à {T < +∞} ∩ {XT=x}, la suite
XT+•est une CM(δx, Q)indépendante de FT. Cette formulation est très pratique mais nécessite des
préalables (tribu engendrée par X0, . . . , Xk, temps d’arrêt, tribu FT) qu’il me semble déraisonnable
de présenter à nos étudiants de voie EC. Ainsi, je n’utiliserai pas cette formulation.
2.3 En Scilab
1. La commande X=grand(n,"markov",Q,x0) renvoie une trajectoire X1, . . . , Xnde longueur nde la
CM de matrice de transition Qde taille N, d’espace d’états [[1, N]] et d’état initial x0∈[[1, N]]
2. On peut simuler simultanément par la même commande mtrajectoires de la chaîne en prenant pour
x0 un vecteur de longueur m:Yest alors une matrice à mlignes et ncolonnes, la i-ième ligne de
cette matrice représentant une trajectoire de la chaîne issue de x0(i).
3. La commande Q=genmarkov(N,0) génère une matrice de transition aléatoire (irréductible, cf 4.1)
de taille N. Cette commande admet d’autres options (cf 5).
-->Q=genmarkov(3,0)
Q =
0.2105215 0.5940917 0.1953868
0.2587063 0.3676393 0.3736544
0.4055988 0.4283597 0.1660415
-->X=grand(10,"markov",Q,2)
X =
1. 3. 2. 2. 1. 3. 1. 3. 2. 3.
4

-->X=grand(10,"markov",Q,ones(1,4))
X =
1. 2. 3. 1. 3. 1. 2. 3. 1. 1.
2. 2. 2. 3. 3. 1. 2. 3. 2. 2.
2. 2. 2. 1. 3. 2. 1. 3. 1. 1.
1. 2. 2. 2. 3. 1. 2. 2. 1. 2.
4. La commande X=grand(n,’markov’,Q,x0) ne fonctionne que pour un espace d’état fini. Une autre
méthode est d’utiliser une formule Xn+1 =f(Xn, Un+1)qui, modulo une boucle, réduit le problème
à la simulation de variables aléatoires indépendantes et de même loi Un.
5. Parfois, les commandes matricielles de Scilab permettent d’éviter une boucle et d’écrire des
codes très rapides (cf 10.12).
5