Chaînes de Markov (et applications)

Chaînes de Markov (et applications)
Raphael Lachieze-Rey∗
25 avril 2016
M1 Paris Descartes.
Table des matières
1 Chaînes de Markov homogènes 2
1.1 Exemples et définitions . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Loi des Xn.............................. 2
2 Temps d’absorption 3
2.1 Tempsd’arrêt............................. 3
2.2 Probabilités et temps d’absorptions . . . . . . . . . . . . . . . . . 4
3 Classification des états 5
3.1 Récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . 5
4 Distributions invariantes 6
4.1 Convergence à l’équilibre . . . . . . . . . . . . . . . . . . . . . . . 8
4.2 Théorèmeergodique ......................... 9
5 Chaines de Markov et simulation 9
5.1 Algorithme Hit-and-run . . . . . . . . . . . . . . . . . . . . . . . 9
5.2 Algorithme de Metropolis . . . . . . . . . . . . . . . . . . . . . . 10
6 Chaînes de Markov en temps continu, processus de Poisson 11
6.1 Loissansmémoire .......................... 11
6.2 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 11
6.3 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . 12
6.4 Processus de Poisson composé . . . . . . . . . . . . . . . . . . . 12
(Ω,P)est un espace probabilisé.
∗[email protected]
1

1 Chaînes de Markov homogènes
1.1 Exemples et définitions
Définition 1. Formellement, soit Eun espace fini ou dénombrable. Ce sera
l’espace d’états. Soit X={Xn;n≥0}une suite de variables aléatoires à va-
leurs dans E. On dit que Xest une chaîne de Markov si, pour tout x1, . . . , xn+1 ∈
E, on a
P(Xn+1 =xn+1
| {z }
Le futur
|X1=x1, X2=x2, . . . , Xn=xn
| {z }
Le passé (et le présent)
) = P(Xn+1 =xn+1
| {z }
Le futur
|Xn=xn
| {z }
Le présent
)
Cette propriété des chaînes de Markov est aussi connue comme propriété
de Markov.
Définition 2. On dit qu’une matrice Q(éventuellement infinie) est stochas-
tique ssi tous ses coefficients sont ≥0et si la somme de chaque ligne fait 1:
∀x∈E,X
y∈E
Q(x, y) = 1.
On dit aussi matrice markovienne.
Proposition 1. Si Qest la matrice de transition d’une chaîne de Markov, alors
elle est stochastique.
Etant donné une matrice stochastique Q, il existe une chaîne de Markov de
matrice de transition Q. Etant donné x∈E, la suite de variables aléatoires
définie récursivement par X0=x,
P(Xn+1 =y|Xn=x, Xn−1, . . . , X0) = Q(x, y)
est une chaîne de Markov de matrice de transition Q.
1.2 Loi des Xn
On appelle µ0la loi initiale de X, définie par
µ0(x) = P(X0=x).
Connaissant µ0et Q, on peut calculer directement la loi de Xn.
Proposition 2. Pour toute suite {x0, x1, . . . , xn}dans E, on a
P(X0=x0, X1=x1,X2=x2, . . . , Xn=xn)
=µ0(x0)Q(x0, x1)Q(x1, x2). . . Q(xn−1, xn).
2

Notation 1. Pour une mesure µ0et une matrice Q, on note la mesure
(µ0Q)(y) = X
x∈E
µ0(x)Q(x, y).
Cela revient à multiplier (matriciellement) la mesure µ0vue comme un vecteur
µ0= (µ0(x1), µ0(x2), . . . )par la matrice Q.
Proposition 3. Si µes la loi de X0, alors (µQ)est la loi de X1.
Pour une même chaîne X, on considère souvent plusieurs lois initiales diffé-
rentes. Dans ce cas on précise la loi utilisée en notant
P=Pµ
dans chaque calcul de probabilité, et l’espérance est alors notée Ex. Si la loi est
un “Dirac” µ=δxpour un certain x∈E(ce qui veut dire X0=xp.s.), alors
on note plus simplement Pδx=Px,Eδx=Ex.
Proposition 4. Pour tout n, la loi de Xnest µQn.
Remarque 1. TRES IMPORTANT ! !
Qk(x, y)6=Q(x, y)k.
membre de gauche : multiplication matricielle.
membre de droite : multiplication de réels (beaucoup plus facile).
Proposition 5. On a pour n≥0, k ≥0
P(Xn+k=y|Xn=x) = Qk(x, y)
2 Temps d’absorption
2.1 Temps d’arrêt
Pour x∈Eon définit le temps aléatoire
Tx= min{n≥0 : Xn=x},
premier moment ou la chaîne atteint x.
Définition 3. Soit Tune variable aléatoire à valeurs dans N.Test un temps
d’arrêt si pour tout n, l’évènement (T=n)dépend uniquement du passé,
c’est-a-dire si l’évènement (T=n)est entièrement déterminé par les variables
X1, . . . , Xn(c’est-à-dire mesurable par rapport à σ(X1, . . . , Xn)).
Exemple 1. Pour x∈E, le temps Txest un temps d’arrêt : Pour n∈N,
(Tx=n) = (X16=x, X26=x, . . . , Xn−16=x, Xn=x).
C’est bien un évènement qui est entièrement déterminé si on connait les valeurs
de X1, . . . , Xn.
3

Proposition 6 (propriété de Markov forte ).Soit k≥1, et Tun temps
d’arrêt . Pour x, y ∈E,
P(XT+k=y|XT=x) = P(Xk=y|X0=x) = Qk(x, y).
Proposition 7. Une autre manière de formuler la propriété de Markov est la
suivante : Pour tout temps d’arrêt T, la chaîne
X0= (X0
0=XT, X0 1=XT+1, . . . )
est une chaîne de Markov dont la matrice de transition est Qet la loi initiale
est XT. De plus, la loi de X0est indépendante de (X0, . . . , XT−1)conditionnel-
lement à XT.
2.2 Probabilités et temps d’absorptions
Avec le langage introduit dans la section précédente, on s’intéresse pour
A⊂Eaux quantités
hA=P(TA<∞),
kA=E(TA).
Remarquons que si hA6= 1, kA=∞, donc il faut calculer hAen premier, et
ensuite kAsi ça a du sens.
Si l’on conditionne par l’état de départ x∈E, on a
hA
x=Px(TA<∞)Probabilité d’arriver un jour en Aen partant de x ,
kA
x=Ex(TA)Temps moyen pour y arriver.
Si A={y}est constitué d’un unique point, on note h{y}
x=hy
x, k{y}
x=ky
x.
Théorème 1. Si x /∈A, pour les calculer efficacement il faut se persuader des
deux faits suivants :
hA
x=X
y∈E
Q(x, y)hA
y,pour tout x∈E
kA
x= 1 + X
y∈E
Q(x, y)kA
y,pour tout x∈E.
De plus, si ce système linéaire a plusieurs solutions, (hA
x)x(resp.(kA x)x) est la
plus petite solution positive du système vérifiant hA
x= 1 (reps. kA x= 0) pour
x∈A.
4

3 Classification des états
On dit qu’un état x∈Emène à un état y∈Esi
Px(∃n≥0, Xn=y)>0.
La probabilité de passer par yaprès être passée par xest non-nulle. On note
dans ce cas
x y.
Si x yet y x, on note
x!y
et on dit que xet ycommuniquent.
il est facile de voir que x yssi il existe une suite d’états x0=x, x1, . . . , xk=
yqui “mène” de xàyet telle que Q(xm, xm+1)>0. On appelle un tel chemin
un chemin probable. x yssi ∃n≥0tel que Qn(x, y)>0.
Théorème 2. La relation !est une relation d’équivalence et on peut parti-
tionner Epar l’ensemble des classes d’équivalences
E=∪x∈ECx
avec Cx=Cysi x!y, et Cx∩Cy=∅sinon.
3.1 Récurrence et transience
Définition 4. On rappelle que Txest le temps de 1er passage en x. Pour r≥0,
on note
T(r)
xle temps de r-ème retour en x,
défini par récurrence par
T(0)
x=Tx;T(r+1) x= inf{n>T(r) x:Xn=x}.
Définition 5. Un état xest dit récurrent si la probabilité de retour est 1, c’est-
à-dire si
Px(T(1)
x<∞)=1.
Si cette propriété n’est pas vérifiée, on dit que l’état est transient.
Proposition 8. Pour tous x∈E, r ≥0,T(r)
xest un temps d’arrêt.
On appelle r-ème excursion
S(r)
x=T(r+1) x−T(r) x
le temps passé loin de xentre le r-ème et le r+ 1-ème passage.
5