Feuille de TD 5 Probabilité invariante et convergence des chaˆınes

GMM 4`eme ann´ee INSA de Toulouse
Compl´ements de Probabilit´es. Ann´ee universitaire 2011-2012
Ald´eric Joulin
Feuille de TD 5
Probabilit´e invariante et convergence des chaˆınes de Markov
Exercice 1
D´eterminez la nature des ´etats ainsi que l’ensemble des probabilit´es invariantes de la
chaˆıne de Markov sur E={0,1,2}, de matrice de transition
P=
0 1 0
0 1/2 1/2
1/201/2
.
Exercice 2
Consid´erons la matrice de transition suivante sur E={0,1,2}:
P=
0 1 0
0 0 1
1 0 0
.
1 - Calculez la p´eriode de la chaˆıne.
2 - D´eterminez la probabilit´e invariante π. A-t-on limn→∞ Pn(x, y) = π(y) pour tout
x, y ∈E? Quelle convergence obtient-on ?
Exercice 3
On consid`ere une chaˆıne de Markov sur un ensemble Esuppos´e fini.
1 - Montrez qu’il existe au moins un ´etat r´ecurrent.
2 - Qu’en est-il du cas o`u Eest seulement d´enombrable ?
Exercice 4 (CC2 2009-2010)
1 - Donnez un exemple de graphe d’une chaˆıne de Markov sur E={1,2,3,4}admet-
tant exactement:
- un ´etat transitoire menant aux trois autres ´etats;
- deux classes r´ecurrentes ap´eriodiques.
2 - Que faudrait-il modifier sur votre chaˆıne pour que l’une des deux classes r´ecurrentes
soit p´eriodique ?
3 - Mˆeme question pour l’obtention de deux classes r´ecurrentes p´eriodiques.
Exercice 5 (CC2 2009-2010)
On consid`ere une chaˆıne de Markov (Xn)n∈Nirr´eductible et ap´eriodique sur un en-
semble Efini. On suppose que la matrice de transition associ´ee Pest bi-stochastique,

c’est-`a-dire qu’elle v´erifie
X
x∈E
P(x, y) = X
y∈E
P(x, y)=1, x, y ∈E.
Le but de cet exercice est de d´eterminer la probabilit´e invariante πde la chaˆıne sans
utiliser l’´equation π=πP .
1 - D´emontrez que la matrice it´er´ee Pnest elle-aussi bi-stochastique pour tout n∈N∗.
2 - D´eduisez-en l’expression de la probabilit´e invariante.
Exercice 6
Soit (Xn)n∈Nla chaˆıne de Markov `a deux ´etats 0 et 1, de matrice de transition
P=1−α α
β1−β, α, β ∈]0,1[.
1 - Calculez de trois mani`eres diff´erentes sa probabilit´e invariante.
2 - D´eterminez les nombres A > 0 et ρ∈]0,1[ tels que l’on ait la vitesse de convergence
suivante: pour tout n∈N∗,
|Pn(x, y)−π(y)| ≤ Aρn, x, y ∈ {0,1}.
3 - Soit V(n)
y=Pn−1
k=0 1{Xk=y}le nombre de visites de l’´etat yavant l’instant n.
D´eduisez-en qu’il existe une constante positive C, d´ependant de Aet de ρ, telle que
pour tout n∈N∗,
Ex[V(n)
y]
n−π(y)
≤C
n, x, y ∈ {0,1}.
Qu’en d´eduisez-vous ?
Exercice 7
Un mobile se d´eplace sur le cercle ZN+1 := {0,1, . . . , N}.` A chaque ´etape, la proba-
bilit´e de mouvement du mobile dans le sens trigonom´etrique est p∈]0,1[, alors qu’elle
est ´egale `a 1 −pautrement.
1 - Montrez que l’´evolution du mobile sur le cercle est une chaˆıne de Markov dont on
pr´ecisera le graphe et la matrice de transition.
2 - ´ Etudiez le statut des ´etats et d´eterminez la probabilit´e invariante.
3 - Discutez la convergence de la chaˆıne selon la parit´e de N.
Exercice 8
Soit (Xn)n∈Nune chaˆıne de Markov irr´eductible sur N, de matrice de transition P
d´efinie par
P(x, y) = 
pxsi y= 0,
1−pxsi y=x+ 1,
0 sinon,

avec px∈]0,1[, x∈N.
1 - Soit T0= inf{n≥1 : Xn= 0}le temps de retour en 0 de la chaˆıne. Montrez que
l’on a la formule suivante :
P0(T0> n) =
n−1
Y
k=0
(1 −pk), n ≥1.
2 - Donnez l’expression de P0(T0= +∞) en fonction des (pk)k≥0.
3 - D´eduisez-en une condition n´ecessaire et suffisante, sous forme de s´erie num´erique,
pour que la chaˆıne soit r´ecurrente.
4 - Lorsque pest ind´ependant de x, d´eterminez l’expression de P0(T0=n) pour tout
n≥1, et d´eduisez-en que l’´etat 0 est r´ecurrent positif (donc que la chaˆıne l’est aussi).
5 - D´eterminez dans ce cas la probabilit´e invariante πde la chaˆıne.
6 - Montrez que Xnconverge en loi vers πlorsque n→ ∞, et ce pour n’importe quelle
loi initiale µ.