Feuille de TD 5 Probabilité invariante et convergence des chaˆınes

GMM 4ème année
Compléments de Probabilités.
Aldéric Joulin
INSA de Toulouse
Année universitaire 2011-2012
Feuille de TD 5
Probabilité invariante et convergence des chaı̂nes de Markov
Exercice 1
Déterminez la nature des états ainsi que l’ensemble des probabilités invariantes de la
chaı̂ne de Markov sur E = {0, 1, 2}, de matrice de transition


0
1
0
P =  0 1/2 1/2  .
1/2 0 1/2
Exercice 2
Considérons la matrice de transition suivante

0 1
P = 0 0
1 0
sur E = {0, 1, 2}:

0
1 .
0
1 - Calculez la période de la chaı̂ne.
2 - Déterminez la probabilité invariante π. A-t-on limn→∞ P n (x, y) = π(y) pour tout
x, y ∈ E ? Quelle convergence obtient-on ?
Exercice 3
On considère une chaı̂ne de Markov sur un ensemble E supposé fini.
1 - Montrez qu’il existe au moins un état récurrent.
2 - Qu’en est-il du cas où E est seulement dénombrable ?
Exercice 4 (CC2 2009-2010)
1 - Donnez un exemple de graphe d’une chaı̂ne de Markov sur E = {1, 2, 3, 4} admettant exactement:
- un état transitoire menant aux trois autres états;
- deux classes récurrentes apériodiques.
2 - Que faudrait-il modifier sur votre chaı̂ne pour que l’une des deux classes récurrentes
soit périodique ?
3 - Même question pour l’obtention de deux classes récurrentes périodiques.
Exercice 5 (CC2 2009-2010)
On considère une chaı̂ne de Markov (Xn )n∈N irréductible et apériodique sur un ensemble E fini. On suppose que la matrice de transition associée P est bi-stochastique,
c’est-à-dire qu’elle vérifie
X
x∈E
P (x, y) =
X
P (x, y) = 1,
x, y ∈ E.
y∈E
Le but de cet exercice est de déterminer la probabilité invariante π de la chaı̂ne sans
utiliser l’équation π = πP .
1 - Démontrez que la matrice itérée P n est elle-aussi bi-stochastique pour tout n ∈ N∗ .
2 - Déduisez-en l’expression de la probabilité invariante.
Exercice 6
Soit (Xn )n∈N la chaı̂ne de Markov à deux états 0 et 1, de matrice de transition
1−α
α
P =
, α, β ∈]0, 1[.
β
1−β
1 - Calculez de trois manières différentes sa probabilité invariante.
2 - Déterminez les nombres A > 0 et ρ ∈]0, 1[ tels que l’on ait la vitesse de convergence
suivante: pour tout n ∈ N∗ ,
|P n (x, y) − π(y)| ≤ Aρn ,
x, y ∈ {0, 1}.
Pn−1
(n)
3 - Soit Vy =
k=0 1{Xk =y} le nombre de visites de l’état y avant l’instant n.
Déduisez-en qu’il existe une constante positive C, dépendant de A et de ρ, telle que
pour tout n ∈ N∗ ,
C
E [V (n) ]
x y
− π(y) ≤ , x, y ∈ {0, 1}.
n
n
Qu’en déduisez-vous ?
Exercice 7
Un mobile se déplace sur le cercle ZN +1 := {0, 1, . . . , N }. À chaque étape, la probabilité de mouvement du mobile dans le sens trigonométrique est p ∈]0, 1[, alors qu’elle
est égale à 1 − p autrement.
1 - Montrez que l’évolution du mobile sur le cercle est une chaı̂ne de Markov dont on
précisera le graphe et la matrice de transition.
2 - Étudiez le statut des états et déterminez la probabilité invariante.
3 - Discutez la convergence de la chaı̂ne selon la parité de N .
Exercice 8
Soit (Xn )n∈N une chaı̂ne de Markov irréductible sur N, de matrice de transition P
définie par

si y = 0,
 px
1
−
p
P (x, y) =
x si y = x + 1,

0
sinon,
avec px ∈]0, 1[, x ∈ N.
1 - Soit T0 = inf{n ≥ 1 : Xn = 0} le temps de retour en 0 de la chaı̂ne. Montrez que
l’on a la formule suivante :
P0 (T0 > n) =
n−1
Y
(1 − pk ),
n ≥ 1.
k=0
2 - Donnez l’expression de P0 (T0 = +∞) en fonction des (pk )k≥0 .
3 - Déduisez-en une condition nécessaire et suffisante, sous forme de série numérique,
pour que la chaı̂ne soit récurrente.
4 - Lorsque p est indépendant de x, déterminez l’expression de P0 (T0 = n) pour tout
n ≥ 1, et déduisez-en que l’état 0 est récurrent positif (donc que la chaı̂ne l’est aussi).
5 - Déterminez dans ce cas la probabilité invariante π de la chaı̂ne.
6 - Montrez que Xn converge en loi vers π lorsque n → ∞, et ce pour n’importe quelle
loi initiale µ.