Exercice 1. Soit (X n)n≥0 la marche aléatoire simple symétrique sur

Université Claude Bernard - Lyon 1
2016-2017
Master mathématiques appliquées, statistique
Probabilités
TD 6 : Chaînes de Markov: transience, récurrence et théorèmes limites
Exercice 1. Soit (Xn )n≥0 la marche aléatoire simple symétrique sur Z. On note P sa matrice
de transition.
1 2n
1. Montrer que pour tout n ≥ 0 on a P 2n+1 (0, 0) = 0 et P 2n (0, 0) = 2n
.
2
n
√
2. A l’aide de la formule de Stirling n! ∼ 2πn(n/e)n , montrer l’équivalent suivant :
1
P 2n (0, 0) ∼ √ .
πn
3. En déduire que la chaîne est récurrente. Montrer qu’elle est récurrente nulle.
Exercice 2. (Modèle d’Ehrenfest). Soient N balles (N > 1) numérotées de 1 à N et réparties
dans deux urnes A et B. On tire un nombre i au hasard entre 1 et N , et la balle numéro i est
changée d’urne. Soit Xn le nombre de balles dans l’urne A après n tirages indépendants.
1. Montrer que (Xn )n≥0 est une chaîne de Markov, donner sa matrice de transition P et
montrer qu’elle est irréductible.
2. Déterminer la mesure invariante π de la chaîne (Indication : chercher une mesure réversible).
En déduire Ek [Tk ] où Tk est le temps de retour en k pour k = 0, 1, . . . N .
3. Montrer que
2
E[Xn+1 |Xn ] = 1 + 1 −
Xn ,
N
et en déduire que
n 2
N
N
+ 1−
E[Xn ] =
E[X0 ] −
.
2
N
2
Exercice 3. (Chaîne de vie et de mort). Soit (Xn )n≥0 la chaîne à valeurs dans N de matrice de
transition P définie par
P (k, k − 1) = qk ,
P (k, k) = rk ,
P (k, k + 1) = pk ,
où qk + rk + pk = 1 et pk > 0 pour tout k ≥ 0, q0 = 0 et qk > 0 pour tout k ≥ 1.
1. Montrer que la chaîne est irréductible.
2. On définit pour tout k ≥ 1
λk =
p0 p1 . . . pk−1
.
q 1 q2 . . . qk
Trouver P
les mesures invariantes, et montrer que la chaîne est récurrente positive si et seulement si k≥1 λk < ∞.
1
Exercice 4. Soit (Xn ) une chaîne de Markov homogène irréductible sur un ensemble d’états fini
E = {1, . . . , K}. On suppose que les probabilités de transition pij = P(X1 = j|X0 = i) vérifient,
pour tout j ∈ E,
K
X
pij = 1.
i=1
1. Montrer que la chaîne admet comme unique mesure stationnaire la probabilité uniforme sur
E.
2. On suppose de plus que la chaîne est apériodique. En déduire que (Xn )n≥0 converge en loi
et expliciter la loi limite.
Exercice 5. Pierre possède 3 parapluies. Chaque jour, il va au bureau le matin et revient à son
domicile le soir. Pour chaque trajet, s’il pleut, il emporte avec lui un parapluie, à condition qu’il
y ait au moins l’un des trois parapluies à sa disposition sur place. Bien entendu il ne peut pas
emporter de parapluie avec lui s’il pleut mais qu’aucun des trois parapluies ne se trouve à sa
disposition sur place. Il n’emporte pas de parapluie non plus s’il ne pleut pas. On suppose que
la probabilité qu’il pleuve au début de chaque trajet est de 1/3 et que celle-ci est indépendante
de la météo (pluie / beau temps) de tous les trajets antérieurs. Soit Xn le nombre de parapluies
que Pierre possède à l’endroit où il se trouve avant de débuter le nième trajet. (Xn )n≥0 est une
chaîne de Markov.
1. Donner la matrice de transition de (Xn )n≥0 .
2. Montrer que (Xn )n≥0 est irréductible et apériodique.
3. Quelle est la probabilité, au bout d’un grand nombre de voyages, que Pierre ne dispose pas
de parapluie sur place au moment de partir ?
4. Quelle est la probabilité asymptotique qu’il se fasse mouiller bêtement, c’est-à-dire qu’il
n’ait pas de parapluie sa disposition alors qu’il pleut lors de son départ ?
Exercice 6. (Algorithme de Métropolis-Hastings). Cet exercice montre comment, étant donnée
une probabilité π que l’on connaît à une constante multiplicative près, construire une chaîne de
Markov ayant π comme probabilité stationnaire.
Soit E un ensemble d’états fini et P une matrice de transition sur E, symétrique (vérifiant
P (x, y) = P (y, x) pour tous x, y ∈ E) et irréductible. Soit π une probabilité sur E telle que
π(x) > 0 pour tout x ∈ E. On définit sur E la matrice Q par

 P (x, y), si x 6= y et π(y) ≥ π(x)
π(y)
P (x, y) π(x)
si π(y) < π(x)
Q(x, y) =
.
P

1 − z6=x Q(x, z) si y = x
Remarquons que cette définition ne nécessite la connaissance de π que à une constante multiplicative près.
1. Montrer que Q est la matrice de transition d’une chaîne de Markov.
2. Montrer que la loi π est réversible pour Q et donc invariante.
3. Montrer que Q est irréductible.
4. Supposons que π n’est pas la probabilité uniforme sur E. Montrer que Q est apériodique
(même si P ne l’était pas). Proposer une méthode d’approximation de π(x) pour x ∈ E.
2