Exercice 1. Soit (X n)n≥0 la marche aléatoire simple symétrique sur

Université Claude Bernard - Lyon 1 2016-2017
Master mathématiques appliquées, statistique Probabilités
TD 6 : Chaînes de Markov: transience, récurrence et théorèmes limites
Exercice 1. Soit (Xn)n≥0la marche aléatoire simple symétrique sur Z. On note Psa matrice
de transition.
1. Montrer que pour tout n≥0on a P2n+1(0,0) = 0 et P2n(0,0) = 2n
n1 22n.
2. A l’aide de la formule de Stirling n!∼√2πn(n/e)n, montrer l’équivalent suivant :
P2n(0,0) ∼1
√πn.
3. En déduire que la chaîne est récurrente. Montrer qu’elle est récurrente nulle.
Exercice 2. (Modèle d’Ehrenfest). Soient Nballes (N > 1) numérotées de 1àNet réparties
dans deux urnes Aet B. On tire un nombre iau hasard entre 1et N, et la balle numéro iest
changée d’urne. Soit Xnle nombre de balles dans l’urne Aaprès ntirages indépendants.
1. Montrer que (Xn)n≥0est une chaîne de Markov, donner sa matrice de transition Pet
montrer qu’elle est irréductible.
2. Déterminer la mesure invariante πde la chaîne (Indication : chercher une mesure réversible).
En déduire Ek[Tk]où Tkest le temps de retour en kpour k= 0,1,...N.
3. Montrer que
E[Xn+1|Xn] = 1 + 1−2
NXn,
et en déduire que
E[Xn] = N
2+1−2 NnE[X0]−N 2.
Exercice 3. (Chaîne de vie et de mort). Soit (Xn)n≥0la chaîne à valeurs dans Nde matrice de
transition Pdéfinie par
P(k, k −1) = qk, P (k, k) = rk, P (k, k + 1) = pk,
où qk+rk+pk= 1 et pk>0pour tout k≥0,q0= 0 et qk>0pour tout k≥1.
1. Montrer que la chaîne est irréductible.
2. On définit pour tout k≥1
λk=p0p1. . . pk−1
q1q2. . . qk
.
Trouver les mesures invariantes, et montrer que la chaîne est récurrente positive si et seule-
ment si Pk≥1λk<∞.
1

Exercice 4. Soit (Xn)une chaîne de Markov homogène irréductible sur un ensemble d’états fini
E={1, . . . , K}. On suppose que les probabilités de transition pij =P(X1=j|X0=i)vérifient,
pour tout j∈E,
K
X
i=1
pij = 1.
1. Montrer que la chaîne admet comme unique mesure stationnaire la probabilité uniforme sur
E.
2. On suppose de plus que la chaîne est apériodique. En déduire que (Xn)n≥0converge en loi
et expliciter la loi limite.
Exercice 5. Pierre possède 3parapluies. Chaque jour, il va au bureau le matin et revient à son
domicile le soir. Pour chaque trajet, s’il pleut, il emporte avec lui un parapluie, à condition qu’il
y ait au moins l’un des trois parapluies à sa disposition sur place. Bien entendu il ne peut pas
emporter de parapluie avec lui s’il pleut mais qu’aucun des trois parapluies ne se trouve à sa
disposition sur place. Il n’emporte pas de parapluie non plus s’il ne pleut pas. On suppose que
la probabilité qu’il pleuve au début de chaque trajet est de 1/3et que celle-ci est indépendante
de la météo (pluie / beau temps) de tous les trajets antérieurs. Soit Xnle nombre de parapluies
que Pierre possède à l’endroit où il se trouve avant de débuter le nième trajet. (Xn)n≥0est une
chaîne de Markov.
1. Donner la matrice de transition de (Xn)n≥0.
2. Montrer que (Xn)n≥0est irréductible et apériodique.
3. Quelle est la probabilité, au bout d’un grand nombre de voyages, que Pierre ne dispose pas
de parapluie sur place au moment de partir ?
4. Quelle est la probabilité asymptotique qu’il se fasse mouiller bêtement, c’est-à-dire qu’il
n’ait pas de parapluie sa disposition alors qu’il pleut lors de son départ ?
Exercice 6. (Algorithme de Métropolis-Hastings). Cet exercice montre comment, étant donnée
une probabilité πque l’on connaît à une constante multiplicative près, construire une chaîne de
Markov ayant πcomme probabilité stationnaire.
Soit Eun ensemble d’états fini et Pune matrice de transition sur E, symétrique (vérifiant
P(x, y) = P(y, x)pour tous x, y ∈E) et irréductible. Soit πune probabilité sur Etelle que
π(x)>0pour tout x∈E. On définit sur Ela matrice Qpar
Q(x, y) = 
P(x, y),si x6=yet π(y)≥π(x)
P(x, y)π(y)
π(x)si π(y)< π(x)
1−Pz6=xQ(x, z)si y=x
.
Remarquons que cette définition ne nécessite la connaissance de πque à une constante multipli-
cative près.
1. Montrer que Qest la matrice de transition d’une chaîne de Markov.
2. Montrer que la loi πest réversible pour Qet donc invariante.
3. Montrer que Qest irréductible.
4. Supposons que πn’est pas la probabilité uniforme sur E. Montrer que Qest apériodique
(même si Pne l’était pas). Proposer une méthode d’approximation de π(x)pour x∈E.
2