Université Claude Bernard - Lyon 1 2016-2017 Master mathématiques appliquées, statistique Probabilités TD 6 : Chaînes de Markov: transience, récurrence et théorèmes limites Exercice 1. Soit (Xn )n≥0 la marche aléatoire simple symétrique sur Z. On note P sa matrice de transition. 1 2n 1. Montrer que pour tout n ≥ 0 on a P 2n+1 (0, 0) = 0 et P 2n (0, 0) = 2n . 2 n √ 2. A l’aide de la formule de Stirling n! ∼ 2πn(n/e)n , montrer l’équivalent suivant : 1 P 2n (0, 0) ∼ √ . πn 3. En déduire que la chaîne est récurrente. Montrer qu’elle est récurrente nulle. Exercice 2. (Modèle d’Ehrenfest). Soient N balles (N > 1) numérotées de 1 à N et réparties dans deux urnes A et B. On tire un nombre i au hasard entre 1 et N , et la balle numéro i est changée d’urne. Soit Xn le nombre de balles dans l’urne A après n tirages indépendants. 1. Montrer que (Xn )n≥0 est une chaîne de Markov, donner sa matrice de transition P et montrer qu’elle est irréductible. 2. Déterminer la mesure invariante π de la chaîne (Indication : chercher une mesure réversible). En déduire Ek [Tk ] où Tk est le temps de retour en k pour k = 0, 1, . . . N . 3. Montrer que 2 E[Xn+1 |Xn ] = 1 + 1 − Xn , N et en déduire que n 2 N N + 1− E[Xn ] = E[X0 ] − . 2 N 2 Exercice 3. (Chaîne de vie et de mort). Soit (Xn )n≥0 la chaîne à valeurs dans N de matrice de transition P définie par P (k, k − 1) = qk , P (k, k) = rk , P (k, k + 1) = pk , où qk + rk + pk = 1 et pk > 0 pour tout k ≥ 0, q0 = 0 et qk > 0 pour tout k ≥ 1. 1. Montrer que la chaîne est irréductible. 2. On définit pour tout k ≥ 1 λk = p0 p1 . . . pk−1 . q 1 q2 . . . qk Trouver P les mesures invariantes, et montrer que la chaîne est récurrente positive si et seulement si k≥1 λk < ∞. 1 Exercice 4. Soit (Xn ) une chaîne de Markov homogène irréductible sur un ensemble d’états fini E = {1, . . . , K}. On suppose que les probabilités de transition pij = P(X1 = j|X0 = i) vérifient, pour tout j ∈ E, K X pij = 1. i=1 1. Montrer que la chaîne admet comme unique mesure stationnaire la probabilité uniforme sur E. 2. On suppose de plus que la chaîne est apériodique. En déduire que (Xn )n≥0 converge en loi et expliciter la loi limite. Exercice 5. Pierre possède 3 parapluies. Chaque jour, il va au bureau le matin et revient à son domicile le soir. Pour chaque trajet, s’il pleut, il emporte avec lui un parapluie, à condition qu’il y ait au moins l’un des trois parapluies à sa disposition sur place. Bien entendu il ne peut pas emporter de parapluie avec lui s’il pleut mais qu’aucun des trois parapluies ne se trouve à sa disposition sur place. Il n’emporte pas de parapluie non plus s’il ne pleut pas. On suppose que la probabilité qu’il pleuve au début de chaque trajet est de 1/3 et que celle-ci est indépendante de la météo (pluie / beau temps) de tous les trajets antérieurs. Soit Xn le nombre de parapluies que Pierre possède à l’endroit où il se trouve avant de débuter le nième trajet. (Xn )n≥0 est une chaîne de Markov. 1. Donner la matrice de transition de (Xn )n≥0 . 2. Montrer que (Xn )n≥0 est irréductible et apériodique. 3. Quelle est la probabilité, au bout d’un grand nombre de voyages, que Pierre ne dispose pas de parapluie sur place au moment de partir ? 4. Quelle est la probabilité asymptotique qu’il se fasse mouiller bêtement, c’est-à-dire qu’il n’ait pas de parapluie sa disposition alors qu’il pleut lors de son départ ? Exercice 6. (Algorithme de Métropolis-Hastings). Cet exercice montre comment, étant donnée une probabilité π que l’on connaît à une constante multiplicative près, construire une chaîne de Markov ayant π comme probabilité stationnaire. Soit E un ensemble d’états fini et P une matrice de transition sur E, symétrique (vérifiant P (x, y) = P (y, x) pour tous x, y ∈ E) et irréductible. Soit π une probabilité sur E telle que π(x) > 0 pour tout x ∈ E. On définit sur E la matrice Q par P (x, y), si x 6= y et π(y) ≥ π(x) π(y) P (x, y) π(x) si π(y) < π(x) Q(x, y) = . P 1 − z6=x Q(x, z) si y = x Remarquons que cette définition ne nécessite la connaissance de π que à une constante multiplicative près. 1. Montrer que Q est la matrice de transition d’une chaîne de Markov. 2. Montrer que la loi π est réversible pour Q et donc invariante. 3. Montrer que Q est irréductible. 4. Supposons que π n’est pas la probabilité uniforme sur E. Montrer que Q est apériodique (même si P ne l’était pas). Proposer une méthode d’approximation de π(x) pour x ∈ E. 2