Maîtrise de Mathématiques, MIM, IUP Mathématique et Informatique 3eme année Processus stochastiques 1er semestre 2003 2004 Partiel du 18 novembre 2003 13h45- 16h00 Exercice - On considère une machine dont le fonctionnement repose sur une pièce particulièrement fragile. Lorsqu’à un instant la machine est en bon état de marche (état 1), la probabilité que cette pièce se détériore à l’instant suivant vaut (0 < < 1). La machine passe alors dans un état intermédiaire (état 2). Si le service de maintenance réagit tout de suite (ce qui arrive avec une probabilité ) (0 < < 1), la machine est restorée dans l’état initial à l’instant suivant. Sinon elle se dégrade complètement et devient hors d’usage (état 3). 1. L’évolution de la machine au cours du temps est décrite par une chaine de Markov. Donner son graphe d’états. Classi…er les états, c’est à dire indiquer les états récurrents et les états transients. 2. On note Ti = inffn 1=Xn = ig. Donner la loi de T2 partant des états 1 et 2 respectivement, c’est P à dire calculer P1 (T2 = n) et P2 (T2 = n) pour tout n 1. Calculer n 1 P2 (T2 = n). Qu’en concluez-vous ? 3. Montrer (en n’oubliant pas de justi…er les étapes du calcul), que pour tout n P1 (T3 = n) = (1 P2 (T3 = n) = )P1 (T3 = n 1) + P2 (T3 = n P1 (T3 = n 1): 2 on a 1); 4. Expliquer comment vous pouvez obtenir des formules analytiques pour la loi T3 partant des états 1 et 2 respectivement (commencer le calcul et indiquer comment il faudrait le poursuivre). Problème - Soit (Xn )n 0 une chaine de Markov à valeurs dans un espace E …ni ou dénombrable. Soit fA; Bg une partition de E (A [ B = E; A \ B = ;). On note T le premier temps d’entrée dans B : T = minfn : n 0; Xn 2 Bg: Le but de ce problème est de montrer que si A est …ni, alors il y a équivalence entre les deux assertions suivantes : – A1 : pour tout x 2 A, Px (T < +1) = 1: – A2 : pour tout x 2 A, il existe un chemin de x vers B, c’est-à-dire : 8 x 2 A; 9 n 1; 9 x1 2 E; : : : ; 9 xn p(x; x1 )p(x1 ; x2 ) : : : p(xn 1 2 E; 9 z 2 B : 2 ; xn 1 )p(xn 1 ; z) > 0: 1) Montrer que A1 entraine A2 . 2) Soit x 2 A. Donner une relation (linéaire) reliant Px (T = +1) et les Py (T = +1); y 2 A. 3) Soit x 2 A. Montrer que pour tout k 1 : X X Px (T = +1) = ::: p(x; y1 )p(y1 ; y2 ) : : : p(yk y1 2A 1 ; yk ) Pyk (T = +1): yk 2A 4) On suppose A2 véri…ée. Montrer que pour tout x 2 A, il existe n 1 tel que : X X X ::: p(x; y1 )p(y1 ; y2 ) : : : p(yn 1 ; yn ) < 1: y1 2A y2 2A yn 2A 1 (noter que la quantité ci-dessus dépend de x). 5) On suppose que A2 est véri…ée et que l’ensemble A est …ni. Montrer A1 . Indication : on pourra montrer qu’il existe une constante c < 1, indépendante de x, telle que max Px (T = +1) x2A 6) On suppose que E = N [ f g, transition p donnée par : c max Py (T = +1): y2A 2 = N. On considère la chaine de Markov de probabilité de p( ; ) = 1; 8 i 2 N; p(i; ) = i > 0; p(i; i + 1) = 1 Soit T le premier instant d’entrée dans (T = minfn : n a) Montrer que pour tout i 2 N : Pi (T = +1) = lim n!+1 Qn b) Donner un exemple où limn!+1 k=i (1 à la question de l’équivalence entre A1 et A2 ? n Y (1 i > 0: 0; Xn = g): k ): k=i k) > 0. Qu’avez-vous démontré par rapport 7) Dans le modèle d’Ehrenfest vu en cours, montrer que, quel que soit l’état initial, il esiste presque sûrement un instant où le compartiment 1 est vide. 2