Partiel de novembre 2003

Maîtrise de Mathématiques, MIM, IUP Mathématique et Informatique 3eme année
Processus stochastiques 1er semestre 2003 2004
Partiel du 18 novembre 2003
13h45- 16h00
Exercice - On considère une machine dont le fonctionnement repose sur une pièce particulièrement fragile. Lorsqu’à un instant la machine est en bon état de marche (état 1), la probabilité
que cette pièce se détériore à l’instant suivant vaut (0 < < 1). La machine passe alors dans
un état intermédiaire (état 2). Si le service de maintenance réagit tout de suite (ce qui arrive
avec une probabilité ) (0 < < 1), la machine est restorée dans l’état initial à l’instant suivant.
Sinon elle se dégrade complètement et devient hors d’usage (état 3).
1. L’évolution de la machine au cours du temps est décrite par une chaine de Markov. Donner
son graphe d’états. Classi…er les états, c’est à dire indiquer les états récurrents et les états
transients.
2. On note Ti = inffn 1=Xn = ig. Donner la loi de T2 partant des états 1 et 2 respectivement, c’est
P à dire calculer P1 (T2 = n) et P2 (T2 = n) pour tout n 1.
Calculer n 1 P2 (T2 = n). Qu’en concluez-vous ?
3. Montrer (en n’oubliant pas de justi…er les étapes du calcul), que pour tout n
P1 (T3 = n) = (1
P2 (T3 = n) =
)P1 (T3 = n 1) + P2 (T3 = n
P1 (T3 = n 1):
2 on a
1);
4. Expliquer comment vous pouvez obtenir des formules analytiques pour la loi T3 partant
des états 1 et 2 respectivement (commencer le calcul et indiquer comment il faudrait le
poursuivre).
Problème - Soit (Xn )n 0 une chaine de Markov à valeurs dans un espace E …ni ou dénombrable.
Soit fA; Bg une partition de E (A [ B = E; A \ B = ;). On note T le premier temps d’entrée
dans B :
T = minfn : n 0; Xn 2 Bg:
Le but de ce problème est de montrer que si A est …ni, alors il y a équivalence entre les deux
assertions suivantes :
– A1 : pour tout x 2 A, Px (T < +1) = 1:
– A2 : pour tout x 2 A, il existe un chemin de x vers B, c’est-à-dire :
8 x 2 A; 9 n
1; 9 x1 2 E; : : : ; 9 xn
p(x; x1 )p(x1 ; x2 ) : : : p(xn
1
2 E; 9 z 2 B :
2 ; xn 1 )p(xn 1 ; z)
> 0:
1) Montrer que A1 entraine A2 .
2) Soit x 2 A. Donner une relation (linéaire) reliant Px (T = +1) et les Py (T = +1); y 2 A.
3) Soit x 2 A. Montrer que pour tout k 1 :
X
X
Px (T = +1) =
:::
p(x; y1 )p(y1 ; y2 ) : : : p(yk
y1 2A
1 ; yk ) Pyk (T
= +1):
yk 2A
4) On suppose A2 véri…ée. Montrer que pour tout x 2 A, il existe n 1 tel que :
X X
X
:::
p(x; y1 )p(y1 ; y2 ) : : : p(yn 1 ; yn ) < 1:
y1 2A y2 2A
yn 2A
1
(noter que la quantité ci-dessus dépend de x).
5) On suppose que A2 est véri…ée et que l’ensemble A est …ni. Montrer A1 .
Indication : on pourra montrer qu’il existe une constante c < 1, indépendante de x, telle que
max Px (T = +1)
x2A
6) On suppose que E = N [ f g,
transition p donnée par :
c max Py (T = +1):
y2A
2
= N. On considère la chaine de Markov de probabilité de
p( ; ) = 1;
8 i 2 N; p(i; ) =
i
> 0; p(i; i + 1) = 1
Soit T le premier instant d’entrée dans
(T = minfn : n
a) Montrer que pour tout i 2 N :
Pi (T = +1) = lim
n!+1
Qn
b) Donner un exemple où limn!+1 k=i (1
à la question de l’équivalence entre A1 et A2 ?
n
Y
(1
i
> 0:
0; Xn =
g):
k ):
k=i
k)
> 0. Qu’avez-vous démontré par rapport
7) Dans le modèle d’Ehrenfest vu en cours, montrer que, quel que soit l’état initial, il esiste
presque sûrement un instant où le compartiment 1 est vide.
2