Partiel de novembre 2003

Maîtrise de Mathématiques, MIM, IUP Mathématique et Informatique 3eme année
Processus stochastiques 1er semestre 2003 2004
Partiel du 18 novembre 2003
13h45- 16h00
Exercice - On considère une machine dont le fonctionnement repose sur une pièce particuliè-
rement fragile. Lorsqu’à un instant la machine est en bon état de marche (état 1), la probabilité
que cette pièce se détériore à l’instant suivant vaut (0 <  < 1). La machine passe alors dans
un état intermédiaire (état 2). Si le service de maintenance réagit tout de suite (ce qui arrive
avec une probabilité )(0 <  < 1), la machine est restorée dans l’état initial à l’instant suivant.
Sinon elle se dégrade complètement et devient hors d’usage (état 3).
1. L’évolution de la machine au cours du temps est décrite par une chaine de Markov. Donner
son graphe d’états. Classi…er les états, c’est à dire indiquer les états récurrents et les états
transients.
2. On note Ti= inffn1=Xn=ig. Donner la loi de T2partant des états 1 et 2 respective-
ment, c’est à dire calculer P1(T2=n)et P2(T2=n)pour tout n1.
Calculer Pn1P2(T2=n). Qu’en concluez-vous ?
3. Montrer (en n’oubliant pas de justi…er les étapes du calcul), que pour tout n2on a
P1(T3=n) = (1 )P1(T3=n1) + P2(T3=n1);
P2(T3=n) = P1(T3=n1):
4. Expliquer comment vous pouvez obtenir des formules analytiques pour la loi T3partant
des états 1 et 2 respectivement (commencer le calcul et indiquer comment il faudrait le
poursuivre).
Problème - Soit (Xn)n0une chaine de Markov à valeurs dans un espace E…ni ou dénombrable.
Soit fA; Bgune partition de E(A[B=E; A \B=;). On note Tle premier temps d’entrée
dans B:
T= minfn:n0; Xn2Bg:
Le but de ce problème est de montrer que si Aest …ni, alors il y a équivalence entre les deux
assertions suivantes :
–A1: pour tout x2A,Px(T < +1) = 1:
–A2: pour tout x2A, il existe un chemin de xvers B, c’est-à-dire :
8x2A; 9n1;9x12E; : : : ; 9xn12E; 9z2B:
p(x; x1)p(x1; x2): : : p(xn2; xn1)p(xn1; z)>0:
1) Montrer que A1entraine A2.
2) Soit x2A. Donner une relation (linéaire) reliant Px(T= +1)et les Py(T= +1); y 2A.
3) Soit x2A. Montrer que pour tout k1:
Px(T= +1) = X
y12A
: : : X
yk2A
p(x; y1)p(y1; y2): : : p(yk1; yk)Pyk(T= +1):
4) On suppose A2véri…ée. Montrer que pour tout x2A, il existe n1tel que :
X
y12A
X
y22A
: : : X
yn2A
p(x; y1)p(y1; y2): : : p(yn1; yn)<1:
1

(noter que la quantité ci-dessus dépend de x).
5) On suppose que A2est véri…ée et que l’ensemble Aest …ni. Montrer A1.
Indication : on pourra montrer qu’il existe une constante c < 1, indépendante de x, telle que
max
x2A
Px(T= +1)cmax
y2A
Py(T= +1):
6) On suppose que E=N[ fg,=2N. On considère la chaine de Markov de probabilité de
transition pdonnée par :
p(;) = 1;
8i2N; p(i; ) = i>0; p(i; i + 1) = 1 i>0:
Soit Tle premier instant d’entrée dans  (T= minfn:n0; Xn= g):
a) Montrer que pour tout i2N:
Pi(T= +1) = lim
n!+1
n
Y
k=i
(1 k):
b) Donner un exemple où limn!+1Qn
k=i(1k)>0. Qu’avez-vous démontré par rapport
à la question de l’équivalence entre A1et A2?
7) Dans le modèle d’Ehrenfest vu en cours, montrer que, quel que soit l’état initial, il esiste
presque sûrement un instant où le compartiment 1 est vide.
2