TD 3 - Université Bretagne Sud

U NIVERSITÉ DE B RETAGNE -S UD
ENSIBS : Modélisation Aléatoire
Travaux dirigés 3
Exercice 1 – Déterminer les classes et la periodicité des différents états pour les chaînes de
Markov de matrice de transitions :

0
0
1
 1
0
0

( a) 
 1/2 1/2 0
1/3 1/3 1/3
0
0
0
0






 , ( b) 


0
0
0
1/3
1 0
0 0
1 0
0 2/3
0
1
0
0



.

Exercice 2 – On considère une chaîne de Markov à 2 états dont la matrice de transition est
donnée par :
P=
Montrer que :
1−a
a
b
1−b
1
P =
a+b
n
En déduire lim P n .
·
·
b
b
a
a
¸
¸
avec 0 < a, b < 1.
(1 − a − b)n
+
a+b
·
a
−b
−a
b
¸
n→+∞
Exercice 3 – Une particule se déplace sur un espace à trois états {0, 1, 2} suivant un processus
de Markov dont la matrice de transition est :


0 1/2 1/2
 1/2 0 1/2 
1/2 1/2 0
Soit X n la position de la particule au n ème mouvement.
Calculer P r ( X n = 0 | X 0 = 0) pour tout n.
Exercice 4 – On considère la chaîne de Markov { X ( t), t ≥ 0} de matrice de transition :


1 0 0
 α β γ 
0
0
1
On suppose α > γ.
1. Faire le graphe et déterminer les classes d’équivalence et leur nature.
2. Calculer lim p ni, j pour tous les couples ( i, j ).
n→+∞
3. On suppose X 0 = 1 et on note T , la v.a. nombre de transitions nécessaire pour que la chaîne
soit absorbée : T = min { n ≥ 0 | X n = 0 ou X n = 2}.
Quelle est la loi de T ?
1
Modélisation Aléatoire – TD 3
ENSIBS
4. Quel est le temps (nombre de transitions) nécessaire en moyenne pour que, partant de l’état
1, la chaîne soit absorbée ?
5. Quel est l’état dans lequel la chaîne a le plus chance d’être absorbée ?
Exercice 5 – Le système de réservation d’une compagnie aérienne est géré par deux ordinateurs.
Un seul ordinateur fonctionne à la fois. Chaque ordinateur a une probabilité p de tomber en panne
un jour donné. Il faut deux jours pour réparer un ordinateur et on ne peut réparer qu’un seul
ordinateur à la fois.
1. Construire une chaîne de Markov dont les états sont les couples ( x, y) avec x le nombre de
machine en état de marche à la fin de la journée et y qui vaut 1 si l’un des ordinateurs est
en réparation depuis une journée et 0 sinon.
2. Supposons que la matrice de transition soit :
(2,0)
(1,0)
(1,1)
(0,1)
(2,0)
q
0
q
0
(1,0)
p
0
p
1
(1,1)
0
q
0
0
(0,1)
0
p
0
0
où p + q = 1.
Trouver la loi stationnaire en fonction de p et q.
Exercice 6 – On considère une marche aléatoire sur N telle que pour tout i , p i,i+1 = p et p i,i−1 =
n
q avec p + q = 1, 0 < p < 1. Décrire cette chaîne et calculer p 00
.
Exercice 7 – Une particule se déplace sur un cercle en des points marqués 0,1,2,3 dans le sens
des aiguilles d’une montre. La particule part du point 0. Elle se déplace alors d’un point dans le
sens des aiguilles d’une montre avec une probabilité q et dans le sens contraire avec une probabilité 1 − q.
On note X n , ( n ≥ 0) les positions successives de la particule sur le cercle i.e. le numéro du point où
se trouve à la date n. { X n , n ≥ 0} est une chaîne de Markov.
1. Ecrire la matrice de transition.
2. On montre que :
n+1)
n)
k n
n
∀ n , p(2
= 0 et p(2
00
00 = C n q (1 − q)
P
( n)
On rappelle qu’un état est récurrent si et seulement si : +∞
n=1 p ii = +∞ et transient si et
P
( n)
seulement si : +∞
n=1 p ii < +∞.
p
1
(a) En utilisant la formule de Stirling : n! ∼ n n+ 2 e−n 2π, montrer que :
p200n ∼
(4 q(1 − q))n
p
π n.
(b) En déduire la nature de l’état 0 en fonction de la valeur de q.
2013/2014
2