TD 3 - Université Bretagne Sud

UNIVERSITÉ DE BRETAGNE-SUD
ENSIBS : Modélisation Aléatoire
Travaux dirigés 3
Exercice 1 – Déterminer les classes et la periodicité des différents états pour les chaînes de
Markov de matrice de transitions :
(a)
0 0 1 0
1 0 0 0
1/2 1/2 0 0
1/3 1/3 1/3 0
,(b)
0 1 0 0
0 0 0 1
0 1 0 0
1/3 0 2/3 0
.
Exercice 2 – On considère une chaîne de Markov à 2 états dont la matrice de transition est
donnée par :
P=·1−a a
b1−b¸avec 0 <a,b<1.
Montrer que :
Pn=1
a+b·b a
b a ¸+(1−a−b)n
a+b·a−a
−b b ¸
En déduire lim
n→+∞Pn.
Exercice 3 – Une particule se déplace sur un espace à trois états {0,1,2}suivant un processus
de Markov dont la matrice de transition est :
0 1/2 1/2
1/2 0 1/2
1/2 1/2 0
Soit Xnla position de la particule au n`
eme mouvement.
Calculer Pr(Xn=0|X0=0) pour tout n.
Exercice 4 – On considère la chaîne de Markov {X(t),t≥0}de matrice de transition :
1 0 0
α β γ
0 0 1
On suppose α>γ.
1. Faire le graphe et déterminer les classes d’équivalence et leur nature.
2. Calculer lim
n→+∞ pn
i,jpour tous les couples (i,j).
3. On suppose X0=1 et on note T, la v.a. nombre de transitions nécessaire pour que la chaîne
soit absorbée : T=min {n≥0|Xn=0 ou Xn=2}.
Quelle est la loi de T?
1

Modélisation Aléatoire – TD 3 ENSIBS
4. Quel est le temps (nombre de transitions) nécessaire en moyenne pour que, partant de l’état
1, la chaîne soit absorbée ?
5. Quel est l’état dans lequel la chaîne a le plus chance d’être absorbée ?
Exercice 5 – Le système de réservation d’une compagnie aérienne est géré par deux ordinateurs.
Un seul ordinateur fonctionne à la fois. Chaque ordinateur a une probabilité pde tomber en panne
un jour donné. Il faut deux jours pour réparer un ordinateur et on ne peut réparer qu’un seul
ordinateur à la fois.
1. Construire une chaîne de Markov dont les états sont les couples (x,y) avec xle nombre de
machine en état de marche à la fin de la journée et yqui vaut 1 si l’un des ordinateurs est
en réparation depuis une journée et 0 sinon.
2. Supposons que la matrice de transition soit :
(2,0) (1,0) (1,1) (0,1)
(2,0) q p 0 0
(1,0) 0 0 q p
(1,1) q p 0 0
(0,1) 0100
où p+q=1.
Trouver la loi stationnaire en fonction de pet q.
Exercice 6 – On considère une marche aléatoire sur Ntelle que pour tout i,pi,i+1=pet pi,i−1=
qavec p+q=1, 0 <p<1. Décrire cette chaîne et calculer pn
00.
Exercice 7 – Une particule se déplace sur un cercle en des points marqués 0,1,2,3 dans le sens
des aiguilles d’une montre. La particule part du point 0. Elle se déplace alors d’un point dans le
sens des aiguilles d’une montre avec une probabilité qet dans le sens contraire avec une probabi-
lité 1−q.
On note Xn, (n≥0) les positions successives de la particule sur le cercle i.e. le numéro du point où
se trouve à la date n.{Xn,n≥0}est une chaîne de Markov.
1. Ecrire la matrice de transition.
2. On montre que :
∀n,p(2n+1)
00 =0 et p(2n) 00 =Ck
nqn(1−q)n
On rappelle qu’un état est récurrent si et seulement si : P+∞
n=1p(n)
ii = +∞ et transient si et
seulement si : P+∞
n=1p(n)
ii <+∞.
(a) En utilisant la formule de Stirling : n!∼nn+1
2e−np2π, montrer que :
p2n
00 ∼(4q(1−q))n
pπn.
(b) En déduire la nature de l’état 0 en fonction de la valeur de q.
2013/2014 2