Séance 2

EXERCICES DE MATH-F302 Processus Stochastiques
Titulaire : Céline Azizieh
Assistant : Matthieu Simon
SEANCE 2 : CHAINES DE MARKOV
Introduction
Exercice 1.
Soit {Xi | i ∈ N0 } un processus de Bernoulli, c'est-à-dire que les Xi sont iid de loi de Bernoulli
de paramètre p.
1. Considérons le processus {Nn | n ∈ N0 } du nombre de succès : Nn est le nombre de
succès survenus dans le processus de Bernoulli jusque l'instant n compris.
Montrer que ce processus est une chaîne de Markov, calculer sa matrice de transition,
dessiner le graphe associé et classier les états.
2. Considérons le processus {Tn | n ∈ N0 } des instants de succès : Tn est le moment où
se produit le nème succès dans le processus de Bernoulli.
Montrer que ce processus est une chaîne de Markov, calculer sa matrice de transition,
dessiner le graphe associé et classier les états.
Exercice 2.
Soient Y1 , Y2 , · · · des variables aléatoires iid dont la distribution de probabilité est donnée
par :
P (Yn = k) = pk ∀k ∈ N.
On dénit les variables Xn par :
Xn =
0
si n = 0,
Y1 + Y2 + · · · + Yn si n ≥ 1.
Montrer que {Xn | n ∈ N} est une chaîne de Markov, et écrire sa matrice de transition.
Exercice 3.
Soit une chaîne de Markov {Xn | n ∈ N} d'ensemble d'états E et de matrice de transition
P . Pour chaque état i ∈ E , notons τi la durée d'une visite en i (si X0 = i, τi est donc le
moment où la chaîne de Markov quitte pour la première fois cet état i).
Déterminer la loi de τi .
1
Exercice 4.
Dans un sac se trouve un nombre inni de boules. L'expérience consiste à placer ces boules de
façon aléatoire dans N urnes. A chaque étape, on prend une boule dans le sac et on la place
dans l'une des N urnes au hasard, chaque urne ayant la même probabilité d'être choisie.
Considérons la chaîne de Markov {Xn | n ∈ N} où Xn représente le nombre d'urnes occupées
après la nème étape, X0 = 0.
1. Ecrire la matrice de transition de cette chaîne de Markov, ainsi que le graphe de
transition correspondant.
2. Classier les états.
Exercice 5.
Soient deux urnes A et B . Initialement, l'urne A contient deux boules blanches, et l'urne
B contient trois boules blanches et deux boules noires. On réalise l'expérience suivante : A
chaque étape, on extrait simultanément une boule de chaque urne et on les échange. Si les
deux boules noires sont tirées simultanément, on les retire du jeu et on vide l'urne B dans
l'urne A. L'urne B étant vide, on y place deux boules rouges et on continue l'expérience.
(c'est-à-dire que l'on tire une boule dans chaque urne et on les échange, et ce quelle que soit
la combinaison tirée).
Appelons Xn le nombre de boules blanche dans l'urne A après n tirages, et considérons la
chaîne de Markov {Xn | n ∈ N}.
1. Ecrire la matrice de transition de cette chaîne de Markov, ainsi que le graphe de
transition correspondant.
2. Classier les états.
Exercice 6.
Soient p et q deux réels positifs tels que p + q = 1. Considérons la chaîne de Markov dont le
graphe est le suivant :
1
p
0
1
q
2
q
p
p
p
3
q
...
q
p
N-1
q
p
N
q
Pour chacun des états i, Deviner la probabilité d'atteindre l'état 0 en un temps ni si l'on
part de i. Expliquer ensuite comment on peut la calculer.
2
Analyse d'une chaîne de Markov
Exercice 7.
Soit la chaîne de Markov {Xn | n ∈ N} dont la matrice de transition est :

 1
0 3 0 23
0 1 0 0 

P = 
0 1 1 1  .
4
2
4
0 0 0 1
1. Ecrire le graphe de transition de cette chaîne de Markov et classier les états.
2. Déterminer les matrices F et R de cette chaîne de Markov.
Exercice 8.
Soit la chaîne de Markov {Xn | n ∈ N} dont la matrice de transition est :

0.4
0

0.5

0
P = 
0

0

0.4
0.1

0.3 0.3 0
0
0
0
0
0.6 0.4 0
0
0
0
0

0.5 0
0
0
0
0
0

0
0
0
1
0
0
0
.
0
0 0.8 0.2 0
0
0

0
0
0
0 0.4 0.6 0 

0.4 0
0
0
0
0 0.2
0.3 0
0
0 0.6 0
0
1. Classier les états.
2. Déterminer les matrices F et R de cette chaîne de Markov.
3. Calculer les probabilités asymptotiques de cette chaîne de Markov.
Exercice 9.
Mêmes questions qu'à l'exercices 8 pour la chaîne de Markov dont la matrice de transition
est la suivante :

0.2
0.1

0

0
P = 
0

0

0
0

0.3 0.4 0.1 0
0
0
0
0.4 0 0.5 0
0
0
0

0.3 0.4 0.3 0
0
0
0

0
1
0
0
0
0
0
.
0.5 0 0.3 0.1 0.1 0
0

0.2 0
0 0.1 0.1 0.3 0.3

0
0
0
0
0
0
1
0
0
0
0
0
1
0
3
Exercice 10.
Soit la chaîne de Markov {Xn | n ∈ N} dont le graphe de transition est le suivant :
1
1
3
1
3
2
3
2
5
1
2
5
3
5
2
2
5
3
5
3
2
5
3
5
4
1
3
2
5
1
5
5
1
3
8
1
3
7
1
3
6
2
3
1
3
1
3
9
1
3
1
3
10 1
3
11
1
En justiant les réponses en évitant de faire de longs calculs, déterminer :
1. La probabilité de passer en un temps ni en l'état j , partant de l'état i, pour chaque
couple (i, j),
2. La matrice des probabilités asymptotiques de cette chaîne de Markov.
Exercice 11.
Un joueur joue en série à un jeu de hasard, dont il remporte une part avec probabilité p. Le
joueur débute en l'état 0. Il se retrouve en l'état 0 s'il a perdu le dernier jeu, en l'état j s'il
en est à sa j ème victoire consécutive.
1. Déterminer la matrice de transition de la chaîne de Markov associée, et dessiner le
graphe correspondant.
2. Déterminer le type des états
3. Soit T l'instant de premier retour en l'état 0. Calculer E [T ].
4
Promenades aléatoires
Exercice 12.
Soient p et q deux réels positifs tels que p + q = 1. Considérons la promenade aléatoire à N
états dont le graphe est :
p
q
p
0
1
q
2
q
p
p
p
3
...
q
p
N-1
q
p
N
q
q
1. Déterminer le type des états
2. calculer limn→∞ Pijn ∀i, j ∈ {1, 2, · · · , N }.
Exercice 13.
1. Démontrer le résultat suivant :
Soit {Xn | n ∈ N} une chaîne de Markov irréductible de matrice de transition P et
k un état xé. Notons Q la matrice obtenue en supprimant la k ème ligne et la k ème
colonne de P . Alors les états de {Xn } sont persistants si et seulement si le système
Qx = x
0 ≤ xi ≤ 1 ∀i
possède le vecteur nul comme unique solution.
2. Soient p et q deux réels strictement positifs tels que p + q = 1. Déterminer le type des
états de la promenade aléatoire "avec barrière rééchissante" dont le graphe est :
p
1
0
1
q
p
2
q
p
p
3
q
4
q
5
...
q
Divers
Exercice 14.
Une souris est placée dans le compartiment 4 du labyrinthe ci-dessous :
3
1
2
FROMAGE
4
5
6
7
PIEGE
Lorsqu'elle se trouve dans un compartiment, la souris prend un certain temps (ni) pour
l'explorer entièrement, puis choisi de façon aléatoire l'un des compartiments voisins pour
l'explorer à son tour (et ce même s'il a déjà été exploré à une étape précédente, mais sans
jamais visiter deux fois de suite le même compartiment).
Un fromage a été placé dans le compartiment 3, tandis qu'un piège attend la souris dans le
compartiment 7.
Quelle est la probabilité que la souris trouve le fromage avant de tomber dans le piège ?
Exercice 15.
On dispose de 2 machines identiques fonctionnant indépendamment et pouvant tomber en
panne au cours d'une journée avec probabilité p. On note Xn le nombre de machines en
panne au début de la nème journée.
1. On suppose que, si une machine est tombée en panne un jour, elle est entièrement
réparée durant la nuit qui suit et qu'on ne peut réparer qu'une machine par nuit.
Montrer que {Xn | n ∈ N} est une chaîne de Markov, et donner sa matrice de transition.
2. Même question en supposant qu'une machine en panne n'est réparée que le lendemain
(maximum une réparation par journée).
3. Supposons maintenant qu'il faille 2 jours pour réparer une seule machine. Xn est-elle
une chaîne de Markov dans ce cas ? Représenter le processus par une chaîne de markov,
en spécier les états et la matrice de transition.
6
Exercice 16.
On suppose que les migrations de crédit et de défauts d'une compagnie d'assurance ayant
émis des obligations sont modelisés par une chaîne de Markov sur un ensemble d'états de
cinq éléments : {AAA, AA, A, BBB et moins , D}, où D correspond au défaut de paiement.
La matrice des transitions annuelles entre états est supposée donnée par :


0.86 0.1 0.02 0.01 0.01
0.02 0.85 0.08 0.03 0.02


.
0
0.02
0.87
0.06
0.05
P = 


 0
0 0.04 0.86 0.1 
0
0
0
0
1
Cela signie, par exemple, qu'une société classée AAA au début de l'année a une probabilité
0.86 de garder ce classement jusqu'à la n de l'année, et a une probabilité de défaut de 0.01
(c'est-à-dire qu'avec probabilité 0.01, la société ne remboursera pas tout le capital ou ne
paierea pas les intérêts associées aux obligations contractées).
1. Donner la probabilité qu'une société classée AAA soit en défaut de paiement dans les
deux premières années.
2. Donner la probabilité qu'une société classée AA devienne AAA lorsqu'elle change de
classement.
3. Lorsqu'une société parvient au classement AAA, combien d'années consécutives y resteelle en moyenne ?
4. Quel est le nombre moyen d'années que prend une société classée AA pour être en
défaut ?
−1

0.14 −0.1 −0.02 −0.01
8.03
−0.02 0.15 −0.08 −0.03
 1.2

Indication : 
= 
 0
0.21
−0.02 0.13 −0.06
0
0
−0.04 0.14
0.06


6.22 6.51 4.7
8.37 6.81 4.8 
.
1.48 10.07 4.65
0.42 2.88 8.47
Exercice 17.
Soit la chaîne de Markov {Xn | n ∈ N} sur N0 , dont le graphe de transition est le suivant :
q
1
q
p
2
p
q
p
3
q
p
2
4
q
p
2
q
p
5
p
6
q
p
2
7
Déterminer les matrices F , R et P ∞ de cette chaîne de Markov.
7
q
p
2
8
p
q
p
9
...
p
2
Exercice 18.
Un entrepôt a une capacité de K unités de marchandises. A chaque période n ∈ N, arrive
une commande de livraison de Dn unités de marchandises, où les Dn sont des variables iid
à valeurs dans N. Chaque unité de marchandise livrée rapporte un bénéce que l'on note
c1 . Si, au moment n, la commande Dn est supérieure au stock disponible, seule la quantité
disponible est livrée, le reste de la commande étant annulée (avec une "perte de livraison"
de Dn − (la quantité disponible) unités pour l'entrepôt).
L'entrepôt est réapprovisionné comme suit : pour un seuil m xé, lorsque la quantité de
marchandise restant à la n de la période n est inférieure ou égale à m, l'entrepôt est totalement rempli au début de la période n + 1. Chacun de ces remplissages a un coût logistique
c2 (indépendant du nombre de marchandises apportées).
Notons Xn la quantité de marchandise restante à la n de la période n. {Xn | n ∈ N} est une
chaîne de Markov de matrice de transition dépendant du seuil m : P (m), que l'on suppose
irréductible non-périodique (ce qui est presque toujours le cas, sauf pour certaines distributions particulières des Dn ). Elle possède donc une distribution stationnaire.
Notons :
• π(m) la distribution stationnaire de P (m).
(i ∈ N).
• ui l'espérance de la "perte de livraison" réalisée au moment n + 1, sachant que Xn = i.
• pi = P (Dn = i)
Le gestionnaire de l'entrepôt cherche le seuil m qui minimise les pertes et dépenses à long
terme, c'est-à-dire la fonction :
f (m) = c1 u(m) + c2 v(m),
où u(m) est la moyenne asymptotique de la "perte de livraison" (c'est-à-dire l'espérance
Dn − Xn pour n tendant vers l'inni), et v(m) est la probabilité asymptotique d'un réapprovisionnement de l'entrepôt.
1. Ecrire la matrice P (m).
2. Donner l'expression des ui .
3. Donner l'expression de f (m) .
4. Supposons que K = 3, pi = 2−(i+1) , et que c1 = 1.
En fonction de c2 , trouver la valeur de m ∈ {0, 1, 2} qui minimise la fonction f (m).
8