EXERCICES DE MATH-F302 Processus Stochastiques Titulaire : Céline Azizieh Assistant : Matthieu Simon SEANCE 2 : CHAINES DE MARKOV Introduction Exercice 1. Soit {Xi | i ∈ N0 } un processus de Bernoulli, c'est-à-dire que les Xi sont iid de loi de Bernoulli de paramètre p. 1. Considérons le processus {Nn | n ∈ N0 } du nombre de succès : Nn est le nombre de succès survenus dans le processus de Bernoulli jusque l'instant n compris. Montrer que ce processus est une chaîne de Markov, calculer sa matrice de transition, dessiner le graphe associé et classier les états. 2. Considérons le processus {Tn | n ∈ N0 } des instants de succès : Tn est le moment où se produit le nème succès dans le processus de Bernoulli. Montrer que ce processus est une chaîne de Markov, calculer sa matrice de transition, dessiner le graphe associé et classier les états. Exercice 2. Soient Y1 , Y2 , · · · des variables aléatoires iid dont la distribution de probabilité est donnée par : P (Yn = k) = pk ∀k ∈ N. On dénit les variables Xn par : Xn = 0 si n = 0, Y1 + Y2 + · · · + Yn si n ≥ 1. Montrer que {Xn | n ∈ N} est une chaîne de Markov, et écrire sa matrice de transition. Exercice 3. Soit une chaîne de Markov {Xn | n ∈ N} d'ensemble d'états E et de matrice de transition P . Pour chaque état i ∈ E , notons τi la durée d'une visite en i (si X0 = i, τi est donc le moment où la chaîne de Markov quitte pour la première fois cet état i). Déterminer la loi de τi . 1 Exercice 4. Dans un sac se trouve un nombre inni de boules. L'expérience consiste à placer ces boules de façon aléatoire dans N urnes. A chaque étape, on prend une boule dans le sac et on la place dans l'une des N urnes au hasard, chaque urne ayant la même probabilité d'être choisie. Considérons la chaîne de Markov {Xn | n ∈ N} où Xn représente le nombre d'urnes occupées après la nème étape, X0 = 0. 1. Ecrire la matrice de transition de cette chaîne de Markov, ainsi que le graphe de transition correspondant. 2. Classier les états. Exercice 5. Soient deux urnes A et B . Initialement, l'urne A contient deux boules blanches, et l'urne B contient trois boules blanches et deux boules noires. On réalise l'expérience suivante : A chaque étape, on extrait simultanément une boule de chaque urne et on les échange. Si les deux boules noires sont tirées simultanément, on les retire du jeu et on vide l'urne B dans l'urne A. L'urne B étant vide, on y place deux boules rouges et on continue l'expérience. (c'est-à-dire que l'on tire une boule dans chaque urne et on les échange, et ce quelle que soit la combinaison tirée). Appelons Xn le nombre de boules blanche dans l'urne A après n tirages, et considérons la chaîne de Markov {Xn | n ∈ N}. 1. Ecrire la matrice de transition de cette chaîne de Markov, ainsi que le graphe de transition correspondant. 2. Classier les états. Exercice 6. Soient p et q deux réels positifs tels que p + q = 1. Considérons la chaîne de Markov dont le graphe est le suivant : 1 p 0 1 q 2 q p p p 3 q ... q p N-1 q p N q Pour chacun des états i, Deviner la probabilité d'atteindre l'état 0 en un temps ni si l'on part de i. Expliquer ensuite comment on peut la calculer. 2 Analyse d'une chaîne de Markov Exercice 7. Soit la chaîne de Markov {Xn | n ∈ N} dont la matrice de transition est : 1 0 3 0 23 0 1 0 0 P = 0 1 1 1 . 4 2 4 0 0 0 1 1. Ecrire le graphe de transition de cette chaîne de Markov et classier les états. 2. Déterminer les matrices F et R de cette chaîne de Markov. Exercice 8. Soit la chaîne de Markov {Xn | n ∈ N} dont la matrice de transition est : 0.4 0 0.5 0 P = 0 0 0.4 0.1 0.3 0.3 0 0 0 0 0 0.6 0.4 0 0 0 0 0 0.5 0 0 0 0 0 0 0 0 0 1 0 0 0 . 0 0 0.8 0.2 0 0 0 0 0 0 0 0.4 0.6 0 0.4 0 0 0 0 0 0.2 0.3 0 0 0 0.6 0 0 1. Classier les états. 2. Déterminer les matrices F et R de cette chaîne de Markov. 3. Calculer les probabilités asymptotiques de cette chaîne de Markov. Exercice 9. Mêmes questions qu'à l'exercices 8 pour la chaîne de Markov dont la matrice de transition est la suivante : 0.2 0.1 0 0 P = 0 0 0 0 0.3 0.4 0.1 0 0 0 0 0.4 0 0.5 0 0 0 0 0.3 0.4 0.3 0 0 0 0 0 1 0 0 0 0 0 . 0.5 0 0.3 0.1 0.1 0 0 0.2 0 0 0.1 0.1 0.3 0.3 0 0 0 0 0 0 1 0 0 0 0 0 1 0 3 Exercice 10. Soit la chaîne de Markov {Xn | n ∈ N} dont le graphe de transition est le suivant : 1 1 3 1 3 2 3 2 5 1 2 5 3 5 2 2 5 3 5 3 2 5 3 5 4 1 3 2 5 1 5 5 1 3 8 1 3 7 1 3 6 2 3 1 3 1 3 9 1 3 1 3 10 1 3 11 1 En justiant les réponses en évitant de faire de longs calculs, déterminer : 1. La probabilité de passer en un temps ni en l'état j , partant de l'état i, pour chaque couple (i, j), 2. La matrice des probabilités asymptotiques de cette chaîne de Markov. Exercice 11. Un joueur joue en série à un jeu de hasard, dont il remporte une part avec probabilité p. Le joueur débute en l'état 0. Il se retrouve en l'état 0 s'il a perdu le dernier jeu, en l'état j s'il en est à sa j ème victoire consécutive. 1. Déterminer la matrice de transition de la chaîne de Markov associée, et dessiner le graphe correspondant. 2. Déterminer le type des états 3. Soit T l'instant de premier retour en l'état 0. Calculer E [T ]. 4 Promenades aléatoires Exercice 12. Soient p et q deux réels positifs tels que p + q = 1. Considérons la promenade aléatoire à N états dont le graphe est : p q p 0 1 q 2 q p p p 3 ... q p N-1 q p N q q 1. Déterminer le type des états 2. calculer limn→∞ Pijn ∀i, j ∈ {1, 2, · · · , N }. Exercice 13. 1. Démontrer le résultat suivant : Soit {Xn | n ∈ N} une chaîne de Markov irréductible de matrice de transition P et k un état xé. Notons Q la matrice obtenue en supprimant la k ème ligne et la k ème colonne de P . Alors les états de {Xn } sont persistants si et seulement si le système Qx = x 0 ≤ xi ≤ 1 ∀i possède le vecteur nul comme unique solution. 2. Soient p et q deux réels strictement positifs tels que p + q = 1. Déterminer le type des états de la promenade aléatoire "avec barrière rééchissante" dont le graphe est : p 1 0 1 q p 2 q p p 3 q 4 q 5 ... q Divers Exercice 14. Une souris est placée dans le compartiment 4 du labyrinthe ci-dessous : 3 1 2 FROMAGE 4 5 6 7 PIEGE Lorsqu'elle se trouve dans un compartiment, la souris prend un certain temps (ni) pour l'explorer entièrement, puis choisi de façon aléatoire l'un des compartiments voisins pour l'explorer à son tour (et ce même s'il a déjà été exploré à une étape précédente, mais sans jamais visiter deux fois de suite le même compartiment). Un fromage a été placé dans le compartiment 3, tandis qu'un piège attend la souris dans le compartiment 7. Quelle est la probabilité que la souris trouve le fromage avant de tomber dans le piège ? Exercice 15. On dispose de 2 machines identiques fonctionnant indépendamment et pouvant tomber en panne au cours d'une journée avec probabilité p. On note Xn le nombre de machines en panne au début de la nème journée. 1. On suppose que, si une machine est tombée en panne un jour, elle est entièrement réparée durant la nuit qui suit et qu'on ne peut réparer qu'une machine par nuit. Montrer que {Xn | n ∈ N} est une chaîne de Markov, et donner sa matrice de transition. 2. Même question en supposant qu'une machine en panne n'est réparée que le lendemain (maximum une réparation par journée). 3. Supposons maintenant qu'il faille 2 jours pour réparer une seule machine. Xn est-elle une chaîne de Markov dans ce cas ? Représenter le processus par une chaîne de markov, en spécier les états et la matrice de transition. 6 Exercice 16. On suppose que les migrations de crédit et de défauts d'une compagnie d'assurance ayant émis des obligations sont modelisés par une chaîne de Markov sur un ensemble d'états de cinq éléments : {AAA, AA, A, BBB et moins , D}, où D correspond au défaut de paiement. La matrice des transitions annuelles entre états est supposée donnée par : 0.86 0.1 0.02 0.01 0.01 0.02 0.85 0.08 0.03 0.02 . 0 0.02 0.87 0.06 0.05 P = 0 0 0.04 0.86 0.1 0 0 0 0 1 Cela signie, par exemple, qu'une société classée AAA au début de l'année a une probabilité 0.86 de garder ce classement jusqu'à la n de l'année, et a une probabilité de défaut de 0.01 (c'est-à-dire qu'avec probabilité 0.01, la société ne remboursera pas tout le capital ou ne paierea pas les intérêts associées aux obligations contractées). 1. Donner la probabilité qu'une société classée AAA soit en défaut de paiement dans les deux premières années. 2. Donner la probabilité qu'une société classée AA devienne AAA lorsqu'elle change de classement. 3. Lorsqu'une société parvient au classement AAA, combien d'années consécutives y resteelle en moyenne ? 4. Quel est le nombre moyen d'années que prend une société classée AA pour être en défaut ? −1 0.14 −0.1 −0.02 −0.01 8.03 −0.02 0.15 −0.08 −0.03 1.2 Indication : = 0 0.21 −0.02 0.13 −0.06 0 0 −0.04 0.14 0.06 6.22 6.51 4.7 8.37 6.81 4.8 . 1.48 10.07 4.65 0.42 2.88 8.47 Exercice 17. Soit la chaîne de Markov {Xn | n ∈ N} sur N0 , dont le graphe de transition est le suivant : q 1 q p 2 p q p 3 q p 2 4 q p 2 q p 5 p 6 q p 2 7 Déterminer les matrices F , R et P ∞ de cette chaîne de Markov. 7 q p 2 8 p q p 9 ... p 2 Exercice 18. Un entrepôt a une capacité de K unités de marchandises. A chaque période n ∈ N, arrive une commande de livraison de Dn unités de marchandises, où les Dn sont des variables iid à valeurs dans N. Chaque unité de marchandise livrée rapporte un bénéce que l'on note c1 . Si, au moment n, la commande Dn est supérieure au stock disponible, seule la quantité disponible est livrée, le reste de la commande étant annulée (avec une "perte de livraison" de Dn − (la quantité disponible) unités pour l'entrepôt). L'entrepôt est réapprovisionné comme suit : pour un seuil m xé, lorsque la quantité de marchandise restant à la n de la période n est inférieure ou égale à m, l'entrepôt est totalement rempli au début de la période n + 1. Chacun de ces remplissages a un coût logistique c2 (indépendant du nombre de marchandises apportées). Notons Xn la quantité de marchandise restante à la n de la période n. {Xn | n ∈ N} est une chaîne de Markov de matrice de transition dépendant du seuil m : P (m), que l'on suppose irréductible non-périodique (ce qui est presque toujours le cas, sauf pour certaines distributions particulières des Dn ). Elle possède donc une distribution stationnaire. Notons : • π(m) la distribution stationnaire de P (m). (i ∈ N). • ui l'espérance de la "perte de livraison" réalisée au moment n + 1, sachant que Xn = i. • pi = P (Dn = i) Le gestionnaire de l'entrepôt cherche le seuil m qui minimise les pertes et dépenses à long terme, c'est-à-dire la fonction : f (m) = c1 u(m) + c2 v(m), où u(m) est la moyenne asymptotique de la "perte de livraison" (c'est-à-dire l'espérance Dn − Xn pour n tendant vers l'inni), et v(m) est la probabilité asymptotique d'un réapprovisionnement de l'entrepôt. 1. Ecrire la matrice P (m). 2. Donner l'expression des ui . 3. Donner l'expression de f (m) . 4. Supposons que K = 3, pi = 2−(i+1) , et que c1 = 1. En fonction de c2 , trouver la valeur de m ∈ {0, 1, 2} qui minimise la fonction f (m). 8