M ODÉLISATION A LÉATOIRE Notes de Cours ENSIBS 2013/2014 Table des matières 1 Introduction 2 2 Chaînes de Markov 3 2.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 Matrice de transition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 Classes d’équivalence de l’espace des états . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4 Nature des états d’une chaîne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4.1 Periodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4.2 Etats transients - Etats récurrents . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.5 Notion de mesure invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.6 Notion de mesure réversible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.7 Comportement asymptotique d’une chaîne de Markov . . . . . . . . . . . . . . . . . . 16 2.8 Calcul de la loi stationnaire pour une chaîne à espace d’états fini . . . . . . . . . . . . 17 2.9 Calcul de lois limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1 ENSIBS Cours 1 1 Introduction On donne ici quelques généralités sur les processus aléatoires. L’étude des processus consiste à explorer la structure d’un famille de variables aléatoires X ( t) à valeurs dans un espace S , où t est un paramètre parcourant un espace T . On note indifféremment X ( t) ou X t ou { X ( t), t ∈ T } ou encore { X t , t ∈ T }. T est appelé l’espace d’indice ; par abus de langage, on parle de l’espace des temps. Lorsque T est une ensemble dénombrable (par ex. N), on parle de processus à temps discret. Si T est un ensemble dense (par ex. R), on parle de processus à temps continu. La dimension de T peut être supérieure à 1. Par exemple, X ( t) peut être la hauteur d’une vague en un point t = ( t 1 , t 2 ) avec t 1 =longitude et t 2 =latitude. La dimension de T est donc ici égale à 2. L’espace S dans lequel X ( t) prend ses valeurs est appelé l’espace des états. S’il est dénombrable, le processus est dit à espace d’états discrets. S’il est continu, le processus est dit à espace d’états continu. Un processus aléatoire est caractérisé par la nature : • de l’espace des états, • de l’espace des temps, • de la relation de dépendance entre les X t . Une suite de réalisations de la v.a. X ( t) sur un ensemble de valeurs t 0 , t 1 , t 2 , . . . de l’espace des temps est appelée une trajectoire. Quelques exemples de processus Processus stationnaire à accroissements indépendants Un processus stochastique { X ( t), t ∈ T } est dit à accroissements indépendants si les v.a. : X ( t 0 ), X ( t 1 ) − X ( t 0 ), X ( t 2 ) − X ( t 1 ), · · · , X ( t n ) − X ( t n−1 ) sont indépendantes pour toutes suites de temps t 0 , t 1 , t 2 , · · · , t n croissante. Si la distribution des accroissements X ( t + h) − X ( t) ne dépend que de la longueur h de ceux-ci et non du temps t, on dit que le processus est stationnaire. Martingales Définition 1 – On dit que { X ( t), t ∈ T } est une martingale si, E (| X ( t)|) < +∞ pour tout t et si pour tout t 1 < t 2 < · · · < t n+1 , E [ X ( t n +1 ) | X ( t n ) = a n , X ( t n −1 ) = a n −1 , · · · , X ( t 1 ) = a 1 ] = a n , ∀ a 1 , · · · , a n . 2 M ODÉLISATION A LÉATOIRE Processus de Markov Soit { X ( t), t ∈ T } un processus aléatoire. Si pour tout t > s, la valeur de X ( t) sachant X ( s), ne dépend pas des X u , u < t, le processus est un processus de Markov. Ainsi le comportement futur du processus alors que l’on connaît son état présent, ne dépend pas des états qu’il a visités précedemment. On dira donc qu’un processus est de Markov ou Markovien, si pour tout t 1 < t 2 < . . . < t n < t : P r (a < X ( t) ≤ b | X ( t 1 ) = x1 , . . . , X ( t n ) = xn ) = P r (a < X ( t) ≤ b | X ( t n ) = xn ). L’étude des processus de Markov passe par l’étude des probabilités suivantes : P ( X ( t) ∈ A | X ( s) = x) , t > s , A ⊂ R, i.e. l’étude des probabilités que le processus étant en x à la date s soit dans A à la date t. Il s’agit des probabilités de transition. Elles décrivent les mouvements de la chaîne. Lorsque le processus de Markov est à espace d’états discrets, on l’appelle chaîne de Markov. Si l’espace des états est continu, le processus de Markov est appelé diffusion. Nous allons étudier essentiellement dans la suite, des processus à temps discrets et à valeurs sur un espace d’états discret : les chaînes de Markov. Puis, nous considèrerons ces mêmes processus dans le cas temps continu. 2 Chaînes de Markov 2.1 Définition Définition 2 – On appelle chaîne de Markov à temps discrets { X n , n ∈ N}, tout processus aléatoire à valeurs dans un espace d’états dénombrable et tel que : P ( X n = xn | X n−1 = xn−1 , . . . , X 0 = x0 ) = P ( X n = xn | X n−1 = xn−1 ), pour tout xn , xn−1 , . . . , x0 de l’espace des états. On a noté X n pour X ( n). L’événement { X n = i } signifie la chaîne est dans l’état i à l’instant n. Par définition, l’état dans lequel se trouve la chaîne à un instant donné, ne dépend que de sa position au tout dernier instant et non de toute la trajectoire (l’histoire) du processus (suite entière, complète, des états occupés précédant le dernier état occupé). La chaîne sera caractérisée par les probabilités de passage d’un état vers un autre qu’on appelle probabilités de transition. On s’intéresse donc à la probabilité que la chaîne soit à l’état j à l’instant m sachant qu’elle était 3 ENSIBS à l’état i à l’instant n. n,m On note : p i, j cette probabilité. n,m p i, j = P ( X m = j | X n = i ) , m > n. Pour passer de i en j , la chaîne effectue un certain nombre de mouvements, des pas ou encore des transitions. n,n+1 La probabilité de transition en un pas de i vers j s’écrit : p i j et si cette probabilité ne dépend pas de n, on dit que la chaîne est stationnaire ou encore homogène. 2.2 Matrice de transition Les probabilités de transition d’un état vers un autre en un mouvement – notée : p i, j – peuvent être organisées en une matrice carrée éventuellement de dimension infinie que l’on appelle matrice de transition ou matrice de Markov et que l’on note en général P . p 0,0 p 0,1 p 0,2 · · · p 1,0 p 1,1 p 1,2 · · · p 2,0 p 2,1 p 2,2 · · · . .. .. P = . . . . p i,0 p i,1 p i,2 · · · .. .. .. . . . Si le nombre d’états possibles de la chaîne est fini, la dimension de la matrice est ce nombre d’états. Les quantités p i, j , probabilité de transition de l’état i vers l’état j en une transition satisfont les conditions : p i, j +∞ X ≥ 0, pour tout i, j ∈ {0, 1, 2, . . .}, p i, j = 1 , i = 0, 1, 2, . . ., la somme des termes en ligne vaut 1. j =0 Une chaîne de Markov sera donc entièrement définie par la donnée de la matrice de transition et par sa position (son état) à l’instant initial. Si l’état initial et la matrice de transition P sont connus, on peut décrire les trajectoires possibles de la chaîne. On note maintenant p(i,nj) la probabilité que la chaîne se déplace de l’état i à l’état j en n transitions. On adopte la convention suivante : p(0) = i, j Si la chaîne est homogène : 0 pour i 6= j 1 pour i = j p(i,nj) = P ( X m+n = j | X m = i ) (ne dépend pas de m). 4 M ODÉLISATION A LÉATOIRE On peut énoncer le théorème suivant : Théorème 1 – On considère une chaîne de Markov sur un espace d’états inclus dans N, de matrice de transition P de termes p i, j . Alors : p(i,nj) = +∞ X k =0 r ) ( s) p(i,k p k, j , (1) quelque soit les entiers r et s tels que n = r + s. L’équation (1) est appelée équation de Chapman–Kolmogorov. Preuve : Par définition de la probabilité conditionnelle : p(i,nj) = P ( X m+n = j | X m = i ) = P ( X m+n = j, X m = i )/P ( X m = i ). Supposons n = r + s et appliquons le théorème des probabilités totales en considérant l’état de la chaîne à l’instant m + r et en introduisant un état intermédiaire k. Il vient : P ( X m+n = j, X m = i ) = X P ( X m+r+s = j, X m+r = k, X m = i ) X P ( X m+r+s = j | X m+r = k, X m = i )P ( X m+r = k, X m = i ) X P ( X m+ r + s = j | X m+ r = k ) P ( X m+ r = k | X m = i ) P ( X m = i ) k∈N = k∈N = k∈N = X k∈N r) P ( X m = i) p(k,s)j p(i,k Ce qui démontre le résultat. Notons P (n) la matrice dont les éléments sont les probabilités de transition de i vers j en n transitions c’est-à-dire les termes p(i,nj) . D’après le théorème : p(i,nj) = +∞ X k =0 n−1) p(i,k p k, j . Cette quantité s’interprète comme le produit de la ligne i de la matrice matrice P (n−1) avec la colonne j de la matrice P . C’est donc le résultat d’un produit matriciel classique et on a : P (n) = P (n−1) P . Il vient alors par récurrence : P (n) = P (n−2) P 2 = P (n−3) P 3 = . . . = P (0) P n = P n puisque P (0) = I , la matrice identité. Les probabilités de transition d’un état vers un autre en n mouvements sont donc simplement obtenues en élevant la matrice P à la puissance n. D’une manière générale, le théorème nous permet donc d’écrire : P n = P s · P r . Cours 2 Supposons que l’on dispose de la distribution initiale des états c’est-à-dire des probabilités 5 ENSIBS P ( X 0 = i ) pour i parcourant l’espace des états possibles de la chaîne. On peut calculer la distribution d’être dans ces différents états après n transitions, c’est-à-dire les probabilités P ( X n = i ). Notons µ(in) , i ∈ N ces probabilités. On a : µ(in) = P ( X n = i ) X = P ( X n = i | X n −1 = j ) P ( X n −1 = j ) j ∈N +∞ X = j =0 µ(jn−1) p j,i On note µ(n) , le vecteur-ligne de composantes µ(in) , i ∈ N. On observe alors que µ(in) est le produit du vecteur-ligne µ(n−1) avec la i ème colonne de la matrice P . On a : µ(n) = µ(n−1) P . Par récurrence, il vient donc : µ(n) = µ(0) P n . On peut donc énoncer le résultat suivant : Proposition 1 – Soit { X n , n ∈ N} une chaîne de Markov à valeurs dans un espace d’états inclus dans N, de matrice de transition P et de distribution initiale µ(0) . Alors ∀ n, la distribution des états à la date n est donnée par : µ(n) = µ(0) P n . Remarque – Considérons une chaîne de Markov à deux états {0, 1} de matrice de transition : · ¸ 2/3 1/3 P= . 1/2 1/2 On peut calculer les puissances successives de P . On s’aperçoit alors qu’à partir d’un certain rang ( n = 10), P n est constante et égale à la matrice · ¸ 3/5 2/5 . 3/5 2/5 Supposons une distribution initiale des états égale à µ(0) = [µ(0) µ(0) 1 2 ], la distribution des états après un grand nombre de transitions sera donc égale à : · ¸ h 3/5 2/5 (0) (0) (0) ( n) µ = [ µ1 µ2 ] = 3/5µ(0) 1 + 3/5µ2 3/5 2/5 i (0) = [ 3/5 2/5 ] 2/5µ(0) + 2/5 µ 1 2 (0) puisque µ(0) 1 + µ2 = 1. Ainsi donc, après un grand nombre de transitions, la probabilité que la chaîne soit dans un état donné, est constante et ne dépend pas de l’état initial. On dira que la chaîne entre dans un régime stationnaire ou régime d’équlibre. La distribution des états dans ce régime est appelée loi stationnaire ou loi d’équilibre ou encore loi limite. On note cette loi π. On a : π = lim µ(n) . n→+∞ 6 M ODÉLISATION A LÉATOIRE Lorsque la chaîne entre en régime stationnaire, les probabilités des états sont donc constantes d’une transition à l’autre. Autrement dit, π est solution de l’équation π = πP . Nous reviendrons ultérieurement sur ce résultat important. On remarque également que, pour n assez grand, P n est une matrice dont les lignes sont exactement π. 2.3 Classes d’équivalence de l’espace des états Définition 3 – Un état j est dit accessible de l’état i s’il existe une probabilité strictement positive que cet état soit atteint en un nombre fini de transitions ; autrement dit, s’il existe une entier n > 0 tel que p(inj ) > 0. Définition 4 – Si l’état i est accessible de l’état j et si l’état j est accessible de l’état i , on dit que ces états communiquent et l’on note i ←→ j . Cette relation est une relation d’équivalence. En effet, elle est ( i ) reflexive : i ←→ i ; puisque par convention : p(0) = 1 > 0. ii ( ii ) symétrique : ( i ←→ j ) ⇐⇒ ( j ←→ i ) ( iii ) transitive : si ( i ←→ j ) et ( j ←→ k) alors ( i ←→ k). Preuve : Les points ( i ) et ( ii ) sont évidents. Ecrivons la preuve pour ( iii ). Dire que i et j com- muniquent, c’est dire qu’il existe un entier n tel que p(i,nj) > 0 et si j et k communiquent, il exite m m) r) tel que p(j,k > 0. Il faut montrer qu’il existe un entier r tel que p(i,k > 0. Il suffit de prendre r = m + n et d’après le théorème de Chapman-Kolmogorov : r) p(i,k = +∞ X ℓ=0 m) p(i,mℓ) p(ℓn,k) > p(i,nj) p(j,k >0 Cette relation permet de construire des classes d’équivalence sur l’espace des états et donc de partager ce dernier en classes disjointes d’états communiquants. Dans une même classe d’équivalence, tous les états communiquent. On peut représenter les mouvements d’une chaîne par un graphe. Une flèche entre 2 états signifiant que l’état fléché est accessible de l’état où la flèche trouve son origine. Exemple – Considérons la chaîne de Markov à 5 états dont la matrice de transition est la suivante : 1/2 1/2 0 0 0 1/4 3/4 0 0 0 0 0 0 1 0 0 0 1/2 0 1/2 0 0 0 1 0 7 ENSIBS Le graphe de la chaîne fait apparaître 2 classes. 1/2 1/2 1/2 0 1 1/4 1/4 1/2 4 1/2 1/2 3 2 1 n o Le graphe fait apparaître 2 classes bien distinctes. Un classe C1 composée des états 0, 1 et une n o classe C2 comprenant les états 2, 3, 4 . Définition 5 – On dira qu’un ensemble d’état C est fermé ou absorbant et forme ainsi une classe absorbante si : ∀ i ∈ C et ∀ j 6∈ C , p i j = 0. Lorsque la chaîne entre dans un état absorbant, elle ne peut en sortir (elle y reste). Si C ne contient qu’un seul élément (un seul état) i , on parle d’état absorbant et on a pour cet état, ∀ n > 0 , p(iin) = 1. Exemple : Soit la chaîne de Markov de matrice de transition : 8 1/2 1/2 0 0 0 1/4 1/2 1/4 0 0 0 0 0 1 0 0 0 1/2 0 1/2 0 0 0 1 0 M ODÉLISATION A LÉATOIRE Le graphe associé fait apparaître 2 classes d’équivalence et l’on voit que la classe composée n o des états 2, 3, 4 est une classe absorbante. 1/2 1/2 1/2 0 1 1/4 1/4 1/2 4 1/2 3 1/2 2 1 Définition 6 – On dit qu’une chaîne de Markov est irréductible si elle ne contient aucun sousensemble fermé autre que celui de tous ses états. Autrement dit, s’il n’y a qu’une seule classe d’équivalence contenant tous ses états. Ainsi, dans une chaîne irréductible, tous les états communiquent. On voit qu’une condition suffisante pour avoir une chaîne irreductible est que p i j < 1, ∀ i, j mais cette condition n’est pas nécessaire. Par exemple, la chaîne de matrice de transition 0 1 0 1/2 0 1/2 0 1 0 est irrécductible ; tous les états communiquent. 2.4 2.4.1 Nature des états d’une chaîne Periodicité Définition 7 – La période d ( i ), d’un état i est le plus grand commun diviseur de l’ensemble des temps tel que p(iik) > 0. d ( i ) = p gcd { n | p(iin) > 0}. Si d ( i ) > 1, on dit que l’état i est périodique, de période d ( i ). Lorsque d ( i ) = 1, on dit que l’état i est apériodique. Lorsque tous les états d’une chaîne sont apériodiques, on dit que la chaîne est apériodique. On peut montrer les résultats suivants : Proposition 2 – ( i ←→ j ) ⇐⇒ ( d ( i ) = d ( j )). On en déduit donc que dans une même classe d’états, la période est constante. On dit que la périodicité est une propriété de classe. 9 ENSIBS Exemple : On considère la chaîne de matrice de transition : 0 1 0 0 0 0 1 0 P = 0 0 0 1 1/2 0 1/2 0 On a le graphe suivant : 1 0 1/2 1 1 1/2 3 2 1 . (2) (3) On voit que p(1) 00 = p 00 = p 00 = 0. Il possible d’atteindre 0 en partant de 0 après 4 transitions et on (5) a : p(4) 00 = 1/2. Ce n’est pas possible en 5 transitions : p 00 = 0. En fait, il est impossible d’aller de 0 à 0 en un nombre impaire de transitions. Autrement dit, partant de 0, le nombre de transitions nécessaires pour revenir en 0 est a fortiori pair. En effet, lorsu’on est en 0, on va de manière certaine en 3. Une fois en 3, on peut aller en 0, et on aura fait un “grand tour” ou bien on peut aller en 2 d’où on retournera tout de suite en 3 en faisant un ”petit tour”. Ainsi, toutes les trajectoires de 0 en 0 sont nécessairement des combinaisons de “petits tours” (qui se font en 2 transitions) et de “grands tours” (qui se font en 4 transitions). On en déduit alors que les mouvements de 0 vers k+1) k) 0 ne peuvent être que pair. On a donc : p(2 = 0 pour tout k et p(2 00 00 > 0 pour tout k > 2 . La période de l’état 0 est donc 2. Tous les états communiquent (la chaîne est irréductible) et la périodicité étant une propriété de classe, tous les états sont de période 2. (nb : on peut calculer k) l’expression de p(2 00 ). Dire qu’un état est de période d ( i ), c’est dire que si l’on doit repasser par cet état après un certain temps (un nombre de transitions), cela se fera nécessairement en un nombre de transitions multiple de la période. On a la proposition suivante : Proposition 3 – Si i est un état de période d ( i ) alors il existe un entier K dépendant de i tel que pour tout k > K , p(iikd ( i)) > 0. Si l’état i est de période d ( i ), si i communiquent avec j et si partant de j , on peut atteindre i en m transitions, alors on peut revenir en j en un nombre de transitions multiples de d ( i ) après un certain temps. 10 M ODÉLISATION A LÉATOIRE Proposition 4 – Si p(jim) > 0, alors p(jim+kd ( i)) > 0, pour tout k assez grand. Cours 3 2.4.2 Etats transients - Etats récurrents Définition 8 – On dit qu’un état i est récurrent si la probabilité que la chaîne, partant de cet état repasse de nouveau par cet état est égale à 1. Définition 9 – On dit qu’un état i est transient si partant de cet état, il est possible que le système n’y repasse jamais. Exemple : Considérons la chaîne de matrice de transition : P = 0 1/3 1/3 1/3 0 0 1 0 0 2/5 3/5 0 1/4 0 1/4 1/2 On a le graphe suivant : 1/3 0 ' 1 W W 1/3 1/3 1 1/4 2/5 3 7 2 1/4 Cette chaîne possède deux classes d’états. Une classe C 1 formée des états 0 et 3 et une classe C 2 formée des états 1 et 2. Partant des états 0 ou 3, on peut y retourner un certain nombre de fois, mais après un certain nombre de transitions dans la classe C 1 , on entrera a fortiori, “à un moment ou à un autre”, dans la classe C 2 qui est absorbante. Les états 0 et 3, et la classe associée, sont donc transients. Une fois dans la classe C 2 , on y reste. 1 et 2 sont des états récurrents. Partant de l’un de ces états on est certain d’y revenir “un jour ou l’autre”, la classe étant fermée. On dira que la classe C 2 est récurrente. 11 ENSIBS Premier passage – Soit T i, j , le nombre minimum de transitions pour que partant de l’état i , la chaîne rencontre l’état j pour la première fois. Il s’agit de la longueur de la trajectoire la plus courte de i vers j . T i, j = min{ n | X 0 = i, X k 6= j, ∀ k = 1, 2, · · · , n − 1, X n = j }. n On appelle cette v.a. temps de premier passage. On note : P (T i, j = n) = f i,(nj) , la probabilité que la chaîne, partant de i , rencontre pour la première fois l’état j , après n transitions ; i.e. la probabilité que la longueur de la trajcetoire la plus courte de i vers j soit n. Considérons P (T i, j 6 n) = P (T i, j < n + 1), la probabilité que la chaîne, partant de l’état i , passe pour la première fois en l’état j en moins de n + 1 transitions. n X f i,(kj) que l’on notera : F i, j ( n). Cette probabilité est égale à k =1 Avec ces notations, la probabilité que la chaîne, partant de l’état i , atteigne l’état j à un moment +∞ X ( k) f i, j et on notera cette probabilité F i, j (+∞). donné est égale à k =1 S’il existe une trajectoire qui mène de l’état i à l’état j , alors F i, j (+∞) > 0 et réciproquement. Si j n’est pas accessible de i alors F i, j (+∞) = 0 ; le système n’atteindra jamais j en partant de i S’il existe deux états i et j tels que F i, j (+∞) = F ji (+∞) = 0, alors la chaîne n’est pas irréductible. La probabilité que la chaîne, partant de l’état i , repasse par cet état i est égale à F i,i (+∞). On peut donc reformuler les définitions (8) et (9) en écrivant : ³ ´ • ( i récurrent ) ⇐⇒ F ii (+∞) = 1 ³ ´ • ( i transient) ⇐⇒ F ii (+∞) < 1 . On donne la proposition suivante : Proposition 5 – Pour tout n > 1, p(i,nj) = n X k =1 f i,(kj) p(j,nj−k) (2) Preuve : Pour décrire les trajectoires de i vers j de longueur n, on peut considérer la réunion des trajectoires de longueur k ( k = 1, . . . , n) qui partent de i et atteigne j pour la première fois, avec les trajectoires de longueur n − k allant de j vers j . On peut alors écrire : p(i,nj) = f i,(nj) + f i,(nj−1) p j, j + f i,(nj−2) p(2) + . . . + f i,(1)j p(j,nj−1) . j, j (1) Remarquons que f i,i = p i,i et on a donc la relation : n) p(i,i = 12 n X k =1 ( k ) ( n− k ) f i,i p i,i , n > 1. M ODÉLISATION A LÉATOIRE Proposition 6 – (i) Un état i est transient ssi la série de terme p(iin) converge. (ii) Un état i est récurrent ssi la série de terme p(iin) est divergente. Preuve de (i) : Considérons T i,i , le nombre de fois où partant de i , la chaîne repasse par l’état i. {T i,i = 0} est l’événement la chaîne ne repasse jamais en i . Sa probabilité est 1 − F i,i (+∞). {T i,i = 1} correspond à l’événement la chaîne passe une et une seule fois en i i.e. la chaîne passe une fois en i à un moment ou à un autre (probabilité : F i,i (+∞)), puis ne revisite plus jamais cet état (probabilité : 1 − F i,i (+∞)). On a donc : P (T i,i = 1) = F i,i (+∞)(1 − F i,i (+∞)). D’une manière générale, P (T i,i = k) = F i,i (+∞)k (1 − F i,i (+∞)) et T i,i suit donc une loi géométrique de paramètre 1 − F i,i(+∞) . L’espérance mathématique de T i,i est donc E (T i,i ) = F i,i (+∞)/(1 − F i,i (+∞)). Cette quantité est définie si i est transient i.e. F i,i (+∞) < 1. Si i est récurrent, E (T i,i ) = +∞. Preuve de (ii) : On considère maintenant la variable aléatoire N i définie par : N i = C’est le nombre de trajectoires telles que partant de i , on repasse en i ; on a : +∞ X 1( X n = i | X 0 = i ). n =1 T i,i 6 N i et E (T i,i ) 6 E ( N i ). Calculons l’espérance de N i . E(Ni ) = = = E ³ +∞ X n =1 +∞ X n =1 +∞ X n =1 1( X n = i | X 0 = i ´ E [1( X n = i | X 0 = i ] P ( X n = i | X 0 = i) = +∞ X n =1 n) p(i,i n) Donc, si la série de terme p(i,i converge, E (T i,i ) < +∞, donc F i,i (+∞) < 1. Ce qui signifie que i est transient. Pour la réciproque, on montre la contraposée. Si i n’est pas transient i.e. s’il est n) récurrent, alors la série de terme p(i,i est divergente. En effet, si i est récurrent, F ii,i (+∞) = 1, donc E (T i,i ) = +∞ et E ( N i ) > +∞. La proposition suivante montre que, comme la périodicité, la récurrence est une propriété de classe. Proposition 7 – Si i est récurrent et communique avec j alors j est récurrent. 13 ENSIBS Preuve : Si i et j communiquent, il existe 2 entiers n et m tels que p(i,nj) > 0 et p(jim) > 0. Soit ν > 0, on peut écrire : p(jnj+m+ν) = +∞ X ν) ( m) ν) ( m) p(jnℓ) p(ℓℓ p ℓ j > p(jin) p(i,i p i, j . +∞ X ν) ( m) p(jin) p(i,i p i, j = p(jin) p(i,mj ) ℓ=0 En faisant la somme sur ν, il vient : +∞ X ν=0 Si i est récurrent, la série p(jnj+m+ν) > +∞ X ν=0 ν=0 +∞ X ν=0 ν) p(i,i . ν) p(i,i diverge et d’après l’inégalité précédente, la série diverge a fortiori. Donc l’état j est récurrent. +∞ X ν=0 p(jnj+m+ν) On a également le résultat suivant : Proposition 8 – 1. Si i et j communiquent et si l’un des deux états est récurrent alors la série de terme général p(i,nj) diverge. 2. Si j est transient alors, pour tout i , la série de terme général p(i,nj) est convergente et lim p(i,nj) = n→+∞ 0 Preuve de 1. : D’après (??), p(i,nj) = n X k =1 f i,(kj) p(j,nj−k) ≥ p(j,nj) . Si les états communiquent et si l’un des deux est récurrent, l’autre est a fortiori récurrent. Donc comme j est récurrent, la série de terme p(jnj) diverge et la série de terme p(i,nj) , minorée par une série divergente, sera divergente. +∞ X n =1 p(i,nj) > Preuve de 2. : Toujours d’après (??), p(i,kj) = En intervertissant les sommes et il vient : lim n→+∞ n X k =1 n =1 k X ℓ=1 n X k =1 On passe à la limite : +∞ X f i,(ℓj) p(j,kj−ℓ) et p(i,kj) p(i,kj) 6 lim n→+∞ p(j,nj) = +∞. = n X n X ℓ=1 ℓ=1 f i,(ℓj) n X p(i,kj) = k =1 nX −ℓ p(j,kj−ℓ) k =1 f i,(ℓj) lim n→+∞ n X k =1 k n X X f i,(ℓj) p(j,kj−ℓ) k =1 ℓ=1 n n X X 6 f i,(ℓj) p(j,kj−ℓ) . ℓ=1 k =1 p(j,kj) . L’état j étant transient, le terme de droite est fini, ce qui montre que la série de terme général p(i,nj) converge. Proposition 9 – Une chaîne de Markov irréductible sur un espace d’état fini est récurrente. 14 M ODÉLISATION A LÉATOIRE Preuve : La chaîne est irréductible donc tous les états communiquent. Il sont donc tous transients ou tous récurrents. Considérons l’état j et supposons le transient. On a, d’après la proposi+∞ X ( n) tion précédente : p i, j < +∞. Si on somme sur j en supposant que l’espace des états est de taille N , il vient : n =0 N +∞ X X j =1 n =0 p(i,nj) = +∞ N X X n =0 j =1 p(i,nj) = +∞, ce qui conduit à une contradiction (le terme de gauche étant nécessairement fini) donc j est a fortiori récurrent. Cours 4 2.5 Notion de mesure invariante Nous avons déjà observé que dans certain cas, une chaîne de Markov pouvait se stabiliser i.e. qu’après un assez grand nombre de transitions, la probabilité d’être dans un état donné devenait constante. On donne la définition suivante : Définition 10 – Soit une chaîne de Markov homogène sur un espace d’états fini, de matrice de transition P . On appelle mesure invariante (ou probabilité invariante) pour cette chaîne, toute mesure π telle que : ∀ i, X π i P i, j = π j i © ª Proposition 10 – Si π est une mesure invariante pour la chaîne de Markov homogène X n , n > 0 et si la loi de X 0 vaut π, alors la loi de X n est égale à π, quelque soit l’instant n. X Preuve : P ( X 1 = i ) = P ( X 1 = i | X 0 = j )P ( X 0 = j ). Si P ( X 0 = j ) = π j , le terme de droite est égal j X X à π j P j,i . Mais si la mesure est invariante, on a : π j P j,i = π i donc P ( X 1 = i ) = π i . j Par récurrence, on obtient : P ( X n = i ) = π i , ∀ n. j 2.6 Notion de mesure réversible Définition 11 – Soit une chaîne de Markov homogène sur un espace d’états fini, de matrice de transition P . On appelle mesure réversible (ou probabilité réversible) pour cette chaîne, toute mesure π telle que : ∀ i, j, π i P i, j = π j P j,i . 15 ENSIBS Etant en i , la probabilité d’aller en j est la même que la probabilité d’aller de i vers j alors que l’on était en i . Proposition 11 – Toute mesure réversible est invariante. Preuve : Si π est réversible, π i P i, j = π j P j,i donc X π i P i, j = i X π j P j,i = π j X P j,i = π j i i 2.7 Comportement asymptotique d’une chaîne de Markov Théorème 2 – Soit une chaîne de Markov récurrente, apériodique et irréductible. Alors : (i) lim p(iin) = P ∞ (ii) 1 ( n) n=0 n f ii n→∞ . lim p(jin) = lim p(iin) . n→∞ n→∞ Ainsi donc, si la chaîne est récurrente, apériodique et irréductible, après un nombre suffisamment de transitions, les probabilités d’atteindre l’état i partant de n’importe quel état j , sont identiques. Après un certain nombre de transitions, les probabilités que la chaîne soit dans les différents états sont constantes. La preuve du point ( i ) dépasse le cadre de ce cours. Nous allons prouver le point ( ii ). On veut montrer que : lim p(jin) = lim p(iin) . n→+∞ On sait d’après la proposition (5) que : p(jin) = On va donc s’intéresser à : lim n→+∞ n→+∞ f (k) p(iin−k) , k=1 ji Pn n X k =1 pour tout n > 1. ( k ) ( n− k ) f ji p ii . Pour calculer cette limite, on va utiliser le résultat d’analyse suivant : Théorème 3 – Soit yn = Alors lim yn = c. n X k =0 a n−k xk avec a m > 0, +∞ X m =0 a m = 1 et lim xn = c. n→+∞ n→+∞ Preuve : Il s’agit de prouver que : lim yn = c i.e. que : n→+∞ ∀ε > 0, ∃ N (ε) tel que ∀ n > N (ε), | yn − c| < ε. On remarque que : yn − c = n X k =0 16 a n− k x k − c +∞ X m =0 am = n X k =0 a n− k ( x k − c ) − c +∞ X m = n +1 am. M ODÉLISATION A LÉATOIRE On a : lim xk = c donc ∀ξ > 0, ∃ K (ξ) tel que ∀ n > K (ξ), | xk − c| < ξ. k→+∞ On décompose alors : yn − c en KX (ξ) k =0 a n− k ( x k − c ) + n X k=K (ξ) a n− k ( x k − c ) − c +∞ X m = n +1 am. On pose M = max | xk − c| et on prend ξ = ε/3. k >0 On peut alors écrire : | yn − c| 6 M KX (ξ) k =0 a n− k + n X ε 3 k=K (ξ)+1 n X La série de terme a m converge vers 1 donc k=K (ξ)+1 a n− k + | c | +∞ X m = n +1 k =0 a n−k = a n + a n−1 + · · · + a n−K (ξ) = m = n +1 am. a n− k < 1 . De plus, on peut toujours choisir un N (ε) tel que | c| KX (ξ) +∞ X n X k= n−K (ξ) a m < ε/3 et tel que : a k < ε/3 M , pour tout n > N (ε). On a alors | yn − c| < ε + 3 ε 3 + ε 3 = ε , pour tout n > N (ε), Ce qui prouve le résultat. En appliquant le résultat avec yn = p(jin) , a n = f i(nj ) et xn = p(iin) , on a : lim p(jin) = lim p(iin) . n→+∞ n→+∞ 2.8 Calcul de la loi stationnaire pour une chaîne à espace d’états fini Théorème 4 – Soit une chaîne de Markov homogène irréductible et apériodique sur un espace d’états fini {0, 1, · · · , N }, de matrice de transition P . Alors il existe une loi stationnaire unique π′ = [π0 π1 . . . π N ] ; c’est la solution du système d’équations : N X π = π j p ji , i = 0, 1, · · · , N. i j =0 N X πj = 1 j =0 17 ENSIBS Exemple : Considérons la chaîne de Markov de matrice de transition P définie par : 1/2 0 1/2 P = 1/4 1/2 1/4 1/3 1/3 1/3 Le graphe de cette chaîne est : 1/2 0 1/3 1/4 1/2 1/3 2 1 Tous les états communiquent : la chaîne est 1/4irréductible. Prenons l’état 0. Cet état est de 1/2 1/2 manière évidente de période 1. La périodicité étant une propriété de classe, tous les états sont de période 1 et la chaîne est apériodique. D’après le théorème précédent, on peut donc dire qu’il X existe une loi stationnaire. C’est l’unique solution du système : π′ P = π′ et π = 1, c’est-à-dire du i système : π0 + π1 + π2 = 1 1 1 1 2 π0 + 4 π1 + 3 π2 = π0 1 1 2 π1 + 3 = π1 1 1 1 2 π0 + 4 π1 + 3 π2 = π2 Les solutions s’obtiennent sans difficultés et on a : π0 = 3/8 , π1 = 1/4 et π2 = 3/8 . Ainsi donc lim p(j,n0) = lim p(j,n2) = 3/8 et lim p(j,n1) = 1/4. n→+∞ n→+∞ n→+∞ 3/8 1/4 3/8 lim P n = 3/8 1/4 3/8 . n→+∞ 3/8 1/4 3/8 Remarque : on sait que que P (n) = P n . On peut donc approximer lim P (n) par P M pour un M très n→+∞ grand (voir TP). 2.9 Calcul de lois limites Les conditions du théorème (4) sont des conditions suffisantes mais non nécessaires. En effet, on peut toujours chercher à calculer les lim p i, j . n→+∞ 18 M ODÉLISATION A LÉATOIRE Exemple – Considérons la chaîne de Markov de matrice de transition 1/2 1/2 0 0 1/4 3/4 0 0 1/4 1/4 1/4 1/4 0 0 0 1 On a le graphe suivant : 1/2 1/2 0 1 3/4 1/4 1/4 1/4 2 1/4 1/4 3 1 La chaîne n’est clairement pas irréductible : tous les états ne communiquent pas. On ne pourra donc pas appliquer le théorème précédent. Il y a 3 classes d’équivalences : C1 = {0, 1}, C2 = {2} et C3 = {3}. Les classes C1 et C3 sont absorbantes ; une fois entré dans l’une ces classes, on ne peut en sortir. La classe C2 est elle transiente ; lorsqu’on est dans cette classe, on peut y rester un certain temps mais on en sortira nécessairement après un certain nombre de transitions. Tous les états sont de période 1 puisque pour tout i , p(iin) > 0, quelque soit n ∈ N. La chaîne n’est pas irréductible récurrente apériodique. Cependant, on peut calculer les lois limites : lim p(i,nj) , pour tout i, j dans {0, 1, 2, 3}. n→+∞ Supposons que l’on soit initialement en l’état 3. Lorsqu’on est en 3, on y reste donc lim p(3nj) = 1, j = 0, 1, 2, 3. n→+∞ Si on est en 2, on peut y rester un certain temps mais on entrera fatalement à un moment dans ¡ 1¢ n) n) = n . l’une des classes C1 ou C3 . On a donc lim p(22 = 0 , n.b. : p(22 n→+∞ 4 Si l’on écrit la probabilité d’atteindre 3 partant de 2 en n transitions, on a : p(2n,3) = n X k =0 ( n− k−1) p(2k,2) p(1) = 2,3 p 3,3 n ³ 1 ´k X k =0 4 × 1 ³ 1 − (1/4)n+1 ´ 1 × 1 n − k −1 = 4 4 1 − 1/4 1³ 1 ´ = 1/3. n→+∞ 4 1 − 1/4 On calcule ensuite la probabilité d’entrer en C1 partant de 2 en écrivant : et lim p(2n,3) = P ( X n ∈ C1 | X 0 = 2) = 3 X i =0 P ( X n ∈ C1 | X 1 = i )P ( X 1 = i | X 0 = 2) (3) On a : P ( X n ∈ C1 | X 1 = 0) = P ( X n ∈ C1 | X 1 = 1) = 1, pour tout n, puisque C1 est fermé. P ( X n ∈ C1 | X 1 = 3) = 0, pour tout n. 19 ENSIBS Pour n assez grand, on a : P ( X n ∈ C1 | X 1 = 2) = P ( X n ∈ C1 | X 0 = 2) que l’on note u. On a alors d’après (3) : u = 1 × 1/4 + 1 × 1/4 + u × 1/4 + 0 × 1/4 ⇐⇒ u = 2/3 Ainsi donc, partant de l’état 2, la chaîne est absorbée en C1 avec une probabilité 2/3 ou en C3 avec la probabilité 1/3 par déduction. Une fois en C1 , la chaîne devient irréductible, apériodique, de matrice de transition : P1 = · 1/2 1/2 1/4 3/4 ¸ D’après le théorème précédent, on peut dire qu’il existe une loi stationnaire (π0 , π1 ) pour cette sous-chaîne, satisfaisant : π0 + π1 = 1 et [π0 π1 ] · 1/2 1/2 1/4 3/4 ¸ = [π0 π1 ] La solution est π0 = 1/3 et π1 = 2/3. 2 1 On a donc : lim p(0n,0) = lim p(1n,0) = , lim p(0n,1) = lim p(1n,1) = n→+∞ n→+∞ n→+∞ 3 n→+∞ 3 et lim p(0n, j) = lim p(1n, j) = 0, j = 2, 3. n→+∞ n→+∞ On peut alors calculer lim p(2n,0) = 2/3 × 1/3 = 2/9, lim p(2n,1) = 2/3 × 2/3 = 4/9 n→+∞ n→+∞ et vérifier lim p(2n,3) = 1 − 2/9 − 4/9 = 1/3. n→+∞ Pour résumer : lim P n = n→+∞ 1/3 2/3 0 0 1/3 2/3 0 0 2/9 4/9 0 1/3 0 0 0 1 20