Rappel de probabilités P peut être définie par la connaissance des pi = P({ai}) qui sont positifs et vérifient : Si X est un sous ensemble de nombres réels : Moyenne : , Variance : Ecart type : Exemple - Loi de Poisson de taux λ • E = {0,1, 2, ……. , n …….} avec • Dans ce cas on démontre que EX= λ 1 Variable aléatoire continue X E= ou [a,b], ou [a, [, ou ] - , b] Fonction densité de probabilité f:E avec On a Moyenne : Variance : Probabilité conditionnelle Etant donné A et B deux sous ensembles de E. On note par A (respectivement B) l’évènement On définit p(A/B) la probabilité de A sachant que B s’est réalisée par : 2 Exemple - Loi exponentielle T variable continue positive : Sa fonction densité : (λ est un paramètre à déterminé) Fonction de répartition : Moyenne : Variance : On a la probabilité conditionnelle : Processus de Markov est une famille de variables aléatoires prenant leurs états dans un même ensemble discret (fini ou non) E = {E1, E2, …En, ….} et vérifiant les propriétés suivantes : • Sans mémoire P(Xt+τ=Ej / Xu=Ek avec u<t et Xt= Ei} = P(Xt+τ=Ej / Xt= Ei} = Pij(t,τ) • Homogène La probabilité de transition Pij(t,τ) ne dépend pas de t (temps de la transition) et s’écrit : Pij(τ). 3 Hypothèse On suppose que pour Δt suffisamment petit on a : Pij(Δt) = λijΔt + o(Δt) pour o(Δt) représente une expression qui vérifie la propriété suivante : Ainsi, l’expression o(Δt) devient négligeable lorsque Δt tend vers 0. Le terme λij est appelé le taux de transition de l’état Ei vers l’état Ej. Graphe des probabilités de transition Au processus de Markov on associe le graphe G=(X,U) défini par : - X = {E1, E2, …, Ei,…} Ensemble des états du processus. - U = {EiEj / λij>0} (les arcs correspondent à des taux de transitions non nuls). Exemple : Xt représente l’état d’un guichet : E1 « occupé », E2 « non occupé ». On suppose que : P12(Δt)=λΔt +o(Δt) et P21(Δt)=µΔt+o(Δt). Le graphe associé : λΔt 1-µΔt E1 E2 1-µΔt µΔt 4 Probabilité des états Π(t) = (π1(t), π2(t), ……, πi(t) ….) représente la répartition des probabilités des états au temps t, πi(t) = Prob(Xt=Ei). Ainsi Π(0) représente la répartition des probabilités de la variable X0. Générateur infinitésimal du processus de Markov est défini par la matrice carrée A = [aij] i,j =1,.., n avec : On démontre que : Π’(t) = Π(t)A (1) La relation (1) correspond à un système d’équations différentielles du premier ordre avec la condition initiale Π(0). Forte ergodicité , régime permanent Le Processus de Markov sera dit fortement ergodique si : On démontre alors que : Et que cette limite est indépendante de la répartition initiale Π(0). Π sera dite la répartition des probabilités des états en régime permanent. Condition suffisante : Si le graphe des probabilités de transition est fini et fortement connexe, alors le processus de Markov correspondant est fortement ergodique. 5 Théorème des coupes - En régime permanent, on défini la fréquence de transition de l’état Ei vers l’état Ej par : piλij - Une Coupe dans un graphe G=(X,U) est définie pour un sous ensemble A de X par l’ensemble des arcs : Théorème (des coupes) En régime permanent, on a pour tout sous ensemble A de U Fréquences de transition vers l’extérieur de la coupe Fréquences de transition vers l’intérieur de la coupe Processus de naissance • {Xt} processus de Markov, {Xt} représente le nombre des individus d’une population (au temps t). • Des individus apparaissent dans cette population. • On suppose que : Pi,i+1(Δt) = λiΔt + o(Δt) Pi,i(Δt) =1-λiΔt + o(Δt) Pi,j(Δt) = o(Δt) sinon Graphe des probabilités de transition 0 1-λ0Δt λ0Δt 1 1-λ1Δt λ1Δt 2 …. λN-1Δt N-1 1-λN-1Δt λNΔt N 1-λNΔt λN+1Δt N+1 ……. 1-λN+1Δt 6 Processus de naissance de Poisson Un processus de naissance est dit de Poisson si : Pour tout N le taux de transition λN=λ (constant). On démontre alors les résultats suivants : Résultat 1 • Pour tout t et n on a : • E(Xt)=λt Résultat 2 Si T est la variable aléatoire qui représente le temps entre deux naissances consécutives, alors on a l’équivalence entre les deux propositions suivantes : – Le processus est de Poisson de paramètre λ. – La variable T suit une loi exponentielle (dont la fonction densité est définie par f(t)=λexp(-λt) ). Processus de naissance et de mort • {Xt} processus de Markov, {Xt} représente le nombre des individus d’une population (au temps t). • Des individus apparaissent et disparaissent dans cette population. • On suppose que : Pi,i+1(Δt) = λiΔt + o(Δt) Pi,i-1(Δt) = µiΔt + o(Δt) Pi,i(Δt) =1-(λi+µi)Δt + o(Δt) Pi,j(Δt) = o(Δt) sinon Processus ouvert : Si l’ensemble des états est infini (ensemble des entiers naturels). Processus fermé : Si l’ensemble des états est finie ({0,1,…,N}), dans ce cas λi=0 pour tout i >=N. 7 Graphes des probabilités de transitions Cas d’un processus ouvert : µnΔt 0 1 2 3 ……… µn+1Δt n-1 n n+1 … λnΔt λn-1Δt 1-(λn+µn)Δt 1-λ0Δt Cas d’un processus fermé : 0 1 2 3 µnΔt ……… n-1 n λn-1Δt 1-(λn-1+µn-1)Δt 1-λ0Δt 1-µnΔt Calcule des probabilités en régime permanent Si le processus de naissance et de mort est fortement ergodique, alors il est possible de calculer la probabilité pn en régime permanent en fonction de p0 (pn : probabilité d’avoir n individus). En effet, l’application du théorème des coupes : µnΔt ……… n-1 λn-1Δt n …… Coupe Par récurrence on tire : 8 Calcule des probabilités en régime permanent - suite On doit avoir : Si le processus est fermé, p0 est calculable. Si le processus est ouvert la série (Γn) doit être convergente. Condition de convergence : Dans les deux cas on a : Un cas particulier On suppose que le processus est ouvert et que pour tout n : λn = λ (constant) et µn = µ (constant) La condition de convergence devient : La série géométrique (ρn) est convergente et On a alors : po = 1-ρ et pn = ρn(1-ρ) pour tout n. 9