Rappel proba et Processus de Markov

Rappel de probabilités
P peut être définie par la connaissance des pi = P({ai}) qui sont
positifs et vérifient :
Si X est un sous ensemble de nombres réels :
Moyenne :
,
Variance :
Ecart type :
Exemple - Loi de Poisson de taux λ
•  E = {0,1, 2, ……. , n …….} avec
•  Dans ce cas on démontre que EX= λ
1
Variable aléatoire continue
X
E=
ou [a,b], ou [a, [, ou ] -
, b]
Fonction densité de probabilité
f:E
avec
On a
Moyenne :
Variance :
Probabilité conditionnelle
Etant donné A et B deux sous ensembles de E.
On note par A (respectivement B) l’évènement
On définit p(A/B) la probabilité de A sachant que B s’est
réalisée par :
2
Exemple - Loi exponentielle
T variable continue positive :
Sa fonction densité :
(λ est un paramètre à déterminé)
Fonction de répartition :
Moyenne :
Variance :
On a la probabilité conditionnelle :
Processus de Markov
est une famille de variables aléatoires prenant
leurs états dans un même ensemble discret (fini ou non)
E = {E1, E2, …En, ….} et vérifiant les propriétés suivantes :
•  Sans mémoire
P(Xt+τ=Ej / Xu=Ek avec u<t et Xt= Ei} = P(Xt+τ=Ej / Xt= Ei} =
Pij(t,τ)
•  Homogène
La probabilité de transition Pij(t,τ) ne dépend pas de t
(temps de la transition) et s’écrit : Pij(τ).
3
Hypothèse
On suppose que pour Δt suffisamment petit on a :
Pij(Δt) = λijΔt + o(Δt) pour
o(Δt) représente une expression qui vérifie la propriété
suivante :
Ainsi, l’expression o(Δt) devient négligeable lorsque Δt tend
vers 0.
Le terme λij est appelé le taux de transition de l’état Ei vers
l’état Ej.
Graphe des probabilités de transition
Au processus de Markov on associe le graphe G=(X,U) défini par :
- X = {E1, E2, …, Ei,…} Ensemble des états du processus.
-  U = {EiEj / λij>0} (les arcs correspondent à des taux de transitions
non nuls).
Exemple :
Xt représente l’état d’un guichet : E1 « occupé », E2 « non occupé ».
On suppose que : P12(Δt)=λΔt +o(Δt) et P21(Δt)=µΔt+o(Δt).
Le graphe associé :
λΔt
1-µΔt
E1
E2
1-µΔt
µΔt
4
Probabilité des états
Π(t) = (π1(t), π2(t), ……, πi(t) ….) représente la répartition des
probabilités des états au temps t, πi(t) = Prob(Xt=Ei).
Ainsi Π(0) représente la répartition des probabilités de la variable
X0.
Générateur infinitésimal du processus de Markov est défini par
la matrice carrée A = [aij] i,j =1,.., n avec :
On démontre que : Π’(t) = Π(t)A
(1)
La relation (1) correspond à un système d’équations différentielles du
premier ordre avec la condition initiale Π(0).
Forte ergodicité , régime permanent
Le Processus de Markov sera dit fortement ergodique si :
On démontre alors que :
Et que cette limite est indépendante de la répartition initiale Π(0).
Π sera dite la répartition des probabilités des états en régime
permanent.
Condition suffisante : Si le graphe des probabilités de transition
est fini et fortement connexe, alors le processus de Markov
correspondant est fortement ergodique.
5
Théorème des coupes
-  En régime permanent, on défini la fréquence de transition de
l’état Ei vers l’état Ej par : piλij
-  Une Coupe dans un graphe G=(X,U) est définie pour un sous
ensemble A de X par l’ensemble des arcs :
Théorème (des coupes)
En régime permanent, on a pour tout sous ensemble A de U
Fréquences de transition
vers l’extérieur de la
coupe
Fréquences de transition
vers l’intérieur de la
coupe
Processus de naissance
•  {Xt} processus de Markov, {Xt} représente le nombre des
individus d’une population (au temps t).
•  Des individus apparaissent dans cette population.
•  On suppose que :
Pi,i+1(Δt) = λiΔt + o(Δt)
Pi,i(Δt) =1-λiΔt + o(Δt)
Pi,j(Δt) = o(Δt) sinon
Graphe des probabilités de transition
0
1-λ0Δt
λ0Δt
1
1-λ1Δt
λ1Δt
2
….
λN-1Δt
N-1
1-λN-1Δt
λNΔt
N
1-λNΔt
λN+1Δt
N+1
…….
1-λN+1Δt
6
Processus de naissance de Poisson
Un processus de naissance est dit de Poisson si :
Pour tout N le taux de transition λN=λ (constant).
On démontre alors les résultats suivants :
Résultat 1
•  Pour tout t et n on a :
•  E(Xt)=λt
Résultat 2
Si T est la variable aléatoire qui représente le temps entre deux
naissances consécutives, alors on a l’équivalence entre les deux
propositions suivantes :
–  Le processus est de Poisson de paramètre λ.
–  La variable T suit une loi exponentielle (dont la fonction densité
est définie par f(t)=λexp(-λt) ).
Processus de naissance et de mort
•  {Xt} processus de Markov, {Xt} représente le nombre des
individus d’une population (au temps t).
•  Des individus apparaissent et disparaissent dans cette
population.
•  On suppose que : Pi,i+1(Δt) = λiΔt + o(Δt)
Pi,i-1(Δt) = µiΔt + o(Δt)
Pi,i(Δt) =1-(λi+µi)Δt + o(Δt)
Pi,j(Δt) = o(Δt) sinon
Processus ouvert : Si l’ensemble des états est infini (ensemble
des entiers naturels).
Processus fermé : Si l’ensemble des états est finie ({0,1,…,N}),
dans ce cas λi=0 pour tout i >=N.
7
Graphes des probabilités de transitions
Cas d’un processus ouvert :
µnΔt
0
1
2
3
………
µn+1Δt
n-1
n
n+1
…
λnΔt
λn-1Δt
1-(λn+µn)Δt
1-λ0Δt
Cas d’un processus fermé :
0
1
2
3
µnΔt
………
n-1
n
λn-1Δt
1-(λn-1+µn-1)Δt
1-λ0Δt
1-µnΔt
Calcule des probabilités en régime permanent
Si le processus de naissance et de mort est fortement ergodique,
alors il est possible de calculer la probabilité pn en régime
permanent en fonction de p0 (pn : probabilité d’avoir n individus). En
effet, l’application du théorème des coupes :
µnΔt
………
n-1
λn-1Δt
n
……
Coupe
Par récurrence on tire :
8
Calcule des probabilités en régime permanent - suite
On doit avoir :
Si le processus est fermé, p0 est calculable.
Si le processus est ouvert la série (Γn) doit être convergente.
Condition de convergence :
Dans les deux cas on a :
Un cas particulier
On suppose que le processus est ouvert et que pour tout n :
λn = λ (constant) et µn = µ (constant)
La condition de convergence devient :
La série géométrique (ρn) est convergente et
On a alors : po = 1-ρ et pn = ρn(1-ρ) pour tout n.
9