Cours 7Processus de Markov à temps continu / Processus de Poisson

P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
Cours 7
4 Processus de Markov à temps continu
4.1
Processus de Poisson homogène
©
ª
On considère un processus de comptage N ( t), t > 0 tel que les nombres d’événements dans
deux intervalles disjoints sont indépendants. On suppose également que le nombre d’événements
dans un intervalle ne dépend que de la longueur de celui-ci i.e. N ( t 0 + t) − N ( t 0 ) dépend seulement
de t et non de t 0 (stationnarité).
On se donne les postulats suivants :
(i) connaissant l’état dans lequel se trouve le processus à la date t, la probabilité que plus d’un
événement se produise dans un intervalle de temps de longueur infinitésimale h ( h → 0) est
en o( h) ce qui s’écrit :
P ( N ( t + h) − N ( t) > 1 | N ( t) = x) = o( h).
(ii) la probabilité qu’un événement se produise dans ce même intervalle est λ h + o( h), λ > 0 ce
qui s’écrit :
P ( N ( t + h) − N ( t) = 1 | N ( t) = x) = λ h + o( h).
o( h)
= 0.
h→0 h
Le postulat (i) caractérise l’idée d’événement rare.
On rappelle que o( h) est une fonction telle que lim
On déduit de ces deux postulats que la probabilité qu’il n’y ait aucun événement dans un intervalle
de longueur infinitésimale h est 1 − λ h + o( h).
P ( N ( t + h) − N ( t) = 0 | N ( t) = x) = 1 − λ h + o( h).
(9)
Soit p k ( t) la probabilité qu’exactement k événements se produisent dans [0, t) i.e. p k ( t) = P ( N ( t) =
k), k = 0, 1, 2, · · ·
Nous allons calculer p k ( t) pour tout k ∈ N.
On suppose N (0) = 0.
Pour k=0
Calculons p 0 ( t + h) ; le nombre d’événements dans 2 intervalles disjoints étant indépendants :
p 0 ( t + h) = p 0 ( t) p 0 ( h).
Or d’après (9), p 0 ( h) = 1 − λ h + o( h).
27
L3 MIS
On a donc :
p 0 ( t + h) = p 0 ( t)(1 − λ h + o( h))
⇐⇒
p 0 ( t + h) − p 0 ( t) = −λ hp 0 ( t) + p 0 ( t) o( h)
⇐⇒
lim
⇐⇒
p 0 ( t + h) − p 0 ( t)
o( h)
= −λ p 0 ( t) + p 0 ( t) lim
h→0 h
h
h→0
p′0 ( t) = −λ p 0 ( t)
Ainsi donc, la probabilité p 0 ( t) qu’il n’y ait pas d’événements dans [0, t], satisfait l’équation différentielle : p′0 ( t) = −λ p 0 ( t).
La solution de cette équation est de la forme p 0 ( t) = Ce−λ t .
La constante C est donnée par la condition initiale p 0 (0) = 1 et il vient : p 0 ( t) = e−λ t .
Pour k>0 :
On remarque que :
p k ( t + h ) = p k ( t ) p 0 ( h ) + p k − 1 ( t ) p 1 ( h ) + · · · + p 1 ( t ) p k −1 ( h ) + p 0 ( t ) p k ( h )
En remplaçant p 0 ( h) par 1 − λ h + o( h) et p 1 ( h) par λ h (postulat (ii)), il vient :
p k ( t + h) − p k ( t) = − p k ( t)λ h + p k ( t) o( h) + λ hp k−1 ( h) +
n
X
i =2
p k − i ( t) p i ( h)
On divise par h et on passe à la limite, on a alors :
lim
h→0
n
p k ( t + h) − p k ( t)
o( h)
1X
p k − i ( t) p i ( h)
= − p k ( t)λ + p k ( t) lim
+ λ p k−1 ( h) + lim
h→0 h
h→0 h i =2
h
Or
n
X
i =2
p k − i ( t) p i ( h) >
+∞
X
i =2
p i ( h) = 1 − p 0 ( h) − p 1 ( h) = o( h).
On en déduit donc que p k ( t) est solution de l’équation différentielle :
p′k ( t) = −λ p k ( t) + λ p k−1 ( t) , k = 1, 2, · · ·
avec les conditions initiales p k (0) = 0 , k = 1, 2, . . .
Ces équations sont appelées : équations de Chapman-Kolmogorov.
On cherche les solutions sous la forme : Q k ( t) = p k ( t) eλ t (équation différentielle du première ordre
avec second membre : on résout l’équation sans le second membre puis, on fait varier la constante).
En remplaçant, on obtient l’équation suivante : Q ′k ( t) = λQ k−1 ( t) avec Q 0 ( t) = 1 et les conditions
28
P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
initiales : Q k (0) = 0 , k = 1, 2, . . .
Pour k = 1, on a :
Q 1′ ( t) = λ donc Q 1 ( t) = λ t + c te .
Or Q 1 (0) = 0 donc c te = 0.
On en déduit : p 1 ( t) = λ te−λ t .
Pour k = 2, on a :
Q 2′ ( t) = λ2 t et Q 2 ( t) =
λ2 t 2
2
+ c te
On a Q 2 (0) = 0 donc c te = 0 et on en déduit :
p 2 ( t) =
Pour k = 3, on a :
Q 3′ ( t) =
λ3
2
λ2 t 2
2
e −λ t .
t2 et Q 3 ( t) =
λ2 t 2 t 3
· + c te
2
3
Mais Q 3 (0) = 0 donc c = 0 et on en déduit :
te
p 3 ( t) =
λ3 t 3
3!
e −λ t .
Et finalement, on a par récurrence :
p k ( t) =
(λ t)k −λ t
e
, k = 0, 1, 2 , . . .
k!
On a donc que sous les postulats ( i ) et ( ii ), la loi du nombre d’événement dans un intervalle [0, t]
est une loi de Poisson de paramètre λ t.
Le paramètre λ est appelé intensité du processus.
✸
Les postulats nous ont conduit à établir que la loi du nombre d’événements dans un intervalle
donné de longueur t était une loi de Poisson de paramètre λ t. Nous avions désigné par intensité le
paramètre λ. C’est une constante. On dit que le processus est un processus de Poisson homogène
qu’on note parfois PPH (ou encore HPP).
On peut donner la définition suivante :
Définition 13 – Un processus de Poisson homogène d’intensité λ est un processus aléatoire { N ( t), t >
0} à valeurs dans N tel que :
29
L3 MIS
• pour tous points t 0 = 0 < t 1 < . . . < t n , les accroissements du processus N ( t 1 ) − N ( t 0 ), N ( t 2 ) −
N ( t 1 ), . . . , N ( t n ) − N ( t n−1 ), sont indépendants ;
• pour s > 0 et t > 0, la variable aléatoire N ( s + t) − N ( s) suit une loi de Poisson de paramètre
λ t.
P ( N ( s + t) − N ( s) = x) =
(λ t) x
e, x ∈ N.
x!
• N(0)=0.
De part cette définition, il vient immédiatement : E [ N ( t)] = λ t et V ar ( N ( t) = λ t.
On a la proposition suivante :
Proposition 18 Soit { N ( t), t > 0} un processus de Poisson d’intensité λ. Alors les interarrivées
sont indépendants et suivent une loi exponentielle de paramètre λ.
Preuve : On note X , la variable aléatoire interarrivée (temps qui s’écoule entre deux événements successifs).
P ( X > t) esrt la probabilité qu’il ne se passe rien dans un intervalle de longueur t. Le processus
étant homogène, cette probabilité est égale à P ( N ( t 0 + t) − N ( t 0 ) = 0) = P ( N ( t) = 0) = e−λ t ce qui
prouve que X suit une loi exponentielle de paramètre λ. Pour prouver l’indépendance considérons X 1 , la date du premier événement et X 2 , le temps qui s’écoule entre le premier et le second
événement. Par définition, la densité de la loi de probabilité de ( X 1 , X 2 ) est :
f X 1 ,X 2 ( t 1 , t 2 ) =
P ( t 1 < X 1 < t 1 + dt 1 , t 2 < X 2 < t 2 + dt 2 )
dt 2 →0
dt 1 dt 2
lim
dt 1 ,
Mais d’après les propriétés de N ( t),
P ( t 1 < X 1 < t 1 + dt 1 , t 2 < X 2 < t 2 + dt 2 )
=
P ( N ( t 1 ) − N ( t 0 ) = 0) P ( N ( t 1 + dt 1 ) − N ( t 1 ) = 1)
×
P ( N ( t 1 + t 2 ) − N ( t 1 + dt 1 ) = 0) P ( N ( t 1 + t 2 + dt 2 ) − N ( t 1 + t 2 ) = 1)
=
e−λ t1 λ dt 1 e−λdt1 e−λ( t1 + t2 − t1 −dt1 ) λ dt 2 e−λdt2
= λ e−λ t1 λ e−λ t2 e−λdt1 e−λdt2 dt 1 dt 2
En divisant par dt 1 dt 2 et en passant à la limite, il vient f X 1 ,X 2 ( t 1 , t 2 ) = λ e−λ t1 λ e−λ t2 ce qui
montre que X 1 et X 2 sont des v.a. indépendantes de loi exponentielle de paramètre λ.
On observe donc qu’un processus de Poisson homogène d’intensité λ est équivalent à un processus
de renouvellement dont les interarrivées sont exponentielles de paramètre λ.
30
P ROCESSUS A LÉATOIRES - C HAÎNES DE M ARKOV
Proposition 19 Soit { N ( t), t > 0} un processus de Poisson d’intensité λ > 0. Pour 0 < u < t, N ( u)
sachant N ( t) = n suit une loi binomiale de paramètre ( n, u/ t).
Preuve :
Soit 0 6 k 6 n,
P ( N ( u ) = k | N ( t) = n) =
=
=
=
=
=
P ( N ( u) = k, N ( t) = n)
P ( N ( t) = n
P ( N ( u) = k, N ( t) − N ( u) = n − k)
P ( N ( t) = n
P ( N ( u ) = k ) P ( N ( t) − N ( u ) = n − k )
P ( N ( t) = n)
´³
´
³
k −λ u
(λ u) e
/ k! [λ( t − u)]k e−λ( t−u) /( n − k)!
³
´
(λ t)n e−λ t / n!
³
´³
´
u k / k! ( t − u)k /( n − k)!
³
´
t k + n− k / n!
³
n!
u ´ n− k ³ u ´ k
1−
k!( n − k)!
t
t
Ce qui démontre le résultat.
31