Cours 7Processus de Markov à temps continu / Processus de Poisson

PROCESSUS ALÉATOIRES - CHAÎNES DE MARKOV
Cours 7
4 Processus de Markov à temps continu
4.1 Processus de Poisson homogène
On considère un processus de comptage ©N(t),t>0ªtel que les nombres d’événements dans
deux intervalles disjoints sont indépendants. On suppose également que le nombre d’événements
dans un intervalle ne dépend que de la longueur de celui-ci i.e. N(t0+t)−N(t0) dépend seulement
de tet non de t0(stationnarité).
On se donne les postulats suivants :
(i) connaissant l’état dans lequel se trouve le processus à la date t, la probabilité que plus d’un
événement se produise dans un intervalle de temps de longueur infinitésimale h(h→0) est
en o(h) ce qui s’écrit :
P(N(t+h)−N(t)>1|N(t)=x)=o(h).
(ii) la probabilité qu’un événement se produise dans ce même intervalle est λh+o(h), λ>0 ce
qui s’écrit :
P(N(t+h)−N(t)=1|N(t)=x)=λh+o(h).
On rappelle que o(h) est une fonction telle que lim
h→0
o(h)
h=0.
Le postulat (i) caractérise l’idée d’événement rare.
On déduit de ces deux postulats que la probabilité qu’il n’y ait aucun événement dans un intervalle
de longueur infinitésimale hest 1−λh+o(h).
P(N(t+h)−N(t)=0|N(t)=x)=1−λh+o(h).(9)
Soit pk(t) la probabilité qu’exactement kévénements se produisent dans [0,t) i.e. pk(t)=P(N(t)=
k), k=0,1,2,· · ·
Nous allons calculer pk(t) pour tout k∈N.
On suppose N(0) =0.
Pour k=0
Calculons p0(t+h) ; le nombre d’événements dans 2 intervalles disjoints étant indépendants :
p0(t+h)=p0(t)p0(h).
Or d’après (9), p0(h)=1−λh+o(h).
27

L3 MIS
On a donc :
p0(t+h)=p0(t)(1−λh+o(h))
⇐⇒ p0(t+h)−p0(t)= −λhp0(t)+p0(t)o(h)
⇐⇒ lim
h→0
p0(t+h)−p0(t)
h= −λp0(t)+p0(t) lim
h→0
o(h)
h
⇐⇒ p′
0(t)= −λp0(t)
Ainsi donc, la probabilité p0(t) qu’il n’y ait pas d’événements dans [0,t], satisfait l’équation diffé-
rentielle : p′
0(t)= −λp0(t).
La solution de cette équation est de la forme p0(t)=Ce−λt.
La constante Cest donnée par la condition initiale p0(0) =1 et il vient : p0(t)=e−λt.
Pour k>0 :
On remarque que :
pk(t+h)=pk(t)p0(h)+pk−1(t)p1(h)+ · · · + p1(t)pk−1(h)+p0(t)pk(h)
En remplaçant p0(h) par 1−λh+o(h) et p1(h) par λh(postulat (ii)), il vient :
pk(t+h)−pk(t)= −pk(t)λh+pk(t)o(h)+λhpk−1(h)+
n
X
i=2
pk−i(t)pi(h)
On divise par het on passe à la limite, on a alors :
lim
h→0
pk(t+h)−pk(t)
h= −pk(t)λ+pk(t) lim
h→0
o(h)
h+λpk−1(h)+lim
h→0
1
h
n
X
i=2
pk−i(t)pi(h)
Or
n
X
i=2
pk−i(t)pi(h)>
+∞
X
i=2
pi(h)=1−p0(h)−p1(h)=o(h).
On en déduit donc que pk(t) est solution de l’équation différentielle :
p′
k(t)= −λpk(t)+λpk−1(t),k=1,2,· · ·
avec les conditions initiales pk(0) =0,k=1,2,...
Ces équations sont appelées : équations de Chapman-Kolmogorov.
On cherche les solutions sous la forme : Qk(t)=pk(t)eλt(équation différentielle du première ordre
avec second membre : on résout l’équation sans le second membre puis, on fait varier la constante).
En remplaçant, on obtient l’équation suivante : Q′
k(t)=λQk−1(t) avec Q0(t)=1 et les conditions
28

PROCESSUS ALÉATOIRES - CHAÎNES DE MARKOV
initiales : Qk(0) =0,k=1,2,...
Pour k=1, on a :
Q′
1(t)=λdonc Q1(t)=λt+cte.
Or Q1(0) =0 donc cte =0.
On en déduit : p1(t)=λte−λt.
Pour k=2, on a :
Q′
2(t)=λ2tet Q2(t)=
λ2t2
2+cte
On a Q2(0) =0 donc cte =0 et on en déduit :
p2(t)=
λ2t2
2e−λt.
Pour k=3, on a :
Q′
3(t)=
λ3
2t2et Q3(t)=
λ2t2
2·t3 3+cte
Mais Q3(0) =0 donc cte =0 et on en déduit :
p3(t)=
λ3t3
3! e−λt.
Et finalement, on a par récurrence :
pk(t)=(λt)k
k!e−λt,k=0,1,2,...
On a donc que sous les postulats (i) et (ii), la loi du nombre d’événement dans un intervalle [0,t]
est une loi de Poisson de paramètre λt.
Le paramètre λest appelé intensité du processus.
✸
Les postulats nous ont conduit à établir que la loi du nombre d’événements dans un intervalle
donné de longueur tétait une loi de Poisson de paramètre λt. Nous avions désigné par intensité le
paramètre λ. C’est une constante. On dit que le processus est un processus de Poisson homogène
qu’on note parfois PPH (ou encore HPP).
On peut donner la définition suivante :
Définition 13 – Un processus de Poisson homogène d’intensité λest un processus aléatoire {N(t),t>
0}à valeurs dans Ntel que :
29

L3 MIS
•pour tous points t0=0<t1<... <tn, les accroissements du processus N(t1)−N(t0),N(t2)−
N(t1),... , N(tn)−N(tn−1), sont indépendants ;
•pour s>0et t>0, la variable aléatoire N(s+t)−N(s)suit une loi de Poisson de paramètre
λt.
P(N(s+t)−N(s)=x)=(λt)x
x!e,x∈N.
•N(0)=0.
De part cette définition, il vient immédiatement : E[N(t)] =λtet V ar(N(t)=λt.
On a la proposition suivante :
Proposition 18 Soit {N(t),t>0}un processus de Poisson d’intensité λ. Alors les interarrivées
sont indépendants et suivent une loi exponentielle de paramètre λ.
Preuve : On note X, la variable aléatoire interarrivée (temps qui s’écoule entre deux événe-
ments successifs).
P(X>t) esrt la probabilité qu’il ne se passe rien dans un intervalle de longueur t. Le processus
étant homogène, cette probabilité est égale à P(N(t0+t)−N(t0)=0) =P(N(t)=0) =e−λtce qui
prouve que Xsuit une loi exponentielle de paramètre λ. Pour prouver l’indépendance considé-
rons X1, la date du premier événement et X2, le temps qui s’écoule entre le premier et le second
événement. Par définition, la densité de la loi de probabilité de (X1,X2) est :
fX1,X2(t1,t2)=lim
dt1,dt2→0
P(t1<X1<t1+dt1,t2<X2<t2+dt2)
dt1dt2
Mais d’après les propriétés de N(t),
P(t1<X1<t1+dt1,t2<X2<t2+dt2)
=P(N(t1)−N(t0)=0) P(N(t1+dt1)−N(t1)=1)
×P(N(t1+t2)−N(t1+dt1)=0) P(N(t1+t2+dt2)−N(t1+t2)=1)
=e−λt1λdt1e−λdt1e−λ(t1+t2−t1−dt1)λdt2e−λdt2
=λe−λt1λe−λt2e−λdt1e−λdt2dt1dt2
En divisant par dt1dt2et en passant à la limite, il vient fX1,X2(t1,t2)=λe−λt1λe−λt2ce qui
montre que X1et X2sont des v.a. indépendantes de loi exponentielle de paramètre λ.
On observe donc qu’un processus de Poisson homogène d’intensité λest équivalent à un processus
de renouvellement dont les interarrivées sont exponentielles de paramètre λ.
30

PROCESSUS ALÉATOIRES - CHAÎNES DE MARKOV
Proposition 19 Soit {N(t),t>0}un processus de Poisson d’intensité λ>0. Pour 0<u<t,N(u)
sachant N(t)=nsuit une loi binomiale de paramètre (n,u/t).
Preuve : Soit 0 6k6n,
P(N(u)=k|N(t)=n)=P(N(u)=k,N(t)=n)
P(N(t)=n
=P(N(u)=k,N(t)−N(u)=n−k)
P(N(t)=n
=P(N(u)=k)P(N(t)−N(u)=n−k)
P(N(t)=n)
=³(λu)ke−λu/k!´³[λ(t−u)]ke−λ(t−u)/(n−k)!´
³(λt)ne−λt/n!´
=³uk/k!´³(t−u)k/(n−k)!´
³tk+n−k/n!´
=n!
k!(n−k)!³1−u t´n−k³u t´k
Ce qui démontre le résultat.
31