Modèles stochastiques Chaîne de Markov en temps continu

Modèles stochastiques
Chaîne de Markov en temps continu

Dans le chapître précédent sur les chaîn
es de Markov, les moments (temps)
etaient discrets ( 0,1, ). Maintenant, nou
s allons analyser des situations où
les observations se font de façon continue plu
t
t=…
tôt qu'à des moments discrets.
( ) ( ) { }
1 mutuellement exclusifs: 0,1, ,
L'analyse débute au temps 0 et le temps s'écoule de façon continue
= état du système au temps : 0,1, ,
Les points de changement d'éta
1. Formulati
é
t
t s
s
at
on
M M
t
X t t X t M
+
∈
…
…
( ) ( ) ( )
2
1
1 2
1 2 3
0
, , sont des points aléatoires dans le t
emps
(pas nécessairement entiers):
0
t
t
XX
X
t t
t t t
…
…

( )
Considérons trois points consécutifs dan
s le temps où il y a eu changement d'éta
ts:
0 temps passé
( ) temps courant (actuel)
( 0) unités de temps dans le
r r
s s r
s t t t
≥
>
+ ≥
( ) ( ) { }
( ) ( ) ( )
( )
futur.
Supposons que et que , avec , 0, , .
L'évaluation de
and 0, ,
est facilité par la propriété de Markov (i.e., sans mémoire).
X s i X r l i l M
P X s t j X s i X r l j M
= = ∈
+ = = = =
…
…
( )
{ }
( ) ( ) ( )
( )
( ) ( )
( )
{ }
propriété de
Mar
Un pro
kov
cessus stochastique en temps continu ; 0 a la
si
and
, , 0, ; 0, ,
Définiti n
.
o
0
X t t
P X s t j X s i X r l P X s t j X s i
i j l M r s r t
≥
+ = = = = + = =
∀ ∈ ∀ ≥ > >
…

( )
{ }
( ) ( ) ( )
( )
( ) ( )
( )
{ }
propriété de
Mar
Un pro
kov
cessus stochastique en temps continu ; 0 a la
si
and
, , 0, ; 0, ,
Définiti n
.
o
0
X t t
P X s t j X s i X r l P X s t j X s i
i j l M r s r t
≥
+ = = = = + = =
∀ ∈ ∀ ≥ > >
…
( ) ( )
(
)
probabilités de tranLes probabilités sont des
similaires à celles que nous avions e
sit
n temps discr
ion
et.
P X s t j X s i+ = =
( ) ( )
( )
( ) ( )
( )
Les sont puisqu'elles sont indépen
probabilit
dantes de
és de transition stat
:
ionna
r
0
i e
0
s
s
P X s t j X s i P X t j X i s+ = = = = = ∀ >
( ) ( ) ( )
( )
( )
Par symétrie avec le cas discret
0
où dénot fonction de probabilité de transition en temps ce la ontinu
ij
ij
p t P X t j X i
p t
= = =
Le processus stochastique est alors u chaîne de Markov en temps cone
ntinu

( ) ( )
( )
( ) ( )
( )
Les sont puisqu'elles sont indépen
probabilit
dantes de
és de transition stat
:
ionna
r
0
i e
0
s
s
P X s t j X s i P X t j X i s+ = = = = = ∀ >
( ) ( ) ( )
( )
( )
Par symétrie avec le cas discret
0
où dénot fonction de probabilité de transition en temps ce la ontinu
ij
ij
p t P X t j X i
p t
= = =
( )
0
L'hypothèse suivante est faite:
1 si
lim 0 si
ij
t
i j
p t
i j
→
=
=
≠