Table des matières

Table des matières
I
Rappels de probabilités
4
I.1
Espace de probabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
I.2
Variable aléatoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
I.2.1
Loi d’une variable aléatoire . . . . . . . . . . . . . . . . . . . . .
5
I.2.2
Espérance d’une variable aléatoire . . . . . . . . . . . . . . . . . .
6
I.2.3
Variance et covariance . . . . . . . . . . . . . . . . . . . . . . . .
7
Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
I.3.1
Indépendance d’évenements . . . . . . . . . . . . . . . . . . . . .
7
I.3.2
Indépendance de tribus . . . . . . . . . . . . . . . . . . . . . . . .
8
I.3.3
Indépendance de variables aléatoires . . . . . . . . . . . . . . . . .
8
Espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
I.4.1
Conditionnement par rapport à un événement . . . . . . . . . . . .
8
I.4.2
Conditionnement par rapport à une variable aléatoire discrète Y . .
9
I.4.3
Conditionnement par rapport à une v.a. Y continue . . . . . . . . .
9
I.4.4
Conditionnement par rapport à une tribu G
. . . . . . . . . . . . .
9
Convergences de suites de variables aléatoires . . . . . . . . . . . . . . . .
10
I.3
I.4
I.5
II Généralités
12
II.1 Processus stochastique . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
II.2 Classification de Processus stochastiques . . . . . . . . . . . . . . . . . . .
13
1
II.2.1
Processus à accroissements indépendants et stationnaires . . . . . .
13
II.2.2
Processus stationnaires . . . . . . . . . . . . . . . . . . . . . . . .
14
III Processus de Poisson
15
III.1 Processus ponctuels et fonction de comptage . . . . . . . . . . . . . . . . .
15
III.2 Processus de poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
III.3 Les temps d’arrivées . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
III.4 Superposition de Processus de Poisson . . . . . . . . . . . . . . . . . . . .
18
III.5 Décomposition d’un processus de poisson . . . . . . . . . . . . . . . . . .
18
III.5.1 paradoxe de l’autobus . . . . . . . . . . . . . . . . . . . . . . . .
19
IV Chaînes de Markov
20
IV.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
IV.2 Proprièté forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
IV.2.1 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
IV.2.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . .
24
IV.3 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
IV.3.1 Etat récurrent et état transitoire . . . . . . . . . . . . . . . . . . . .
25
IV.3.2 Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
IV.3.3 Période . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
IV.4 Comportement asymptotique . . . . . . . . . . . . . . . . . . . . . . . . .
27
IV.4.1 Cas récurrent irréductible . . . . . . . . . . . . . . . . . . . . . . .
27
IV.4.2 Chaînes apériodiques . . . . . . . . . . . . . . . . . . . . . . . . .
29
V Processus Markovien de saut
30
V.1 Définition et Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
V.2 propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
V.2.1
Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
32
V.3 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
V.3.1
Temps passé dans un état . . . . . . . . . . . . . . . . . . . . . . .
32
V.3.2
Chaîne de Markov incluse . . . . . . . . . . . . . . . . . . . . . .
33
V.3.3
Equations de Kolmogorov . . . . . . . . . . . . . . . . . . . . . .
34
V.4 Mesures invariantes et Théorèmes limites . . . . . . . . . . . . . . . . . .
35
V.4.1
Classification des états . . . . . . . . . . . . . . . . . . . . . . . .
35
V.4.2
Le cas irréductible récurrent . . . . . . . . . . . . . . . . . . . . .
35
V.4.3
Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . . .
36
3
Chapitre I
Rappels de probabilités
I.1
Espace de probabilité
Un espace de probabilité est un triplet (Ω,F,P ) où:
– Ω est l’ensemble de tout les résultats associés à une expérience.
– F est une tribu sur Ω, i.e. F est un ensemble de sous ensemble de Ω, appelés événements, tel que:
(i) ∅ ∈ F et Ω ∈ F,
(ii) A ∈ F ⇒ Ac ∈ F,
+∞
[
An ∈ F
(iii) Si An ∈ F pour n = 1,2,..., alors
n=1
– P est une mesure de probabilité sur (Ω,F), c’est-à-dire, P est une application de F
dans [0,1] telle que:
(a) P (∅) = 0 et P (Ω) = 1,
+∞
∞
[
X
(b) P (
An ) =
P (An ), pour toute famille {An ,n ∈ N} d’événements disjoints
n=1
n=1
deux à deux.
Les axiomes (i) et (ii) impliquent que
+∞
\
An ∈ F.
n=1
Les axiomes (a) et (b) entrainent, pour tous événements A et B,
– P (A) = 1 − P (Ac ),
– A ⊂ B ⇒ P (A) ≤ P (B),
4
C HAPITRE I
R APPELS
– P (A ∪ B) = P (A) + P (B) − P (A ∩ B).
Exemple: L’expérience consiste à lancer un dé. Alors
Ω = {1,2,3,4,5,6}
A = {1,3,5} est l’événement avoir un nombre impaire.
Si le dé est équilibré, la mesure de probabilité sur (Ω,F = P(Ω)) est définie par P ({i}) =
1
,∀i. Et donc P (A) = 12 .
6
I.2
Variable aléatoire
Définition I.2.1 Soit (Ω,F,P ) un espace de probabilité. Une variable aléatoire (v.a.) est
une application X : Ω → R telle que,
{ω ∈ Ω : X(ω) ∈ B} = {X ∈ B} ∈ F, ∀B ∈ B(R).
Proposition I.2.2 X est une v.a. si et seulement si {ω ∈ Ω : X(ω) ≤ x} ∈ F, ∀x ∈ R
Définition I.2.3 La tribu engendrée par une famille de v.a. {Xi ,i ∈ I} sur (Ω,F,P ) est
définie par
σ(Xi ,i ∈ I) = σ({Xi ∈ B},i ∈ I,B ∈ B(R)) = σ({Xi ≤ x},i ∈ I,x ∈ R).
I.2.1
Loi d’une variable aléatoire
Définition I.2.4 La loi d’une v.a. X est l’application µ : B(R) → [0,1] définie par
µ(B) = P ({X ∈ B}), B ∈ B(R).
Définition I.2.5 La fonction de répartition d’une v.a. X est l’application F : B(R) → [0,1]
définie par
F (x) = P (X ≤ x) = µ(] − ∞,x]), x ∈ R
F vérifie les propriétés suivantes,
– lim F (x) = 1,
x→+∞
– lim F (x) = 0,
x→−∞
– F est croissante.
S. S AADI
5
C HAPITRE I
R APPELS
Variable aléatoire discrète:
Une v.a. X est discrète si elle prend ses valeurs dans un ensemble D dénombrable. Dans
ce cas on a,
X
F (t) =
P (X = x), ∀t ∈ D
x∈D:x≤t
Nous avons
X
P (X = x) = 1.
x∈D
Exemple: Loi Binomiale B(n,p), n ≥ 1, p ∈ [0,1] telle que
P (X = k) = Cnp pk (1 − p)n−k , 0 ≤ k ≤ n.
Variable aléatoire continue:
Une v.a. est continue si P (X = x) = 0 pour tout x. La fonction densité d’une v.a. continue
est une fonction f telle que,
(a) f (x) ≥ 0 pour tout x réel.
Z
(b) f est intégrable et P (a ≤ X ≤ b) =
Z +∞
f (x)dx = 1.
(c)
−∞
Z x
(d) F (x) =
f (t)dt, pour tout x réel.
b
f (x)dx si a < b.
a
−∞
Exemple: Loi exponentielle
Soit α > 0, une v.a. X est dite exponentielle de paramètre α si
1 − e−αx si x > 0
F (x) =
0
si x ≤ 0.
La fonction de densité est donnée par
f (x) =
I.2.2
αe−αx si x > 0
0
si x ≤ 0.
Espérance d’une variable aléatoire
Soit X une v.a. discrète prenant ses valeurs dans un ensemble D. La moyenne ou l’espérance de X, notée E[X], est le nombre
X
E[X] =
xP (X = x)
x∈D
S. S AADI
6
C HAPITRE I
R APPELS
Exemple: Soit X une v.a. de Bernoulli de paramètre p (B(1,p)), alors
E[X] = 0 × P (X = 0) + 1 × P (X = 1)
= p
Si X est une v.a. continue de fonction densité f , on définie l’espérance de X par,
Z +∞
xf (x)dx
E[X] =
−∞
Exemple: Soit X une v.a. exponentielle de paramètre α. Alors
Z +∞
1
xαe−αx dx =
E[X] =
α
0
I.2.3
Variance et covariance
Définition I.2.6 Soient X et Y deux v.a. On a
var(X) = E((X − E[X])2 ) = E[X 2 ] − (E[X])2 ≥ 0.
cov(X,Y ) = E((X − E[X])(Y − E[Y ])) = E(XY ) − E(X)E(Y ).
I.3
I.3.1
Indépendance
Indépendance d’évenements
Définition I.3.1 Deux événements A et B sont indépendants si
P (A ∩ B) = P (A)P (B).
Définition I.3.2 n événements A1 ,...,An sont indépendants ssi
\
Y
P ( Ai ) =
P (Ai ), ∀I ⊂ {1,...,n}.
i∈I
i∈I
Remarques I.3.3
1. Pour n > 2, la condition P (A1 ∩ ... ∩ An ) = P (A1 )...P (An ) ne
suffit pas.
2. L’indépendance de n événements est plus forte que l’indépendance deux à deux.
S. S AADI
7
C HAPITRE I
I.3.2
R APPELS
Indépendance de tribus
Définition I.3.4 Une famille (F1 ,...,Fn ) de sous-tribu de F est indépendante si
P (A1 ∩ ... ∩ An ) = P (A1 )...P (An ), ∀A1 ∈ F1 ,...,An ∈ Fn .
Proposition I.3.5 (σ(A1 ),...,σ(An )) est une famille de sous-tribus indépendantes ssi les événements (A1 ,...,An ) sont indépendants.
I.3.3
Indépendance de variables aléatoires
Définition I.3.6 Une famille (X1 ,...,Xn ) de v.a. est indépendante si la famille de sous-tribu
(σ(X1 ),...,σ(Xn )) est indépendante.
Proposition I.3.7 (X1 ,...,Xn ) est une famille de v.a. indépendantes ssi les événements {X1 ≤
x1 },...,{Xn ≤ xn } sont indépendants ∀x1 ,...,xn ∈ R
En particulier X ⊥ Y ssi P (X ≤ x,Y ≤ y) = P (X ≤ x)P (Y ≤ y), ∀x,y ∈ R
Proposition I.3.8 Soient c ∈ R et X, Y deux v.a. Si X ⊥ Y , alors
– E(XY ) = E(X)E(Y ), on dit qu’elles sont décorrélées; la réciproque n’est pas vraie.
– var(cX + Y ) = c2 var(X) + var(Y )
Proposition I.3.9 Soient
Z x X,
Z yY deux v.a. continues possédant une densité conjointe fX,Y (i.e.
P (X ≤ x,Y ≤ y) =
fX,Y (u,v)dudv). Si X ⊥ Y alors
−∞
−∞
fX,Y (x,y) = fX (x)fY (y), ∀x,y ∈ R.
I.4
I.4.1
Espérance conditionnelle
Conditionnement par rapport à un événement
Soit A,B ∈ F tel que P (B) 6= 0
P (A|B) =
P (A ∩ B)
P (B)
Soit X une v.a. tel que E(|X|) < ∞,
E(X|B) =
S. S AADI
E(X1B )
, si P (B) 6= 0
P (B)
8
C HAPITRE I
I.4.2
R APPELS
Conditionnement par rapport à une variable aléatoire discrète Y
Soit A ∈ F, P (A|Y ) = ϕ(Y ), où ϕ(y) = P (A|Y = y), y ∈ D.
Soit X une v.a., E(X|Y ) = ψ(Y ), où ψ(y) = E(X|Y = y), y ∈ D.
Remarque I.4.1 Il est important de voir que P (A|Y ) et E(X|Y ) sont des v.a.!
Exemple: Soient (X1 ,X2 ) deux jets de dés indépendants, E(X1 + X2 |X2 ) = ψ(X2 ), où
E((X1 + X2 )1X2 =y )
P (X2 = y)
E(X1 + y)P (X2 = y)
=
= E(X1 ) + y
P (X2 = y)
ψ(y) = E(X1 + X2 |X2 = y) =
=
E((X1 + y)1X2 =y )
P (X2 = y)
Donc E(X1 + X2 |X2 ) = E(X1 ) + X2
I.4.3
Conditionnement par rapport à une v.a. Y continue
Si P (A|Y ) = ϕ(Y ), où ϕ(y) = P (A|Y = y)
Problème: P (Y = y) = 0?
Il vaut donc mieux généraliser la définition pour une tribu.
I.4.4
Conditionnement par rapport à une tribu G
Soient (Ω,F,P ) un espace de probabilité; X une v.a. F-mesurable telle que E(|X| < ∞)
et G une sous-tribu de F.
Théorème I.4.2 Il existe une v.a. Z telle que E(|Z| < ∞) et
(i) Z est une v.a. G-mesurable.
(ii) E(XU ) = E(ZU ), ∀ U v.a. G-mesurable et bornée.
Z est notée E(X|G) et est appelée l’espérance conditionnelle de X par rapport à G.
De plus, si Z1 et Z2 vérifient (i) et (ii), alors Z1 = Z2 p.s.
La condition (ii) est équivalente à la condition,
(ii)’ E(X1B ) = E(Z1B ), ∀B ∈ G
Définition I.4.3
– On définit la probabilité conditionnelle par rapport à une tribu par
P (A|G) = E(1A |G)
S. S AADI
9
C HAPITRE I
R APPELS
– Et on définit l’espérance conditionnelle par rapport à une v.a. par
E(X|Y ) = E(X|σ(Y ))
Proposition I.4.4 Soient X, Y deux v.a. continues possédant une densité conjointe fX,Y ,
alors
Z
1
E(X|Y ) = ψ(Y ) p.s. où ψ(y) = E(X|Y = y) =
xfX,Y (x,y)dx
fY (y) R
Z
et fY (y) =
fX,Y (x,y)dx.
R
Preuve: Soit B ∈ B(R),
Z Z
E[X1Y ∈B ] =
x1y∈B fX,Y (x,y)dxdy
Z Z
fX,Y (x,y)
fY (y)dxdy
x1y∈B
fY (y) Z Z
fX,Y (x,y)
=
x
dx 1y∈B fY (y)dy
fY (y)
Z
= ψ(y)1y∈B fY (y)dy = E[ψ(Y )1Y ∈B ]
=
Propriétés: Soient f, g et h des fonctions mesurables.
P1 E[αX1 + βX2 |Y ] = αE[X1 |Y ] + βE[X2 |Y ]
P2 Si X et Y sont deus v.a. indépendantes alors E[f (X)|Y ] = E[f (X)] .
En particulier E[X|Y ] = E[X]
P3 E[E[X|Y ]|Y ] = E[X|Y ]
P4 E[g(X)h(Y )|Y ] = h(Y )E[g(X)|Y ]
P5 E[E[f (X,Y )|Y ]] = E[f (X,Y )], c-à-d l’espérance de l’espérance conditionnelle est
égale à l’espérance.
I.5
Convergences de suites de variables aléatoires
Soient (Xn )n∈N une suite de v.a. et X une autre v.a., toutes définies sur (Ω,F,P ). Il ya
plusieurs façons de définir la convergence de la suite (Xn )n∈N vers X,
Convergence en probabilité
Xn →Pn→∞ X si
S. S AADI
lim P ({ω ∈ Ω : |Xn (ω) − X(ω)| > ε}) = 0
n→∞
10
C HAPITRE I
R APPELS
Convergence presque sûr
Xn →n→∞ X p.s. si P ({ω ∈ Ω : lim Xn (ω) = X(ω)}) = 1.
n→∞
Remarque I.5.1 Si Xn →n→∞ X p.s., alors Xn →Pn→∞ X
Convergence en moyenne (ou convergence L1 )
lim E(|Xn − X|) = 0
n→∞
Convergence en moyenne quadratique (ou convergence L2 )
lim E(|Xn − X|2 ) = 0
n→∞
Remarque I.5.2 L’une ou l’autre de ces convergences implique la convergence en probabilité.
Convergence en loi
Soient (Xn )n une suite de v.a. (définies sur (Ω,F,P )) et (FXn ) la suite des fonctions de
répartition correspondantes (FXn (t) = P (Xn ≤ t).) Xn converge en loi vers X, on note
Xn ⇒n→∞ X, si lim FXn (t) = FX (t), ∀t ∈ R point de continuité de FX .
n→∞
Théorèmes limites
Théorème I.5.3 (Loi des grands nombres)
Soient (Xn )n une suite de variables aléatoires indépendantes et identiquement distribuées
n
X
(i.i.d.), d’espérance finie m, alors la v.a. Sn =
Xi vérifie,
i=1
Sn
⇒m
n
Théorème I.5.4 (Théorème de la limite centrale)
Soient (Xn )n une suite de variables aléatoires indépendantes et identiquement distribuées
n
X
(i.i.d.), d’espérance finie m, et variance finie σ 2 alors la v.a. Sn =
Xi satisfait,
i=1
Sn − nm
√
⇒Z
nσ
où Z suit une loi normale centrée réduite, N (0,1).
S. S AADI
11
Chapitre II
Généralités
Les cours de probabilités s’intéressent essentiellement à l’étude d’une variable alèatoire,
notament sa loi, son espérance, sa variance, ou plus généralement à l’étude d’un couple ou
vecteur aléatoire.
Ce cours s’intéresse à l’étude des familles de variables aléatoires indexées par un paramétre
discret ou continu.
II.1
Processus stochastique
Définition II.1.1 Soit I un ensemble de réels (I = N,Z,R,ou R+ ). Un processus stochastique est une famille (Xt ,t ∈ I) de variables aléatoires (v.a.) définies sur un même espace
de probabilité (Ω,F,P ) et à valeurs dans un espace d’états (E,E).
On peut également le voir comme une fonction aléatoire:
X : Ω → {fonctions de I dans E}
ω 7→ t 7→ Xt (ω)
– I est l’ensemble des indices. Souvent t représente le temps. Si I est à valeurs discrètes
on parle de processus à temps discret et si l’ensemble des valeurs de I est continue, on
parle de processus à temps continu. Ainsi si
– I = N: instants successifs à partir d’un instant initial t0 .
– I = Z: instants successifs avant et après un instant t0 .
– I = R ou R+ : idem mais en temps continu.
– L’ensemble des états du processus peut être continu ou discret.
– La notion de processus stochastique élargit la notion de variable aléatoire. Une réalisation d’un processus stochastique est appelée trajectoire.
12
C HAPITRE II
G ÉNÉRALITÉS
C’est donc la fonction t 7→ Xt (ω), ω fixé dans Ω.
Exemples:
1. Jeu de "pile ou face". Aprés chaque lancer le joueur gagne 1dh s’il obtient "pile" et
perd 1dh s’il obtient "face". La variable Xn représentant sa fortune après n tirage est
un processus appelé marche aléatoire ou processus de Bernouilli.(I = N et E = Z)
C’est un processus à temps discret et à espace d’états discret.
2. le cours d’une action cotée en bourse au jour le jour.
– Xt : valeur de l’action à la date t.
– E = R+ .
– I = {jour de cotation}
C’est un processus à temps discret et espace d’états continu.
3. Mouvement Brownien: Une particule suspendue dans un liquide homogène, subit des
chocs de la part des molécules de ce liquide d’où un mouvement aléatoire de la particule.
(Xt )t∈R+ est le processus qui donne la position de la particule à l’instant t.
Pour caractériser une variable aléatoire X, il suffit de donner sa loi P (X ≤ x), ∀x ∈ E.
Question: Que faut-il pour caractériser un processus (Xt ,t ∈ I)?
Réponse: Donner P (Xt1 ≤ x1 ,Xt2 ≤ x2 ,...,Xtn ≤ xn ), pour tout n ∈ N∗ , t1 ,t2 ,...,tn ∈ I;
x1 ,x2 ,...,xn ∈ R.
Question: Mais a-t-on toujours besoin de toutes ces informations pour caractériser un processus?
II.2
Classification de Processus stochastiques
II.2.1
Processus à accroissements indépendants et stationnaires
Définition II.2.1 (a) (Xt )t∈I est dit à accroissements indépendants si ∀t1 < t2 < ... < tn ,
les variables aléatoires Xt2 − Xt1 ,..., Xtn − Xtn−1 sont indépendantes.
(b) Si la loi de Xt − Xs ne dépend que de t − s et non de t et de s, on dira que (Xt )t∈I est
à accroissements stationnaires.
Un processus stochastique vérifiant (a) et (b) est dit processus à accroissements indépendants et stationnaires.
S. S AADI
13
C HAPITRE II
G ÉNÉRALITÉS
Pour un tel processus:
– Connaitre la loi de Xt − X0 , ∀t > 0, ainsi que celle de X0 suffit à caractériser entièrement le processus.
– E(Xt ) = m0 + m1 t, avec m0 = E(X0 ) et m1 = E(X1 ) − m0 .
En effet: Soit f (t) = E(Xt − X0 ), alors
f (t + s) =
=
=
=
E(Xt+s − X0 )
E(Xt+s − Xs ) + E(Xs − X0 )
E(Xt − X0 ) + E(Xs − X0 )
f (t) + f (s)
Donc f est linéaire et par suite elle s’écrit f (t) = αt, i.e E(Xt ) = αt + E(X0 ).
– var(Xt ) = σ02 + σ12 t, avec σ02 = var(X0 ) et σ12 = var(X1 ) − σ02 .
II.2.2
Processus stationnaires
– On dira que le processus (Xt )t∈I est stationnaire si ∀n ∈ N, ∀t1 ,t2 ,...,tn ∈ I et ∀h ∈ I
(Xt1 ,Xt2 ,...,Xtn ) et (Xt1 +h ,Xt2 +h ,...,Xtn +h ) ont même loi.
– On dira que Xt est à covariance stationnaire si cov(Xt ,Xt+h ) ne dépend que de h.
– Un processus (Xt )t∈I stationnaire et tel que E(Xt2 ) existe, est à covariance stationnaire.
S. S AADI
14
Chapitre III
Processus de Poisson
Dans ce chapitre nous allons étudier un processus défini sur R+ , à valeurs dans un ensemble fini ou dénombrable E, qui est constant entre ses sauts qui se produisent à des instants
aléatoires.
Ce processus modélise des répartitions aléatoires de point sur R+ , qui peuvent correspondre
à des instants de collision de particules, mais aussi à des instants d’arrivée de clients dans
une file d’attente, d’appels à un central téléphonique.
III.1
Processus ponctuels et fonction de comptage
Un processus ponctuel sur R+ , se décrit par la donnée d’une suite croissante de points
aléatoires,
0 < T1 < T2 < ... < Tn < ... dans R+
qui sont des v.a. définies sur un espace de
Tn % ∞, quand n → ∞.
On posera:
S1 =
S2 =
..
..
.
.
Sn
..
.
=
..
.
probabilité (Ω,F,P ). On suppose de plus que
T1
T2 − T1
..
.
Tn − Tn−1
..
.
Les v.a. Tn sont les instants où se produisent un événement, les Sn sont les délais ou les
temps d’attente entre deux événements successifs.
On définit la f.a. de comptage {Nt ,t ≥ 0} du processus ponctuel {Tn ,n ∈ N} de la fa15
C HAPITRE III
P ROCESSUS DE P OISSON
çon suivante:
Nt = sup{n,T
n ≤ t}
X
=
1{Tj ≤t}
j≥1
Nt est donc le nombre d’événement qui se sont produits avant l’instant t.
Remarques III.1.1
1. Notons que N0 = 0, puisque T1 > 0. Et pour tout t > 0, Nt < ∞
puisque Tn % ∞, quand n → ∞.
2. Pour 0 ≤ s < t, Nt − Ns est le nombre d’événements qui se sont produits dans
l’intervalle de temps ]s,t].
Une trajectoire du processus {Nt ,t ≥ 0} est une fonction en escalier, croissante, de sauts 1
et continue à droite.
Notons que la donnée de {Nt ,t ≥ 0} est équivalente à celle de la suite {Tn ,n ∈ N},
et que l’on a les relations:
{Nt ≥ n}
= {Tn ≤ t}
{Nt = n}
= {Tn ≤ t < Tn+1 }
{Ns < n ≤ Nt } = {s < Tn ≤ t}
III.2
Processus de poisson
Définition III.2.1 On dit que le processus ponctuel {Tn ,n ∈ N} ou sa f.a. de comptage
{Nt ,t ≥ 0} est un processus de Poisson si {Nt ,t ≥ 0} est un processus stochastique à
accroissements indépendants et stationnaires. i.e. si
(a) ∀t0 < t1 < ... < tn dans R+ , les accroissements {Ntj − Ntj −1 ; 1 ≤ j ≤ n} sont des v.a.
indépendantes.
(b) Pour 0 ≤ s < t, la loi de Nt − Ns ne dépend de s et t que par la différence t-s.
Le nom "Processus de Poisson" est justifié par la
Proposition III.2.2 Soit {Nt ,t ≥ 0} la f.a.de comptage d’un processus de Poisson. Il existe
λ > 0 tel que pour tout 0 ≤ s < t, la loi de Nt − Ns est la loi de Poisson de paramètre
λ(t − s), i.e.
[λ(t − s)]k
P (Nt − Ns = k) = e−λ(t−s)
, k ∈ N.
k!
Remarque III.2.3 Ce paramètre λ est appelé l’intensité du processus de Poisson {Nt }. Il
est égal au nombre moyen d’événement qui se produisent pendant un intervalle de temps de
S. S AADI
16
C HAPITRE III
P ROCESSUS DE P OISSON
longeur unité, i.e.
E[Nt+1 − Nt ] = λ.
Remarque III.2.4 On a
P (Nt+h − Nt = 0) = 1 − λh + o(h)
P (Nt+h − Nt = 1) = λh + o(h)
P (Nt+h − Nt ≥ 2) = o(h)
Donc à des probabilités petites devant h près, Nt+h − Nt est une v.a. de Bernouilli prenant
la valeur 0 avec la probabilité 1 − λh et la valeur 1 avec la probabilité λh Cette propriété
jointe à l’indépendance des accroissements et à la formule
Nt+s − Nt =
n
X
[Nt+jh − Nt+(j−1)h ] avec h =
j=1
s
n
entraine que Nt+s − Nt suit approximativement une loi binomiale de paramètres (n, λs
). Or
n
quand n → ∞, cette loi converge vers la loi de Poisson de paramètre λs
Corollaire III.2.5 Soit {Nt ,t ≥ 0} la f.a. de comptage d’un processus de Poisson. Il existe
λ > 0 tel que pour tout t ≥ 0, la loi de Nt est la loi de Poisson de paramètre λt, i.e.
P (Nt = k) = e−λt
[λt]k
, k ∈ N.
k!
Corollaire III.2.6 Soit {Nt ,t ≥ 0} la f.a. de comptage d’un processus de Poisson d’intensité
λ. Alors pour tout s,t ≥ 0, et k ∈ N,
P [Nt+s − Nt = k|Nu ; u ≤ t] = P [Nt+s − Nt = k]
e−λs (λs)k
=
k!
III.3
Les temps d’arrivées
Le corollaire III.5.2 reste valable si on remplace le temps arbitraire t par un temps d’arrivée
Tn , soit,
P [NTn +s − NTn = 0|Nu ; u ≤ Tn ] = e−λs ,
où {Nu ; u ≤ Tn } est l’histoire du procesus jusqu’à l’instant Tn . Remarquons que,
{NTn +s − NTn = 0} = {Tn+1 − Tn > s}
et que l’histoire contenue dans {Nu ; u ≤ Tn } est la même que celle contenue dans {T1 ,...,Tn }.
Nous avons donc le résultat remarquable,
S. S AADI
17
C HAPITRE III
P ROCESSUS DE P OISSON
Proposition III.3.1 Pour tout n ≥ 0,
P [Tn+1 − Tn ≤ t|T0 ,...,Tn ] = 1 − e−λt
(On convient que T0 = 0).
En d’autres termes,
les v.a. Sn = Tn+1 − Tn : délais ou temps d’attente entre deux événements successifs sont
indépendants et identiquement distribuées (i.i.d), de distribution commune la distribution
exponentielle de paramètre λ.
Dans certaines situation il est plus pratique de travailler avec les temps d’arrivées au lieu du
processus de comptage. D’où l’intérêt du théorème suivant,
Théorème III.3.2 Un processus ponctuel {Tn ,n ∈ N} ou sa fonction aléatoire de comptage
{Nt ,t ≥ 0} est un processus de Poisson d’intensité λ si et seulement si les interévénements
T1 ,T2 − T1 ,... sont des v.a. indépendantes et identiquement distribuées de distribution exponentielle de paramètre λ.
Proposition III.3.3 Pour tout n ∈ N∗ ,
P [Tn ≤ t] = 1 −
n−1 −λt
X
e (λt)k
k=0
III.4
k!
Superposition de Processus de Poisson
Considérons les arrivées à un carrefour par deux voies différentes.
Soient (Tn0 )n≥0 la suite des arrivées par la première voie et (Tn00 )n≥0 la suite des arrivées par
la seconde voie.
On ordonne les (Tn0 )n≥0 et (Tn00 )n≥0 pour obtenir la suite (Tn )n≥0 . Soit,
Nt = Nt0 + Nt00
(Nt0 )t≥0 est un processus de poisson d’intensité λ0 et (Nt00 )t≥0 est un processus de poisson
d’intensité λ00 ,
alors (Nt )t≥0 est un processus de poisson d’intensité λ = λ0 + λ00 .
III.5
Décomposition d’un processus de poisson
Soit (Nt )t≥0 un processus de poisson d’intensité λ et soit (Xn )n≥0 un processus de Bernoulli (P (Xn = 1) = p) indépendant de Nt .
S. S AADI
18
C HAPITRE III
P ROCESSUS DE P OISSON
A chaque arrivée on fait un tirage de bernoulli, l’arrivée va-t-il tourner à droite ou à gauche.
Soit Sn : le nombre de succés, Sn = X1 + X2 + ... + Xn .
Dans [0,t] on a Nt arrivée donc SNt succés. On pose Mt = SNt
L t = Nt − M t
Théorème III.5.1 Les processus M = (Mt )t≥0 et L = (Lt )t≥0 sont des processus de poisson de taux respectifs λp et λq.
De plus M et L sont indépendant.
III.5.1
paradoxe de l’autobus
Soit (Tn )n≥1 un processus de poisson de paramètre λ. Soit t ∈]0, + ∞[.
On aNt = Sup{n,Tn (ω) ≤ t}.
Vt = TNt +1 − t
Soit
Wt = t − TNt
Théorème III.5.2
– Les v.a. Vt et Wt sont indépendantes.
– La loi de Wt est donnée par:
1
si v ≥ t
FW (v) =
−λv
1−e
si v < t
S. S AADI
19
Chapitre IV
Chaînes de Markov
Connaissant le présent on peut oublier le passé pour prédire l’avenir.
IV.1
Définition et propriétés
Définition IV.1.1 Un processus stochastique (Xn )n≥0 définie sur (Ω,F,P ) à espaces d’état
E fini ou dénombrable et à espace de temps T = N, est une chaîne de Markov si:
P [Xn+1 = j|X0 ,X1 ,...,Xn ] = P [Xn+1 = j|Xn ], ∀j ∈ E, ∀n ∈ N
Une chaîne de Markov X est homogène si ces probabilités sont indépendantes de n, on note:
P [Xn+1 = j|Xn = i] = P (i,j)
qu’on appelle probabilité de transition.
c’est un processus qui "oublie" son histoire au fur et à mesure
Un critère simple qui permet souvent de vérifier qu’un processus est une chaîne de Markov
est
Lemme IV.1.2 Soient E et F deux ensembles dénombrables, et f une application de N × E ×
F dans E. Soit X0 ,Y1 ,Y2 ,... des v.a. mutuellement indépendantes, X0 à valeurs dans E et les
Yn à valeurs dans F, et (Xn )n≥0 le processus à valeurs dans E défini par
Xn+1 = f (n,Xn ,Yn+1 ), n ∈ N.
Alors (Xn )n≥0 est une chaîne de Markov.
20
C HAPITRE IV
C HAÎNES DE M ARKOV
Exemple: File d’attente en temps discret
On considère une file d’attente qui se forme à un guichet. Xn désigne le nombre de clients
dans la file en attente ou en train de se faire servire à l’instant n. Entre les instants n et n+1 arrivent Yn+1 clients, et si Xn > 0 partent Zn+1 clients. On suppose que X0 ,Y1 ,Z1 ,Y2 ,Z2 ,...sont
indépendantes, vérifiant 0 < P (Yn = 0) < 1, et les Zn vérifiant P (Zn = 1) = p =
1 − P (Zn = 0). C’est à dire que
Xn+1 = Xn + Yn+1 − 1{Xn >0} Zn+1
Soit la matrice P = (P (i,j))i,j (éventuellement infinie). P est une matrice stochastique ou
markovienne i.e
X
P (i,j) ≥ 0, ∀i ∈ E et
P (i,j) = 1.
j∈E
Théorème IV.1.3 Pour tout n,m ∈ N, m ≥ 1, i0 ,i1 ,...,in ∈ E,
P [Xn+1 = i1 ,Xn+2 = i2 ,...,Xn+m = im |Xn = i0 ] = P (i0 ,i1 )P (i1 ,i2 )...P (im−1 ,im )
Preuve:
P [Xn+1 = i1 ,Xn+2 = i2 ,...,Xn+m = im |Xn = i0 ] =
P [Xn+m = im |Xn = i0 ,Xn+1 = i1 ,...,Xn+m−1 = im−1 ]P [Xn+1 = i1 ,...,Xn+m−1 = im−1 |Xn = i0 ]
Or
P [Xn+m = im |Xn = i0 ,Xn+1 = i1 ,Xn+2 = i2 ,...,Xn+m−1 = im−1 ] = P [Xn+m = im |Xn+m−1 = im−1 ]
= P (im−1 ,im )
D’où le résultat par récurence.
Corollaire IV.1.4 Soit Π une loi sur E tel que P (X0 = i) = Π(i), Π est dite loi initiale,
alors ∀m ∈ N, m ≥ 1, i0 ,i1 ,...,in ∈ E,
P [X0 = i0 ,X1 = i1 ,...,Xm = im ] = Π(i0 )P (i0 ,i1 )P (i1 ,i2 )...P (im−1 ,im )
La loi d’une chaîne de Markov est entièrement déterminée par la donnée d’une loi initiale
Π, qui est la loi de X0 , et de la matrice de transition de la chaîne.
S. S AADI
21
C HAPITRE IV
C HAÎNES DE M ARKOV
Remarque:
P [Xn+2 = j|Xn = i] =
=
=
X
k
X
k
X
P [Xn+2 = j,Xn+1 = k,|Xn = i]
P [Xn+2 = j|Xn+1 = k,Xn = i]P [Xn+1 = k|Xn = i]
P (k,j)P (i,k)
k
= P 2 (i,j)
Résultat qu’on généralise dans la
Proposition IV.1.5 ∀m ∈ N,
P [Xn+m = j|Xn = i] = P m (i,j), ∀i,j ∈ E, n ∈ N
Equation de Chapman-Kolmogorov:
Soit r, s, q, entiers tels que q = r + s, alors,
P q = P rP s
autrement dit
P q (i,j) =
X
P r (i,k)P s (k,j)
k∈E
Théorème IV.1.6 Soit Π une loi sur (E,E) et une matrice markovienne P = (P (i,j))i,j ,
alors il existe une chaîne de Markov (Xn )n≥0 de loi initiale Π et de matrice de transition P.
Exemple de chaîne de Markov: Marche aléatoire:
(Yn )n≥1 suite de v.a. i.i.d de loi F sur E dénombrable.
Xn = Y1 + Y2 + ... + Yn
(Xn )n≥1 est une chaîne de markov.
P (Xn+m − Xn = k|X1 ,X2 ,...,Xn ) = P (Yn+1 + ... + Yn+m = k|Y1 ,...,Yn )
= P (Yn+1 + ... + Yn+m = k)
= P (Xn+m − Xn = k)
On en déduit,
P (Xn+1 = j,Xn = i)
P (Xn = i)
P (Xn+1 − Xn = j − i,Xn = i)
=
P (Xn = i)
P (Xn = i)
= P (Yn+1 = j − i)
P (Xn = i)
= P (Yn+1 = j − i)
P (Xn+1 = j|Xn ) =
S. S AADI
22
C HAPITRE IV
IV.2
C HAÎNES DE M ARKOV
Proprièté forte de Markov
Soit {Xn ; n ∈ N} une chaîne de Markov à valeurs dans E, définie sur l’espace de probabilité (Ω,F,P ).
Pour tout n ≥ 0, Soit
Fn = σ(X0 ,...,Xn )
C’est l’ensemble des évènements se produisant jusqu’à l’instant n.
Le théorème suivant est une conséquence directe de la définition des chaînes de Markov.
On l’appelle parfois propriété de Markov faible.
Théorème IV.2.1 Pour tout A ∈ Fn et pour tout p > 0, i,i1 ,...,ip ∈ E,
P (A ∩ {Xn+1 = i1 ,...,Xn+p = ip }|Xn = i) = P (A|Xn = i)P (X1 = i1 ,...,Xp = ip |X0 = i)
Le résultat précédent confirme que le passé et le futur sont conditionnellement indépendants,
sachant la position de la chaîne à l’instant présent n.
La propriété de Markov forte permet d’établir ce résultat en remplaçant l’instant fixe n par
un instant aléatoire vérifiant une certaine propriété.
IV.2.1
Temps d’arrêt
Définition IV.2.2 Une v.a. T à valeurs dans N ∪ {+∞} est appelée un temps d’arrêt si pour
tout n ∈ N,
{T = n} ∈ Fn .
Cela signifie qu’en observant la chaîne jusqu’à l’instant n, on peut décider si {T = n} a
lieu ou non.
Exemples:
1. On définit la variable Sx par:
Sx = inf{n ∈ N : Xn = x},
avec la convention inf ∅ = +∞. Sx représente le temps de premier passage à l’état x
de la chaîne. Alors il est clair que Sx est un temps d’arrêt :
{Sx = n} = {X0 6= x} ∩ ... ∩ {Xn−1 6= x} ∩ {Xn = x} ∈ Fn .
S. S AADI
23
C HAPITRE IV
C HAÎNES DE M ARKOV
Et plus généralement:
2. ∀A ⊂ E, le temps d’entrée dans A,
TA = inf{n ∈ N : Xn ∈ A}
est un temps d’arrêt.
3. On définit la variable Tx par:
Tx = inf{n > Sx : Xn = x}.
Tx représente le temps du premier retour à l’état x de la chaîne. Tx est un temps d’arrêt.
4. Par contre, la variable Lx définie par:
Lx = sup{n ∈ N : Xn = x}.
qui représente le temps du dernier passage à l’état x de la chaîne, n’est pas un temps
d’arrêt.
On notera FT la tribu des événements "déterminés par X0 ,...,XT ", définie comme la tribu
des événements B ∈ F tels que ∀n ∈ N,
B ∩ {T = n} ∈ Fn .
Proposition IV.2.3
1. T est un temps d’arrêt ⇔ {T ≤ n} ∈ Fn pour tout n.
2. FT est une tribu.
Pour n ≤ ∞, FT ∩ {T = n} = Fn ∩ {T = n}
3. T constante égal à n ∈ N est un temps d’arrêt.
4. Si T1 et T2 sont deux temps d’arrêt alors,
– Sup(T1 ,T2 ) = T1 ∨ T2 et inf (T1 ,T2 ) = T1 ∧ T2 sont des temps d’arrêts.
– {T1 < T2 } et {T1 = T2 } sont dans FT1 ∩ FT2 .
– Pour T1 ≤ T2 , on a FT1 ⊂ FT2 .
Remarque:
T est FT -mesurable.
En effet: {T = n} = Ω ∩ {T = n} ∈ FT .
IV.2.2
Propriété de Markov forte
Théorème IV.2.4 Soit {Xn : n ≥ 0} une chaîne de Markov, et T un temps d’arrêt. Alors
pour tout A ∈ FT , et pour tout p > 0, i,i1 ,...,ip ∈ E,
P (A∩{XT +1 = i1 ,...,XT +p = ip }|XT = i,T < ∞) = P (A|XT = i,T < ∞)P (X1 = i1 ,...,Xp = ip |X0 = i)
S. S AADI
24
C HAPITRE IV
IV.3
C HAÎNES DE M ARKOV
Classification des états
Beaucoup de chaînes ont la propriété suivante: la loi de Xn tend vers une limite indépendante de la loi initiale. Pour pouvoir les caractériser il faut commencer par différencier les
états que la chaîne peut visiter une infinité de fois de ceux qui ne peuvent l’être qu’un nombre
fini de fois.
IV.3.1
Etat récurrent et état transitoire
Soit (Xn )n≥0 une chaîne de Markov tel que X0 = j.
On pose Pj (A) = P [A|X0 = j].
Définition IV.3.1 Soit (Xn )n une chaîne de Markov partant de j ∈ E. L’état j est dit
1. Transitoire
si Pj [Xn = j pour une infinité de valeurs de n] = 0.
X
ou
Pj (Xn = j) < ∞
n≥1
2. Récurrent
si Pj [Xn = j pour une infinité de valeurs de n] = 1.
X
ou
Pj (Xn = j) = +∞
n≥1
Pour j ∈ E on introduit Tn la suite des instants successifs de retour en j définie par récurrence
pour n ≥ 1
T1 = inf {n ≥ 1 : Xn = j}
Tn+1 = inf {n ≥ Tn + 1 : Xn = j}
avec la convention inf {∅} = ∞
Tn est un temps d’arrêt.
Proposition IV.3.2 Soit Xn une chaîne de Markov partant de j ∈ E. L’état j est
1. Transitoire si Pj [T1 < ∞] < 1.
2. Récurrent si Pj [T1 < ∞] = 1.
On définit le nombre de retour à l’état j:
Nj =
∞
X
1Xn =j
n=1
Proposition IV.3.3
S. S AADI
1. Si j est récurrent, alors Pj (Nj = +∞) = 1
25
C HAPITRE IV
C HAÎNES DE M ARKOV
2. Si j est transitoire Pj (Nj = k) = (1 − πj )πjk , k ≥ 0, avec πj = Pj (T1 < ∞).
Corollaire IV.3.4 L’état j est récurrent ssi
∞
X
P n (j,j) = +∞
n=0
Remarque: Si j est transitoire
Ej (Nj ) = πj (1 − πj )−1 < ∞
Définition IV.3.5 Soit j un état récurrent, il est dit
1. Récurrent positif si Ej [T1 ] < ∞.
2. Récurrent nul si Ej [T1 ] = ∞.
Définition IV.3.6 Un état j est absorbant ssi P (j,j) = 1, on a alors P (i,j) = 0, ∀i 6= j.
Pour résumer
Il existe trois type d’état, transitoire: on n’y revient pas toujours; récurrent nul: on y revient
toujours au bout d’un temps moyen infini; ou récurrent positif: on y revient une infinité de
fois à intervalles de temps finis, en moyenne.
IV.3.2
Classes
Définition IV.3.7 Etant donnée une chaîne de Markov (Xn )n∈N de distribution initiale Π et
de matrice de transition P, on dira que l’état j est accessible depuis l’état i, ou que i conduit
à j s’il existe n ∈ N tel que P n (i,j) > 0. On notera i → j.
On dira que les états i et j communiquent, noté i ↔ j, si i → j et j → i.
La relation de communication (↔) entre deux états est réfléxive (par convention ∀i, P 0 (i,i) =
1), symétrique (par définition), et transitive, c’est donc une relation d’équivalence.
il est donc possible de construire une partition des états d’une chaîne de Markov en classes
d’équivalence telle que tous les états d’une classe communiquent entre eux et que deux états
appartenant à deux classes différentes ne communiquent pas.
Théorème IV.3.8 Soit C ⊂ E une classe d’équivalence pour la relation ↔. Alors tous les
états de C sont soit récurrents soit transitoires.
Définition IV.3.9 Une chaîne de Markov (Xn )n∈N de distribution initiale Π et de matrice de
transition P, est dite irréductible si E est constitué d’une seule classe d’équivalence. Elle est
dite récurrente irréductible si de plus tous les états sont récurrents.
Proposition IV.3.10 Toute chaîne de Markov irréductible sur un espace fini E est irréductible.
S. S AADI
26
C HAPITRE IV
IV.3.3
C HAÎNES DE M ARKOV
Période
Définition IV.3.11 Soit j un état récurrent, on appelle période de j,noté d(j) le
pdcd{n ≥ 1 : P n (j,j) > 0}
Une autre manière équivalente de dire les choses est: d(j) est la période de j si
n = kd(j), k ∈ N ⇒ P n (j,j) > 0.
n 6= kd(j), k ∈ N ⇒ P n (j,j) = 0.
Proposition IV.3.12 Deux états j et k appartenant à la même classe de récurrence ont même
période.
Définition IV.3.13 l’état j est dit apériodique Si d(j) = 1.
La période étant une propriété de classe, on parlera de classe périodiques / apériodiques et de
chaînes de Markov irréductibles périodiques / apériodiques selon les propriétés de leur états.
IV.4
Comportement asymptotique
IV.4.1
Cas récurrent irréductible
Soit (Xn ) une chaîne de Markov irréductible récurrente. Nous allons commencer par
étudier les excursions successives de la chaîne entre deux retours successifs à l’état j:
Ek = (XTk ,XTk + 1,...,XTk+1 ); k ≥ 0
Ces excursions sont des suites aléatoires de longueur aléatoire finie ≥ 2, formées d’états de
E distincts de j, sauf le premier et le dernier qui sont égaux à j. Notons U l’ensemble des
valeurs des excurssions Ek ,k ≥ 0, c’est un ensemble dénombrable.
Proposition IV.4.1 Sous Pj la suite (E0 ,E1 ,...) des excurssions est i.i.d., c’est-à-dire pour
tout k > 0, u0 ,...,uk ∈ U ,
Pj (E0 = u0 ,...,Ek = uk ) =
k
Y
Pj (El = ul ).
l=0
Définition IV.4.2 Soit P une matrice markovienne. On dit que µ mesure sur E est invariante
par P si
µP = µ.
S. S AADI
27
C HAPITRE IV
C HAÎNES DE M ARKOV
Une mesure de Probabilité µ est invariante par une chaîne de Markov (µ,P ) ssi µ est la loi
de Xn pour tout n ∈ N.
Remarque: Soit π une probabilité invariante, c’est-à-dire
X
π(i)P (i,j) = π(j)(1 − P (i,i)),
i6=j
soit
P (Xn 6= j,Xn+1 = j) = P (Xn = j,Xn+1 6= j),
ce qui signifie que le nommbre moyen de sorties de l’état j entre les instants n et n+1 est égal
au nombre moyen d’entrées à l’état j entre n et n+1.
Théorème IV.4.3 Soit (Xn )n≥0 une chaîne de Markov de matrice de transition P récurrente irréductible. Alors il existe une mesure strictement positive invariante µ, unique à une
constante multiplicative près.
Théorème IV.4.4 Soit (Xn )n≥0 une chaîne de Markov récurrente irréductible. Les assertions suivantes sont équivalentes:
(i) J est récurrent positif.
(ii) Tous les états sont récurrents positifs.
(iii) Il existe une probabilité invariante donnée par:
π(j) =
1
, ∀j ∈ E avec mj = Ej [T1 ]
mj
Par conséquent, on distingue dans le cas récurrent irréductible, deux cas de figures:
– Le cas récurrent positif: tous les états sont récurrents positifs et il existe une unique
probabilité invariante.
– Le cas récurrent nul: tous
Xles états sont récurrents nuls et toutes les mesures invariantes
sont de masse infinie (
π(i) = +∞)
i
Il est clair que si E est fini, il n’existe pas d’état récurrent nul, tout état récurrent est récurrent positif.
On est en mesure maintenant d’établir le théorème ergodique.
Théorème IV.4.5 (Théorème ergodique) Soit (Xn )n∈N une chaîne de Markov irréductible
récurrente positive, de probabilité invariante π. Soit f : E → R une fonction bornée. Alors
n
X
1X
f (Xk ) →p.s.
π(j)f (j)
n→+∞
n k=1
j∈E
S. S AADI
28
C HAPITRE IV
C HAÎNES DE M ARKOV
Ce théorème est une généralisation de la loi des grands nombres au cas où la suite (Xn )n∈N
n’est pas indépendante. En effet on peut écrire la relation précédente comme suit:
n
1X
f (Xk ) →p.s.
n→+∞ Eπ [f (X)]
n k=1
ou X est de loi π: la probabilité invariante.
Une conséquence du théorème ergodique est la suivante: si on munit la chaîne de la loi
initiale π, alors la suite est identiquement distribuée et la moyenne empirique converge vers
l’espérance.
IV.4.2
Chaînes apériodiques
Le théorème ergodique nous assure en particulier que si (Xn )n∈N une chaîne de Markov
irréductible récurrente positive, alors:
n
1X
1{ Xk = j} →p.s.
n→+∞ π(j), ∀j ∈ E
n k=1
Puisque la convergence p.s. entraîne la convergence en moyenne, en prenant l’espérance sous
Pi , on a
n
1X k
P (i,j) →n→+∞ π(j), ∀i,j ∈ E
n k=1
On voit que les moyennes de Césaro des (P k (i,j)) convergent. On peut se demander si dans
le cas irréductible récurrent positif, on a:
P n (i,j) →n→+∞ π(j), ∀i,j ∈ E?
La réponse est non! Soit par exemple une chaine de Markov de matrice de transition P
vérifiant P 2k = I et P 2k+1 = P.
Théorème IV.4.6 Soit (Xn )n∈N une chaîne de Markov de matrice de transition P , irréductible récurrente positive et apériodique, de probabilité invariante π. Alors
P (Xn = j) →n→+∞ π(j), ∀j ∈ E
Soit
(µP n )j →n→+∞ π(j), ∀i,j ∈ E,
pour toute loi initiale µ. En particulier
P n (i,j) →n→+∞ π(j), ∀i,j ∈ E.
S. S AADI
29
Chapitre V
Processus Markovien de saut
Dans ce chapitre, nous allons présenter l’essentiel de la théorie des processus de Markov
en temps continu, à valeurs dans un ensemble fini ou dénombrable E.
V.1
Définition et Propriétés
Le but de ce chapitre est d’étudier les processus de Markov à valeurs dans un espace d’état
E fini ou dénombrable. On supposera que les trajectoires de nos processus n’ont que des
discontinuités de première espèce (des sauts), et pour fixer les idées que les trajectoires sont
continues à droite et pourvues de limite à gauche en tout point. Les trajectoires d’un tel processus {Xt ,t ≥ 0} sont nécessairement constantes entre ses sauts, lesquels se produisent à
des instants aléatoires T 1(ω); T 2(ω); ...; T n(ω); .... La différence avec le processus de Poisson est que, connaissant la position avant le saut, la position après le saut est aléatoire.
Définition V.1.1
– Un processus stochastique {Xt ,t ≥ 0} est un processus de Markov
à espace d’états E dénombrable si, ∀t,s ≥ 0 et j ∈ E,
P [Xt+s = j|Xu ,u ≤ t] = P [Xt+s = j|Xt ]
– Si de plus
P [Xt+s = j|Xt ]
ne dépend que de s, le processus de Markov est dit homogène.
On n’étudiera dans la suite que des processus markoviens homogènes. On utilisera la notation :
P [Xt+s = j|Xt = i] = Ps (i,j)
30
C HAPITRE V
P ROCESSUS DE M ARKOV
où pour tout t > 0, Pt est une matrice markovienne sur E × E, appelée matrice de transition
dans le temps t.
Propriétés:
1. Pt (i,j) ≥ 0.
X
2.
Pt (i,j) = 1.
j∈E
3. lim Pt (i,j) =
t→0
1 si i = j
0 si i 6= j
Théorème V.1.2 Soit {Xt ,t ≥ 0} un processus Markovien de saut, de loi initiale µ et de
matrices de transition {Pt ,t > 0}. Pour tout n ∈ N, 0 < t1 < ... < tn , la loi du vecteur
aléatoire (X0 ,Xt1 ,...,Xtn ) est donnée pour tout i0 ,i1 ,...,in ∈ E par:
P (X0 = i0 ,Xt1 = i1 ,...,Xtn = in ) = µ(i0 )Pt1 (i0 ,i1 )Pt2 −t1 (i1 ,i2 )...Ptn −tn−1 (in−1 ,in )
Par conséquent, si µt est la loi de la v.a. Xt , on a pour tout t > 0
µt = µPt
X
i.e. µt (j) =
µ(i)Pt (i,j).
i∈E
D’autre part, les matrices de transition {Pt ,t > 0} vérifient la relation de semi-groupe
(Equation de Chapman-Kolmogorov):
Pt+s = Pt Ps
ou encore
Pt+s (i,j) =
X
Pt (i,k)Ps (k,j).
k∈E
Exemple 1: Un processus de Poisson {Nt ,t ≥ 0} d’intensité λ est un processus de Markov
à valeurs dans N, de matrices de transition:

 −λt (λt)j−i
si j ≥ i
e
Pt (i,j) =
(j − i)!

0
sinon
Exemple 2: La file d’attente M/M/1.
les arrivées forment un processus de poisson.
Les temps de services sont i.i.d. de distribution exponentielle. Un seul serveur.
Xt : longeur de la file à l’instant t c’est-à-dire le nombre de clients en attente + celui qui est
en train d’être servi.
(Xt )t≥0 est un processus de Markov.
S. S AADI
31
C HAPITRE V
P ROCESSUS DE M ARKOV
V.2
propriété de Markov forte
V.2.1
Temps d’arrêt
Soit la filtration F = (Ft ) ou Ft = σ(Xs ,s ≤ t) et F∞ = σ(∪Ft )
Définition V.2.1
1. Un temps d’arrêt T est une v.a. vérifiant
∀t ≥ 0, {T ≤ t} ∈ Ft .
2. Si T est un t.a., la tribu FT des événements antérieur à T est
FT = {A ∈ F∞ ,A∩ ∈ {T ≤ t} ∈ Ft ∀t ≥ 0}
Propriétés:
1.
2.
3.
4.
Une constante est un temps d’arrêt.
T1 ,T2 deux temps d’arrêt, alors sup(T1 ,T2 ) et inf(T1 ,T2 ) sont des temps d’arrêt.
Les événements {T1 < T2 }, {T1 ≤ T2 }, {T1 = T2 } ∈ FT1 ∩ FT2 .
T1 ≤ T2 implique FT1 ⊂ FT2 .
Théorème V.2.2 Propriété de Markov forte.
Soit {Xt : t ≥ 0} un processus de Markov, et T un temps d’arrêt. Alors pour tout A ∈ FT ,
et pour tout p > 0,, 0 < t1 < t2 < ... < tp , i,i1 ,...,ip ∈ E,
P (A∩{XT +t1 = i1 ,...,XT +tp = ip }|XT = i,T < ∞) = P (A|XT = i,T < ∞)Pi (Xt1 = i1 ,...,Xtp = ip )
V.3
Générateur infinitésimal
La propriété de semi-groupe fait que Pt est connu pour tout t dès qu’il est connu pour t
petit.
V.3.1
Temps passé dans un état
On suppose que Xt = i
Soit Wt : le temps qui sépare t de l’instant où le processus X quitte l’état i.
Wt = inf{s ≥ 0,Xt+s 6= Xt }.
Théorème V.3.1 Soit i ∈ E, t ≥ 0, il existe λ(i) ≥ 0 tel que,
P [Wt > u|Xt = i] = e−λ(i)u
S. S AADI
32
C HAPITRE V
P ROCESSUS DE M ARKOV
– Si λ(i) = ∞, dés que le processus il entre dans l’état i il en sort, i est appelé état
instantané.
– Si λ(i) = 0, quand on entre dans l’état i, on en sort plus, l’état est dit absorbant.
– Si 0 < λ(i) < ∞, l’état est dit stable.
V.3.2
Chaîne de Markov incluse
Soit {Xt ,t ≥ 0} un processus de Markov dont les temps de saut T1 ,T2 ,...,Tn ,... vérifient la
condition Tn (ω) → +∞ p.s quand n → ∞ (tous les états sont stables).
Tn+1 = Tn + WTn
Soit la suite Zn , n ∈ N définie par:
Zn = XTn ,
avec T0 = 0
Les Zn sont les états visités successivement.
Zn = i veut dire Xt = i pour t ∈ [Tn ,Tn+1 [: intervalle de séjour dans l’état i.
Théorème V.3.2 Pour tout n ∈ N, j ∈ E, et u ∈ R+ , on a
P [Zn+1 = j,Tn+1 − Tn > u|Z0 ,...,Zn ,T0 ,...,Tn ] = Q(i,j)e−λ(i)u , si Zn = i
où Q est une matrice stochastique, tal que Q(i,i) = 0.
Corollaire V.3.3 La suite (Zn )n∈N des états successifs est une chaîne de Markov appelée la
chaîne incluse, de matrice de transition Q.
Corollaire V.3.4 Pour tout n ∈ N, i0 ,i1 ,...,in ∈ E et u1 ,u2 ,...,un ∈ R, on a
P [T1 − T0 > u1 ,...,Tn − Tn−1 > un |Z0 = i0 ,...,Zn = in ] = e−λ(i0 )u1 ...e−λ(in−1 )un
Les inter-transitions sont indépendantes et exponentiellement distribuées, elles ne dépendent
que de l’état visité et sont indépendante de l’état prochain.
Remarque: Si il existe WTm p.s infini, c’est-à dire Tm+1 infini, on pose Z0 = X0 et
XTn+1 si Tn+1 < ∞
Zn+1 =
Xn
si Tn+1 = ∞
– Si un état i est absorbant pour le processus, alors i est absorbant pour la chaîne incluse.
– Si i est stable, Q(i,i) = 0.
S. S AADI
33
C HAPITRE V
V.3.3
P ROCESSUS DE M ARKOV
Equations de Kolmogorov
Proposition V.3.5 Pour tout i,j ∈ E et tout t ∈ R+ ,
Z t
X
−λ(i)t
Pt (i,j) = e
I(i,j) +
λ(i)e−λ(i)s
Q(i,k)Pt−s (k,j)ds
0
k∈E
Théorème V.3.6 Pour tout i,j ∈ E, la fonction t 7→ Pt (i,j) est continument dérivable et sa
dérivée à l’instant t = 0 est donnée par
−λ(i)
si j = i
A(i,j) =
λ(i)Q(i,j) si j 6= i
A est appelé générateur infinitésimal du processus X
Corollaire V.3.7 (i) {Pt , t ≥ 0} est l’unique solution de l’équation de Kolmogorov "rétrograde" (Backward):
dPt
= APt , P0 = I
dt
(ii) {Pt , t ≥ 0} est l’unique solution de l’équation de Kolmogorov "progressive" (farward):
dPt
= Pt A, P0 = I
dt
– Si la fonction de transition Pt est connue, alors A dérivée de Pt en 0 est connu et par
conséquent λ(i) et Q sont connus, en effet: λ(i) = −A(i,i)
A(i,j)
si i 6= j et Q(i,i) = 0.
λ(i)
– Si λ(i) = 0, Q(i,j) = 0 si i 6= j et Q(i,i) = 1.
– Si A est connu, alors Pt solution de l’équation de Kolmogorov est le semi-groupe
engendré par A:
∞
X
tn n
tA
Pt = e =
A
n!
n=0
– Si λ(i) 6= 0, Q(i,j) =
Remarques:
1. Pour tout i ∈ E, −λ(i) +
X
λ(i)Q(i,j) = 0
j6=i
2. Au voisinage de t=0 on a:
Pt (i,j) = I(i,j) + tA(i,j) + o(t).
S. S AADI
34
C HAPITRE V
P ROCESSUS DE M ARKOV
V.4
Mesures invariantes et Théorèmes limites
V.4.1
Classification des états
Dans ce qui suit, on désignera comme dans le cas du temps discret par Pi la loi conditionnelle de {Xt ,t ≥ 0}, sachant que X0 = i. Les classes d’équivalence du processus de markov
sont celles de la chaîne incluse.
Définition V.4.1 Le processus de Markov {Xt ,t ≥ 0} est irréductible si la chaîne incluse
{Zn ,n ∈ N} l’est.
Notons que dés que {Xt ,t ≥ 0} est irréductible,
Pt (i,j) > 0,
∀i,j ∈ E, t > 0.
En effet par l’irréductibilité de la chaîne incluse, ∀i,j ∈ E, il existe n ∈ N, i0 = i,i1 ,...,in = j
tel que Q(i0 ,i1 )...Q(in−1 ,in ) > 0, où Q est la matrice de transition de la chaîne incluse. Ainsi
Ph (i,j)
il s’en suit que
on a A(i0 ,i1 )...A(in−1 ,in ) > 0, or A(i,j) = lim+
h→0
h
∀t > 0, Pt (i,j) > Pt/n (i,i1 )...Pt/n (in−1 ,j) > 0
Définition V.4.2 Un état j ∈ E est dit récurrent (resp. transitoire) pour le processus (Xt )t≥0
s’il est récurrent (resp. transitoire) pour la chaîne incluse.
En particulier dans le cas irréductible, tous les états sont soit récurrents soit transitoires.
V.4.2
Le cas irréductible récurrent
Comme dans le cas discret, on a l’existence d’une unique mesure invariante dans le cas
récurrent irréductible.
Théorème V.4.3 Soit un processus Markovien de sauts {Xt ,t ≥ 0}, irréductible récurrent,
de générateur infinitésimal A et de semi-groupe de transition {Pt ,t ≥ 0}. Alors il existe une
unique mesure strictement positive µ, à une constante multiplicative près, qui vérifie,
µA = 0
Et qui est invariante pour le semi-groupe de transition, c’est-à-dire,
µPt = µ,
S. S AADI
∀t ≥ 0
35
C HAPITRE V
V.4.3
P ROCESSUS DE M ARKOV
Théorèmes limites
On se place dans le cas d’un processus {Xt ,t ≥ 0} irréductible récurrent. On va prouver
dans cette section l’existence d’une unique probabilité invariante dans le cas particulier récurrent positif. Pour distinguer entre récurrence nulle et récurrence positive, on ne peut pas
regarder seulement les propriétés de la chaîne incluse. On verra qu’il existe des processus
markoviens de sauts récurrents nuls dont la chaîne incluse est récurrente positive, et inversement. Pour définir la récurrence positive ou nulle. Définissons l’instant du premier retour à
l’état j comme:
Rj = inf{t ≥ T1 : Xt = j}
Définition V.4.4 L’état j est dit récurrent positif s’il est récurrent et si Ej [Rj ] < ∞, récurrent nul s’il est récurrent et si Ej [Rj ] = +∞.
A nouveau, comme dans le cas discret, si j ∈ E est récurrent positif, alors tous les états sont
récurrents positifs et le processus est dit récurrent positif. Dans ce cas, il existe une unique
probabilité invariante.
Théorème V.4.5 Soit (Xt )t≥0 un processus Markovien de sauts récurrent, irréductible. Les
assertions suivantes sont équivalentes:
(i) j est récurrent positif.
(ii) Tous les états sont récurrents positifs.
(iii) Il existe une unique probabilité invariante donnée par:
π(j) =
1
, ∀j ∈ E avec mj = Ej [Rj ]
λ(j)mj
Remarque: Une mesure invariante π pour le processus markovien (Xt )t≥0 vérifie πA = 0.
Cela implique que πΛ est invariante pour Q, matrice de transition de la chaîne incluse.Il est
alors facile de choisir Λ la matrice diagonale des temps de séjours en chaque état telle que
(Xt )t≥0 est récurrent nul et Q récurrente positive, et vice versa. Il faut pour cela jouer sur les
temps de séjours en chaque point.
Dans le cas d’un processus irréductible récurrent positif, on peut énoncer le théorème
ergodique de la manière suivante.
Théorème V.4.6 Soit (Xt )t≥0 un processus markovien de sauts irréductible récurrent positif. On note π sa probabilité invariante. Alors, pour f : E → R bornée, on a :
Z
X
1 t
f (Xs )ds →
f (i)π(i), p.s. quand t → ∞
t 0
i∈E
S. S AADI
36
C HAPITRE V
P ROCESSUS DE M ARKOV
Dans le cas du temps continu, la convergence de la loi de Xt vers la probabilité invariante quand t → ∞ est vraie dans le cas irréductible et récurrent positif, sans hypothèse
supplémentaire.
Théorème V.4.7 Soit (Xt )t≥0 un processus markovien de sauts irréductible récurrent positif, et π son unique probabilité invariante. Alors pour toute probabilité µ sur E, on a, ∀j ∈ E,
(µPt )(j) →t→∞ π(j)
lim Pj [Xt = j] =
t→∞
1
λ(j)Ej (Rj )
Notons que si la probabilité invariante π est la loi de X0 , le processus (Xt )t≥0 est stationnaire au sens où pour tout n ∈ N, 0 ≤ t1 < ... < tn , la loi du vecteur (Xt1 +s ,...,Xtn +s ) ne
dépend pas de s.
Remarque: L’équation πA = 0 s’écrit ∀j ∈ E,
X
X
A(i,j).
π(j)A(j,i) = π(i)
j6=i
j6=i
Le membre de gauche de cette égalité s’interprète comme le flux entrant dans l’état i à
l’équilibre en provenance des différents états, le membre de droite comme le flux sortant de
i à l’équilibre, vers les divers états.
l’équation πA = 0 dit donc qu’à l’équilibre, les nombres moyens par unité de temps de
départs et d’arrivées à chaque état sont égaux.
S. S AADI
37