Définition des processus de Markov et des martingales

Séminaire Brelot-Choquet-Deny.
Théorie du potentiel
PAUL -A NDRÉ M EYER
Définition des processus de Markov et des martingales
Séminaire Brelot-Choquet-Deny. Théorie du potentiel, tome 5 (1960-1961), exp. no 3,
p. 1-11
<http://www.numdam.org/item?id=SBCD_1960-1961__5__A4_0>
© Séminaire Brelot-Choquet-Deny. Théorie du potentiel
(Secrétariat mathématique, Paris), 1960-1961, tous droits réservés.
L’accès aux archives de la collection « Séminaire Brelot-Choquet-Deny. Théorie du potentiel »
implique l’accord avec les conditions générales d’utilisation (http://www.numdam.org/legal.php).
Toute utilisation commerciale ou impression systématique est constitutive d’une infraction
pénale. Toute copie ou impression de ce fichier doit contenir la présente mention de copyright.
Article numérisé dans le cadre du programme
Numérisation de documents anciens mathématiques
http://www.numdam.org/
3-01
Séminaire BRELOT-HOQUET-DENY
Potentiel)
(Théorie
année, 1%0/61, n° 3
du
5e
DÉFINITION DES PROCESSUS DE MARKOV ET DES MARTINGALES
Paul-André MEYER
Dans tout cet
R+ ,admettant
exposé,
l’ensemble d’indices 5 est
0
premier éléments
pour
N
intervalle de
un
ou
de
I. La notion de temps
A. Processus
adapté
DRFINITION
dans
10 Pour tout
20
X.
donné
Soit
La
un
Ft
terminologie
ensemble de
temps
qu’une
le processus à la
(s , t)
de
points
est
une
processus
variable aléatoire
stochastique,
adaptée,
soit
suivante
"temps",
on
à
de sorte que
un
Ft
=
B(X ,
processus
encore
très commode :
nous
s ~t ,
peut toujours construire
est
nous sera
si :
F~
on a
Ft-mesurable.
il suffit de poser
adaptée
famille)
tels que
5~
de
de sous-tribus
famille
(ou
à valeurs
stochastique
nous
dirons/’soit t
s ~t) .
stochastique.
adaptée
au
Posons
processus.
considérerons
un
famille
une
G
instant" pour
comme
signi-
appellerons alors Ft la tribu des événements antérieurs
appellerons tribu des événements postérieurs au temps t ,
te 5" . Nous
t
et
nous
B(Xs , s~t) .
DÉFINITION
une
On dit
processus
processus
B. Définition des temps
à
un
fl, F ; la famille de tribus
la tribu
.
tribus.
,
famille de tribus
une
fier "soit
au
un
qui lui
de tribus
=
au
couple
V
~tant
F
(Q , F , P
(X , B) .
1. - Soit
adaptée
est
famille de
une
espace d’états
un
F
de
à
famille
2. - Soit
d’arrêts
(03A9 , F ,
tel que
un
processus
On appelle temps
de tribus
une’variable aléatoire
P ,
sur
(0, F , p) , prenant
stochastique adapté
d’arrêt (relatif
ses
aux
valeurs dans l’ensemble
3-02
On
appelle tribu
évènements A
des évènements antérieurs à
et
la tribu des
note
on
tels que
F
de
T~
REMARQUES.
T(W) =
1° La fonction constante
t E 0
est
un
temps d’arrêt.
est
3 ° Si dans la définition ci@dessus
exactement les
4° Si S = N
5° Si
des
T
et
temps
ou
T~
remplace "T $
rapport à la
T
si
t
"
par
1fT:’ t
" ,
on
famille {Ft+}t~L.
par
R ~ et
on
est
un
temps d’arrêt,
il
inf(T~ ~ T2)
sont des temps
en
est de
même de
T2)
et
T + t
sont
temps d’arrêt.
6° Si
Tl
FT c FT .
et
T2
sont des
w,
Tl (w) T2(W)’
on a
importante. - Nous aurons souvent besoin dans la suite de considérer
des variables aléatoires non partout définies sur 03A9 ; voici comment on les ramène
a un point qui n’appartient pas à
aux variables aléatoires ordinaires : soient
X , et X’ l’espace Xu{0) muni de la tribu B’ engendrée par les ensembles de
peut être considéré comme prenant
B , et l’ensemble {~} . Le processus
ses valeurs dans
B’) . Nous lui adjoindrons une variable aléatoire X~ telle
de faire
que X (u) == ô V ~ ~ Lorsque X est un espace LCD ~ il est très commode
de X’ un espace compact (à base dénombrable) , en considérant ~ comme le point
à l’ inf ini de X (point qui est isolé si X est compact). Il sera toujours conX est identifiée à une fonction sur X ~ nulle au point
venu qu’une fonction sur
Convention
qu’aucune autre fonction sur X’ n’est envisagée, sauf mention du contraire ,
l’expression : "la fonction 1" par exemple, désigne la fonction sur X’ égale à 1
0 au point a. Le lecteur se persuadera aisément, en lisant la suite;
sur X . à
ô~
et
de la commodité de cette convention.
NOTATION. - Soit
T
la fonction sur Q
à
si
T(w)
= oo .
un
temps d’arrêt. Nous désignerons par la notation
valeurs
égale
dans
Si cette fonction est
une
à
variable
(w)
aléatoire,
si
T(W) ~ 00,
XT(W)
à
a
appellerons ~ettc
répartition "répartition
nous
du processus à l’instant T " , et sa
et si toutes les fonctions
Si 5 = N ou
du processus à l’instant
(t ~ 5) sont mesurables, nous appellerons tribu des événements postérieurs
fonction
"position
R ,
XT+t(03C9)
au
temps
T
la tribu
engendrée
par
3-03
C. Transformation des processus*
Soient
tifs
3
aux
un
sous-ensemble de
tribus
ait
on
.
T~~
s.
p.
couple
L 1 (w)
Si les
est dit obtenu
{3L
}
temps d’arrêts
processus
une
telle que, pour tout
F ,
famille de temps d’arrêt rela(i, j) de points de 3 ~ avec
et
R+,
sont des variables
transformant le processus
en
Xt
iel
système
de
T.. Deux exemples de
aléatoires,
au
le
moyen du
transformations sont particu-
ces
lièrement importants :
10
S
est
un
temps
T. i
est "obtenu par arrêt du processus
2° Les notations étant les
si
1
S(03C9)) ;
le
nouveau
mêmes,
=
inf(S , i) ;
à l’instant
Xt
on
nouveau
processus
S ".
=
pose
le
1
si
S(w),
1
=
+
00
processus est dit "obtenu par destruction du processus
II. Processus de Markov$
A. Définition des processus de Markov. -
DÉFINITION
dans
un
tout
1. -Soit
espace
t , les
(Q , F ,
(X, B) . On dit que
tribus B(X , st)
indépendantes,
Xt
un
p ,
le processus
et
B(X ,
propriété s’exprime par des phrases
conditionnellement indépendants, le présent
,
est de Markov
s
t)
à valeurs
si,
pour
sont conditionnellement
étant donnée.
Cette
Le théorème
stochastique
processus
telles que "le
passé
et le futur sont
étant donné".
3.2 . , (exposé 2) permet immédiatement d’énoncer
les théorèmes suivants ?
,
THEOREME 1. - Un processus markovien reste markovien
après
inversion du
sens
du
temps
THÉORÈME
2 . - Soit
Ft
la tribu
s
soit
markovien, il faut et il suffit que,
aléatoire Y intégrable, mesurable sur
p,
t).
pour tout
s
Pour que le processus
t
e
~t)
lxt .l
t; et pour toute variable
on
ait :
s.
Le théorème suivant montre
markovien,
tout
Drocessus
en
particulier
équivalent
le
que si
possède
un
aussi.
processus
possède
le caractère
3-04
THEOREME
soit de
3. - Pour qu’un processus
système
que, pour tout
B--mesurable
DEMONSTRATION. -
vérifiée pour
fini d’instants croissants
de X ,
A
un
on
D’après
t2
...
tn 1
toute
t ~
partie
ait :
la
propriété
processus de Markov.
h(W) sur 03A9,
des fonctions bornées
il faut et il suffit
Markov,
(exposé 2,
6°
sur
cette relation est
l’espace vectoriel
H
soit
Réciproquement,
mesurables
2),
p.
B(Xs ,
la tribu
tp),
n
s
telles que :
Il est bien clair que la limite de toute suite
tante,
de fonctions
positives
H
de
appartient
évidemment les fonctions de la forme
sur
telles fonctionso Soient
tn, et
h
à
s , s2
...
s ,
L’espérance mathématique intérieure est égale à
notre hypothèse $ D’après le théorème 4 ~ exposé 1 ~
où
forme
avec
Appliquons
k - 1
g
est
sur
B-mesurable
fonctions
alors le théorème
mesurables par
mesurable
B-mesurable bornée
des instants croissants
B-mesurables bornées
des fonctions
h1 ... hk,
problème~
est
h
0
une cons-
contient aussi bien
H
H.
par
t ~ t . Montrons par récurrence qu’il contient les produits finis de
et
X ,
croissante, majorée
rapport à la
cette tribu,
au
lieu de
5i exposé ~~
tribu
h
sur
t
X
s
3f
page
X ,
JXs
à
nous avons :
)
d’après
p. s.
cette fonction
X . On est alors ramené
est de la
au
même
k.
p. 3.
H
B~Xs ~ s ~ tn~ .
et
sur
postérieurs
contient toutes les fonctions
Il
en
résulte que~ si
ont
même intégrale
A. i
appartiennent
sur
h
est
les ensembles
n
où les
de la forme
ensembles
permet
engendrent
de conclure.
une
nouvelle
application
du théorème
à
B ;
comme ces
5, exposé 1
ps 3
3-05
B. Processus à fonction de transition.
Nous n’aurons besoin dans la suite que de la notion de fonction de transition
stationnaire ; cependant, pour la clarté de l’exposé, nous allons donner ci-après
la définition
DÉFINITION
générale S
supposé égal
est
s
2° Pour tout
s 9
sur
s ~ t ,
que
x
parcourt X, et
la fonction
t ,
x
-
P
la fonction A ~
x,
s~t (x ~ A )
est
P
est
A
ne
.
B-mesurable.
une
x, A, et tout triple (6, t , u)
dite de Chapman-Kolmogorov
loi de pro-
tel que
on a
La fonction de transition est dite stationnaire si l’on a, pour tout
la relation
A) -5
A) .. On pose alors
A)
Nous
parcourt 11
(X, B) ~
3° Pour tout
la relation
l’ensemble des couples
telle que :
R~ ~
1° Pour tout
babilité
(8, t) parcourt
points de 5 tels
à valeurs dans
,
.
(X , B) un espace mesurable. Nous appellerons probabilité
(ou fonction de transition) de Markov sur (X ~ B) , une application
(s ~ t) , x , A -~
de
N.
ou à
lB.
2 0 - Soit
de transition
(s , t)
à
(s , t) ,
A) ~
==
considérerons plus que des fonctions de transition stationnaires et
nous
omettrons le mot "stationnaire".
NOTATION. - Soit
f
une
fonction
l’intégrale X 1t(x ,
Explicitons les axiomes
1° Pour tout
t , A,
2° Pour tout
x,
lité
sur
t:-
sur
B-mesurable :
X ,
dy) r(y) ,
et
Pt
f
nous
noterons souvent
l’application
x
-
des fonctions de transition stationnaires.
l’application
x
est
-
l’application A -+
A)
est
B-mesurable.
une
loi de probabi-
(X ~ B) .
3° Pour tout
x ,
A t ,
s
on a
la relation
,
REMARQUES.
1° Lorsque dans la condition
(2),.on exige simplement
considérée soit complètement additive, positive, de
on
que la fonction d’ensemble
masse
inférieure
ou
égale 1> 1,
obtient la notion de fonction de transition sous-markovienne. Voici comment on
r;
3-06
ramène cette notion à celle de fonction de transition ordinaire. Soit 1x’ 1 BI)
A E B’ ,
l’espace construit à la page 2 de cet exposé . Posons, si x
A
et
en
outre :
La fonction
2° Soit
est alors
G
l’espace
fonction de transition de Markov
une
B-mesurables et bornées
de Banach des fonctions
~Xr - B~)
sur
(la
norme
étant celle de la convergence uniforme) : les applications f ...
P t f sont des
opérateurs linéaires positifs de norme 1 , sur G , et la condition 3 exprime
que ces opérateurs constituent un semi-groupe (en élargissant un peu la définition
des
soit
et soit
un
espace
Les espaces G
et
M
sont
en
M
l’espace
dualité, et
des
). Supposons
1
de Radon
mesures
il est
=
Po
assez
la continuité de
bornées
que
sur
X
X 0
facile de voir que la conpour la topologie faible
chaque opérateur P t
o(G , M) . Nous appellerons semi-groupe de Markov (resp. sous-markovien) un semigroupe
dl opérateurs linéaires sur G qui est ainsi associé à une fonction
de transition de Markov (resp. sous-markovienne). (Cette fonction de transition
dition 2
.
suppression de la condition
par la
semi-groupes,
exprime
est alors
unique).
3° Lorsque
adjoints
P. ~
bornée,
est
X
sur
un
M ~ qui
la valeur de la
f)
XPt(x,
forment
au
lieu de
fonction
sur une
probabilités,
on a
admettent des
Pt
semi-groupe. Si n
un
P* p
mesure
En calcul des
tation Pt
opérateurs
les
espace
est
f
une mesure
de
G
opérateurs
de Radon
est
il est commode d’utiliser la
no-
alors la relation
’
où
(,~
est la forme
bilinéaire canonique
DÉFINITION 3. - Soit (Q , F ~ p ~ {X. L~)
dans (X , B) adapte à une famille de tribus
’
est
un
processus de Markov par
fonction de transition, et admet 03BD
1~ ~ est
la loi
~ ~
une
loi de
probabilité
rapport
comme
sur
sur
un
M
x
G ~
processus stochastique, à valeurs
On dit que le processus
{F.}. ~.
admet
aux
répartition initiale,
(X ~ B) ,
et la
Pt(x, A)
comme
si :
répartition
de
3L
est
3-07
2°
est
Ae B ~ et pour
une
fonction de transition
(s , t)
couple
de
temps tels
(X, B) ,
sur
et l’on a, pour tout
s~t ~
que
REMARQUES.
est de
10 Il est clair que cette relation implique bien que le processus
Markov au sens de la définition 1.
2° Nous
ne
considérerons ici que des fonctions de transition pour lesquelles
est l’identité, les autres sont très intéressantes, et se rencon-
l’opérateur Po
leur étude
trent souvent dans la pratique, mais
sente
aucune
difficulté nouvelle, il suffit de
notations et
complique les
ne
considérer que des
ne
pré-
initiale{,
mesures
de la forme
A)
3° Lorsqu’on utilise l’expression "processus de Markov admettant
fonction de transition", sans spécifier la famille de tribus, il est toujours
entendu que
s t) .
Ft =
Pt(x ,
4° Soient
A)
fonction de transition sous-markovienne
une
la fonction de transition markovienne
(X’ B’)
sur
construite ci-dessus. Un processus de Markov, admettant
transition, et dont la mesure initiale est concentrée sur
"processus admettant
comme
comme
sous-
(X, B) ,
sur
associée à
comme
eet
X ,
fonction de
encore
appelé
fonction de transition".
Le théorème suivant est fondamental pour toute la suite.
THEOREME 4. - Soient
A)
Radon
sur
une
X
un
espace
compact métrisable,
fonction de transition de Markov
sur
processus de Markov
(et
X . Il existe
admettant
un
comme
(X~ ~ B t;) ..
répartitions
Soient
Xt
finies par la formule
sa
(X , B) .
un
seul à
fonction de transition et v
tribu
borelienne,
Soit v
une
et
loi de
équivalence près)
répartition initiale~
une
comme
canonique. Prenons pour (Q ~ F)
les applications coordonnées. Définissons les
DEMONSTRATION. - Nous allons exhiber
l’espace
B
un
processus
3-08
t~ == 0 . t.... ~~
des
parties B-mesurables de
Il est immédiat que
probabilité.
exposé 2, p. 5.
de
ces
La limite
répartitions
Opérateurs
E ,
THÉORÈME
rable
P" ,
nous
DÉMONSTRATION. 1,
page 3.
Désormais,
bornées
pv
sur
ou
gauche .
système projectif de lois
d’après le théorème 4.1 ,
un
donc
(0, F) .
d’associer
Si v
est la
P ~ la loi P" . Nous
espérances mathématiques.
5. - Soit A
telles que
nous venons
noterons
pour des
Q
lit de droite à
fait
se
présent exposé.
que
le même espace
X , et l’on
sur
sont
A
...
de translation.
Les différentes lois
x ,
AO
La vérification du caractère markovien du processus obtenu
û.
point
se
finies forment
projective pV existe
utilisant le théorème 3 du
sur
grande intégrale
X. La
en
définies
et
sont des instants croissants
où
un
événement
La famille
H
lois initiales v
unité ?x
placée
sont
au
utiliserons de même les symboles
initiale v,
x ~P~(A)
est
B-mesu-
la relation
f(w), F-mesurables,
des fonctions
bornées sur
vérifie les hypothèses du théorème 5, exposé
=
nous
masse
F . La fonction
de
a, pour toute loi
aux
considérerons des
mesures
non, la relation ci-dessus étant
initiales v positives quelconques,
prise
pour définition de la
mesure
({2, F) .
teS . On appelle opérateur de translation par t , et on note
l’application de Q dans 0 qui associe à la trajectoire w la trajectoire et u
définie par la relation
cette application est évidemment
w) =
Soit
mesurable.
Les
et opèrent
est la fonction
leur
{X
f
aussi
sur
et
les fonctions
(si
f
est
une
fonction
sur
0,
et f
particulier sur les ensembles de F , identifiés à
fonction caractéristique. Ainsi, le translaté de l’ensemble cylindrique
e
A
On a alors
A1 ... e A } est l’ensemble
A1 ... X..
~
le résultat
0
en
XSn
suivant, qui exprime
{X..
de manière très commode la
sn n}.
propriété
de Markov ?
3-09
THÉOREME o. - Soient
x ~ EX[ p]
tion
X ;
sur
’-presque sûrement,
on a
quelle
DÉMONSTRATION. - L’espace
à cette
qui satisfont
et
bornée, F-mesurable,
fonction
une
la fonc-
la relation :
que soit la
vectoriel
mesure
des fonctions bornées et
H
relation, vérifie
initiale 03BD.
les
hypothèses
du
F-mesurables,
théorème 5 (exposé nO’ 1,
3).
p.
D. Exemples de fonctions
de transition.
Nous allons déterminer certaines
culs que
nous
Nous dirons
ferons dans le
qu’une
cas
probabilités
où
X
=
de transition importantes. Les cal-
R , s’étendent bien
fonction do transition
sur
R
à
R w
est invariante par translation
A) Pt (0 , A - x) est vérifiée identiquement. Notons 7~
la mesure
dx) . Il est immédiat que, pour toute fonction borélienne bornée
+
autrement dit, si l’on désigne
f sur R , on a
f)
y)
même,
par o l’opérateur de symétrie par rapport à
comme semi-groupe de
si la répartition de Xt pour un processus admettant
on a la relation
transition
LI équation de ChapmanHt *
Kolmogorov devient donc simplement l’équation de convolution x s * nt =
si la relation
=
=
Cette relation
t
w~
t
~
a une
sont des
importante signification probabiliste, elle exprime que, si
sont indétemps croissants, les accroissements
-
pendants.
EXEMPLE. - On
appelle
fonction de transition du mouvement brownien la fonction
de transition invariante par translation définie par la relation
constante prise
où
dy
est la
en
général égale
mesure
de
à
2)
Lebesgue.
On définit de même le mouvement brownien à
n
dimensions,
où
(où Î
est
une
3-10
On
le théorème de
a
donne la forme de tous
représentation générale qui
ces
semi-
groupes de convolution.
THEOREME
qu’il
de
existe
Khintchine-Lévy. - Soit
semi-groupe
logarithme de
un
suffit que le
de convolution
probabilité
loi de
une
tel
{nt}
que 03C01
Fourier
la transformée de
R. Pour
sur
, il faut et il
=
et soit de la
existe,
forme
où
a, a
sont des
pas de masses à
positive bornée
telle représentation est unique .
M
constantes, et
l’origine.
Une
comportant
ne
une mesure
III. Martingales et semi-martingales
(~ ~ F ,
A. DEFINITION. - Soit
un
p
processus
stochastique
à valeurs
On dit que le
dans R, adapté a une f amille de tribus
processus {Xt }
est une.martingale (resp. super-martingale, sous-martingale) relativement aux tribus
si :
Ft
’
1° Les variables aléatoires sont
(s ~ t)
2° On a, pour tout couple
Lorsqu’aucune
intégrables.
famille de tribus n’est
.
d’instants tels que
mentionnée,
s ~t,
la relation
il est sous-entendu que
RFMARQUES.
1° Dans ce dernier cas, il est clair que la condition ci-dessus est
à la suivante : pour tout
Xt
processus
n1
Xt n
=
équivalent
2° La restriction
système d’instants
(resp. ~,~). Si
nous
d’intégrabilité
parlerons
Propriétés évidentes
a.
{Xt}’
{Ft}’
Soient
tribus
positives),
sur un
un
tl
...
processus est
t , on a
martingale,
t ,
une
tout
l’est aussi.
tion fondamentale ci-dessus
positives ;
croissants
équivalente
des
garde
est
un
peu
gênante.
Il est clair que la rela-
lorsque les Xt sont, par exemple,
martingales (super-, sous-) généralisées.
son sens
alors de
martingales et semi-martingales.
deux
super-martingales
même espace. Les processus
Yt)},
sont des
par
rapport
{aXt
une
même famille de
( a , b ,
+
supen-martingales
à
par
rapport
aux
constantes
Ft .
3-11
{Xt}
b. Soient
martingale,
une
bles aléatoires -g
sont
Xt.
0
une
g
intégrables,
fonction
convexe
{g
le processus
R. Si les varia-
sur
0
X.}
une sous-
est
martingale .
Exemples de martingales~
(0, F , p)
1° Soit
un, espace muni d’une loi de
des sous-tribus de
aléatoire intégrable
tivement
aux
2° Soient
Soit
O. Le processus
sur
Xt
t . Soit
avec
=
E[x)F]
est
X
une
une
variable
martingale
rela-
0
intégra°=les, d’espérance mathématique
indépendantes (ou plus généralement telles que
et
nulle,
Ft
X
F , qui croissent
et soient
probabilité,
la
S
des variables aléatoires
+
somme
...
+
S
processus
est
une
martingale.
3° Le mouvement brownien linéaire issu de l’origine (et plus généralement tout
processus à accroissements indépendants, dont les variables aléatoires sont intégrables et ont
une
espérance mathématique nulle)
est une
martingale.
Deux exemples fondamentaux $
THÉORÈME
1 -
valeurs dans
(0,
Scit
(X , B) ,
F ,p v , {Xt BE0) (.0 R+
=
markovien par
rapport
à
une
N ),
ou
un
processus à
{Ft}
famille de tribus
admet-
A) comme probabilité de transition* Soit
initiale,
f une fonction positive B-mesurable sur X. Pour que le processus {e 20143~b f 0
XJ
(où X est une constante positive ou nulle), soit une super-martingale généralisée
par rapport aux P pour toute mesure initiale v , il faut et il suffit que l’on
A~
ait pour tout te"
Pt
tant 03BD
comme mesure
Démonstration facile. Une telle fonction f
est dite
THEOREME
un
une
2. - Soient
famille
rapport
aux
adaptée
(0, F ,
P ,
processus
A)
et admette
comme
une
martingale
par
rapport
aux
stochastique,
{Fj’
soit markovien par
de tribus" Pour que le processus
probabilité de transition, il faut
et il suffit que, pour toute fonction mesurable bornée
pour toute fonction continue à support
soit
03BB-surmédiane.
f
(ml
si
E
le processus
est
un
espace