proba-stat introduction au fonctions aleatoires

R.ABABOU 2002 : Intro Processus Aléatoires
PROBA-STAT
Circa Janvier 2002
INTRODUCTION
AU FONCTIONS ALEATOIRES:
PROCESSUS ALEATOIRES X(T),
CALCUL DIFFERENTIEL SUR X(T),
EQUATIONS DIFFERENTIELLES STOCHASTIQUES
R.ABABOU
PLAN
1
R.ABABOU 2002 : Intro Processus Aléatoires
2
(I) : FONCTIONS ALEATOIRES X(T) - INTRODUCTION
Processus aléatoire X(t) : définition
Soit la fonction X(t) (t∈IR ou IR+) : X(t) est une fonction ou processus
aléatoire si pour chaque temps t1 fixé X(t1) est une variable aléatoire.
Le processus X(t) est entièrement caractérisée (en probabilité) si l'on
connaît la densité de probabilité (d.d.p) jointe multivariée de toute
collection finie (vecteur) X = {X(t1), X(t2),…, X(ti),…, X(tN)}, ceci ∀ le choix
des {ti} et ∀ N fini. Cette caractérisation complète est rarement possible voir cependant le cas idéal du processus gaussien.
Processus gaussien : définition
Un processus aléatoire X(t) est dit gaussien si toute collection finie
X = {X(t1), X(t2),…, X(ti),…, X(tN)} forme un vecteur aléatoire gaussien,
ceci ∀ le choix des {ti} et ∀ N fini. Autrement dit, le vecteur X doit avoir
une d.d.p multivariée gaussienne.
Dans ce cas, la caractérisation complète du processus se simplifie
considérablement. Elle se ramène à la détermination de la moyenne et
de la fonction d'autocovariance (voir plus loin)(*).
Moments d'un processus X(t)
Moment d'ordre 1 en 1 point :
Moyenne E(X(t)) = mX(t)
Moment d'ordre 2 en 1 point :
Variance Var(X(t)) = σX2(t)
Moment d'ordre 2 en 2 points:
Auto-Covar CXX(t',t") = Cov(X(t'),X(t"))
Rappelons que :
Var(x)=E((x-mx)2),
Cov(x,y)=E((x-mx)(y-my)),
et remarquons que
CXX(t,t) = σX2(t).
Remarque:
Les prochains moments à définir sont ceux d'ordre 3 [en 1, 2, et 3 points]. Pour un processus
gaussien, il suffit de connaître les moments jusqu'à l'ordre 2. En fait, même si le processus
n'est pas gaussien, on s'en contente assez souvent. Mais rappelons que le moment d'ordre 3 en
1 point, normalisé par σX3, donne le coeff. d'asymétrie γ qui quantifie l'asymétrie de la d.d.p
en 1 point (fX) de X(t). Le processus X(t) peut être gaussien seulement si |γ| <<1 (condition
nécessaire, non suffisante).
(*)
Pour plus de détails, voir POLYCOPIE PROBA-STAT (R.A.): ANNEXES : Fonction aléatoire stationnaire
gaussienne, moments, autocovariance, conditions d'ergodicité.
R.ABABOU 2002 : Intro Processus Aléatoires
4
Processus stationnaire
Un processus aléatoire X(t) est dit "stationnaire" ou encore
"homogène" (statistiquement) si ses moments sont invariants par
translation de l'axe des temps (tÎt+to).
Stationnarité stricte:
Tous les moments d'ordre 1,2,…,N (∀N fini) sont invariants…
Stationnarité d'ordre 2:
On se contente de l'invariance des moments d'ordre 1 et 2.
La stationnarité d'ordre 2 implique :
¾ Moyenne E(X(t)) = mX constante (∀t)
¾ Variance Var(X(t)) = σX2 constante (∀t)
¾ Auto-Covariance Cov(X(t'),X(t")) = CXX(t"-t') = CXX(τ) , (∀t', ∀t", t"-t'=τ)
Donc, pour un processus stationnaire jusqu'à l'ordre 2, l'autocovariance
en 2 instants (t',t") ne dépend que du délai τ = t"-t'.
Pour τ = 0, on obtient la variance CXX(0) = σX2, indépendante du temps t.
Si X(t) gaussien, la stationnarité d'ordre 2 implique la stationnarité stricte.
Non-stationnarité:
Certains processus non-stationnaires X(t) peuvent être ramenés à des
processure stationnaires par transformation et/ou extraction de dérives
déterministes. Ainsi, les processus non-stationnaires:
‰
X(t)=m(t)+Y(t),
‰
X(t)=m0+t*Y(t), ou
‰
X(t)=m0+e-btY(eat),
peuvent être ramenés par diverses opérations à un processus
stationnaire de moyenne nulle Y(t)…
R.ABABOU 2002 : Intro Processus Aléatoires
5
Hypothèse d'ergodicité
On ne considère ici que le cas de processus stationnaires.
Pour un processus stationnaire, l'hypothèse d'ergodicité (*) pose
l'équivalence entre moyenne d'ensemble (espérance math.) et moyenne
temporelle (ou spatiale) sur un domaine infini, soit :
T
¾
mX
1
= E ( X (t )) = lim ∫ X (s )ds (constante)
T →∞ T
0
Plus précisément, l'équivalence doit être postulée pour chaque moment
"utile" (selon les applications envisagées) : pour la moyenne mX (cidessus), mais aussi pour la variance σX2, pour l'auto-covariance CXX(τ)
(fonction du délai τ), et éventuellement pour d'autres moments :
2
X
(
= E ( X (t ) − m X )
2
)
T
1
= lim ∫ ( X (s ) − m X )2 ds
T →∞ T
0
¾
σ
¾
C XX (τ ) = E (( X (t ) − m X )( X (t + τ ) − m X ))
= lim
T →∞
1
T −τ
(constante)
T −τ
∫ ( X (s ) − m X )( X (s + τ ) − m X ) ds (fonction du délai τ)
0
Ergodicité d'ordre 2:
En général on se contente de supposer l'ergodicité pour les moments
d'ordre 1 et 2, soit : mX ; σX2 ; et CXX(τ).
Ergodicité stricte :
L'ergodicité stricte est l'équivalence entre moments d'ensemble et
moments temporels multipoints à tous ordres. Pour un processus
gaussien de moyenne nulle, les conditions d'ergodicité stricte se
ramènent à des conditions sur l'autocovariance Cxx(τ) [Yaglom 1962, Sec.4].
Conséquence:
Pour un processus stationnaire et ergodique X(t), les moments peuvent
donc être estimés à partir de moyennes temporelles sur une réalisation
unique du processus - à condition de disposer d'une plage d'observation
T suffisamment longue (T→∞) !
En pratique:
Pour pouvoir appliquer l'hypothèse d'ergodicité, il faut que T >> τ0 , où τ0 est une
échelle caractéristique de fluctuation telle que la longueur intégrale d'autocorrélation
(ci-dessous...). Enfin, pour tester la validité de l'hypothèse d'ergodicité, il faudrait
d'abord générer ou disposer de multiples réalisations du processus X(t)…
R.ABABOU 2002 : Intro Processus Aléatoires
6
Fonctions d'auto-corrélation , échelle(s) de corrélation
Fonction d'autocorrélation (définition) :
¾ RXX(τ) = CXX(τ) / σX2
Quelques propriétés de RXX(τ):
¾ -1 ≤ RXX(τ) ≤ +1 , ∀τ ∈ IR
¾ RXX(τ) est paire : RXX(-τ) = RXX(+τ)
¾ RXX(0)=1 et RXX(±∞)→0 ; mais RXX(τ) pas forcément monotone sur [0,∞[.
Quelques exemples de fonctions d'autocorrélation:
Exponentielle :
RXX(τ) = exp(-|τ|/τo)
[irrégulier, non différentiable]
Gaussienne :
RXX(τ) = exp(-(τ/τ0)2)
[très régulier]
Bruit blanc :
RXX(τ) = c0 δ(τ)
[voir plus loin]
Echelle intégrale d'autocorrélation (τ*)
∞
τ * = ∫ R XX (τ )dτ
0
Par exemple, pour l'autocorrélation exponentielle : τ* = τ0 .
Autres échelles de fluctuation
Voir plus loin (cas de l'autocorrélation gaussienne à trou).
Temps continu et temps discret
On a choisi de présenter le cas des processus à temps continus : pour un processus
aléatoire à temps discret, remplacer les intégrales temporelles par des sommes
discrètes. Il est commode de raisonner en temps continu avant de passer au temps discret…
R.ABABOU 2002 : Intro Processus Aléatoires
7
(II) EXERCICES DE BASE :
DIFFERENTIATION ET INTEGRATION DE FONCTIONS ALEATOIRES
Notations : le symbole <X> est parfois utilisé pour représenter l’espérance mathématique E(X).
1. Processus X(t) stationnaire de moyenne nulle…
ENONCE:
Soit X(t) un processus aléatoire stationnaire de moyenne nulle :
calculer <dX/dt> et <X.dX/dt>.
REPONSE:
<dX/dt> = d<X>/dt = 0, car <X> = mX = 0.
< X(t)dX(t)/dt > = 0.5 <d(X2(t))/dt> = 0.5 d<X2(t)>/dt = 0.5 dσX2/dt = 0,
car σX2 cstante.
Conclusion:
La valeur du processus X(t) au temps "t"
n'est pas corrélée à sa pente dX/dt
au même temps "t".
R.ABABOU 2002 : Intro Processus Aléatoires
8
2. Equa.Diff.Stochastique dY/dt=F(t) ; dérivée d'un processus Y(t)
ENONCE:
Un processus aléatoire Y(t) est régi par une E.D.S de la forme :
dY (t )
= F (t )
dt
où le forçage F(t) est un processus aléatoire autocorrélé, qui peut être
généralement non-stationnaire et de moyenne non-nulle. Connaissant
<F(t)> et CFF(t/,t) :
(i)
(ii)
(iii)
Obtenir l'équation régissant la moyenne <Y(t)>
Obtenir l'équation régissant l’auto-covariance CYY(t/,t).
Si F(t) est stationnaire, Y(t) l’est-elle nécessairement ?
On reprend le même problème avec un point de vue inverse :
supposons que Y(t) est un processus aléatoire connu
(statistiquement), et cherchons à caractériser statistiquement le
processus aléatoire F(t)=dY/dt. A partir des résultats précédents :
(iv)
Exprimer la covariance de la dérivée Y& (t ) d'un processus
Y (t ) .
stationnaire
Interpréter ce dernier résultat et ses conséquences,
notamment concernant la variance de la dérivée d'un
processus, en considérant un exemple si possible.
Notations. Pour un processus Z(t), on utilisera la notation : "mZ" pour sa moyenne,
σZ2 pour sa variance, et CZZ(t1,t2) ou CZZ(τ) pour sa fonction d'auto-covariance.
R.ABABOU 2002 : Intro Processus Aléatoires
9
REPONSE (SUCCINCTE):
(i) En prenant la moyenne de l’E.D.S dY/dt=F(t), on obtient l’éq. moyenne
(déterministe):
d<Y>/dt = <F(t)>.
(ii) On définit ensuite les fluctuations (processus de moyennes nulles):
y(t)=Y(t)-<Y(t)>
f(t)=F(t)-<F(t)>
On soustrait ensuite l'équation moyenne de l’EDS initiale afin d'obtenir une
nouvelle EDS régissant les fluctuations, soit :
dy/dt = f(t).
Utilisons la notation différentielle suivante : yt’(t’) représente dy(t’)/dt’ au temps t’.
On multiplie l’EDS yt’(t’) = f(t’) par y(t”) à gauche, puis on dérive les
deux termes obtenus par rapport à t”, en considérant que t” représente
une seconde coordonnée temporelle indépendante de t’.
De ce fait on doit considérer y(t”) fixée lorsqu’on dérive par rapport à t’, y(t’)
fixée lorsqu’on dérive par rapport à t”, etc. On obtient ainsi :
( y(t’)y(t”) )t’ t’’ = f(t’) yt’’(t’’)
Î
( y(t’)y(t”) )t’ t’’ = f(t’) f(t’’)
On obtient enfin le résultat cherché par prise de moyenne de cette dernière
équation, soit :
( CYY(t’,t”) ) t’ t’’ = CFF(t’,t”)
ou encore, en revenant à la notation différentielle classique :
CFF(t’,t”) = ∂ 2 CYY(t’,t”)/∂ t’∂ t” .
(iii) Si F(t) est stationnaire cela n’implique pas nécessairement que Y(t) l’est
aussi. Par exemple, si F(t) est un bruit blanc (stationnaire) alors Y(t) est un
processus de Wiener (non-stationnaire). Par contre on vérifie facilement que :
si Y(t) est stationnaire alors F(t)=dY/dt l’est aussi.
(iv) Dans cette dernière hypothèse - Y(t) stationnaire - on spécialise la
relation précédente au cas où les covariances C ne dépendent que du délai
s = t” –t’. En notant :
F(t) = dY/dt = Y& (t ) ,
on obtient :
CFF(s) = CY&Y& (s ) = - d2CYY(s)/ds2 .
qui exprime donc la covariance de la dérivée d’un processus stationnaire.
R.ABABOU 2002 : Intro Processus Aléatoires
10
3. E.D.S dY/dt=F(t) et intégrale d'un processus aléatoire F(t)
ENONCE:
Le processus aléatoire Y(t) étant régi par une E.D.S de la forme :
dY (t )
= F (t )
dt
on peut écrire formellement Y(t) sous forme intégrale :
t
Y (t ) = Y (t 0 ) + ∫ F (s )ds
to
Utiliser cette intégrale pour exprimer directement CYY(t',t") en fonction
de CFF(t',t").
REPONSE (INDICATIONS):
La relation cherchée peut s'obtenir indirectement en intégrant deux fois le
résultat précédent, i.e.:
CFF(t’,t”) = ∂ 2 CYY(t’,t”)/∂ t’∂ t”.
Un calcul direct de la covariance CYY(t',t") à partir de l'intégrale est
également possible.
Cette dernière approche permet de caractériser l'intégrale du bruit blanc
(processus de WIENER, mouvement brownien, ou marche aléatoire).