Telechargé par perrinkonmenek

H-TdS - Signaux aleatoires

publicité
Signaux aléatoires
Hugues GARNIER
[email protected]
TdS
1
H. Garnier
Sommaire de l’EC de TdS
A. Analyse et traitement de signaux déterministes
I.
Rappels sur la théorie de l’échantillonnage
II. Modélisation non paramétrique : spectres
III. Méthodes d’estimation via la transformée de Fourier
IV. Filtrage linéaire RIF et RII
B. Analyse et traitement de signaux aléatoires
Signaux aléatoires
II. Modélisation paramétrique : modèles AR, ARMA, …
III. Méthodes d’estimation : moindres carrés, gradient…
IV. Filtrage adaptatif
V. Prévision de séries temporelles
I.
TdS
2
H. Garnier
Pré-requis
• Analyse et traitement de signaux déterministes
• Probabilité et statistiques (3A)
– Variables aléatoires
– Densités de probabilité d’ordre 1, 2, ..., n
– Moments d’ordre 1 et 2 : moyenne, variance, fonction
d’autocorrélation et d’autocovariance
– Moyennes statistiques, moyennes temporelles
– Fonction d’intercorrélation et d’intercovariance
TdS
3
H. Garnier
L’aléatoire en théorie du signal
• Jusqu’à présent, les signaux et les filtres considérés et modélisés étaient
supposés connus parfaitement
– On dit que ces signaux sont déterministes ou certains
– on peut les décrire par une fonction mathématique et donc
parfaitement prévoir leur évolution
• Dans beaucoup de cas pratiques, les phénomènes observés dans des
situations apparemment identiques semblent présenter des variations
imprévisibles
– on dit que ces signaux sont aléatoires ou stochastiques
• Pour étudier l’évolution des signaux aléatoires, on a recours à des modèles
probabilistes qui s’appuient sur la théorie des probabilités et statistiques
TdS
4
H. Garnier
L’aléatoire en théorie du signal
• Pour étudier l’évolution des signaux aléatoires, on s’appuie sur la
théorie des probabilités et statistiques
• Cette théorie constitue les bases fondamentales pour comprendre
– l’apprentissage automatique (machine learning)
– les techniques avancées de traitement du signal
– le traitement des images
– la modélisation et la reconnaissance de la parole
– la prévision de séries temporelles
– l’apprentissage statistique de modèles dynamiques (identification de
systèmes) en automatique continue
– La commande optimale
– …
TdS
5
H. Garnier
Les signaux aléatoires sont partout !
D’après J. Antoni – Université de Lyon
TdS
6
H. Garnier
Classification des signaux
D’après J. Antoni – Université de Lyon
TdS
7
H. Garnier
Modèles de signaux déterministes
• Signaux dont l’évolution en fonction du temps peut être parfaitement
prévue par une fonction mathématique
0
TdS
t
8
H. Garnier
Modèles de signaux aléatoires stationnaires
– Signaux ayant un caractère non reproductible dont l’évolution au
cours du temps semble être le fruit du hasard
– On décrit ses propriétés à l’aide de probabilités et statistiques
0
TdS
t
9
H. Garnier
Comment modéliser un signal aléatoire ?
• Mathématiquement, un signal aléatoire est considéré comme la réalisation
d’un processus aléatoire
• Un processus aléatoire est une fonction qui à un évènement associe une
réalisation d’un signal
– à un instant donné ti, processus = variable aléatoire
– pour un évènement donné ωi, processus = signal aléatoire (=réalisation)
– il comprend une infinité de réalisations, dont
une seule correspond à l’observation de
l’évènement
•
TdS
C’est une idéalisation mathématique
abstraite mais très pratique pour faire
l’analyse d’un signal aléatoire
10
H. Garnier
Caractérisation statistique d’un processus aléatoire
• Signal aléatoire : réalisation d’un processus aléatoire et la valeur prise
à un instant donné est une variable aléatoire
Signal aléatoire
= réalisation
Variable aléatoire
TdS
11
H. Garnier
Exemple de processus aléatoire
• Consommation énergétique à midi des villes en France
Signal aléatoire
= réalisation
= variable aléatoire
TdS
12
H. Garnier
Caractérisation de variables aléatoires - Rappels
• Densité de probabilité
– Exemple : densité de probabilité gaussienne
• Statistiques d’ordre 1
– Moment d’ordre 1 ou moyenne
– Moment d’ordre 2 ou moyenne quadratique
– Moment centré d’ordre 2 ou variance (écart-type)
• Statistiques d’ordre 2
– Fonction d’autocorrélation ou d’autocovariance
Voir si besoin la vidéo de Franck Corbin sur les signaux aléatoires
www.youtube.com/watch?v=H_LmWLfVQWc
TdS
13
H. Garnier
Caractérisation statistique d’un processus aléatoire
Densités de probabilité d’ordre 1
• On considère les valeurs prises par le processus aléatoire à un instant fixé
ti : X(ti)
• La densité de probabilité d’ordre 1 à l’instant ti , notée fX(x,ti) correspond à
la distribution des valeurs de la variable aléatoire à cet instant
TdS
14
H. Garnier
Exemple de densité d’ordre 1 – Bruit en électronique
Le bruit en électronique a une densité d’ordre 1 fX(x,ti) gaussienne pour tout t
TdS
15
H. Garnier
Densité de probabilité gaussienne (normale)
• Représente un modèle convenable pour de nombreux signaux aléatoires
f(x) =
1
σ 2π
e
2
1 ⎛ x−m ⎞
− ⎜
⎟
2 ⎝ σ ⎠
m : moyenne
σ : écart-type
1
σ 2π
f(x)
P( m − σ ≤ x ≤ m + σ ) = 67%
P( m−2σ ≤ x ≤ m+2σ )=95%
P( m − 3σ ≤ x ≤ m + 3σ ) = 99%
P( m − 4σ ≤ x ≤ m + 4σ ) = 99,9%
0 m-σ
TdS
16
m
m+σ
x
H. Garnier
Caractérisation statistique d’un processus aléatoire
Densités de probabilité d’ordre 2
• On considère le couple des valeurs prises X(ti) et X(tj) par le processus
aléatoire à deux instants ti et tj
• La densité de probabilité d’ordre 2 correspond à la distribution conjointe
des valeurs de ce couple de variables aléatoires
TdS
17
H. Garnier
Exemple de densité d’ordre 2 – Bruit blanc
D’après F. Heitz – Université de Strasbourg
TdS
18
H. Garnier
Caractérisation statistique d’un processus aléatoire
Densité de probabilité d’ordre n
• Théorème : un processus aléatoire est entièrement décrit par ses
densités de probabilité conjointes d’ordre n
– Ces densités représentent la façon dont cc
les valeurs se distribuent aux n instants
t1, t2, … tn
– Elles ne sont pas faciles à obtenir
pratique !
en
• On se contente d’une caractérisation partielle à
partir de ses statistiques d’ordre 1 et 2
TdS
19
H. Garnier
Caractérisation statistique d’un processus aléatoire
Moyenne et variance statistique
• En général, on ne connaît pas les densités conjointes d’ordre n
• On se contente souvent d’une caractérisation partielle avec des moments
1 et 2 qui se calculent à partir des densités d’ordre 1 et 2
TdS
20
H. Garnier
Moyenne et variance statistique – Ne pas confondre avec
moyenne et variance temporelle
D’après F. Heitz – Université de Strasbourg
TdS
21
H. Garnier
Caractérisation statistique d’un processus aléatoire
Fonction d’auto-corrélation statistique
D’après F. Heitz – Université de Strasbourg
TdS
22
H. Garnier
Caractérisation temporelle d’un signal aléatoire
• Signal aléatoire = 1 réalisation d’un processus aléatoire
• Pour une seule réalisation donnée, on obtient une réalisation du
processus (=signal aléatoire). On peut calculer des moyennes
temporelles
TdS
23
H. Garnier
Caractérisation temporelle d’un signal aléatoire
• Moyenne temporelle (mesure de position)
N
1
x = lim
∑ x( k )
N→+∞ 2N +1 k=−N
• Puissance (mesure d’intensité) et variance temporelle (mesure de dispersion)
– Par convention, un signal aléatoire x(k) est considéré comme un signal à énergie
infinie mais à puissance moyenne finie
N
1
Px = lim
x 2( k )
∑
N→+∞ 2N +1 k=−N
σ x2
N
1
= lim
x( k ) − x
∑
N→+∞ 2N +1 k=−N
(
)
2
• Fonction d’autocorrélation (temporelle)
N
1
Rxx ( τ ) = lim
∑ x( k )x( k − τ )
2N
+1
N→+∞
k=−N
TdS
24
H. Garnier
Signaux stationnaires
• Pour un processus aléatoire quelconque,
les caractéristiques statistiques : densité
de probabilité et moments d’ordre n,
dépendent des instants ti auxquels elles
sont calculées
• Certains processus présentent des
caractéristiques stationnaires invariantes
au cours du temps
• On dit qu’ils sont stationnaires. Ils ont un comportement statistiquement
constant par rapport au temps
• La stationnarité est d’une importance théorique et pratique considérable :
– génère de nombreuses propriétés
– est à la base de nombreuses méthodes de traitement du signal
TdS
25
H. Garnier
Signaux stationnaires
• Stationnarité au sens strict
– La densité de probabilité conjointe ne dépend pas de l’instant ti
– Toutes ses propriétés statistiques sont donc invariantes dans le temps
• Stationnarité au sens large (ou au second ordre)
– Un processus aléatoire est stationnaire au sens large si ses statistiques
d’ordre 1 et 2 sont invariantes dans le temps
– La moyenne statistique ne dépend pas de l’instant ti
Ε{x(ti )} = m(ti ) = m, ∀ ti
– La fonction d’auto-corrélation ne dépend pas du temps (la variance aussi)
Rxx (t1 + θ ,t 2 + θ ) = Rxx (t1,t 2 ) = Ε{x(t1 )x(t 2 )}
• Rxx(t1,t2) ne dépend que que τ = t1-t2
Rxx ( τ ) = Ε{x(t )x(t − τ )} = Ε{x(t + τ )x(t )}
TdS
26
H. Garnier
Signaux stationnaires - Exemples
D’après J. Antoni – Université de Lyon
TdS
27
H. Garnier
Signaux non-stationnaires - Exemples
D’après F. Heitz – Université de Strasbourg
TdS
28
H. Garnier
Signaux stationnaires
Interprétation de la fonction d’autocorrélation
• Mesure de la vitesse de variations des évolutions temporelles
– elle permet de calculer la DSP d’un signal (voir plus loin)
– on compare le signal avec lui-même mais décalé de τ
– elle permet également de voir en quoi le signal à un instant donné est
influencé par ce qui s'est passé à un instant précédent
– un signal très auto-corrélé à des fluctuations lentes et une apparence
«lisse »
– un signal peu auto-corrélé a des fluctuations très rapides et une
apparence « chaotique »
D’après J. Antoni – Université de Lyon
TdS
29
H. Garnier
Propriétés de la fonction d'autocorrélation
•
Rxx(τ) est une fonction paire Rxx(τ) = Rxx(-τ).
– Il suffit donc de calculer Rxx(τ) pour τ >0 puis de faire la symétrie par
rapport à l’axe des ordonnées
•
•
Rxx(0) est le maximum de Rxx(τ)
2
xx (τ )
Rxx ( 0) = x + σ x2
lim Rxx ( τ ) = x
R
2
2
σx
τ →∞
• si x est centré
lim Rxx ( τ ) = 0
2
x
τ →±∞
0
Rxx ( 0) = σ x2
TdS
30
τ
H. Garnier
Signaux stationnaires ergodiques
• Ergodicité au sens strict
– Un processus aléatoire est ergodique au sens strict si tous ses moments
statistiques sont égaux aux moments temporels
• Ergodicité au sens large (au second ordre)
– Un processus aléatoire est ergodique au sens large si ses moments
statistiques d’ordre 1 et 2 = aux moments temporels d’ordre 1 et 2
– Densité de probabilité = histogramme
• Résultat d’une importance pratique fondamentale
– On peut calculer les propriétés statistiques d’après l’observation
temporelle d’une seule réalisation du processus aléatoire stationnaire
N
1
m = Ε{x( k )} = x = lim
∑ x( k )
2N
+1
N→+∞
k=−N
N
1
Rxx ( τ ) = Ε{x( k )x( k − τ )} = lim
x( k )x( k − τ )
∑
N→+∞ 2N +1 k=−N
TdS
31
H. Garnier
Signaux stationnaires ergodiques
• Ergodicité => densité de probabilité = histogramme
densité de probabilité
= histogramme
D’après J. Antoni – Université de Lyon
TdS
32
H. Garnier
Signaux stationnaires ergodiques
• Ergocité => Densité de probabilité = histogramme
D’après J. Antoni – Université de Lyon
TdS
33
H. Garnier
Signaux stationnaires ergodiques
• Ergodicité : considéré comme une des notions les plus importantes en
statistiques
• Intuitivement, un processus est ergodique si UNE réalisation quelconque
de ce processus porte en elle toutes les informations statistiques
permettant de décrire le processus dans son ensemble
• L’ergodicité permet en particulier de calculer les propriétés statistiques
mais aussi le spectre d’un signal aléatoire à partir d’une seule réalisation
D’après F. Heitz – Université de Strasbourg
TdS
34
H. Garnier
Energie et puissance - Rappels
• Energie (totale)
+∞
Ex =
∑
x( k )
x( k )
2
2
Aire
Ex
Px
k=−∞
• Puissance moyenne (totale)
0
k
N
2
1
Px = lim
x(
k
)
∑
N→+∞ 2N +1
k=−N
La fonction x2(k) correspond à une répartition de l’énergie du signal au cours
du temps = densité temporelle d’énergie
La puissance moyenne représente une répartition moyenne de
l’énergie au cours du temps = densité temporelle de puissance
TdS
35
H. Garnier
Densité spectrale de puissance
• La fonction d’autocorrélation est une description dans le domaine
temporel d’un processus aléatoire stationnaire du second ordre
• Un signal aléatoire est généralement d’énergie infinie. On ne peut calculer
sa transformée de Fourier (problème de convergence de la somme)
• Théorème d’EINSTEIN-WIENER–KHINTCHINE
– La densité spectrale de puissance d'un signal aléatoire
stationnaire ergodique est la transformée de Fourier de sa
fonction d'autocorrélation
1/ 2
+∞
Φx ( f ) =
∑
Rxx ( τ ) e− j 2π f τ
τ =−∞
Rxx ( τ ) =
∫
Φx ( f ) e j 2πτ f df
−1/ 2
Rxx ( 0) = σ x2
1/ 2
=
∫
Φx ( f ) df
−1/ 2
On parle de DSP ou de spectre de puissance (power spectrum)
TdS
36
H. Garnier
Propriétés de la DSP
+∞
Φx ( f ) =
∑ Rxx ( τ ) e− j 2π f τ
τ =−∞
• La DSP est à valeurs réelles (pas à valeurs complexes comme le TFtd)
• La DSP d’un signal échantillonné à la période Te=1/fe est
périodique de période fe
• La DSP est positive ou nulle
Φx ( f ) ≥ 0
∀f
• La DSP d’un signal à valeurs réelles est paire
Φx ( −f ) = Φx ( f )
TdS
37
H. Garnier
Processus aléatoires fondamentaux
• Certains processus aléatoires jouent un rôle privilégié dans la
représentation des signaux physiques et permettent de modéliser
un grand nombre de phénomènes en pratique :
– Le bruit blanc
– Le processus blanc gaussien
– La marche aléatoire
– Les processus AR, MA, ARMA
– Les processus de Markov
– ….
TdS
38
H. Garnier
Le bruit blanc
• Un signal aléatoire e(k), de moyenne nulle, dont la densité
spectrale de puissance Φe(f) est constante pour toute valeur de
fréquence est appelé bruit blanc (analogie avec la lumière blanche)
• Sa DSP est constante : la puissance est répartie de façon uniforme sur
l’ensemble des fréquences
• Sa densité de probabilité peut être quelconque : uniforme, gaussienne, …
• Il est caractérisé par une décorrélation complète entre variables à des
instants différents. Sa fonction d’autocorrélation est donc une impulsion
de Dirac
0
TdS
Ree(τ )
Φe(f)
σ e2
σ e2
0
τ
39
f
H. Garnier
Le bruit blanc gaussien
• C’est un bruit blanc qui suit une loi de probabilité gaussienne
TdS
40
H. Garnier
Le bruit blanc gaussien - Exemple
• C’est un bruit blanc qui suit une loi de probabilité gaussienne
Sous Matlab
>>e=randn(500,1); plot(e)
TdS
41
H. Garnier
Le bruit blanc gaussien
fX ( x ) =
1
2πσ 2
e
−
fX(x)
1
σ 2π
1 x2
2 σ2
σ 2 : variance
-σ
0
+σ
x
• Propriétés importantes
– Les variables aléatoires gaussiennes x(k1) et x(k2) pour k1≠k2 sont noncorrélées (propriété d’un bruit blanc) et donc indépendantes (propriété des
densité de probabilité gaussienne)
– La densité de probabilité gaussienne est la seule loi pour laquelle il y a
équivalence entre non-corrélation et indépendance
– Les lois gaussiennes préservent leur caractère gaussien dans toute
opération linéaire : convolution, filtrage, dérivation, intégration
TdS
42
H. Garnier
Théorème de la limite centrale
• La densité de probabilité de la somme de n variables
aléatoires indépendantes de même loi tend vers la loi
gaussienne quand n tend vers l’infini (d’où le nom de loi
gaussienne ou loi normale)
TdS
43
H. Garnier
Signal non stationnaire particulier
La marche aléatoire (random walk)
• La marche aléatoire est la somme cumulative d’un bruit blanc discret e(k)
x( k ) = x( k −1) + e( k )
k
Si
x( 0) = 0,
x( k ) = ∑ e( k )
i =1
• Une marche aléatoire modélise :
– le cheminement des pas d’un ivrogne qui essaie de rentrer chez lui
– le niveau des stocks dans une entreprise
– les gains et les pertes d’un joueur au casino, etc.
• C’est un signal non stationnaire !
– sa variance dépend du temps
TdS
44
H. Garnier
Marche aléatoire - Exemple
Sous Matlab
>>v=cumsum(randn(500,1);plot(v)
TdS
45
H. Garnier
Modélisation des signaux aléatoires stationnaires
e(k)
H( q −1 )
y(k)
y( k ) = H( q −1 )e( k )
TdS
46
H. Garnier
Factorisation spectrale
• Toute DSP non nulle et d’amplitude finie peut être factorisée pour f
( )
Φy ( e jΩ ) = H e jΩ
2
× σ e2
( )
Φy ( z ) = H z H z−1 × σ e2
()
avec Ω = 2π
f
fe
( )
H e
jΩ
2
⎡ f f ⎤
∈ ⎢− e ; e ⎥
⎣ 2 2⎦
( ) ( )
= H e jΩ H * e jΩ
avec z = e jΩ
⇒ Un signal aléatoire stationnaire corrélé peut être obtenu comme la sortie
d’un filtre linéaire avec un bruit blanc à l’entrée de variance
Bruit blanc
σ e2
Signal aléatoire stationnaire corrélé
Filtre linéaire
y(k)
e( k )
+∞
y( k ) = h( k )* e( k ) =
∑ h( i ) e( k − i )
i =−∞
TdS
47
H. Garnier
Modèles paramétriques
d’un signal aléatoire stationnaire corrélé
•
Un signal aléatoire stationnaire corrélé est ainsi souvent modélisé comme la
réponse d’un filtre à un autre signal aléatoire de caractéristiques plus simples
•
L’idée essentielle est qu’un signal dont les échantillons sont très corrélés peut être
considéré comme la sortie d’un filtre linéaire qui a pour entrée une suite de nombres
statistiquement indépendants (= bruit blanc souvent gaussien)
Bruit blanc
Filtre linéaire
TdS
48
Signal aléatoire
stationnaire corrélé
H. Garnier
Opérateur retard – Opérateur de transfert
• Soit une équation aux différences
y( k ) + d1y( k −1) +! + dn y( k − nd ) = e( k ) + c1e( k −1) +! + cn e( k − nc )
d
c
• On définit l’opérateur retard q-1 q −1y( k ) = y( k −1)
y( k ) + d1q −1y( k ) +! + dn q
d
(
1+ d1q −1 +! + dn q
d
−nd
)
−nd
y( k ) = e( k ) + c1q −1e( k ) +! + cn q
−nc
c
(
y( k ) = 1+ c1q −1 +! + cn q
D( q −1 )y( k ) = C( q −1 )e( k )
−nc
c
e( k )
) e( k )
C( q −1 ) = 1+ c1q −1 +! + cn q
−nc
c
−1
D( q ) = 1+ d1q
−1
+! + dn q
−nd
d
• On définit l’opérateur de transfert H(q-1) (analogie avec H(z))
−1
y( k ) = H( q )e( k ) =
TdS
C( q −1 )
D( q −1 )
e( k )
49
Y ( z ) = H( z )E( z ) =
C( z )
E( z )
D( z )
•49
H. Garnier
Modèles paramétriques
d’un signal aléatoire stationnaire
Bruit blanc
( )
e( k ) ~ N 0,σ e2
H( q −1 )
Signal aléatoire
stationnaire corrélé
y(k)
•
Le filtre linéaire H(q-1) peut avoir différentes structures qui
correspondent à différents modèles pour le signal aléatoire
•
Il existe trois modèles paramétriques essentiels de signaux
aléatoires stationnaires
- modèle MA : modèle dit à moyenne ajustée
- Modèle AR : modèle autorégressif
- Modèle ARMA : modèle autorégressif à moyenne ajustée
TdS
50
H. Garnier
Modèles paramétriques usuels
de signaux aléatoires stationnaires
•
Suivant la forme du filtre, on obtient différentes structures de
modèles
Modèle AR
e(k)
y(k)
1
Modèle MA
e(k)
y(k)
D( q )
y( k ) =
−1
e( k )
D( q )
1
H( q −1 ) =
D( q −1 )
TdS
e(k)
C( q −1 )
−1
1
Modèle ARMA
y( k ) = C( q )e( k )
−1
H( q ) = C( q )
51
y(k)
A( q −1 )
−1
−1
C( q −1 )
D( q −1 )y( k ) = C( q −1 )e( k )
−1
H( q ) =
C( q −1 )
D( q −1 )
H. Garnier
Structures de modèles paramétriques - Exemples
•
Déterminer la forme polynomiale des 3 équations aux différences
ci-dessous et en déduire le type de modèle (AR, MA, ARMA)
y( k ) = 1,5y( k −1) − 0,7y( k − 2) + e( k )
y( k ) = e( k ) + 0.01e( k −1) − 0,02e( k − 2)
y( k ) = 1,5y( k −1) − 0,7y( k − 2) + e( k ) + 0.01e( k −1) − 0,02e( k − 2)
TdS
52
H. Garnier
Modèles paramétriques de signaux aléatoires et leur
modèles non paramétriques associés - Exemple
e(k)
q
H( q ) =
=
−1
q − 0,9
1− 0,9q
−1
1
y(k)
y( k ) = 0,9y( k −1) + e( k )
TdS
53
H. Garnier
Signaux aléatoires stationnaires
Evolution temporelle - Exemples
TdS
54
H. Garnier
Signaux aléatoires stationnaires
Fonction d’autocorrélation - Exemples
TdS
55
H. Garnier
Signaux aléatoires stationnaires
Densité spectrale de puissance - Exemples
TdS
56
H. Garnier
Téléchargement
Explore flashcards