Traitement du Signal 4GE

2 - Introduction au traitement des
signaux aléatoires
•
•
•
•
•
Introduction
Processus aléatoire
Corrélation, autocorrélation...
Stationnarité, ergodicité
Densité spectrale
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
39
2-1 Introduction
• Signaux aléatoires : bruit électronique,
le signal de parole...
• Signal déterministe
information
Quand on connaît le passé, la
probabilité d’apparition d’un niveau
donné à l’instant t est soit nulle, soit
certaine (=1).
• L’information est liée à un certain degré
d’incertitude, d’aléatoire.
• Signal déterministe
formule
définissant parfaitement le signal.
• Signal aléatoire
paramètres
statistiques définissant les
POSSIBILITES d’évolution du signal.
Valeur future exacte du signal
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
40
Introduction
• Paramètres statistiques d’un signal
aléatoire:
– Moyenne, variance, autocorrélation,
moments, ...
• Ces paramètres peuvent être eux mêmes
aléatoires (non stationnaire)
– exemple: le signal de parole
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
41
Introduction
• L’ «astuce» du temps différé:
– on enregistre et on rejoue le signal.
– le signal n’est plus aléatoire. Il est
parfaitement connu.
• Oui, mais....
– traitement en temps réel, futur inconnu
– généraliser un traitement à des signaux
futurs «presques» identiques à ceux que
l’on posséde déjà
Le passé ne permet pas de déterminer
complètement l’avenir.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
42
Introduction
• Signal aléatoire = Bruit
• Exemple
– Transmettre la parole sur des cables
d’alimentation secteur 50 Hz
• Le signal important est la parole,
c’est un signal aléatoire
• Le bruit génant est déterministe,
c’est une sinusoïde à 50 Hz
• Exemple
– Réception d’un signal numérique au
bout d’une ligne de transmission
• Le signal numérique est aléatoire
• Le bruit sur la ligne de transmission
est aussi aléatoire
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
43
2-2 Processus aléatoire ou
stochastique
• Processus stochastique = famille de
fonction aléatoire X(t,u)
• t est une variable réelle (par exemple le
temps)
• u est un ensemble d’événements
• t et u peuvent être des variables
continues ou discrètes
• X(t,u) peut prendre des valeurs
continues ou discrètes, scalaires ou
vectorielles.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
44
Exemple 1
• Bruit thermique dans un ensemble de
résistances R={Ri , i=1,N} de même
valeur ohmique
R1
tk
t
R2
t
R3
t
• t est une variable continue, R est une
variable discrète
• X(t,Ri) est une représentation
particulière du processus X(t,R) pour
l’événement «Ri a été choisie»
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
45
Exemple 1 (suite)
• Pour un instant tk donné, X(tk,R) est une
variable aléatoire
• Le processus aléatoire prend des valeurs
continues, scalaires et réelles.
• Si les signaux étaient numérisés, la
variable t deviendrait discrète, ainsi que
les valeurs prises par le processus (à
cause de la quantification du CAN)
• Une réalisation particulière X(t,Ri) n’est
pas un signal déterministe.
• Tous les signaux sont à priori différents,
mais le phénomène physique à l’origine
du signal est le même pour toutes les
résistances
Trouver des lois statistiques
communes
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
46
Exemple 2
• Signal sinusoïdal à phase aléatoire
X (t , u)  a cos( t  u)
phase u variable aléatoire uniformément
répartie entre 0 et 2p
X(t,u)
t
u est à valeur réelle continue
X(t,u) est à valeur continue, scalaire et réelle
Un signal particulier X(t,ui) est déterministe.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
47
Exemple 2 (suite)
• Densité de probabilité de la phase u
1
f u ( u) 
, u   p ,p
2p


Pour un instant donné tk, calcul des moments
statistiques de la variable aléatoire X(tk,u)
• Espérance mathématique
E[ X (t k , u)]  E[ X (t k )] 
p
p f
u
(u) a cos( t k  u)du 

p
1
a  cos( t k  u)du  0
2p p
• Variance
E[ X 2 (t k , u)]  E[ X 2 (t k )] 
p
2
a
2
2
f
(
u
)
a
cos
( t k  u)du 
p u
2
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
48
Exemple 2 (suite)
Pour une valeur particulière ui
(événement) de la phase, on peut
calculer des paramètres temporels du
signal X(t,ui)
2p
• Moyenne temporelle (T   )
E [ X (t , ui )]  X (ui ) 
T /2
1
a cos( t  ui )dt  0

T T / 2
• Variance temporelle, carré de la valeur
efficace
E[ X 2 (t , ui )]  X 2 (ui )
T / 2
2
1
a
2
2

a
cos
( t  ui )dt 

T T / 2
2
Remarque: On obtient ici des valeurs identiques à
l’éspérance et à la variance statistiques
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
49
Caractérisation d’un processus
aléatoire. Lois de probabilité.
• Statistiques du premier ordre
– Fonction de répartition et densité de
probabilité pour un tk donné
FX ( x , t k )  prob( X (t k , u)  x ) et
 FX ( x , t k )
f X ( x, tk ) 
x
• L’éspérance mathématique (n=1) et les
moments d’ordre supérieur sont définis par

E[ X n (t k )] 
n
X
 (tk ) f X ( x, tk )dx

Remarque: Les moments peuvent dépendre
de tk
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
50
Exemple: Processus gaussien
• Un processus, ou signal, ou bruit,
gaussien posséde une densité de
probabilité définie par une loi normale
1 ( x  m) 2
f X ( x, t k ) 
exp( 
)
2
2
2 
2p 
1
m étant la moyenne et  l’écart-type
=1
m=0
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
51
Exemple: processus gaussien
La densité de probabilité représente la
statistique des amplitudes du signal à un
instant donné, pour l’ensemble des
réalisations possibles du processus. L’allure
temporelle des réalisations d’un processus
gaussien ne ressemble pas forcément à un
bruit comme ci dessous.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
52
Exemple: signal sinusoïdal à
phase aléatoire
La phase ayant une densité de probabilité
uniforme, les statistiques ne dépendent pas de
l’instant tk.
Par commodité on se place à tk=T/2=0.5 T
X (t , u)  a cos( t  u)
a
T
x1
On cherche la fonction de répartition
FX(x1) = FX(0.5 T,u) = Prob ( X(0.5 T,u) < x1)
C’est à dire
FX(x1) = Prob (u > -arcos(-x1 /a) et
u < arcos(-x1 /a) )
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
53
Exemple: signal sinusoïdal à
phase aléatoire (suite)
C’est à dire
x1
)
a
x
 arcos(  1 )
a
FX ( x1 )  
arcos( 
FX ( x1 )  1 
f u (u)du
arcos( x1 / a )
p
La densité de probabilité s’obtient par
dérivation de la fonction de répartition
1
f X ( x) 
p (a ²  x ²)
-a
a
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
x
54
Caractérisation des processus
aléatoires
• Statistique du deuxième ordre
– Relation entre les statistiques prises à
deux instants t1 et t2 différents
– On considère deux variables aléatoires
X(t1,u) et X(t2,u)
• Fonction de répartition conjointe
FXX (a , b, t1 , t2 )  prob( X (t1 )  a , X (t2 )  b)
• Densité de probabilité
 2 FXX (a , b, t1 , t2 )
f XX (a , b, t1 , t2 ) 
 a b
• Si les deux variables aléatoires sont
indépendantes (Ce qui se passe à t1 ne
dépend pas de ce qui se passe à t2)
FXX (a, b, t1 , t2 )  FX (a, t1 ) FX (b, t2 )
f XX (a, b, t1 , t2 )  f X (a, t1 ) f X (b, t2 )
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
55
2-3 Corrélation, Autocorrélation...
• Signaux déterministes
– Signaux à énergie finie
– Signaux à puissance finie
Mesure de ressemblance
Autocorrélation temporelle
• Processus aléatoires
Statistique du second ordre
Caractérisation fréquentielle
des signaux aléatoires (Densité spectrale)
Autocorrélation statistique
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
56
Corrélation, autocorrélation...
Signaux à énergie finie
• Energie d’un signal continu ou discret

Ex 
 x (t )
2

dt   , E x 

 x[ k ]
2

k 
• Signaux transitoires
• Signaux de durée finie
• Existence de la transformée de Fourier
Dans la réalité, en pratique, tous les signaux
sont à énergie finie.
Exemples:
x(t) = Rect(t) énergie finie
x(t) = a constant n’est pas à énergie finie
x(t) = V sin(2pft) n’est pas à énergie finie
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
57
Corrélation, autocorrélation...
Signaux à énergie finie
• Autocorrélation temporelle

Rxx (t ) 
*
x
 (t ) x(t  t )dt ,


Rxx [ j ] 
*
x
 [ k ]x[ k  j ]
k 
•
•
•
•
Si x(t) est réel, l’autocorrélation est réelle
Dimension V²/Hz ou A²/Hz
Analogie avec la convolution
C’est un produit scalaire, projection de
x*(t) sur x(t) décalé de t
• Pour t = 0, on retrouve l’énergie du signal
Rxx(0) = Ex
• Rxx(t) est maximale en t =0. Rien ne
ressemble plus au signal que lui-même.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
58
Corrélation, autocorrélation...
Signaux à énergie finie
• L’autocorrélation posséde la propriétés de
symétrie hermitique
*
*
Rxx ( t )  Rxx
(t ) , Rxx [  j ]  Rxx
[ j]
Si le signal est réel, l’autocorrélation est donc
réelle est paire.
• Exemple
x(t) = Rect (t/T)
Rxx(t)=T Tri(t/T)
Rect(t/T)
1
-T/2
T/2
Rxx(t)
T
t
-T
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
T
t
59
Corrélation, autocorrélation...
Signaux à énergie finie
• Intercorrélation

Rxy (t ) 
*
x
 (t ) y(t  t )dt
,


Rxy [ j ] 
*
x
 [ k ] y[ k  j ]
k 
• Symétrie hermitique
*
*
Rxy (t )  Ryx
(t ) , Rxy [ j ]  Ryx
[ j]
(Attention à l’inversion de x et y dans le deuxième membre
des équations)
• Mesure du degrè de ressemblance entre
deux signaux en fonction d’un décalage
• Projection de x(t) sur y(t+t), produit
scalaire
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
60
Corrélation, autocorrélation...
Signaux à énergie finie
• Exemple d’intercorrélation
x(t)
1
y(t)
1
-T
-T/2
T
T/2 t
t
-1
Rxy(t)
T
-3T/2 -T/2
T/2
3T/2
t
-T
Le signal x(t) ressemble le plus à y(t) aux
instants -T/2 et T/2. En t=0, x(t) ne ressemble
pas du tout à y(t) (ils sont orthogonaux, produit
scalaire nul).
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
61
Corrélation, autocorrélation...
Signaux à puissance finie
• Approximation de signaux réels
• Exemples
– Signal continu x(t)=a
– Signal sinusoïdal x(t)=V Sin(2pft)
– Signaux aléatoires, signaux
périodiques, impulsion de Dirac,
échelon unité...
• Puissance finie
T /2
1
2
Px  lim
x (t ) dt

T  T
T / 2
1
Px  lim
N  2 N
N 1
 x[ k ]
,
2
k  N
• Signal à énergie finie = puissance nulle
• Signal à puissance finie = énergie infinie
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
62
Corrélation, autocorrélation...
Signaux à puissance finie
• Autocorrélation temporelle,
intercorrélation
Problème de convergence des intégrales et
des sommes
T / 2
1
*
R xy (t)  lim
x
( t ) y( t  t)dt,

T T
T / 2
1 N1 *
R xy [ j]  lim
x [k ]y[k  j]

N 2 N k  N
• Notation
Rxy (t )  x * (t ) y (t  t ) ,
Rxy [ j ]  x [ k ] y[ k  j ]
*
• Dimensions: V² ou A²
• Autocorrélation: y(t)=x(t) dans les
formules précédentes
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
63
Corrélation, autocorrélation...
Signaux à puissance finie
• Autocorrélation des signaux périodiques
Le calcul sur une seule période suffit
T /2
1
*
Rxx (t ) 
x
(t ) x (t  t )dt

T T / 2
1
Rxx [ j ] 
N
,
N 1
 x [ k ]x[ k  j ]
*
k O
L’autocorrélation d’un signal périodique est
elle même périodique.
Par définition, le signal périodique ressemble
parfaitement à lui même, décalé d’une ou
plusieurs périodes.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
64
Corrélation, autocorrélation...
Processus aléatoires
• On peut calculer l’autocorrélation
temporelle sur une réalisation X(t,ui)
d’un processus aléatoire. On se retrouve
alors dans le cas précédent.
CE N’EST PAS CE QUI NOUS
INTERESSE ICI !!!
• On cherche une définition au sens
statistique.
Observation d’un processus aléatoire X(t,u) à
deux instant t1 et t2. Statistique du second
ordre, moment conjoint
Autocorrélation statistique
Rxx (t1 , t2 )  E[ X * (t1 ) X (t2 )]
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
65
Corrélation, autocorrélation...
Processus aléatoires
• Dans le cas d’un processus réel continu
 
Rxx (t1 , t2 ) 
  ab f
xx
(a, b, t1 , t2 ) da db

• Fonction d’autocovariance
Moment conjoint des variables aléatoires
centrées X(t1)-mx(t1) et X(t2)-mx(t2),
mx(t) moyenne du processus aléatoire à
l'instant t
Cxx (t1 , t2 )  Rxx (t1 , t2 )  mx* (t1 ) mx (t2 )
• Quand t1=t2, on obtient la variance du
processus aléatoire en t1.
Cxx (t1 , t1 )   x2 (t1 )
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
66
Corrélation, autocorrélation...
Processus aléatoires
• Remarques:
1) On obtient des fonctions
bidimensionnelles des variables t1 et t2.
Dans le cas d’un processus échantillonné
discret, on obtiendra des matrices
d’autocorrélation et d’autocovariance.
2) Si ces fonctions ne dépendent que de
l’écart temporel t1-t2, les fonctions
d'autocorrélation et d'autocovariance sont
monodimensionnelles et dépendent du
temps t t1-t2.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
67
Corrélation, autocorrélation...
Processus aléatoires
• Exemple
Signal sinusoïdal à phase aléatoire
Rxx (t1 , t2 )  E[ X * (t1 ) X (t2 )]
 E[a cos(t1  u)a cos(t2  u)]
a²
 E[ (cos( (t1  t2 )  2u)  cos( (t1  t2 )))]
2
u étant une variable aléatoire uniformément
répartie, la moyenne du premier terme est
nulle. (Voir la densité de probabilité du
signal sinusoidal à phase aléatoire) On
obtient
a²
Rxx (t1 , t 2 )  cos( (t1  t 2 ))
2
C’est une fonction périodique, ne dépendant
que de l’écart t1-t2. Pour t1=t2, on retrouve la
variance du processus aléatoire.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
68
2-4 Stationnarité, ergodicité
• Processus stationnaire aus sens strict
Les propriétés statistiques sont invariantes
dans le temps
Les statistiques du second ordre ne
dépendent plus que de l’écart t=t1-t2
Densité conjointe du second ordre
f XX (a , b, t1 , t2 )  f (a , b, t )
Autocorélation
R XX (t1 , t 2 )  R XX (t )
Pour un processus réel
RXX (t )  RXX ( t )
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
69
Stationnarité, ergodicité
• Processus stationnaire (au sens large)
Espérance mathématique constante
Autocorrélation dépendante de t=t1-t2
Symétrie hermitique
*
RXX (t )  RXX
( t )
Stationnaire au sens strict
Stationnaire au sens large
L’inverse n’est pas vrai
• Fonction d’autocorrélation bornée par la
puissance moyenne du processus
 R XX (0)  R XX (t )  R XX (0)
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
70
Stationnarité, ergodicité
• Processus ergodique au sens strict
Moments statistisques =
Moments temporels
• Processus ergodique (au sens large)
Egalité des Moyennes statistiques et
temporelles ainsi que des fonctions
d’autocorrélation
Moyenne

E [ X (t )] 
 X (t ) f
X
( x , t )dx

T /2

1
mx  lim
X (t , ui )dt  X (t , ui )

T  T
T / 2
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
71
Stationnarité, ergodicité
Fonctions d’autocorrélation statistique et
temporelle
R XX (t )  E[ X * (t ) X (t  t )]
T /2

1
*
lim
X
(t , ui ) X (t  t , ui )dt

T  T
T / 2

X * (t , ui ) X (t  t , ui )
• Ergodique (au sens large)
Stationnaire (au sens large)
L’inverse n’est pas vrai.
• Signaux stationnaires ergodiques
Estimation des paramètres statistiques à
partir des paramètres temporels
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
72
2-5 Densité spectrale
• Signaux déterministes
Transformée de Fourier
Module et phase
Interprétation fréquentielle
• Signaux aléatoires
Transformée de Fourier ????
(oui, mais pour une réalisation X(t,ui) )
• Exemple Signal sinusoïdal à phase
aléatoire
X(t,u)=a sin(2pft+u)
Intuitivement:
Une fréquence f d’amplitude a.
Quelle phase ? elle est aléatoire.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
73
Densité spectrale
• Contenu fréquentiel des processus
aléatoires défini par l’énergie ou la
puissance (carré de l’amplitude)
Densité spectrale d’énergie ou de
puissance
• Représentation de la répartition de
l’énergie ou de la puissance d’un signal en
fonction de la fréquence
• Intuitivement: relation entre densité
spectrale et spectre (transformée de
Fourier) pour les signaux déterministes ???
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
74
Densité spectrale
• Signaux à énergie finie
Densité spectrale d’énergie (DSE)
Sxx ( f )  X ( f ) ²
Fonction réelle.
Fonction paire si le signal est réel
DSE = Transformée de Fourier de la fonction
d’autocorrélation temporelle
Rxx (t )  S xx ( f )
F
Dimension V²s/Hz ou A²s/Hz
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
75
Densité spectrale
Energie du signal

Ex 

 x(t ) ²dt  

X ( f ) ²df


 Rxx (0) 
S
xx
( f )df

Transformée de Fourier inverse de la DSE
Sxx(f) est bien une densité spectrale
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
76
Densité spectrale
• Signaux à puissance finie
Densité spectrale de puissance (DSP)
Transformée de Fourier de la fonction
d’autocorrélation temporelle
Rxx (t )  S xx ( f ) 
F

R
xx
(t ) exp( 2 jp f t )dt

Dimension V²/Hz ou A²/Hz
Relation avec la transformée de Fourier
!
1
S xx ( f )  lim X T ( f ) ²
T  T
T.F. de x(t) limité à une durée T
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
77
Densité spectrale
• Puissance du signal

Rxx (0)  Px 
S
xx
( f )df

Sxx(f) est bien une densité de puissance
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
78
Densité spectrale
• Processus aléatoire stationnaire
Densité spectrale de puissance
(Théorème de Wiener-Khintchine)
Transformée de Fourier de la fonction
d’autocorrélation statistique

S XX ( f ) 
R
XX
(t ) exp( 2 jpft )dt

• Processus aléatoire ergodique
Estimation de la fonction d’autocorrélation
statistique donc de la DSP à partir de la
fonction d’autocorrélation temporelle des
réalisations disponibles du processus
aléatoire.
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
79
Densité spectrale
• Exemple: Signal sinusoïdal à phase
aléatoire
x (t , ui )  a sin(2pf 0t  ui )
Autocorrélation statistique (transp.30):
a²
Rxx (t )  cos(2pf 0t )
2
Densité spectrale de puissance
a²
S XX ( f )  [ ( f  f 0 )   ( f  f 0 )]
4
Autocorrélation temporelle (pour une
réalisation donnée ui de la phase) (T=1/f0 )
1
Rxx (t ) 
T
T /2
*
x
 (t ) x(t  t )dt
T / 2
a²
 cos(2pf 0t )
2
Le signal est donc ergodique (au sens large)
Traitement du Sigal - 3TC
Transparents C. Odet, Prof. GE
80