Traitement du Signal Signaux aléatoires : définitions, exemples, propriétés 3 novembre 2014 Nancy Bertin - [email protected] Intro Définitions Stationnarité Pause DSP Exemples Introduction Parmi les différentes catégorisations des signaux, nous avons évoqué la distinction entre signaux déterministes et aléatoires. Cette catégorie a trait à la prédictibilité et la reproductibilité d’un signal. Les signaux déterministes peuvent être prédits de manière certaine à tout instant, avec une description mathématique simple et explicite. Les signaux aléatoires sont “moins” prévisibles et issus de processus qui, si on tente de les reproduire à l’identique, produisent un autre signal. Ces deux types de signaux appellent des outils de modélisation différents : fonctions et suites explicites dans un cas, processus aléatoires et modèles probabilistes dans l’autre. 2 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Illustration Signal aléatoire 1.5 1.5 1 1 0.5 0.5 Amplitude du signal Amplitude du signal Signal déterministe 0 −0.5 −0.5 −1 −1 −1.5 0 50 100 150 Temps (secondes) 200 250 x(t) = sin(2πf t − π/4) 3 0 M1 RI −1.5 0 50 100 150 Temps (secondes) 200 250 x(t) ∼ N (0, σ 2 ) Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Dans la vraie vie La plupart des signaux captés dans le monde physique ne sont pas purement déterministes : Certains signaux sont aléatoires par nature, issus de processus complexes (cours de la bourse, voix humaine...) Même issus d’un processus déterministe, les signaux captés sont généralement modifiés par une composante aléatoire (défauts des composants, bruit thermique...) 1.5 1 1 0.5 0.5 Amplitude du signal Amplitude du signal 1.5 0 −0.5 −1 −1.5 0 −0.5 −1 0 50 100 150 Temps (secondes) 200 250 −1.5 0 50 100 150 Temps (secondes) 200 250 ⇒ besoin de modèles probabilistes et d’outils statistiques 4 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Signaux aléatoires 5 1 Introduction 2 Définitions, rappels et exemples 3 Processus stationnaires 4 Pause et exercices 5 Densité spectrale de puissance 6 Quelques processus aléatoires remarquables M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Définitions, rappels et exemples 6 1 Introduction 2 Définitions, rappels et exemples Premières définitions Rappels de probabilités Lois et caractérisation des processus aléatoires 3 Processus stationnaires 4 Pause et exercices 5 Densité spectrale de puissance 6 Quelques processus aléatoires remarquables M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Premières définitions Définition. Signal aléatoire. Un signal aléatoire (scalaire) est une famille de variables aléatoires indexée par un paramètre temporel t. On la note en général X = {Xt (ω)}t∈T , où ω est l’épreuve associé à la réalisation Xt (ω) de la variable aléatoire Xt . On parle également de : séries chronologiques, séries temporelles, processus ou signaux stochastiques ici, on assimilera processus et signal 7 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Variable, processus, réalisation Cette définition peut être source de confusion. On retiendra : Pour chaque temps t, Xt (·) est une variable aléatoire. Pour chaque ω, X· (ω) est une réalisation du processus X. C’est une fonction du temps. Pour t et ω fixés, Xt (ω) est un scalaire. Illustration de Denis Arzelier. 8 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Traitement des signaux aléatoires En pratique, on n’aura en général accès qu’à une, ou quelques trajectoires du processus (les signaux). En général, on va s’intéresser aux propriétés du processus sous-jacent plus qu’au signal lui-même. Cela va demander une bonne couche de modélisation, avant de pouvoir passer à l’estimation. ... qui ne sont pas moralement très différentes du traitement du signal déterministe (cf. modèle sinusoïdal et estimation de fréquence), mais qui s’expriment mathématiquement avec d’autres outils. 9 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Variable aléatoire Une variable aléatoire Xt est une fonction assignant une valeur numérique (réelle ou complexe) au résultat d’une expérience aléatoire (faisant intervenir le hasard). Pour une définition “propre”, il faudrait définir un espace probabiliste (Ω, B, P), avec : Ω univers (ensemble des événements ou épreuves) B tribu borélienne (σ-algèbre) P mesure (au sens de Lebesgue) satisfaisant les axiomes de Kolmogorov. ⇒ voir le cours de probabilités pour ce genre de choses ! Ici on se limitera à quelques rappels utiles (et moins propres...) 10 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Fonction de répartition Une variable aléatoire X est entièrement caractérisée par sa fonction de répartition : FX (α) = P [{ω ∈ Ω | X(ω) 6 α, α ∈ R}] qu’on notera en résumé (en assimilant mesure et probabilité) FX (α) = P [X(ω) 6 α] 11 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Fonction densité de probabilité En général, on préfère manipuler la fonction densité de probabilité (souvent abrégée en pdf) fX (α) telle que : Z α Z +∞ FX (α) = fX (ξ)dξ, avec fX (ξ)dξ = 1. −∞ −∞ Instinctivement, on a envie de penser que fX (α) est “la probabilité que X vaille α”. C’est rigoureusement faux en probabilités continues (P[X = α] = 0, le singleton α est de mesure nulle). 12 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Caractérisations statistiques d’une variable aléatoire Espérance (moyenne statistique): Z +∞ E[X] = αfX (α)dα −∞ On rappelle que de manière plus générale, Z +∞ E[g(X)] = g(α)fX (α)dα −∞ Variance : var(X) = σ 2 = E[(X − E[X])2 ] Moments centrés d’ordre k : µk = E[(X − E[X])k ] , E[Xck ] 13 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Loi gaussienne Un exemple important et omniprésent en traitement du signal est la loi normale ou loi gaussienne (x−µ2 ) 1 fX (x) = √ e− 2σ2 σ 2π Entièrement caractérisée par sa moyenne µ et sa variance σ 2 . Tous les moments centrés d’ordre supérieurs s’expriment uniquement en fonction de µ et σ 2 . Les moments centrés d’ordre impair sont nuls. On note traditionnellement X ∝ N (µ, σ 2 ). La loi N (0, 1) est dite loi centrée réduite. Si X ∝ N (0, 1), alors µ + σX ∝ N (µ, σ 2 ). 14 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Loi de Poisson Pour les variables aléatoires prenant des valeurs discrètes entières positives, un grand classique est la loi de Poisson de paramètre a : P[X = k] = e−a ak k! dont la fdp est : fX (α) = +∞ X P[X = k]δ(α − k) = e−a k=0 15 M1 RI X a δ(α − k) k! Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples D’autres lois usuelles 16 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Loi jointe, loi marginale Si X et Y sont deux variables aléatoires, on peut définir : La fonction de répartition jointe : FX,Y (x, y) = P[X 6 x, Y 6 y] La densité de probabilité jointe fX,Y (x, y) Les lois marginales : ( R fX (x) = fX,Y (x, y)dy R fY (y) = fX,Y (x, y)dx 17 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Corrélation et indépendance On quantifie la relations entre deux variables aléatoires par les quantités suivantes : La corrélation (ou intercorrélation) : Z RXY = E[XY ] = xyfX,Y (x, y) dx dy La covariance : CXY = E[(X − µX )(Y − µY )] Le coefficient de corrélation : rXY = CXY σX σY En particulier : X et Y sont indépendantes si : fXY (x, y) = fX (x) fY (y) X et Y sont décorrélées si RXY = µX µY ou si CXY = 0 Indépendance implique décorrélation, mais la réciproque n’est pas toujours vraie. 18 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Vecteurs aléatoires À partir d’un processus aléatoire X = {Xt (ω)}t∈T on peut former un vecteur aléatoire X = (Xn0 , Xn0 +1 , . . . , ..., Xn0 +k−1 )T dont les propriétés statistiques au premier et second ordre sont : L’espérance, qui est un vecteur de dimension k formé par les espérances de chaque coordonnée : E[X] = (E[Xn0 ], . . . , E[Xn0 +k−1 ])T La matrice des variances-covariances RX , de dimension k × k, dont le coefficient de coordonnée (i, j) est : RX (i, j) = CXn0 +i−1 Xn0 +j−1 = E[(Xnc 0 +i−1 )(Xnc 0 +j−1 )] 19 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Vecteurs aléatoires et processus Soit {Xt , t ∈ T } un processus aléatoire discret (T ⊆ Z). On note I l’ensemble des parties finies ordonnées de T . Un élément I de I s’écrit : I = t1 < t2 < . . . < tN . Le vecteur XI = (Xt1 , . . . , Xtn ) est un vecteur aléatoire. On peut le décrire par la fonction de répartition jointe FXI (x1 , . . . , xn ; t1 , . . . , tn ) = P(Xt1 6 x1 , . . . , Xtn 6 xn ) (ou par la pdf associée, ou par n’importe quel autre moyen de décrire une loi jointe) La connaissance du processus {Xt , t ∈ T } implique a priori au moins la connaissance de toutes ces lois, dites “lois fini-dimensionnelles” ou “répartitions finies”, pour toutes les parties I. Cette connaissance complète est appelée loi temporelle du processus. 20 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Théorème de Kolmogorov Théorème de Kolmogorov (avec les mains). Étant donné une famille de probabilités fini-dimensionnelles respectant certaines conditions de compatibilité (qu’on ne détaillera pas ici), il existe une unique loi régissant le processus X, dont les lois fini-dimensionnelles données dérivent par projection. Autrement dit, la loi d’un processus aléatoire X est entièrement définie par la donnée des lois des vecteurs aléatoires de taille finie que l’on peut en extraire. Ce résultat théorique qui n’a l’air de rien est très important pour fonder la théorie et le traitement des signaux aléatoires. 21 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Processus en pratique Sauf hypothèses forte sur le signal, on ne connaît pas explicitement les lois d’un processus. La détermination de toutes les lois finis-dimensionnelles est trop coûteux voire hors de portée. En pratique, on n’aura en général en effet accès qu’à une, ou quelques trajectoires du processus (les signaux). On aura dans tous les cas besoin d’hypothèses pour pouvoir estimer les lois des processus (ou leurs paramètres sous une hypothèse de forme, ou des propriétés statistiques) 22 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Processus stationnaires au second ordre 23 1 Introduction 2 Définitions, rappels et exemples 3 Processus stationnaires Stationnarité Ergodicité 4 Pause et exercices 5 Densité spectrale de puissance 6 Quelques processus aléatoires remarquables M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Stationnarité au sens strict Processus stationnaire au sens strict. Un processus aléatoire est dit stationnaire au sens strict si sa loi temporelle est invariante par translation de l’origine des temps. Par exemple, si la loi temporelle est donnée par des fonctions de répartition, cela revient à dire que, pour tout k-uplet (t1 , . . . , tk ) et pour tout délai τ , on a : FXI (x1 , . . . , xn ; t1 , . . . , tn ) = FXI (x1 , . . . , xn ; t1 −τ, . . . , tn −τ ). 24 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Stationnarité au sens large La stationnarité au sens strict est une hypothèse forte et difficile à vérifier. En pratique, on se contente de la propriété suivante : Processus aléatoire stationnaire au sens large (SSL). Un processus aléatoire {Xt , t ∈ T } est dit stationnaire au sens large ss’il vérifie les conditions suivantes : La moyenne E[Xt ] = µX est indépendante de t ; Le processus est d’ordre deux : E[|Xt |2 ] < ∞ ; La fonction d’autocovariance RXX (k) = E[(Xt − µX )(Xt+k − µX )] ne dépend que de k. 25 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Propriétés de la covariance Pour un processus SSL on a les propriétés suivantes : RXX (0) = var[Xt ] RXX (τ ) = RXX (−τ ) |RXX (τ )| 6 C(0) Si Xt et Xt+τ sont indépendants, limτ →+∞ RXX (τ ) = 0. 26 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Illustration Deux processus différents (gauche et droite). Pour chaque processus, on affiche : Une trajectoire du processus Le “scatter plot” entre Xn et Xn+5 La fonction de covariance entre Xn et Xn+5 27 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Matrice de covariance des processus SSL On rappelle l’expression de la matrice de covariance d’un vecteur aléatoire extrait d’un processus : RX (i, j) = CXn0 +i−1 Xn0 +j−1 = E[(Xnc 0 +i−1 )(Xnc 0 +j−1 )] Si le processus est SSL, cette matrice RXX (0) RXX (1) .. RXX (1) . RX = .. . .. . RXX (n − 1) ... prend la forme : . . . RXX (n − 1) .. .. . . .. . RXX (1) ... RXX (0) La matrice de covariance d’un processus SSL est symétrique et constante sur ses diagonales. C’est ce qu’on appelle une matrice de Toeplitz. 28 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Ergodicité En pratique, on ne dispose que d’une trajectoire du processus, il est donc difficile de caractériser statistiquement le signal aléatoire... En cas de stationnarité, où l’on fera souvent l’hypothèse dite d’ergodicité du signal, c’est-à-dire considérer que l’évolution d’un signal aléatoire au cours du temps apporte la meme information qu’un ensemble de réalisations. Par exemple, cela revient à supposer que la moyenne temporelle tend vers la moyenne statistique : E[Xt ] = N X 1 Xn (ω) N →+∞ 2N + 1 lim n=−N 29 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Stationnarité et ergodicité Théoriquement, la stationnarité n’implique pas l’ergodicidité Théoriquement, l’ergodicité n’implique pas la stationnarité L’ergodicité est une propriété invérifiable en pratique, on en fait l’hypothèse. En pratique, on supposera presque toujours qu’on travaille avec des processus ergodiques et stationnaires. 30 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Pause et exercices 31 1 Introduction 2 Définitions, rappels et exemples 3 Processus stationnaires 4 Pause et exercices Pause Exercices 5 Densité spectrale de puissance 6 Quelques processus aléatoires remarquables M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Pause (15-20 minutes) 32 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Exercices Soit Zt un processus SSL tel que pour tout t, E[Zt ] = 0 et RZZ (k) = σ 2 δ(k). Soit a, b, c trois nombres réels. Les processus suivants sont-ils SSL ? si oui, calculer leur fonction d’autocovariance : 33 1 Xt = a + bZ0 2 Xt = Z0 cos(ct) 3 Xt = a + bZt + cZt−1 4 Xt = Z1 cos(ct) + Z2 sin(ct) 5 Xt = Zt cos(ct) + Zt−1 sin(ct) M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Densité spectrale de puissance 34 1 Introduction 2 Définitions, rappels et exemples 3 Processus stationnaires 4 Pause et exercices 5 Densité spectrale de puissance Fourier et densité spectrale d’énergie Théorème de Wiener-Khintchine Estimation de la dsp d’un processus SSL 6 Quelques processus aléatoires remarquables M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Transformée de Fourier et densité spectrale de puissance On rappelle le théorème de Parseval pour les signaux discrets déterministes d’énergie finie : X 2 Z 1/2 |x[n]| = |X(f )|2 df −1/2 n∈Z Ce théorème justifie l’appellation de densité spectrale d’énergie pour la quantité |X(f )|2 dans ce cas. Considération équivalente pour la puissance (limite des signaux tronqués en T). Et pour les signaux aléatoires ? 35 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Transformée de Fourier et processus aléatoires La transformée de Fourier (TFtd) est définie pour des suites, ne dépendant que du temps mais pas d’un événement aléatoire. On peut calculer la TF d’une trajectoire, mais pas du processus lui-même. Ce serait se focaliser sur une réalisation particulière, et risquer de passer à côté des propriétés spectrales essentielles du processus. Les processus discrets, même stationnaires, ne sont pas en général d’énergie finie. 36 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Densité spectrale de puissance Densité spectrale de puissance La densité spectrale de puissance d’un processus aléatoire est définie par : E[|XT (f )|2 ] . SX (f ) = lim T →+∞ 2T Remarques : XT est la TFtd du processus tronqué (nul en dehors de l’intervalle [−T /2; T /2], comme dans la définition déterministe de la puissance. La différence est dans la présence de l’opérateur d’espérance (sinon, la limite risquerait fort de ne pas être définie). Cette définition est historique, mais peu usuelle. En pratique on utilise directement le théorème suivant comme définition. 37 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Théorème de Wiener-Khintchine Théorème de Wiener-Khintchine. Z SX (f ) = RXX (τ )e−2iπf τ dτ Autrement dit, la densité spectrale de puissance d’un processus aléatoire est égale à la transformée de Fourier de sa fonction d’autocorrélation. (Ici en continu, idem en discret avec une somme). Cette propriété est tellement pratique qu’il arrive qu’on définisse directement la densité spectrale de puissance comme la transformée de Fourier de la fonction d’autocovariance. 38 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Estimation des moments d’un processus SSL Comme d’ailleurs le reste de ses propriétés statistiques, la moyenne, la covariance et la dsp d’un processus aléatoire ne sont pas accessibles directement et doivent être estimées à partir des trajectoires disponibles. L’hypothèse d’ergodicité est nécessaire pour réaliser de telles estimations. L’estimation de la moyenne dérive directement de la propriété d’ergodicité. L’estimation repose en général sur une estimation de la fonction d’autocovariance, suivie d’une transformation de Fourier. 39 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Estimation de la moyenne L’estimateur naturel de la moyenne statistique est la moyenne temporelle : N 1 X Xn X¯N = N n=1 C’est un estimateur non biaisé : E[X̄N ] = µX (Il converge en moyenne quadratique vers l’espérance statistique) En pratique : il faut que le processus puisse raisonnablement être considéré comme stationnaire sur la durée sur laquelle on moyenne ! (⇒ traitement par trames) 40 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Estimation de la covariance L’estimation de la covariance, et donc de la DSP, est plus difficile. On se limitera ici à l’estimateur : R̂N (k) = N −k 1 X X(n + k) − X̂N X(n) − X̂N N n=1 Fait intervenir l’estimateur de la moyenne, avec les mêmes remarques. Ne permet d’estimer la covariance que pour |k| < N . C’est un estimateur biaisé (mais asymptotiquement sans biais). 41 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Estimation de la dsp En utilisant le théorème de Wiener-Khintchine, en tronquant la somme et en remplaçant la covariance par son estimateur précédent, on obtient une estimation de la dsp appelée périodogramme : ŜN (f ) = N +1 X R̂N (k)e−2iπf k −(N −1) 1 = N 2 N X −2iπf n X(n)e n=1 Cet estimateur rejoint l’intuition que l’on pouvait avoir de la dsp comme transformée de Fourier du signal (Parseval, etc.) Malheureusement, c’est un des pires (biaisé et inconsistant). Il existe des estimateurs ayant de meilleures qualités (périodogramme tronqué, périodogramme fenêtré). 42 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Quelques processus aléatoires remarquables 43 1 Introduction 2 Définitions, rappels et exemples 3 Processus stationnaires 4 Pause et exercices 5 Densité spectrale de puissance 6 Quelques processus aléatoires remarquables Processus iid Processus gaussiens et bruits blancs M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Processus iid Deux types de processus sont fréquemment employés en traitement du signal : Les processus indépendants et identiquement distribués. Les bruits blancs, processus dont la dsp est constante. 44 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Processus iid Processus iid. Un processus aléatoire X = {Xt (ω)}t∈T est dit iid (indépendant et identiquement distribué) si : pour tout t1 et t2 , les variables aléatoires Xt1 et Xt2 sont indépendantes. les lois marginales des Xt sont toutes identiques. 45 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Processus gaussiens et bruits blancs Un vecteur aléatoire est gaussien ssi toute combinaison linéaire de ses composantes est une variable aléatoire gaussienne. Notation : X ∝ N (µ, Σ) La fdp d’un vecteur aléatoire gaussien s’écrit : fX (x) = 1 √ 2π N (x−µ)T Σ−1 (x−µ) 1 2 e det(Σ) Un processus aléatoire est gaussien ssi, quel que soit k et la suite des instants (t1 , . . . , tk ), le vecteur aléatoire à k dimensions (X(t1 ), . . . , X(tk )) est un vecteur gaussien. Attention, il faut, mais il ne suffit pas que toutes les composantes d’un vecteur soient des variables aléatoire gaussiennes pour que le vecteur résultant soit gaussien. 46 M1 RI Traitement du Signal 03/11/2014 Intro Définitions Stationnarité Pause DSP Exemples Bruit blanc Bruit blanc Un processus est qualifié de bruit blanc si sa densité spectrale de puissance est constante. En pratique, on rencontre sans arrêt des bruits blancs iid gaussiens. ... mais rien n’oblige un bruit blanc à être ni gaussien, ni iid. 47 M1 RI Traitement du Signal 03/11/2014