Signaux aléatoires Hugues GARNIER [email protected] TdS 1 H. Garnier Sommaire de l’EC de TdS A. Analyse et traitement de signaux déterministes I. Rappels sur la théorie de l’échantillonnage II. Modélisation non paramétrique : spectres III. Méthodes d’estimation via la transformée de Fourier IV. Filtrage linéaire RIF et RII B. Analyse et traitement de signaux aléatoires Signaux aléatoires II. Modélisation paramétrique : modèles AR, ARMA, … III. Méthodes d’estimation : moindres carrés, gradient… IV. Filtrage adaptatif V. Prévision de séries temporelles I. TdS 2 H. Garnier Pré-requis • Analyse et traitement de signaux déterministes • Probabilité et statistiques (3A) – Variables aléatoires – Densités de probabilité d’ordre 1, 2, ..., n – Moments d’ordre 1 et 2 : moyenne, variance, fonction d’autocorrélation et d’autocovariance – Moyennes statistiques, moyennes temporelles – Fonction d’intercorrélation et d’intercovariance TdS 3 H. Garnier L’aléatoire en théorie du signal • Jusqu’à présent, les signaux et les filtres considérés et modélisés étaient supposés connus parfaitement – On dit que ces signaux sont déterministes ou certains – on peut les décrire par une fonction mathématique et donc parfaitement prévoir leur évolution • Dans beaucoup de cas pratiques, les phénomènes observés dans des situations apparemment identiques semblent présenter des variations imprévisibles – on dit que ces signaux sont aléatoires ou stochastiques • Pour étudier l’évolution des signaux aléatoires, on a recours à des modèles probabilistes qui s’appuient sur la théorie des probabilités et statistiques TdS 4 H. Garnier L’aléatoire en théorie du signal • Pour étudier l’évolution des signaux aléatoires, on s’appuie sur la théorie des probabilités et statistiques • Cette théorie constitue les bases fondamentales pour comprendre – l’apprentissage automatique (machine learning) – les techniques avancées de traitement du signal – le traitement des images – la modélisation et la reconnaissance de la parole – la prévision de séries temporelles – l’apprentissage statistique de modèles dynamiques (identification de systèmes) en automatique continue – La commande optimale – … TdS 5 H. Garnier Les signaux aléatoires sont partout ! D’après J. Antoni – Université de Lyon TdS 6 H. Garnier Classification des signaux D’après J. Antoni – Université de Lyon TdS 7 H. Garnier Modèles de signaux déterministes • Signaux dont l’évolution en fonction du temps peut être parfaitement prévue par une fonction mathématique 0 TdS t 8 H. Garnier Modèles de signaux aléatoires stationnaires – Signaux ayant un caractère non reproductible dont l’évolution au cours du temps semble être le fruit du hasard – On décrit ses propriétés à l’aide de probabilités et statistiques 0 TdS t 9 H. Garnier Comment modéliser un signal aléatoire ? • Mathématiquement, un signal aléatoire est considéré comme la réalisation d’un processus aléatoire • Un processus aléatoire est une fonction qui à un évènement associe une réalisation d’un signal – à un instant donné ti, processus = variable aléatoire – pour un évènement donné ωi, processus = signal aléatoire (=réalisation) – il comprend une infinité de réalisations, dont une seule correspond à l’observation de l’évènement • TdS C’est une idéalisation mathématique abstraite mais très pratique pour faire l’analyse d’un signal aléatoire 10 H. Garnier Caractérisation statistique d’un processus aléatoire • Signal aléatoire : réalisation d’un processus aléatoire et la valeur prise à un instant donné est une variable aléatoire Signal aléatoire = réalisation Variable aléatoire TdS 11 H. Garnier Exemple de processus aléatoire • Consommation énergétique à midi des villes en France Signal aléatoire = réalisation = variable aléatoire TdS 12 H. Garnier Caractérisation de variables aléatoires - Rappels • Densité de probabilité – Exemple : densité de probabilité gaussienne • Statistiques d’ordre 1 – Moment d’ordre 1 ou moyenne – Moment d’ordre 2 ou moyenne quadratique – Moment centré d’ordre 2 ou variance (écart-type) • Statistiques d’ordre 2 – Fonction d’autocorrélation ou d’autocovariance Voir si besoin la vidéo de Franck Corbin sur les signaux aléatoires www.youtube.com/watch?v=H_LmWLfVQWc TdS 13 H. Garnier Caractérisation statistique d’un processus aléatoire Densités de probabilité d’ordre 1 • On considère les valeurs prises par le processus aléatoire à un instant fixé ti : X(ti) • La densité de probabilité d’ordre 1 à l’instant ti , notée fX(x,ti) correspond à la distribution des valeurs de la variable aléatoire à cet instant TdS 14 H. Garnier Exemple de densité d’ordre 1 – Bruit en électronique Le bruit en électronique a une densité d’ordre 1 fX(x,ti) gaussienne pour tout t TdS 15 H. Garnier Densité de probabilité gaussienne (normale) • Représente un modèle convenable pour de nombreux signaux aléatoires f(x) = 1 σ 2π e 2 1 ⎛ x−m ⎞ − ⎜ ⎟ 2 ⎝ σ ⎠ m : moyenne σ : écart-type 1 σ 2π f(x) P( m − σ ≤ x ≤ m + σ ) = 67% P( m−2σ ≤ x ≤ m+2σ )=95% P( m − 3σ ≤ x ≤ m + 3σ ) = 99% P( m − 4σ ≤ x ≤ m + 4σ ) = 99,9% 0 m-σ TdS 16 m m+σ x H. Garnier Caractérisation statistique d’un processus aléatoire Densités de probabilité d’ordre 2 • On considère le couple des valeurs prises X(ti) et X(tj) par le processus aléatoire à deux instants ti et tj • La densité de probabilité d’ordre 2 correspond à la distribution conjointe des valeurs de ce couple de variables aléatoires TdS 17 H. Garnier Exemple de densité d’ordre 2 – Bruit blanc D’après F. Heitz – Université de Strasbourg TdS 18 H. Garnier Caractérisation statistique d’un processus aléatoire Densité de probabilité d’ordre n • Théorème : un processus aléatoire est entièrement décrit par ses densités de probabilité conjointes d’ordre n – Ces densités représentent la façon dont cc les valeurs se distribuent aux n instants t1, t2, … tn – Elles ne sont pas faciles à obtenir pratique ! en • On se contente d’une caractérisation partielle à partir de ses statistiques d’ordre 1 et 2 TdS 19 H. Garnier Caractérisation statistique d’un processus aléatoire Moyenne et variance statistique • En général, on ne connaît pas les densités conjointes d’ordre n • On se contente souvent d’une caractérisation partielle avec des moments 1 et 2 qui se calculent à partir des densités d’ordre 1 et 2 TdS 20 H. Garnier Moyenne et variance statistique – Ne pas confondre avec moyenne et variance temporelle D’après F. Heitz – Université de Strasbourg TdS 21 H. Garnier Caractérisation statistique d’un processus aléatoire Fonction d’auto-corrélation statistique D’après F. Heitz – Université de Strasbourg TdS 22 H. Garnier Caractérisation temporelle d’un signal aléatoire • Signal aléatoire = 1 réalisation d’un processus aléatoire • Pour une seule réalisation donnée, on obtient une réalisation du processus (=signal aléatoire). On peut calculer des moyennes temporelles TdS 23 H. Garnier Caractérisation temporelle d’un signal aléatoire • Moyenne temporelle (mesure de position) N 1 x = lim ∑ x( k ) N→+∞ 2N +1 k=−N • Puissance (mesure d’intensité) et variance temporelle (mesure de dispersion) – Par convention, un signal aléatoire x(k) est considéré comme un signal à énergie infinie mais à puissance moyenne finie N 1 Px = lim x 2( k ) ∑ N→+∞ 2N +1 k=−N σ x2 N 1 = lim x( k ) − x ∑ N→+∞ 2N +1 k=−N ( ) 2 • Fonction d’autocorrélation (temporelle) N 1 Rxx ( τ ) = lim ∑ x( k )x( k − τ ) 2N +1 N→+∞ k=−N TdS 24 H. Garnier Signaux stationnaires • Pour un processus aléatoire quelconque, les caractéristiques statistiques : densité de probabilité et moments d’ordre n, dépendent des instants ti auxquels elles sont calculées • Certains processus présentent des caractéristiques stationnaires invariantes au cours du temps • On dit qu’ils sont stationnaires. Ils ont un comportement statistiquement constant par rapport au temps • La stationnarité est d’une importance théorique et pratique considérable : – génère de nombreuses propriétés – est à la base de nombreuses méthodes de traitement du signal TdS 25 H. Garnier Signaux stationnaires • Stationnarité au sens strict – La densité de probabilité conjointe ne dépend pas de l’instant ti – Toutes ses propriétés statistiques sont donc invariantes dans le temps • Stationnarité au sens large (ou au second ordre) – Un processus aléatoire est stationnaire au sens large si ses statistiques d’ordre 1 et 2 sont invariantes dans le temps – La moyenne statistique ne dépend pas de l’instant ti Ε{x(ti )} = m(ti ) = m, ∀ ti – La fonction d’auto-corrélation ne dépend pas du temps (la variance aussi) Rxx (t1 + θ ,t 2 + θ ) = Rxx (t1,t 2 ) = Ε{x(t1 )x(t 2 )} • Rxx(t1,t2) ne dépend que que τ = t1-t2 Rxx ( τ ) = Ε{x(t )x(t − τ )} = Ε{x(t + τ )x(t )} TdS 26 H. Garnier Signaux stationnaires - Exemples D’après J. Antoni – Université de Lyon TdS 27 H. Garnier Signaux non-stationnaires - Exemples D’après F. Heitz – Université de Strasbourg TdS 28 H. Garnier Signaux stationnaires Interprétation de la fonction d’autocorrélation • Mesure de la vitesse de variations des évolutions temporelles – elle permet de calculer la DSP d’un signal (voir plus loin) – on compare le signal avec lui-même mais décalé de τ – elle permet également de voir en quoi le signal à un instant donné est influencé par ce qui s'est passé à un instant précédent – un signal très auto-corrélé à des fluctuations lentes et une apparence «lisse » – un signal peu auto-corrélé a des fluctuations très rapides et une apparence « chaotique » D’après J. Antoni – Université de Lyon TdS 29 H. Garnier Propriétés de la fonction d'autocorrélation • Rxx(τ) est une fonction paire Rxx(τ) = Rxx(-τ). – Il suffit donc de calculer Rxx(τ) pour τ >0 puis de faire la symétrie par rapport à l’axe des ordonnées • • Rxx(0) est le maximum de Rxx(τ) 2 xx (τ ) Rxx ( 0) = x + σ x2 lim Rxx ( τ ) = x R 2 2 σx τ →∞ • si x est centré lim Rxx ( τ ) = 0 2 x τ →±∞ 0 Rxx ( 0) = σ x2 TdS 30 τ H. Garnier Signaux stationnaires ergodiques • Ergodicité au sens strict – Un processus aléatoire est ergodique au sens strict si tous ses moments statistiques sont égaux aux moments temporels • Ergodicité au sens large (au second ordre) – Un processus aléatoire est ergodique au sens large si ses moments statistiques d’ordre 1 et 2 = aux moments temporels d’ordre 1 et 2 – Densité de probabilité = histogramme • Résultat d’une importance pratique fondamentale – On peut calculer les propriétés statistiques d’après l’observation temporelle d’une seule réalisation du processus aléatoire stationnaire N 1 m = Ε{x( k )} = x = lim ∑ x( k ) 2N +1 N→+∞ k=−N N 1 Rxx ( τ ) = Ε{x( k )x( k − τ )} = lim x( k )x( k − τ ) ∑ N→+∞ 2N +1 k=−N TdS 31 H. Garnier Signaux stationnaires ergodiques • Ergodicité => densité de probabilité = histogramme densité de probabilité = histogramme D’après J. Antoni – Université de Lyon TdS 32 H. Garnier Signaux stationnaires ergodiques • Ergocité => Densité de probabilité = histogramme D’après J. Antoni – Université de Lyon TdS 33 H. Garnier Signaux stationnaires ergodiques • Ergodicité : considéré comme une des notions les plus importantes en statistiques • Intuitivement, un processus est ergodique si UNE réalisation quelconque de ce processus porte en elle toutes les informations statistiques permettant de décrire le processus dans son ensemble • L’ergodicité permet en particulier de calculer les propriétés statistiques mais aussi le spectre d’un signal aléatoire à partir d’une seule réalisation D’après F. Heitz – Université de Strasbourg TdS 34 H. Garnier Energie et puissance - Rappels • Energie (totale) +∞ Ex = ∑ x( k ) x( k ) 2 2 Aire Ex Px k=−∞ • Puissance moyenne (totale) 0 k N 2 1 Px = lim x( k ) ∑ N→+∞ 2N +1 k=−N La fonction x2(k) correspond à une répartition de l’énergie du signal au cours du temps = densité temporelle d’énergie La puissance moyenne représente une répartition moyenne de l’énergie au cours du temps = densité temporelle de puissance TdS 35 H. Garnier Densité spectrale de puissance • La fonction d’autocorrélation est une description dans le domaine temporel d’un processus aléatoire stationnaire du second ordre • Un signal aléatoire est généralement d’énergie infinie. On ne peut calculer sa transformée de Fourier (problème de convergence de la somme) • Théorème d’EINSTEIN-WIENER–KHINTCHINE – La densité spectrale de puissance d'un signal aléatoire stationnaire ergodique est la transformée de Fourier de sa fonction d'autocorrélation 1/ 2 +∞ Φx ( f ) = ∑ Rxx ( τ ) e− j 2π f τ τ =−∞ Rxx ( τ ) = ∫ Φx ( f ) e j 2πτ f df −1/ 2 Rxx ( 0) = σ x2 1/ 2 = ∫ Φx ( f ) df −1/ 2 On parle de DSP ou de spectre de puissance (power spectrum) TdS 36 H. Garnier Propriétés de la DSP +∞ Φx ( f ) = ∑ Rxx ( τ ) e− j 2π f τ τ =−∞ • La DSP est à valeurs réelles (pas à valeurs complexes comme le TFtd) • La DSP d’un signal échantillonné à la période Te=1/fe est périodique de période fe • La DSP est positive ou nulle Φx ( f ) ≥ 0 ∀f • La DSP d’un signal à valeurs réelles est paire Φx ( −f ) = Φx ( f ) TdS 37 H. Garnier Processus aléatoires fondamentaux • Certains processus aléatoires jouent un rôle privilégié dans la représentation des signaux physiques et permettent de modéliser un grand nombre de phénomènes en pratique : – Le bruit blanc – Le processus blanc gaussien – La marche aléatoire – Les processus AR, MA, ARMA – Les processus de Markov – …. TdS 38 H. Garnier Le bruit blanc • Un signal aléatoire e(k), de moyenne nulle, dont la densité spectrale de puissance Φe(f) est constante pour toute valeur de fréquence est appelé bruit blanc (analogie avec la lumière blanche) • Sa DSP est constante : la puissance est répartie de façon uniforme sur l’ensemble des fréquences • Sa densité de probabilité peut être quelconque : uniforme, gaussienne, … • Il est caractérisé par une décorrélation complète entre variables à des instants différents. Sa fonction d’autocorrélation est donc une impulsion de Dirac 0 TdS Ree(τ ) Φe(f) σ e2 σ e2 0 τ 39 f H. Garnier Le bruit blanc gaussien • C’est un bruit blanc qui suit une loi de probabilité gaussienne TdS 40 H. Garnier Le bruit blanc gaussien - Exemple • C’est un bruit blanc qui suit une loi de probabilité gaussienne Sous Matlab >>e=randn(500,1); plot(e) TdS 41 H. Garnier Le bruit blanc gaussien fX ( x ) = 1 2πσ 2 e − fX(x) 1 σ 2π 1 x2 2 σ2 σ 2 : variance -σ 0 +σ x • Propriétés importantes – Les variables aléatoires gaussiennes x(k1) et x(k2) pour k1≠k2 sont noncorrélées (propriété d’un bruit blanc) et donc indépendantes (propriété des densité de probabilité gaussienne) – La densité de probabilité gaussienne est la seule loi pour laquelle il y a équivalence entre non-corrélation et indépendance – Les lois gaussiennes préservent leur caractère gaussien dans toute opération linéaire : convolution, filtrage, dérivation, intégration TdS 42 H. Garnier Théorème de la limite centrale • La densité de probabilité de la somme de n variables aléatoires indépendantes de même loi tend vers la loi gaussienne quand n tend vers l’infini (d’où le nom de loi gaussienne ou loi normale) TdS 43 H. Garnier Signal non stationnaire particulier La marche aléatoire (random walk) • La marche aléatoire est la somme cumulative d’un bruit blanc discret e(k) x( k ) = x( k −1) + e( k ) k Si x( 0) = 0, x( k ) = ∑ e( k ) i =1 • Une marche aléatoire modélise : – le cheminement des pas d’un ivrogne qui essaie de rentrer chez lui – le niveau des stocks dans une entreprise – les gains et les pertes d’un joueur au casino, etc. • C’est un signal non stationnaire ! – sa variance dépend du temps TdS 44 H. Garnier Marche aléatoire - Exemple Sous Matlab >>v=cumsum(randn(500,1);plot(v) TdS 45 H. Garnier Modélisation des signaux aléatoires stationnaires e(k) H( q −1 ) y(k) y( k ) = H( q −1 )e( k ) TdS 46 H. Garnier Factorisation spectrale • Toute DSP non nulle et d’amplitude finie peut être factorisée pour f ( ) Φy ( e jΩ ) = H e jΩ 2 × σ e2 ( ) Φy ( z ) = H z H z−1 × σ e2 () avec Ω = 2π f fe ( ) H e jΩ 2 ⎡ f f ⎤ ∈ ⎢− e ; e ⎥ ⎣ 2 2⎦ ( ) ( ) = H e jΩ H * e jΩ avec z = e jΩ ⇒ Un signal aléatoire stationnaire corrélé peut être obtenu comme la sortie d’un filtre linéaire avec un bruit blanc à l’entrée de variance Bruit blanc σ e2 Signal aléatoire stationnaire corrélé Filtre linéaire y(k) e( k ) +∞ y( k ) = h( k )* e( k ) = ∑ h( i ) e( k − i ) i =−∞ TdS 47 H. Garnier Modèles paramétriques d’un signal aléatoire stationnaire corrélé • Un signal aléatoire stationnaire corrélé est ainsi souvent modélisé comme la réponse d’un filtre à un autre signal aléatoire de caractéristiques plus simples • L’idée essentielle est qu’un signal dont les échantillons sont très corrélés peut être considéré comme la sortie d’un filtre linéaire qui a pour entrée une suite de nombres statistiquement indépendants (= bruit blanc souvent gaussien) Bruit blanc Filtre linéaire TdS 48 Signal aléatoire stationnaire corrélé H. Garnier Opérateur retard – Opérateur de transfert • Soit une équation aux différences y( k ) + d1y( k −1) +! + dn y( k − nd ) = e( k ) + c1e( k −1) +! + cn e( k − nc ) d c • On définit l’opérateur retard q-1 q −1y( k ) = y( k −1) y( k ) + d1q −1y( k ) +! + dn q d ( 1+ d1q −1 +! + dn q d −nd ) −nd y( k ) = e( k ) + c1q −1e( k ) +! + cn q −nc c ( y( k ) = 1+ c1q −1 +! + cn q D( q −1 )y( k ) = C( q −1 )e( k ) −nc c e( k ) ) e( k ) C( q −1 ) = 1+ c1q −1 +! + cn q −nc c −1 D( q ) = 1+ d1q −1 +! + dn q −nd d • On définit l’opérateur de transfert H(q-1) (analogie avec H(z)) −1 y( k ) = H( q )e( k ) = TdS C( q −1 ) D( q −1 ) e( k ) 49 Y ( z ) = H( z )E( z ) = C( z ) E( z ) D( z ) •49 H. Garnier Modèles paramétriques d’un signal aléatoire stationnaire Bruit blanc ( ) e( k ) ~ N 0,σ e2 H( q −1 ) Signal aléatoire stationnaire corrélé y(k) • Le filtre linéaire H(q-1) peut avoir différentes structures qui correspondent à différents modèles pour le signal aléatoire • Il existe trois modèles paramétriques essentiels de signaux aléatoires stationnaires - modèle MA : modèle dit à moyenne ajustée - Modèle AR : modèle autorégressif - Modèle ARMA : modèle autorégressif à moyenne ajustée TdS 50 H. Garnier Modèles paramétriques usuels de signaux aléatoires stationnaires • Suivant la forme du filtre, on obtient différentes structures de modèles Modèle AR e(k) y(k) 1 Modèle MA e(k) y(k) D( q ) y( k ) = −1 e( k ) D( q ) 1 H( q −1 ) = D( q −1 ) TdS e(k) C( q −1 ) −1 1 Modèle ARMA y( k ) = C( q )e( k ) −1 H( q ) = C( q ) 51 y(k) A( q −1 ) −1 −1 C( q −1 ) D( q −1 )y( k ) = C( q −1 )e( k ) −1 H( q ) = C( q −1 ) D( q −1 ) H. Garnier Structures de modèles paramétriques - Exemples • Déterminer la forme polynomiale des 3 équations aux différences ci-dessous et en déduire le type de modèle (AR, MA, ARMA) y( k ) = 1,5y( k −1) − 0,7y( k − 2) + e( k ) y( k ) = e( k ) + 0.01e( k −1) − 0,02e( k − 2) y( k ) = 1,5y( k −1) − 0,7y( k − 2) + e( k ) + 0.01e( k −1) − 0,02e( k − 2) TdS 52 H. Garnier Modèles paramétriques de signaux aléatoires et leur modèles non paramétriques associés - Exemple e(k) q H( q ) = = −1 q − 0,9 1− 0,9q −1 1 y(k) y( k ) = 0,9y( k −1) + e( k ) TdS 53 H. Garnier Signaux aléatoires stationnaires Evolution temporelle - Exemples TdS 54 H. Garnier Signaux aléatoires stationnaires Fonction d’autocorrélation - Exemples TdS 55 H. Garnier Signaux aléatoires stationnaires Densité spectrale de puissance - Exemples TdS 56 H. Garnier
