See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/264842558 Etude de la méthode des moindres carrée récursive et application au signal de parole Article · March 2005 CITATIONS READS 5 4,374 4 authors, including: Abdelkader Maddi Abderrezak Guessoum Saad Dahlab University Saad Dahlab University 16 PUBLICATIONS 16 CITATIONS 217 PUBLICATIONS 1,769 CITATIONS SEE PROFILE Daoud Berkani National Polytechnic School of Algiers 122 PUBLICATIONS 458 CITATIONS SEE PROFILE Some of the authors of this publication are also working on these related projects: renewable energy View project Contourlets transform View project All content following this page was uploaded by Daoud Berkani on 24 November 2014. The user has requested enhancement of the downloaded file. SEE PROFILE SETIT 2005 3rd International Conference: Sciences of Electronic, Technologies of Information and Telecommunications March 17-21, 2005 – TUNISIA Etude de la méthode des moindres carrée récursive et application au signal de parole A. Maddi, A. Guessoum, D. Berkani, O. Belkina Département d'Electronique. Université de BLIDA Route de Soumaa. BP 270 BLIDA E– Mail: A_Maddi @hotmail.com Résumé :Dans cet article nous présenterons une étude détaillée de la méthode des moindres carrés récursive, ensuite nous ferrons une application de cette algorithme pour identifier les paramètres du modèle auto régressif AR associé au signal de parole. La technique proposé ici permet d’identifier les paramètres du modèle auto régressif ARMA avec des estimations non biaisées, cette méthode est basée sur la minimisation d’un critère quadratique. Mots clés : moindres carrés, prédiction, modèle, estimation baisée, parole. 1 Introduction L’identification consiste a déterminer les paramètres d’un modèle mathématique, dont la structure est établie selon un critère donné , les paramètres des modèles sont obtenus par la minimisation de l’erreur de prédiction entre le signal de sortie mesuré et le signal estimé suivant un critère d’optimalité par exemple : (moindres carrés, erreur quadratique moyenne, maximum de vraisemblance), nous nous intéressons plus particulièrement à la méthode qui est basée sur le blanchissement de l’erreur de prédiction . Formellement l’opération d’identification des paramètres du modèle peut se résumer par la figure cidessous [5]. Il est important de souligner qu’il n’ y a pas un algorithme d’estimation paramétrique unique pour tous les types de modèles de bruit fournit des estimations paramétriques asymptotiquement non biaisées. Pour chaque structure de bruit, il existe des algorithmes spécifiques permettant d’obtenir des bons résultats , il convient tout d’abord de préciser les principaux modèles « Système + perturbation » [3]. Dans les paragraphes qui suivent nous présenterons l’algorithme de base des moindres carrés récursif (MCR). 2 Algorithme des moindres carrés ordinaire La méthode des moindres carrés a été introduite par Karl Gauss en 1809. Elle a été à la base de toutes les méthodes d’identification et d’estimation des paramètres, cette méthode est basée sur la minimisation d’une fonction quadratique J définie comme [2] : J = N 2 ∑ [ε (k )] k =1 (1) Où e (k) représente l’erreur de prédiction commise sur l’estimation. SETIT2005 3 Identification du modèle ARMA La modélisation auto- régressive à moyenne ajustée d’ordre (n, m) noté ARMA (n, m) est définie par l’équation aux différences suivante [4] : effectuons N mesures d'observations, nous pouvons écrire [2] d’après l’équation (6), une forme matricielle : y(t ) = θ Tϕ(t) + e(t ) (6) Posons pour la commodité des notations [9] : n m ∑ a y ( t −i) =∑ b u ( t −i) + e(t) i θT = ϕ T (t) (2) i i =0 i =0 Avec a0 = 1 u ( t ) : Entrée du système y ( t ) : Sortie du système e (t ) : Bruit blanc. Avec En utilisant la transformée en Z, l’équation (2) peut s’écrire : ∑a Y (Z) Z n i −i i =0 On pose: = ∑biU (Z )Z + E(Z) m −i A (Z) = ∑ a i Z −i θ T : vecteur des paramètres à identifier ϕ T (t) : vecteur des données. y (t) : sortie du système e (t) : bruit blanc affecté au système T : désigne la transpose d’un vecteur ou d’une matrice. On définit l’erreur de prédiction comme étant la différence entre la sortie du système et la sortie du modèle : ∧ n i =0 (3) i =0 [ a1 a2 … an ; b0 b1 …. bm ] = [-y (t-1) … y (t - n) ; u (t) … u (t-m)] m ; B (Z) = ∑ b i Z −i i =0 ∧ Sachant avecθ que y (t ) = θ ϕ (t ) : (8) représente les paramètres estimés. (4) L’erreur de prédiction peut s’écrire : E ( Z ) = A ( Z ) Y (Z ) − B ( Z ) U ( Z ) (7) ∧ T ∧T Donc, l’équation (3) s’écrira sous cette forme : A ( Z) Y ( Z ) = B( Z) U ( Z) + E ( Z) ε (t ) = y(t ) − y( t ) (5) A partir de l’équation (5), on peut tirer le schéma suivant : La méthode des moindres carrés est basée sur la détermination des meilleurs paramètres, c’est à dire ceux qui minimiseront un certain critère d’optimalité. Il représente la somme des carrés des erreurs de prédictions, et qui est mentionné au dessous [2] : 1 N J N (θ ) = N ∑ [ e (t) ] 2 (9) t =1 tel que N : nombre d'échantillons. La minimisation du critère JN ( θ ) consiste à trouver un optimum, c’est à dire de calculer la dérivée : δ JN (θ ) ∧ = 0 δ θ θ =θ ( N) (10) [ ] δ JN(θ) 2 N = − ∑ ϕ (t) y(t) −θT ϕ (t) δθ N t=1 θ=θ(∧N) En développant l’équation (2), on obtient : y (t) = - a1 y (t – 1) – a2 y (t – 2) - … - an y (t –n) + b0 u (t) + … + bm u (t -m) + e (t) (11) De l’équation (10) et (11), on déduit la solution optimale au sens des moindres carrés de la forme suivante : N N t=1 t =1 θˆ (N) = [ ∑ϕ (t ) ϕT (t ) ]−1.∑ϕ(t) y(t) ( ϕ (t ) ϕ (12) T (t ) ) 4 Détermination des paramètres Nous constatons que la matrice On peut donc, penser de manière intuitive que si l’on augmente le nombre d’observations, le problème se ramènera à la résolution d’un système d’équations linéaires. Dans le cas d’un système bruité, nous grande, si le nombre d’échantillons N est important, d’où le calcul de son inverse n’est pas conseillé, pour cela on utilise l’estimation récursive des moindres carrés . est SETIT2005 5 Mise en oeuvre de l’algorithme des moindres carrés récursif ∧ E θ ( t ) = θ 0 Pour la mise en œuvre de l’algorithme récursif, on pose : En remplaçant l’équation (6) dans (12), on obtient : t R(t) = ∑ϕ(k )ϕT (k) = R(t −1) + ϕ(t)ϕT (t) (13) k =1 θ (t ) = R −1 (14) k =1 θˆ ( t ) = R − 1 ( t ) ∑ ϕ (k ) y ( k ) + ϕ (t ) y (t ) (15) k =1 ∧ θˆ(t ) = R −1 (t ) R (t − 1) θ (t − 1) + ϕ ( t ) y( t ) (16) ∧ ∧ θˆ (t) = R−1(t)R(t)θ (t − 1) −ϕ(t)ϕT (t)θ (t −1) + ϕ(t) y(t) (17) t− 1 ∧ ∧ θˆ (t) = θ (t − 1) + R −1 (t )ϕ(t ) y(t) − θ T (t − 1)ϕ (t ) (18) D’après cette dernière équation (18), on remarque que la solution des moindres carrés récursive contient le terme R-1(t) qui nécessite une inversion matricielle à chaque instant t. Donc, on utilise le lemme d’inversion matric ielle qui se présente sous la forme suivante [2] : [ ] −1 = B −1 − B −1CDT B−1 1 + DT B −1C Nous posons:B = R( t − 1) , C = ϕ ( t ) , D = ϕ T Or [ R −1 (t ) = R(t − 1) − ϕ(t )ϕ T (t ) −1 ∑ ϕ(k)[ ϕ (k)θ +e(k) ] N T 0 k =1 Où E : représente l’espérance mathématique. ( t ) ∑ ϕ (k ) y ( k ) T −1 T [ ] t [B − CD ] ϕ(k) ϕ ( k) ∑ k =1 N N N E θˆ ( N) = θ0 + E[ ∑ϕ (k) ϕT (k ) ]−1.∑ϕ(k )e(k) k =1 k =1 D’après les équations (12) et (13), on a : ∧ θˆ ( N ) = ] (19) ( t) −1 (20) L’application du lemme d’inversion matricielle sur l’équation (20), donne : 1 (21) R−1(t) = R−1(t −1) − R−1 (t −1)ϕ(t )ϕTR−1(t − 1) 1+ϕT (t)R−1(t −1)ϕ(t) L’introduction de la matrice du gain d’adaptation P (t ) = R −1 (t) , permet la mise en œuvre de l’algorithme des moindres carrés récursif MCR de la forme suivante : ∧ ∧ θˆ (t) = θ (t −1) + P(t)ϕ(t)ϕT (t) y(t) −θ T (t −1)ϕ(t) (22) 1 P(t) = P(t −1) − P(t −1)ϕ(t)ϕT P(t −1) T 1+ ϕ (t)P(t −1)ϕ(t) (23) 6 Propriétés de l’estimateur des moindres carrés L’estimateur ? (t) est dit non biaisé si cette condition est vérifiée : La méthode des moindres carrés fournit une estimation non biaisée dans le cas où e (k) une séquence aléatoire centrée (moyenne nulle). D’où, on écrit : biaisé. Finalement : [ ] Eθˆ (N) =θ0 et l’estimateur est non θˆ ( N ) →θ0 quand N → ∞ 7 Exemple de simulation Considérons un système physique stable ayant la fonction de transfert suivante : H ( z ) = Z −1 1 + 2 Z −1 1 + 0.3Z −1 + 0.8Z −2 Avec a1 = 0.3 a2 = 0.8 b1 = 1 b2 = 2 L’implémentation de l’algorithme MCR sur PC, en utilisant le langage de programmation MATLAB, nous a donné les résultats suivants : SETIT2005 8 Application au signal de parole Considérons le signal de sortie comme un signal de parole qui est sous forme d'un fichier de données qui correspond à la phrase suivante : un loup s'est jeté immédiatement sur la petite chèvre. (Voir Fig.5). 9 Conclusion La méthode des moindres carrés récursive qui a été présentée en détail dans cet article donne des estimations non biaisées uniquement pour des modèles ARMA. D’autre part cette méthode, n'utilise aucune information a priori sur le bruit de mesure, et nous avons montré que si le bruit n'est pas à valeur moyenne nulle, l'estimation des paramètres est biaisée. D'une manière générale, nous n'avons pas utilisé la loi de répartitions statistiques du bruit et nous ne l'avons même pas supposée connue. Pour cette raison, si on veut améliorer la qualité de l'estimateur, on suppose les statistiques sont connues a priori, d’où l'utilisation de la technique du maximum de vraisemblance (MVR). Le modèle qui correspond au signal de parole ayant la structure auto régressive AR de la forme : [6]. n y (t ) = ∑ ai y (t − i) + v(t ) i=1 Avec n: représente l'ordre du modèle v (t) : bruit blanc L’utilisation de l'algorithme des moindres carrés récursif RLS (Récursive Least Square) pour identifier les paramètres ai du modèle AR, donne les résultats suivants : Références [1] M. Kunt, « traitement numérique des signaux », Dunod [2] M. Najim, « Modélisation et identification en traitement du signal ». Masson, 1988. [3] D. Landau, « Identification des système », Hermes, Paris , 1998. [4] R. Ben Abdnnour, P. Borne, M. Ksouri et F. M’sahli, « Identification et commande numérique des procédés industriels », édition téchnip, avril 2001. [5] M. Boumendil, M. Kardi, « Eude et implémentation des algorithmes d’identification paramétriques et application au signal de parole », mémoire d’ingénieur d’état, Blida, Octobre2002. [6] O. Siohan, «Reconnaissance automatique de la parole continue en environnement bruité : Application à des modèles stochastiques de trajectoires », thèse de doctorat, université Henri Poincaré, Nancy I, septembre 1995. View publication stats
