UN ALGORITHME DES MOINDRES CARRE S A FENE^ TRE GLISSANTE GE NE RALISE E: Le GSW RLS Karim Maouche Dirk T. M. Slock Institut EURECOM, 2229 route des Cr^etes, B.P. 193, 06904, Sophia Antipolis Cedex, FRANCE Nous presentons un nouvel algorithme des moindres carres recursif (RLS): le GSW RLS. Cet algorithme utilise une fen^etre generalisee constituee d'une fen^etre exponentielle pour les L donnees les plus recentes puis d'une fen^etre exponentielle de m^eme facteur d'oubli mais attenuee pour le reste des donnees. Nous donnons l'analyse asymptotique au second ordre pour deux types de variations du canal (marche aleatoire et processus autoregressif d'ordre 1) et nous prouvons que le GSW RLS possede une meilleure capacite de poursuite que les algorithmes RLS classiques. We derive a new RLS algorithm: the GSW RLS algorithm. This algorithm uses a generalized window which consists of an exponential decay for the rst L lags and the same but attenuated exponential window for the rest of the data. We analyze the steady-state EMSE with two kind of variations for the time-varying optimal lter coecients (random walk and autoregressive process of order 1) and prove that the new algorithm performs a better tracking than the classical RLS algorithms. 1 INTRODUCTION Dans ce papier, nous presentons un nouvel algorithme RLS: le GSW RLS qui generalise les algorithmes WRLS et SWC RLS. Cet algorithme utilise une fen^etre generalisee composee d'une fen^etre exponentielle pour les L donnees les plus recentes puis d'une autre fen^etre exponentielle de m^eme facteur d'oubli, attenuee par un facteur 1,. Avec cette nouvelle fen^etre, il devient possible d'approcher la capacite de poursuite de l'algorithme AP (L peut ^etre plus faible que l'ordre du ltre), tout en gardant la convergence du type RLS (l'algorithme resout un systeme d'equations sur-determine). De plus, le probleme de l'amplication de bruit est resolu a cause de la queue exponentielle de la fen^etre. L'algorithme GSW RLS a la m^eme structure et complexite que le SWC RLS. Nous en presentons une version rapide numeriquement stabilisee. Par la suite, nous donnons les resultats d'analyse asymptotique au second ordre dans les cas ou le canal varie selon un modele de marche aleatoire ou selon un processus autoregressif d'ordre 1 (AR(1)) et dans le cas ou le signal d'entree est un bruit blanc Gaussien. Ces analyses montrent la superiorite en terme de capacite de poursuite de la fen^etre generalisee. Elles font ressortir aussi, la superiorite de la fen^etre exponentielle sur la fen^etre rectangulaire, ce qui de prime abord constitue un resultat etonnant. Dans l'etat de l'art actuel, deux types de fen^etres sont utilises dans les algorithmes des moindres carres recursifs : La fen^etre exponentielle (algorithme WRLS) et la fen^etre rectangulaire (SWC RLS). L'algorithme SWC RLS poursuit mieux les variations brusques d'un systeme variable dans le temps. Ceci s'explique intuitivement par le fait que la fen^etre rectangulaire permet d'oublier le passe de facon plus prononcee que ne le fait la fen^etre exponentielle. Par ailleurs, l'algorithme de projection ane (AP) qui a ete recemment introduit possede une meilleure capacite de poursuite que celle des algorithmes RLS. Cette superiorite vient du fait que cet algorithme utilise une fen^etre rectangulaire de taille plus courte que la taille du ltre. L'algorithme AP resout un systeme d'equations sous-determine alors que les algorithmes du type RLS resolvent un systeme d'equations surdetermine. La capacite de poursuite est d'autant meilleure que cette fen^etre est courte mais il y a une limitation a ce raisonnement car la vitesse de convergence de l'algorithme devient plus faible lorsque la taille L de la fen^etre diminue. Il est bien connu par exemple que la vitesse de convergence du NLMS (algorithme AP avec L = 1) est mauvaise pour un signal d'entree correle. D'autre part, l'algorithme AP peut donner de mauvais resultats a cause du phenomene d'amplication de bruit dont l'origine est le mauvais conditionnement de la matrice de covariance d'ordre L estimee sur une fen^etre de taille N (N est l'ordre du ltre). 2 L'ALGORITHME GSW RLS Le ltre transverse adaptatif WN;k forme une combinaison lineaire des N echantillons consecutifs du signal d'entree 1 fx(i,n); n = 0; : : :; N ,1g pour approximer l'oppose du signal desire d(i). Le signal d'erreur resultant est donne par mise a jour sur l'ordre (k; L+1) ! (k; L). En utilisant ( 5) et (8), on a X N ,1 WN;L;k RN;L;k = WN;L+1;kRN;L+1;k ,L d(k,L)XNH (k,L): (9) En ecrivant RN;L+1;k en fonction de RN;L;k , (9) devient n+1 x(i,n) WN;k n=0 (1) H H H H ou XN (i) = x (i) x (i,1) x (i,N +1) est le vecteur de regression et H l'operateur de transposition et conjugaison complexe. Dans h l'algorithme iRLS, les N coef1 N cients du ltre WN;k = WN;k WN;k sont adaptes de maniere a minimiser recursivement le critere des moindres carres suivant N (ijk) = d(i) + WN;k XN (i) = d(i) + k X N (k) = i=1 k,i kN (ijk)k2 ; WN;L;k = WN;L+1;k + L N;L+1 (k)De N;L+1;k ; ou N;L+1(k) = d(k,L)+ WN;L+1;k XN (k,L) et De N;L+1;k = 1 sont le signal d'erreur a posteriori et le ,XNH (k,L)R,N;L;k gain de Kalman a priori associe. Appliquons alors le LIM a (7), nous obtenons (2) 1 = R,1 ,1 H R,N;L;k N;L+1;k ,DN;L+1;k N;L+1 (k)DN;L+1;k ; (11) ou 2 (0; 1] est le facteur d'oubli exponentiel, kvk2 = vvH , k:k = k:kI . D'un autre c^ote, l'algorithme SWC RLS minimise recursivement le critere suivant N;L (k) = k X i=k,L+1 k,i kN (ijk)k2 ; 1 avec DN;L+1;k = ,XNH (k,L)R,N;L +1;k et N;L+1 (k) = , 1 , L , DN;L+1;k XN (k,L) le gain de Kalman a posteriori et la variable de vraisemblance. Par ailleurs, il est facile ,1 (k)DN;L+1;k de montrer que De N;L+1;k = ,1,L N;L +1 p et que l'erreur a priori est N;L+1(k) = d(k,L) + ,1 (k)N;L+1 (k). En assoWN;L;k XN (k,L) = ,1,L N;L +1 ciant les equations obtenues avec celles de la partie mise a jour sur l'ordre, nous obtenons les equations du GSW RLS (3) ou la longueur L de la fen^etre rectangulaire doit ^etre plus grande que l'ordre du ltre, auquel cas, la matrice de covariance du signal d'entree est inversible. Considerons maintenant le critere associe a la fen^etre generalisee wi : CeN;L;k ,1 (k) N;L p N;L (k) N;L (k) WN;L+1;k 1 R,N;L +1;k DN;L+1;k N;L+1(k) N;L+1(k) p N;L +1(k) WN;L;k 1 R,N;L;k i X N;L (k)= wk,i kN (ijk)k2 ; wi = k 0iL : i>L i=1 (4) Ce nouveau critere generalise les criteres des algorithmes RLS et SWC RLS. En eet, nous retrouvons le critere du RLS (2) a partir de (4) en prenant = 0 et celui du SWC RLS (3) a partir de (4) quand = 1 et = 1. Soit WN;L;k le ltre optimal calcule pour la nouvelle fen^etre, la minimisation de (4) donne H 1 WN;L;k = ,PN;L;k R,N;L;k ; (5) ou (1,)i X k,L k X RN;L;k = (1,) k,iXN (i)XNH (i) + k,iXN (i)XNH(i) i=1 k,L X k,i PN;L;k = (1,) XN i=1 i=k,L+1 k (i)dH(i) + k,i X X i=k,L (10) = = = = = = = = = = = = 1 ,,1 XNH (k)R,N;L;k ,1 e 1 , CN;L;k XN (k) d(k) + WN;L;k,1 XN (k) pN;L (k)N;L (k) WN;L;k,1 + CeN;L;k N;L (k) 1 H ,1 R,N;L;k ,1 ,CeN;L;k N;L (k)CeN;L;k 1 ,XNH (k,L)R,N;L (12) +1;k , 1 , L , DN;L+1;k XN (k,L) d(k,L) + WN;L+1;k XN (k,L) ,1 (k)N;L+1 (k) ,1,L N;L +1 p WN;L+1;k + L DN;L+1;k N;L +1 (k) , 1 H , 1 RN;L+1;k ,DN;L+1;k N;L+1(k)DN;L+1;k : L'algorithme est initialise avec RN;L;0 = I , etant un nombre reel positif relativement petit. L'algorithme GSW RLS a la m^eme structure que l'algorithme SWC RLS. Sa complexite est en O(N 2 ) operations. L'exploitation de la structure de deplacement de l'inverse de la matrice de covariance permet de deriver une version rapide du GSW RLS que nous donnons dans la prochaine section. N(i)d H(i) ; (6) sont respectivement la matrice de covariance et le vecteur d'intercorrelation echantillons qui verient les recurrences RN;L+1;k = RN;L;k,1 + XN (k)XNH (k) = RN;L;k , LXN (k,L)XNH (k,L) (7) PN;L+1;k = PN;L;k,1 +XN (k)dH (k) = PN;L;k ,LXN (k,L)dH (k,L) : (8) A partir de (7) et (8), nous utilisons 2 fois le Lemme d'Inversion Matriciel (LIM) pour arriver a une solution recursive dans le temps. Une premiere etape consiste en une mise a jour sur l'ordre et le temps : (k,1; L) ! (k; L+1), etape similaire a celle du RLS classique et est suivie par une 3 L'algorithme GSW SFTF La derivation d'un algorithme rapide est rendue facile du fait que le GSW RLS a la m^eme structure que le SWC RLS dont une version rapide stabilisee est donnee dans [1]. En utilisant ces resultats, nous donnons l'algorithme GSW SFTF, une 2 1 ! X version rapide numeriquement stabilisee du GSW RLS fkH W fk = wi R = ,1 R et en utilisant le fait que EW i=0 ,1 ,s e AN;L;k fkH W fk , on trouve ; N;L(k);,C1 N,+11 ;L;k;0 Nh+1e;L(k) i ,s EX En;ZjX W = f 0 1 1 U AN;L0 ;k0 ; N;L0 (k ); 0 CN;L;k0 ; N;L (k); XN +1(k) he i ,s 1 X X BN;L;k COVk = R,1 @n2 wi2R + wiwj Ci;j A R,1 ; ; N;L(k); CN;L;k0 0 e; N;L (k) ,s i=0 i;j =0 0 (k ); CN +1;L;k; N +1;L(k); XN +1 (k) = fD BN;L,01;k0 ; N;L (16) H (i; j )Xk,j X H et (i; j ) = AN;L0 ;k ; N;L0 (k); Db N +1h ;L;k ; ,bNs +1;L ( k ) o u C = E X X i;j k , i k,i k,j ,1 s (k); XN +1 (kL ) b N +1;L;k0i ; ,bN;L EHk;ik;j . Dans le cas ou Xk est un vecteur reel Gaussien, = f U AN;L;k ; N;L(k); 0 D h i s il vient BN;L0 ;k ; N;L0 (k); Db N;L;k 0 ; ,bN;L (k) Ci;j = R(i; j )R + Ti,j (i; j )Ti,j + Ti,j tr (Tj ,i (i; j )) = fD BN;L;k ; N;L (k); Db N +1;L;k; ,bNs +1;L(k); XN +1(kL ) (17) T . s (k)N;L0 (k),1 0 (k) avec T = E X X k pair: N;L (k) = N +L,1 bN;L i , j k , i k,j N;L s (k) En supposant l'independance statistique entre Xk,1 et bN;L (k) = bN;L WN;k , l'erreur quadratique moyenne (EQM) est donnee par ,1 (k) = N +L,1 ,s (k)N;L0 (k),1 0 (k) k impair: bN;L N;L N;L , 1 , s N;L (k) = N;L(k) var(pN (k)) = n2 + tr (R COVk,1) (18) 1 1 e X X fJ WN;L0 ;k0 ; CN;L;k; N;L (k); d(k); XN (k) , (WN;L;k ; N;L(kL))= = n2 +Nn2 wej2 + wei wej tr Ci;j R,1 : 0 WN;L0 ;k ; , N;L0 (k) j =0 i;j =0 , 1 b b = fJ WN;L;k ; DN;L;k ; ,N;L (k); d(kL); XN (kL) ; avec wei = wi : L'EQM (18)Pest1 composee de deux ter(13) mes: le premier n = (1 + N i=0wei ) n2 est la contribudu bruit de sortie alors que le second terme W = ou k0 = k,1, L0 = L,1, kL = k,L+1, Db N;L;k = tion 1 X , 1,L DN;L;k et bN;L (k) = ,2(L,1) N;L (k). AN;L;k et weiwej tr Ci;j R,1 est d^u a la variation du canal. Pour BN;L;k sont les ltres de prediction avant et arriere et i;j =0 N;L (k) et N;L (k) les energies des erreurs de prediction cor- les trois algorithmes WRLS, SWC RLS et GSW RLS, l'EQM respondantes. Pour la denition des transformations fU ; fD due au bruit est: and fJ , on pourra se reporter a [2]. La complexite du GSW L 2 1 + N 1, 1+(,2) GSWRLS : L n 1+ (1 , ) SFTF est de 16N operations, qui est aussi celle du SWC 1, (19) SFTF. WRLS : n2 1 + N 1+ , SWCRLS : n2 1 + NL : 4 Analyse des performances Il faut noter que l'EQM due au bruit du WRLS peut ^etre obtenue a partir de celle du GSW RLS pour = 0. Il en est Nous nous proposons de donner une analyse des perfor- de m^eme pour le SWC RLS quand = 1 et ! 1. mances de l'algorithme GSW RLS dans le cas general d'un Pour la suite de l'analyse, nous considerons le cas ou l'entree canal variable dans le temps. Pour ce faire, nous considerons est un bruit blanc de variance x2 et (i; j ) est une matrice deux modeles de variations: dans le premier, le ltre opti- diagonale, il en resulte que mal est un processus AR d'ordre 1 et le second modele est 1 X un modele du type marche aleatoire. Dans [3], nous donnons W = x2 wi wj (1 + (N + 1)i;j )tr ((i; j )) : (20) aussi l'analyse de l'algorithme dans le cas d'une variation de i;j =0 canal selon un modele a moyenne ajustee. Dans ce qui suit, nous notons WN;k , le ltre estime et Xk , Nous allons maitenant examiner le cas ou le canal varie selon le vecteur de regression a l'instant k. Considerons le modele un processus AR(1). d'identication classique pour le signal desire: 4.1 Variation du type AR(1) o d(k) = WN;k (14) ,1 Xk + n(k) ; Considerons le modele de variation AR(1) du ltre optimal ou n(k) est ,une sequence i.i.d. Gaussienne, centr e e et de o est le ltre optimal suivant: variance n2 n(k) N (0; n2 ) et WN;k o = W o 2 2 WN;k N;k,1 + Zk ; Zk N (0; (1, ) z I ) ; (21) a l'instant k. Notons wi , les coecients de la fen^etre utilisee. A partir de (5) et (14), il est possible d'exprimer le vecteur Dans ce cas, (i; j ) = 1,z ,1 + jj ,ij , i+1 , j +1 I . o comme fN;k = WN;k + WN;k deviation W D'apres (20), il s'en suit que l'EQM due a la variation du canal pour les algorithmes WRLS et SWC RLS sont ! 1 X 1, 1,(2+) 2(N +1)(1,) fN;k = x z W wi (k;iXk,i + nk,i ) Xk,i R,k 1 ; (15) WRLS : N 1, 1+ 1+ 1, + 1, i=0 SWCRLS : LN(1x,z ) (L(2N + L + 2), o , Wo ou k;i = WN;k . Soit COV , la matrice de k N;k,i,1 1,L )(N +L+1) L(1, ),2(1,L ) ( 2 + : H W 1, fN;k fN;k . En (1,) covariance du ltre deviation: COVk = EW (22) supposant que k est assez grand pour que RN;k ERN;k = 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 0.39 2.8 0.38 2.4 0.37 SWC RLS 2.2 EQM totale Desajustement du a la variation du canal 2.6 2 1.8 0.34 0.2 0.3 0.4 0.5 0.6 0.7 Desajustement du au bruit 0.8 0.9 0.32 50 1 quand = , elle est donnee par 2 2 EQM totale 0.995 0.99 0.25 0.97 0.95 0.98 0.99 2 2 2 2 +1 2 0.4 0.96 0.97 Facteur d’oubli 2 2 0.45 0.3 2 2 0.5 0.95 300 Dans le cas de la marche aleatoire, le ltre optimal verie o = Wo 2 WN;k N;k,1 + Z (k) ; Z (k) i.i.d. N (0; z I ) : (25) et (i; j ) = min(i+1; j +1)z2 I , ce qui donne pour (20) (2,) L ()+1 , 2LP () x Lz GSWRLS : (1N , ) (N +2) (1+) 1, ,(1,) L () +2(1,)L2L,1 (1,) + 2 P ( )(1+ ) (1,) 2 + N (1 , ) WRLS : Nx2 z2 (1 + )2 (1 , ) SWCRLS : Nx2 z2 (L + 1)(3NL + 2L + 4) : (26) avec () = L2 ,L,1; P () = 1,LL,1 +(L,1)L . Nous avons determine les parametres optimaux de la fen^etre generalisee. Les calculs montrent que celle-ci possede une meilleure capacite de poursuite mais l'amelioration apportee est nettement mois importante que celle obtenue dans le cas de la variation AR(1) du canal. Dans le cas de la marche aleatoire, la fen^etre exponentielle presente aussi une meilleure capacite de poursuite que la fen^etre rectangulaire. 0.55 0.94 250 4.2 Variation du type marche aleatoire (23) (24) avec Q() = (2N +3)2,2(2N +L+3)+2. Nous donnons 0.93 200 2 0.2 150 dierentes valeurs de . Ces courbes montrent que lorsque la variation du canal optimal devient relativement rapide ( < 0:98), l'EQM devient strictement decroissante en fonction de (resp. L). Dans cette situation l'EQM a pour limite quand ! 1 (resp. L ! 1) la variance du signal desire: x z var(dk ) = n2 + N 1, . Nous retrouvons par contre, le comportement classique des algorithmes adaptatifs pour des variations plus lentes du canal ( > 0:98). Nx2 z2 (1,)2 1,2L 1,L L (1,)(1+) 1, , 2 1+ (1,L)2 Q()2L + 22 1,2(L,1) +(1,)2 2L + 2N +3+ (1+)3 (1,) (1+)2 3L 1+ ( , 2) ,2(N +1) (1+)(1++2 ) ; 0.35 100 Figure 3: EQM totale de l'algorithme SWC RLS pour differentes valeurs de (N = 50, x2 = z2 = 0:01 et n2 = 0:1). Nx2 z2 (1,)2 1+(,2)2L + 1,L 1,2 1, (1,L)2 (1,2 ) (2N + 3) 2 L ) 1,L , 2 1,()L ,2(N +1) (,2)( 1, 1, 1,2 )L,1 (1,)2(L,1) + 1,1,2(L2,1) ,()L,1 1,1(,= ; (=) 0.15 0.92 0.986 L L'expression de l'EQM due a la variation du canal pour la fen^etre generalisee depend de la valeur de . Quand 6= , elle vaut W = 0.987 0.33 GSW RLS Figure 1: Courbes de desajustement pour une variation AR(1) du canal (N = 50, x2 = z2 = 0:01, n2 = 0:1 et = :99). 0.988 1.4 1 0.1 +2 0.35 WRLS 1.6 1.2 W = 0.989 0.36 1 Figure 2: EQM totale de l'algorithme WRLS pour differentes valeurs de (N = 50, x2 = z2 = 0:01 et n2 = 0:1). References en Fig.(1), les courbes des desajustements des EQM dues a la variation du canal en fonction des desajustements dus au bruit pour les trois algorithmes. La courbe associee au GSW RLS est obtenue en minimisant par rapport a et L, le desajustement d^u a la variation du canal. La valeur de etant obtenue en xant une valeur de desajustement d^u au bruit. Il ressort de ces courbes que la fen^etre generalisee est la meilleure. Il apparait aussi que la fen^etre exponentielle possede une meilleure capacite de poursuite que la fen^etre rectangulaire. Sur les gures (2) et (3), nous donnons les EQM totales pour les fen^etres exponentielles et rectangulaires en fonction respectivement de et de L et ce, pour [1] D.T.M. Slock and T. Kailath \A modular prewindowing framework for covariance FTF RLS algorithms". Signal Processing, 28(1):47{61, 1992. [2] D.T.M. Slock and T. Kailath \A modular multichannel multiexperiment fast transversal lter RLS algorithm". Signal Processing, 28(1):25{45, 1992. [3] K. Maouche and Dirk T.M. Slock. \The Generalized Sliding Window Recursive Least-Squares (GSW RLS) Algorithm". Technical Report RR No 95-021, Institut Eurecom, Sophia Antipolis, France, April, 1995. 4