1 INTRODUCTION 2 L`ALGORITHME GSW RLS

UN ALGORITHME DES MOINDRES CARRE S A
FENE^ TRE GLISSANTE GE NE RALISE E: Le GSW RLS
Karim Maouche
Dirk T. M. Slock
Institut EURECOM, 2229 route des Cr^etes, B.P. 193, 06904, Sophia Antipolis Cedex, FRANCE
Nous presentons un nouvel algorithme des moindres carres recursif (RLS): le GSW RLS. Cet algorithme utilise
une fen^etre generalisee constituee d'une fen^etre exponentielle
pour les L donnees les plus recentes puis d'une fen^etre exponentielle de m^eme facteur d'oubli mais attenuee pour le
reste des donnees. Nous donnons l'analyse asymptotique au
second ordre pour deux types de variations du canal (marche
aleatoire et processus autoregressif d'ordre 1) et nous prouvons que le GSW RLS possede une meilleure capacite de
poursuite que les algorithmes RLS classiques.
We derive a new RLS algorithm: the GSW RLS algorithm.
This algorithm uses a generalized window which consists of
an exponential decay for the rst L lags and the same but
attenuated exponential window for the rest of the data. We
analyze the steady-state EMSE with two kind of variations
for the time-varying optimal lter coecients (random walk
and autoregressive process of order 1) and prove that the
new algorithm performs a better tracking than the classical
RLS algorithms.
1 INTRODUCTION
Dans ce papier, nous presentons un nouvel algorithme RLS:
le GSW RLS qui generalise les algorithmes WRLS et SWC
RLS. Cet algorithme utilise une fen^etre generalisee composee
d'une fen^etre exponentielle pour les L donnees les plus recentes puis d'une autre fen^etre exponentielle de m^eme facteur d'oubli, attenuee par un facteur 1,. Avec cette nouvelle fen^etre, il devient possible d'approcher la capacite de
poursuite de l'algorithme AP (L peut ^etre plus faible que
l'ordre du ltre), tout en gardant la convergence du type RLS
(l'algorithme resout un systeme d'equations sur-determine).
De plus, le probleme de l'amplication de bruit est resolu a
cause de la queue exponentielle de la fen^etre. L'algorithme
GSW RLS a la m^eme structure et complexite que le SWC
RLS. Nous en presentons une version rapide numeriquement
stabilisee. Par la suite, nous donnons les resultats d'analyse
asymptotique au second ordre dans les cas ou le canal varie
selon un modele de marche aleatoire ou selon un processus
autoregressif d'ordre 1 (AR(1)) et dans le cas ou le signal
d'entree est un bruit blanc Gaussien. Ces analyses montrent la superiorite en terme de capacite de poursuite de la
fen^etre generalisee. Elles font ressortir aussi, la superiorite
de la fen^etre exponentielle sur la fen^etre rectangulaire, ce qui
de prime abord constitue un resultat etonnant.
Dans l'etat de l'art actuel, deux types de fen^etres sont utilises dans les algorithmes des moindres carres recursifs : La
fen^etre exponentielle (algorithme WRLS) et la fen^etre rectangulaire (SWC RLS). L'algorithme SWC RLS poursuit
mieux les variations brusques d'un systeme variable dans
le temps. Ceci s'explique intuitivement par le fait que la
fen^etre rectangulaire permet d'oublier le passe de facon plus
prononcee que ne le fait la fen^etre exponentielle. Par ailleurs,
l'algorithme de projection ane (AP) qui a ete recemment
introduit possede une meilleure capacite de poursuite que
celle des algorithmes RLS. Cette superiorite vient du fait
que cet algorithme utilise une fen^etre rectangulaire de taille
plus courte que la taille du ltre. L'algorithme AP resout
un systeme d'equations sous-determine alors que les algorithmes du type RLS resolvent un systeme d'equations surdetermine. La capacite de poursuite est d'autant meilleure
que cette fen^etre est courte mais il y a une limitation a ce
raisonnement car la vitesse de convergence de l'algorithme
devient plus faible lorsque la taille L de la fen^etre diminue.
Il est bien connu par exemple que la vitesse de convergence
du NLMS (algorithme AP avec L = 1) est mauvaise pour
un signal d'entree correle. D'autre part, l'algorithme AP
peut donner de mauvais resultats a cause du phenomene
d'amplication de bruit dont l'origine est le mauvais conditionnement de la matrice de covariance d'ordre L estimee
sur une fen^etre de taille N (N est l'ordre du ltre).
2 L'ALGORITHME GSW RLS
Le ltre transverse adaptatif WN;k forme une combinaison
lineaire des N echantillons consecutifs du signal d'entree
1
fx(i,n); n = 0; : : :; N ,1g pour approximer l'oppose du signal desire d(i). Le signal d'erreur resultant est donne par
mise a jour sur l'ordre (k; L+1) ! (k; L).
En utilisant ( 5) et (8), on a
X
N ,1
WN;L;k RN;L;k = WN;L+1;kRN;L+1;k ,L d(k,L)XNH (k,L):
(9)
En ecrivant RN;L+1;k en fonction de RN;L;k , (9) devient
n+1 x(i,n)
WN;k
n=0
(1)
H
H
H
H
ou XN (i) = x (i) x (i,1) x (i,N +1) est le
vecteur de regression et H l'operateur de transposition et
conjugaison complexe. Dans
h l'algorithme
iRLS, les N coef1
N
cients du ltre WN;k = WN;k WN;k sont adaptes de
maniere a minimiser recursivement le critere des moindres
carres suivant
N (ijk) = d(i) + WN;k XN (i) = d(i) +
k
X
N (k) =
i=1
k,i kN (ijk)k2 ;
WN;L;k = WN;L+1;k + L N;L+1 (k)De N;L+1;k ;
ou N;L+1(k) = d(k,L)+ WN;L+1;k XN (k,L) et De N;L+1;k =
1 sont le signal d'erreur a posteriori et le
,XNH (k,L)R,N;L;k
gain de Kalman a priori associe. Appliquons alors le LIM a
(7), nous obtenons
(2)
1 = R,1
,1
H
R,N;L;k
N;L+1;k ,DN;L+1;k N;L+1 (k)DN;L+1;k ; (11)
ou 2 (0; 1] est le facteur d'oubli exponentiel, kvk2 = vvH ,
k:k = k:kI . D'un autre c^ote, l'algorithme SWC RLS minimise recursivement le critere suivant
N;L (k) =
k
X
i=k,L+1
k,i kN (ijk)k2 ;
1
avec DN;L+1;k = ,XNH (k,L)R,N;L
+1;k et N;L+1 (k) =
,
1
,
L
, DN;L+1;k XN (k,L) le gain de Kalman a posteriori et la variable de vraisemblance. Par ailleurs, il est facile
,1 (k)DN;L+1;k
de montrer que De N;L+1;k = ,1,L N;L
+1
p
et que l'erreur a priori est N;L+1(k) = d(k,L) +
,1 (k)N;L+1 (k). En assoWN;L;k XN (k,L) = ,1,L N;L
+1
ciant les equations obtenues avec celles de la partie mise a
jour sur l'ordre, nous obtenons les equations du GSW RLS
(3)
ou la longueur L de la fen^etre rectangulaire doit ^etre plus
grande que l'ordre du ltre, auquel cas, la matrice de covariance du signal d'entree est inversible. Considerons maintenant le critere associe a la fen^etre generalisee wi :
CeN;L;k
,1 (k)
N;L
p
N;L (k)
N;L (k)
WN;L+1;k
1
R,N;L
+1;k
DN;L+1;k
N;L+1(k)
N;L+1(k)
p
N;L
+1(k)
WN;L;k
1
R,N;L;k
i
X
N;L (k)= wk,i kN (ijk)k2 ; wi =
k
0iL :
i>L
i=1
(4)
Ce nouveau critere generalise les criteres des algorithmes
RLS et SWC RLS. En eet, nous retrouvons le critere du
RLS (2) a partir de (4) en prenant = 0 et celui du SWC
RLS (3) a partir de (4) quand = 1 et = 1.
Soit WN;L;k le ltre optimal calcule pour la nouvelle fen^etre,
la minimisation de (4) donne
H
1
WN;L;k = ,PN;L;k
R,N;L;k
;
(5)
ou
(1,)i
X
k,L
k
X
RN;L;k = (1,) k,iXN (i)XNH (i) + k,iXN (i)XNH(i)
i=1
k,L
X k,i
PN;L;k = (1,) XN
i=1
i=k,L+1
k
(i)dH(i) + k,i X
X
i=k,L
(10)
=
=
=
=
=
=
=
=
=
=
=
=
1
,,1 XNH (k)R,N;L;k
,1
e
1 , CN;L;k XN (k)
d(k) + WN;L;k,1 XN (k)
pN;L (k)N;L (k)
WN;L;k,1 + CeN;L;k N;L (k)
1
H
,1 R,N;L;k
,1 ,CeN;L;k N;L (k)CeN;L;k
1
,XNH (k,L)R,N;L
(12)
+1;k
,
1
,
L
, DN;L+1;k XN (k,L)
d(k,L) + WN;L+1;k XN (k,L)
,1 (k)N;L+1 (k)
,1,L N;L
+1
p
WN;L+1;k + L DN;L+1;k N;L
+1 (k)
,
1
H
,
1
RN;L+1;k ,DN;L+1;k N;L+1(k)DN;L+1;k :
L'algorithme est initialise avec RN;L;0 = I , etant un nombre reel positif relativement petit. L'algorithme GSW RLS a
la m^eme structure que l'algorithme SWC RLS. Sa complexite est en O(N 2 ) operations. L'exploitation de la structure
de deplacement de l'inverse de la matrice de covariance permet de deriver une version rapide du GSW RLS que nous
donnons dans la prochaine section.
N(i)d
H(i) ;
(6)
sont respectivement la matrice de covariance et le vecteur
d'intercorrelation echantillons qui verient les recurrences
RN;L+1;k = RN;L;k,1 + XN (k)XNH (k)
= RN;L;k , LXN (k,L)XNH (k,L) (7)
PN;L+1;k = PN;L;k,1 +XN (k)dH (k)
= PN;L;k ,LXN (k,L)dH (k,L) : (8)
A partir de (7) et (8), nous utilisons 2 fois le Lemme
d'Inversion Matriciel (LIM) pour arriver a une solution
recursive dans le temps. Une premiere etape consiste en une
mise a jour sur l'ordre et le temps : (k,1; L) ! (k; L+1),
etape similaire a celle du RLS classique et est suivie par une
3 L'algorithme GSW SFTF
La derivation d'un algorithme rapide est rendue facile du fait
que le GSW RLS a la m^eme structure que le SWC RLS dont
une version rapide stabilisee est donnee dans [1]. En utilisant
ces resultats, nous donnons l'algorithme GSW SFTF, une
2
1 !
X
version rapide numeriquement stabilisee du GSW RLS
fkH W
fk =
wi R = ,1 R et en utilisant le fait que EW
i=0
,1
,s
e
AN;L;k
fkH W
fk , on trouve
; N;L(k);,C1 N,+11 ;L;k;0 Nh+1e;L(k) i ,s
EX En;ZjX W
=
f
0 1
1
U AN;L0 ;k0 ; N;L0 (k ); 0 CN;L;k0 ; N;L (k); XN +1(k)
he
i ,s 1
X
X
BN;L;k
COVk = R,1 @n2 wi2R +
wiwj Ci;j A R,1 ;
; N;L(k); CN;L;k0 0 e; N;L (k) ,s
i=0
i;j =0
0 (k ); CN +1;L;k; N +1;L(k); XN +1 (k)
= fD BN;L,01;k0 ; N;L
(16)
H (i; j )Xk,j X H et (i; j ) =
AN;L0 ;k ; N;L0 (k); Db N +1h ;L;k ; ,bNs +1;L
(
k
)
o
u
C
=
E
X
X
i;j
k
,
i
k,i
k,j
,1
s (k); XN +1 (kL )
b N +1;L;k0i ; ,bN;L
EHk;ik;j . Dans le cas ou Xk est un vecteur reel Gaussien,
=
f
U AN;L;k ; N;L(k); 0 D
h
i s il vient
BN;L0 ;k ; N;L0 (k); Db N;L;k 0 ; ,bN;L
(k)
Ci;j = R(i; j )R + Ti,j (i; j )Ti,j + Ti,j tr (Tj ,i (i; j ))
= fD BN;L;k ; N;L (k); Db N +1;L;k; ,bNs +1;L(k); XN +1(kL )
(17)
T .
s (k)N;L0 (k),1 0 (k)
avec
T
=
E
X
X
k pair: N;L (k) = N +L,1 bN;L
i
,
j
k
,
i
k,j
N;L
s (k)
En supposant l'independance statistique entre Xk,1 et
bN;L (k) = bN;L
WN;k , l'erreur quadratique moyenne (EQM) est donnee par
,1 (k) = N +L,1 ,s (k)N;L0 (k),1 0 (k)
k impair: bN;L
N;L
N;L
,
1
,
s
N;L (k) = N;L(k)
var(pN (k)) = n2 + tr (R COVk,1)
(18)
1
1
e
X X
fJ WN;L0 ;k0 ; CN;L;k; N;L (k); d(k); XN (k)
,
(WN;L;k ; N;L(kL))=
= n2 +Nn2 wej2 + wei wej tr Ci;j R,1 :
0
WN;L0 ;k ; , N;L0 (k)
j =0
i;j =0
,
1
b
b
= fJ WN;L;k ; DN;L;k ; ,N;L (k); d(kL); XN (kL) ;
avec wei = wi : L'EQM (18)Pest1 composee de deux ter(13) mes: le premier n = (1 + N i=0wei ) n2 est la contribudu bruit de sortie alors que le second terme W =
ou k0 = k,1, L0 = L,1, kL = k,L+1, Db N;L;k = tion
1
X
,
1,L DN;L;k et bN;L (k) = ,2(L,1) N;L (k). AN;L;k et
weiwej tr Ci;j R,1 est d^u a la variation du canal. Pour
BN;L;k sont les ltres de prediction avant et arriere et i;j =0
N;L (k) et N;L (k) les energies des erreurs de prediction cor- les trois algorithmes WRLS, SWC RLS et GSW RLS, l'EQM
respondantes. Pour la denition des transformations fU ; fD due au bruit est:
and fJ , on pourra se reporter a [2]. La complexite du GSW
L
2 1 + N 1, 1+(,2)
GSWRLS
:
L
n
1+
(1
,
)
SFTF est de 16N operations, qui est aussi celle du SWC
1,
(19)
SFTF.
WRLS
: n2 1 + N 1+
,
SWCRLS : n2 1 + NL :
4 Analyse des performances
Il faut noter que l'EQM due au bruit du WRLS peut ^etre
obtenue a partir de celle du GSW RLS pour = 0. Il en est
Nous nous proposons de donner une analyse des perfor- de m^eme pour le SWC RLS quand = 1 et ! 1.
mances de l'algorithme GSW RLS dans le cas general d'un Pour la suite de l'analyse, nous considerons le cas ou l'entree
canal variable dans le temps. Pour ce faire, nous considerons est un bruit blanc de variance x2 et (i; j ) est une matrice
deux modeles de variations: dans le premier, le ltre opti- diagonale, il en resulte que
mal est un processus AR d'ordre 1 et le second modele est
1
X
un modele du type marche aleatoire. Dans [3], nous donnons
W = x2 wi wj (1 + (N + 1)i;j )tr ((i; j )) : (20)
aussi l'analyse de l'algorithme dans le cas d'une variation de
i;j =0
canal selon un modele a moyenne ajustee.
Dans ce qui suit, nous notons WN;k , le ltre estime et Xk , Nous allons maitenant examiner le cas ou le canal varie selon
le vecteur de regression a l'instant k. Considerons le modele un processus AR(1).
d'identication classique pour le signal desire:
4.1 Variation du type AR(1)
o
d(k) = WN;k
(14)
,1 Xk + n(k) ;
Considerons le modele de variation AR(1) du ltre optimal
ou n(k) est ,une sequence i.i.d.
Gaussienne,
centr
e
e
et
de
o est le ltre optimal suivant:
variance n2 n(k) N (0; n2 ) et WN;k
o = W o
2 2
WN;k
N;k,1 + Zk ; Zk N (0; (1, ) z I ) ; (21)
a l'instant k. Notons wi , les coecients de la fen^etre utilisee.
A partir de (5) et (14), il est possible d'exprimer le vecteur Dans ce cas, (i; j ) = 1,z ,1 + jj ,ij , i+1 , j +1 I .
o comme
fN;k = WN;k + WN;k
deviation W
D'apres (20), il s'en suit que l'EQM due a la variation du
canal pour les algorithmes WRLS et SWC RLS sont
!
1
X
1, 1,(2+) 2(N +1)(1,) fN;k =
x z
W
wi (k;iXk,i + nk,i ) Xk,i R,k 1 ; (15)
WRLS
: N
1, 1+ 1+
1, + 1,
i=0
SWCRLS : LN(1x,z ) (L(2N + L + 2),
o , Wo
ou k;i = WN;k
.
Soit
COV
,
la
matrice
de
k
N;k,i,1
1,L )(N +L+1) L(1, ),2(1,L )
(
2
+
:
H W
1,
fN;k
fN;k . En
(1,)
covariance du ltre deviation: COVk = EW
(22)
supposant que k est assez grand pour que RN;k ERN;k =
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
0.39
2.8
0.38
2.4
0.37
SWC RLS
2.2
EQM totale
Desajustement du a la variation du canal
2.6
2
1.8
0.34
0.2
0.3
0.4
0.5
0.6
0.7
Desajustement du au bruit
0.8
0.9
0.32
50
1
quand = , elle est donnee par
2
2
EQM totale
0.995
0.99
0.25
0.97
0.95
0.98
0.99
2
2
2
2 +1
2
0.4
0.96
0.97
Facteur d’oubli
2
2
0.45
0.3
2
2
0.5
0.95
300
Dans le cas de la marche aleatoire, le ltre optimal verie
o = Wo
2
WN;k
N;k,1 + Z (k) ; Z (k) i.i.d. N (0; z I ) : (25)
et (i; j ) = min(i+1; j +1)z2 I , ce qui donne pour (20)
(2,) L ()+1 , 2LP ()
x Lz
GSWRLS : (1N
, ) (N +2)
(1+)
1,
,(1,) L () +2(1,)L2L,1 (1,) + 2 P ( )(1+
) (1,)
2
+
N
(1
,
)
WRLS
: Nx2 z2
(1 + )2 (1 , )
SWCRLS : Nx2 z2 (L + 1)(3NL + 2L + 4) :
(26)
avec () = L2 ,L,1; P () = 1,LL,1 +(L,1)L . Nous
avons determine les parametres optimaux de la fen^etre
generalisee. Les calculs montrent que celle-ci possede une
meilleure capacite de poursuite mais l'amelioration apportee
est nettement mois importante que celle obtenue dans le
cas de la variation AR(1) du canal. Dans le cas de la
marche aleatoire, la fen^etre exponentielle presente aussi une
meilleure capacite de poursuite que la fen^etre rectangulaire.
0.55
0.94
250
4.2 Variation du type marche aleatoire
(23)
(24)
avec Q() = (2N +3)2,2(2N +L+3)+2. Nous donnons
0.93
200
2
0.2
150
dierentes valeurs de . Ces courbes montrent que lorsque la
variation du canal optimal devient relativement rapide ( <
0:98), l'EQM devient strictement decroissante en fonction
de (resp. L). Dans cette situation l'EQM a pour limite
quand ! 1 (resp. L ! 1) la variance du signal desire:
x z
var(dk ) = n2 + N
1, . Nous retrouvons par contre, le
comportement classique des algorithmes adaptatifs pour des
variations plus lentes du canal ( > 0:98).
Nx2 z2 (1,)2
1,2L
1,L
L
(1,)(1+) 1, , 2 1+
(1,L)2
Q()2L + 22 1,2(L,1) +(1,)2 2L
+ 2N +3+
(1+)3 (1,)
(1+)2
3L
1+
(
,
2)
,2(N +1) (1+)(1++2 ) ;
0.35
100
Figure 3: EQM totale de l'algorithme SWC RLS pour differentes valeurs de (N = 50, x2 = z2 = 0:01 et n2 = 0:1).
Nx2 z2 (1,)2
1+(,2)2L + 1,L
1,2
1,
(1,L)2 (1,2 ) (2N + 3)
2 L
)
1,L , 2 1,()L ,2(N +1) (,2)(
1,
1,
1,2
)L,1
(1,)2(L,1) + 1,1,2(L2,1) ,()L,1 1,1(,=
;
(=)
0.15
0.92
0.986
L
L'expression de l'EQM due a la variation du canal pour la
fen^etre generalisee depend de la valeur de . Quand 6= ,
elle vaut
W =
0.987
0.33
GSW RLS
Figure 1: Courbes de desajustement pour une variation
AR(1) du canal (N = 50, x2 = z2 = 0:01, n2 = 0:1 et
= :99).
0.988
1.4
1
0.1
+2
0.35
WRLS
1.6
1.2
W =
0.989
0.36
1
Figure 2: EQM totale de l'algorithme WRLS pour differentes valeurs de (N = 50, x2 = z2 = 0:01 et n2 = 0:1).
References
en Fig.(1), les courbes des desajustements des EQM dues
a la variation du canal en fonction des desajustements dus
au bruit pour les trois algorithmes. La courbe associee au
GSW RLS est obtenue en minimisant par rapport a et L,
le desajustement d^u a la variation du canal. La valeur de etant obtenue en xant une valeur de desajustement d^u au
bruit. Il ressort de ces courbes que la fen^etre generalisee est
la meilleure. Il apparait aussi que la fen^etre exponentielle
possede une meilleure capacite de poursuite que la fen^etre
rectangulaire. Sur les gures (2) et (3), nous donnons les
EQM totales pour les fen^etres exponentielles et rectangulaires en fonction respectivement de et de L et ce, pour
[1] D.T.M. Slock and T. Kailath \A modular prewindowing
framework for covariance FTF RLS algorithms". Signal
Processing, 28(1):47{61, 1992.
[2] D.T.M. Slock and T. Kailath \A modular multichannel
multiexperiment fast transversal lter RLS algorithm".
Signal Processing, 28(1):25{45, 1992.
[3] K. Maouche and Dirk T.M. Slock. \The Generalized
Sliding Window Recursive Least-Squares (GSW RLS)
Algorithm". Technical Report RR No 95-021, Institut
Eurecom, Sophia Antipolis, France, April, 1995.
4