Algorithme du gradient stochastique (least-mean

Algorithme du gradient
stochastique (least-mean-square –
LMS)
L’algorithme du gradient stochastique est une
approximation de l’algorithme du gradient d´eterministe.
L’algorithme LMS est certainement l’algorithme
adaptatif le plus populaire qui existe en raison de
sa simplicit´e.
INRS-EMT J. Benesty

Plan
•Rappels sur l’algorithme du gradient d´eterministe
•L’algorithme LMS
•Convergence de l’algorithme LMS
•Quelques r`egles
•L’algorithme LMS pour des donn´ees complexes
•Exemple: ´egalisation adaptative
•R´esum´e
INRS-EMT J. Benesty 1

Rappels sur l’algorithme du gradient
d´eterministe
L’algorithme du gradient d´eterministe est:
h(n+1)=h(n)−1
2µg(n),(1)
o`u
g(n)=∂J [h(n)]
∂h(n)(2)
=−2E{x(n)e(n)}
=−2p+2Rh(n)
est le gradient de la fonction coˆut J[h(n)] =
E{e2(n)}. Cet algorithme peut encore s’´ecrire en
utilisant le signal d’erreur:
e(n)=d(n)−xT(n)h(n)(3)
h(n+1) = h(n)+µE{x(n)e(n)}.(4)
Probl`eme: en pratique, E{x(n)e(n)}ou de mani`ere
´equivalente Ret pne sont pas connus.
INRS-EMT J. Benesty 2

L’algorithme LMS
Puisque R=E{x(n)xT(n)}et p=E{x(n)d(n)}sont
inconnus, on approchera ces grandeurs d´eterministes
par des estim´ees  R(n)et  p(n)`a l’instant n. Dans le
cas du LMS, on choisit les estim´ees les plus simples
possibles, `a savoir:
R(n)=x(n)xT(n),(5)
p(n)=x(n)d(n).(6)
Ce sont simplement les estim´ees instantan´ees des
corr´elations.
En rempla¸cant  R(n)et  p(n)dans l’algorithme du
gradient d´eterministe [´eq. (1)], on obtient:
h(n+1) = h(n)+µ[ p(n)− R(n)h(n)]
=h(n)+µx(n)[d(n)−xT(n)h(n)]
=h(n)+µx(n)e(n),(7)
qui est l’algorithme LMS. On remarquera que h(n)
est maintenant une variable al´eatoire [puisqu’`a chaque
nouvelle it´eration n,h(n)d´epend des processus
al´eatoires x(n)et d(n)].
INRS-EMT J. Benesty 3

R´esum´e de l’algorithme LMS:
Calcul de la sortie du filtre:
y(n)=hT(n)x(n).(8)
Calcul du signal d’erreur:
e(n)=d(n)−y(n).(9)
Mise `ajourdufiltre:
h(n+1)=h(n)+µx(n)e(n).(10)
µest le pas d’adaptation de l’algorithme qui d´emarre
avec une initialisation quelconque h(0).
L’algorithme LMS est tr`es simple: il n´ecessite
seulement 2L+1 multiplications et 2Ladditions par
it´eration, o`uLest le nombre de coefficients du filtre.
INRS-EMT J. Benesty 4