Algorithme du gradient déterministe (steepest descent)

Algorithme du gradient
d´eterministe (steepest descent)
L’algorithme du gradient d´eterministe est une premi`ere
approche pour r´esoudre l’´equation de Wiener-Hopf
de mani`ere it´erative, sans avoir besoin d’inverser une
matrice.
INRS-EMT J. Benesty

Plan
•Principe de l’algorithme du gradient d´eterministe
•Application de l’algorithme du gradient d´eterministe
au filtrage de Wiener
•Stabilit´e de l’algorithme du gradient d´eterministe
•Exemple
INRS-EMT J. Benesty 1

Principe de l’algorithme du gradient
d´eterministe
Soit une fonction coˆut J(h)continue et diff´erentiable,
d´ependant d’un vecteur inconnu h.Ond´esire trouver
une solution optimale hopt qui satisfait:
J(hopt)≤J(h),∀h.(1)
Le principe d’un algorithme it´eratif simple est le
suivant: en commen¸cant avec une condition initiale
h(0),g´en´erer une s´equence de vecteurs h(1),h(2),···,
de telle mani`ere que la valeur de la fonction J(h)
diminue `a chaque it´eration:
J[h(n+ 1)] <J[h(n)] .(2)
On esp`ere ainsi que l’algorithme convergera vers la
solution optimale hopt.
INRS-EMT J. Benesty 2

Un algorithme classique est l’ algorithme du gradient
d´eterministe:
h(n+1)=h(n)−1
2µg(n),(3)
o`und´enote l’it´eration, µest une constante positive
(pas d’adaptation), et
g(n)=∂J [h(n)]
∂h(n)(4)
est le gradient de la fonction coˆut J[h(n)].De
l’it´eration n`al’it´eration n+1, le vecteur hest mis `a
jour comme suit:
δh(n)=h(n+1)−h(n)
=−1
2µg(n).(5)
INRS-EMT J. Benesty 3

Pour montrer que l’algorithme du gradient d´eterministe
satisfait J[h(n+ 1)] <J[h(n)], on utilise un
d´eveloppement de Taylor au premier ordre autour de
h(n):
J[h(n+ 1)] = J[h(n)+δh(n)]
≈J[h(n)] + gT(n)δh(n),(6)
ce qui est justifi´epourµpetit. On a donc:
J[h(n+ 1)] ≈J[h(n)] −1
2µg(n)2,(7)
ce qui montre que J[h(n+ 1)] est plus petit que
J[h(n)]. Ainsi, en augmentant n, la fonction Jd´ecroit
progressivement, approchant sa valeur minimale Jmin
quand n→∞.
INRS-EMT J. Benesty 4