Algorithme du gradient stochastique
On remplace l’´evaluation du gradient de la fonction Jau point u(k)
(E∇uju(k),w) par une ´evaluation du gradient de la fonction j
pour une valeur w(k+1) de l’al´ea (∇uju(k),w(k+1)).
Algorithme.
1. Choisir u(0) ∈Uad et {(k)}k∈Nsuite de r´eels positifs.
2. `
A l’it´eration k, effectuer un tirage al´eatoire w(k+1) de w,
ind´ependamment des tirages pr´ec´edents (w(1), . . . , w(k)).
3. Remettre `a jour u`a l’aide du gradient de jen (u(k),w(k+1)) :
u(k+1) =projUad hu(k)−(k)∇uju(k),w(k+1)i.
4. Incr´ementer l’indice kde 1 et retourner `a l’´etape 2.
Mise en œuvre.
ITest d’arrˆet de l’algorithme.
IChoix des coefficients (k).