Descente stochastique du second ordre

Descente stochastique du second ordre
S. Gadat
Toulouse School of Economics
Joint work with A. Cabot, H. Engler, L. Miclo, F. Panloup, C. Pellegrini.
Toulouse, June, 26 2015

I - Introduction
II - ´ Etude d´ eterministe
II-1 Gradient m´ emoire
II-2 Premi` eres propri ´ et´ es
II-3 Cas convexe
II-4 Convergence des trajectoires
II-5 D´ eveloppements
III Mod` ele diffusif moyenn´ e (DM)
III-0 Recuit simul´ e
III-1 D´ efinition de la diffusion moyenn´ ee
III-2 Diffusion moyenn´ ee et Fokker Planck cin´ etique
III-3 Propri ´ et´ es ´ el´ ementaires
III-4 R´ egularit ´ e du processus [Hypoellipticit´ e]
III-5 Ergodicit´ e du processus [Hypocoercivit´ e]
IV Grandes d´ eviations des mesures invariantes
IV-1 Comportement ` a basse temp´ erature
IV-2 Th´ eorie de Freidlin & Wentzell
IV-3 tiu-graphe et conclusion

I - 1 Motivations - Optimisation
On s’int´ eresse ` a un probl` eme d’optimisation d’une fonction U:RdÝÑ R
Descente standard :
9
xt“ ´∇Upxtq pGq
On connaˆ ıt beaucoup de choses sur cette dynamique :
§version continue
§version discr`
ete
§cas fortement convexe
§cas seulement β-convexe
§...
En particulier, on sait que :
§pGqest pi´
eg´ ee dans des minima locaux (non convexit´ e)
§Taux lin´
eaire e´Ct (fortement convexe) ou 1{t(β-lisse)

I Motivations - Mod´ elisation & Pi` eges
Acc´ el´ erer/´ eviter pi` eges ? Id´ ee de physique (Polyak ’64, Antipin & Polyak 87) :
§On fait rouler une boule ”pesante” sur le graphe de U
§On introduit un effet de friction (amortissement) pour la convergence
Descente Heavy Ball :
:
xt`γt
9
xt`∇Upxtq “ 0pHBFq
o` u
lim
tÑ`8 γt“0.

I Motivations - Mod´ elisation & Pi` eges
´
Eviter des minima locaux ? Garder de la m´ emoire sur les directions pass´ ees :
§On introduit deux fonctions het kpositives croissantes
§On produit la descente int´
egro-diff´ erentielle
9
xt“ ´ 1
kptqżt
0
hpsq∇Upxsqds pGMq
§Choix typiques :
§kptq “ şt
0hpsqds ou
9
k“h
§
kptq “ tet hptq “ 1ou kptq “ tα`1et hptq“pα`1qtα
§
kptq “ λeλtet hptq “ eλt
Remarque : (GM) s’´ ecrit au second ordre :
kptq: xptq `
9
kptq9 xptq ` hptq∇Upxtq “ 0.pGM1q