Aide Mémoire d`optimisation sans contraintes

Aide Mémoire d’optimisation sans contraintes
1 Introduction à l’optimisation
Un problème d’optimisation : (P)min f(x)
s.c. x∈C
xvariable de décision
ffonction objectif ou critère
Censemble admissible : C={x∈Rn:h(x) = 0; g(x)60}
où hest définie de Rndans Rmet gde Rndans Rp
Optimisation discrète (ou combinatoire) ⇔C⊂Zn
Optimisation continue ⇔Ccontinu
Optimisation linéaire ⇔f,h,gaffines
Optimisation quadratique ⇔fquadratique et h,gaffines
Optimisation convexe ⇔fet gconvexes et haffines
Dans ce cours f,h,gsont différentiables.
1.1 les minimums
x∗∈Cminimum global de (P)⇔ ∀x∈C, f (x∗)6f(x)
x∗∈Cminimum local de (P)⇔ ∃r > 0,∀x∈B(x∗, r)∩C, f(x∗)6f(x)
minimum strict : 6→<
(xn)n⊂Csuite minimisante de (P)⇔lim
n→+∞f(xn) = inf
x∈Cf(x)(existe tjs)
fcoercive sur C(infinie à l’infini) ⇐⇒ lim
kxk→+∞
x∈C
f(x) = +∞
1.2 Théorème d’existence d’un minimum
Cfermé
fcontinue
fcoercive sur C
=⇒(P)admet au moins un minimum
1.3 Théorème d’unicité d’un minimum
(P)convexe ⇐⇒ Cconvexe
fconvexe sur C=⇒tout minimum local est global
Cconvexe
fstrictement convexe sur C=⇒il existe au plus un minimum
1

2 Condition nécessaire du premier ordre : ∇f(x)=0
Principe de Fermat :
f:Rn→Rdifférentiable en x∗
x∗un minimum local de f=⇒ ∇f(x∗)=0
∇f(x) = 0 ⇐⇒ xpoint critique ou point stationnaire
⇐⇒ xminimum local ou maximum local ou point selle
3 Condition nécessaire du second ordre :∇2f(x)0
f:Rn→Rdeux fois différentiable en x∗
x∗un minimum local de f=⇒ ∇2f(x∗)0
4 Conditions suffisantes du second ordre
f:Rn→Rdeux fois différentiable en x∗∈Rn
∇f(x∗)=0
∇2f(x∗)0=⇒?x∗minimum local ou point selle ???
∇f(x∗)=0
∇2f(x∗)0=⇒x∗minimum local strict de f
∇f(x∗)=0
∀x∈Rn,∇2f(x)0=⇒x∗minimum global de f
∇f(x∗)=0
∀x∈Rn,∇2f(x)0=⇒x∗unique minimum global de f
5 Algorithmes de recherche linéaire
•Initialisation :x0donné
•Etape courante :xkconnu
1. Déterminer une direction de recherche dk
2. Déterminer un pas de rechercher αk
3. xk+1 =xk+αkdk
•Test d’arrêt
ddirection de descente =⇒ ∀ β < 1,∃η > 0,∀α∈]0, η[, f(x+αd)6f(x)+αβh∇f(x), di
2

Algorithmes direction de recherche dkpas de recherche αkinconvénients / convergence
Algorithme de descente h∇f(xk), dki<0
Algorithme à pas optimal solution de
min
α>0f(xk+αdk)
Algorithme de gradient dk=−∇f(xk)
plus forte descente locale
Algorithme de gradient dk=−∇f(xk)solution de deux directions de descente
à pas optimal min
α>0f(xk+αdk)successives sont orthogonales
Algorithme des gradients conjugués dk=−∇f(xk) + βk−1dk−1avec αk=−h∇f(xk), dki
hdk, Qdkiconverge en au plus pitérations
pour les problèmes quadratiques βk−1=h∇f(xk), Qdk−1i
hdk−1, Qdk−1i= pas optimal nbre de valeurs propres distinctes de Q
f(x) = 1
2hQx, xi−hb, xi+cdirections sont mutuellement conjuguées
Algorithme Fletcher-Reeves dk=−∇f(xk) + βk−1dk−1avec pas de Wolfe
(problèmes non linéaires quelconques) βk−1=h∇f(xk),∇f(xk)i
h∇f(xk−1),∇f(xk−1)i
Méthode de Newton locale ∇2f(xk)dk=−∇f(xk)1 hessienne doit être inversible
minimum, maximum ou point selle ?
modélisation quadratique mind∈Rnf(xk) + ∇f(xk)Td+dT
k∇2f(xk)dk1
Méthode de Newton avec Dkdk=−∇f(xk)avec pas de Wolfe Nécessite le calcul des hessiennes
recherche linéaire Dk=∇2f(xk)si ∇2f(xk)0
∇2f(xk) + µI sinon Inversion des hessiennes (long)
BFGS Hkdk=−∇f(xk)pas de Wolfe Inversion des Hk
(Broyden, Fletcher, Goldfarb, Shanno) Hk+1 =Hk+ykyT
k
yT
ksk−HksksT
kHk
sT
kHksk= résoudre un système linéaire
BFGS’ dk=−Wk∇f(xk)pas de Wolfe
Wk+1 =I−skyT
k
yT
kskWkI−yksT
k
yT
ksk+sksT
k
yT
ksk
Méthode de Gauss-Newton
problèmes de moindres carrés ∇g(xk)∇g(xk)Tdk=−∇g(xk)g(xk)1
f(x) = 1
2kg(x)k2
2
Table 1: Tableau récapitulatif des algorithmes de recherche linéaire
3

5.1 Problème quadratique
(PQ)min f(x) = 1
2hQx, xi−hb, xi
s.c. x∈Rn
avec Q∈Mn(R)symétrique définie positive et b∈Rn.
=⇒ ∇f(x) = −(Qx −b)∇2f(x) = Q
d1, d2sont Q-conjuguées ⇐⇒ hd1, Qd2i= 0
5.2 Pas de recherche ni trop court, ni trop long : pas de Wolf
αopt le pas optimal : solution de min
α>0f(xk+αdk) =⇒long à calculer
Conditions de Wolf (dkune direction de descente de fen xket 0< β1< β2<1)
Condition de diminution suffisante f(xk+αkdk)6f(xk) + β1αkh∇f(xk), dki
Condition de progrès suffisant h∇f(xk+αkdk), dki>β2h∇f(xk), dki
dk=direction de descente
0< β1< β2<1, λ > 1Algorithme de Fletcher-Lemaréchal
=⇒pas de Wolf
fminorée dans la direction dk=⇒algorithme de Fletcher-Lemaréchal converge
6 Algorithme de région de confiance
méthodes de recherche linéaire : recherche suivant un direction donnée
méthode de région de confiance : recherche sur toutes les directions mais remplace-
ment de fpar un modèle mkplus simple
•Initialisation :¯ ∆,∆0,x0donnés, 0< η < 1
4.
•Etape courante :xket ∆kconnus.
(a) Résoudre le sous-problème de région de confiance : problème approché
mk(x)≈f(x)dans la région de confiance Rk={xk+d| kdk6∆k},
min
x∈Rk
mk(x) = min
kdk6∆mk(xk+d)
soit ˜xk+1 =xk+dksa solution.
(b) Calculer le ratio de réduction ρk
ρk=réduction réelle
réduction prédite par le modèle =f(xk)−f(˜xk+1 ) mk(xk)−mk(˜xk+1 )
(c) Si ρk> η alors xk+1 =xk+dkmodèle acceptable : point accepté
sinon xk+1 =xkpoint rejeté
(d) Mise à jour du rayon ∆k
∗Si ρk<1
4alors ∆k+1 =1 4kdkk: modèle mauvais, &rayon
∗Si 1
46ρk63 4alors ∆k+1 = ∆k: modèle moyen, on continue
∗Si ρk>3
4: modèle très bon
Si kdkk= ∆kalors ∆k+1 = min(2∆k,¯ ∆) sinon ∆k+1 = ∆k.
•Test d’arrêt.
4