Aide Mémoire d’optimisation sans contraintes
1 Introduction à l’optimisation
Un problème d’optimisation : (P)min f(x)
s.c. xC
xvariable de décision
ffonction objectif ou critère
Censemble admissible : C={xRn:h(x) = 0; g(x)60}
hest définie de Rndans Rmet gde Rndans Rp
Optimisation discrète (ou combinatoire) CZn
Optimisation continue Ccontinu
Optimisation linéaire f,h,gaffines
Optimisation quadratique fquadratique et h,gaffines
Optimisation convexe fet gconvexes et haffines
Dans ce cours f,h,gsont différentiables.
1.1 les minimums
xCminimum global de (P)⇔ ∀xC, f (x)6f(x)
xCminimum local de (P)⇔ ∃r > 0,xB(x, r)C, f(x)6f(x)
minimum strict : 6<
(xn)nCsuite minimisante de (P)lim
n+f(xn) = inf
xCf(x)(existe tjs)
fcoercive sur C(infinie à l’infini) lim
kxk→+
xC
f(x) = +
1.2 Théorème d’existence d’un minimum
Cfermé
fcontinue
fcoercive sur C
=(P)admet au moins un minimum
1.3 Théorème d’unicité d’un minimum
(P)convexe Cconvexe
fconvexe sur C=tout minimum local est global
Cconvexe
fstrictement convexe sur C=il existe au plus un minimum
1
2 Condition nécessaire du premier ordre : f(x)=0
Principe de Fermat :
f:RnRdifférentiable en x
xun minimum local de f=⇒ ∇f(x)=0
f(x) = 0 xpoint critique ou point stationnaire
xminimum local ou maximum local ou point selle
3 Condition nécessaire du second ordre :2f(x)0
f:RnRdeux fois différentiable en x
xun minimum local de f=⇒ ∇2f(x)0
4 Conditions suffisantes du second ordre
f:RnRdeux fois différentiable en xRn
f(x)=0
2f(x)0=?xminimum local ou point selle ???
f(x)=0
2f(x)0=xminimum local strict de f
f(x)=0
xRn,2f(x)0=xminimum global de f
f(x)=0
xRn,2f(x)0=xunique minimum global de f
5 Algorithmes de recherche linéaire
Initialisation :x0donné
Etape courante :xkconnu
1. Déterminer une direction de recherche dk
2. Déterminer un pas de rechercher αk
3. xk+1 =xk+αkdk
Test d’arrêt
ddirection de descente = β < 1,η > 0,α]0, η[, f(x+αd)6f(x)+αβh∇f(x), di
2
Algorithmes direction de recherche dkpas de recherche αkinconvénients / convergence
Algorithme de descente h∇f(xk), dki<0
Algorithme à pas optimal solution de
min
α>0f(xk+αdk)
Algorithme de gradient dk=−∇f(xk)
plus forte descente locale
Algorithme de gradient dk=−∇f(xk)solution de deux directions de descente
à pas optimal min
α>0f(xk+αdk)successives sont orthogonales
Algorithme des gradients conjugués dk=−∇f(xk) + βk1dk1avec αk=h∇f(xk), dki
hdk, Qdkiconverge en au plus pitérations
pour les problèmes quadratiques βk1=h∇f(xk), Qdk1i
hdk1, Qdk1i= pas optimal nbre de valeurs propres distinctes de Q
f(x) = 1
2hQx, xi−hb, xi+cdirections sont mutuellement conjuguées
Algorithme Fletcher-Reeves dk=−∇f(xk) + βk1dk1avec pas de Wolfe
(problèmes non linéaires quelconques) βk1=h∇f(xk),f(xk)i
h∇f(xk1),f(xk1)i
Méthode de Newton locale 2f(xk)dk=−∇f(xk)1 hessienne doit être inversible
minimum, maximum ou point selle ?
modélisation quadratique mindRnf(xk) + f(xk)Td+dT
k2f(xk)dk1
Méthode de Newton avec Dkdk=−∇f(xk)avec pas de Wolfe Nécessite le calcul des hessiennes
recherche linéaire Dk=2f(xk)si 2f(xk)0
2f(xk) + µI sinon Inversion des hessiennes (long)
BFGS Hkdk=−∇f(xk)pas de Wolfe Inversion des Hk
(Broyden, Fletcher, Goldfarb, Shanno) Hk+1 =Hk+ykyT
k
yT
kskHksksT
kHk
sT
kHksk= résoudre un système linéaire
BFGS’ dk=Wkf(xk)pas de Wolfe
Wk+1 =IskyT
k
yT
kskWkIyksT
k
yT
ksk+sksT
k
yT
ksk
Méthode de Gauss-Newton
problèmes de moindres carrés g(xk)g(xk)Tdk=−∇g(xk)g(xk)1
f(x) = 1
2kg(x)k2
2
Table 1: Tableau récapitulatif des algorithmes de recherche linéaire
3
5.1 Problème quadratique
(PQ)min f(x) = 1
2hQx, xi−hb, xi
s.c. xRn
avec QMn(R)symétrique définie positive et bRn.
=⇒ ∇f(x) = (Qx b)2f(x) = Q
d1, d2sont Q-conjuguées ⇒ hd1, Qd2i= 0
5.2 Pas de recherche ni trop court, ni trop long : pas de Wolf
αopt le pas optimal : solution de min
α>0f(xk+αdk) =long à calculer
Conditions de Wolf (dkune direction de descente de fen xket 0< β1< β2<1)
Condition de diminution suffisante f(xk+αkdk)6f(xk) + β1αkh∇f(xk), dki
Condition de progrès suffisant h∇f(xk+αkdk), dki>β2h∇f(xk), dki
dk=direction de descente
0< β1< β2<1, λ > 1Algorithme de Fletcher-Lemaréchal
=pas de Wolf
fminorée dans la direction dk=algorithme de Fletcher-Lemaréchal converge
6 Algorithme de région de confiance
méthodes de recherche linéaire : recherche suivant un direction donnée
méthode de région de confiance : recherche sur toutes les directions mais remplace-
ment de fpar un modèle mkplus simple
Initialisation :¯
,0,x0donnés, 0< η < 1
4.
Etape courante :xket kconnus.
(a) Résoudre le sous-problème de région de confiance : problème approché
mk(x)f(x)dans la région de confiance Rk={xk+d| kdk6k},
min
xRk
mk(x) = min
kdk6mk(xk+d)
soit ˜xk+1 =xk+dksa solution.
(b) Calculer le ratio de réduction ρk
ρk=réduction réelle
réduction prédite par le modèle =f(xk)f(˜xk+1 )
mk(xk)mk(˜xk+1 )
(c) Si ρk> η alors xk+1 =xk+dkmodèle acceptable : point accepté
sinon xk+1 =xkpoint rejeté
(d) Mise à jour du rayon k
Si ρk<1
4alors k+1 =1
4kdkk: modèle mauvais, &rayon
Si 1
46ρk63
4alors k+1 = ∆k: modèle moyen, on continue
Si ρk>3
4: modèle très bon
Si kdkk= ∆kalors k+1 = min(2∆k,¯
∆) sinon k+1 = ∆k.
Test d’arrêt.
4
1 / 4 100%
La catégorie de ce document est-elle correcte?
Merci pour votre participation!

Faire une suggestion

Avez-vous trouvé des erreurs dans linterface ou les textes ? Ou savez-vous comment améliorer linterface utilisateur de StudyLib ? Nhésitez pas à envoyer vos suggestions. Cest très important pour nous !