Optimisation convexe

TP 4 : OPTIMISATION CONVEXE
COURS D’APPRENTISSAGE, ECOLE NORMALE SUP´ ERIEURE, 28 OCTOBRE 2016
Jean-Baptiste Alayrac
[email protected]
R´ esum´ e. Dans ce TP on va chercher `a impl´ementer certaines notions vues en cours concernant l’opti-
misation convexe. Le premier exercice a pour but de montrer que la vitesse de convergence d’un algo-
rithme est consid´erablement influenc´ee par certaines caract´eristiques du probl`eme. On impl´ementera
ensuite une m´ethode de Newton dans un dernier probl`eme. Le dernier exercice cherche `a montrer que
les conditions de KKT permettent souvent de donner une interpr´etation aux variables duales.
Le code que vous serez emmen´e `a faire pourra resservir dans la suite, conservez en
une trace.
Remarque pr´eliminaire : Les vitesses de convergence des algorithmes de se repr´esentent g´en´eralement
sur un graphe logarithmique, il faut donc penser `a utiliser les fonctions semilogy, loglog de Mat-
lab/Octave...
1. Exercice : Convergence lin´ eaire d’un algorithme de descente de gradient
Impl´ementons l’algorithme de la descente de gradient avec un pas constant γsur un probl`eme
simple : celui de la r´egression ridge. On rappelle qu’il s’agit du probl`eme de minimisation du risque
quadratique r´egularis´e :
min
w∈Rp
1
2nky−Xwk2
2+λ
2kwk2
2
1) Commencer par g´en´erer de mani`ere al´eatoire une matrice de design X∈Rn×pde taille n= 50
dont chaque ligne xisoit dans [0,1]p(on se place dans le cas p>n, par exemple p= 60) et un
vecteur de r´eponses Y∈Rn.
2) Rappeler l’expression de l’estimateur de la r´egression ridge (annulez le gradient matriciel comme
dans le premier cours).
3) On va maintenant illustrer la convergence d’une m´ethode de descente de gradient `a pas constant
vers cet optimum.
a) La fonction que l’on minimise est elle strictement convexe ? Fortement convexe ? Si oui pr´eciser
la constante associ´ee.
b) Quel est le pas constant classique qui assure `a une descente de gradient de converger ?
c) Impl´ementer cette m´ethode de descente de gradient pour trouver le minimum et le vecteur
r´ealisant ce minimum.
d) Repr´esenter graphiquement la vitesse de convergence.

2 COURS D’APPRENTISSAGE, ECOLE NORMALE SUP´ ERIEURE, 28 OCTOBRE 2016
4)Calculer le pas γoptimal de la descente de gradient (le pas qui fait le plus descendre la fonction
objectif dans l’oppos´e de la direction du gradient).
5) Impl´ementer l’algorithme de minimisation associ´e. Comparer sa vitesse de convergence avec l’al-
gorithme `a pas constant.
6) Que se passe-t-il computationnellement si le param`etre de r´egularisation λtend vers 0 ?
2. Probl` eme : Centre analytique d’in´ egalit´ es par m´ ethode de Newton
Le but de ce probl`eme est d’impl´ementer une m´ethode de Newton dans le cas d’un probl`eme
d’optimisation non-contraint sur des vecteurs de Rd. Etant donn´e des r´eels b1, . . . , bnet des vecteurs
a1, . . . , an∈Rd, on consid`ere le probl`eme suivant :
min
x∈Rd−Pn
i=1 log(bi−aT
ix)
La r´esolution de ce probl`eme s’appelle la recherche du centre analytique d´efini par les in´egalit´es
aT
ix≤bi
7) Impl´ementer la r´esolution de ce probl`eme par m´ethode de Newton. Vous penserez `a ajuster le pas
par backtracking line search. Essayez de repr´esenter graphiquement l’´evolution de l’erreur commise
kft−f∗k2en fonction du nombre d’it´erations de l’algorithme(on pourra pour cela utiliser une m´ethode
tr`es simple : calculer la valeur de l’objectif au bout d’un tr`es grand nombre d’it´eration et prendre
cette valeur comme approximation de la vraie valeur de la fonction `a l’optimum f∗).
L’optimisation de ce probl`eme est une premi`ere ´etape vers des m´ethodes tr`es largement utilis´ees `a
l’heure actuelle dans le domaine de l’optimisation non contrainte : les m´ethodes de point int´erieur.
Elles sont trait´ees in extenso dans le livre de Boyd et Vandenberghe servant de r´ef´erence `a cette partie
du cours.
3. Exercice Bonus : De l’int´ erˆ et de la dualit´ e
Soit α1, . . . , αn∈R∗
+, on consid`ere le probl`eme suivant :
min
x∈Rn−Pn
i=1 log(αi+xi)
t.q 1Tx= 1
x≥0
8) En ´ecrivant le Lagrangien, d´erivez un dual `a ce probl`eme (on introduira des variables duales λi
pour les contraintes d’in´egalit´es, et νpour celle d’´egalit´e).
9) En admettant qu’elles sont v´erifi´ees `a l’optimum, ´ecrivez les conditions de KKT. Discutez suivant
la valeur possible du multiplicateur νde la valeur des autres variables.
Question/Remarque. Souvent, les variables duales et les conditions KKT peuvent ˆetre interpr´et´ees
de mani`ere “physique”. Ici c’est le cas. On appelle le probl`eme pr´ec´edent, le probl`eme du “remplissage
par l’eau”. En effet, il est usuel d’utiliser la discussion de la question pr´ec´edente et de consid´erer n
unit´es de terrain, chacune ayant une altitude αi, on cherche `a innonder le terrain `a un niveau uni-
forme avec une quantit´e unitaire de liquide. La variable duale 1/ν correspond au niveau final atteint
par le liquide sur le terrain complet. Un dessin aide `a comprendre...