Examen du 15.05.08 corrigé

UNIVERSITE PARIS-DAUPHINE Optimisation Num´erique MI2E L3
Examen du 15.05.08 corrig´e
Exercice 1 (3pts)
On veut utiliser l’algorithme du gradient conjugu´e, initialis´e avec (y1, y2) = (0,0), pour
minimiser : G(y1, y2) = y2
1+y2 2−y1y2+y1−2y2.
1. Quelle est la premi`ere direction de descente d0calcul´ee par l’algorithme ?
La direction de Cauchy : d0=−∇G(0,0) = (−1,2)T.
2. Que doivent v´erifier d1et d2pour que d= (d1, d2) et d0soit conjugu´ees ?
Gest une fonction quadratique dont la Hessienne : ∇2G= 2−1
−1 2 !est constante.
Les directions d= (d1, d2) et d0sont conjugu´ees ssi :
< d, ∇2G d0>= (d1, d2)T −4
5!=−4d1+ 5d2= 0
Exercice 2 (3pts)
R´epondre en justifiant votre r´eponse :
1. Quels sont les sommets du poly`edre :
S=n(x1, x2, x3)∈IR 3|0≤x1≤x2≤x3, x1+x2+x3= 1 o
Ce sont les points saturant au moins trois contraintes en lesquels la matrice des contraintes
satur´ees est de rang trois. On trouve trois sommets (0,0,1), (0,1/2,1/2), et : (1/3,1/3,1/3).
2. Quelles sont les solutions du probl`eme consistant `a maximiser 2x1+ 3x2+x3sur S ?
Le maximum est atteint en l’un des sommets de S: l’ensemble admissible est compact,
et l’un des sommets est solution puisque la matrice des contraintes :
−100
1−1 0
0 1 −1
111
est de rang trois. Les deux derniers sommets sont en fait solutions, et l’ensemble des
solutions est le segment qui les joint dans IR 4.

Exercice 3 (3pts)
On veut minimiser :
F(x1, x2, x3) = |x2−x1|+|x3−x2|+1
2[(x1−2)2+ (x2−1)2+ (x3−3)2]
Pour pallier le d´efaut de d´erivabilit´e, on d´ecide finalement de minimiser :
Fε(x1, x2, x3) = q(x2−x1)2+ε2+q(x3−x2)2+ε2+1
2[(x1−2)2+ (x2−1)2+ (x3−3)2]
o`u εest «petit ». Vous savez programmer trois algorithmes : GradOpt,Newton, et
Quasi-Newton BFGS.
1. Rappeler bri`evement les avantages et inconv´enients de chacun.
Les algorithmes GradOpt et BFGS sont toujours robustes. La convergence du premier est
ici garantie puisque le crit`ere est elliptique (la somme d’une fonction convexe de classe
C2et d’une fonction quadratique elliptique) mais seulement lin´eaire. Grace a l’ellipticit´e
du crit`ere, l’algorithme de Newton est aussi robuste et converge ici quadratiquement.
2. Lequel choisiriez-vous en l’occurence et pourquoi ? (tous les choix sont possibles, mais
on souhaite une r´eponse motiv´ee)
On peut envisager l’algorithme de Newton dont la convergence quadratique est garantie.
Le risque de probl`emes num´eriques dans le calcul de la Hessienne - dont le conditionne-
ment peut devenir grand lorsque εtend vers z´ero - pourra cependant lui faire pr´ef´erer
l’algorithme BFGS, presque aussi efficace en pratique. Pour ε= 10−8par exemple, le
conditionnement de la Hessienne de Fau voisinage de l’optimum est voisin de '3.108,
et la convergence de l’algorithme GradOpt extr`emement lente. L’algorithme de Newton
comme l’algorithme BFGS, convergent au contraire en seulement quelques it´erations.
Exercice 4 (6pts)
On consid`ere le probl`eme quadratique :
(P) Min (y2
1+y2 2−y1y2+y1−2y2)
s.c. −1≤yi≤1 (i= 1,2)
1. Prouver l’existence d’une unique solution y?= (y?
1, y? 2).
Le crit`ere est une fonction quadratique elliptique (c’est la fonction Gde l’exercice 1 !)
ce qui suffit `a assurer l’existence d’une unique solution.
2. Formuler le probl`eme lin´earis´e au point (y1, y2) = (0,0).
∇G(0,0) = (1,−2)T, d’o`u le probl`eme lin´earis´e : Min z1−2z2
s.c. −1≤zi≤1 (i= 1,2)
3. D´eterminer la premi`ere direction de descente et le premier it´er´e calcul´es par l’algorithme
de Franck&Wolfe.
Le simplexe des points admissibles - le pav´e [−1,1] ×[−1,1] de IR 2- a quatre sommets
´evidents, dont l’un seulement : (z1, z2) = (−1,1) est solution. La premi`ere direction de
descente calcul´ee par l’algorithme est donc : (z1−y1, z2−y2) = (−1,1). Le pas optimal

est t= 0.5 (on minimise 3 t2−3t), et le premier it´er´e calcul´e par l’algorithme est donc
(−0.5,0.5).
4. Montrer qu’avec la mˆeme initialisation, l’algorithme d’activation de contraintes calcule
la solution en une seule it´eration. Quelle est cette solution ?
Aucune contrainte n’´etant satur´ee `a l’initialisation, on se d´eplace, `a la premi`ere ´etape,
vers la solution (0,1) du probl`eme sans contrainte, i. e. le minimiseur global de G.
Puisque ce point est admissible, c’est bien sur la solution de (P) et l’algorithme s’arrete
apr`es une seule it´eration.
Exercice 5 (7pts)
La fonction Fque l’on cherchait `a minimiser dans l’exercice 4 se r´ecrit formellement :
F(x) = kAxk1+1
2||x−a||2
et le probl`eme (P) de l’exercice pr´ec´edent se r´ecrit :
(P) Min 1
2kATyk2−< ATy, a >
s.c. −e≤y≤e
1. Au vu de cette formulation, quelle propri´et´e de la matrice Asuffisait-il de v´erifier pour
garantir l’existence et l’unicit´e de la solution y?de (P) ? Expliquer.
Il suffisait de v´erifier le caract`ere DP de la Hessienne A ATdu crit`ere :
0≤ k|ATu||2=< u, A ATu >, et : < u, A ATu >= 0 ⇒ATu= 0 ⇒u= 0
qui requiert simplement que AT, et donc Asoit de rang deux, pour que : kerAT={0}.
2. Prouver que : x?=a−ATy?minimise : 1
2kx−ak2+< y?, A x >, et d´eduire :
1
2kx?−ak2+< ATy?, x?>≤inf F
Il suffit de v´erifier que Φ(x) = 1
2kx−ak2+< y?, A x > d´efinit une fonction quadratique
elliptique Φ dont le gradient : ∇Φ(x) = x−a+ATy?est nul pour x=x?. L’in´egalit´e
r´esulte de ce que : −e≤y?≤eimplique : < y?, A x >≤ ||A x||1pour tout xdans IR 3.
3. Ecrire formellement les KKT pour le probl`eme (P) en fonction de A, de aet de vecteurs
de multiplicateurs µet νde IR 2 , respectivement associ´es aux contraintes −y≤eet
y≤edu probl`eme (P).
A ATy?−A a +µ−ν= 0, µ, ν ≤0, < µ, y?+e >=< ν, y?−e >= 0
4. D´eduire que le produit scalaire < y?, A x?>calcule en fait kA x?k1, et conclure que x?
est l’unique minimiseur de F.
Puisque x?=a−ATy?, il vient : A x?=µ−ν, et donc :
< y?, A x?>=< y?, µ −ν >=−< µ +ν, e >=−µ1−µ2−ν1−ν2
et, comme µiνi= 0 (on ne peut pas avoir simultan´ement yi= 1 et yi=−1), et µi, νi≤0
(i= 1,2) : ||A x?| |1=||µ−ν| |1=−µ1−µ2−ν1−ν2, donc :
F(x?) = 1
2kx?−ak2+< ATy?, x?>≤inf F