TP3 - Vincent Gripon

enib, s5, optimisation D´ ecembre 2009 1
TP 3 optimisation : gradient optimal, gradient conjugu´e
1 Gradient optimal
On consid`ere une fonction du type
F(X) = 1
2hAX, Xi−hb, Xi=1 2
n
X
i=1
n
X
j=1
aij xixj−
n
X
i=1
bixi.
o`u on a not´e X= (x1, . . . , xn), Aune matrice sym´etrique d´efinie positive A= [aij ] et bun
vecteur colonne b= (b1, . . . , bn).
Question 1 : d´evelopper la fonction Fci-dessus dans le cas n= 2 puis dans le cas
g´en´eral.
Question 2 : calculer ∇F(X) -on pourra commencer par n= 2- et en d´eduire que la
minimisation de F´equivaut `a la r´esolution du syst`eme AX =b.
Remarque : Dans ce cas, la minimisation de Fnous donne donc une nouvelle m´ethode
it´erative de r´esolution d’un syst`eme lin´eaire. Attention, cette m´ethode n’est adapt´ee que pour
Asym´etrique d´efinie positive, ce qui rend la fonction Fconvexe.
Question 3 : coder l’algorithme du gradient `a pas optimal pour le cas consid´er´e ici.
On notera w(n)=∇F(X(n)) et on exprimera X(n+1) en fonction de X(n), de Aet de w(n).
Appliquer ensuite l’algorithme `a la minimisation de la fonction de 7 variables donn´ee par
F(x1, . . . , x7) = P7
i=1 x2
i+x1x2+x2x3+x3x4
+x4x5+x6x7−4x1−8x2−12x3−16x4−20x5−24x6−20x7
2 Gradient conjugu´e
Question 1 : Coder l’algorithme du gradient conjugu´e pour la r´esolution d’un syst`eme
lin´eaire Ax =b,A´etant sym´etrique d´efinie positive.
Question 2 : On veut r´esoudre le syst`eme lin´eaire Ax =b, o`u Aest la matrice de Hilbert
de taille 10 (la matrice de Hilbert a pour terme g´en´eral aij =1
i+j−1), et best tel que la solution
du syst`eme soit x= (1,1,...,1)T(i.e. x=ones(10,1)). Utiliser successivement l’algorithme
du gradient optimal sur 10000 it´erations, et celui du gradient conjugu´e sur 12 it´erations.