TP4

Contrôle et validation des calculs numériques
Les méthodes de gradient
Examen TP noté - tous documents autorisés - durée 1h30
Les méthodes de gradient (ou méthodes de descente) désignent des algorithmes de calculs d’optimisation permettant la résolution de fonctionnelles convexes. Il s’agit de trouver un minimun aussi appelé point selle d’une
fonctionnelle. L’objectif du TP consiste à mettre en place les algorithmes du gradient à pas fixe et à pas optimal.
Nous nous plaçons dans l’espace euclidien Rn où n est supérieur ou égal à 1. Nous appelons f la fonction à
minimiser, nous avons,
f (~x) =
1 t
~x A~x − ~bt ~x
2
∀~x ∈ Rn
(1)
1. Gradient à pas fixe
Algorithme
{
d~k = −∇f (~xk )
~xk+1 = ~xk + ρd~k
(2)
d~k est la direction de descente, il s’agit simplement de la dérivée de la fonction f comptée négativement. ρ est un
paramètre de relaxation choisi arbitrairement dans ]0, 1[. L’algorithme converge sous la condition que f est deux
fois dérivable.
Application Nous considérons l’exemple de la fonction f suivante définie de R2 dans R,
f (~x) = −2x1 x2 − 2x2 + x21 + 2x22
(3)
– Evaluer A et b afin de retrouver la formulation de l’équation 1. Indication : évaluer ∇f et ∇ f ,
– mettre en place l’algorithme du gradient à pas fixe afin de déterminer le minimum de f , considérer deux
critères d’arrêt, l’un sur le nombre d’itérations, l’autre sur la norme infinie de d~k .
– le tester avec CADNA.
2
2. Gradient à pas optimal
Algorithme
{
d~k = −∇f (~xk )
~xk+1 = ~xk + tk d~k
(4)
tk est ici un paramètre à évaluer permettant d’optimiser la direction de descente. Nous choisissons tk tel que,
f (~xk + tk d~k ) ≤ f (~xk + td~k )
∀t > 0
(5)
Le paramètre tk est évalué à chaque itération k de sorte à minimiser la fonction φ(t) = f (~xk + td~k ), en d’autres
termes, φ0 (tk ) = 0. On démontre,
tk =
||d~k |2
d~t Ad~k
k
Application
– Reprendre les questions de la première partie dans le cas du gradient à pas optimal,
– effectuer une comparaison avec le gradient conjugué, qu’en déduisez-vous ? (bonus).
(6)