Méthode d`optimisation Minimiser une fonction coût par

Rapport sur les méthodes d’optimisation – Thomas Astoul & Quentin Galy- 2015 1/11
ASTOUL Thomas
GALY Quentin
HY MSN
Méthode d’optimisation
Minimiser une fonction coût par la méthode du
gradient conjugué

Rapport sur les méthodes d’optimisation – Thomas Astoul & Quentin Galy- 2015 2/11
Table des matières
I. Introduction.......................................................................................................................... 3
II. Méthode de gradient conjugué.............................................................................................. 3
III. Présentation de l’algorithme ............................................................................................. 3
IV. Méthode du gradient simple .............................................................................................. 4
V. Présentation algorithme........................................................................................................ 4
VI. Etude d’un cas simple ........................................................................................................ 5
VII. Etude fonction convexe simple .......................................................................................... 6
Méthode gradient conjugué ...................................................................................................... 6
VIII. Méthode gradient simple ............................................................................................... 7
IX. Comparaison des deux méthodes ................................................................................... 9
X. Fonction de Rosenbrock avec le gradient simple .................................................................... 9
XI. Conclusion ...................................................................................................................... 11

Rapport sur les méthodes d’optimisation – Thomas Astoul & Quentin Galy- 2015 3/11
I. Introduction
Lors de problèmes physiques, la recherche d’extremum pour trouver des positions d’équilibres
stables ou instables est très fréquente. Dans le cadre d’un problème d’optimisation, l’objectif est de
minimiser une fonction coût. Il peut être difficile de minimiser cette fonction coût et il existe
plusieurs méthodes pour s’approcher le plus possible de la valeur minimale recherchée.
Une de ces méthodes est l’approximation par la méthode de gradient conjugué que nous avons
essayé de mettre en œuvre sous Matlab. Nous avons aussi comparé cette méthode avec la méthode
de gradient simple.
II. Méthode de gradient conjugué.
La méthode de gradient conjugué est un algorithme de résolution des systèmes linéaires de la forme
   avec A une matrice symétrique définie positive. Cette méthode itérative converge en un
nombre fini d'itérations, au maximum égal à la taille N de la matrice carrée A.
Pour résoudre ce système, on va chercher à minimiser la fonction :
En effet, si on souhaite minimiser la fonction, on a :   
L'idée principale de la méthode du gradient conjugué est de trouver le minimum  d'une fonction
selon une première direction  puis on cherche le minimum suivant  selon la direction  qui
est perpendiculaire à .
A chaque itération, on applique la relation suivante :    
III. Présentation de l’algorithme
- On définit tout d’abord la matrice A définie positive et le vecteur b
- On initialise l’algorithme avec un vecteur arbitraire et on détermine une première direction
direction_0 opposée au gradient en x0 :
- On créer une boucle allant de 0 à k-1
- On calcule le nouveau vecteur  connaissant  et direction0 :
- On calcule la valeur du nouveau gradient à la position x1 :   
- On peut alors déterminer la nouvelle direction de recherche
-   
- On peut ainsi calculer le nouveau alpha2 et déterminer la nouvelle position et ainsi de suite.
On itère la boucle jusqu’à atteindre une limite que l’on se fixe. Dans notre cas la boucle est arrêtée
lorsqu’on atteint une précision de 0.001.

Rapport sur les méthodes d’optimisation – Thomas Astoul & Quentin Galy- 2015 4/11
IV. Méthode du gradient simple
La méthode du gradient simple est une méthode beaucoup plus simple à mettre en œuvre que le
gradient conjugué mais qui a le même objectif : trouver un minimum local d’une fonction. On utilise
ici le gradient en un point donné de courbe pour donner la direction de la descente. La distance entre
le point  et  est calculée en fonction de la valeur du gradient  et d’un pas déterminé à
l’avance .
Le pas  a une influence très importante sur la vitesse de convergence de la méthode du gradient.
Plus  est grand, plus la méthode convergera rapidement. Cependant, si  est trop grand, le calcul
risque de diverger.
V. Présentation algorithme
- On définit un point initial
- On calcule     et    
- On itère n fois jusqu’à se rapprocher suffisamment près du minimum. Dans notre cas la
boucle est arrêtée lorsqu’on atteint une précision de 0.001.

Rapport sur les méthodes d’optimisation – Thomas Astoul & Quentin Galy- 2015 5/11
VI. Etude d’un cas simple
Nous avons d’abord commencé à tester l’algorithme de gradient conjugué sur une fonction simple
avec une matrice A de dimension 2.
Pour cet exemple,   
Figure 1 : Visualisation de la fonction du cas simple
Figure 2 : Visualisation des itérations du gradient conjugué – point de départ (-6,6)
On arrive à trouver la solution exacte en deux itérations qui est la taille de la matrice A.