Algo gradient

Département Génie Mathématique et
Modélisation
4ème année, 2017-2018.
Méthodes numériques pour l’optimisation
non linéaire déterministe.
Aude Rondepierre

Table des matières
I Outils théoriques, concepts algorithmiques 7
1 Eléments d’analyse convexe 9
1.1 Définitions et propriétés géométriques élémentaires . . . . . . . . . . . . . 9
1.1.1 Ensembles et fonctions convexes . . . . . . . . . . . . . . . . . . . . 9
1.1.2 Semi-continuité inférieure . . . . . . . . . . . . . . . . . . . . . . . 13
1.1.3 Opérations sur les fonctions convexes . . . . . . . . . . . . . . . . . 14
1.2 Continuité et différentiabilité des fonctions convexes . . . . . . . . . . . . . 14
1.3 Eléments d’analyse pour l’algorithmie . . . . . . . . . . . . . . . . . . . . . 16
1.3.1 Fonctions à gradient Lipschitz . . . . . . . . . . . . . . . . . . . . . 17
1.3.2 Fonctions fortement convexes . . . . . . . . . . . . . . . . . . . . . 18
1.3.3 Conditionnement d’une fonction . . . . . . . . . . . . . . . . . . . . 20
2 Introduction à l’optimisation numérique 21
2.1 Qu’est-ce qu’un problème d’optimisation ? . . . . . . . . . . . . . . . . . . 21
2.2 Résultats d’existence et d’unicité en optimisation . . . . . . . . . . . . . . 24
2.2.1 Cas où l’ensemble Xdes contraintes est borné . . . . . . . . . . . . 24
2.2.2 Cas où l’ensemble Xdes contraintes est non borné . . . . . . . . . 24
2.2.3 Cas particulier de contraintes d’égalités et/ou d’inégalités . . . . . . 26
2.2.4 Convexité et optimisation . . . . . . . . . . . . . . . . . . . . . . . 26
II Algorithmes classiques en optimisation différentiable 27
3 Conditions d’optimalité 29
3.1 Cas général : condition d’optimalité géométrique . . . . . . . . . . . . . . . 29
3.1.1 Le cône tangent ou comment se déplacer dans le domaine des contraintes 29
3.1.2 Condition nécessaire d’optimalité géométrique . . . . . . . . . . . . 30
3.1.3 Cas où l’ensemble des contraintes est convexe . . . . . . . . . . . . 31
3.2 Cas différentiable sans contraintes . . . . . . . . . . . . . . . . . . . . . . . 32
3.3 Cas différentiable avec contraintes fonctionnelles . . . . . . . . . . . . . . . 33
3.3.1 Problèmes avec contraintes d’égalité . . . . . . . . . . . . . . . . . . 33
3.3.2 Problèmes avec contraintes d’inégalités . . . . . . . . . . . . . . . . 38
3.3.3 Problèmes avec contraintes d’égalité et d’inégalité . . . . . . . . . . 41
3

4 TABLE DES MATIÈRES
4 Méthodes de descente en optimisation différentiable sans contrainte 43
4.1 Principe général des méthodes de descente . . . . . . . . . . . . . . . . . . 43
4.2 Larecherchelinéaire .............................. 46
4.2.1 Recherches linéaires élémentaires . . . . . . . . . . . . . . . . . . . 46
4.2.2 Condition de Armijo ou comment éviter les pas trop grands . . . . 47
4.2.3 Conditions de Wolfe ou comment éviter les pas trop petits . . . . . 49
4.2.4 Convergence globale des algorithmes avec pas de Wolfe . . . . . . . 52
4.3 Algorithmes de type gradient . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 CS pour qu’un algorithme de gradient soit une méthode de descente 53
4.3.2 Résultats de convergence globale . . . . . . . . . . . . . . . . . . . 54
4.3.3 Tests numériques : pas fixe/pas optimal vs Pas de Wolfe . . . . . . 54
4.4 MéthodesdetypeNewton ........................... 57
4.4.1 Méthode de Newton avec recherche linéaire . . . . . . . . . . . . . . 58
4.4.2 Méthodes de quasi-Newton . . . . . . . . . . . . . . . . . . . . . . . 60
4.4.3 Propriétés et convergence de l’algorithme BFGS . . . . . . . . . . . 63
4.5 Algorithmes pour la régression non-linéaire . . . . . . . . . . . . . . . . . . 64
4.5.1 Problèmes de moindres carrés linéaires (rappels) . . . . . . . . . . . 64
4.5.2 Algorithme de Gauss-Newton . . . . . . . . . . . . . . . . . . . . . 65
4.5.3 Algorithme de Levenberg-Marquardt . . . . . . . . . . . . . . . . . 66
5 Algorithmes pour l’optimisation différentiable sous contrainte 69
5.1 Introduction à la dualité lagrangienne . . . . . . . . . . . . . . . . . . . . . 69
5.1.1 Problème primal - Problème dual . . . . . . . . . . . . . . . . . . . 70
5.1.2 Liens entre problème primal et problème dual . . . . . . . . . . . . 71
5.1.3 Cas convexe - Multiplicateurs de Kuhn-Tucker . . . . . . . . . . . . 72
5.2 Méthode du gradient projeté . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.3 Algorithmes newtoniens - Méthode SQP . . . . . . . . . . . . . . . . . . . 75
5.4 Méthodesdepénalisation............................ 78
5.4.1 Principegénéral............................. 79
5.4.2 Le Lagrangien augmenté . . . . . . . . . . . . . . . . . . . . . . . . 80
III Introduction à l’optimisation convexe non différentiable 83
6 Compléments d’analyse convexe 85
6.1 Sous-différentiel d’une fonction convexe . . . . . . . . . . . . . . . . . . . . 85
6.1.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.2 Règles de calcul sous-différentiel.................... 87
6.1.3 Exemple 1 : Sous-différentiel d’une fonction indicatrice . . . . . . . 88
6.1.4 Exemple 2 : Sous-différentiel d’une norme . . . . . . . . . . . . . . 88
6.2 Conditiond’optimalité ............................. 89

TABLE DES MATIÈRES 5
7 Algorithmes pour l’optimisation non différentiable 91
7.1 Un rapide tour d’horizon en optimisation non lisse . . . . . . . . . . . . . . 91
7.2 Méthodes de sous-gradients . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.2.1 Cassanscontrainte........................... 94
7.2.2 Méthodes de sous-gradient projeté . . . . . . . . . . . . . . . . . . . 95
7.2.3 Application aux problèmes duaux . . . . . . . . . . . . . . . . . . . 97
7.3 Opérateurproximal............................... 98
7.3.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.3.2 Algorithme du point proximal . . . . . . . . . . . . . . . . . . . . . 101
7.4 Algorithme Forward-Backward : un algorithme de splitting . . . . . . . . . 102