
4 TABLE DES MATIÈRES
4 Méthodes de descente en optimisation différentiable sans contrainte 43
4.1 Principe général des méthodes de descente . . . . . . . . . . . . . . . . . . 43
4.2 Larecherchelinéaire .............................. 46
4.2.1 Recherches linéaires élémentaires . . . . . . . . . . . . . . . . . . . 46
4.2.2 Condition de Armijo ou comment éviter les pas trop grands . . . . 47
4.2.3 Conditions de Wolfe ou comment éviter les pas trop petits . . . . . 49
4.2.4 Convergence globale des algorithmes avec pas de Wolfe . . . . . . . 52
4.3 Algorithmes de type gradient . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 CS pour qu’un algorithme de gradient soit une méthode de descente 53
4.3.2 Résultats de convergence globale . . . . . . . . . . . . . . . . . . . 54
4.3.3 Tests numériques : pas fixe/pas optimal vs Pas de Wolfe . . . . . . 54
4.4 MéthodesdetypeNewton ........................... 57
4.4.1 Méthode de Newton avec recherche linéaire . . . . . . . . . . . . . . 58
4.4.2 Méthodes de quasi-Newton . . . . . . . . . . . . . . . . . . . . . . . 60
4.4.3 Propriétés et convergence de l’algorithme BFGS . . . . . . . . . . . 63
4.5 Algorithmes pour la régression non-linéaire . . . . . . . . . . . . . . . . . . 64
4.5.1 Problèmes de moindres carrés linéaires (rappels) . . . . . . . . . . . 64
4.5.2 Algorithme de Gauss-Newton . . . . . . . . . . . . . . . . . . . . . 65
4.5.3 Algorithme de Levenberg-Marquardt . . . . . . . . . . . . . . . . . 66
5 Algorithmes pour l’optimisation différentiable sous contrainte 69
5.1 Introduction à la dualité lagrangienne . . . . . . . . . . . . . . . . . . . . . 69
5.1.1 Problème primal - Problème dual . . . . . . . . . . . . . . . . . . . 70
5.1.2 Liens entre problème primal et problème dual . . . . . . . . . . . . 71
5.1.3 Cas convexe - Multiplicateurs de Kuhn-Tucker . . . . . . . . . . . . 72
5.2 Méthode du gradient projeté . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.3 Algorithmes newtoniens - Méthode SQP . . . . . . . . . . . . . . . . . . . 75
5.4 Méthodesdepénalisation............................ 78
5.4.1 Principegénéral............................. 79
5.4.2 Le Lagrangien augmenté . . . . . . . . . . . . . . . . . . . . . . . . 80
III Introduction à l’optimisation convexe non différentiable 83
6 Compléments d’analyse convexe 85
6.1 Sous-différentiel d’une fonction convexe . . . . . . . . . . . . . . . . . . . . 85
6.1.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.2 Règles de calcul sous-différentiel.................... 87
6.1.3 Exemple 1 : Sous-différentiel d’une fonction indicatrice . . . . . . . 88
6.1.4 Exemple 2 : Sous-différentiel d’une norme . . . . . . . . . . . . . . 88
6.2 Conditiond’optimalité ............................. 89