Notes de cours ()

Optimisation, algorithmique (MML1E31)
Notes de cours
Master 1 Mathématiques appliquées
Master 1 Ingénierie mathématique appliquée
aux sciences du vivant (cours optionnel)
2016-2017
Bruno GALERNE
Bureau 812-F
[email protected]

Introduction
Ce cours est une introduction aux problèmes d’optimisation. Le cours se focalise essen-
tiellement sur des problèmes d’optimisation sans contrainte en dimension finie. Après une in-
troduction des différentes notions mathématiques nécessaires (rappels de calcul différentiel,
conditions d’optimalité, convexité, etc.), une part importante est donnée à l’exposition des dif-
férents algorithmes classiques d’optimisation, l’étude théorique de leur convergence, ainsi que
la mise en œuvre pratique de ces algorithmes à l’aide du logiciel Scilab.
Les principaux ouvrages de référence pour ce cours sont :
[CIARLET] Philippe G. CIARLET,Introduction à l’analyse numérique matricielle et à l’op-
timisation, cinquième édition, Dunod, 1998
[BOYD & VANDENBERGHE] Stephen BOYD and Lieven VANDENBERGHE Convex Opti-
mization, Cambridge University Press, 2004.
Ouvrage téléchargeable gratuitement ici :
http://stanford.edu/~boyd/cvxbook/
[ALLAIRE & KABER] Grégoire ALLAIRE et Sidi Mahmoud KABER,Algèbre linéaire nu-
mérique, Ellipses, 2002
2

Chapitre 1
Rappels et compléments de calculs
différentiels
Les références principales pour ce chapitre sont le chapitre A.4 de [BOYD & VANDENBERGHE]
et le chapitre 7 de [CIARLET]. Dans ce cours on se placera toujours sur des espaces vectoriels
normés de dimensions finis que l’on identifie à Rn,n>1.
1.1 Cadre et notation
net msont des entiers supérieurs ou égaux à 1. Par convention les vecteurs de Rnsont
des vecteurs colonnes. On note h·,·i le produit scalaire canonique et k·kla norme euclidienne
associée. On note Mm,n(R)l’ensemble des matrices de taille m×nà coefficients réelles et
Mn(R) = Mn,n(R)l’ensemble des matrices carrées de taille n×n. La transposée d’une
matrice Aest notée AT. On a donc pour tous x, y ∈Rn,hx, yi=xTyet par conséquent, pour
tout A∈ Mm,n(R),x∈Rn,y∈Rm,
hy, Axi=hATy, xi.
1.2 Différentielle et gradient
1.2.1 Applications linéaires et matrices associées
On désigne par L(Rn,Rm)l’ensemble des applications linéaires de Rndans Rm. On iden-
tifie un élément de L(Rn,Rm)à une matrice rectangulaire de taille m×ncorrespondant à la
matrice de l’application dans les bases canoniques de Rnet Rm: si ϕ∈ L(Rn,Rm)alors pour
tout x∈Rn,ϕ(x) = Ax avec Ala matrice dont les colonnes sont les images par ϕdes vecteurs
de la base canonique (e1, . . . , en)de la base canonique de Rn,
ϕ(x) = ϕ n
X
k=1
xkek!=
n
X
k=1
xkϕ(ek) = ϕ(e1)· · · ϕ(en)
x1
.
.
.
xn
=Ax.
1.2.2 Différentielle
Dans tout ce chapitre, Ωdésigne un ensemble ouvert de Rn.
3

Définition 1.1. Soit f: Ω →Rm. La fonction fest différentiable au point x∈Ωsi il existe
une matrice df(x)∈ Mm,n(R)telle que au voisinage de xon ait
f(y) = f(x)+df(x)(y−x) + ky−xkε(y−x)
avec lim
y→xε(y−x)=0,i.e.,ky−xkε(ky−xk) = o y→x(ky−xk). On appelle df(x)la différentielle
de fau point x, ou encore la matrice jacobienne de fau point x. On dit que fest différentiable
si fest différentiable en tout point de Ω. On dit que fest continûment différentiable si fest
différentiable et l’application x7→ df(x)est continue.
La fonction affine f(y) = f(x)+df(x)(y−x)est l’approximation à l’ordre 1 de fau point
x. La différentielle peut être calculée à partir des dérivées partielles des composantes de f: Si on
note f= (f1, . . . , fm)Tles composantes de f, alors pour tout (i, j)∈ {1, . . . , m}×{1, . . . , n},
(df(x))i,j =∂fi
∂xj
(x).
Exercice 1.2. Soit Aune matrice de Mm,n(R)et b∈Rm. Montrer que la fonction f:Rn→
Rmdéfinie par f(x) = Ax +best différentiable sur Rnet calculer sa différentielle en tout point
x∈Rn. En déduire que fest C1(et même C∞) sur Rn.
1.2.3 Gradient
Dans ce cours on s’intéressera plus particulièrement à des fonctions à valeurs réelles, ce qui
correspond au cas m= 1. La matrice jacobienne de f: Ω →Rest alors une matrice ligne de
taille 1×n. La transposée de cette matrice est un vecteur de Rnappelé gradient de fau point
xet noté ∇f(x). Pour tout h∈Rn,
df(x)h=∇f(x)Th=h∇f(x), hi.
Ainsi, pour f: Ω →R,fest différentiable si et seulement si il existe un vecteur ∇f(x)tel que
f(y) = f(x) + h∇f(x), y −xi+ky−xkε(y−x)avec lim
y→xε(y−x)=0.
∇f(x)s’interprète comme le vecteur de plus forte augmentation de fau voisinage de x. En
particulier, ∇f(x)est orthogonal au ligne de niveaux de la fonction f.
Exercice 1.3. Soit Aune matrice de Mn(R). Soit f:Rn→Rl’application f:x7→ 1
2hAx, xi.
1. Montrer que fest différentiable sur Rnet déterminer ∇f(x)pour tout x.
2. Quelle est l’expression de ∇fsi Aest symétrique ?
3. Quel est le gradient de l’application x7→ 1
2kxk2?
1.2.4 Dérivation des fonctions composées
Théorème 1.4 (Dérivation des fonctions composées).Soient f:Rn→Rmet g:Rm→Rp
deux fonctions différentiables. Soit h=g◦f:Rn→Rpla fonction composée définie par
h(x) = g(f(x)). Alors hest différentiable sur Rnet pour tout x∈Rn,
dh(x) = dg(f(x))df(x).
4

Remarque. On peut énoncer une version locale du résultat précédent car, comme le suggère
la formule dh(x)=dg(f(x))df(x), pour que hsoit différentiable en x, il suffit que fsoit
différentiable en xet que gsoit différentiable en f(x).
Exemple 1.5. Déterminons le gradient de l’application g:Rn→Rdéfinie par
g(x) = f(Ax +b)
où Aest une matrice de Mm,n(R),b∈Rmet f:Rm→Rest une application différentiable.
On a g(x) = f◦h(x)avec h(x) = Ax +b. Comme hest affine on a dh(x) = Aen tout point
x. On a donc d’après la règle de dérivation des fonctions composées
dg(x) = df(h(x))dh(x) = df(Ax +b)A.
Donc ∇g(x) = dg(x)T=ATdf(Ax +b)T=AT∇f(Ax +b).
1.3 Différentielle d’ordre deux et matrice hessienne
Dans le cadre général où f: Ω →Rm, si fest différentiable alors l’application différentielle
df:x7→ df(x)est une application de l’ouvert Ωvers l’espace vectoriel L(Rn,Rm). Si cette
application est elle-même différentiable en x, alors on obtient une différentielle d(df)(x)(·)qui
appartient à L(Rn,L(Rn,Rm)) que l’on identifie à une application bilinéaire d2f(x) : Rn×
Rn→Rmqui se trouve être symétrique. d2f(x)est appelée la différentielle d’ordre deux de
l’application fau point x.fest deux fois différentiable si elle est différentiable sur tout Ω.f
est deux fois continûment différentiable sur Ω, si fest deux fois différentiable et si l’application
x7→ d2f(x)est continue. On note C2(Ω) l’ensemble des fonctions deux fois continûment
différentiables.
Dans le cas où m= 1, c’est à dire où f: Ω →Rest à valeurs réelles, d2f(x)est une forme
bilinéaire symétrique dont la matrice s’écrit
∇2f(x) = ∂2f
∂xi∂xj(x)16i,j6n.
Cette matrice est appelée matrice hessienne de fau point x. On a alors pour tous vecteurs
h, k ∈Rn,
d2f(x)(h, k) = h∇2f(x)h, ki=kT∇2f(x)h=hT∇2f(x)k.
Il est difficile de donner une règle de dérivation des fonctions composées pour l’ordre deux.
Voici toutefois deux règles à connaître pour ce cours.
Composition avec une fonction scalaire : On considère une fonction f: Ω →Rune fonc-
tion deux fois différentiable et g:R→Rune fonction deux fois dérivable. Alors, h=g◦f
est deux fois différentiable et
∇2h(x) = g0(f(x))∇2f(x) + g00(f(x))∇f(x)∇f(x)T.
Composition avec une fonction affine : Soit g:Rn→Rdéfinie par
g(x) = f(Ax +b)
où Aest une matrice de Mm,n(R),b∈Rmet f:Rm→Rest une application deux fois
différentiable. Alors gest deux fois différentiable et
∇2g(x) = AT∇2f(Ax +b)A.
5