Convexité et optimisation - EPI - Université Paris 1 Panthéon

UFR Mathématiques et Informatique
Convexité et optimisation
Licence 3ème année MIASHS
Moncef MEDDEB
2016 − 2017
ii
Convexité et optimisation
Avant-propos
Ce polycopié est destiné aux étudiants de L3 MIASHS qui suivent le cours de « convexité et optimisation ». Afin de bénéficier pleinement de l’enseignement dispensé, il est fortement recommandé
de travailler de manière assidue et de :
B aller au cours en amphi ;
B réviser le cours chaque semaine en s’assurant de connaître les définitions, résultats ainsi
que les démonstrations et d’avoir bien compris les différents exemples et remarques ;
B fournir un travail individuel pour préparer et chercher les exercices chaque semaine avant
d’aller en TD ;
B participer de manière active et dynamique aux séances de TD ;
B faire les autres exercices proposés et qui ne sont pas traités en TD ;
B ne pas hésiter à poser toute question ou demander conseil à l’équipe pédagogique.
Toutes les erreurs qui pourraient figurer dans ces notes de cours, sont de ma responsabilité.
iii
iv
Convexité et optimisation
Notations
R, N, Z, Q, Rn :
R+ , R∗+
:
Mn (R)
:
t A ou AT
:
h., .i
:
kxk
:
Epi(f )
:
Gr(f )
:
∇f (x)
:
Hf (x)
:
B(x, r), BF (x, r) :
int(A)
:
adh(A)
:
Fr(A)
:
Vect(A)
:
co(A)
:
cone(A)
:
:
projA (x)
NA (x)
:
TA (x)
:
A◦
:
⊥
A
:
ensembles habituels
ensembles des réels positifs, strictement positifs
ensemble des matrices carrées d’ordre n à coefficients dans R
transposée d’une matrice A
produit scalaire sur un espace de Hilbert
norme du vecteur x
épigraphe de f
graphe de f
gradient de f en x
matrice hessienne de f en x
boule ouverte, boule fermée de centre x et de rayon r
intérieur de A
adhérence de A
frontière de A
sous-espace vectoriel engendré par A
enveloppe convexe de A
enveloppe conique de A
projection de x sur A
cône normal à A en x
cône tangent à A en x
cône polaire négatif de A
orthogonal de A
Table des matières
0
Introduction
1
1
Ensembles convexes
3
1.1
Ensembles convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.2
Le théorème de Carathéodory . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.3
L’enveloppe Convexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1.4
Cônes convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.5
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2
3
4
5
Propriétés topologiques des ensembles convexes
13
2.1
Intérieur et adhérence d’un convexe . . . . . . . . . . . . . . . . . . . . . . . .
13
2.2
Autres propriétés des convexes . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
2.3
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
Théorèmes de séparation
21
3.1
Projection sur un convexe fermé . . . . . . . . . . . . . . . . . . . . . . . . . .
21
3.2
Théorèmes de séparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
3.3
Polarité et lemme de Farkas . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
3.4
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
Fonctions convexes
35
4.1
Définitions et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
4.2
Le cas des fonctions convexes différentiables . . . . . . . . . . . . . . . . . . .
37
4.3
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
Optimisation : généralités
43
5.1
Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
5.2
Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
5.3
Le cas de l’optimisation sans contraintes . . . . . . . . . . . . . . . . . . . . . .
45
v
vi
Convexité et optimisation
5.4
6
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
Optimisation sous contraintes : conditions d’optimalité
53
6.1
Condition nécessaire d’optimalité . . . . . . . . . . . . . . . . . . . . . . . . .
53
6.2
Cône normal et cône tangent . . . . . . . . . . . . . . . . . . . . . . . . . . . .
54
6.3
La condition de qualification . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55
6.4
Le théorème de Karush-Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . . . .
59
6.5
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
60
Chapitre 0
Introduction
Les problèmes d’optimisation peuvent être rencontrés dans toutes les disciplines et dans de nombreux domaines d’activité. En fonction du contexte, il s’agit de maximiser un « gain » ou de minimiser un « coût » en faisant le « meilleur » choix possible dans un ensemble de variables de
décision qui peut être plus ou moins large, plus ou moins contraint. Ce qui peut s’écrire :
(
∗
On cherche x solution de
min f (x)
x∈C
Ici f est la fonction à minimiser et la variable x est à choisir dans l’ensemble des valeurs « admissibles » C. Un problème de maximisation revient à considérer la minimisation de −f et on
n’énoncera les résultats de ce cours que pour des problèmes de minimisation.
Lorsque l’ensemble C est un ouvert, Il s’agit d’un problème d’optimisation sans contraintes qui a
notamment été étudié. L’objectif de ce cours est de couvrir les techniques mathématiques de base
pour « résoudre » les probèmes d’optimisation sous contraintes, c’est à dire, lorsque C n’est pas
nécessairement ouvert. L’étude du cas simple
(
min f (x) = x2
x ∈ [1, +∞[
dont la solution est x∗ = 1 (et pourtant f 0 (x∗ ) 6= 0) illustre la nécessité de mieux prendre en
compte la géométrie des contraintes afin de caractériser correctement les solutions optimales.
Une partie de ce cours sera donc consacrée aux ensembles et fonctions convexes. Des propriétés
topologiques importantes résultent de cette propriété géométrique et offrent un cadre et des outils
particulièrement adaptés à l’étude des problèmes d’optimisation.
Par ailleurs, il est important de savoir qu’on se limitera aux situations suivantes :
B Un seul critère à optimiser. Nous n’aborderons pas les problèmes d’optimisation à plusieurs
critères où la fonction objectif est une fonction vectorielle.
B Problèmes statiques. Nous n’aborderons pas les problèmes dynamiques où le temps intervient (commande optimale). Nous nous limiterons à des situations où la décision est prise
en une seule étape.
1
2
Convexité et optimisation
B Problèmes déterministes. Nous n’étudierons pas les situations stochastiques où le décideur
peut faire face à certaines variables incertaines et qui sont connues soit statistiquement soit
par l’ensemble des valeurs qu’elles peuvent prendre.
B Pas de variables discrètes. Les variables de décision considérées prennent des valeurs continues.
B Le cas de la programmation linéaire, sans être exclu de ce cours, ne fait pas l’objet des
approfondissements qui lui sont propres.
B Même si les aspects numériques et algorithmiques peuvent être abordés notamment dans
certains exercices, cet axe très important n’est pas développé dans ce cours.
Problématique
Modélisation et
formulation du
problème
d’optimisation
Caractérisation
des solutions
Existence
Calcul numérique
Topologie
Analyse convexe
Calcul différentiel
Le cas non convexe
Objet du cours : partie en gras du diagramme
Chapitre 1
Ensembles convexes
1.1
Ensembles convexes
D ÉFINITION 1.1 Soit C un sous-ensemble de Rn . On dit que C est convexe si pour tous a, b ∈ C,
le segment [a, b] est inclus dans C, c’est à dire, ∀t ∈ [0, 1], ta + (1 − t)b ∈ C.
a
a
a
ta + (1 − t)b
ta + (1 − t)b
b
b
b
F IGURE 1.1 – Exemple d’ensembles convexes et non convexes
Exemples 1.1
B L’espace tout entier A = E = Rn est convexe.
B Si k.k est une norme sur Rn , alors toutes les boules de Rn , ouvertes ou fermées, sont
convexes.
B Les seuls sous-ensembles convexes de R sont les intervalles.
B Pour tout n ∈ N, n ≥ 2, l’ensemble
(
Sn :=
λ = (λ1 , . . . , λn ) ∈ Rn+ |
n
X
)
λi = 1
i=1
est convexe. C’est le simplexe habituel de Rn .
P ROPOSITION 1.1 C désigne un sous-ensemble convexe de Rn .
B L’intersection de sous-ensembles convexes est convexe.
B L’union de sous-ensembles convexes croissants au sens de l’inclusion, est convexe.
3
4
Convexité et optimisation
z
1
1
y
x
1
F IGURE 1.2 – Le simplexe S3
B Pour x ∈ Rn , le sous-ensemble x + C := {x + a | a ∈ C} est convexe.
B Pour α ∈ R, αC := {αa | a ∈ C} est convexe.
B L’image de C par une application linéaire de Rn dans Rp est convexe.
B L’image réciproque de C par une application linéaire de Rp dans Rn est convexe.
B Si C et C 0 sont convexes, alors C + C 0 := {x + x0 | x ∈ C, x0 ∈ C 0 } est convexe.
B Le produit cartésien de deux sous-ensembles convexes est convexe.
B Inversement, la projection d’un sous-ensemble convexe d’un espace produit E × F sur l’un
des sous-espaces composants E ou F , est convexe.
Remarque 1.2
L’union de sous-ensembles convexes n’est en général pas convexe.
L EMME 1.2 Soient α, β > 0 et C un sous-ensemble convexe de Rn . Alors
αC + βC = (α + β)C.
Remarque 1.3
La preuve ci-dessous montre que l’inclusion (α + β)C ⊂ αC + βC est toujours
vraie même si C n’est pas convexe. Ce n’est pas le cas de l’inclusion inverse. Prendre α = β = 1
et C = [−2, −1] ∪ [1, 2] ⊂ R et vérifier que C + C = [−4, 4] et 2C = [−4, −2] ∪ [2, 4].
Preuve Pour tout y ∈ (α + β)C, il existe x ∈ C tel que y = (α + β)x = αx + βx et ainsi
y ∈ αC + βC. Inversement
si y ∈ αC + βC,
on peut trouver x1 et x2 ∈ C tel que y = αx1 + βx2 .
α
β
α
β
Ainsi y = (α + β)
x1 +
x2 et y ∈ (α + β)C car
x1 +
x2 est une
α+β
α+β
α+β
α+β
combinaison convexe de x1 et x2 et appartient donc à C car C est convexe.
D ÉFINITION 1.2 On appelle combinaison convexe de m vecteurs (x1 , . . . , xm ) tout vecteur u qui
peut s’écrire u =
m
X
i=1
ti xi où t1 , . . . , tm ∈ R+ et
m
X
ti = 1.
i=1
P ROPOSITION 1.3 Soit C, un sous-ensemble de E. C est convexe si et seulement si C contient
toutes les combinaisons convexes des familles finies d’éléments de C.
Preuve Si C contient toutes les combinaisons convexes des familles finies d’éléments de C,
alors il contient toutes les combinaisons convexes de deux vecteurs arbitraires de C et il est donc
convexe.
5
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
Réciproquement, nous allons raisonner par récurrence sur le nombre d’éléments de la famille.
Si la famille a un ou deux éléments, la définition d’un sous-ensemble convexe montre que toute
combinaison convexe de cette famille est dans C. Supposons que ceci soit vraie pour toutes les
familles ayant au plus n éléments. Soit (x1 , . . . , xn , xn+1 ), une famille de n + 1 éléments de C.
Soit (λ1 , . . . , λn+1 ) ∈ Sn+1 et soit x =
n+1
X
λi xi . Comme
i=1
x=
λi = 1, il existe au moins un λi
i=1
non nul. Supposons sans perte de généralité λ1 6= 0. Alors

n+1
X

! n

 X λj


λi 
x
j  + λn+1 xn+1
n

j=1 X

i=1
n
X
λi
i=1
Par notre hypothèse de récurrence, x0 =
n
X
j=1
λj
n
X
xj est un élément de C car c’est une combinai-
λi
i=1
son convexe d’une famille de n éléments de C. De plus, comme
n
X
!
λi
+ λn+1 = 1, x est la
i=1
combinaison convexe de x0 et xn+1 . Donc x ∈ C ce qui termine la preuve.
1.2
Le théorème de Carathéodory
T HÉORÈME 1.4 (Théorème de Carathéodory). Soit C un sous-ensemble de Rn . Toute combinaison convexe d’éléments de C peut s’écrire comme combinaison convexe d’au plus n + 1 éléments
de C
Preuve Pour démontrer ce résultat, il suffit de montrer qu’une combinaison convexe d’une famille contenant p > n + 1 éléments est aussi combinaison convexe d’une famille d’au plus p − 1
éléments. Soit p > n + 1, soit (x1 , . . . , xp ) ∈ C p , soit λ ∈ Sp et soit x =
p
X
λi xi . Comme
i=1
p > n + 1, les vecteurs (x2 − x1 , . . . , xp − x1 ) sont liés dans Rn . Il existe un vecteur non nul
(µ2 , . . . , µp ) tel que
p
X
µi (xi − x1 ) = 0. Posons µ1 = −
i=2
p
X
µi . Le vecteur µ est un vecteur
i=2
non nul de Rp dont la somme des composantes est égale à 0 et de plus,
p
X
µi xi = 0. L’ensemble
i=1
I+ = {i ∈ {1, . . . , p} | µi > 0} est donc non vide. Soit
t = min
et soit i0 tel que t =
λi
, i ∈ I+
µi
λ i0
. Posons maintenant βi = λi − tµi pour tout i. Il est clair que la définition
µi0
de t implique que le vecteur β a toutes ses composantes positives et βi0 = 0. Comme
p
X
i=1
µi = 0,
6
X
i6=i0
Convexité et optimisation
βi = 1. De plus, comme
p
X
µi xi = 0,
i=1
x=
p
X
βi xi =
i=1
X
βi xi
i6=i0
Donc x est la combinaison convexe d’une famille contenant p − 1 éléments. Ceci termine notre
démonstration.
1.3
L’enveloppe Convexe
D ÉFINITION 1.3 (Enveloppe convexe). A est un sous-ensemble de E(= Rn ). On appelle l’enveloppe convexe de A, notée co(A), le plus petit sous-ensemble convexe qui le contient.
F IGURE 1.3 – Dessiner l’enveloppe convexe de ce sous-ensemble du plan.
D ÉFINITION 1.4 L’enveloppe convexe d’un nombre fini de points de Rn est appelé un polytope.
x1
x6
x2
x3
x5
x4
F IGURE 1.4 – Un polytope dans R2
T HÉORÈME 1.5 Soit A un sous-ensemble de E(= Rn ). L’enveloppe convexe de A, co(A) est
égale à l’ensemble de toutes les combinaisons convexes d’éléments de A.
Il résulte de ce théorème, grâce au théorème de Caratheodory (1.4), que l’enRemarque 1.4
veloppe convexe d’un sous-ensemble A d’un espace vectoriel réel de dimension n est égale à
l’ensemble des combinaisons convexes de n + 1 points de A.
7
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
Preuve On note B, l’ensemble de toutes les combinaisons convexes des familles finies d’éléments de A. B ⊂ co(A) car co(A) est un sous-ensemble convexe de E contenant A qui, d’après
la proposition (1.3), contient toutes les combinaisons convexes des familles finies d’éléments de
co(A).
Montrons maintenant que co(A) ⊂ B. Il est clair que A ⊂ B. Donc, pour démontrer cette inclusion, il suffit de montrer que B est convexe et d’utiliser ensuite la définition de co(A). Soit x
et y, deux éléments de B et t ∈ [0, 1]. Il existe donc deux familles (x1 . . . , xn ) et (y1 , . . . , yp )
d’éléments de A, λ ∈ Sn et µ ∈ Sp tels que x =
n
X
λi xi et y =
i=1
tx + (1 − t)y =
n
X
tλi xi +
i=1
p
X
µj yj . Donc
j=1
p
X
(1 − t)µj yj
j=1
Donc tx + (1 − t)y est une combinaison convexe de la famille (x1 , . . . , xn , y1 . . . , yp ) car
n
X
i=1
tλi +
p
X
(1 − t)µj = t + (1 − t) = 1
j=1
et donc, (tλ1 , . . . , tλn , (1 − t)µ1 . . . , (1 − t)µp ) ∈ Sn+p .
1.4
Cônes convexes
D ÉFINITION 1.5 Soit C un sous-ensemble de Rn .
B On dit que C est un cône si ∀x ∈ C, ∀t ∈ R+ , tx ∈ C.
B Un cône C est dit saillant si C ∩ (−C) = {0}.
Exemple 1.5
pas saillant.
Tout sous-espace vectoriel de Rn est un cône qui, sauf s’il est réduit à {0}, n’est
P ROPOSITION 1.6
Un cône K est convexe si et seulement si il est stable par addition.
1
Preuve Soit K, un cône convexe. Soit x et y deux éléments de K. Alors (x + y) appartient à
2
1
K car celui-ci est convexe et x + y = 2 (x + y) appartient à K car c’est un cône. Donc K est
2
stable par addition.
Soit K, un cône stable par addition et soit x et y deux éléments de K. Pour tout t ∈ [0, 1], tx et
(1 − t)y sont des éléments de K car c’est un cône. Comme K est stable par addition, tx + (1 − t)y
appartient à K et donc K est convexe.
D ÉFINITION 1.6 (Enveloppe conique) L’enveloppe conique d’un sous-ensemble A de Rn , notée
cone(A), est le plus petit (au sens de l’inclusion) cône convexe qui contient A.
8
Convexité et optimisation
cone(A)
A
F IGURE 1.5 – Enveloppe conique de A
T HÉORÈME 1.7 Soit A un sous-ensemble de Rn .
B On a cone(A) = cone(co(A)).
B L’enveloppe conique de A est égale à l’ensemble des combinaisons linéaires à coefficients
positifs d’éléments de A, c’est à dire :
(
x | ∃m ∈ N, x1 , . . . , xm ∈ A, t1 , . . . , tm ∈ R+ telle que x =
cone(A) =
m
X
)
t i xi .
i=1
De manière similaire au théorème de Caratheodory (1.4), on peut énoncer le
Remarque 1.6
résultat suivant.
T HÉORÈME 1.8 Soit A, une partie non vide d’un espace vectoriel de dimension n. Alors pour
tout y ∈ cone(A) \ {0}, il existe une famille libre (a1 , . . . , ap ) d’éléments de A et des coefficients
λ = (λ1 , . . . , λp ) ∈ Rp+ tels que y =
p
X
λi ai .
i=1
1.5
Exercices
E XERCICE 1
quelconque.
Soient A et B, (Ai )i∈I des sous-ensembles convexes de Rn ; I est un ensemble
1 - Montrer que A ∩ B est convexe.
2 - Montrer que
\
Ai est convexe.
i∈I
3 - Donner un exemple pour lequel l’union d’ensembles convexes n’est pas convexe.
4 - Montrer que l’union dénombrable croissante d’ensembles convexes est convexe.
5 - Soit f : Rn → Rp une application linéaire.
a - Montrer f (A) est convexe.
b - Soit C un sous-ensemble convexe de Rp . Montrer que f −1 (C) est convexe.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
9
6 - Soient α, β ∈ R.
a - Montrer que αA + βB est convexe.
b - A-t-on (α + β)A = αA + βA, pour α > 0 et β > 0 ?
c - Soient C ⊂ Rn un ensemble non convexe et λ ∈ [0, 1]. A-t-on : λC + (1 − λ)C = C ?
7 - C un sous-ensemble convexe de Rn . Montrer que toute combinaison convexe finie d’éléments
de C appartient à C.
8 - Soit K un sous-ensemble de Rn . Montrer que l’enveloppe convexe de K, co(K), est l’ensemble
de toutes les combinaisons convexes d’éléments de K.
9 - Soit K ⊂ Rn un cône. Montrer que K est convexe si et seulement si K est stable par addition,
c’est-à-dire, K + K ⊂ K.
Soient E et F deux espaces vectoriels réels et C un sous-ensemble non vide de
E XERCICE 2
E × F . On appelle projection de C sur E (resp. sur F ) l’ensemble noté
PE (C) := {x ∈ E | ∃y ∈ F telle que (x, y) ∈ C}
(resp. PF (C) := {y ∈ F | ∃x ∈ E telle que (x, y) ∈ C}).
1 - Montrer que si C est convexe, alors les sous-ensembles PE (C) et PF (C) sont convexes.
2 - La réciproque est elle vraie ?
3 - Pour i = 1, . . . , n, on considère Ci un sous-ensemble convexe d’un espace vectoriel réel Ei .
Montrer que C1 × . . . × Cn est un sous-ensemble convexe de E1 × . . . × En .
E XERCICE 3
On considère le sous-ensemble S des matrices symétriques et semi-définies positives de Mn (R) (l’ensemble des matrices carrées d’ordre n). Montrer que S est convexe.
E XERCICE 4
Pour tout a = (a1 , . . . , an ) ∈ Rn on note Pa le polynôme définie par Pa (x) =
an xn−1 + an−1 xn−2 + . . . + a2 x + a1 . On considère α < β deux nombres réels et C le sousensemble de Rn définie par :
C = {a ∈ Rn | Pa (0) = 1 et ∀x ∈ [α, β], |Pa (x)| ≤ 1} .
C est il convexe ?
E XERCICE 5
Soit C ⊂ Rn vérifiant :
1
a, b ∈ C =⇒ (a + b) ∈ C.
2
1 - Montrer que C n’est pas nécessairement convexe.
2 - Montrer que si de plus C est fermé, alors C est convexe.
10
Convexité et optimisation
E XERCICE 6
Déterminer l’enveloppe convexe de chacun des sous-ensembles de R2 suivants :
B Z2 ;
B N2 ;
B Deux droites (discuter) ;
B Un point et une droite ;
B {(x1 , x2 ) ∈ N2 | 2x1 + 3x2 ≤ 8} ;
B {(x1 , x2 ) ∈ N2 | 14x1 + 10x2 ≤ 35} ;
E XERCICE 7
On note e1 , . . . , en les vecteurs de la base canonique de Rn .
Déterminer co(e1 , −e1 , . . . , en , −en ).
E XERCICE 8
Soit A = {(x1 , x2 ) ∈ R2 | x2 |x1 | ≤ 2}.
1 - Dessiner A.
2 - Déterminer co A.
E XERCICE 9
Soit A un sous-ensemble de Rn .
1 - Montrer que A est convexe si et seulement si A = co A.
2 - En déduire que co A = co(co A).
E XERCICE 10
Soit A et B deux sous-ensembles d’un espace vectoriel E.
1 - Montrer que
co(A + B) ⊂ co A + co B.
2 - Soit
C = {x ∈ E,
∀z ∈ B,
x + z ∈ co(A + B)}.
Montrer que C est un convexe contenant A. En déduire :
co(A) + B ⊂ co(A + B).
3 - En raisonnant de manière analogue, en déduire que
co A + co B = co(A + B).
E XERCICE 11
C si :
Soit C ⊂ Rn un ensemble convexe. On dit que a ∈ C est un point extrémal de
1
(b + c) = a =⇒ b = c = a,
2
∀b, c ∈ C.
1 - Montrer que a est un point extrémal de C si et seulement si C \ {a} est convexe.
2 - On considère A ⊂ Rn et on suppose que a est un point extrémal de co(A). Montrer que a ∈ A.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
11
E XERCICE 12 (Théorème de Radon). On considère un sous-ensemble A de Rn qui contient au
moins n + 2 éléments distincts. Montrer qu’il existe deux sous-ensembles de A, S et T telle que
S ∩ T = ∅ et co(S) ∩ co(T ) 6= ∅.
12
Convexité et optimisation
Chapitre 2
Propriétés topologiques des ensembles
convexes
Dans ce chapitre l’espace vectoriel Rn est muni d’une norme k.k. On rappelle qu’en dimension
finie, toutes les normes sur un même espace vectoriel sont équivalentes.
2.1
Intérieur et adhérence d’un convexe
P ROPOSITION 2.1 Soient C un sous-ensemble convexe de (Rn , k.k), x ∈ int(C) et y ∈ adh(C).
Alors ∀t ∈]0, 1], tx + (1 − t)y ∈ int(C).
Preuve Soient x ∈ int C, y ∈ adh C et t ∈]0, 1[. Il existe r > 0 tel que B(x, r) ⊂ C. Il existe
tr
z ∈ C tel que kz − yk <
. Soit D la boule ouverte égale à B(tx + (1 − t)z, tr). Pour montrer
1−t
que tx + (1 − t)y appartient à int C, nous allons prouver que D ⊂ C et tx + (1 − t)y appartient
à D.
z
y ∈ adh(C)
tx + (1 − t)y
B(x, r)
x
F IGURE 2.1 – Une boule de centre tx + (1 − t)z reste dans C
Soit u ∈
Rn
1
1−t
tel que ku − tx − (1 − t)zk < tr. Donc, u −
z − x
< r. Ceci est équit
t
1−t
1
z appartient à B(x, r). Donc v appartient à C. Comme u = tv + (1 − t)z,
valent à v = u −
t
t
13
14
Convexité et optimisation
u appartient à C comme combinaison convexe de v et z. Ceci montre que D est inclus dans C.
tr
Finalement, ktx + (1 − t)y − (tx + (1 − t)z)k = (1 − t)ky − zk < (1 − t)
= tr. Donc
1−t
tx + (1 − t)y appartient à D.
P ROPOSITION 2.2 Soit C, un sous-ensemble convexe de E = Rn . Alors, int C et adh C sont
convexes. De plus, si int C 6= ∅, alors int(adh C) = int C et adh(int C) = adh C.
Preuve Soit x et y, deux éléments de int C. Comme y ∈ int C ⊂ adh C, la proposition (2.1)
implique que [x, y[⊂ int C. De plus y ∈ int C donc [x, y] ⊂ int C. Donc int C est convexe.
Soit x et y, deux éléments de adh C. Il existe donc deux suites (xn ) et (yn ) de C qui convergent
respectivement vers x et y. Pour tout t ∈ [0, 1], txn + (1 − t)yn appartient à C car C est convexe
et la suite (txn + (1 − t)yn ) converge vers tx + (1 − t)y. Donc tx + (1 − t)y appartient à adh C
ce qui montre que adh C est convexe.
Supposons maintenant que int C est non vide. Il est clair que int C ⊂ adh C. Donc, int C ⊂
int(adh C). Soit y ∈ int(adh C). Il existe donc r > 0 tel que B(y, r) ⊂ adh C. Comme int C
est non vide, nous pouvons choisir x ∈ int C. Il existe λ > 0 assez petit, z = y + λ(y − x)
appartient à B(y, r). La proposition (2.1) implique donc que [x, z[ est inclus dans int C. Or y =
1
λ
x+
z ∈ [x, z[. Donc, y appartient à int C ce qui montre que int C = int(adh C).
1+λ
1+λ
Comme int C ⊂ C, adh(int C) ⊂ adh C. Soit y ∈ adh C. Comme int C est non vide, nous
pouvons choisir x ∈ int C. D’après le théorème précédent, [x, y[ est inclus dans int C. De façon
évidente, y ∈ adh[x, y[⊂ adh(int C). Ceci montre que adh(int C) = adh C.
T HÉORÈME 2.3 Soit C, un sous-ensemble convexe de E = Rn . Alors, x ∈ int(C) si et seulement si pour tout u ∈ E, il existe ru > 0 tel que x + ru u appartient à C.
Preuve Si x ∈ int(C), il est évident que la propriété est satisfaite. Montrons maintenant l’implication inverse.
Soit (u1 , . . . , un ), une base de E. Posons, pour tout i = 1, . . . , n, vi = −ui . Par hypothèse, pour
tout i, il existe ri > 0 et ri0 > 0 tels que x + ri ui ∈ C et x + ri0 vi ∈ C. Soit r égal au minimum
des ri et des ri0 . Comme C est convexe, pour tout i, le segment [x − ri0 ui , x + ri ui ] est inclus dans
C et donc x, x + rui et x + rvi sont des vecteurs de C.
Soit maintenant ϕ l’isomorphisme linéaire de Rn dans E = Rn défini par :
ϕ(λ) =
n
X
λi ui
i=1
(
Soit Ω =
λ∈
Rn
|
n
X
)
|λi | < r . Ω est un ouvert de Rn et donc ϕ(Ω) est un ouvert de E = Rn .
i=1
Nous allons maintenant montrer que {x} + ϕ(Ω) est inclus dans C. Soit λ ∈ Ω. Soit I+ = {i ∈
15
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
{1, . . . , n} | λi ≥ 0} et I− = {i ∈ {1, . . . , n} | λi < 0}.
x + ϕ(λ) = x +
X
|λi |ui +
i∈I+
X
|λi |vi
i∈I−
n
X
X 1
X 1
1
=
r−
|λi | x +
|λi |(x + rui ) +
|λi |(x + rvi )
r
r
r
i=1
i∈I
i∈I
!
−
+
Donc, x + ϕ(λ) est une combinaison convexe d’éléments de C, donc il appartient à C. Comme
x ∈ {x} + ϕ(Ω) ⊂ int(C), ceci montre que x appartient à l’intérieur de C.
2.2
Autres propriétés des convexes
Nous donnons tout d’abord le lemme technique suivant qui ne concerne pas uniquement les sousensembles convexes.
L EMME 2.4 Soient E un espace vectoriel muni d’une norme et C1 et C2 deux sous-ensembles de
E. Alors :
B Si C1 ou bien C2 est ouvert, alors C1 + C2 est ouvert.
B Si C1 et C2 sont compacts, alors C1 + C2 est compact.
B Si C1 est fermé et C2 est compact, alors C1 + C2 est fermé.
Remarque 2.1
Si C1 et C2 sont deux sous-ensembles fermés sans que l’un des deux soit compact, alors nous n’avons en général pas que C1 +C2 est fermé comme le montre l’exemple suivant.
Prenons C1 := {(x, y) ∈ R2 | xy ≥ 1} et C2 := R × {0}. C1 et C2 sont bien fermés de R2 .
Toutefois C1 + C2 est ici égal à R × R∗ qui n’est pas un fermé.
P ROPOSITION 2.5
pact.
Soit K, un sous-ensemble compact de E = Rn . Alors, co(K) est un com-
Preuve Le théorème de Carathéodory implique que
co(K) =
(n+1
X
)
λi xi | (λi ) ∈ Sn+1 , (x1 , . . . , xn+1 ) ∈ K n+1
i=1
Donc co(K) est l’image du compact Sn+1 × K n+1 par l’application
(λ, x1 , . . . , xn+1 ) 7→
n+1
X
λi xi .
i=1
Cette application est continue et donc co(K) est compact.
Remarques 2.2
B Un polytope qui est l’enveloppe convexe d’un nombre fini de points est donc compact.
16
Convexité et optimisation
B Si A est un sous-ensemble ouvert de Rn alors co(A) est un ouvert également.
B En général, A est un fermé de Rn n’implique pas nécessairement que co(A) est un fermé,
comme le montre (le vérifier) l’exemple suivant :
1 [
1
2
A = (x, y) ∈ R | x > 0 et y ≥
(x, y) ∈ R | x < 0 et y ≥ −
.
x
x
2
Soit E = Rn et C, un cône de E. C est finiment généré s’il existe une famille
D ÉFINITION 2.1
finie (a1 , . . . , ap ) d’éléments de E telle que
C=
( p
X
i=1
)
p
λi ai λ = (λ1 , . . . , λp ) ∈ R+
En fait, grâce au théorème (1.7), un cône finiment généré est l’enveloppe conique
Remarque 2.3
d’une famille finie d’éléments de E = Rn .
P ROPOSITION 2.6
Soit C, un cône finiment généré de E = Rn , alors C est fermé.
Preuve Soit (a1 , . . . , ap ) une famille d’éléments de E telle que
C=
( p
X
i=1
)
p
λi ai λ ∈ R+
Soit P , l’ensemble des parties non vides I de {1, . . . , p} telles que la famille (ai )i∈I est libre.
D’après le théorème (1.8),
(
)
C=
[
X
I∈P
i∈I
λi ai | λ ∈ RI+
Comme P est fini, il suffit de montrer que pour tout I ∈ P , CI =
(
X
)
λi ai | λ ∈
RI+
est
i∈I
fermé. Soit ϕ, l’application de RI dans l’espace vectoriel Vect{ai , i ∈ I} définie par ϕ(λ) =
X
λi ai . Comme la famille (ai )i∈I est libre, ϕ est une bijection linéaire donc bicontinue de RI
i∈I
dans Vect{ai , i ∈ I}. CI est l’image par ϕ du fermé RI+ , donc CI est un fermé de Vect{ai , i ∈ I}.
Comme cet espace est un sous-espace vectoriel de dimension finie, il est fermé et donc CI est un
fermé de Rn .
2.3
Exercices
E XERCICE 13
définie par :
Soit {x1 , ..., xp } des éléments de Rn et soit f : Rp −→ Rn une application
(λ1 , ..., λp ) ∈ Rp 7−→ f (λ1 , ..., λp ) =
p
X
λi xi
i=1
(
1 - Soit S =
λ ∈ Rp |
p
X
i=1
)
λi = 1, λi ≥ 0, 1 ≤ i ≤ p . Montrer que f (S) = co{x1 , ..., xp }.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
17
2 - Montrer que f est continue.
3 - En déduire que l’ensemble co{x1 , ..., xp } est compact.
E XERCICE 14
1 - Soit A = (x, y) ∈
R2
1
. Montrer que A est fermé, mais que co(A) n’est
| x ≥ 1, 0 ≤ y ≤
x
pas fermé.
2 - Montrer que si A est un sous-ensemble fini de Rn alors co(A) est fermé.
3 - Montrer que si A est un sous-ensemble ouvert de Rn alors co(A) est ouvert.
4 - Montrer que si A est un sous-ensemble compact de Rn alors co(A) est compact.
E XERCICE 15
Soit C un sous-ensemble convexe de Rn telle que int C 6= ∅ et U un ouvert de
Rn . Montrer que si adh(C) ∩ U 6= ∅, alors, int C ∩ U 6= ∅.
E XERCICE 16
Soit A un sous-ensemble de Rn . Montrer que adh(co(A)) est le plus petit ensemble convexe fermé contenant A.
E XERCICE 17
Soit C un sous-ensemble convexe et fermé de Rn vérifiant :
Rn =
[
tC.
t>0
1 - Montrer que 0 ∈ C. En déduire que si t1 < t2 , alors t1 C ⊂ t2 C.
2 - Montrer que 0 est dans l’intérieur de C (on pourra commencer par démontrer qu’il existe un
réel t tel que e1 , . . . , en , −e1 , . . . , −en soient tous dans tC, où les ei sont les vecteurs de la base
canonique.
E XERCICE 18
C est dit strictement convexe si pour tout (x1 , x2 ) ∈ C × C, x1 6= x2 et pour
tout t ∈]0, 1[, tx1 + (1 − t)x2 ∈ int C.
1 - Donner un exemple d’un ensemble convexe mais qui n’est pas strictement convexe.
2 - Montrer que si C est strictement convexe, alors ou bien C est un singleton, ou bien, int C 6= ∅.
3 - Montrer que si C est strictement convexe, alors ∀x ∈ Fr C, C \ {x} est convexe.
4 - Montrer que si C est convexe mais n’est pas strictement convexe alors il existe (x1 , x2 ) ∈
C × C, x1 6= x2 tel que [x1 , x2 ] ⊂ Fr C.
Soit C un sous-ensemble convexe de Rn contenant 0. La fonction jauge de C,
E XERCICE 19
notée jC , est définie par :
jC (x) = inf{λ ∈ R+ | x ∈ λC}.
1 - Montrer que pour tout (x, y) ∈ Rn × Rn , jC (x + y) ≤ jC (x) + jC (y).
2 - Montrer que pour tout x ∈ Rn et pour tout t ≥ 0, jC (tx) = tjC (x).
18
Convexité et optimisation
3 - Montrer que pour tout x ∈ C, on a jC (x) ≤ 1.
4 - Montrer que si 0 ∈ int C alors jC (x) est finie pour tout x ∈ Rn .
5 - Montrer que jC est une fonction convexe.
Soit C un sous-ensemble convexe fermé de Rn et c un élément de C. Un vecteur
E XERCICE 20
u de Rn est appelé direction asymptotique de C en c si la demi-droite {c + tu | t ≥ 0} est incluse
dans C.
1 - Montrer que l’ensemble des directions asymptotiques de C en c est un cône convexe fermé.
2 - Soit c0 un autre élément de C. Montrer que l’ensemble des directions asymptotiques de C en
c0 est égal à l’ensemble des directions asymptotiques de C en c.
Cet ensemble est appelé le cône asymptotique de C et il est noté N∞
C.
∞
3 - Montrer que ∀z ∈ Rn , N∞
C+{z} = NC .
4 - Trouver N∞
C lorsque C est un cône convexe contenant l’origine.
5 - Montrer que C est borné, si et seulement si, N∞
C = {0}.
6 - Soit C1 et C2 deux sous-ensembles convexes fermés de Rn . On suppose que
∞
N∞
C1 ∩ − NC2 = {0}.
Montrer qu’alors C1 + C2 est fermé.
Soit K, un sous-ensemble convexe compact de Rn . On suppose que l’intérieur
E XERCICE 21
de K est non vide. Le but de l’exercice est de montrer que cet ensemble est homéomorphe à la
boule unité fermée.
1 - Soit a ∈ int K. Montrer que pour tout u ∈ Rn \ {0}, la demi-droite affine {a + tu | t ≥ 0}
rencontre la frontière de K en exactement un point.
2 - Soit S = {x ∈ Rn | kxk = 1}. On définit l’application g : FrK → S par
g(x) =
x−a
kx − ak
Montrer que g est injective et continue.
3 - Montrer que g est surjective à l’aide de la première question, et en déduire que g est un homéomorphisme de FrK sur S.
4 - Soit B = {x ∈ Rn | kxk ≤ 1}. On définit la fonction f de B dans K par :


f (0) = a
−1

f (y) = (1 − kyk)a + kykg
Montrer que f est continue.
y
kyk
si y 6= 0
19
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
5 - Soit x ∈ K\{a}. On pose y = g −1
x−a
. Montrer que x ∈ [a, y] et que f
kx − ak
x−a
ky − ak
=
x. En déduire que f est surjective.
6 - Montrer que f (y) = a implique y = 0.
7 - Soient y1 , y2 ∈ Rn tels que y1 6= y2 et 0 < ky1 k ≤ ky2 k ≤ 1. Montrer que f (y1 ) = f (y2 )
y2
y1
=
. En déduire que f est injective et conclure.
implique
ky1 k
ky2 k
20
Convexité et optimisation
Chapitre 3
Théorèmes de séparation
Dans ce chapitre l’espace vectoriel E = Rn est muni d’une structure d’espace de Hilbert. Un
espace de Hilbert est un espace vectoriel réel muni d’un produit scalaire, c’est-à-dire d’une forme
bilinéaire symétrique définie positive et qui est complet pour la norme issue de ce produit scalaire.
Nous notons hx, yi le produit scalaire de x et de y. La norme de x est définie par kxk =
p
hx, xi.
L’inégalité de Cauchy-Schwarz nous dit que pour tout (x, y) ∈ E × E, |hx, yi| ≤ kxkkyk. Il y a
égalité si et seulement si x et y sont colinéaires. L’égalité du parallélogramme est :
kx + yk2 + kx − yk2 = 2(kxk2 + kyk2 ).
Deux vecteurs x et y sont orthogonaux si et seulement si hx, yi = 0. Ceci est équivalent par le
théorème de Pythagore à kx + yk2 = kxk2 + kyk2 .
3.1
Projection sur un convexe fermé
T HÉORÈME 3.1 Soit C, un sous-ensemble convexe fermé non vide d’un espace de Hilbert E (=
Rn ).
1. Pour tout x ∈ E, il existe un unique élément de C appelé la projection de x sur C et noté
projC (x) vérifiant :
kx − projC (x)k = min{kx − ck, c ∈ C}
2. Soit x ∈ E. Alors c ∈ E est égal à la projection de x sur C si et seulement si c ∈ C et
hx − c, d − ci ≤ 0;
∀d ∈ C.
Preuve On commence par le point 1 et nous allons tout d’abord montrer l’unicité de projC (x).
Supposons qu’il existe deux points c1 et c2 de C tels que c1 6= c2 et kx − c1 k = kx − c2 k =
1
min{kx − ck, c ∈ C}. Posons c = (c1 + c2 ). Comme C est convexe, c appartient à C. Nous
2
allons montrer que kx − ck < kx − c1 k ce qui contredit kx − c1 k = min{kx − ck, c ∈ C}.
21
22
Convexité et optimisation
1
1
Nous remarquons que x − c = (x − c1 ) + (x − c2 ). L’égalité du parallélogramme implique
2
2
alors
2 2 ! 2
1
1
1
2
kx − ck = 2 (x − c1 ) + (x − c2 ) − (c2 − c1 )
2
2
2
Vu que kx − c1 k = kx − c2 k, on obtient
2
1
kx − ck = kx − c1 k − (c2 − c1 )
2
2
2
donc, kx − ck < kx − c1 k car c1 6= c2 .
Nous montrons maintenant l’existence de projC (x). Soit α = inf{kx − ck, c ∈ C}. Pour tout
1
n ∈ N, n 6= 0, il existe cn ∈ C tel que kx − cn k ≤ α + . Montrons que la suite (cn ) est de
n
Cauchy.
L’égalité du parallélogramme implique que pour tout (n, m),
kx − cn + x − cm k2 + kcm − cn k2 = 2(kx − cn k2 + kx − cm k2 )
1
= 2 x − (cn + cm ) , on obtient
2
Donc, en remarquant que x − cn + x − cm
2
2
2
kcm − cn k = 2 kx − cn k + kx − cm k
2
1
− 4 x − (cn + cm )
2
1
Vu les choix de cn et cm et le fait que (cn + cm ) appartient à C, on en déduit
2
2
kcm − cn k ≤ 2
1
α+
n
2
1
+ α+
m
2 !
4α 4α
1
1
− 4α =
+
+2
+
n
m
n2 m2
2
Si n et m sont plus grands que n0 , on en déduit que
s
kcn − cm k ≤
8α
4
+ 2
n0
n0
Il est clair que le deuxième membre de l’inégalité tend vers 0 lorsque n0 tend vers l’infini. Donc,
pour tout ε > 0, il existe n0 ∈ N tel que si n et m sont plus grands que n0 , alors kcn − cm k ≤ ε.
Donc la suite (cn ) est de Cauchy.
Comme C est fermé, la suite (cn ) converge vers un élément c̄ de C et kx − c̄k = α. Donc c̄ est la
projection de x sur C.
Pour le point 2, si c = projC (x) alors, pour tout d ∈ C, kx − ck2 ≤ kx − dk2 . En remarquant que
x − d = x − c + c − d, on obtient
kx − ck2 ≤ kx − ck2 + kc − dk2 + 2hx − c, c − di
Donc, 2hx − c, d − ci ≤ kc − dk2 . Comme C est convexe, pour tout t ∈]0, 1], d0 = (1 − t)c + td
appartient à C. Donc, en appliquant l’inégalité obtenue ci-dessus à d0 ,
2hx − c, d0 − ci = 2thx − c, d − ci ≤ kc − d0 k2 = t2 kc − dk2
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
23
En divisant par t et en faisant tendre t vers 0, on en déduit que hx − c, d − ci ≤ 0.
Montrons maintenant l’implication inverse. Soit c ∈ C tel que hx − c, d − ci ≤ 0 pour tout d ∈ C.
Alors, pour tout d ∈ C,
kx − dk2 = kx − c + c − dk2 = kx − ck2 + kc − dk2 + 2hx − c, c − di
Or kc − dk2 + 2hx − c, c − di est positif donc kx − dk2 ≥ kx − ck2 pour tout d ∈ C, donc c est
la projection de x sur C.
Remarques 3.1
B L’application p n’est en général pas linéaire. Il suffit de prendre dans R, C = [0, 1] pour le
vérifier.
B Dans le thèorème ci-dessus (et dans tout le chapitre) on travaille avec la norme euclidienne
qui résulte de la structure d’espace de Hilbert et du produit scalaire. Le résultat du théorème
est faux si on utilise une autre norme. Pour s’en convaincre, il suffit de prendre un exemple
avec R2 muni de la norme k.k∞ et la droite d’équation x = 0 qui est bien un convexe et
fermé. Pourtant le point (1, 0) admet une infinité de projetés sur cette droite (tous les points
(0, t) avec t ∈ [−1, 1])
B La figure (3.1) ci-dessous montre que si C n’est pas convexe alors l’unicité de p(x) n’est
pas assurée.
B Si C est un convexe non vide mais qui n’est pas fermé, alors l’existence de p(x) n’est pas
assurée. Pour cela prendre dans R, C = [0, 1[ et x = 2.
•
C
•
A
•
F IGURE 3.1 – Le point A a 2 projections sur C
P ROPOSITION 3.2
(=Rn ). Alors
Soit C, un sous-ensemble convexe fermé non vide d’un espace de Hilbert E
1. projC ◦ projC = projC ;
2. pour tout (x, y) ∈ E, k projC (x) − projC (y)k ≤ kx − yk.
3. ∀x, y ∈ Rn , hprojC (x) − projC (y), x − yi ≥ 0 ;
Preuve (1) est évident car la projection d’un élément de C sur C est égale lui-même.
Montrons maintenant (2). D’après le point 2 du théorème (3.1), comme projC (x) et projC (y) sont
des éléments de C, nous avons
24
Convexité et optimisation
hx − projC (x), projC (y) − projC (x)i ≤ 0
et
hy − projC (y), projC (x) − projC (y)i ≤ 0
En sommant ces inégalités, on obtient
hy − projC (y) − x + projC (x), projC (x) − projC (y)i ≤ 0
d’où on déduit en utilisant l’inégalité de Cauchy-Schwarz que
k projC (x) − projC (y)k2 ≤ hx − y, projC (x) − projC (y)i ≤ kx − ykk projC (x) − projC (y)k
Donc, k projC (x) − projC (y)k ≤ kx − yk. On a également au passage montré le point (3).
P ROPOSITION 3.3 Soit C, un cône convexe fermé de sommet 0 et soit x ∈ E. c ∈ C est la
projection de x sur C si et seulement si hx − c, ci = 0 et pour tout d ∈ C, hx − c, di ≤ 0.
Preuve Si c est la projection de x sur C, alors d’après le point 2 du théorème (3.1), pour tout
d ∈ C, hx − c, d − ci ≤ 0. En prenant d = 0, on obtient hx − c, −ci ≤ 0. En prenant d = 2c qui
appartient à C car C est un cône, on obtient hx − c, ci ≤ 0. Donc hx − c, ci = 0. On conclut alors
de la première inégalité que hx − c, di ≤ 0.
Maintenant, si c ∈ C vérifie les inégalités, alors en faisant la somme des deux, on déduit que
hx − c, d − ci ≤ 0 pour tout d ∈ C. D’après le théorème (3.1), c est la projection de x sur C.
P ROPOSITION 3.4 Soit M , un sous-espace vectoriel (fermé) de E = Rn et soit x ∈ E. c ∈
M est la projection de x sur M si et seulement si hx − c, di = 0 pour tout d ∈ M . De plus
l’application projM : E → E, x 7→ projM (x) est linéaire et vérifie k projM k = 1 si M 6= {0}.
projM est appelée la projection orthogonale sur M .
Preuve Il est clair que si c ∈ M vérifie hx − c, di = 0 pour tout d ∈ M , alors hx − c, ci = 0 et
donc, d’après la proposition précédente, comme un sous-espace vectoriel est un cas particulier de
cône, c est la projection de x sur M .
Réciproquement, si c est la projection de x sur M , alors d’après la proposition précédente, pour
tout d ∈ M , hx − c, di ≤ 0. Mais alors, −d appartient aussi à M et donc, hx − c, −di ≤ 0. On en
conclut donc que hx − c, di = 0.
Montrons maintenant que projM est linéaire. Soit x1 et x2 , deux éléments de E. Comme M est
un espace vectoriel, projM (x1 ) + projM (x2 ) appartient à M . De plus, pour tout d ∈ M ,
hx1 + x2 − (projM (x1 ) + projM (x2 )), di = hx1 − projM (x1 ), di + hx2 − projM (x2 ), di = 0
d’après la proposition précédente. De nouveau d’après cette proposition, ceci implique que :
projM (x1 ) + projM (x2 ) = projM (x1 + x2 ).
25
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
La preuve est identique pour montrer que projM (λx) = λ projM (x) pour tout λ ∈ R. Donc
projM est une application linéaire.
Si M 6= {0}, il existe x ∈ M , x 6= 0. projM (x) = x, donc k projM k ≥ 1. D’après la proposition
(3.2), k projM (x) − projM (0)k = k projM (x)k ≤ kxk. Donc k projM k ≤ 1. Finalement, on en
déduit que k projM k = 1.
3.2
Théorèmes de séparation
Les théorèmes de séparation correspondent à une version géométrique du théorème plus général
de Hahn-Banach. Ils seront obtenus dans le cadre d’un espace de Hilbert grâce aux propriétés de
la projection sur un sous-ensemble convexe et fermé, que nous venons d’étudier.
D ÉFINITION 3.1 Soient E un espace de Hilbert, A et B deux sous-ensemble de E.
B Soient p ∈ E \ {0} et α ∈ R. L’ensemble H := {x ∈ E | hp, xi = α} est appelé un hyperplan affine. Les sous-ensembles {x ∈ E | hp, xi ≤ α} et {x ∈ E | hp, xi ≥ α} sont appelés
des demi-espaces fermés. Les sous-ensembles {x ∈ E | hp, xi < α} et {x ∈ E | hp, xi > α}
sont appelés des demi-espaces ouverts.
B On dit qu’on peut séparer strictement les deux sous-ensembles A et B si on peut trouver un
hyperplan qui sépare strictement A et B, c’est à dire : ∃p ∈ E \ {0}, α ∈ R tel que :
sup hp, xi < α ≤ inf hp, xi
x∈B
x∈A
B On dit qu’on peut séparer au sens large les deux sous-ensembles A et B si on peut trouver
un hyperplan qui sépare A et B, c’est à dire : ∃p ∈ E \ {0}, α ∈ R tel que :
sup hp, xi ≤ α ≤ inf hp, xi
x∈B
x∈A
hp, xi = α
hp, xi = α
C1
C2
C2
Séparation stricte
C1
Séparation large
F IGURE 3.2 – Séparation entre deux convexes
T HÉORÈME 3.5 (séparation stricte d’un convexe et d’un point). Soit C un sous-ensemble convexe
fermé et non vide de E un espace de Hilbert et x0 ∈
/ C. Alors il existe p ∈ E \ {0} telle que :
hp, x0 i < inf hp, xi .
x∈C
26
Convexité et optimisation
Preuve On considère projC (x0 ) la projection de x0 sur le convexe fermé non vide C et on pose
p = projC (x0 ) − x0 . Comme x0 ∈
/ C, on a p 6= 0 et ∃ε > 0 tel que :
ε < kpk2 = hprojC (x0 ) − x0 , projC (x0 ) − x0 i
hp, xi = α
C
p
x0
•
projC (x0 )
•
F IGURE 3.3 – Séparation stricte entre un point et un convexe
et donc
hprojC (x0 ) − x0 , x0 i + ε < hprojC (x0 ) − x0 , projC (x0 )i ≤ hprojC (x0 ) − x0 , xi ,
∀x ∈ C
La dernière inégalité s’obtient grâce au théorème (3.1). On obtient donc :
hp, x0 i + ε ≤ inf hp, xi
x∈C
et donc le résultat recherché :
hp, x0 i < inf hp, xi .
x∈C
C OROLLAIRE 3.6 (Séparation stricte de deux convexes). Soient C1 et C2 deux sous-ensembles
convexes, fermés et non vides de E un espace de Hilbert. De plus C1 est supposé compact. On
suppose C1 ∩ C2 = ∅. Alors il existe p ∈ E \ {0} telle que :
sup hp, xi < inf hp, xi .
x∈C1
x∈C2
Preuve On remarque que d’après le lemme (2.4), C1 −C2 est un sous-ensemble convexe et fermé
de E. De plus 0 ∈
/ C1 − C2 car C1 ∩ C2 = ∅. Ainsi d’après le théorème (3.5) ci-dessus, il existe
p 6= 0 tel que :
0 = hp, 0i <
inf
hp, x − yi
x∈C1 , y∈C2
Ce qui implique :
sup hp, yi < inf hp, xi .
y∈C2
x∈C1
27
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
Remarque 3.2 L’hypothèse de compacité de l’un des deux sous-ensembles convexes C1 et C2 est
importante. Les deux sous-ensembles de R2 suivants sont convexes, fermés et disjoints et pourtant,
on ne peut les séparer strictement.
1
C1 = (x, y) ∈ R | x < 0, y ≥ −
x
2
C2 = R2+
T HÉORÈME 3.7 (Séparation large d’un point et d’un convexe). Soient C un sous-ensemble convexe
non vide de E un espace de Hilbert de dimension finie et x0 ∈
/ C. Alors, il existe p ∈ E \ {0} telle
que :
hp, x0 i ≥ sup hp, xi .
x∈C
Pour la démonstration que nous donnons de ce théorème, nous utilisons la caractérisation suivante
d’un ensemble compact.
L EMME 3.8 Soit E un espace vectoriel normé et K un sous-ensemble de E. Alors on a l’équivalence entre les deux assertions suivantes :
B K est compact ;
B Toute famille de fermés de K dont toute sous-famille finie est d’intersection non vide est elle
même d’intersection non vide.
Preuve du théorème (3.7) On considère le sous-ensemble K = S(0, 1) = {p ∈ E | kpk = 1}
qui est un compact car il est fermé et borné d’un espace vectoriel normé de dimension finie. Pour
tout x ∈ C on associe le sous-ensemble de K défini par
A(x) := {p ∈ K | hp, xi ≥ hp, x0 i} .
1
(x −
kx − x0 k
\
x0 ) ∈ A(x). Afin de conclure nous allons montrer que
A(x) =
6 ∅. Pour cela nous utiliOn remarque que pour tout x ∈ C, A(x) est un fermé de K qui est non vide car
x∈C
sons la propriété du lemme (3.8). Considérons x1 , . . . , xm un nombre fini déléments de C. On
a co{x1 , . . . , xm } ⊂ C car C est convexe et x0 ∈
/ co{x1 , . . . , xm } car x0 ∈
/ C. Comme de
plus co{x1 , . . . , xm } est un convexe fermé, on peut appliquer le théorème de séparation stricte et
obtenir qu’il existe p 6= 0 tel que :
hp, x0 i <
inf
x∈co{x1 ,...,xm }
hp, xi .
En particulier,
∀i ∈ {1, . . . , m},
et on a
m
\
1
p∈
A(xi ).
kpk
i=1
hp, x0 i ≤ hp, xi i
28
Convexité et optimisation
C OROLLAIRE 3.9 Soient E un espace de Hilbert de dimension finie, C un sous-ensemble de E
convexe et d’intérieur non vide et x0 ∈
/ int(C). Alors, il existe p ∈ E \ {0} telle que :
hp, x0 i ≥ sup hp, xi .
x∈C
T HÉORÈME 3.10 (Séparation large de deux convexes). Soient C1 et C2 deux sous-ensembles
convexes et non vides de E = Rn . On suppose C1 ∩ C2 = ∅. Alors il existe p ∈ Rn \ {0}
telle que :
sup hp, xi ≤ inf hp, xi .
x∈C1
x∈C2
Preuve On remarque que 0 ∈
/ C1 − C2 et on utilise le théorème (3.7).
3.3
Polarité et lemme de Farkas
D ÉFINITION 3.2 Soit E(= Rn ) un espace de Hilbert et A un sous-ensemble de E.
B On appelle le cône polaire négatif de A, noté A◦ l’ensemble :
A◦ = {y ∈ E | ∀x ∈ A, hy, xi ≤ 0} .
B On appelle l’orthogonal de A, noté A⊥ l’ensemble :
A⊥ = {y ∈ E | ∀x ∈ A, hy, xi = 0} .
P ROPOSITION 3.11 Soit E un espace de Hilbert et A un sous-ensemble de E. Alors :
B Le cône polaire négatif de A, A◦ est un cône convexe fermé.
B L’orthogonal de A, A⊥ est un sous-espace vectoriel fermé et A⊥ ⊂ A◦ .
B Si A est un sous-espace vectoriel de E alors A⊥ = A◦ .
B Si B est un sous-ensemble de E telle que A ⊂ B, alors, B ◦ ⊂ A◦ et B ⊥ ⊂ A⊥ .
Remarque 3.3 Si A = {0} alors A◦ = A⊥ = E et si A = E alors A◦ = A⊥ = {0}.
T HÉORÈME 3.12 (Théorème des bipolaires) Soit A un sous-ensemble non vide de l’espace euclidien Rn . Alors :
A◦◦ = adh(cone(A)) et A⊥⊥ = Vect(A).
Preuve (A◦ )◦ est un cône convexe fermé qui contient A. Donc, adh(cone A) ⊂ (A◦ )◦ . Montrons
maintenant l’inclusion inverse en raisonnant par l’absurde. Soit x0 ∈ (A◦ )◦ et x0 ∈
/ adh(cone A).
Alors, on peut séparer strictement le singleton {x0 } et le convexe fermé adh(cone A). Il existe
donc p 6= 0 telle que sup{hp, yi | y ∈ adh(cone A)} < hp, x0 i. Comme la forme linéaire y 7→
hp, yi est majorée sur le cône adh(cone A), on en déduit que sup{hp, yi | y ∈ adh(cone A)} =
0 < hp, x0 i. Comme A ⊂ adh(cone A)}, on en déduit que p ∈ A◦ . Alors, hp, x0 i > 0 contredit
x0 ∈ (A◦ )◦ ce qui termine la démonstration.
29
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
C OROLLAIRE 3.13 Soit A un sous-ensemble de l’espace euclidien Rn .
B Si A est un cône convexe fermé, alors A◦◦ = A.
B Si A est un sous-espace vectoriel, alors A⊥⊥ = A.
T HÉORÈME 3.14 (Lemme de Farkas)
E = Rn . Soit

A=
X

Soit (ai )i∈I et (bj )j∈J , deux familles finies d’éléments de
X
λi ai +
i∈I
µj bj | λ ∈ RI+ , µ ∈ RJ



j∈J
et
B = {p ∈ Rn | hp, ai i ≤ 0, ∀i ∈ I, hp, bj i = 0, ∀j ∈ J}
Alors, A◦ = B et B ◦ = A.
Preuve Il est clair que A◦ = B et que A ⊂ B ◦ . De plus, la première égalité et le théorème des
bipolaires nous donnent que B ◦ = adh(cone A). Pour avoir la deuxième égalité, il suffit donc
de montrer que A est un cône convexe fermé. Or A est le cône finiment généré par la famille
((ai )i∈I , (bj )j∈J , (−bj )j∈J ). Il est donc convexe et d’après la proposition (2.6), il est fermé.
C OROLLAIRE 3.15 Soient a1 , . . . , am et b des vecteurs de Rn . Alors
{x ∈ Rn | ∀i = 1, . . . , m, hai , xi ≤ 0} ⊂ {x ∈ Rn | hb, xi ≤ 0}
si et seulement si
b ∈ cone({a1 , . . . , am }).
Preuve Soit A =
(m
X
)
λi ai | λ ∈
Rm
+
et B = {x ∈ Rn | hai , xi ≤ 0, ∀i = 1, . . . , m}. Alors,
i=1
la condition du corollaire s’écrit : ∀x ∈ Rn vérifiant hai , xi ≤ 0, pour tout i = 1, . . . , m, alors
hb, xi ≤ 0, est équivalente à b ∈ B ◦ . D’après le lemme de Farkas, ceci implique b ∈ A.
3.4
Exercices
E XERCICE 22
Soit X l’espace vectoriel des polynômes réels de degré inférieur ou égal à 2
muni du produit scalaire h., .i défini par :
P ∈ X, Q ∈ X, hP, Qi =
Z 1
P (x)Q(x)dx
0
On considère le problème (P) défini par :
(P)



Z 1
Minimiser
a, b ∈ R
0
1 - Montrer que (P) admet une solution unique.
2 - Résoudre (P).
(3x2 − ax − b)2 dx
30
Convexité et optimisation
E XERCICE 23
Soit M un sous-espace vectoriel de Rn . A tout x ∈ Rn on associe l’unique
élément de M , noté P (x), tel que
kx − P (x)k = inf kx − yk
y∈M
1 - Soient x ∈ Rn , z ∈ M et t ∈ R. Démontrer les inégalités suivantes
kx − P (x)k2 ≤ kx − P (x) + tzk2
et
0 ≤ t2 kzk2 + 2t hx − P (x), zi
En déduire que hx − P (x), zi = 0 pour tout z ∈ M .
2 - Montrer que l’application P est linéaire et que kP (x)k ≤ kxk, ∀x ∈ Rn .
3 - Soient x ∈ Rn et h ∈ Rn . Montrer que :
kx + h − P (x + h)k2 − kx − P (x)k2 = 2 hx − P (x), hi + kh − P (h)k2
4 - Pour tout x ∈ Rn , on pose f (x) = inf kx − yk2 . Montrer que f est différentiable et convexe
y∈M
sur Rn .
E XERCICE 24
Soit K un cône convexe fermé non vide de Rn .
1 - Montrer que pour tout p ∈ Rn , sup {hp, xi , x ∈ K} = 0 ou +∞.
2 - Montrer que : PK (u) est la projection de u ∈ Rn sur K si et seulement si :
PK (u) ∈ K, hu − PK (u), PK (u)i = 0 et sup{hu − PK (u), xi , x ∈ K} = 0
3 - Montrer que si Pu est la projection de u ∈ Rn sur K alors ∀β ≥ 0, la projection de βu sur K
est égale à βPu .
Rn est muni du produit scalaire habituel et de la norme euclidienne. On consiE XERCICE 25
dère C un sous-ensemble fermé, convexe et non vide de Rn et x ∈ Rn .
1 - Montrer que pour tout c ∈ C, kx − ck2 ≥ k projC (x) − ck2 + kx − projC (x)k2 .
2 - soit a ∈ Rn et D = a + C = {a + c | c ∈ C}. Montrer que projD (x) = a + projC (x − a).
1
3 - Soit α ∈ R∗ . On pose E = αC = {αc | c ∈ C}. Montrer que projE (x) = α projC
x .
α
4 - On pose u = x − projC (x) et on considère t ∈ [−1, +∞[. Montrer que projC (x + tu) =
projC (x). Donner une interprétation géométrique de ce résultat.
E XERCICE 26
habituel de Rn .
Soit K un cône convexe fermé de Rn telle que K ∩ Rn+ = {0} et S le simplexe
1 - Montrer que K ∩ S = ∅.
31
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
2 - Montrer qu’il existe p ∈ Rn telle que hp, xi ≤ 0 pour tout x ∈ K et hp, yi > 0 pour tout
y ∈ S.
3 - Montrer que p ∈ (R∗+ )n et en déduire que K ◦ ∩ (R∗+ )n 6= ∅.
E XERCICE 27
Soit C un cône convexe fermé de Rn non réduit à {0}.
1 - Montrer que C est saillant si et seulement si int (C ◦ ) 6= ∅.
2 - On suppose que C est saillant et on choisit u un élément de l’intérieur de C ◦ . Montrer que pour
tout α ≤ 0, l’ensemble Cα = {c ∈ C | hu, ci = α} est compact. Montrer que si α < 0, alors
[
C=
λCα .
λ≥0
Soient a ∈ Rn et K un sous-ensemble convexe fermé non vide de Rn , tel que :
E XERCICE 28
∀x ∈ K, ha, xi ≥ 0. Pour tout t ∈]0, +∞[, on pose
C(t) = x ∈ K | ha, xi ≤ inf ha, zi + t
z∈K
1 - Montrer que pour tout t ∈]0, +∞[, C(t) est un ensemble convexe fermé non vide.
2 - Montrer que, pour tout t ∈]0, +∞[, il existe un élément et un seul dans C(t), noté x(t), telle
que kx(t)k = inf kxk.
x∈C(t)
3 - Montrer que la fonction ϕ :]0, +∞[→ R, t 7→ ϕ(t) = kx(t)k est convexe, décroissante et
continue.
E XERCICE 29
Dans R3 , on considère l’ensemble
C = {(x, y, z) ∈ R3 | 0 ≤ x; 0 ≤ y; z 2 ≤ xy}
et la droite D d’équations x = 0, z = 1. Montrer que C est un convexe fermé et que tout hyperplan
affine passant par D rencontre C.
E XERCICE 30
Soient A et B deux parties convexes et non vides de Rn vérifiant : A ∩ B = ∅,
A ∪ B = Rn et A est fermé. Montrer que A est un demi-espace.
E XERCICE 31
Soit x ∈ Rn \ {0}. Pour tout k ∈ N∗ on considère Bk la boule ouverte de centre
[
kx et de rayon kkxk. Montrer que
Bk est un demi-espace.
k∈N∗
E XERCICE 32 Soit K un cône non vide de Rn . On suppose qu’il existe p ∈ Rn \ {0}, α ∈ R tel
que K est inclus dans le demi-espace D = {x ∈ Rn | hp, xi < α}.
1 - Montrer que α ≥ 0.
2 - Montrer que K ⊂ {x ∈ Rn | hp, xi ≤ 0}
32
Convexité et optimisation
E XERCICE 33
1 - Expliciter A◦ dans le cas où A est un sous-espace vectoriel.
2 - Montrer que si A ⊂ B, alors B ◦ ⊂ A◦ .
3 - Déterminer les polaires négatifs des ensembles :
(
x ∈ Rn | xk ≥ 0 ∀k = 1, ..., n et
B A=
n
X
)
xk ≤ 1 ;
k=1
(
x∈
B B=
Rn
|
n
X
)
|xk | ≤ 1 ;
k=1
B C = x ∈ R2 | (x1 − 1)2 + x22 ≤ 1 ;
B D= x∈
E XERCICE 34
R2
| x1 ≤ 1 −
q
1+
x22
.
Soient K1 et K2 deux cônes convexes et fermés de Rn . Montrer que
(K1 ∩ K2 )◦ = adh(K1◦ + K2◦ ).
E XERCICE 35
Soit A et B deux sous-ensembles de Rn tels que 0 appartient à l’intérieur de
A − B. Montrer que l’ensemble A◦ + B ◦ est fermé.
E XERCICE 36
Soit C un sous-ensemble de Rn défini par k contraintes affines :
C=
k
\
{x ∈ Rn | hai , xi ≤ αi }
i=1
ou les (ai )ki=1 sont des vecteurs de Rn et les (αi )ki=1 sont des réels. Soit x ∈ C et soit
I := {i ∈ {1, . . . , k} | hai , xi = αi }
l’ensemble des contraintes saturées au point x. Montrer que x est un point extrémal de C (définition si besoin dans l’exercice 11) si et seulement si Vect{ai , i ∈ I} = Rn .
E XERCICE 37
On note C l’ensemble des matrices A = (aij )1≤i,j≤n de Mn (R) qui sont doublement stochastiques, c’est à dire qui vérifient les conditions :
1. ∀i, j ∈ {1, . . . , n}, aij ≥ 0 ;
2. ∀i ∈ {1, . . . , n},
3. ∀j ∈ {1, . . . , n},
n
X
j=1
n
X
aij = 1 ;
aij = 1.
i=1
1 - Montrer que C est convexe.
2 - Une matrice A = (aij )1≤i,j≤n est une matrice de permutation s’il existe une bijection (permutation) σ de {1, . . . , n} sur lui même tel que ∀i, j ∈ {1, . . . n}, aij = 1 si j = σ(i) et 0 sinon.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
33
Montrer que les matrices de permutation sont des points extrémaux de C (définition si besoin dans
l’exercice 11).
3 - Montrer que l’ensemble K des matrices de Mn (R) vérifiant les conditions (2) et (3) est un
sous-espace affine (c’est à dire le translaté d’un sous-espace vectoriel) de dimension (n − 1)2 .
4 - Montrer, en utilisant l’exercice (36) que si une matrice A = (aij )1≤i,j≤n est un point extrémal
de C, alors (n − 1)2 de ses coefficients sont nuls.
5 - En déduire qu’il existe (i, j) ∈ {1, . . . , n}2 tel que aij = 1.
6 - Montrer que les points extrémaux de K sont les matrices des permutations.
34
Convexité et optimisation
Chapitre 4
Fonctions convexes
Dans tout ce chapitre, on suppose que E = Rn est muni d’une norme k.k.
4.1
Définitions et propriétés
D ÉFINITION 4.1 Soit U ⊂ Rn un sous-ensemble convexe et f : U → R une fonction.
B On dit que f est convexe sur U si
∀a, b ∈ U, ∀t ∈ [0, 1],
f (ta + (1 − t)b) ≤ tf (a) + (1 − t)f (b).
B On dit que f est strictement convexe sur U si
∀a, b ∈ U avec a 6= b, ∀t ∈]0, 1[,
f (ta + (1 − t)b) < tf (a) + (1 − t)f (b).
B On dit que f est quasi-convexe si ∀α ∈ R, {x ∈ U | f (x) ≤ α} est convexe.
B On dit que f est concave (respectivement strictement concave, quasi-concave) si −f est
convexe (respectivement strictement convexe, quasi-convexe).
Remarques 4.1
B La définition de f convexe signifie que si l’on prend deux points sur la courbe de f , alors le
segment défini par ces deux points reste au dessus de la courbe de f .
B Une fonction affine f : Rn → R définie par f (x) = ha, xi + b (a ∈ Rn et b ∈ R) est
convexe et concave à la fois.
B l’application x 7→ kxk est convexe.
B Une fonction strictement convexe est convexe mais la réciproque n’est pas vraie en général
comme on peut le vérifier avec les fonctions affines.
B Une fonction convexe est quasi-convexe mais la réciproque n’est en général pas vraie. Il
suffit de considérer une fonction de R dans R croissante mais sans être convexe.
35
36
Convexité et optimisation
y
courbe de f
segment [A, B]
•B
•
tf (a) + (1 − t)f (b)
A•
•
f (x)
a
x
ta + (1 − t)b
b
F IGURE 4.1 – Courbe d’une fonction convexe
B On montre par récurrence que si f est convexe alors pour tout m ∈ N∗ :
∀x1 , . . . , xm ∈ U , ∀t1 , . . . , tm ≥ 0 telle que
m
X
ti = 1, on a
i=1
f
m
X
i=1
!
ti xi
≤
m
X
ti f (xi ).
i=1
D ÉFINITION 4.2 (Epigraphe d’une fonction). Soit U ⊂ Rn et f : U → R une fonction.
B On appelle le graphe de f , noté Gr(f ), le sous-ensemble des éléments (x, t) de U × R telle
que f (x) = t :
Gr(f ) = {(x, t) ∈ U × R | f (x) = t} .
B On appelle l’épigraphe de f , noté Epi(f ), le sous-ensemble des éléments (x, t) de U × R
telle que f (x) ≤ t :
Epi(f ) = {(x, t) ∈ U × R | f (x) ≤ t} .
P ROPOSITION 4.1 Soit U un sous-ensemble convexe de Rn et f : U → R une fonction. f est
convexe si et seulement si Epi(f ) est convexe.
P ROPOSITION 4.2
B Soit (fi )i∈I une famille de fonctions convexes définies sur un convexe U de Rn et telle
que ∀x ∈ U , sup fi (x) < +∞. Alors le supremum de la famille (fi )i∈I définie par x 7→
i∈I
sup fi (x) est convexe.
i∈I
B Soient f une fonction convexe et α ≥ 0. Alors αf est une fonction convexe.
B La somme de deux fonctions convexes est convexe.
B Soient U un sous-ensemble convexe de Rn , f : U → R une fonction convexe et ϕ : R → R
une fonction croissante et convexe. Alors ϕ ◦ f est convexe.
37
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
f (x)
x
F IGURE 4.2 – Illustration de l’épigraphe d’une fonction
Exemples 4.2
B Si f : U → R est convexe alors x ∈ U 7→ ef (x) est convexe.
B Si f est convexe et positive, alors f p est convexe (∀p ∈ N∗ ).
B Pour p ∈ N∗ , la fonction x 7→ kxkp est convexe.
B Si f est convexe et strictement positive, alors la fonction
4.2
1
est convexe.
f
Le cas des fonctions convexes différentiables
P ROPOSITION 4.3 Soient U un sous-ensemble ouvert de Rn et f : U → R une fonction différentiable. On considère C un sous-ensemble de U convexe. Alors les assertions suivantes sont
équivalentes :
1. f est convexe sur C ;
2. ∀x, y ∈ C, f (y) − f (x) ≥ h∇f (x), y − xi ;
3. ∀x, y ∈ C, h∇f (y) − ∇f (x), y − xi ≥ 0.
Preuve Montrons tout d’abord que (1) implique (2). Prenons x et y ∈ C. Pour tout t ∈ [0, 1],
On a :
ϕ(t) = f (x + t(y − x)) = f ((1 − t)x + ty) ≤ (1 − t)f (x) + tf (y)
et
f (x + t(y − x)) = f (x) + h∇f (x), t(y − x)i + tky − xkε(t(y − x))
avec lim ε(t(y − x)) = 0. On déduit que :
t→0+
t(f (y) − f (x)) ≥ h∇f (x), t(y − x)i + tky − xkε(t(y − x))
et en divisant par t et en faisant tendre t vers 0, on obtient bien le résultat recherché.
38
Convexité et optimisation
Montrons que (2) implique (3). Pour x et y ∈ C, on a les deux inégalités suivantes :
f (y) − f (x) ≥ h∇f (x), y − xi
f (x) − f (y) ≥ h∇f (y), x − yi
En additionnant ces deux inégalités, on obtient :
0 ≤ h∇f (y) − ∇f (x), y − xi .
Montrons que (3) implique (2). Raisonnons par l’absurde et supposons pour cela qu’il existe
x et y ∈ C tel que f (y) − f (x) < h∇f (x), y − xi. Nous allons appliquer le théorème des
accroissements finis à ϕ : [0, 1] → R définie par ϕ(t) = f (x + t(y − x)). Il existe donc t0 ∈]0, 1[
tel que :
f (y) − f (x) = ϕ(1) − ϕ(0) = ϕ0 (t0 ) = h∇f (x + t0 (y − x)), y − xi.
On obtient :
h∇f (x + t0 (y − x)), y − xi < h∇f (x), y − xi
En posant z = x + t0 (y − x) ∈ C et en remarquant que z − x = t0 (y − x), on a :
h∇f (z) − ∇f (x), z − xi < 0
Ce qui donne une contradiction avec la propriété (3).
Pour finir montrons que (2) implique (1). Pour tout x ∈ C, soit ϕx : C → R définie par
ϕx (y) = f (x) + h∇f (x), y − xi .
Les fonctions ϕx sont affines et donc convexes. On a donc, pour tout x, y ∈ C, f (y) ≥ ϕx (y) et
donc ∀y ∈ C, f (y) ≥ sup ϕx (y). Comme pour x = y on a ϕx (y) = f (y), on a :
x∈C
∀y ∈ C,
f (y) = sup ϕx (y)
x∈C
et f est donc convexe car elle est égale au sup (fini) d’une famille de fonctions convexes.
P ROPOSITION 4.4 Soient U un sous-ensemble de Rn ouvert et convexe et f : U → R une fonction
de classe C 2 . Alors :
B f est convexe si et seulement si ∀x ∈ U , Hf (x) est semi-définie positive.
B Si ∀x ∈ U , Hf (x) est définie positive, alors f est strictement convexe.
La réciproque du second point de la proposition ci-dessus n’est en général pas
Remarque 4.3
vraie. La fonction f : R2 → R définie par f (x, y) = x2 + y 2 est strictement convexe et pourtant
sa matrice Hessienne au point (0, 0) égale à la matrice nulle n’est pas définie positive.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
39
Preuve Tout d’abord supposons que f est convexe et soient a ∈ U et h ∈ Rn . Alors il existe
η > 0 tel que ∀t ∈ [0, η], a + th ∈ C et on a ∀t ∈ [0, η], f (a + th) ≥ f (a) + th∇f (a), hi et grâce
à la formule de Taylor à l’ordre 2, on a :
0 ≤ f (a + th) − f (a) − th∇f (a), hi =
t2
hh, Hf (a)hi + t2 khk2 ε(th)
2
avec lim ε(u) = 0. Ainsi :
u→0
hh, Hf (a)hi ≥ −2khk2 ε(th)
∀t ∈]0, η],
et en faisant tendre t vers 0, on obtient ∀h ∈ Rn , hh, Hf (a)hi ≥ 0 et la matrice Hessienne est
dont semi-définie positive en tout point a ∈ U .
Pour la réciproque, supposons que pour tout a ∈ U , Hf (a) est semi-définie positive. Soient x, y ∈
U . Pour tout t ∈ [0, 1] soit
g(t) = f (tx + (1 − t)y) − tf (x) − (1 − t)f (y).
La fonction g est deux fois dérivable et :
g 0 (t) = h∇f (y + t(x − y)), x − yi − f (x) + f (y)
g 00 (t) = hx − y, Hf (y + t(x − y))(x − y)i ≥ 0
Ainsi g 0 est croissante sur [0, 1]. Pour t ∈]0, 1[ fixé, Appliquons maintenant le théorème des accroissements finis sur [0, t] et [t, 1]. Il existe donc θ ∈]0, t[ et θ0 ∈]t, 1[ tel que :
g(t) = g(0) + g 0 (θ)t = g 0 (θ)t
−g(t) = g(1) − g(t) = g 0 (θ0 )(1 − t)
Comme θ < t < θ0 , on a :
g 0 (θ) =
Il en découle que g(t)
1
1
+
t
1−t
g(t)
g(t)
≤−
= g 0 (θ0 )
t
1−t
≤ 0 et donc g(t) ≤ 0, ce qui termine la preuve de cette
deuxième implication.
Pour la preuve du deuxième point, il suffit d’adapter l’argument ci-dessus.
4.3
Exercices
E XERCICE 38
1 - Montrer que les assertions suivantes sont équivalentes :
B f est une fonction convexe de Rn dans R ;
40
Convexité et optimisation
B ∀(xi ), i = 1, ..., m, xi ∈ Rn , ∀(λi ) ∈ [0, 1]m tel que
m
X
λi = 1 on a :
i=1
m
X
f
!
λ i xi
≤
i=1
m
X
λi f (xi )
i=1
B Epi(f ) est un sous-ensemble convexe de Rn+1 .
n
2 - Soit n ∈ N∗ . Montrer que ∀(x1 , . . . , xn ) ∈ (R+
∗) ,
1
(x1 ...xn ) n ≤
x1 + ... + xn
n
3 - Soient f et g : Rn → R deux fonctions convexes. En supposant que α, β > 0, montrer que
αf + βg est une fonction convexe.
4 - On considère p fonctions convexes, fi : Rn → R, i = 1, . . . , p. Montrer que la fonction
f = max fi est convexe.
i=1,...,p
5 - Soit U un sous-ensemble convexe de Rn .
a - Soit f : U −→ R une fonction convexe et soit ϕ : f (U ) −→ R une fonction convexe
croissante. Montrer que ϕ ◦ f est convexe sur U .
b - Soit f une fonction convexe définie sur Rn à valeurs dans R. Pour tout x ∈ Rn , on pose
g(x) = [max{0, f (x)}]2 , montrer que la fonction g ainsi définie est convexe.
E XERCICE 39
Soit f : Rn −→ R une fonction concave et U = {x ∈ Rn | f (x) > 0}.
1 - Montrer que U est un ouvert convexe.
2 - On suppose U non vide, Montrer que la fonction
1
est convexe sur U .
f
E XERCICE 40
Montrer que les fonctions f et g définies sur R2 par f (x, y) = x4 + y 4 et
g(x, y) = (x − y)2 sont convexes, mais que h = f − g n’est ni convexe ni concave sur R2 .
E XERCICE 41
On considère la fonction définie par
f (x, y) =
1 − xy
.
x+y
1 - Quel est le domaine de définition de f . Est-il ouvert ? fermé ? borné ? convexe ?
2 - Etudier la convexité de f sur D1 = (x, y) ∈ R2 | x + y > 0 et D2 = (x, y) ∈ R2 | x + y < 0 .
1 − xy √
3 - Etudier la convexité de g(x, y) =
− x + y sur son domaine de définition.
x+y
√
E XERCICE 42
x+y
Montrer que ∀x, y ∈]1, +∞[, ln
2
E XERCICE 43
Montrer que la fonction f : x 7→ max{|x + a|, |x + b|}, a, b ∈ R est convexe.
≥
ln x ln y.
41
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
E XERCICE 44
Soient U un sous-ensemble convexe de Rn et f : U → R une fonction.
1 - On suppose que f est convexe. Soit S :=
convexe.
u ∈ U | f (u) = inf f (x) . Montrer que S est
x∈U
2 - On suppose que f est strictement convexe. Montrer que S a au plus un élément.
E XERCICE 45
1 - Soit A un sous-ensemble fermé non vide de Rn . Montrer que A est convexe si et seulement si
la fonction x 7→ dA (x) = inf{kx − ak, a ∈ A} est convexe.
2 - Montrer sur un exemple que le résultat précédent n’est pas vrai si on ne suppose pas que A est
fermé.
E XERCICE 46
que
Soit f : Rn → R une fonction convexe et A un sous-ensemble de Rn . Montrer
sup f (x) = sup f (x).
x∈A
x∈co(A)
E XERCICE 47
Soit f une application convexe de Rn dans R. On suppose que l’épigraphe de f ,
Epi(f ) est fermé et qu’il existe a ∈ R tel que l’ensemble {x ∈ Rn | f (x) ≤ a} est non vide et
borné. Montrer que pour tout α ∈ R, l’ensemble {x ∈ Rn | f (x) ≤ α} est borné.
Indication : on pourra raisonner par l’absurde et montrer que si l’ensemble Cα = {x ∈ Rn |
f (x) ≤ α} est non borné, alors il existe x0 ∈ Cα et u ∈ Rn \ {0} tels que x0 + tu ∈ Cα pour tout
t ≥ 0. On déduira de ce résultat préliminaire que Ca est non borné.
E XERCICE 48
Soit
h : (x, y, z) ∈ R3 7→ h(x, y, z) = 3x2 + 2y 2 + z 2 + axy + 2yz + 2xz
Pour quelles valeurs du paramétre a, la fonction h est elle convexe ?
E XERCICE 49
Soient C un sous-ensemble ouvert et convexe de Rn et f : C → R une fonction.
Montrer que f est convexe si et seulement si :
∀x ∈ C, ∃p ∈ Rn telle que ∀y ∈ C, f (y) ≥ f (x) + hp, y − xi .
Soient f une fonction convexe de Rn dans R et x0 ∈ Rn . On appelle le sousE XERCICE 50
différentiel de f en x0 , l’ensemble des éléments p de Rn telle que :
f (x) − f (x0 ) ≥ hp, x − x0 i , ∀x ∈ Rn .
Montrer que si f est continue en x0 , alors le sous-différentiel de f en x0 est non vide. On pourra
considérer le point (x0 , f (x0 )) et l’intérieur de l’épigraphe de f .
42
Convexité et optimisation
E XERCICE 51
Soit f : Rn → R une fonction Soit a, h ∈ Rn , on rappelle que par définition,
f possède une dérivée directionnelle à droite au point a dans la direction h, si la limite suivante
existe dans R :
f (a + th) − f (a)
D+ f (a, h) := lim
.
t→0, t>0
t
1 - Soit f : Rn → R une fonction convexe, a, h ∈ Rn et g : R∗+ → R la fonction définie par
f (a + th) − f (a)
g(t) =
.
t
a - Montrer que g(t) ≥ f (a) − f (a − h), ∀t > 0.
b - Montrer que g est croissante.
c - En déduire que D+ f (a, h) existe et vérifie la condition (c) : D+ f (a, h) ≤ f (a + h) − f (a).
2 - Soit f : Rn → R une fonction différentiable, vérifiant la condition (c).
a - Montrer que ∇f (x) · (y − x) ≤ f (y) − f (x), ∀x, y ∈ Rn .
b - En déduire que f est convexe.
3 - Application.
Soit l’application f : R2 → R définie par :
f (x, y) =


0
y3

 2
y + |x|
si (x, y) = (0, 0)
sinon.
a - Montrer que f n’est pas différentiable en (0, 0).
b - Montrer que f admet une dérivée directionnelle à droite au point (0, 0) dans toute direction
h = (h1 , h2 ).
c - Montrer que f n’est pas convexe.
E XERCICE 52
Soient U un ouvert convexe de Rn et f : U → R une fonction.
1 - Montrer que f est convexe si et seulement si ∀a ∈ U , ∀h ∈ Rn , f admet une dérivée directionnelle à droite au point a dans la direction h, D+ f (a, h) et ∀(a, h) ∈ U × Rn tel que a + h et
a − h appartiennent à U on a :
f (a) − f (a − h) ≤ D+ f (a, h) ≤ f (a + h) − f (a).
2 - Soit f : U → R une fonction convexe. Montrer que f admet un minimum global sur U en
a ∈ U si et seulement si D+ f (a, h) ≥ 0 ∀h ∈ E.
Chapitre 5
Optimisation : généralités
Après les chapitres précédents traitant le cadre de l’analyse convexe, nous allons maintenant énoncer les premiers résultats en optimisation : théorèmes d’existence, conditions d’optimalité et conditions nécessaires et suffisantes dans le cas d’un problème d’optimisation sans contraintes.
Un problème d’optimisation peut en général s’écrire :
(
min f (x)
x∈U
Ou f est une fonction définie sur U un sous-ensemble de Rn . Maximiser une fonction f revient à
minimiser son opposée −f . Ainsi nous nous limiterons aux résultats qui concernent le problème
de minimisation.
5.1
Définitions
D ÉFINITION 5.1 Soit f une fonction de U un sous-ensemble de Rn dans R.
B x∗ ∈ U est un maximum de f sur U si f (x∗ ) ≥ f (x) pour tout x ∈ U .
B x∗ ∈ U est un minimum de f sur U si f (x∗ ) ≤ f (x) pour tout x ∈ U .
B x∗ ∈ U est un minimum local de f sur U si il existe r > 0 telle que f (x∗ ) ≤ f (x) pour tout
x ∈ U ∩ B(x∗ , r).
B x∗ ∈ U est un maximum local de f sur U si il existe r > 0 telle que f (x∗ ) ≥ f (x) pour
tout x ∈ U ∩ B(x∗ , r).
On rappelle que toute partie non vide A de R admet une borne inférieure notée
Remarque 5.1
inf A qui est par définition égale à son minorant maximal dans R ∪ {−∞}, c’est à dire :
a ≥ inf A,
∀a ∈ A
et
∀β > inf A, il existe a ∈ A tel que a ≤ β.
43
44
Convexité et optimisation
•
min local
•
min global
F IGURE 5.1 – Exempe : minimum local / minimum global
Si A n’est pas minoré inf A = −∞.
Si U est un ensemble non vide et f une fonction définie sur U à valeurs dans R et minorée, alors
la valeur α = inf f (x) est un nombre réel caractérisé par :
x∈U
∀x ∈ U, f (x) ≥ α et ∀ε > 0, ∃xε tel que f (xε ) ≤ α + ε.
Ainsi en considérant une suite (εn )n∈N de réels strictement positifs qui converge vers 0, nous
obtenons l’existence d’une suite (xn )n∈N à valeurs dans U tel que :
f (xn ) ≤ inf f (x) + εn .
x∈U
Comme pour tout n ∈ N, on a également f (xn ) ≥ inf f (x), on a :
x∈U
lim f (xn ) = inf f (x).
n→+∞
x∈U
Toute suite (xn )n∈N à valeurs dans U et qui converge vers inf f (x) est appelé suite minimisante
x∈U
de f sur U .
Si f n’est pas minorée sur U , alors α = inf f (x) = −∞ et une suite minimisante est simplement
x∈U
une suite (xn )n∈N vérifiant :
lim f (xn ) = inf f (x) = −∞.
n→+∞
5.2
x∈U
Existence
Nous rappelons deux résultats fondametaux.
T HÉORÈME 5.1 Soit K un compact non vide de Rn et f : K → R une fonction continue. Alors
le problème
(
min f (x)
x∈K
admet une solution.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
45
Preuve On considère une suite minimisante (xn )n∈N . Cette suite est à valeurs dans K et vérifie :
lim f (xn ) = inf f (x).
n→+∞
x∈K
Comme K est compact, on peut, quitte à extraire une sous-suite que nous continuerons à noter
(xn )n∈N , supposer que (xn )n∈N est convergente vers un élément x∗ ∈ K. Comme f est continue
(f (xn ))n∈N converge vers f (x∗ ) et on a alors :
f (x∗ ) = inf f (x).
x∈U
T HÉORÈME 5.2 Soit f : Rn → R une fonction continue. On suppose que f est cœrcive, c’est à
dire :
∀α > 0, ∃R > 0, [kxk ≥ R] ⇒ [f (x) ≥ α] .
Alors f est minorée et le problème
(
min f (x)
x ∈ Rn
admet une solution.
Preuve On considère K := {x ∈ Rn | f (x) ≤ f (0)}. On observe que K est non vide et fermé.
Il également borné car d’après l’hypothèse, il existe R > 0 tel que [kxk ≥ R] implique [f (x) ≥
α + 1] et donc K ⊂ B(0, R). K est donc un compact et d’après le théorème précédent, ∃x∗ ∈ K
tel que ∀x ∈ K, f (x) ≥ f (x∗ ). Mais cette inégalité reste vraie si x ∈
/ K car dans ce cas f (x) >
∗
f (0) ≥ f (x ) (car 0 ∈ K).
5.3
Le cas de l’optimisation sans contraintes
D ÉFINITION 5.2 Soit f différentiable sur U ouvert de Rn à valeurs dans R.
B Un point x ∈ U tel que ∇f (x) = 0 est appelé un point critique de f sur U .
B Un point x̄ ∈ U tel que ∇f (x) = 0 et Hf (x) n’est ni semi-définie positive, ni semi-définie
négative, est appelé un point selle de f sur U .
On dit que le problème d’optimisation
(
min f (x)
x∈U
est sans contrainte si le sous-ensemble U de Rn est un ouvert. Nous avons alors les conditions
nécessaires et suffisantes d’optimalité qui suivent.
P ROPOSITION 5.3 (Conditions nécessaires). Soit f différentiable sur U ouvert de Rn à valeurs
dans R.
46
Convexité et optimisation
point selle
F IGURE 5.2 – Le point (0, 0) est un point selle de f (x, y) = x2 − y 2
B Si x∗ est un minimum local de f sur U , alors x∗ est un point critique, c’est à dire ∇f (x∗ ) =
0.
B Supposons de plus que f est de classe C 2 sur U . Alors si x∗ est un minimum local de f sur
U , alors Hf (x∗ ) est semi-définie positive.
Remarque 5.2
B Pour rappel, les conditions nécessaires énoncées ci-dessus ne sont pas suffisantes comme le
montre l’exemple de la fonction f : R → R définie par f (x) = x3 en x∗ = 0.
B La proposition ci-dessus montre que si l’on recherche un minimum d’une fonction f : U →
R différentiable, alors il convient de s’intéresser à ses points critiques qui sont solution
de l’équation ∇f (x) = 0. Parmi ces points critiques, seuls ceux pour lesquels la matrice
Hessienne est semi-définie positive restent candidats pour être un éventuel minimum local.
B Pour la résolution numérique, il peut être utile de savoir, si on dispose d’un point a ∈ U
tel que ∇f (a) 6= 0, comment on peut construire un point du type a + d tel que, d’une part
a + d ∈ U (on dit que la direction d est admissible) et d’autre part f (a + d) < f (a) (la
direction d est alors dite direction de descente). La construction d’un tel vecteur d est l’objet
de la proposition (5.6). On peut vérifier que d = −t∇f (a) convient si t est assez petit.
P ROPOSITION 5.4 (Condition suffisante). Soit f de classe C 2 sur U ouvert de Rn à valeurs dans
R. Soit x∗ ∈ U telle que ∇f (x∗ ) = 0 et la matrice hessienne Hf (x∗ ) est définie positive, alors x∗
est un minimum local de f sur U .
Exemple 5.3 La condition suffisante ci-dessus n’est pas nécessaire. En effet l’application f :
R2 → R définie par f (x, y) = x4 + y 2 (x + 1)3 admet un point critique en (0, 0) et on vérifie que Hf (0, 0) est semi-définie positive sans être définie positive. On vérifie pourtant que (0, 0)
est bien un minimum local en (0, 0).
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
47
Dans le cas des problèmes d’optimisation sans contraintes, les conditions suffisantes peuvent être
améliorées.
P ROPOSITION 5.5 Soit f une fonction convexe et différentiable sur un ouvert U convexe de Rn , à
valeurs dans R. Soit x∗ ∈ U . x∗ est un minimum de f sur U si et seulement si ∇f (x∗ ) = 0.
Exemple 5.4
On considère la norme euclidienne sur Rn et u ∈ Rn est fixé. On cherche le
minimum de f (x) = kxk + hu, xi sur l’ouvert U = {x ∈ Rn | x1 > 0}. On remarque que U est
convexe et que f est aussi convexe car c’est la somme d’une fonction convexe (la norme) et d’une
1
x + u.
fonction linéaire donc convexe. Sur U , f est continûment différentiable et ∇f (x) =
kxk
Donc d’après la proposition ci-dessus, f admet un minimum en x∗ sur U si et seulement si
∇f (x∗ ) = 0. Cette équation admet des solutions si et seulement si le vecteur u vérifie kuk = 1
et u1 < 0. Dans ce cas, on a une infinité de minimum qui sont les éléments de l’ensemble
{−tu | t > 0}.
P ROPOSITION 5.6 Soient U un ouvert de Rn , f : U → R une fonction différentiable et a ∈ U tel
que ∇f (a) 6= 0. Alors ∀d ∈ Rn tel que hd, ∇f (a)i < 0, ∃ν > 0 tel que ∀t ∈]0, ν[, a + td ∈ U et
f (a + td) < f (a).
Preuve Supposons que ∇f (a) 6= 0 et soit d ∈ Rn tel que hd, ∇f (a)i < 0. Alors il existe η > 0
tel que ∀t ∈] − η, η[, a + td ∈ U et on a :
f (a + td) = f (a) + h∇f (a), tdi + ktdkε(td)
avec lim ε(u) = 0. On obtient si t ∈]0, η[ :
u→0
f (a + td) − f (a) = t (h∇f (a), di + kdkε(td))
Comme hd, ∇f (a)i < 0 et que ε(td) tend vers 0 lorsque t tend vers 0, il existe 0 < ν ≤ η tel que
∀t ∈]0, ν[, :
h∇f (a), di + kdkε(td) < 0
et donc f (a + td) < f (a), pour tout t ∈]0, ν[.
5.4
Exercices
E XERCICE 53
Soit f : R2 → R la fonction définie par f (x, y) = x4 + y 4 − (x − y)2 .
1 - Déterminer les extrema locaux de f .
2 - Montrer que f admet un minimum global sur R2 . Indication : on pourra utiliser un théorème
d’existence du cours.
E XERCICE 54
Déterminer les extrema locaux des fonctions suivantes sur R2 :
48
Convexité et optimisation
B f1 (x, y) = x3 + 3xy 2 − 15x − 12y ;
B f2 (x, y) = 3x3 + xy 2 − xy ;
1
B f3 (x, y) = x4 + y 3 − 4y − 2 ;
3
B f4 (x, y) = x3 + xy 2 − x2 y − y 3 .
Pour chaque fonction, montrer que les extrema locaux ne sont pas globaux.
E XERCICE 55
finition :
Déterminer les extrema locaux des fonctions suivantes sur leur domaine de dé-
y2
z2 2
+
+ ;
4x
y
z
3
3
B g(x, y, z) = 8x + y − 12xyz + 10z 3 − 6z.
B f (x, y, z) = x +
E XERCICE 56
Optimiser les fonctions suivantes sur leur domaine de définition :
B f (x, y, z) = x4 + 2y 2 + 3z 2 − yz − 23y + 4x − 5 ;
n
X
1
;
B g(x1 , . . . , xn ) =
xi ln
xi
i=1
B h(x1 , . . . , xn ) =
n
Y
xxi i .
i=1
E XERCICE 57
Soit n ∈ N, n ≥ 2. On considère n points (xi , yi ) de R2 , pour i = 1, . . . , n non
tous égaux, et la fonction f : R2 → R définie par :
f (a, b) =
n
X
(yi − axi − b)2 .
i=1
1 - Montrer que f admet un unique point critique.
2 - Montrer que f admet un minimum global sur R2 . Interpréter le résultat.
E XERCICE 58
(régression parabolique). Soit n ∈ N, n ≥ 2. On considère un nuage de n points
2
(xi , yi ) de R , i = 1, . . . , n, non tous égaux. On souhaite approcher ce nuage par une parabole
d’équation y(x) = ax2 + bx + c où a, b et c sont des réels à déterminer.
1 - Exprimer le problème ci-dessus à l’aide d’un problème de minimisation au sens des moindres
carrés.
2 - Ce problème admet-il une solution ? justifier ? est-elle unique ?
3 - Ecrire le système permettant de trouver le minimum. On pourra si nécessaire considérer les
quantités Sk :=
n
X
xki .
i=1
E XERCICE 59
Soit f : Rn −→ R une application différentiable. Montrer que :
∀v ∈ S(0, 1),
1
∇f (x̄) ≥ h∇f (x̄), vi
k∇f (x̄)k
∇f (x̄),
Ceci exprime le fait que le vecteur gradient donne la direction de la plus grande pente de f en x̄.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
49
E XERCICE 60
Soit A une matrice symétrique d’ordre n, b ∈ Rn et c ∈ R. On considère la
fonction quadratique :
∀x ∈ Rn ,
f (x) =
1
hx, Axi + hb, xi + c
2
1 - A quelle condition sur A, b et c, la fonction f est-elle-convexe.
2 - Application : n = 3. Quel point réalise le minimum de f si A est la matrice identité, b =
(1, 1, 1) et c = 5.
E XERCICE 61
Soit f : Rn → R une fonction continue et bornée inférieurement sur Rn . Soit
ε > 0 et uε ∈ Rn vérifiant :
f (uε ) ≤ infn f (x) + ε.
x∈R
1 - Justifier l’existence de uε .
2 - Soit α > 0, on considère g : Rn → R la fonction définie par :
g(x) = f (x) +
ε
kx − uε k.
α
Montrer que g admet un minimum v sur Rn .
3 - Montrer que v vérifie les propriétés suivantes :
1. f (v) ≤ f (uε ) ;
2. kv − uε k ≤ α ;
3. Pour tout x ∈ Rn , f (v) ≤ f (x) +
ε
kx − vk.
α
E XERCICE 62
Soit f : Rn −→ R une fonction convexe. On définit le sous-différentiel de f en
un point x ∈ Rn par :
∂f (x) := {p ∈ Rn : ∀y ∈ Rn , f (y) ≥ f (x) + hp, y − xi}
1 - Montrer que le sous-différentiel d’une fonction convexe est un ensemble convexe fermé.
2 - Montrer que x est le minimum de f si et seulement si 0 ∈ ∂f (x).
Pour x ∈ Rn , on pose g(x) = exp kxk, où k.k est la norme euclidienne.
3 - Montrer que g est une fonction convexe.
4 - Quel est le sous-différentiel de g en 0 ?
5 - Montrer que x = 0 est un minimum de g.
6 - Montrer que x = 0 est l’unique minimum de g.
E XERCICE 63
Rn est muni de la norme euclidienne. Soit f : Rn → R une application de classe
C1 telle que ∃α > 0
(T )
∀(x, y) ∈ Rn × Rn ,
f (y) − f (x) − h∇f (x), y − xi ≥ αky − xk2 .
50
Convexité et optimisation
1 - En choisissant x = 0 dans la condition (T ), montrer que f atteint son minimum en un unique
x∗ ∈ Rn .
2 - Montrer que x∗ est l’unique solution de l’équation ∇f (x) = 0
3 - Montrer en utilisant la condition (T ) que
h∇f (y) − ∇f (x), y − xi ≥ 2α ky − xk2 .
∀(x, y) ∈ Rn × Rn ,
En déduire que f est convexe.
On suppose dans la suite que f vérifie de plus la condition : ∃β > 2α telle que
(S)
∀(x, y) ∈ Rn × Rn ,
k∇f (x) − ∇f (y)k ≤ βkx − yk
et on considère t > 0 un paramètre et la suite récurrente (xk )k∈N définie par x0 ∈ Rn et ∀k ∈ N,
xk+1 = xk − t∇f (xk ).
4 - Soit k ∈ N. Que se passe-t-il si ∇f (xk ) = 0 ? Si ∇f (xk ) 6= 0, prouver que f (xk+1 ) < f (xk )
si t est assez petit (à préciser).
5 - Montrer que ∀k ∈ N, kxk+1 − x∗ k2 ≤ β 2 t2 − 2αt + 1 kxk − x∗ k2 .
6 - Montrer que pour tout t ∈ 0,
2α
, la suite (xk )k∈N converge vers x∗ .
β2
E XERCICE 64
On considèrere f : Rn → R une fonction de classe C1 et cœrcive. Elle admet
donc (théorème 5.2) un minimum et le but de l’exercice est de proposer un algorithme pour trouver
un point critique de f .
1 - Soit a ∈ Rn vérifiant ∇f (a) 6= 0.
a) Montrer que ∃ε > 0 telle que ∀t ∈]0, ε[, f (a − t∇f (a)) < f (a).
b) On considère la fonction ϕ : R+ → R définie par ϕ(t) = f (a − t∇f (a)). Montrer qu’il existe
t∗ > 0 telle que ∀t ≥ 0, ϕ(t∗ ) ≤ ϕ(t).
c) On note ψ(a) = a − t∗ ∇f (a). Déduire de la question b) que h∇f (a), ∇f (ψ(a))i = 0.
2 - On considère l’algorithme suivant :
B On choisit x0 arbitraire dans Rn ;
B Ayant construit x0 , . . . , xk
· Si ∇f (xk ) = 0 alors (xk est un point critique) l’algorithme s’arrête.
· Si ∇f (xk ) 6= 0 alors (en utilisant la question (3)) on choisit xk+1 = ψ (xk ).
On s’intéresse uniquement au cas où cet algorithme ne s’arrête jamais.
a) Montrer que la suite (f (xk ))n∈N est décroissante.
b) Montrer que la suite (xk )k∈N est bornée.
c) Montrer que si x̄ est une valeur d’adhérence de la suite (xk )k∈N , alors ∇f (x̄) = 0.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
51
E XERCICE 65
Dans cet exercice, Rn est muni du produit scalaire canonique h., .i et de la norme
euclidienne k.k.
1 - Soit g une fonction convexe de Rn dans R et soit g + : Rn → R la fonction définie par
g + (x) = max{g(x), 0}.
a - Montrer que g + est convexe et que (g + )2 est également convexe.
b - Montrer que si g est différentiable alors (g + )2 est différentiable et calculer sa différentielle en
fonction de celle de g.
2 - Pour i = 1, . . . , m, on considère la fonction gi : Rn → R définie par gi (y) = hai , yi − αi où
ai ∈ Rn et αi ∈ R sont donnés. On considère
K = {y ∈ Rn | gi (y) ≤ 0, pour i = 1, . . . , m}
et on suppose que K 6= ∅. Soient B ∈ Mn (R) une matrice symétrique, définie positive et b ∈ Rn .
Montrer que le problème suivant admet une solution unique, x∗ ∈ Rn :
(
(P)
minimiser J(x)
x∈K
où
1
J(x) = hx, Bxi − hb, xi.
2
3 - On considère ε > 0 fixé, et pour tout x ∈ Rn , on définit :
Jε (x) = J(x) +
m 2
1 X
gi+ (x) .
2ε i=1
Montrer qu’il existe une solution unique xε ∈ Rn au problème :
(
(Pε )
minimiser Jε (x)
x ∈ Rn
4 - Montrer que xε est solution de (Pε ) si et seulement si xε est solution de l’équation :
Bxε − b +
m
X
λiε ai = 0
i=1
où
λiε =
gi+ (xε )
.
ε
5 - Montrer qu’il existe un sous-ensemble C borné de Rn et un sous-ensemble I borné de R tel
g + (xε )
que : ∀ε > 0, xε ∈ C et i √
∈ I.
ε
6 - Montrer que xε converge vers x∗ lorsque ε → 0.
52
Convexité et optimisation
7 - On suppose dans la suite que la famille {a1 , . . . , am } est linéairement indépendante. Montrer
que pour tout i ∈ {1, . . . , m}, il existe di ∈ Fi := {aj , j = 1, . . . , m et j 6= i}⊥ tel que kdi k = 1
et hai , di i =
6 0.
8 - En prenant le produit scalaire de di avec l’équation trouvée dans la question (4), en déduire que
λiε reste borné dans R indépendamment de ε.
9 - En déduire que si x∗ est solution de (P), alors il existe des nombres réels λ1 , . . . , λm ≥ 0, tels
que :

m
X

∗−b+


Bx
λi ai = 0 ;


i=1

x∗ ∈ K ;




et ∀i = 1, . . . , m,
λi gi (x∗ ) = 0.
Chapitre 6
Optimisation sous contraintes :
conditions d’optimalité
6.1
Condition nécessaire d’optimalité
T HÉORÈME 6.1 Soient U un sous-ensemble ouvert de Rn , C un sous-ensemble convexe de U et
f : U → R différentiable. Soit x∗ ∈ C. Si f admet en x∗ un minimum local sur C, alors
∀y ∈ C, h∇f (x∗ ), y − x∗ i ≥ 0.
ensemble C
C0
courbes f (x) = cte
∇f (x∗ )
∇f (x∗ )
x∗
x∗
y
x∗ est un minimum de f sur C
Ici ∃y ∈ C 0 tel queh∇f (x∗ ), y − x∗ i < 0.
F IGURE 6.1 – Illustration de la condition nécessaire d’optimalité
Preuve Comme f admet en x∗ un minimum local sur C, il existe r > 0 tel que ∀x ∈ C ∩
∗
B(x∗ , r), f (x) ≥ f (x∗ ). Soit y ∈ C, y 6= x∗ . Alors il existe ν > 0 tel que ∀t ∈
[0, ν[, (1 − t)x
+
r
ty = x∗ + t(y − x∗ ) ∈ C ∩ B(x∗ , r). Il suffit en effet de prendre ν = min 1,
. On
ky − x∗ k
obtient donc pour tout t ∈ [0, ν[,
0 ≤ f (x∗ + t(y − x∗ )) − f (x∗ ) = h∇f (x∗ ), t(y − x∗ )i + tky − x∗ kε(t(y − x∗ ))
53
54
Convexité et optimisation
avec lim ε(u) = 0. En divisant par t et en faisant tendre t vers 0+ , on obtient bien le résultat
u→0
recherché.
6.2
Cône normal et cône tangent
D ÉFINITION 6.1 Soient C un sous-ensemble convexe de Rn et x ∈ C.
B On appelle cône normal à C en x, noté NC (x), l’ensemble défini par :
NC (x) := {p ∈ Rn | ∀y ∈ C, hp, y − xi ≤ 0} .
B On appelle cône tangent à C en x, noté TC (x), l’ensemble défini par :
TC (x) := adh {t(y − x) | t > 0, y ∈ C} .
Ensemble C1 :
Ensemble C2 :
x
x
C2
C1
Cône tangent et cône normal à C1 en x :
Cône tangent et cône normal à C2 en x :
NC2 (x)
TC1 (x)
0
TC2 (x)
0
NC1 (x)
F IGURE 6.2 – Exemples de cône normal et cône tangent
C OROLLAIRE 6.2 Si x∗ est solution (ou si c’est un minimum local sur C) de
(
min f (x)
x∈C
où C est un convexe d’un ouvert U de Rn et f : U → R une fonction différentiable, alors la
condition nécessaire du théorème (6.1) peut s’écrire
−∇f (x∗ ) ∈ NC (x∗ ).
P ROPOSITION 6.3 Soit C un sous-ensemble convexe de Rn et x ∈ C. Alors :
B NC (x) est un cône convexe fermé.
B TC (x) est un cône convexe fermé.
55
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
B (NC (x))◦ = TC (x).
B (TC (x))◦ = NC (x).
P ROPOSITION 6.4 (Exemples de calcul de cône normal et de cône tangent) C est un sous-ensemble
convexe de Rn .
B Si x ∈ int(C), alors NC (x) = {0} et TC (x) = Rn .
B Si C est un sous-espace affine qui s’écrit grâce à une matrice A ∈ Mk×n (R) et b ∈ Rk :
C = {x ∈ Rn | Ax = b} ,
alors pour tout x ∈ C,
NC (x) =


u ∈ Rn | ∃λ ∈ Rk , u =

k
X
λj aj
j=1



TC (x) = {v ∈ Rn | Av = 0}
Les aj sont les lignes de la matrice A, j = 1, . . . , k.
B Si C est un polyèdre qui peut s’écrire grâce à une matrice A ∈ Mk×n (R), un vecteur
α ∈ Rk , une deuxième matrice B ∈ Mm×n (R) et un vecteur β ∈ Rm :
C = {x ∈ Rn | Ax = α et Bx ≤ β} ,
alors,
NC (x) =

k
X

j=1
λj aj +
m
X


µi bi | λ ∈ Rk , µ ∈ Rm
+ et hµ, Bx − βi = 0

i=1
TC (x) = {v ∈ Rn | Av = 0 et B(x)v ≤ 0}
ou les aj et bi sont les lignes des matrices A et B et B(x) est la matrice extraite de B
en gardant uniquement les lignes des contraintes d’inégalité saturées en x, c’est à dire les
lignes bi , tel que hbi , xi = βi .
6.3
La condition de qualification
On considère un problème de minimisation
(
min f (x)
x∈C
On a vu que la condition nécessaire pour l’optmalité d’un point x∗ ∈ C pouvait s’écrire −∇f (x∗ ) ∈
NC (x∗ ). Afin d’aller plus loin dans la résolution du problème, il est donc primordial de savoir calculer et trouver la forme des vecteurs du cône normal à un ensemble convexe C en un point x ∈ C.
56
Convexité et optimisation
Nous avons déjà vu un cas relativement important dans la proposition (6.4) avec les sous-espaces
affines ou les polyèdres qui correspondent au cas où l’ensemble C est défini grâce à des contraintes
d’égalité ou d’inégalité qui sont toutes affines.
Nous allons maintenant supposer que C peut s’exprimer grâce à des contraintes d’inégalité ou
d’égalité :
C = {x ∈ U | ∀i ∈ I, gi (x) ≤ 0 et ∀j ∈ J, hj (x) = 0}
ou U est un ouvert et convexe de Rn , ∀i ∈ I, gi : U → R est une fonction convexe et ∀j ∈ J,
hj : U → R est une fonction affine. Ainsi l’ensemble C est défini avec #I contraintes d’inégalité
et #J contraintes d’égalité.
L’ensemble C défini ainsi est bien convexe.
Si x est un élément de C alors on note I(x) = {i ∈ I | gi (x) = 0} l’ensemble des contraintes
d’inégalité qui sont saturées en x.
Nous allons également noter Ia l’ensemble des contraintes d’inégalité qui sont affines et Ina celles
qui ne le sont pas. On a Ia ∩ Ina = ∅ et Ia ∪ Ina = I.
D ÉFINITION 6.2 On considère un ensemble convexe C défini comme ci-dessus. On suppose que
les fonctions (gi )i∈I et (hj )j∈J sont différentiables. On dit qu’un point x ∈ C est qualifié si on a
les égalités suivantes :
TC (x) = {v ∈ Rn | ∀i ∈ I(x), h∇gi (x), vi ≤ 0 et ∀j ∈ J, h∇hj (x), vi = 0}
NC (x) =

X

λi ∇gi (x) +
X


µj ∇hj (x), ∀i ∈ I, λi ≥ 0 et λi gi (x) = 0, ∀j ∈ J, µj ∈ R

j∈J
i∈I
T HÉORÈME 6.5 On considère un ensemble convexe C défini comme ci-dessus. On suppose que
les fonctions (gi )i∈I et (hj )j∈J sont différentiables et que la condition suivante est satisfaite.
∃x̄ ∈ C tel que ∀i ∈ Ina , gi (x̄) < 0
(Slater)
Alors tout x ∈ C est qualifié.
Remarques 6.1
B Dans la définition ci-dessus, pour le cône normal NC (x), la relation λi gi (x) = 0 signifie
que le coefficient λi doit être égal à zéro si la contrainte i n’est pas saturée, c’est à dire que
gi (x) < 0 et i ∈
/ I(x).
B Pour vérifier si x ∈ C est qualifié, il suffit de vérifier l’une ou l’autre des égalités pour NC (x)
ou TC (x). L’autre égalité en découle en remarquant que N◦C (x) = TC (x) et T◦C (x) =
NC (x) et en utilisant le lemme de Farkas.
B Le résultat ci-dessus inclut le résultat obtenu pour les polyèdres. En effet, dans ce cas, les
contraintes d’inégalités sont toutes affines et la condition de qualification de Slater est automatiquement vérifiée. Les résultats coincident bien puisque les gradients des fonctions fi et
gj sont bien donnés par les lignes des matrices A et B.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
57
Exemple 6.2
Comme le montre l’exemple suivant, sans la condition de qualification de Slater
le résultat ci-dessus n’est en général pas vrai. On se place dans R2 et on prend les fonctions
g1 (x, y) = x2 − y et g2 (x, y) = y. Ces deux fonctions sont bien convexes et l’ensemble C
définie avec deux contraintes d’inégalité C = {(x, y) ∈ R2 | x2 − y ≤ 0, y ≤ 0} est en
réalité égal à {(0, 0)}. Les deux contraintes sont saturées en (0, 0) et ∇g1 (0, 0) = (0, −1) et
∇g2 (0, 0) = (0, 1). Si le résultat du théorème était vrai, on devrait avoir v = (1, 0) ∈ TC ((0, 0))
car h∇g1 (0, 0), vi = 0 ≤ 0 et h∇g2 (0, 0), vi = 0 ≤ 0. On a donc une contradiction car à
l’évidence le cône tangent est ici réduit à TC ((0, 0)) = {(0, 0)}.
Preuve du théorème (6.5) Soit x ∈ C et considérons
A = {v ∈ Rn | ∀i ∈ I(x), h∇gi (x), vi ≤ 0 et ∀j ∈ J, h∇hj (x), vi = 0}
et
Ae = {v ∈ A | ∀i ∈ I(x) ∩ Ina , h∇gi (x), vi < 0} .
Le but est de montrer que TC (x) = A. Nous allons procéder en plusieurs étapes.
Etape 1
Montrons que Ae 6= ∅.
Considérons v = x̄ − x où x̄ est donné par la condition de qualification de Slater.
- Pour tout i ∈ I(x), on obtient en utilisant la convexité de la fonction gi que :
0 ≥ gi (x̄) = gi (x̄) − gi (x) ≥ h∇gi (x), x̄ − xi = h∇gi (x), vi.
- Pour tout j ∈ J, comme hj est affine et hj (x̄) = hj (x) = 0, on a :
h∇hj (x), vi = h∇hj (x), x̄ − xi = 0.
Ainsi v ∈ A. De plus, si i ∈ I(x) ∩ Ina , on a grâce à la condition de Slater vérifiée par x̄ :
0 > gi (x̄) = gi (x̄) − gi (x) ≥ h∇gi (x), x̄ − xi = h∇gi (x), vi
et donc v ∈ Ae et Ae 6= ∅.
Etape 2
Montrons que Ae ⊂ TC (x).
e On pose pour tout k ∈ N∗ , xk = x + 1 v. On va montrer que pour k assez grand
Soit v ∈ A.
k
xk ∈ C ce qui impliquera que v = k(xk − x) est bien un élément de TC (x).
- Pour tout j ∈ J, comme hj est affine,
1
hj (xk ) = hj (x) + h∇hj (x), xk − xi = 0 + h∇hj (x), vi = 0.
k
- Pour tout i ∈ I tel que i ∈
/ I(x), on a 0 > gi (x). Comme la suite (xk )k∈N∗ converge vers x, par
continuité des fonctions gi , il existe k0 ∈ N∗ tel que
∀k > k0 ,
∀i ∈
/ I(x),
gi (xk ) < 0.
58
Convexité et optimisation
- Pour tout i ∈ I(x) ∩ Ia , gi est affine et :
1
gi (xk ) = gi (x) + h∇gi (x), xk − xi = 0 + h∇gi (x), vi ≤ 0.
k
- Pour tout i ∈ I(x) ∩ Ina , on a : il existe une fonction ε qui vérifie lim ε(u) = 0 tel que :
u→0
gi (xk ) = gi (x) + h∇gi (x), xk − xi +
kx − xkε(xk − x)
k
1
kvk
1
= 0 + h∇gi (x), vi +
ε
v
k k
k
1
1
h∇gi (x), vi + kvkε
=
v
k
k
On obtient
donc qu’il existe k1 ∈ N∗ tel que ∀k ≥ k1 , gi (xk ) ≤ 0 car v ∈ Ae et donc h∇gi (x), vi <
1
0 et ε
v tend vers 0 lorsque k → +∞.
k
Finalement toutes les conditions sont satisfaites pour que ∀k ≥ max{k0 , k1 }, xk ∈ C.
Etape 3
Montrons que A ⊂ TC (x).
e Soit v ∈ A et choisissons un élément v0 de A.
e Un tel
Montrons tout d’abord que A ⊂ adh(A).
1
1
e
v0 existe car d’après l’étape 1, A 6= ∅. On définit la suite (up )p∈N∗ par up = v0 + 1 −
v.
p
p
e Donc v ∈ adh(A)
e et
Cette suite converge vers v et on vérifie facilement que ∀p ∈ N∗ , up ∈ A.
e Or comme A
e ⊂ TC (x) (grâce à l’étape 2) et TC (x) est fermé, on a :
A ⊂ adh(A).
e ⊂ TC (x).
A ⊂ adh(A)
Etape 4
Montrons enfin l’inclusion inverse TC (x) ⊂ A.
Soit v ∈ TC (x). D’après la définition du cône tangent, il existe pour tout k ∈ N, λk > 0 et xk ∈ C
tel que v = lim vk avec vk = λk (xk − x).
k→+∞
On peut, sans perte de généralité, supposer que la suite (xk )k∈N converge vers x car sinon on peut
pour tout k, choisir :
 0
x = tk xk + (1 − tk )x = x + tk (xk − x)


 k
λk
λ0k =

tk


avec tk choisi dans ]0, 1]
On a bien alors x0k ∈ C car C est convexe et vk = λk (xk − x) = λ0k (x0k − x). Ainsi en choisissant
1
pour chaque k, tk ≤
(quitte à passer à une sous-suite si nécessaire), on a bien (x0k )k∈N
kkxk − xk
qui converge vers x.
- Pour tout j ∈ J, h∇hj (x), vi = 0 car hj est affine et pour tout k ∈ N, hj (x) = hj (xk ) = 0
impliquant que h∇hj (x), λk (xk − x)i = 0.
- Pour tout i ∈ I(x), on a :
0 ≥ gi (xk ) = gi (xk ) − gi (x) = h∇gi (x), xk − xi + kxk − xkε(xk − x)
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
59
ou la fonction ε vérifie lim ε(u) = 0. En multipliant l’inégalité ci-dessus par λk , on obtient :
u→0
0 ≥ h∇gi (x), λk (xk − x)i + kλk (xk − x)kε(xk − x)
En passant à la limite, on obtient bien que h∇gi (x), vi ≤ 0.
On en déduit que v ∈ A.
6.4
Le théorème de Karush-Kuhn-Tucker
T HÉORÈME 6.6 (Karush Kuhn et Tucker) Soient U un ouvert convexe de Rn , f , (gi )i∈I et (hj )j∈J
des fonctions différentiables de U → R. On suppose que les (gi )i∈I sont des fonctions convexes et
que les (hj )j∈J sont affines. On suppose que la condition de Slater du théorème (6.5) est satisfaite.
On considère le problème d’optimisation :
(P)


minimiser f (x)




g (x) ≤ 0, ∀i ∈ I
i

hj (x) = 0, ∀j ∈ J





x∈U
Si x∗ est une solution locale de (P) alors ∃(λi )i∈I , (µj )j∈J des réels tels que :
(KKT)

X
X

−∇f (x∗ ) =
λi ∇gi (x∗ ) +
µj ∇hj (x∗ )




i∈I
j∈J
∗
∀i ∈ I, gi (x ) ≤ 0, λi ≥ 0 et λi gi (x∗ ) = 0




∀j ∈ J, h (x∗ ) = 0
j
Preuve Il s’agit d’une conséquence immédiate du corollaire (6.2) et du théorème (6.5).
T HÉORÈME 6.7 (Condition suffisante) Soient U un ouvert convexe de Rn , f , (gi )i∈I et (hj )j∈J
des fonctions différentiables de U → R. On suppose que les (gi )i∈I sont des fonctions convexes
et que les (hj )j∈J sont affines et que la condition de Slater du théorème (6.5) est satisfaite. On
considère le problème d’optimisation :
(P)


minimiser f (x)




g (x) ≤ 0, ∀i ∈ I
i

hj (x) = 0, ∀j ∈ J





x∈U
Si f est convexe alors on a l’équivalence entre les assertions suivantes :
1. x∗ est un minimum local de (P).
2. x∗ est un minimum global de (P).
3. x∗ vérifie les conditions (KKT) du théorème de Karush Kuhn et Tucker.
60
Convexité et optimisation
6.5
Exercices
E XERCICE 66
Soit X = Rn+ . Déterminer pour tout x ∈ X les ensembles TX (x) et NX (x).
Commencer par le cas n = 2.
Soit C = BF (0, 1) la boule fermé de centre 0 et de rayon 1 de Rn muni de la
E XERCICE 67
norme euclidienne et x ∈ Rn telle que kxk = 1. Montrer que
NC (x) = {λx | λ ≥ 0}
E XERCICE 68
et
TC (x) = {v | hv, xi ≤ 0}
Calculer les cônes normaux et tangents pour les ensembles suivants :
B C1 = {x ∈ Rn | hai , xi = bi , i = 1, . . . , p}
B C2 = {(x, y) ∈ R2 | x2 + y 2 − 1 ≤ 0, x ≥ 0 y ≥ 0}
E XERCICE 69
Soit f : R2 −→ R une fonction définie par :
f (x, y) = x2 + ay 2 + xy + x
1 - Pour quelles valeurs de a, f est elle convexe ?
2 - Pour les valeurs de a trouvées, résoudre le problème
(
P
E XERCICE 70
Minimiserf (x, y)
x+y ≤1
Résoudre les problèmes suivants :


Maximiser ln(x1 x2 x3 )


 x2 + x2 + x2 ≤ 4
2
3
1
(P )

x1 + x2 + x3 = 3



x1 > 0, x2 > 0, x3 > 0
(R)
E XERCICE 71

2
2

 Minimiser x1 + x2
x1 + x2 ≤ 1

 x ≥ 0, x ≥ 0
1
2
n
Soient un élément p ∈ (R+
∗ ) et un réel w > 0.
n
1 - Montrer qu’il existe un élément x ∈ (R+
∗ ) tel que hp, xi < w.
2 - On considère le problème suivant :


 Max x1 x2 ...xn
hp, xi ≤ w

 x ≥ 0, x ≥ 0, ..., x ≥ 0,
1
2
n
a - Montrer que ce problème a au moins une solution.
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
61
n
b - Montrer que si x̄ est une solution du problème, alors x̄ ∈ (R+
∗) .
c - Montrer que si x̄ est une solution du problème, alors hp, x̄i = w.
d - Ecrire les conditions nécessaires de Kuhn et Tucker et trouver l’unique solution du problème.
Soit f (x) = x1 x2 ...xn , calculer f (x̄(p, w)) en fonction de p et de w, calculer la dérivée de
f (x̄(p, w)) par rapport à w.
E XERCICE 72
Soit α = (α1 , ..., αn ) ∈ Rn \ {0} fixé.
1 - Trouver la ou les solutions du problème

n
X



Maximiser
αi xi


i=1
n
X



x2i ≤ 1


i=1
2 - Trouver la ou les solutions du problème

n
X



αi xi
Minimiser


n
X



x2i ≤ 1


i=1
i=1
E XERCICE 73
On considère le problème d’optimisation :
P

2
2

 Minimiser (x − 10) + (y − 10)
x2 + y 2 ≤ 1

 x ∈ R, y ∈ R
1 - Montrer que P est un problème d’optimisation convexe.
2 - Montrer que P admet une solution unique.
3 - Résoudre P.
E XERCICE 74
Soit Ω = {(x1 , ..., xn ) ∈ Rn | xi > −1, ∀i} et on considère la fonction
f : Ω −→ R définie par :
f (x1 , ..., xn ) =
n
X
αi ln(1 + xi )
i=1
Où les αi sont des réels tel que αi > 0 et
n
X
αi = 1.
i=1
Résoudre :
P

Maximiser f (x1 , ..., xn )



n
 X
xi ≤ 1



 i=1
(x1 , ..., xn ) ∈ Ω
62
Convexité et optimisation
E XERCICE 75
Résoudre le problème
(P )
E XERCICE 76

2
2

 Minimiser − 14x1 + x1 − 6x2 + x2 − 7
x +x ≤2
1
2

 x + 2x ≤ 3
1
2
On considère le problème
(
(P )
Minimiser 5x2 + 4xy + y 2
3x + 2y = 5
1 - Première methode : résoudre en se ramenant à un problème de minimisation d’une seule variable.
2 - Deuxième méthode : écrire les conditions de Kuhn et Tucker du problème, en déduire les
solutions et le multiplicateur.
E XERCICE 77
On considère le problème d’optimisation suivant :


min(x1 − 1)2 + (x2 − 5)2




−x − x ≥ 0
2
1

x1 ≥ −1





x2 ≥ −2
1. Pour ce problème, les conditions de Karush, Kuhn et Tucker (KKT) sont elles des conditions
nécessaires d’optimalité ?
2. Les conditions de KKT sont elles des conditions suffisantes d’optimalité ?
3. Ecrire les conditions de KKT associées à ce problème.
4. Déterminer un minimum de ce problème.
5. Le minimum obtenu à la question précédente, est-il unique ?
Reprendre l’ensemble de ces questions pour le problème suivant :


max 2x1 + x2




x2 + x2 ≤ 2
1
2

x2 ≥ 0





x1 ≤ 1
E XERCICE 78
Rn est muni du produit scalaire canonique et de la norme euclidienne. Soit a ∈
Rn et U = {x ∈ Rn | kxk < 1}. On considère la fonction fa : U → R définie par
fa (x) = − ln 1 − kxk2 + ha, xi.
1 - Montrer que la fonction fa est strictement convexe sur U .
On considère le problème d’optimisation suivant :
(
Pa
minimiserfa (x)
x ∈ Ca
63
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
où
Ca = x ∈ Rn | kxk2 ≤
1
et ha, xi ≤ 0 .
4
2 - On suppose que a = 0Rn . Montrer que le problème Pa vérifie la condition de qualification de
Slater.
3 - Ecrire les conditions nécessaires d’optimalité. Montrer que la solution ne peut pas se trouver
sur la frontière de C0 . Trouver la solution.
4 - On suppose maintenant que a 6= 0. Montrer que Pa vérifie la condition de qualification de
Slater.
5 - On désigne x∗ une éventuelle solution de Pa . Montrer qu’on a nécessairement ha, x∗ i < 0.
4
6 - Résoudre Pa (Indication : on discutera selon que kak est plus grand ou plus petit que ).
3
E XERCICE 79
On considère le problème d’optimisation suivant :


min(x1 − 2)2 + 2(x2 − 2)2




x 2 + x 2 ≤ 5
2
1

x1 ≥ 2





x2 ≥ 0
1. Pour ce problème, les conditions de Karush, Kuhn et Tucker (KKT) sont elles des conditions
nécessaires d’optimalité ?
2. Les conditions de KKT sont elles des conditions suffisantes d’optimalité ?
3. Ecrire les conditions de KKT associées à ce problème.
4. Déterminer un minimum de ce problème.
5. Le minimum obtenu à la question précédente, est-il unique ?
Reprendre l’ensemble de ces questions pour le problème suivant :

2
2

max −x1 + 2x1 x2 − x2

x1 + x2 = 2


x ≥ 0
2
E XERCICE 80
Pour x ∈ Rn , on pose f (x) = exp kxk2 +ha, xi, où k.k est la norme euclidienne.
1 - Montrer que f (.) est une fonction convexe.
2 - Résoudre le problème
(
(P )
Minimiser f (x)
x∈C
avec C = Rn , C = {x ∈ Rn , kxk ≤ r}.
E XERCICE 81
Soit f (x, y) = y 2 − x2 y + x2 et C = {(x, y) ∈ R2 | x2 − 1 ≤ y ≤ 1 − x2 }.
1 - Montrer que f admet un maximum et un minimum sur C.
64
Convexité et optimisation
2 - Déterminer les points critiques de f .
3 - Déterminer le maximum de f sur C.
4 - Déterminer le minimum de f sur C.
E XERCICE 82
déterminer.
Pour chacun des cas suivants, montrer que f admet un maximum sur C et le
1. f (x, y) = xy(1 − x − y) et C = {(x, y) ∈ R2 | x ≥ 0, y ≥ 0, x + y ≤ 1} ;
2. f (x, y) = x − y + x3 + y 3 et C = [0, 1]2 ;
π
3. f (x, y) = sin x sin y sin(x + y) et C = 0,
2
E XERCICE 83
2
.
Calculer en fonction du paramètre α ∈ R la solution du problème :

2


minimiser xy + αxz + α yz
0≤x≤y≤z


x + y + z ≤ 1
E XERCICE 84
Montrer que le problème suivant admet une unique solution et la calculer :



minimiser hx, Axi
x + 2x + 3x3 ≤ 1
1
2


x ∈ R3
+
où


2 1 1


A =  1 2 1 .
1 1 2
Indication : L’inverse de A est :

A−1

3 −1 −1
1

=  −1 3 −1  .
4
−1 −1 3
E XERCICE 85
On considère deux fonctions f et g de Rn dans R de classe C 1 , strictement
convexes avec f coercive. On considère le problème :
(
minimiser f (x)
g(x) ≤ 0
(P )
On suppose que la contrainte est qualifiée.
1 - Montrer que (P ) admet une unique solution x∗ . On notera λ le multiplicateur associé.
2 - Pour tout ε > 0, on pose :
Jε (x); = f (x) +
1
(max{0, g(x)})
ε
a - Montrer que Jε admet un unique minimum xε dans Rn .
1
b - Montrer que si ε ∈ 0, , alors xε = x∗ .
λ
∀x ∈ Rn .
65
Université Paris 1 Panthéon - Sorbonne - L3 MASS 2015/2016
E XERCICE 86
Soit A ∈ Mn (R) une matrice symétrique définie positive. On considère :
C = {x ∈ Rn | hx, Axi ≤ 1} .
1 - Montrer que C est convexe. Préciser l’ensemble C si A est une homothétie (c’est à dire A de
la forme λ Id).
2 - Montrer que pour une base orthonormée (ei )1≤i≤n qu’on peut choisir convenablement, il existe
des réels strictement positifs α1 , . . . , αn tels que :
C=
( n
X
xi ei | ∀i ∈ {1, . . . , n}, xi ∈ R et
i=1
n
X
)
αi x2i ≤ 1 .
i=1
3 - On considère dans la suite x =
n
X
xi ei de Rn \ C. Montrer qu’il existe un unique λ = λ(x) ∈
i=1
R+ tel que :
n
X
i=1
αi
x2i
= 1.
(1 + λαi )2
4 - Montrer que la projection de x sur C, projC (x), est définie par :
projC (x) =
n
X
i=1
E XERCICE 87
xi
ei .
1 + λ(x)αi
Soient f et g deux fonctions convexes de Rn dans R et
K := {y ∈ Rn | g(y) ≤ 0}.
(
On considère le problème
min f (x)
x∈K
et on rappelle que le sous-différentiel de f en un point
x ∈ Rn est défini par :
∂f (x) = {p ∈ Rn : ∀y ∈ Rn , f (y) ≥ f (x) + hp, y − xi}.
1 - Montrer que K est convexe et fermé.
2 - Soit x tel que g(x) < 0. Trouver NK (x) et TK (x).
3 - Montrer que si x ∈ K vérifie −∂f (x) ∩ NK (x) 6= ∅, alors x minimise f sur K. Montrer que
cette condition est également nécessaire.
4 - Montrer que si g(x) = 0, alors ∂g(x) ⊂ NK (x) et en déduire que cone (∂g(x)) ⊂ NK (x).
Pour tout λ ≥ 0, on considère maintenant la fonction parfois appelée pénalité exacte :
p(x) = f (x) + λ max{0, g(x)}.
5 - Montrer que si x minimise p sur Rn et appartient à K alors x minimise f .
66
Convexité et optimisation
6 - Quel est ∂p(x) en un point x tel que g(x) < 0 ? en un point x tel que g(x) = 0 ?
7 - En déduire que si x ∈ K est tel que g(x) = 0 et −∂f (x) ∩ cone (∂g(x)) 6= ∅ alors x minimise
f sur K.
8 - Montrer que cette condition est aussi nécessaire sous une hypothèse de qualification de Slater.
E XERCICE 88
pose :
Soient f et g deux fonctions de Rn dans R de classe C 1 . Pour tout t ∈ R, on
V (t) := inf{f (x) | x ∈ Rn et g(x) = t}.
On suppose qu’il existe α > 0 tel que pour tout t ∈] − α, α[, le problème précédent admet une
unique solution x(t) et de plus ∇g(x(0)) 6= 0 et l’application t 7→ x(t) est différentiable en 0.
1 - Montrer qu’il existe un unique λ ∈ R tel que ∇f (x(0)) = λ∇g(x(0)).
2 - Montrer que V est dérivable en 0 et que V 0 (0) = λ.