Un document sur l`optimisation des fonctions convexes.

8Chapitre 4
Chapitre 4
Optimisation des fonctions convexes
D6: Un sous-ensemble Cde IRnest dit convexe si, pour tout (a, b)∈C2,[a, b]⊂C
(c’est-`a-dire pour tout λ∈[0,1], λa +(1−λ)b∈C).
D7 : Une fonction r´eelle fd´efinie sur Cconvexe est dite convexe si, pour tout (a, b)∈C2
et pour tout λ∈[0,1], f(λa +(1−λ)b)≤λf(a)+(1−λ)f(b).
Propri´et´es :
1) Si Cest un convexe de IRnet (fi)i∈I, une famille quelconque de fonctions convexes
alors
a) sup
i∈I
fiest convexe ;
b) si Iest fini et si (λi)i∈Iest une famille de r´eels positifs, alors P
i∈I
λifiest convexe.
2) Si Cest un convexe de IRn,sifest une fonction convexe de Csur IR et si ϕest une
fonction convexe croissante sur IR, alors ϕ◦fest une fonction convexe.
Preuve des propri´et´es :
1)a) fi(λa +(1−λ)b)≤λfi(a)+(1−λ)fi(b)≤λ(sup fi)(a)+(1−λ)(sup fi)(b). Ceci est
v´erifi´e pour tout i∈Idonc (sup fi)(λa +(1−λ)b)≤λ(sup fi)(a)+(1−λ)(sup fi)(b).
1)b) λi≥0 donc λifi(λa +(1−λ)b)≤λiλfi(a)+λi(1 −λ)fi(b). En faisant la somme, on
a:
(X
i
λifi)(λa +(1−λ)b)≤λ(X
i
λifi)(a)+(1−λ)(X
i
λifi)(b).
2) f(λa +(1−λ)b)≤λf(a)+(1−λ)f(b) et, en utilisant la croissance, puis la convexit´ede
ϕ,ona:
ϕ(f(λa +(1−λ)b)) ≤ϕ(λf (a)+(1−λ)f(b))
≤λϕ(f(a)) + (1 −λ)ϕ(f(b)).
2

Optimisation des fonctions convexes 9
Caract´erisation des fonctions convexes diff´erentiables
TH5 : Soit Ω un ouvert convexe de IRnet fune fonction de Ω sur IR.
1) Si fest diff´erentiable sur Ω, alors fest convexe si et seulement si, pour tout
(x, y)∈Ω2,
f(y)−f(x)≥h∇f(x),y−xi.
2) Si fest de classe C2sur Ω, alors fest convexe sur Ω si et seulement si, pour tout
x∈Ω, la matrice ∇2f(x) est positive.
Preuve du TH5 :
1) Si fest convexe, pour θ∈]0,1[, on a :
f(x+θ(y−x)) = f((1 −θ)x+θy)≤(1 −θ)f(x)+θf(y)
d’o`u f(x+θ(y−x)) −f(x)≤θ(f(y)−f(x)).
Or f(x+θ(y−x)) = f(x)+θdxf(y−x)+θky−xkε(θ(y−x)).
En simplifiant par θ>0, on obtient :
dxf(y−x)+ky−xkε(θ(y−x)) ≤f(y)−f(x)
et en faisant tendre θvers 0, on a alors :
dxf(y−x)≤f(y)−f(x).
R´eciproquement, si f(b)≥f(a)+daf(b−a) pour tout (a, b)∈Ω2, alors, avec b=yet
a=x+θ(y−x), puis avec b=xet a=x+θ(y−x),
f(y)≥f(x+θ(y−x)) + dx+θ(y−x)f(y−x)×(1 −θ)
f(x)≥f(x+θ(y−x)) + dx+θ(y−x)f(y−x)×(−θ).
On multiplie la premi`ere in´egalit´e par θ, la deuxi`eme par (1 −θ) et on fait la somme :
θf(y)+(1−θ)f(x)≥(θ+1−θ)f(x+θ(y−x))
soit f((1 −θ)x+θy)≤(1 −θ)f(x)+θf(y).
2) On applique la formule de Taylor-Mac-Laurin `a l’ordre 2 en x:
il existe θ∈]0,1[ tel que :
f(y)=f(x)+dxf(y−x)+1
2d2
x+θ(y−x)f(y−x, y −x).
Or d2
x+θ(y−x)f(y−x, y −x)≥0 donc f(y)≥f(x)+dxf(y−x)etfest convexe.
R´eciproquement, si fest convexe, alors, pour tout h∈IR net pour tout ttel que x+th ∈Ω,
f(x+th)≥f(x)+dxf(th).

10 Chapitre 4
Or f(x+th)=f(x)+dxf(th)+1
2t2d2
xf(h, h)+t2khk2ε(th). D’o`u:
d2
xf(h, h)+2khk2ε(th)≥0
et en faisant t→0, on obtient finalement d2
xf(h, h)≥0.
2
Minimum global d’une fonction convexe.
TH6 : Soit Cun convexe de IRn,fune fonction convexe de Csur IR et a∈C,
alors
1) un minimum local est un minimum global ;
2) si fest de classe C1sur Cet si Cest ouvert, alors a∈ArgCmin fsi et seulement
si ∇f(a)=0.
Preuve du TH6 :
1)f(x+θ(y−x)) ≤(1 −θ)f(x)+θf(y) donc f(x+θ(y−x)) −f(x)≤θ(f(y)−f(x)).
Si xest un minimum local, alors, pour θassez petit, on a f(x+θ(y−x)) −f(x)≥0. Donc
f(y)−f(x)≥0 et ceci pour yquelconque. Donc xest un minimum global.
2) Si a∈ArgCmin f, alors f(y)≥f(a) pour tout y∈C.OrCest ouvert, donc aest aussi
minimum local et ∇f(a)=0.
R´eciproquement, si ∇f(a)=0,i.e. daf= 0, comme f(y)≥f(a)+daf(y−a) pour tout y∈C,
on a donc, pour tout y∈C,f(y)≥f(a)etaest un minimum global de fsur C.
2
Exercices
8. Soit a∈IR ntel que kak<1 et soit f:IR
n→IR , x7→ (1 + kxk2)1
2−ha, xi.
Montrer que fest convexe et d´eterminer ArgIR nmin f.
9. Soit ϕ:Ω⊂IR n→IR. Pour tout y∈IR n, on pose ϕ∗(y)=sup
x∈Ω
(hy, xi−ϕ(x)).
a) Montrer que ϕ∗est convexe.
b) Soit p∈]1,+∞[etϕ(x)=kxkp
p. Montrer que ϕest convexe ; d´eterminer ϕ∗(y)
et montrer que ϕ∗∗ =ϕ.(On utilisera qtel que 1
p+1 q= 1).
c) Soit ϕ(x)=1
2hAx, xi+hb, xi+co`u Aest une matrice sym´etrique d´efinie posi-
tive. Montrer que ϕest convexe ; d´eterminer ϕ∗(y) et montrer que ϕ∗∗ =ϕ.

Optimisation des fonctions convexes 11
10. Soit C⊂IR nun convexe ferm´e non vide et b∈IR n. Soit π= ArgCmin No`u
N(x)=kx−bk2.
a) Montrer que :
i) πest non vide ;
ii) si p∈π, pour tout c∈C,hp−b, p −ci≤0.
(On utilisera F(λ)=kλc +(1−λ)p−bk2).
iii) πcontient exactement 1 ´el´ement, not´e p(b).
iv) Si hu−b, u −ci≤0 pour tout c∈C, alors u=p(b).
b) D´eduire de a) que, b/∈Csi et seulement si il existe w∈IR ntel que
hw, bi<inf
c∈Chw, ci.