Analyse 1: convexité et fonction convexe

Analyse 1: convexité et fonction convexe
Joseph Salmon
Septembre 2014
Ensembles convexes
Définition : ensemble convexe
Un ensemble C ⊂ Rd est dit convexe s’il vérifie la propriété :
∀x0 , x1 ∈ C , ∀α ∈ [0, 1],
xα = αx1 + (1 − α)x0 ∈ C
Interprétation : le segment joignant deux points de C est lui même
inclus dans C . Pour plus détails : Boyd and Vandenberghe (2004)
Exemples d’ensembles convexes
I
une droite
I
un plan
I
un hyperplan
I
un carré, une boule, un cube, un tétraèdre, etc.
Convexe : OUI
Convexe : OUI
Exemples d’ensembles convexes
I
une droite
I
un plan
I
un hyperplan
I
un carré, une boule, un cube, un tétraèdre, etc.
Convexe : OUI
Convexe : OUI
Convexe : NON
Fonction convexe
Définition : fonction convexe
f : Rd → R est convexe si elle vérifie ∀x0 , x1 ∈ Rd , ∀α ∈
[0, 1], f (αx1 + (1 − α)(x0 )) ≤ αf (x1 ) + (1 − α)f (x0 )
|
{z
xα
}
Interprétation : le segment joignant deux points de le courbe est au
dessus de la courbe
Fonction strictement convexe
Définition : strictement fonction convexe
f : Rd → R est strictement convexe si elle vérifie pour tous x0 6=
x1 ∈ Rd , ∀α ∈]0, 1[, f (αx1 + (1 − α)(x0 )) < αf (x1 ) + (1 − α)f (x0 )
|
{z
xα
}
Interprétation : le segment joignant deux points de le courbe est
strictement au dessus de la courbe
Exemples de fonctions convexes
I
une fonction constante : x 7→ c
I
une fonction affine : x 7→ ha, xi + c
I
αf + (1 − α)g pour f , g convexes et α ∈ [0, 1]
I
λf pour f convexe et λ ∈ R+ (ATTENTION au signe +)
Convexe : OUI
Convexe : OUI
(c ∈ R)
(a ∈ Rn , c ∈ R)
Exemples de fonctions convexes
I
une fonction constante : x 7→ c
I
une fonction affine : x 7→ ha, xi + c
I
αf + (1 − α)g pour f , g convexes et α ∈ [0, 1]
I
λf pour f convexe et λ ∈ R+ (ATTENTION au signe +)
Convexe : OUI
Convexe : OUI
(c ∈ R)
(a ∈ Rn , c ∈ R)
Convexe : NON
Convexité de l’épigraphe
Une fonction est convexe si “la partie au dessus” de la fonction est
convexe i.e., son épigraphe C = {(x, y) ∈ R2 : f (x) ≤ y}
Rem: une fonction est concave quand “la partie en dessous” de la
fonction est convexe (cela revient à dire que −f est convexe)
Inégalité de convexité
Définition : combinaison convexe / moyenne pondérée
On appelle combinaison convexe (ou moyenne pondérée) des
P
points x1 , . . . , xn ∈ Rd tout point qui s’écrit ni=1 αi xi pour des αi
Pn
satisfaisant ∀i = 1, . . . , n, αi ≥ 0 et i=1 αi = 1
Théorème : inégalité de Jensen
Si f : Rd → R est convexe alors pour tous points x1 , . . . , xn ∈ Rd
P
et tous α1 , . . . , αn tel que ∀i = 1, . . . , n, αi ≥ 0 et ni=1 αi = 1
f(
n
X
i=1
αi xi ) ≤
n
X
αi f (xi )
i=1
Interprétation : l’image par une fonction convexe d’une moyenne
pondérée est plus petite que la moyenne pondérée des images
Inégalité de convexité II
Théorème : comparaison entre fonction et tangente
Si f : Rd → R est convexe alors pour tous points x, x ∗ ∈ Rd on a
f (x) ≥ f (x ∗ ) + h∇f (x ∗ ), x − x ∗ i
Interprétation : Une fonction convexe et différentiable se situe au
dessus de n’importe laquelle de ses tangentes
Fonctions convexes réelles
Théorème : croissance de la dérivée
Si f : R → R est dérivable alors on a l’équivalence :
f convexe ⇔ f 0 croissante
Théorème : croissance de la dérivée (bis)
Si f : R → R est dérivable deux fois, alors on a l’équivalence :
f convexe ⇔ f 00 ≥ 0
Exemples d’application :
I
x 7→ x 2 ou plus généralement x 7→ x 2n (pour n ∈ N)
I
x 7→ exp(x)
I
x 7→ − log(x) est convexe sur R+
Fonctions convexes multi-dimensionnelles
Corollaire : croissance de la dérivée revisitée
Si f : Rd → R est différentiable deux fois, alors on a l’équivalence :
f convexe ⇔ ∇2 f est semi-défini positive
Exemple d’application : f : x 7→ x > Ax (avec A symétrique) est
convexe si et seulement si A est semi-défini positive
Rem: Pour d = 2 une fonction convexe ressemble localement à
Hessienne semi-définie positive Hessienne définie positive
Impossible : non convexe
Références I
I S. Boyd and L. Vandenberghe.
Convex optimization.
Cambridge University Press, Cambridge, 2004.
http://www.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf.