Résolution numérique des problèmes aux moindres

Informatique & Math´ ematiques Appliqu´ ees
Optimisation
J. Gergaud & S. Gratton & D. Ruiz
30 avril 2013

Table des mati` eres
1 Exemples et d´
efinitions 3
I Exemples ..................................................... 3
I.1 Cascontinuetdedimensionfinie .................................... 3
I.2 Probl` emesennombresentiers ...................................... 10
I.3 Probl` emeendimensioninfinie...................................... 11
II Probl` emed’optimisation ............................................. 13
II.1 D´ efinitions ................................................ 13
II.2 Classification............................................... 16
III Exercices ..................................................... 18
2 Outils math´ ematiques 23
I Introduction.................................................... 23
II Alg` ebre lin´ eaire.................................................. 23
II.1 rappels .................................................. 23
III Calcul diff´ erentiel................................................. 24
III.1 Notations................................................. 24
III.2 Th´ eor` eme des fonctions compos´ ees ................................... 25
III.3 FormuledeTaylors............................................ 26
III.4 Courbesdeniveau ............................................ 26
III.5 Surfaces et plan tangent dans R3..................................... 27
IV Convexit´ edesapplications ............................................ 27
IV.1 Ensembles convexes - applications convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
IV.2 Convexit´ e et d´ eriv´ ee premi` ere ...................................... 28
IV.3 Convexit´ e et d´ eriv´ eeseconde....................................... 29
IV.4 Illustrations................................................ 30
V Exercices ..................................................... 30
V.1 Aveccorrections ............................................. 30
3 Existence de solution, unicit´ e de solution 33
I Introduction.................................................... 33
II Existencedesolution ............................................... 33
II.1 Probl` emesaveccontraintes........................................ 33
II.2 Probl` emesanscontraintes ........................................ 34
III Casconvexe.................................................... 34
IV Exercices ..................................................... 36
IV.1 Corrig´ esdesexercices .......................................... 36
IV.2 Exercicessanscorrections ........................................ 36
4 Condition n´ ecessaire, condition suffisante de solution
Cas sans contraintes et cas de contrainte convexe 39
I Conditiondupremierordre............................................ 39
I.1 Cassanscontraintes ........................................... 39
I.2 Casdecontraintesconvexes ....................................... 39
I.3 Probl` emesconvexes ........................................... 40
II Conditions du deuxi` emeordre .......................................... 40
II.1 Condition n´ ecessaire ........................................... 40
II.2 Conditionsuffisante ........................................... 41
III Exercices ..................................................... 42
i

ii TABLE DES MATI ` ERES
5 Probl` emes aux moindres carr´ es 45
I Introduction.................................................... 45
II Les moindres carr´ es lin´ eaires........................................... 45
II.1 Rappels.................................................. 45
II.2 Approximation d’une fonction au sens des moindres carr´ es....................... 46
III La m´ ethodedeNewton .............................................. 47
III.1 Introduction................................................ 47
III.2 Algorithme de Newton pour r´ esoudre f(x) = 0 ............................. 47
III.3 R´ esolution d’´ equations : cas de la dimension n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
III.4 Convergence ............................................... 49
III.5 Application aux probl` emesd’optimisation................................ 50
IV R´ esolution des probl` emes aux moindres carr´ es non lin´ eaires .......................... 51
IV.1 AlgorithmedeNewton.......................................... 51
IV.2 AlgorithmedeGauß-Newton....................................... 51
IV.3 Exemples................................................. 51
6 Probl` emes avec contraintes 55
I Introduction.................................................... 55
II Conditionsdupremierordre ........................................... 56
II.1 Conditions du premier ordre : contraintes sous forme ´ egalit´ es...................... 56
II.2 Qualificationdescontraintes....................................... 59
II.3 Th´ eor` emedeKaruch,KuhnetTucker.................................. 61
II.4 Casconvexe................................................ 62
III Conditionsdusecondordre............................................ 63
III.1 Conditions N´ ecessairesdusecondordre................................. 63
III.2 Conditionssuffisantes .......................................... 64
IV Exercices ..................................................... 65
IV.1 Aveccorrections ............................................. 65
7 Introduction ` a la dualit´ e 67
I Pointselle..................................................... 67
I.1 D´ efinition................................................. 67
I.2 Caract´ erisation .............................................. 68
II Conditionsuffisantedesolution ......................................... 68
II.1 Pointselledelagrangien ......................................... 68
II.2 Condition suffisante de solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
III Dualit´ e....................................................... 69
III.1 D´ efinition du probl` eme dual et th´ eor` emes................................ 69
III.2 Cas d’un probl` eme lin´ eaire........................................ 70
IV Exercice...................................................... 70

Chapitre 5
Probl` emes aux moindres carr´ es
I Introduction
L’objectif de ce chapitre est de r´ esoudre les probl` emes aux moindres carr´ es non-lin´ eaires.
(P1)Min f(β) = 1
2||r(β)||2
β∈Rp.
Dans le cas o` u l’application rest affine, le probl` eme est lin´ eaire et sera r´ esolu facilement. Si rn’est pas affine, il nous faut
d´ evelopper des algorithmes pour calculer une solution. La branche des math´ ematiques qui s’occupe de ces questions pour les
probl` emes d’optimisation continues s’appelle l’optimisation continue et sera abord´ ee en deuxi` eme ann´ ee. Nous allons ici nous
limiter ` a des algorithmes de base pour les probl` emes aux moindres carr´ es, qui sont l’algorithme de Newton et l’algorithme de
Gauß-Newton.
II Les moindres carr´ es lin´ eaires
II.1 Rappels
Consid´ erons le probl` eme aux moindres carr´ es lin´ eaire
(P2) Min f(β) = 1
2||y−Xβ||2
β∈Rp.
Ce probl` eme admet une solution. En effet, ce probl` eme est ´ equivalent ` a r´ esoudre
(P3) Min g(γ) = 1
2||y−γ||2
γ∈ImX⊂Rn.
Comme ImXest un ferm´ e et que gest 0−coercive, le th´ eor` eme 3.II.2.2 d´ emontre l’existence d’une solution.
Remarque II.1.1
Le probl` eme (P3) est en fait le probl` eme de la projection orthogonale du vecteur ysur ImX. Il poss` ede une unique solution
car gest strictement convexe. Par contre le probl` eme initial (P2) poss` ede une ou une infinit´ e de solutions suivant que le rang
de Xest pou est strictement inf´ erieur ` ap.
Le probl` eme (P2) est un probl` eme convexe et diff´ erentiable, par suite une solution est caract´ eris´ ee par les ´ equations,
appel´ ees dans ce cas les ´ equations normales,
∇f(β) = XTXβ −XTy= 0.(5.1)
Illustration graphique II.1.2 Consid´ erons ici la matrice Xcomme l’expression d’une application lin´ eaire de Rp` a valeurs
dans Rn. on a alors
Rp=Ker X⊥⊕Ker XRn= ImX⊕ImX⊥=ImX ⊕Ker (XT)
β∗=X+y γ∗=P rojImX (y)
X+X=P roj(Ker X)⊥XX+=P rojImX
Si rang (X) = p, alors Ker X={~ 0}et β∗= (XTX)−1XTy
45

46 CHAPITRE 5. PROBL ` EMES AUX MOINDRES CARR ´ ES
II.2 Approximation d’une fonction au sens des moindres carr´ es
Le probl` eme de l’approximation d’une fonction fsur un intervalle I⊂Rest fondamentalement diff´ erent de celui de
l’interpolation. Il consiste ` a remplacer la fonction fconsid´ er´ ee par une autre fonction P(x)(en g´ en´ eral plus r´ eguli` ere, et
facile ` a manipuler) de sorte que la distance entre fet Psoit aussi petite que possible.
On peut chercher par exemple un polynˆ ome de bas degr´ e, qui approche la fonction fen un sens ` a pr´ eciser sur l’intervalle
I, ce qui diff` ere du probl` eme d’interpolation qui consiste a trouver un polynˆ ome de degr´ e en g´ en´ eral ´ elev´ e qui co¨ ıncide au
maximum avec la fonction f.
La notion de distance entre les fonctions fet Pest bien ´ evidemment fondamentale dans la d´ efinition du proc´ ed´ e d’ap-
proximation. On pourra par exemple distinguer :
(i) l’approximation au sens de la convergence uniforme, o` u il s’agit de minimiser
max
x∈I|f(x)− P(x)|=kf− Pk∞,
(probl` eme ne relevant pas des moindres carr´ es)
(ii) l’approximation en moyenne quadratique o` u il s’agit de minimiser la quantit´ e
ZI
(f(x)− P(x))2dx =kf− Pk2
L2(I),
(iii) l’approximation au sens des moindres carr´ es discrets, utile lorsque fn’est connue que de mani` ere discr` ete (c’est ` a
dire sur un ensemble fini de points xi∈I,1≤i≤m) ; cette approximation consiste alors ` a minimiser la quantit´ e
m
X
i=1
(f(xi)− P(xi))2.
Approximation en moyenne quadratique
On se propose d’approcher fsur l’intervalle I= [a, b]par une fonction P(x), o` uPest une combinaison lin´ eaire d’un
ensemble de nfonctions donn´ ees uj∈L2(I),j= 1, . . . , n,
P(x) =
n
X
j=1
βjuj(x),
les coefficients βj´ etant donc les inconnues ` a d´ eterminer de fac¸on ` a minimiser la quantit´ e
f(β1, . . . , βn) = kf− Pk2
L2(I)=Zb
a
(f(x)−
n
X
j=1
βjuj(x))2dx .
Remarque : Si on souhaite r´ ealiser une approximation polynˆ omiale de f, il suffira de choisir
uj(x) = xj−1, j = 1,2, . . . , n .
Proposition II.2.1 Soit β∈Rnle vecteur des coefficients βj,j= 1, . . . , n. Une condition n´ ecessaire et suffisante pour que
βr´ ealise le minimum de la fonctionnelle f(β), est que βsoit solution du syst` eme lin´ eaire suivant
n
X
j=1
(uj|ui)βj= (f|ui), i = 1, . . . , n ,
avec
(uj|ui) = Zb
a
uj(x)ui(x)dx
(f|ui) = Zb
a
f(x)ui(x)dx