Méthodes de Newton Gauss et moindres carrés

La m´ ethode de Newton et ses variantes pour l’optimisation
Thierry Audibert
[e-mail]
21 d´ ecembre 2013
Disponible sur http://www.univenligne.fr sous le nom NewtonGauss.pdf
Table des mati` eres
1 Objectifs du chapitre 2
2 M´ ethode de Newton en dimension 1 2
2.1 Premi` ere approche de la m´ ethodedeNewton ................... 2
2.2 Vitesse ou ordre de convergence d’un m´ ethode it´ erative.............. 5
2.3 De la difficult´ e de mise en œuvre de la m´ ethode de Newton . . . . . . . . . . . . 9
3 M´ ethode de Newton en dimensions sup´ erieures 10
3.1 Brefs rappels de calcul diff´ erentiel ......................... 10
3.2 La m´ ethodedeNewton............................... 14
4 M´ ethodes d’optimisation, g´ en´ eralit´ es 16
4.1 Rechercher les z´ eros du gradient pour optimiser . . . . . . . . . . . . . . . . . . 16
4.2 Un pr´ ealable : minimisation selon une ligne de descente . . . . . . . . . . . . . . 16
5 Probl` emes de moindres carr´ es 24
5.1 Exemples de probl` emes de moindres carr´ es .................... 24
5.2 Algorithme et matrice de Gauss-Newton . . . . . . . . . . . . . . . . . . . . . . 27
5.3 Mise en œuvre : MAPLE et formule harmonique . . . . . . . . . . . . . . . . . 29
5.4 Mise en œuvre : Scilab et formule harmonique . . . . . . . . . . . . . . . . . . . 36
6 M´ ethode quasi-Newton (BFGS) 37
7 Annexe : historique des m´ ethodes de moindres carr´ es 38
8 Correction des exercices 39
1

1 Objectifs du chapitre
La m´ ethode de Newton consiste ` a approcher une solution x∗de l’´ equation f(x)=0pour laquelle
Df(x∗)est inversible en la regardant comme solution de F(x∗) = x∗avec
F(x) = x−D−1f(x)◦f(x).
Nous introduisons la m´ ethode en commenc¸ant par un ´ etude d´ etaill´ ee (convergence, vitesse de
convergence, bassin d’attraction...) pour les fonctions d’une variable r´ eelle. Cela permet de propo-
ser certaines d´ emonstrations au niveau L1. L’´ etude de la m´ ethode pour des fonctions de plusieurs
variables demande un minimum de calcul diff´ erentiel et se situe au niveau L2 et elle est trait´ ee
s´ epar´ ement bien que les r´ esultats soient identiques.
Plus que de r´ esoudre des syst` emes d’´ equations, l’objectif est ici de proposer une m´ ethode d’op-
timisation : on recherche g´ en´ eralement les points r´ ealisant le minimum d’une fonction ` a valeurs
r´ eelles fen recherchant les points en lesquels g=Df (ou f0)s’annule 1. La fonction auxiliaire
s’exprime alors F(x) = x−Dg(x)−1◦g(x)et fait intervenir la hessienne de f:Dg =Hf(ou
g0=f”).
Ce qui fait l’int´ erˆ et de la m´ ethode c’est la rapidit´ e de convergence des suites xn+1 =F(xn)
lorsque convergence il y a. Mais le choix d’un x0assurant cette convergence n’est pas ais´ e et
le calcul de Dg(x)−1=Hf(x)−1peut s’av´ erer coˆ uteux. Cela nous incite ` a introduire comme
m´ ethodes effectives, les m´ ethodes Gauss-Newton pour l’´ etude de probl` emes de moindres carr´ es
puis les m´ ethodes de type quasi-Newton.
Une mise en œuvre de chacune des m´ ethodes expos´ ees est d´ etaill´ ee et impl´ ement´ ee sous MAPLE
et/ou Scilab pour la r´ esolution de probl` emes effectifs : d´ etermination des coefficients de mar´ ee (et
donc pr´ evision des hauteurs de mar´ ee), recherche du centre d’un cercle dont on connait approxi-
mativement quelques points (issu d’une probl` ematique industrielle). C’est encore l’occasion de
discuter des difficult´ es num´ eriques lors du passage au monde r´ eel.
2 M´ ethode de Newton en dimension 1
On rappelle bri` evement le principe de la m´ ethode de Newton pour la r´ esolution approch´ ee d’une
´
equation f(x)=0lorsque f est de classe C2,f0(x∗)6= 0 en x∗tel que f(x∗)=0.
2.1 Premi` ere approche de la m´ ethode de Newton
Th´ eor` eme 1
Soient fune fonction de classe C2sur l’intervalle ouvert I=]a, b[, c un point de Ien lequel
f(c) = 0 et |f0(c)|>0et Fla fonction de classe C1d´ efinie par
F(x) = x−f(x)
f0(x)
Alors,
1. Ce qui, rappelons le, n’est pas une condition suffisante pour que la fonction atteigne un extremum local et encore
moins global en ce point.
2

1. La fonction Fest d´ efinie sur un voisinage ouvert de c;
2. cest un point fixe super attractif de F(ie : F(c) = cet F0(c) = 0).
3. Il existe δ > 0tel que
(a) l’intervalle J= [c−δ, c +δ]est contenu dans DFet stable par f;
(b) pour tout x0∈J, la relation xn+1 =F(xn)pour tout n∈N,d´ efinit une suite de JN
qui v´ erifie en outre
|xn−c|6M2
2m12n−1
|x0−c|2n(2.1)
avec M2= sup |f”(x)|
|x−c|6δ
et m1= inf |f0(x)|
|x−c|6δ
.
4. Il existe un ouvert Ωcontenant ctel que pour tout x0∈Ω,la suite r´ ecurrente d´ efinie par
xn+1 =F(xn)pour tout n∈N,converge vers c(et il existe donc un rang ` a partir duquel
xn∈J).
D´ emonstration (L1)
Soient fune fonction de classe C2sur l’intervalle ouvert I=]a, b[et c∈Itel que que |f0(c)|>0.
•Comme f0est continue, l’ensemble des points en lesquels |f0(x)|>0est ouvert 2 3 dans I et
contient c;on a bien sˆ ur F(c) = cet F0(x) = f”(x)f(x)
f02(x)est nulle en x=c.
•Comme F0est continue (Fest de classe C1) et F0(c)=0,il existe δ > 0tel que
J= [c−δ, c +δ]⊂DFet ∀x∈J, |F0(x)|<1.
L’intervalle Jest donc stable par F. En effet, par le th´ eor` eme des accroissements finis, pour tout
x∈J, il existe tx∈J(compris entre xet c) tel que
|F(x)−F(c)|=|F(x)−c|≤|F0(tx)||x−c|<|x−c|< δ
En particulier, la relation xn+1 =F(xn)d´ efinit une suite d’´ el´ ements de Jpour tout x0∈J.
•Soit x0∈Jet (xn)nd´ efinie par xn+1 =F(xn).
Observons que
xn+1 −c=xn−f(xn)
f0(xn)−c=−f(xn) + f0(xn)(c−xn) f0(xn)
et par la formule de Taylor-Lagrange, il existe un point txncompris entre xnet ctel que
f(c) = f(xn) + f0(xn)(c−xn) + 1
2f”(txn)(c−xn)2
2. Rappel de Topologie niveau L2 (en 2012) : si fest continue, l’image r´ eciproque d’un ouvert est un ouvert
3. Si cette notion n’est pas claire pour vous, sachez qu’une preuve d’un r´ esultat analogue, de niveau L1, est d´ etaill´ ee
dans la d´ emonstration du th´ eor` eme 3
3

Comme f(c) = 0,on retrouve avec M2= sup |f”(x)|
|x−c|6δ
et m1= inf |f0(x)|
|x−c|6δ
:
|xn+1 −c|=
f(xn) + f0(xn)(c−xn)
f0(xn)
=|f”(txn)|
2(c−xn)2| ≤ M2 2m1|xn−c|2(2.2)
m1et M2sont bien d´ efinis puisqu’une fonction continue sur un segment de Rest born´ ee (et atteint
ses bornes).
•A partir de l` a, on d´ emontre par r´ ecurrence sur nla relation (2.1) :
|xn−c|6M2
2m12n−1
|x0−c|2n
– Elle est imm´ ediate pour n= 0.
– Supposons (2.1) ´ etablie pour une certaine valeur de n. En substituant dans (2.2), il vient
|xn+1 −c| ≤ M2
2m1|xn−c|2
≤M2
2m1 M2 2m12n−1
|x0−c|2n!2
≤M2
2m12n+1−2+1
|x0−c|2n+1
•On observera que la derni` ere in´ egalit´ e n’implique pas la convergence. Par contre, comme elle
est de la forme
M2
2m1×M2 2m1|x0−c|2n+1
la suite converge d` es lors que M2
2m1|x0−c|<1.L’ouvert Ω =]c−δ1, c +δ1[avec δ1<
min δ, M2
2m1fait donc l’affaire.
4

Th´ eor` eme 2 bassin d’attraction de c
Sous les hypoth` eses du th´ eor` eme 1, l’ensemble des points x0∈Ipour lesquels la suite r´ ecurrente
d´ efinie par xn+1 =F(xn)pour tout n∈N,converge vers cest un ouvert de I. On l’appelle
bassin d’attraction du point fixe c.
D´ emonstration (L2) 4
Notons Wcl’ensemble des points a∈Ipour lesquels la suite r´ ecurrente d´ efinie par x0=aet
xn+1 =F(xn)pour tout n∈N,converge vers c.
Consid´ erons x0∈Wc.Il existe un rang Nx0` a partir duquel xn∈Ω =]c−δ1, c +δ1[o` uδ1est
d´ efini comme dans la d´ emonstration du th´ eor` eme 1. Observons au passage que Ωest stable par F
et donc par ses it´ er´ ees.
Comme la fonction it´ er´ ee F(Nx0)est continue, O=F(Nx0)−1(Ω) est un ouvert de I. Or, pour
tout y0∈O, la suite (yn)n(notation suppos´ ee ´ evidente) est bien d´ efinie et telle que yNx0+p∈Ω
pour tout p∈N.
Par construction de Ω,
|yNx0+p−c|6M2
2m12p−1
yNx0−c
2p→0
et lim yn=c. Nous avons montr´ e que y0∈O⇒y0∈Wc.
Ainsi, Wcest voisinage de chacun de ses points et c’est bien un ouvert.
2.2 Vitesse ou ordre de convergence d’un m´ ethode it´ erative
D´ efinition 1 vitesse de convergence
On dit qu’une suite (xn)nde limite `a une convergence d’ordre p∈Nlorsque le quotient
|xn+1 −`|
|xn+1 −`|p
admet une limite strictement positive (ce qui suppose qu’il soit d´ efini ` a partir d’un certain rang).
Lorsque p= 1 on parle de convergence g´ eom´ etrique ou lin´ eaire, lorsque p= 2 on parle de
convergence quadratique.
Illustrons cette notion en montrant qu’une suite r´ ecurrente (ou syst` eme dynamique) admet une
convergence lin´ eaire, alors que la m´ ethode de Newton est quadratique. Le but est ici de mettre
en valeur la rapidit´ e de convergence de la m´ ethode de Newton qui fait tout son int´ erˆ et malgr´ e les
probl` emes que l’on rencontre pour la mettre en œuvre. Remarquons au passage que la d´ emonstration
du th´ eor` eme (3) fait apparaˆ ıtre tous les paradigmes 5de l’´ etude des suites r´ ecurrentes et c’est pour-
quoi nous l’avons d´ etaill´ ee.
4. pour la notion d’image r´ eciproque d’un ouvert
5. Consulter un dictionnaire
5