Cours 6 : Interpolation - IA

Introduction
Le problème
Méthode
Interpolation
Interpolation polynomiale de f
Exemple
Introduction
Interpolation de L AGRANGE
Spline Cubique
V IET H UNG N GUYEN - FABIEN R ICO
Régression linéaire
[email protected]
EPU Pierre et Marie Curie - Sicence de la Terre
- p. 1/42
Introduction
- p. 2/42
Le problème
L’interpolation sert à transformer un ensemble de points en une
courbe
Ensemble discret 7→ fonction continue
Introduction
■
Le problème
Méthode
Interpolation polynomiale de f
Exemple
Soit une fonction f que l’on connaît sur un petit nombre de
points. C’est à dire que l’on connaît les valeurs
a0 < a1 < · · · < an et f0 , f1 , . . . fn telles que :
∀i ∈ {0, 1, . . . , n}
Interpolation de L AGRANGE
fi
= f (ai )
Spline Cubique
■
Synthèse d’images (dessin vectoriel)
■
Fonts
■
Étude mathématique d’un ensemble de valeurs
■
Prévisions
Introduction
Le problème
Méthode
Interpolation polynomiale de f
Exemple
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Régression linéaire
■
On souhaite mieux connaître f ,
◆ calculer f (x) sur un grand nombre de points
◆ connaître des propriétés mathématiques de f (par ex
l’intégrale).
■
Mais on ne connaît pas f explicitement
◆ échantillonage,
◆ fonction calculée par un code dont l’exécution est coûteuse
⇒Il faut « représenter » f par une fonction simple
Comment choisir cette fonction ?
Introduction
- p. 3/42
Introduction
- p. 4/42
Interpolation polynomiale de f
Méthode
Soit g la fonction qui « représente » f .
■
Introduction
Le problème
g doit être proche de f c’est à dire :
◆
Méthode
Interpolation polynomiale de f
coïncider avec f sur les points ai (i=0. . . n)
■ polynôme d’interpolation de L AGRANGE
■ splines
Exemple
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
■
■
Nous ne nous intéresserons d’abord qu’au cas où g est une
fonction polynomiale ou polynomiale par morceaux.
ou minimiser l’erreur sur les ai (moindre carré).
Par exemple :
◆
avoir des dérivées qui coïncident avec celles de f (B EZOUT).
■
polynômes de TAYLOR
■
polynômes de C HEBYSHEV
■
polynômes Minimax
Introduction
Le problème
Méthode
Interpolation polynomiale de f
Bases mathématiques
Théorème (S TONE -W EIERSTRASS) Toute fonction continue sur un
intervalle [a, b] de IR est limite uniforme d’une suite de polynômes
◆
g doit être simple
◆ fonctions polynomiales,
◆ fonctions polynomiales par morceaux
◆ fonctions rationnelles
◆ fonctions trigonométriques
g doit avoir de bonnes propriétés
◆ régulière (C n )
◆ comportement entre les points d’interpolation
◆ avoir des bornes d’erreurs sur f (x) − g(x)
Introduction
Exemple
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Cela ne fonctionne que sur un intervalle fini de IR
- p. 5/42
Introduction
- p. 6/42
Exemple
Introduction
Introduction
Le problème
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Méthode
Interpolation polynomiale de f
Exemple
Interpolation de L AGRANGE
Interpolation de L AGRANGE
Spline Cubique
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
Régression linéaire
Autres méthodes
Spline Cubique
TAYLOR en 0
Minimax sur
[−4.5, 4.5]
Introduction
Régression linéaire
sin(x)
x3
x5
x7
x−
+
−
6
5!
7!
−.818764947 × 10−8 + .9016098105x
+.961831992 × 10−8 x2 − 0.1238187316x3
−.1711139741 × 10−8 x4 + .3418771013 × 10−2 x5
- p. 7/42
Interpolation de L AGRANGE
- p. 8/42
Polynôme d’interpolation de L AGRANGE
Preuve et polynôme de L AGRANGE
Introduction
Dans ce chapitre g sera le polynôme de degré n qui est égal à la
fonction f sur tous les point a0 , a1 , . . . an .
Théorème (Polynôme d’interpolation) Soient les n + 1 points
distincts
(a0 < a1 < · · · , an ) ∈ IRn+1 ,
il existe un unique polynôme P de degré n qui coupe la fonction f
sur ces points i.e. tel que :
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Soient les n + 1 points distincts (a0 < a1 < · · · , an ) ∈ IRn+1 , on
appelle base de L AGRANGE les polynômes de la forme :
Li (x)
Exemple
Calcul de l’erreur d’interpolation
n
Y
=
k=0,k6=i
Exemple
Étude de la formule d’erreur
Exemple
Spline Cubique
∀i, j
Régression linéaire
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
(
Autres méthodes
∀i ∈ {0, . . . , n}
x − ak
ai − ak
Introduction
Li (aj ) =
Exemple
Autres méthodes
1
0
si i = j
si i 6= j
Spline Cubique
Régression linéaire
Le polynôme :
P (ai )
= f (ai )
P (x) = f0 L0 (x) + f1 L1 (x) + · · · + fn Ln (x)
Convient. On l’appelle polynôme d’interpolation de L AGRANGE
L’unicité est à démontrer en exercice.
Introduction
- p. 9/42
Introduction
- p. 10/42
Exemple
Calcul de l’erreur d’interpolation
Introduction
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
b
b
a5
a4
Exemple
Calcul de l’erreur d’interpolation
b
b
b
a6
a3
a0
b
b
Théorème ∀x ∈ [a, b] il existe η ∈ [a0 , an ] tel que
Exemple
1
f (x) − P (x) =
f (n+1) (η)φ(x)
(n + 1)!
avec
φ(x) = (x − a0 )(x − a1 ) · · · (x − an )
Étude de la formule d’erreur
Exemple
Autres méthodes
Spline Cubique
a2
a1
Si on interpole la fonction f C n+1 sur l’intervalle [a, b], par le
polynôme P (x) de degré n, grâce au points d’interpolation
a0 < a1 < · · · < an .
Régression linéaire
Introduction
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
Autres méthodes
Spline Cubique
Régression linéaire
Idée de la preuve :
φ(z)
On étudie la fonction g(z) = f (z) − P (z) − (f (x) − P (x)) φ(x)
⇒ g ′ s’annule n + 1 fois
...
⇒ g (n+1) s’annule une fois en η
= (n + 1)! et P (n+1) = 0.
g s’annule n + 2 fois
Or φ(n+1)
Introduction
- p. 11/42
Introduction
- p. 12/42
Exemple
Étude de la formule d’erreur
Introduction
Introduction
f (x) − P (x) =
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
b
avec
1
(n+1)
(η)φ(x)
(n+1)! f
φ(x) = (x − a0 )(x − a1 ) · · · (x − an )
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
b
b
b
b
b
b
b
b
b
b
b
b
Autres méthodes
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Exemple
L’erreur dépend de :
1
■
(n+1)! qui tend vers 0 si n → ∞.
■
Spline Cubique
Régression linéaire
■
2
f (x) = 0.5 + 2 × e10x
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
φ(x) qui tend vers ∞ quand x → ∞ .
⇒ problèmes quand x → ∞
(n+1)
f
(η) qui dépend de la fonction f et de l’intervalle [a0 , an ].
⇒ problèmes si un point est très différent des autres
(f (n+1) >> 1)
⇒ le polynôme a tendance à osciller entre les points
d’interpolations
Autres méthodes
Spline Cubique
Régression linéaire
Certaines fonctions simples seront mal interpolées par un
polynôme.
Introduction
- p. 13/42
Introduction
Exemple
- p. 14/42
Autres méthodes
Introduction
Comment améliorer l’interpolation ?
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
■
On découpe l’intervalle en petits morceaux,
■
On utilise des polynômes de petit degré pour approcher la
fonction sur chaque sous-intervalle.
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
b
Introduction
b
b
b
b
b
b
b
b
b
b
b
b
Interpolation de L AGRANGE
Polynôme d’interpolation de
L AGRANGE
Preuve et polynôme de
L AGRANGE
Exemple
Calcul de l’erreur d’interpolation
Exemple
Étude de la formule d’erreur
Exemple
Autres méthodes
Autres méthodes
Spline Cubique
Par exemple :
Régression linéaire
■
Fonctions linéaires par morceaux
■
Fonctions quadratiques par morceaux
■
Les splines cubiques (polynôme de degré 3 par morceau).
- p. 15/42
Introduction
Introduction
Spline Cubique
Régression linéaire
- p. 16/42
Définition
Introduction
Interpolation de L AGRANGE
Spline Cubique
Définition
Étude de g
Spline Cubique
′′
Étude de g
′
Étude de g
Cas des points réguliers
Algorithme
Exemple
Régression linéaire
Définition On appelle spline cubique d’interpolation une fonction
notée g qui vérifie :
■ g(ai ) = f (ai ) pour i = 0, 1 . . . , n
■ g coïncide avec un polynôme de degré 3 sur chaque sous
intervalle [ai , ai+1 ]
■ g est C 2 sur [a0 , an ] (deux fois continue et dérivable).
Cette définition ne permet pas de déterminer la fonction de façon
unique. Souvent on rajoute une condition par exemple :
g ′′ (a0 ) =
g ′′ (an ) =
Introduction
Interpolation de L AGRANGE
Spline Cubique
Définition
Étude de g
Étude de g
Étude de g
′′
′
Cas des points réguliers
Algorithme
Exemple
Régression linéaire
0
Ce qui définit une spline naturelle.
Spline Cubique
Introduction
- p. 17/42
- p. 18/42
Étude de g ′′
g coïncide avec un polynôme de degré 3 sur chaque intervalle
[ai , ai + 1]. Soit gi ce polynôme.
On peut intégrer gi′′ ce qui donne :
Introduction
Interpolation de L AGRANGE
(ai+1 − x)2
(x − ai )2
− mi
+ ui
2hi
2hi
3
3
(ai+1 − x)
(x − ai )
+ mi
+ ui (x − ai ) + vi
gi (x) = mi+1
6hi
6hi
gi′ (x) = mi+1
Spline Cubique
gi′′ est une droite sur [ai , ai + 1].
Définition
′′
Étude de g
Étude de g
Donc g ′′ est complètement déterminé par les valeurs :
Étude de g
′
Cas des points réguliers
= g ′′ (ai )
mi
Étude de g
Algorithme
Exemple
avec ui , vi ∈ IR2
On cherche à éliminer les inconnues ui et vi .
On connaît les valeurs de g sur les points ai donc
Régression linéaire
On appelle les valeurs mi les moments au noeud numéro i.
On note aussi
hi
=
ai+1 − ai
Alors :
gi′′ (x)
= mi+1
fi
=
gi (ai+1 ) =
Ce qui donne
fi+1
=
ai+1 − x
x − ai
+ mi
hi
hi
et
Introduction
Étude de g
= 6
mi
hi−1
2 mi
h2i
6
+ vi
+ ui hi + vi
hi
1
hi (fi+1 − fi ) − 6 (mi+1 − mi )
hi−1
1
(f
−
f
)
−
i
i−1
hi−1
6 (mi − mi−1 )
Par exemple, si les points ai sont équidistants i.e.
Introduction
Interpolation de L AGRANGE
∀i, hi = h.
+ ui−1
Spline Cubique
Définition
1
1
(fi+1 − fi ) −
(fi − fi−1 )
hi
hi−1
pour i = 1, 2, . . . n − 1.
Cela nous donne n − 1 équations en les variables mi à résoudre.
Donc n − 1 équations et n + 1 inconnues.
Pour obtenir une solution unique, il faut rajouter deux équations :
m0
mn
=
Cas des points réguliers
En combinant cela avec les deux résultats précédents, on trouve :
hi−1 mi−1 + 2(hi + hi−1 )mi + hi mi+1
=
=
h2i
6 mi+1
- p. 20/42
′
Enfin, on doit avoir continuité des dérivées donc :
′
= gi′ (ai ) = gi−1
(ai ) =
ui
ui−1
3
i)
+ vi
mi (ai+16h−a
i
Introduction
- p. 19/42
− h2i mi + ui
gi (ai ) =
= 0
= 0
Alors, le système à résoudre est :


1

1 4 1
0



 . . .
.. .. ..


−

→

1 4 1
m =

.. .. ..


. . . 


1 4 1


0
1
Étude de g


0

 6


 h2 (f0 − 2f1 + f2 ) 


..


.

 6
 h2 (fi−1 − 2fi + fi+1 ) 


..



6
.
 2 (fn−2 − 2fn−1 + fn )

h
0
Étude de g
Étude de g
′′
′
Cas des points réguliers
Algorithme
Exemple
Régression linéaire
Cela permet d’obtenir la valeur des moments mi et d’en déduire les formules
de gi (x).
Introduction
- p. 21/42
Introduction
- p. 22/42
Exemple
Algorithme
■
Calcul des gi :
◆ Calcul des moments mi par la résolution du système linéaire
◆ ∀i ∈ {0, 1, . . . , n − 1} calculer les valeurs
hi
ui
vi
■
Introduction
Interpolation de L AGRANGE
b
Spline Cubique
Définition
Étude de g
= ai+1 − ai
1
hi
=
(fi+1 − fi ) − (mi+1 − mi )
hi
6
h2i
= fi − mi
6
′′
Étude de g
′
Étude de g
Cas des points réguliers
Algorithme
b
b
b
b
b
b
b
Exemple
b
b
b
b
b
Régression linéaire
Calcul de g(x) :
◆ Trouver l’intervalle qui contient x i.e. trouver i tel que x ∈ [ai , ai+1 ]
◆ Calculer
g(x) =
Introduction
gi (x)
3
3
−x)
i)
= mi+1 (x−a
+ mi (ai+1
+ ui (x − ai ) + vi
6hi
6hi
- p. 23/42
Introduction
- p. 24/42
Problème de lissage
Introduction
Introduction
4
Interpolation de L AGRANGE
Spline Cubique
3
Régression linéaire
Régression linéaire
Problème de lissage
Le problème
Projection orthogonale
Remarques
Cas des matrices inversibles
0
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général (suite)
La méthode
Exemple
Moindres carrés
Conclusion
Régression linéaire
- p. 25/42
b
b
b
b
b
b
b
Interpolation de L AGRANGE
b
b
Spline Cubique
b
b
b
1
Équation normale
Cas général
b
2
Formulation matricielle
b
b
Régression linéaire
b
Problème de lissage
Le problème
b
Formulation matricielle
Projection orthogonale
b
Remarques
b
0
b
Équation normale
Cas des matrices inversibles
b
Cas des matrices orthogonales
1
2
3
On a une famille de points du plan (xi , yi )1≤i≤m et on cherche à
approcher cette famille par une fonction f .
■ polynôme d’interpolation : minimisation de l’erreur sur les points
d’interpolation pas sur les autres
■ Spline cubique : fonction complexe et seulement C 2
■ approximation au moindres carrés par une famille de fonctions :
minimisation de l’erreur générale.
Introduction
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
4
Cas général
Cas général (suite)
La méthode
Exemple
Moindres carrés
Conclusion
- p. 26/42
Le problème
On a :
une famille de points (xi , yi ), i = 1, . . . , m
■ une famille de fonctions φj j = 1, . . . n linéairement
indépendantes (n ≤ m)
et on cherche la fonction de la forme
■
φ =
n
X
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
■
Projection orthogonale
u j φj
Équation normale
Remarques
Cas des matrices inversibles
■
Cas des matrices orthogonales
telle que la suite (φ(xi ))i=1,...,m représente au mieux la suite
(yi )i=1,...,m c’est à dire qui minimise :
f (u) =
■
Interpolation de L AGRANGE
Formulation matricielle
j=1
m
X
Introduction
(φ(xi ) − yi )
2
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
C’est un système avec n degrés de liberté et m contraintes.
◆ En général, m > n.
◆ Il n’y a pas de résultat exacte.
◆ C’est une méthode d’approximation.
On trouve toujours une solution.
◆ En générale la fonction φ ne passe pas par les points.
◆ On trouve la solution la moins mauvaise.
Minimisation de l’erreur générale
◆ On doit connaître le comportement de la fonction représentée
◆ Lissage du bruit
Introduction
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
Cas général (suite)
La méthode
La méthode
Exemple
Exemple
Moindres carrés
Moindres carrés
Conclusion
Conclusion
i=1
On parle alors de lissage ou de régression
Introduction
- p. 27/42
Introduction
- p. 28/42
Formulation matricielle
Soit la matrice rectangulaire A ∈ Mm,n (IR) et le vecteur y définis
par :


. . . φn (x1 )

 φ1 (x1 ) φ2 (x1 )





y1
.
.
.
φn (x2 ) 
 φ1 (x2 ) φ2 (x2 )



 y2


 et y =  .
A = 
 .


..
..
..
..


 .
.
.
.
.




ym




φ1 (xm ) φ2 (xm ) . . . φn (xm )
Projection orthogonale
Introduction
Interpolation de L AGRANGE
Spline Cubique
Si u décrit l’espace vectoriel IRn , alors, Au décrit Im(A).
On cherche ū qui minimise kAu − yk donc Aū est le projeté
orthogonal de y sur Im(A) :
Régression linéaire
y
Problème de lissage

Le problème





Formulation matricielle
Projection orthogonale
Équation normale
Remarques
hai , yi
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Le problème
ai Aū
t
Cas général
Cas général (suite)
La méthode
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général (suite)
La méthode
Exemple
AAū
Moindres carrés
f (u) = kAu − yk
Formulation matricielle
Cas général
Donc ū est un vecteur tel que :
Exemple
On cherche alors à minimiser la fonction :
Spline Cubique
Problème de lissage
= hai , Aūi + hai , vi
=
Interpolation de L AGRANGE
Régression linéaire
= Aū + v
Avec v ∈ Im(A)⊥
Soit ai la ie colonne de la matrice A, alors ∀i ∈ {1, . . . , n}
Cas des matrices inversibles
Introduction
t
Conclusion
=
Ay
Moindres carrés
t
Conclusion
2
C’est ce qu’on appelle problème des moindres carrés.
Introduction
- p. 29/42
Introduction
Remarques
Équation normale
Inversement, tout vecteur ū tel que
AAū
t
=
Introduction
Interpolation de L AGRANGE
Ay
t
Spline Cubique
minimise la norme : kAū − yk
En effet, si tAAu = tAy = tAAū alors :
t
AAu − tAAū = 0
t
AA(u − ū) = 0
u − ū ∈ Ker(tAA)
⊥
Or Ker( A) = (Im(A)) , donc u − ū ∈ Ker( AA) implique
t
t
u − ū ∈ Ker(A)
Donc
Au = Aū
kAu − yk = kAū − yk
Cette équation est appelée équation normale
Introduction
- p. 30/42
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
La méthode
Exemple
Moindres carrés
Conclusion
- p. 31/42
Soit A ∈ Mm,n (IR), n ≤ m alors
L’équation normale tAAu = tAy admet toujours au moins une
solution.
◆ pour toute matrice M on a :
⊥
Ker(tM ) = (Im(M )) et Ker(tM M ) = Ker(M ).
⊥
◆ Donc, tAy ∈ (Ker(A)) .
⊥
◆ Et (Ker(A))
= (Ker(tAA))⊥
= Im (t(tAA))
= Im (tAA) .
◆ Donc tAy ∈ Im (tAA) et l’équation admet une solution.
■ Si rang(A) = n, la solution est unique.
−
→
◆ Car Ker(A) = { 0 }
■
Introduction
Introduction
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
La méthode
Exemple
Moindres carrés
Conclusion
- p. 32/42
Cas des matrices inversibles
Si A est une matrice carrée (m = n) et que A est de rang n.
■
Cas des matrices orthogonales
Introduction
Alors A est inversible,
Interpolation de L AGRANGE
Le système
Régression linéaire
Revenons au cas où n ≤ m, si les colonnes de la matrice A sont
orthonormées, c’est à dire si ∀i, j ∈ {1, . . . , n}2
Spline Cubique
ai aj
t
■
= δij
(δij = 0 si i 6= j et δii = 1)
Problème de lissage
Le problème
Au
= y
■
ū
= A−1 y
Remarques
La méthode











R
Moindres carrés
Conclusion
Introduction
- p. 34/42
Cas des matrices triangulaires (suite)
Introduction
Interpolation de L AGRANGE
Quel que soit le choix de u, les m − n dernières coordonnées de
Au seront nulles, donc
Spline Cubique
2
kAu − yk
Problème de lissage
Le problème
Formulation matricielle
■
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Conclusion
■
■
■
On décompose A en Q ∈ Omm (orthogonale) et R ∈ Mmn
(triangulaire supérieure) ;
on calcule Z = tQY ;
◆ les n premières lignes de Z forment le vecteur c qui est le
projeté orthogonale de Y sur Im(A) ;
◆ les m − n dernières lignes de Z forment le vecteur d ;
◆ les n premières lignes de R forment la matrice S, qui est
triangulaire supérieure ;
on calcule u solution du système linéaire Su = c ;
alors u est solution du problème des moindres carré et l’erreur
kAu − Y k =
Introduction
Régression linéaire
Problème de lissage
Formulation matricielle
Projection orthogonale
Équation normale
Remarques
Cas des matrices inversibles
■
On peut donc trouver ū tel que Ru = c, car on dans le cas d’une
matrice carrée inversible.
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
La méthode
Exemple
■
La valeur minimisant cette norme est u = R
−1
c.
Introduction
Moindres carrés
Conclusion
- p. 36/42
Cas général (suite)
Introduction
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Q est une matrice orthogonale donc elle ne modifie par la norme :
∀v ∈ IRm ,
p
tv tQQv
kQvk =
√
t
=
vv
= kvk
Équation normale
Remarques
Cas des matrices inversibles
Interpolation de L AGRANGE
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices orthogonales
kQRu − yk
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
= k QQRu − Qyk
t
t
= kRu − tQyk
Cas général
Cas général (suite)
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
La méthode
La méthode
Exemple
Moindres carrés
Introduction
Équation normale
En particulier,
Exemple
où R est une matrice triangulaire de même rang que A.
On se ramène alors au problème précédant.
Introduction
Moindres carrés
Conclusion
- p. 38/42
Exemple
La méthode
■
Interpolation de L AGRANGE
Le problème
Exemple
- p. 37/42
kAu − Y k
= kRu − ck + kdk
Si A est de rang n, alors R est inversible.
La méthode
Conclusion
Soient m ≥ n, A ∈ Mmn et Y un vecteur de IRm . Pour chercher u
tel que u soit le vecteur qui mminimise
2
Minimiser la valeur kAu − yk revient à minimiser la valeur
kRu − ck
Cas général
Introduction
2
■
Cas général (suite)
Moindres carrés
Introduction
Spline Cubique
Régression linéaire
- p. 35/42
Dans le cas général, A n’est pas orthogonale ni triangulaire.
Par contre si A est de rang n, il est possible de décomposer la
matrice A en le produit de deux matrices :
■ une matrice carrée orthogonale Q ∈ Mmm
■ une matrice triangulaire R ∈ Mmn de rang n.



r11




R 



r22









..
Q
A = 


.





r
nn 






La méthode
Exemple
Cas général
Introduction
Cas général (suite)
Conclusion
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Alors posons
!
c
■ y =
où c est le vecteur formé des n premières
d
coordonnées de y et d celui formé par les m − n suivantes.
■ R ∈ Mn,n (IR) la matrice carrée triangulaire supérieure formée
par les n premières lignes de A.
Cas général
t
Moindres carrés
Cas des matrices triangulaires





= 





Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Ay
Ay
t
Exemple
- p. 33/42
Si A est une matrice triangulaire de rang n :


Cas des matrices orthogonales
AAū =
ū =
Cas général (suite)
Introduction
Cas des matrices inversibles
t
Cas général
−
→
ū minimise kAu − yk car Au − y = 0
A
Équation normale
Alors le calcul de ū est simple :
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
par une méthode de résolution de système linéaire
■
Projection orthogonale
Remarques
Il suffit donc de calculer :
Régression linéaire
Formulation matricielle
AA = Inn
t
Équation normale
Cas des matrices orthogonales
Spline Cubique
Le problème
Projection orthogonale
Cas des matrices inversibles
Interpolation de L AGRANGE
Problème de lissage
Cela signifie que
Formulation matricielle
a une solution ū unique.
Introduction
Introduction
Interpolation de L AGRANGE
Trouver la parabole qui passe au plus près des points (−4, 3)
,(−1, −3) ,(0, −1) ,(1, 3) ,(2, 9)
Introduction
Interpolation de L AGRANGE
Spline Cubique
Spline Cubique
Régression linéaire
Régression linéaire
Problème de lissage
Problème de lissage
Le problème
Le problème
Formulation matricielle
Formulation matricielle
Projection orthogonale
Projection orthogonale
Équation normale
Équation normale
Remarques
Remarques
Cas des matrices inversibles
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général
Cas général (suite)
Cas général (suite)
La méthode
La méthode
Exemple
Exemple
Moindres carrés
Moindres carrés
Conclusion
Conclusion
kdk
- p. 39/42
Introduction
- p. 40/42
Conclusion
Moindres carrés
■
■
■
Le problème étudié est un problème de régression linéaire,
◆ la fonction φ est une combinaison linéaire des paramètres
u 1 , . . . , un
◆ utilisation d’une nouvelle décomposition A = QR
Il est possible d’avoir des problèmes non linéaires,
◆ Par exemple approximation d’un ensemble de points par une
fonction de la forme aebx où a et b sont les paramètres.
Cas des matrices de rangs inférieurs à n.
Introduction
Interpolation de L AGRANGE
Introduction
■
Spline Cubique
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Équation normale
Polynôme d’interpolation
◆ autres méthodes de calcul (base de N EWTON)
◆ fonctions polynomiales (régulières ?)
◆ problème en ∞
◆ problème de convergence (augmenter le nombre de points
d’interpolation n’améliore pas la fonction).
Remarques
Cas des matrices inversibles
Cas des matrices orthogonales
Cas général
Cas général (suite)
La méthode
Exemple
Moindres carrés
Spline cubique
◆ généralisable aux splines de degré n (C n−1 ).
◆ augmenter le nombre de points d’interpolation améliore la
fonction
◆ fonction complexe (Régulière ?).
Conclusion
Régression linéaire
Problème de lissage
Le problème
Formulation matricielle
Projection orthogonale
Équation normale
Cas des matrices inversibles
Cas des matrices orthogonales
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Cas général
Cas général (suite)
La méthode
Exemple
Moindres carrés
Conclusion
■
- p. 41/42
Spline Cubique
Remarques
■
Cas des matrices triangulaires
Cas des matrices triangulaires
(suite)
Introduction
Interpolation de L AGRANGE
Régression linéaire
◆ fonction régulière
◆ passe au plus près de tous les points
◆ l’utilisateur impose la forme (il y a toujours une « solution »)
◆ la fonction obtenue ne passe pas par les points.
Introduction
- p. 42/42