1 Approximation par les moindres carrés
Dans cette partie du rapport nous allons étudier une méthode appelée approximation au
sens des moindres carrés. Cette méthode permet d’approximer un ensemble de couples (xi, yi)
obtenus de manière aléatoires ou par l’intermédiaire d’une fonction. L’approximation n’est pas
une interpolation car la fonction résultante obtenue après calcul ne passe pas forcément par tous
les couples (xi, yi). En effet, l’approximation par les moindres carrés est obtenue en résolvant un
système d’équations linéaires surdéterminé.
1.1 Rappels d’algèbre linéaire
Définition 1.1. Soit Vun R-espace vectoriel de dimension finie muni d’un produit scalaire
h−,−i. Soient Wun sous-espace vectoriel de Vet (w0, w1,...,wn)une base orthogonale de W.
Soit v∈Vet soit ΠW(v)∈W, la projection orthogonale du vecteur vsur le sous-espace W,
définie par :
ΠW(v) :=
n
X
i=0
hv, wii
hwi, wiiwi.(1.1)
Définition 1.2. Soit Vun R-espace vectoriel de dimension finie muni d’un produit scalaire
h−,−i et soit Wun sous-espace vectoriel de V.L’espace orthogonal à West l’ensemble noté
W⊥défini par :
W⊥:= {v∈V| hw, vi= 0 ∀w∈W}.
C’est un sous-espace vectoriel de V. En effet 0∈W⊥, et si w1, w2∈W⊥,α, β ∈Ralors
∀w∈Won a hαw1+βw2, wi=αhw1, wi+βhw2, wi= 0. Donc αw1+βw2∈W⊥. Remarquons
que pour tout v∈Von a v−ΠW(v)∈W⊥. De plus, si A∈Mn×m(R)alors nous avons
Im(A)⊥=Ker(At)et Ker(A)⊥=Im(At)où on note par Atla transposée de A.
1.2 Meilleure approximation
Théorème 1.3 ([Hess06],page 62).Soit Vun R−espace vectoriel muni d’un produit scalaire
h−,−i. Soit Wun sous-espace vectoriel de Vet soit v∈V. Alors ΠW(v)est la meilleure
approximation de vdans W, dans le sens où
kv−ΠW(v)k<kv−wk,∀w∈W, w 6= ΠW(v)
où k.kest la norme engendrée par le produit scalaire h−,−i.
Fig. 1.1 – Projection du vecteur vdans le sous-espace W
5