Résumés du cours d`alg`ebre linéaire - ANMC

Algèbre linéaire pour GM
Prof. A. Abdulle
Automne 2014
EPFL
Résumés du cours d’algèbre linéaire
1
Introduction
1.1
Introduction aux systèmes d’équations linéaires
(cf. Section 1.1 de [1])
Systèmes d’équations, interprétation géométrique de systèmes linéaires (plan, espace à
trois dimensions), notation matricielle d’un système linéaire, matrice augmentée d’un
système linéaire.
1.2
Résolution dun systme déquations linéaires
(cf. Section 1.2 de [1])
Systèmes linéaires équivalents, opérations sur un système linéaire qui ne modifient pas
l’ensemble de solutions (permutation, addition d’un multiple d’une autre équation,
multiplication d’une équation par une constante non nulle).
Théorème 1. Les opérations de type 1, 2, 3 transforment un système linéaire en un
système équivalent.
Algorithme de réduction, forme échelonnée, forme échelonnée réduite, position
pivot, variables de base et variables libres.
Théorème 2. Un système linéaire est
compatible si et seulement si la matrice augmentée n’a pas de ligne de la forme 0 0 · · · c avec c non nul. Pour un système
linéaire compatible, on a une solution unique s’il n’y a pas de variables libres et une
infinité de solutions sinon.
1.3
Vecteurs et équations vectorielles
(cf. Section 1.3 de [1])
Notion de vecteur, l’espace Rn . Combinaisons linéaires de vecteurs, équivalence entre
solutions de systèmes linéaires et solutions d’équations vectorielles associées (cf. résultat
fondamental à la page 34 dans [1]), ensemble des combinaisons linéaires de v1 , v2 , . . . , vp
vecteurs de Rn , la notion de span d’une collection de vecteurs et sous-ensembles de Rn .
1.4
Équations matricielles et systèmes linéaires
Produit matrice vecteur.
Théorème 1. Soit A une matrice m × n. Alors
1. A(u + v) = Au + Av pour tout u, v ∈ Rm ,
2. A(αu) = αA(u) pour tout u ∈ Rm et tout α ∈ R.
1
(cf. Section 1.4 de [1])
Théorème 2. Soit A une matrice m × n; Ax = b a le même ensemble de solutions que
l’équation vectorielle x1 a1 + · · · + xn an = b, où ai est
la i-ième colonne de la matrice
A, ou que le système linéaire de matrice augmentée a1 a2 · · · an b .
Théorème 3. Soit A une matrice m × n, alors les énoncés suivants sont équivalents:
• pour chaque b de Rm , Ax = b admet une solution,
• tout b de Rm est une combinaison linéaire des colonnes de A,
• les colonnes de A engendrent Rm ,
• A a une position pivot dans chaque ligne.
1.5
Ensembles de solutions des systèmes linéaires
(cf. Section 1.5 de [1])
Notion de système homogène Ax = 0, où A est une matrice m × n.
Théorème 1. Ax = 0 admet une solution non triviale si et seulement si l’équation a
au moins une variable libre.
Systèmes non homogènes Ax = b.
Théorème 2. Supposons que Ax = b est compatible et soit p une solution du système.
Alors l’ensemble des solutions de Ax = b est l’ensemble des vecteurs x = p + v où v est
une solution de l’équation homogène Ax = 0.
1.6
Indépendance linéaire
(cf. Section 1.7 de [1])
Définition d’(in)dépendance linéaire d’un ensemble de vecteurs (v1 , v2 , . . . , vp ) de Rn .
Théorème 1. Soit A une matrice m × n. Les colonnes de A sont linéairement
indépendantes si et seulement si l’équation Ax = 0 n’admet que la solution triviale.
Théorème 2. Un ensemble indicé S = (v1 , v2 , . . . , vp ), où vi sont des vecteurs de Rn
avec p ≥ 2, est linéairement dépendant si et seulement si au moins l’un des vecteurs de
S est une combinaison linéaires des autres.
Notion de base de Rn et base canonique de Rn .
1.7
Introduction aux transformations linéaires
(cf. Section 1.8 de [1])
Notion de transformation T : Rn → Rm , domaine de définition, ensemble d’arrivée,
image d’un vecteur x, image de l’application T .
Définition d’une transformation linéaire, exemples de transformations linéaires (symétrie,
projection, etc.).
1.8
La matrice d’une transformation linéaire
(cf. Section 1.9 de [1])
Matrice d’une transformation linéaire, matrice canonique d’une transformation linéaire.
Théorème 1. Soit T : Rn → Rm une transformation linéaire. Alors il existe une
unique matrice A de dimension m × n, telle que T (x) = Ax, où x est un vecteur de Rn .
2
Applications injectives, surjectives et bijectives.
Théorème 2. Soit T : Rn → Rm une transformation linéaire. Alors T est injective si
et seulement si T (x) = 0 n’admet que la solution triviale, où x est un vecteur de Rn .
Théorème 3. Soit T : Rn → Rm une transformation linéaire et soit A sa matrice
canonique. Les énoncés suivants sont équivalents:
• T est surjective,
• tout b de Rm est une combinaison linéaire des colonnes de A,
• les colonnes de A engendrent Rm ,
• A a une position pivot dans chaque ligne.
Notion de noyau et d’image d’une transformation linéaire.
2
L’algèbre matricielle
2.1
Opération sur les matrices
(cf. Section 2.1 de [1])
Définition de l’addition de deux matrices m × n, multiplication d’une matrice par un
scalaire.
Théorème 1. Soit A, B, C des matrices m × n. Alors
1. A + B = B + A,
2. (A + B) + C = A + (B + C),
3. A + 0 = A.
Théorème 2. Soit A, B des matrices m × n et α, β ∈ R. Alors
1. α(A + B) = αA + βB,
2. (α + β)A = αA + βA,
3. α(βA) = (αβ)A,
4. 1 · A = A,
5. 0 · A = 0 (scalaire 0 · matrice A = matrice 0).
Définition du produit matriciel.
Théorème 3. Soit A matrice m × n et B matrice n × p. Alors (AB)x = A(Bx) pour
tout x ∈ Rp .
Produit matriciel (exemple), règle ligne colonne pour le calcul de AB.
Théorème 4. Propriétés du produit matriciel, symétrie, associativité, distributivité
par rapport à l’addition, etc.
Transposée d’une matrice et propriétés (cf. p.115 dans [1]).
3
2.2
L’inverse d’une matrice
(cf. Section 2.2 de [1])
Définition de l’inverse, lemme 1 (unicité de l’inverse).
Proposition 1. Soit A une matrice n × n. S’il existe une matrice C de taille n × n
telle que AC = In ou CA = In alors A est inversible et A−1 = C.
a b
Théorème 2. Soit A =
une matrice 2×2. Alors A est inversible si et seulement
c d
1
d −b
−1
si ad − bc est différent de zéro. Si A est inversible, alors A =
.
−c a
ad − bc
Théorème 3. Si A est une matrice n × n inversible, alors pour chaque b de Rn ,
l’équation Ax = b admet la solution unique x = A−1 b.
Théorème 4. Soient A et B deux matrices inversibles. Alors,
• A−1 est inversible et (A−1 )−1 = A,
• AB est inversible et (AB)−1 = B −1 A−1 ,
• AT est inversible et (AT )
−1
= (A−1 )T .
Matrices symétriques et antisymétriques.
Matrices élémentaires.
Théorème 5. Effet du produit par une matrice élémentaire.
Théorème 6. Inversibilité des matrices élémentaires.
Théorème 7. Soit A une matrice de taille n × n. Alors les énoncés suivants sont
équivalents:
• A est inversible,
• pour chaque b de Rn Ax = b admet une solution unique,
• Ax = 0 n’a que la solution triviale x = 0,
• les colonnes de A sont linéairement indépendantes,
• les colonnes de A engendrent Rn ,
• A a une position pivot dans chaque ligne,
• A est équivalente à la matrice In ,
• A est un produit de matrice élémentaires.
4
2.3
Factorisation des matrices
(cf. Section 2.2 et Section 2.5 de [1])
Calcul de l’inverse d’une matrice A | I → I | A−1 , factorisation des matrices,
matrices triangulaires supérieures et inférieures, la décomposition A = LU .
La décomposition A = LU , résolution d’un système linéaire Ax = b à l’aide de la
décomposition LU , où
(i) Ly = b,
(ii) U x = y,
calcul de la décomposition, matrice Li et son inverse, compte d’opérations :
la décomposition, n2 pour la résolution.
2.4
Matrices partitionnées
n3
pour
3
(cf. Section 2.4 de [1])
Décomposition d’une matrice par blocs. Addition et multiplication de matrices avec
partitions par blocs compatibles
Règle colonne/ligne pour le produit de deux matrices. Inverse de matrices (triangulaires) partitionnées.
3
Les déterminants
3.1
Introduction aux déterminants
(cf. Section 3.1 de [1])
Définition du déterminant d’ordre n (par récurrence sur n), cofacteurs.
Théorème 1. Le déterminant de A d’ordre n peut être calculé par un développement
selon n’importe quelle ligne ou colonne.
Théorème 2. Le déterminant d’une matrice triangulaire (supérieure ou inférieure) est
le produit des éléments de sa diagonale.
3.2
Propiétés des déterminants
(cf. Section 3.2 et Section 3.3 de [1])
Théorème 1. Soit A une matrice n × n. Son déterminant a les propriétés suivantes:
• si B est une matrice obtenue en ajoutant à une ligne de la matrice A un multiple
d’une autre de ses lignes, alors det B = det A,
• si B est une matrice obtenue en intervertissant deux lignes de A, alors det B =
− det A,
• si B est obtenue en multipliant une ligne de A par α, alors det B = α det A.
Calcul d’un déterminant, remarque sur la complexité du calcul d’un déterminant par
la méthode du développement en cofacteur (complexité n!), calcul du déterminant par
transformation de la matrice sous forme échelonnée.
Théorème 2. Une matrice A n × n est inversible si et seulement si det A 6= 0.
Théorème 3. Soit A une matrice n × n, alors det A = det AT .
5
Déterminant du produit de matrices.
Théorème 4. Soit A et B des matrices n × n, alors det AB = det A det B.
Théorème 5 (Règle de Cramer). Soit A une matrice n×n inversible, alors les solutions
du système linéaire Ax = b, où x et b sont des vecteurs de Rn , sont données par
xi = detdetAiA(b) pour i = 1, 2, . .. , n, où (en notant par ai les vecteurs
colonnes de la
matrice A) on définit Ai (b) = a1 a2 · · · ai−1 b ai+1 · · · an .
Théorème 6 (Formule de l’inverse). Soit A une matrice n × n inversible. Alors A−1 =
1
det A adjA, où adjA est la matrice des cofacteurs, i.e. (adjA)ij = Cji avec Cji un
cofacteur de A.
4
Les espaces vectoriels
4.1
Espaces et sous-espaces vectoriels
(cf. Section 4.1 de [1])
Définition d’un espace vectoriel, premières conséquences. Soit V un espace vectoriel et
soit u ∈ V . Alors,
(a) le vecteur 0 est unique,
(b) l’opposé de u est unique,
(c) 0u = 0,
(d) r0 = 0, où r est un scalaire,
(e) (−1)u = −u.
Exemples d’espace vectoriels (Rn , fonctions, polynômes, matrices, signaux discrets).
Sous-espaces vectoriels, sous-espace engendré par un ensemble.
Théorème 1. Soient v1 , v2 , . . . , vp des éléments d’un espace vectoriel V . Alors span{v1 , v2 , . . . , vp }
est un sous-espace vectoriel de V .
4.2
Espaces vectoriels et transformations linéaires
(cf. Section 4.2 de [1])
Transformation linéaires de V → W où V et W sont des espaces vectoriels, définition
de KerT et ImT .
Théorème 1. KerT est un sous espace vectoriel de V .
Théorème 2. ImT est un sous-espace vectoriel de W .
Application des théorèmes 1 et 2.
Théorème 3. Soit A une matrice de taille m × n. Alors l’ensemble des solutions
homogènes Ax = 0 est un sous-espace vectoriel de Rn . ImA est un sous-espace vectoriel
de Rm .
L’espace des colonnes d’une matrice A, noté ColA, est l’ensemble de toutes les combinaisons linéaires des colonnes de A.
6
4.3
Bases d’un espace vectoriel
(cf. Section 4.3 de [1])
Définition de vecteurs linéairement indépendants de V , un espace vectoriel.
Théorème 1. Un ensemble {v1 , v2 , . . . , vp } de deux vecteurs ou plus est linéairement
dépendant si et seulement si au moins l’un des vecteurs {v1 , v2 , . . . , vp } est combinaison
linéaire des autres.
Définition 2. Soit V un espace vectoriel et S = {v1 , v2 , . . . , vp } un sous-ensemble de
V . Alors S est une base de V si et seulement si
(i) l’ensemble S est linéairement indépendant,
(ii) l’ensemble S engendre V , c.-à.-d. span{v1 , v2 , . . . , vp } = V .
Théorème 3. Soit V un espace vectoriel et S = {v1 , v2 , . . . , vp } un ensemble d’éléments
de V et soit W = span{v1 , v2 , . . . , vp }. Alors,
(i) si l’un des vecteurs de S, disons vk , est une combinaison linéaire des autres
vecteurs de S, alors l’ensemble {v1 , v2 , . . . , vk−1 , vk+1 , . . . , vp } est encore un ensemble générateur de W ,
(ii) si W 6= 0 alors un sous-ensemble extrait de S constitue une base de W .
Base de KerA et ColA pour une matrice A m × n (mise sous forme échelonnée en une
matrice B, alors KerA = KerB mais ColA 6= ColB en général).
Théorème 4. Les colonnes d’une matrice A ayant une position pivot forment une base
de ColA.
4.4
Coordonnées dans Rn et changement de bases
(cf. Section 4.4 et Section
4.7 de [1])
Théorème 1. Soit B = {b1 , b2 , . . . , bp } une base d’un espace vectoriel V . Alors pour
tout vecteur v de V il existe un ensemble unique de scalaires c1 , c2 , . . . , cp tel que v =
c1 b1 + c2 b2 + . . . + cp bp .
Définition de coordonnées de v par rapport à B. Définition de [v]B vecteur des coordonnées de v par rapport a B. Changement de coordonnées de la base canonique à
une base quelconque B. Définition de PB matrice de passage entre la base B et la base
canonique. Application coordonnées [ ]B : V → Rn .
Théorème 2. L’application [
espaces vectoriels.
]B est une transformation linéaire et bijective entre
Isomorphisme d’espace vectoriels, changement de base.
Théorème 3. Soient B = {b1 , b2 , . . . , bn } et C = {c1 , c2 , . . . , cn } deux bases d’un espace
vectoriel. Alors il existe une unique matrice PCB n × n telle que [v]C = PCB [v]B .
7
4.5
Dimension d’un espace vectoriel et théorème du rang
(cf. Section 4.5
et Section 4.6 de [1])
Théorème 1. Si B = {b1 , b2 , . . . , bn } est une base d’un espace vectoriel V , alors tout
ensemble de V de plus de n vecteurs est linéairement dépendent.
Théorème 2. Soit B = {b1 , b2 , . . . , bn } une base d’un espace vectoriel V . Alors toute
autre base de V comporte exactement n vecteurs.
Définition de dimension d’un espace vectoriel.
Théorème 3. Soit W un sous-espace vectoriel d’un espace vectoriel de dimension finie
V . Alors tout ensemble linéairement indépendant de W peut être élargi en une base de
W . De plus W est de dimension finie et dimW ≤ dimV .
Théorème 4. Soit V un espace vectoriel de dimension p où p ≤ 1. Alors,
(i) toute famille linéairement indépendante d’exactement p vecteurs de V est automatiquement une base,
(ii) toute famille d’exactement p vecteurs qui engendre V est automatiquement une
base.
Définition de rang d’une matrice.
Théorème 5. Soit A une matrice n × n. Alors n =rgA+dim(KerA).
Théorème 6. Soit A une matrice de taille n × n. Alors les énonces suivants sont
équivalents
(i) A est inversible,
(ii) rg A = n,
(iii) dim(KerA)=0.
Définition de LigA, l’espace des lignes de A.
Théorème 7. Soit A une matrice m × n, alors dim(ColA) = dim(LigA).
Rang de la matrice transposée. Soit A une matrice m × n, alors rgA = rgAT .
5
Les valeurs et les vecteurs propres
(cf. Section 5.1 et Section 5.2 de
[1])
5.1
Introduction aux valeurs et vecteurs propres
(cf. Section 5.1 et Section
5.2 de [1])
Exemple.
Définition 1. Soit A une matrice n × n. On dit que v ∈ Rn , v 6= 0, est un vecteur
propre de A s’il existe λ ∈ R tel que Av = λv.
Théorème 2. Soit A une matrice n × n. Alors λ ∈ R est une valeur propre de A si et
seulement si det(A − λI) = 0.
8
Définition 3. L’équation scalaire det(A−λI) = 0 est appelée l’équation caractéristique
de A.
Développement det(A − tI) = (−1)n tn + (−1)n−1 trace(A)tn−1 + · · · + det A.
Théorème 4. Une matrice A de taille n × n a au plus n valeurs propres distinctes.
Théorème 5. Soit A une matrice n × n et supposons que A possède λ1 , λ2 , . . . , λr
valeurs propres distinctes (avec r ≤ n). Soit v1 , v2 , . . . , vr des vecteurs propres associés
à λ1 , λ2 , . . . , λr . Alors {v1 , v2 , . . . , vr } est linéairement indépendant.
Valeur propre et inversibilité.
Théorème 6. Une matrice A de taille n × n est inversible si et seulement si 0 n’est
pas valeur propre de A.
Valeur propre et matrice triangulaire.
Théorème 7. Soit A une matrice triangulaire. Alors les valeurs propres de A sont les
éléments de la diagonale de A.
Matrices semblables.
Définition 8. Soit A une matrice de taille n × n. On dit que A est semblable à une
matrice B de taille n × n s’il existe une matrice inversible P de taille n × n telle que
B = P −1 AP .
Théorème 9. Deux matrices A et B de taille n×n et semblables ont le même polynôme
caractéristique.
5.2
Diagonalisation
(cf. Section 5.3 de [1])
Soit A une matrice de taille n × n et soit λ une valeur propre de A. Le sous-espace
vectoriel de Rn Ker(A − λI), noté Eλ , est appelé l’espace propre de A correspondant à
la valeur propre λ.
Note 1. La dimension de Eλ correspond au nombre de vecteurs propres linéairement
indépendants associés à λ.
Définition de multiplicité algébrique de λ, dimension de Eλ : multiplicité géométrique
de λ.
Théorème 2. Soit une matrice A de taille n × n et λ une valeur propre de A. Alors
multiplicité géométrique de λ ≤ multiplicité algébrique de λ.
Théorème 3. Soit A une matrice symétrique. Alors A possède n vecteurs propres
linéairement indépendants. Ces vecteurs peuvent être choisis de façon à former une
base orthogonale.
5.3
Valeurs propres complexes
(cf. Section 5.5 de [1])
Exemple de calcul de valeurs propres et vecteurs propres complexes. Espace propre
associeé.
9
6
Produit scalaire, longueur et orthogonalité
6.1
Introduction au produit scalaire, à la longueur et à l’orthogonalité
(cf. Section 6.1 de [1])
Définition 1. Soient u, v ∈ Rn . Alors, le produit scalaire dans Rn est définie par
u · v = u1 v1 + u2 v2 + · · · + un vn .
Théorème 2. Soient u et v vecteurs de Rn et α ∈ R. Alors,
(i) u · v = v · u,
(ii) (u + v) · w = u · w + v · w,
(iii) (αu) · v = α(u · v) = u · (αv),
(iv) u · u = 0 si et seulement si u = 0.
Norme d’un vecteur.
Définition 3 (Norme euclidienne). Soit v ∈ Rn , alors la norme euclidienne de v est
définie par
q
√
kvk = v · v = v12 + v22 + · · · + vn2 .
Vecteur unitaire, distance dans Rn .
Définition 4. Soient u et v dans Rn . La distance entre u et v, notée dist(u, v) est
définie par
dist(u, v) = ku − vk.
Théorème 5 (Propriétés de la norme). Soient u et v dans Rn et soit α ∈ R. Alors les
propriétés suivantes sont satisfaites:
(i) kuk ≥ 0,
(ii) kuk = 0 si et seulement si u = 0,
(iii) kαuk = |α|kuk,
(iv) ku + vk ≤ kuk + kvk.
Inégalité de Cauchy-Schwarz (|u · v| ≤ kukkvk).
Théorème 6. Soient u, v, w ∈ Rn . Alors,
(i) dist(u, v) ≥ 0,
(ii) dist(u, v) = 0 si et seulement si u = v,
(iii) dist(u, v) =dist(v, u),
(iv) dist(u, v) ≤dist(u, w)+dist(w, v).
Définition 7. Deux vecteurs u, v dans Rn sont dits orthogonaux si et seulement si
u · v = 0.
10
Théorème 8 (Pythagore). Deux vecteurs u, v dans Rn sont orthogonaux si et seulement si
ku + vk2 = kuk2 + kvk2 .
Définition 9. L’orthogonal d’un sous-espace vectoriel W de Rn , noté W ⊥ , est donné
par
W ⊥ = {z ∈ Rn |z est orthogonal à W }.
Exemples.
Théorème 10. Soit W un sous-espace vectoriel de Rn . Alors,
(i) W ⊥ est un sous-espace vectoriel de Rn ,
(ii) W ⊥ ∩ W = {0}.
Théorème 11. Soit A une matrice m × n. Alors,
(i) l’orthogonal de l’espace des lignes de A est l’espace nul de A, c.-à.-d.
(LigA)⊥ = KerA,
(ii) l’orthogonal de l’espace des colonnes de A est l’espace nul de AT , c.-à.-d.
(ColA)⊥ = KerAT .
6.2
Les ensembles orthogonaux
(cf. Section 6.2 de [1])
Définition 1. Une base d’un sous-espace vectoriel W de Rn qui est un ensemble orthogonal est appelée une base orthogonale.
Définition 2. Un ensemble de vecteurs {u1 , . . . , up } ∈ Rn est dit orthogonal si ui · uj =
0 pour tout i, j = 1, . . . , n, i 6= j.
Théorème 3. Soit S = {u1 , . . . , up } un ensemble orthogonal de vecteurs ui ∈ Rn , ui 6=
0 pour tout i = 1, . . . , p. Alors S est linéairement indépendant.
Théorème 4. Soit S = {u1 , u2 , . . . , up } une base orthogonale d’un sous-espace vectoriel
W de Rn . Alors pour tout v ∈ W on a
v = a1 u1 + a2 u2 + · · · + ap up ,
où aj =
v·uj
uj ·uj
pour j ∈ {1, 2, . . . , p}.
Exemple, projection orthogonale.
Théorème 5. Soit W un sous-espace vectoriel de Rn . Alors tout vecteur v ∈ Rn peut
être écrit de façon unique v = u + z, où u ∈ W et z ∈ W ⊥ .
Définition 6. Le vecteur u du Théorème 5 est appelé la projection orthogonale de v
sur W .
Théorème 7. Soit W un sous-espace vectoriel de Rn et v un vecteur quelconque de
Rn et soit u la projection orthogonale de v sur W . Alors kv − uk ≤ kv − yk pour tout
y ∈ W.
11
6.3
La méthode de Gram-Schmidt et la factorisation QR
(cf. Section 6.4
de [1])
Méthode de Gram-Schmidt (algorithme pour construire une base orthogonale (ou orthonormée) d’un sous-espace vectoriel non nul quelconques de Rn ), exemples.
Théorème 1. Soit {v1 , v2 , . . . , vp } une base sous-espace vectoriel W de Rn . On définit
u1 = v1
u2 = v2 −
..
.
up = vp −
v2 ·u1
u1 ·u1 u1
vp ·u1
u1 ·u1 u1
−
vp ·u2
u2 ·u2 u2
− ··· −
vp ·up−1
up−1 ·up−1 up−1 .
Alors {u1 , u2 , . . . , up } est une base orthogonale de W . De plus,
span{v1 , v2 , . . . , vk } = span{u1 , u2 , . . . , uk }
pour 1 ≤ k ≤ p.
Définition 2. Soit Q une matrice n × n. Si les colonnes de Q forment une base
orthonormale de Rn , on dit que Q est orthogonale et on a donc QT Q = I.
Factorisation QR d’une matrice.
Théorème 3. Soit A une matrice m×n dont les colonnes sont linéairement indépendantes.
Alors A peut être factorisée en A = QR, où Q est une matrice m × n dont les colonnes
forment une base orthonormée de ColA et oú R est une matrice n × n triangulaire
supérieure inversible avec des éléments diagonaux positifs.
Exemples.
6.4
Les problèmes de moindres carrés
Soit A une matrice m × n. Si m > n on dit que le systéme linéaire Ax = b avec x ∈ Rn ,
b ∈ Rm est surdéterminé (le système d’équations est en général incompatible). Idée
des moindres carrés (penser Ax comme une approximation de b et chercher x tel que
l’approximation dans la norme euclidienne sur Rn soit la meilleure, c.-à.-d. x tel que
la distance soit minimale).
Définition 1. Le système d’équations AT Ax = AT b est appelé équations normales de
Ax = b.
Théorème 2. L’ensemble des solutions des moindres carrés de Ax = b coı̈ncide avec
l’ensemble des solutions des équations normales AT Ax = AT b. Cet ensemble est non
vide.
Théorème 3. Soit A une matrice m × n. Alors la matrice AT A est inversible si et
seulement si les colonnes de A sont linéairement indépendantes.
Conséquence: le système linéaire Ax = b possède une solution unique au sens des
moindres carrés si et seulement si les colonnes de A sont linéairement indépendantes.
Solution des moindres carrés à l’aide de la factorisation QR.
Théorème 4. Soit A une matrice m×n dont les colonnes sont linéairement indépendantes
et soit A = QR une factorisation QR de A. Alors la solution unique du système linéaire
Ax = b est donnée par x = R−1 QT b.
Application: calcul de la trajectoire d’une planète.
12
6.5
Les espaces euclidiens
(cf. Section 6.7 de [1])
But: généraliser les notions de produit scalaire, norme et orthogonalité à des espaces
vectoriels autres que Rn .
Définition 1. Soit V un espace vectoriel. Un produit scalaire sur V est une fonction
qui associe à chaque paire de vecteurs u, v ∈ V un nombre réel noté (u|v) satisfaisant
aux axiomes suivants pour tout u, v, w ∈ V et tout α ∈ R:
(i) (u|v) = (v|u),
(ii) (u + v|w) = (u|w) + (v|w),
(iii) (αu|v) = α(u|v),
(iv) (u|u) ≥ 0 et (u|u) = 0 si et seulement si u = 0.
Définition 2. Un espace vectoriel de dimension finie muni d’un tel produit scalaire est
appelé un espace euclidien.
Exemples : fonctions polynomiales, produit scalaire défini à l’aide de l’intégrale, produit
scalaire basé sur une forme quadratique définie positive.
7
7.1
Les matrices symétriques et les formes quadratiques
Retour sur les matrices symétriques
(cf. Section 7.1 de [1])
On a vu que si A est une matrice n × n symétrique, il existe une matrice orthogonale Q
telle que QT AQ = D, où D est la matrice diagonale formée par les n valeurs propres.
Définition 1. Une matrice A de taille n × n admet une décomposition de Schur s’il
existe une matrice orthogonale U de taille n × n et une matrice triangulaire supérieure
R de taille n × n telles que R = U T AU .
Théorème 2. Une matrice A de taille n × n qui admet une décomposition de Schur
A = U RU T a n valeurs propres réelles (pas nécéssairement distinctes).
Théorème 3. Soit A une matrice de taille n × n avec n valeurs propres réelles. Alors,
A admet une décomposition de Schur.
Théorème 4. Soit A une matrice symétrique de taille n × n. Soient v1 et v2 deux
vecteurs propres associés à des valeurs propres distinctes de A λ1 , λ2 . Alors v1 · v2 = 0.
Exemples, rappel sur les nombres complexes.
Théorème 5. Soit A une matrice n×n. Si A est symétrique alors A possède n valeurs
propres réelles λ1 , λ2 , . . . , λn .
Théorème 6 (Théorème spectral). Soit A une matrice symétrique n × n. Alors A est
diagonalisable, c.-à.-d. il existe une matrice P n × n inversible telle que P −1 AP est
diagonale avec une diagonale composée des valeurs propres λ1 , λ2 , . . . , λn de la matrice
A. De plus la matrice P peut être choisie orthogonale.
Définition 7. Soit A n × n symétrique, Q = (u1 . . . un ) la matrice orthogonale donnée
par le théorème spectral et λ1 , . . . , λn les n valeurs propres de A. Alors A = λ1 u1 uT1 +
... + λn un uTn et cette expression est appelée décomposition spectrale.
13
7.2
Les formes quadratiques
(cf. Section 7.2 et Section 7.3 de [1])
Définition 1. Une forme quadratique de Rn est une fonction Q : Rn → R, telle que
Q(x) = xT Ax, où A est une matrice symétrique de taille n × n.
Exemple (interprétation géométrique de Q(x) = cst, x ∈ R2 , cercle, ellipse, hyperbole),
changement de variables dans une forme quadratique.
Théorème 2. Soit Q(x) = xT Ax une forme quadratique, où A est une matrice
symétrique. Alors il existe un changement de variables x = U y, où U est une matrice
n × n orthogonale, qui transforme la forme quadratique Q(x) en une forme quadratique
Q̃(y) de la forme λ1 y12 + λ2 y22 + · · · + λn yn2 , où λ1 , λ2 , . . . , λn sont les valeurs propres
de A.
Exemple (interprétation géométrique).
Note 3. Le changement de variables x =
U y exprime le vecteurs x dans la base orthogonale composée des colonnes de U = u1 u2 · · · un .
Définition 4. Une forme quadratique Q : Rn → R, Q(x) = xT Ax, où A est une
matrice symétrique de taille n × n, est
(i) définie positive si Q(x) > 0 pour tout x 6= 0 (semi-finie positive si Q(x) ≥ 0 pour
tout x ∈ Rn ),
(ii) définie négative si Q(x) < 0 pour tout x 6= 0 (semi-finie positive si Q(x) ≤ 0 pour
tout x ∈ Rn ),
(iii) indéfinie si Q(x) prend des valeurs positives et négatives.
Théorème 5. Soit Q(x) = xT Ax une forme quadratique, où A est une matrice
symétrique de taille n × n. Alors la forme est
(i) définie positive si et seulement si les valeurs propres de A sont toutes strictement
positives (semi-définie positive si et seulement si les valeurs propres de A sont
toutes positives ou nulles),
(ii) définie négative si et seulement si les valeurs propres de A sont toutes strictement
négatives (semi-définie négative si et seulement si les valeurs propres de A sont
toutes négatives ou nulles),
(iii) indéfinie si et seulement si A a des valeurs propres négatives et positives.
Note 6. Pour une matrice symétrique A, on dit aussi que A est (semi-)définie positive
ou (semi-)définie négative ou indéfinie quand Q(x) = xT Ax est respectivement (semi)définie positive ou (semi-)définie négative ou indéfinie.
Théorème 7. Le produit (x|z) défini par (x|z) = xT Az, où A est une matrice n × n
symétrique est un produit scalaire si et seulement si A est définie positive.
Théorème 8. Soit A une matrice n × n symétrique. Notons λ1 ≥ λ2 ≥ · · · ≥ λn les n
valeurs propres réelles de A (non nécéssairement distinctes). Alors
max{xT Ax; kxk = 1} = λ1 ,
min{xT Ax; kxk = 1} = λn .
14
Références
[1] David C. Lay. Algbre linaire : thorie, exercices et applications, volume 3. De Boeck,
Bruxelles, 2005.
Informations générales, séries et corrigés: cf. http://anmc.epfl.ch/Algebre.html.
15