Série 12 (Corrigé) - ANMC

Algèbre linéaire pour GM
Prof. A. Abdulle
Mardi 9 décembre 2014
EPFL
Série 12 (Corrigé)
Exercice 1
Déterminer la solution au sens des moindres carrés de Ax = b,
(a) en utilisant l’équation normale lorsque




2 1
4



(i) A =  −2 0 , b =  1 
,
2 3
2
Sol.: L’équation normale AT Ax = AT b est
5/14
5/7
elle a pour solution x =



12 8
8 10
!
x=
10
10
!
,
!
.

1 3
5



(ii) A =  1 −1 , b =  1 
,
1 1
0
3 3
3 11
Sol.: AT A =


(iii) A = 


1
1
0
−1
!
, AT b =
1 0

0 −1 


, b = 

1 1 
1 −1


6
14

2
5
6
6
!
,x=
1
1
!
.





;





1/3
3 0 0
1






T
T
Sol.: A A =  0 3 0 , A b =  14 , x =  14/3 .
−5/3
0 0 3
−5
(b) en utilisant la méthode QR,
0
0
1
 1



2 

 0 
(i) A = 
, b = 

 0 −1 
 1 
−1 1
0
Sol.: On remarque que la décomposition QR a déjà été obtenue à l’exercice
6. L’approximation x au sens des moindres carrés est la solution du système
Rx = QT b, où
!
!
0√
1/11
T
.
, et ainsi x =
Q b=
−2/11
−2/ 22




1




2 3
0




(ii) A =  2 4 , b =  0 .
1 1
1
1/3
−2/3
Sol.: QT b =
!
11/9
−2/3
,x=
!
.
Exercice 2
a) Montrer que si Q est une matrice orthogonale, alors QT est aussi une matrice orthogonale.
Sol.: Par définition, une matrice orthogonale Q vérifie QT Q = I et QQT = I.
Comme Q = (QT )T on a QT (QT )T = I et (QT )T QT = I, ce qui montre que QT est
aussi orthogonale.
b) Montrer que si U, V sont des matrices n × n orthogonale, alors U V est aussi une
matrice orthogonale.
Sol.: En utilisant V V T = U U T = I, on a U V (U V )T = U V V T U T = U U T = I. De
même (U V )T U V = I, donc U V est une matrice orthogonale.
c) Soit u un vecteur unitaire de Rn (kuk = 1). Montrer que la matrice Q = I − 2uuT
est orthogonale.
Sol.: On doit montrer QT Q = I.
Méthode 1. En travaillant avec des indices, on a
QT Q
ij
=
n
X
Qki Qkj =
(δik − 2ui uk ) (δjk − 2uj uk )
k=1
k=1
= δij +
n
X
n
X
(−δik 2uj uk − 2δjk ui uk + 4ui uj u2k ),
k=1
avec δij = 1 si i = j, δij = 0 sinon. En utilisant nk=1 u2k = 1 on obtient QT Q = I.
Méthode 2. On calcul matriciellement: QT = (I − 2uuT )T = I − 2(uT )T uT = Q,
ensuite,
P
QQT = (I − 2uuT )(I − 2uuT ) = I − 2uuT − 2uuT + 4uuT uuT = I − 4uuT + 4uuT = I
où l’on a utilisé uT u = kuk2 = 1.
Remarque: De telles matrices orthogonales s’appellent les réflexions de Householder.
d) Montrer que toute valeur propre réelle λ d’une matrice orthogonale Q vérifieD λ = ±1.E
Sol.: La matrice orthogonale conserve la norme de tout vecteur x: kQxk2 = x, QT Qx =
hx, xi = kxk2 . Ensuite, si x est le vecteur propre associé à λ, on a kxk = kQxk =
kλxk = |λ| kxk. Comme x 6= 0, on obtient |λ| = 1, ainsi λ = ±1.
e) Soit Q une matrice orthogonale de taille n × n. Soit {u1 , ..., un } une base orthogonale
de Rn . Montrer que {Qu1 , ..., Qun } est aussi une base orthogonale de Rn .
Sol.: On calcule pour tout i, j,
hQui , Quj i = (Qui )T Quj = uTi QT Quj = uTi uj ,
2
Comme les ui sont orthogonaux entre eux, ceci montre que la famille {Qu1 , ..., Qun }
est orthogonale et constituée de vecteurs non nuls (de normes kQui k = kui k).
Il reste à montrer que {Qu1 , ..., Qun } est une base.
Méthode 1: Comme Q est inversible (d’inverse QT ), Q transforme les bases en
bases, donc {Qu1 , ..., Qun } est une base.
Méthode 2: Comme la famille {Qu1 , ..., Qun } est orthogonale et constituée de vecteurs
non nuls, elle est automatiquement indépendante. Comme elle comporte n vecteurs,
c’est une base de Rn .
(Remarque: Si {u1 , ..., un } est une base orthonormée, alors kQui k = 1, et {Qu1 , ..., Qun }
est aussi une base orthonormée. )
Exercice 3
i) Soit {u1 , ..., un } une base orthonormée de Rn et v un vecteur dans Rn . Montrer
kvk2 = |v · u1 |2 + ... + |v · un |2 .
Sol.: Soit U la matrice orthogonale formée des colonnes ui . En utilisant U U T = I,
on obtient
D
E
D
E
2
kvk2 = hv, vi = v, U U T v = U T v, U T v = U T v =


u · v 2
1
 . 
 . 
 . 
un · v =
n
X
|ui · v|2 .
i=1
ii) (Inégalité de Bessel) Soit {u1 , ..., up } une famille orthonormée dans Rn et soit v un
vecteur de Rn . Montrer
kvk2 ≥ |v · u1 |2 + ... + |v · up |2 .
Sol.: On considère la projection w = pi=1 hui , vi ui de v sur W = span{u1 , ..., up }.
On a la décomposition v = w + z, avec z ∈ W ⊥ . Par le théorème de Pythagore, w et
z étant orthogonaux, on obtient
P
kvk2 = kwk2 + kzk2 .
(En effet, on a kvk2 = hw + z, w + zi = kwk2 + kzk2 + 2 hw, zi et hw, zi = 0).
Ensuite,
kvk2 ≥ kwk2 =
p
X
khui , vi ui k2 =
i=1
p
X
i=1
|hui , vi|2 kui k2 =
p
X
|hui , vi|2 .
i=1
Exercice 4
Les données suivantes décrivent le potentiel dans un câble électrique en fonction de la
température du câble.
3
i Ti [ ◦ C] Ui [V ]
1
0
-2
2
5
-1
3
10
0
4
15
1
5
20
2
6
25
4
On suppose que le potentiel suit la loi Ui = a + bTi + cTi2 . Calculer a, b, c au sens des
moindres carrés.
Sol.: Le système linéaire s’écrit


a

U = A
 b 
c


U1
 . 

avec U = 
 ..  et A est donnée par
U6



1 T1 T12


.
..  

.  
 1 ..





 1
=
A=


 1





..
..  

.  
 1 .
1 T6 T62
1
1
1
1
1
1
0
5
10
15
20
25
0
25
100
225
400
625





.




Pour résoudre ce système et trouver a, b, c au sens des moindres carrés, on considère
l’équation normale


a


AT U = AT A  b  .
c
On trouve


 −53 
28
39 
280 
a



 b =
c
1
280


−1.89

≈
 0.139  .
0.00357
Le graphique suivant montre les données (en rouge) et la courbe d’interpolation (bleue)
obtenue au sens des moindres carrés.
4
Exercice 5
On considère les points
xi
yi
2 5 6 8
1 2 3 3
On suppose que la relation entre les xi et les yi suit une loi y = ax + b. Calculer a et b au
sens des moindre carrés.
!
a
Sol.: Le système linéaire correspondant est y = A
où A est donnée par A =
b








x1 1
2 1
y1
1
 x 1 
 5 1 
 y 
 2 
 2



 2 



=
 , et y = 
=
. L’équation normale correspondante est
 x3 1 
 6 1 
 y3 
 3 
x4 1 !
8 1
y4
3!
!
!
9
0.36
a
a
T
T
25
=
.
A A
= A y. On obtient la solution
=
9
0.36
b
b
25
Exercice 6
Soit A une matrice symétrique de taille n × n.
i) Montrer que Av · u = v · Au pour tout u, v ∈ Rn (· désigne le produit scalaire usuel
de Rn ).
Sol.: En effet, Av · u = (Av)T u = v T AT u = v T Au = v · Au.
ii) Donner un contre-exemple à i) pour une matrice carrée quelconque, en trouvant une
matrice B de taille 2 × 2 telle que Bv · u 6= v · Bu en général.
5
Sol.:
v=
Par exemple, Soit B =
0
1
0 1
0 0
!
. On a Bv · u 6= v · Bu pour u =
1
0
!
et
!
.
Exercice 7
Soit A une matrice est symétrique de taille n × n, λ1 , λ2 deux valeurs propres, et v1 , v2 des
vecteurs propres associés. Sans utiliser le théorème spectral, montrer que si λ1 6= λ2 alors
v1 · v2 = 0 (· désigne le produit scalaire usuel de Rn ).
Sol.: En effet, si Av1 = λ1 v1 et Av2 = λ2 v2 alors en utilisant l’exercice précédent,
λ1 v1 · v2 = Av1 · v2 = v1 · Av2 = λ2 v1 · v2 .
Ainsi, (λ1 − λ2 )v1 · v2 = 0. On divise par λ1 − λ2 6= 0, et on obtient v1 · v2 = 0.
Exercice 8
Diagonaliser les matrices suivantes sous la forme QT AQ = D avec Q une matrice orthogonale.
√
√
√ 





1/√3 1/ √6 −1/ 2
5 0 0
1 1 3






i) A =  1 3 1  Sol.: D =  0 2 0 , Q =  1/√3 −2/√ 6
0√ .
0 0 −2
3 1 1
1/ 3 1/ 6
1/ 2
√
√






0 1 0
−1 0 0
−1/√ 2 1/√2 0





ii) A = 
 1 0 0  Sol.: D =  0 1 0 , Q =  1/ 2 1/ 2 0 .
0 0 1
0 0 1
0
0
1
Exercice 9
On suppose A est une matrice symétrique de taille n × n.
i) Montrer qu’il existe une base orthonormale {u1 , . . . , un } de Rn et λ1 , . . . , λn ∈ R tels
que
A = λ1 u1 uT1 + λ2 u2 uT2 + . . . + λn un uTn .
(1)
Cette expression est appelée décomposition spectrale de A.
Sol.: Méthode 1. On applique le théorème spectral à la matrice symétrique A. Il
existe une matrice orthogonale Q et une matrice diagonale D telles que
A = QDQT .

0
λ1
...

On note Q = (u1 , . . . , un ) les colonnes de Q, et on pose D = 

6
0
λn


.

Comme
Q est une matrice orthogonale, (u1 , . . . , un ) est une base orthonormée. De plus, on a
A = QDQT =

λ
 1
u1 , . . . , un 

0
...
0
=


λ uT
 1 1 
. 
u1 , . . . , u n 
 .. 
λn
uT1
 . 
 . 
 . 


uTn
= λ1 u1 uT1 + . . . + λn un uTn .
λn uTn
Méthode 2. Soit {u1 , . . . , un } une base orthonormale de Rn donnée par le théorème
spectral appliqué à A, c-à-d vérifiant Auk = λk uk pour tout k où λ1 , . . . , λn sont les
valeurs propres.
Pour montrer que deux matrices sont égales, il suffit de montrer que leurs produits
avec tout vecteur v ∈ Rn coïncident. Comme {u1 , . . . , un } est une base, tout vecteur
v se décompose sous la forme v =
n
P
αk uk . On calcule:
k=1
Av =
n
X
αk Auk =
k=1
n
X
αk λk uk
k=1
et
n
X
l=1
λl ul uTl
! n
X
αk uk =
n X
n
X
λl ul uTl αk uk
=
αk λk uk uTk uk
=
n
X
αk λk uk ,
k=1
k=1
l=1 k=1
k=1
n
X
pour l 6= k et uk · uk = 1. On obtient ainsi l’égalité
où l’on a utilisé uTl uk = ul · uk = 0 n
P
T
des deux matrices A et
λl ul ul .
l=1
ii) Calculer la décomposition spectrale et vérifier l’égalité (1) pour :




5 −4 −2

2 
b) A =  −4 5

−2 2
2
0 1 0


a) A =  1 0 0 
0 0 1
Sol.:
a) Comme à l’exercice précédent, on cherche les valeurs propres et une base orthonormale de vecteurs propres. On obtient
λ1 = −1, λ2 = 1, λ3 = 1,
√ 

 √ 
 
−1/√ 2
1/√2
0




 
u1 =  1/ 2  , u2 = 1/ 2 , u3 = 0 .
1
0
0
7
On vérifie explicitement l’égalité donnée par la décomposition spectrale :
λ1 u1 uT1 + λ2 u2 uT2 + λ3 u3 uT3
√ 

 √ 
−1/√ 2 1/ 2 √
√
√
√


 √ 
= −1 ·  1/ 2  −1/ 2 1/ 2 0 + 1 · 1/ 2 1/ 2 1/ 2 0
0
0
 
0 
+1 · 
0 0 0 1
1






1/2 −1/2 0
1/2 1/2 0
0 0 0

 
 

= − −1/2 1/2 0 + 1/2 1/2 0 + 0 0 0
0
0
0
0
0 0
0 0 1


0 1 0

= 1 0 0 
 = A.
0 0 1
b) On procède comme au point a) et on obtient
λ1 = 1, λ2 = 1, λ3 = 10,
√ 



 √ 
1/(3 √2)
−2/3
1/√2






u1 = 1/ 2 , u2 = −1/(3√ 2) , u3 =  2/3  .
1/3
0
4/(3 2)
On vérifie également explicitement que
λ1 u1 uT1 + λ2 u2 uT2 + λ3 u3 uT3 = A.
Exercice 10
Indiquer pour chaque énoncé s’il est vrai ou faux et justifier brièvement votre réponse.
a) Une base d’un sous-espace W de Rn qui est un ensemble orthogonal est appelée une
base orthonormale.
b) Un ensemble S = {v1 , v2 , . . . , vp } orthogonal de vecteurs non nuls de Rn est linéairement indépendant et de ce fait est une base du sous-espace qu’il engendre.
c) Une base orthonormale est une base orthogonale mais la réciproque est fausse en
général.
d) Si x n’appartient pas au sous-espace W , alors x − projW x n’est pas nul.
Sol.: Vrai: b), c), d). Faux: a).
8
Exercice 11
Indiquer pour chaque énoncé s’il est vrai ou faux et justifier brièvement votre réponse.
a) L’ensemble des solutions au sens des moindres carrés de Ax = b coïncide avec l’ensemble
non vide des solutions des équations normales AT Ax = AT b.
b) Soit A une matrice m × n and b ∈ Rm . Le problème général des moindres carrés
consiste à trouver un x ∈ Rn qui rend Ax aussi proche que possible de b.
c) Soit V un espace euclidien et soit (u, v) le produit scalaire de deux vecteurs u, v ∈ V .
Alors (uv, w) = (u, w) · (v, w) pour tout u, v, w ∈ V .
d) L’espace Rn muni du produit scalaire classique est un espace euclidien.
Sol.: Vrai: a), b), d). Faux: c).
Informations générales, séries et corrigés: cf. http://anmc.epfl.ch/Algebre.html.
Les exercices de type vrai ou faux proviennent du livre: D.C. Lay. Algèbre linéaire : théorie,
exercices et applications. De Boeck, Bruxelles, 2005.
9