Rappels Rappels Sur Les Calculs Matriciels

QUELQUES RAPPELS
DE CALCUL MATRICIEL
Benoît MULKAY
Faculté de Sciences Economiques
UNIVERSITE DE MONTPELLIER 1
Septembre 2008
-1-
1. Définitions et Axiomes
1.1. Définition d’une matrice
Une matrice est un tableau rectangulaire de p lignes et de q colonnes avec des nombre réels
a ij ∈ ℜ à la ième ligne et la jème colonne tels que i = 1, K , p et j = 1, K , q . Cette matrice
d’ordre ou de genre p × q . Elle est notée :
 a11

 a 21
A = A = a ij =  M

p× q
 M
a
 p1
a12
a 22
M
M
a p2
[ ]
L L a1q 

L L a 2q 
O a ij
M .

O M 
L L a pq 
1.2. Transposée d’une matrice
[ ]
A′ = a ji est la transposée de la matrice A. Elle est d’ordre q × p .
1.3. Multiplication par un scalaire
[ ]
Si λ est un scalaire, λA = λa ij .
1.4. Addition de deux matrices
[ ]
[
Si B = bij est aussi une matrice d’ordre p × q : A + B = aij + bij
]
1.5. Produit de deux matrices
Le produit matriciel est défini si B est aussi une matrice avec q lignes et r colonnes :
AB = C = cij est d’ordre p × r avec :
[ ]
q
cij = ∑ aik bki .
k =1
1.6. Associativité du produit matriciel
(AB )C = A(BC ) = ABC.
-2-
1.7. Non-commutativité du produit matriciel
L’existence du produit matriciel AB n’implique pas nécessairement l’existence du produit
matriciel BA. En général, le produit matriciel n’est pas commutatif : AB ≠ BA .
1.8. Distributivité
(A + B )C = AC + BC,
A(B + C ) = AB + AC.
1.9. Quelques règles de transposition
(A′)′ = A,
(A + B )′ = A′ + B′,
(AB )′ = B′A′.
1.10. Produit (scalaire) d’un vecteur
Si x est un vecteur-colonne n × 1 , alors x′ est un vecteur-ligne 1× n , et le produit scalaire de
ce vecteur est la somme des carrés de ses composantes :
n
x′x = ∑ xi2
i =1
1.11. Produit de Hadamard
Si les matrices A et B sont de même ordre p × q , le produit de Hadamard est un produit
élément-par-élément des deux matrices : C = A o B , tel que :
cij = aij bij .
1.12. Matrice nulle
Si tous les éléments de la matrice A sont nuls : aij = 0 , pour tout i et j, on écrira : A = 0.
1.13. Orthogonalité
2 vecteurs (n × 1) x et y seront dits orthogonaux si et seulement si :
-3-
x′y = y ′x = 0.
2 matrices compatibles A et B seront dits orthogonales si et seulement si :
AB = 0.
1.14. Norme d’un vecteur
La norme d’un vecteur x (n × 1) est définie par :
12
 n

x = x′x = ∑ xi2  .
 i =1 
On peut prouver que : x + y ≤ x + y .
1.15. Rang d’une matrice
Le rang d’une matrice A, noté r(A), est le nombre minimum de lignes ou de colonnes
linéairement indépendantes.
1.16. Propriétés du rang d’une matrice
Si r ( A) = p (le nombre de lignes de A), on dira que A est de plein-rang (lignes). Si r ( A) = q
(le nombre de colonnes de A), on dira que A est de plein-rang (colonnes).
1.17. Rang d’un produit matriciel
r ( AB ) ≤ min{r ( A), r (B )}.
-4-
2. Matrices Carrées
2.1. Définition d’une matrice carrée
Une matrice A est dite carrée si le nombre de ligne est égal au nombre de colonnes : p = q.
2.2. Trace d’une matrice carrée
La trace d’une matrice carrée A, notée tr ( A) , est la somme des éléments sur sa diagonale
principale :
tr ( AB ) = ∑ aii .
p
i =1
2.3. Propriété de la trace d’une matrice
tr ( A + B ) = tr ( A) + tr (B ),
tr (λA) = λ tr ( A),
tr A′ = tr ( A).
( )
2.4. Propriété de circularité de la trace
Si AB et BA sont des matrices carrées (pas nécessairement du même ordre), alors :
tr ( AB ) = tr (BA).
Si les produits matriciels ABC, CAB et BCA existent, alors :
tr ( ABC ) = tr (CAB ) = tr (BCA).
2.5. Propriété de la trace d’une matrice (suite)
( ) ( )
p
p
tr A′A = tr AA′ = ∑∑ aij2 .
i =1 j =1
2.6. Matrice diagonale
Si aij = 0 , pour tout i ≠ j , la matrice est dite diagonale et on écrira :
-5-
(
A = diag a11 , a 22 ,K, a pp
)
 a11

 0
=
M

 0

0
a22
M
0
0 

L 0 
O M 

L a pp 
L
2.7. Matrice identité
La matrice identité est une matrice carrée d’ordre p, notée I p , et est telle que :
1

0
I p = diag (1,1,K,1) = 
M

0

0
1
M
0
L
L
O
L
0

0
.
M

1 
2.8. Neutre pour la multiplication
La matrice identité est le neutre pour la multiplication : AI p = I p A = A.
2.9. Autres matrices spéciales
On considère aussi le vecteur unitaire de dimension p × 1 comportant uniquement des 1 :
1 
 
1 
j p =  .
M
 
1 
 
De même, la matrice unitaire carrée d’ordre p : J p = j p j ′p est composée entièrement de 1.
Notez que r J p = 1 . Attention à ne pas confondre J p = j p j ′p avec le produit scalaire :
j ′p j p = p.
( )
On peut aussi définir le vecteur indicatrice p × 1 entièrement composé de 0, sauf un 1 à la
position n :
-6-
0
 
M
en =  1 .
 
M
 
0
2.10. Déterminant d’une matrice
Si A est une matrice carrée d’ordre p, on définira le déterminant de la matrice A comme :
det ( A) = A = ∑ (− 1) aij Aij
p
i+ j
i =1
où Aij est le (i,j)ème mineur de la matrice A : c’est-à-dire le déterminant de la matrice
( p − 1)× ( p − 1) formée en éliminant la ième ligne et la jème colonne de A.
2.11. Matrice adjointe
La matrice adjointe de A, notée adj( A) , est la transposée de la matrice dont le (i,j)ème élément
est (−1)
i+ j
fois le mineur Aij .
2.12. Propriétés du déterminant
A′ = A ,
AB = A . B
si B est aussi une matrice carrée d' ordre p,
λA = λ p A
si λ est un scalaire.
2.13. Singularité d’une matrice
Si le déterminant de A est nul : A = 0 , la matrice A sera dite singulière. Dès lors : r ( A) < p .
2.14. Non-singularité d’une matrice
En revanche, si le déterminant de A est non-nul : A ≠ 0 , la matrice A sera dite non-singulière
ou régulière. Dès lors : r ( A) = p .
-7-
2.15. Inverse d’une matrice carrée
Si A est une matrice carrée non-singulière, la matrice inverse de A, noté A−1 , existe et est telle
que :
AA −1 = A −1 A = I p .
On dira alors que A est inversible.
2.16. Inverse et matrice adjointe
A −1 =
adj( A)
.
A
2.17. Propriétés de l’inverse d’une matrice
(A ) = A, .
(A′) = (A )′ .
−1 −1
−1
−1
Les éléments de A−1 sont continus en A, sauf au point où A = 0 .
2.18. Inverse d’un produit matriciel
(AB )
−1
= B −1 A −1
si A ≠ 0 et B ≠ 0.
2.19. Déterminant de l’inverse d’une matrice
A −1 = A
−1
si A ≠ 0 .
2.20. Propriété du rang d’une matrice
r ( AB ) = r ( A)
si B ≠ 0.
2.21. Inverse d’une somme de matrice
Si H = A + BDC avec A et D des matrices carrées inversibles, alors :
-8-
(
H = A −1 − A−1 B D −1 + CA −1 B
(
B(D
)
−1
CA −1
)
B ) C  A

−1
= A −1  I − B D −1 + CA−1 B CA −1 


=  I − A−1

−1
+ CA −1
−1
−1
2.22. Valeurs propres (eigenvalues)
Les p valeurs propres (eigenvalues ou racines caractéristiques) d’une matrice carrée A d’ordre
p sont les racines du polynôme, notées λ1 , λ 2 ,K, λ p :
p
A − λI p = ∑ α i λi = 0.
i =1
Les valeurs propres d’une matrice carrée quelconque peuvent être complexes.
2.23. Propriétés des valeurs propres
tr ( A) = ∑ λ i
p
i =1
det ( A) = ∏ λ i
p
i =1
Le nombre de valeurs propres λ i non nulles de A est égal au rang de A : r( A) . Les racines de
A − λB = 0 sont les valeurs propres de la matrice B −1 A (et aussi de la matrice AB −1 quand
B ≠ 0 ).
2.24. Vecteurs propres (eigenvectors)
(
Du fait que la matrice A − λ i I p
) est singulière pour les valeurs propres
λ i , il existe un
vecteur xi de dimension ( p ×1) , appelé vecteur propre (ou eigenvector) de A, tel que :
(A − λ I )x
i
p
i
= 0,
ou encore :
Axi = λ i xi .
2.25. Matrice symétrique
Une matrice A est symétrique si et seulement si : A = A′ .
-9-
2.26. Valeurs propres d’une matrice symétrique
Toutes les valeurs propres d’une matrice symétrique sont réelles.
2.27. Matrice orthogonale
Une matrice A est orthogonale si et seulement si : AA′ = A′A = I p . Dès lors, on aura :
A −1 = A′.
2.28. Valeurs propres d’une matrice orthogonales
Toutes les valeurs propres d’une matrice orthogonale sont égales à 1 ou –1.
2.29. Matrice idempotente
Une matrice A est idempotente si et seulement si : AA = A .
2.30. Valeurs propres d’une matrice idempotente
Toutes les valeurs propres d’une matrice idempotente sont égales à 0 ou 1.
2.31. Propriétés d’une matrice particulière
Si X est une matrice d’ordre T × K , alors la matrice X ′X est symétrique.
2.32. Matrices de projection
( )
−1
Si X est une matrice d’ordre T × K , alors les matrices d’ordre K × K : B = X X ′X X ′ et
−1
W = I K − X X ′X X ′ = I K − B sont symétriques et idempotentes. La matrice B est de rang K
( )
et la matrice W est de rang : T − K .
Ces matrices sont des matrices de projection orthogonale ; la première B sur le sous-espace
vectoriel engendré par les colonnes de X, et la seconde sur le sous-espace vectoriel orthogonal
à celui engendré par les colonnes de X.
- 10 -
2.33. Forme linéaire
Si a et x sont des vecteurs colonnes n × 1 , l’expression a ′x est appelée une forme linéaire en
x:
n
a′x = ∑ ai xi .
i =1
2.34. Forme quadratique
Si x est un vecteur colonne n × 1 et A une matrice n × n , l’expression x′Ax est appelée une
forme quadratique en x :
n
n
x′Ax = ∑∑ aij xi x j .
i =1 j =1
2.35. Matrice définie-positive
Si toutes les valeurs propres de la matrice A sont strictement positives : λ i > 0
pour tout i = 1,K, p , on dira que A est définie positive et on notera : A > 0 (Remarque : cela
n’implique pas que tous les éléments de A sont strictement positif).
2.36. Matrice semi-définie positive
Si toutes les valeurs propres de la matrice A sont positives ou nulles : λ i ≥ 0
pour tout i = 1,K, p , on dira que A est semi-définie positive et on notera : A ≥ 0 .
2.37. Matrice définie négative
Si toutes les valeurs propres de la matrice A sont strictement négatives : λ i < 0
pour tout i = 1,K, p , on dira que A est définie négative et on notera : A < 0 .
2.38. Matrice semi-définie négative
Si toutes les valeurs propres de la matrice A sont négatives ou nulles : λ i ≤ 0
pour tout i = 1,K, p , on dira que A est semi-définie négative et on notera : A ≤ 0 .
- 11 -
2.39. Décomposition de Cholesky
Si A est une matrice symétrique d’ordre n, définie positive, alors :
A = LL′
où L est une matrice (unique) triangulaire inférieure avec des éléments positifs sur la
diagonale principale :
 l 11

 l 12
L=
M

l
 1n
0
l 22
M
l2n
0

L 0
.
O M 

L l nn 
L
2.40. Décomposition en valeur singulière
On décompose une matrice A d’ordre p × q avec p ≥ q et r ( A) = r > 0 en :
A = UWV ′
où :
U

W
V

est m × r avec U ′U = I r ,
est r × r
est n × r
diagonale, avec des éléments non négatifs,
avec V ′V = I r .
- 12 -
3. Matrices Symétriques
3.1. Forme quadratique d’une matrice symétrique
Soit A une matrice symétrique, alors toutes les valeurs propres λi de A sont réelles, et tous les
vecteurs propres xi sont réels. De plus on dira que A est :
• définie positive
• semi-définie positive
• définie négative
• semi-définie négative
• indéfinie
si
si
si
si
si
et
x′Ax > 0 ,
x′Ax ≥ 0 ,
x′Ax < 0 ,
x′Ax ≤ 0 ,
x′Ax ≥ 0 ,
x′Ax < 0 ,
pour tout x ≠ 0 ,
pour tout x ,
pour tout x ≠ 0 ,
pour tout x ,
pour quelques x ,
pour d’autres x .
3.2. Matrice des vecteurs propres
(
)
Il existe une matrice orthogonale X = x1 , x2 ,K, x p dont les colonnes sont les vecteurs
propres de A, telle que X ′AX = Λ , où Λ = diag λ1 , λ 2 ,K, λ p est la matrice diagonale des
valeurs propres.
(
3.3. Propriété de la matrice des vecteurs propres
A = XΛX ′
A −1 = X ′Λ−1 X ,
si A ≠ 0.
3.4. Valeur propre maximale
Soit λ ( A) la plus grande valeur propre de A, on a :
 x′Ax 

λ ( A) = max (λ i ) = sup

i
i  x ′x 
3.5. Valeur propre minimale
Soit λ( A) la plus petite valeur propre de A, on a :
 x′Ax 

λ( A) = min (λ i ) = inf 
′x 
i
i
x


- 13 -
)
3.6. Rang et valeurs propres d’une matrice symétrique
Si la matrice symétrique A possède r valeurs propres non-nulles, alors r (A) = r .
Si la matrice idempotente A possède r valeurs propres unitaires, alors r ( A) = tr ( A) = r .
3.7. Propriétés d’une matrice définie positive
Si A est une matrice symétrique définie-positive d’ordre p, alors :
A>0
r ( A) = p
A −1 > 0 (définie - positive)
[ ( )]
λ ( A) = λ A−1
−1
De plus, si B est de plein rang colonne, alors B ′AB > 0 .
3.8. Racine carrée d’une matrice
(
)
Soit Λ1 2 = diag λ11 2 , λ122 , , λ1p2 , en écrivant A = X ′ΛX avec X la matrice orthogonale des
vecteurs propres de A, on aura :
B = XΛ1 2 X ′
satisfait
B 2 = BB = A .
On appellera B = A1 2 la racine carrée (unique et définie-positive) de la matrice A.
3.9. Propriétés d’une matrice définie positive (suite)
Si A et B sont deux matrices définies-positive d’ordre p, alors A – B est définie positive si et
seulement si B −1 − A −1 est définie-positive.
- 14 -
4. Matrices Partitionnées
4.1. Définition d’une matrice partitionnée
Une matrice A d’ordre p × q peut être partitionnée en nm blocs (ou sous-matrices) tels que :
 A11
 p1×q1
A
21
A =  p2 ×q1
M

 An1
 pn ×q1
avec
∑
n
i =1
pi = p et
∑
m
j =1
A
12
p1×q2
A
22
p2 ×q2
M
A
n2
pn ×q2
A 

L A2 m 
p2 ×qm 
O
M 

L Anm 
p n ×q m 
L
1m
p1×qm
qj = q .
4.2. Matrice partitionnée en 2 x 2 blocs
Le cas le plus simple est celui d’une matrice A partitionnée en 4 blocs :
 A11

A =  p1×q1
 pA×21q
 2 1
A 

A22 
p2 ×q2 
12
p1×q2
avec p1 + p 2 = p et q1 + q2 = q .
4.3. Cas particuliers
a) Si p1 = q1 et p2 = q2 , les matrices A11 et A22 sont carrées, et si A11 est inversible
A11 ≠ 0 , alors :
A = A11 × A22•1
où A22•1 = A22 − A21 A11−1 A12
 A11
b) Si la matrice A22•1 est aussi inversible A22•1 ≠ 0 , on aura alors : A −1 =  21
A

 A11 =

 A12 =
avec : 
21
A =
 22
A =
(
A11−1 I p1 + A12 A22−1•1 A21 A11−1
− A11−1 A12 A22−1•1
− A22−1•1 A21 A11−1
−1
A22
•1
- 15 -
)
A12 

A 22 
 B C
′ = C , on a alors : A = 

c) Si aussi les matrices A22 = 0 , A11 = B et A12 = A21
 C ′ 0  une


matrice symétrique, et :
(
)
(
)
−1
−1 
 −1 
−1
−1
−1
−1
 B  I p1 + C C ′B C C ′B  B C C ′B C 

A = 

−1
−1
−1

′
′
′B −1C −1 
C
B
C
C
B
−
C


−1
(
)
(
)
d) Si p1 = q1 et p2 = q2 , les matrices A11 et A22 sont carrées, alors la matrice A est
définie-positive A > 0 si et seulement si les matrices A11 et A22 sont définiespositive : A11 > 0 et A22 > 0 .
e) Si la matrice A21 = 0 , alors A = A11 × A22 . Donc A ≠ 0 si et seulement si A11 ≠ 0 et
A22 ≠ 0 .
f) Si la matrice A est bloc-diagonale : A = diag ( A1 , A2 ,K, An ) où les sous-matrices Ai
sont des matrices carrées inversibles avec Ai ≠ 0 pour tout i, alors :
n
A = ∏ Ai
i =1
−1
(
A = diag A1−1 , A2−1 ,K, An−1
- 16 -
)
5. Produit de Kronecker et Vectorisation
5.1. Définition du Produit de Kronecker
Si A est une matrice d’ordre m × n et B une matrice d’ordre p × q , on définira une matrice C
d’ordre mp × nq avec la produit de Kronecker :
 a11 B a12 B

 a 21 B a22 B
C = A ⊗ B = aij B = 
M
M

a B a B
n2
 n1
[ ]
L a1m B 

L a2m B 
O
M 

L a nm B 
5.2. Transposée du Produit de Kronecker
(A ⊗ B )′ = A′ ⊗ B′.
5.3. Inverse du Produit de Kronecker
Si A et B sont des matrices carrées inversibles, alors :
(A ⊗ B )
−1
= A −1 ⊗ B −1 .
5.4. Déterminant du Produit de Kronecker
Si A et B sont des matrices carrées d’ordre respectif m et n, alors :
n
m
A⊗ B = A B .
5.5. Produit matriciel classique et Produit de Kronecker
(A ⊗ B )(C ⊗ D ) = AC ⊗ BD.
5.6. Trace et Produit de Kronecker
tr ( A ⊗ B ) = tr ( A)tr (B ).
- 17 -
5.7. Vectorisation d’une matrice
Soit une matrice A d’ordre m × n , l’opérateur de vectorisation (vec) empile les colonnes de la
matrice A pour obtenir un vecteur colonne d’ordre mn ×1 , tel que :
 a11 


 M 
a 
 m1 
 a12 


M 

a = vec( A) =
 am 2 


 M 
a 
 1n 
 M 
a 
 mn 
5.8. Produit de deux matrices vectorisées
Si A et B sont deux matrices d’ordre m × n , alors :
( )
′
vec( A) vec(B ) = tr A′B
et donc :
( )
( )
( )
( )
′
′
tr ( AB ) = vec A′ vec(B ) = vec(B ) vec A′
′
′
tr (BA) = vec B′ vec( A) = vec( A) vec B′
vec( A + B ) = vec( A) + vec(B )
5.9. Produit de Kronecker et Vectorisation
Deux propriétés, intéressantes en économétrie, relient le produit de Kronecker à la
vectorisation de matrices (attention à l’ordre des matrices) :
(
)
( )(
vec( ABC ) = C ′ ⊗ A vec(B ),
′
tr ( ABCD ) = vec D′ A ⊗ C ′ vec(B ).
- 18 -
)
6. Dérivées de fonctions matricielles
6.1. Fonction vectorielle
Si f (x ) : R m → R est une fonction scalaire d’un vecteur x d’ordre m × 1 , alors on définira une
fonction vectorielle y = f (x ) : R m → R n par :
 f 1 (x ) 


 f 2 (x )
y = f (x ) = 
M 


 f (x )
n


6.2. Différentiation vectorielle
Si f (x ) : R m → R est une fonction scalaire d’un vecteur x d’ordre m × 1 , alors la dérivée
première de f (x ) par rapport à x est le vecteur d’ordre m × 1 :
 ∂f (x ) 


 ∂x1 
 ∂f (x ) 
∂f (x ) 
= ∂x2  .


∂x
 M 
 ∂f (x ) 
 ∂x 
 m 
La dérivée seconde de cette fonction scalaire f (x ) par rapport à x est la matrice d’ordre
m×m :
∂ 2 f (x )  ∂ 2 f (x )
=
.
∂x∂x′  ∂xi ∂x j 
6.3. Règles de différentiation
Si A est une matrice carrée d’ordre p × p , x et y deux vecteurs d’ordre p × 1 , on aura alors :
∂y ′x
= y,
∂x
∂x′y
= y ′,
∂x
- 19 -
∂x′Ay
= Ay,
∂x
∂x′Ax
= A + A′ x,
.
∂x
∂x′Ax
= 2 Ax si A est une matrice symétrique.
∂x
(
)
6.4. Différentiation matricielle
Si f ( X ) : R m×n → R est une fonction scalaire d’une matrice X d’ordre m × n , alors la dérivée
première de f ( X ) par rapport à X est le vecteur d’ordre m × n :
∂f ( X )  ∂f ( X )
=
.
∂X
 ∂xij 
6.5. Matrice Jacobienne et Jacobien
Si f (x ) : R m → R n est une fonction vectorielle, on définit la matrice Jacobienne J d’ordre
n×m :
 ∂f1 (x ) ∂f1 (x )

∂x2
 ∂x1
 ∂f 2 (x ) ∂f 2 (x )
∂f (x ) 
J=
= ∂x1
∂x2
∂x′ 
M
M

∂
f
(
x
)
∂
f
 n
n (x )
 ∂x
∂x2
1

∂f1 (x ) 

∂xm 
∂f 2 (x ) 
L

∂xm  .
O
M 
∂f n (x ) 
L
∂xm 
L
Si m = n la matrice J est carrée, et le Jacobien est la valeur absolue du déterminant de J :
J =
∂f (x )
∂x′
6.6. Jacobien d’une fonction matricielle
Si Y = f ( X ) : R m×n → R p×q est une fonction matricielle d’une matrice X d’ordre n × m , où Y
est une matrice d’ordre p × q . La matrice Jacobienne J de cette transformation est d’ordre
pq × mn :
- 20 -
J=
∂ vec(Y )
.
′
′
∂ vec X
( )
6.7. Règles de différentiation par rapport à un scalaire
Si les matrices A et B dépendent d’un scalaire θ, on aura alors :
′
∂A′  ∂A 
=  ,
∂θ  ∂θ 
 ∂A 
∂ (λA)
= λ  ,
∂θ
 ∂θ 
∂ ( A + B )  ∂A   ∂B 
=   +   ,
∂θ
 ∂θ   ∂θ 
 ∂B 
∂ ( AB )  ∂A 
=   B + A  ,
∂θ
 ∂θ 
 ∂θ 
 ∂A 
∂tr ( A)
= tr  ,
∂θ
 ∂θ 
∂A
( )
∂ ln A
( )
−1 ∂A 

= A tr A′

∂θ
∂θ 


−1 ∂A 
= tr A′

∂θ
∂θ 

∂A −1
∂A −1
= − A −1
A
∂θ
∂θ
6.8. Règles de différentiation matricielle
∂ ln A
∂A
∂ ln A
∂A
( )
−1
= A′
si A n' est pas symétrique.
( )
= 2 A−1 − dg A−1
- 21 -
si A est symétrique.
∂tr ( AB )
= B′
∂A
si A n' est pas symétrique.
∂tr ( AB )
= B + B ′ − dg ( A)
∂A
si A n' est pas symétrique.
6.9. Différentiation et vectorisation
∂vec(ABC )
= A ⊗ C′ ,
′
(
)
∂vec B
( ) ( ) ( )
′
∂vec A−1
= − A −1 ⊗ A −1 ,
′
∂vec( A)
- 22 -