Eléments de Calcul Matriciel et Différentiel pour l`Analyse Factorielle

El´ements de Calcul Matriciel
et Diff´erentiel pour l’Analyse
Factorielle de Donn´ees.
Jean-Fran¸cois Durand
[email protected]
Universit´e Montpellier II

Contents
1 Matrices, D´efinitions et Propri´et´es 7
1.1 Notations et premi`eres d´efinitions . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Matrice associ´ee `a une application lin´eaire . . . . . . . . . . . . . . . . . . 9
1.3 Quelques matrices particuli`eres . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1 Matrice adjointe d’une matrice A. . . . . . . . . . . . . . . . . . . 9
1.3.2 Matrices hermitiennes . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Image, noyau, rang d’une matrice . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.1 Image d’une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2 Noyau d’une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.3 Rang d’une matrice . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 D´eterminant d’une matrice carr´ee . . . . . . . . . . . . . . . . . . . . . . . 12
1.6 Inverse d’une matrice carr´ee . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Changements de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.7.1 Effet sur les coordonn´ees d’un vecteur . . . . . . . . . . . . . . . . . 15
1.7.2 Effet sur les ´el´ements d’une matrice . . . . . . . . . . . . . . . . . . 15
1.8 Valeurs propres, vecteurs propres . . . . . . . . . . . . . . . . . . . . . . . 15
1.9 Trace d’une matrice carr´ee . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.10 Formes lin´eaires, formes quadratiques . . . . . . . . . . . . . . . . . . . . . 18
1.11 Matrices orthogonales et unitaires . . . . . . . . . . . . . . . . . . . . . . . 20
1.11.1 Les matrices de permutation . . . . . . . . . . . . . . . . . . . . . . 20
1.11.2 Les matrices de rotation . . . . . . . . . . . . . . . . . . . . . . . . 21
1.11.3 Construction d’une base orthonorm´ee par le proc´ed´e de Gram-Schmidt 22
1.12 Op´erateur vec et produit de Kronecker . . . . . . . . . . . . . . . . . . . . 22
1.12.1 L’op´erateur vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.12.2 Produit de Kronecker . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.12.3 Matrice de commutation . . . . . . . . . . . . . . . . . . . . . . . . 25
3

1.13 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2 D´ecomposition de Matrices 31
2.1 Les projecteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.1 Sous espaces suppl´ementaires et projecteurs . . . . . . . . . . . . . 32
2.1.2 Exemple fondamental . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.1.3 D’autres matrices orthogonales : les matrices de r´eflexion . . . . . . 34
2.2 Matrices carr´ees diagonalisables . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3 Factorisation QR d’une matrice rectangulaire . . . . . . . . . . . . . . . . 37
2.4 D´ecomposition unitaire des matrices carr´ees . . . . . . . . . . . . . . . . . 38
2.4.1 Le th´eor`eme de Schur . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.4.2 Matrices normales . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 D´ecomposition en valeurs singuli`eres . . . . . . . . . . . . . . . . . . . . . 41
2.5.1 Deux versions de la DVS . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.2 D´ecomposition polaire . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6 Factorisation de Cholesky d’une matrice sym´etrique d´efinie positive . . . . 46
2.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3 Normes de Matrices 51
3.1 Normes de vecteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.1 Normes de H¨older . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.1.2 G´en´eralisation de la norme Euclidienne, la M-norme . . . . . . . . 54
3.2 Normes de matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.1 Normes subordonn´ees `a des normes vectorielles . . . . . . . . . . . 56
3.2.2 Normes Euclidiennes par vectorisation . . . . . . . . . . . . . . . . 58
3.2.3 Normes matricielles sous multiplicatives . . . . . . . . . . . . . . . 60
3.2.4 Normes unitairement invariantes . . . . . . . . . . . . . . . . . . . . 61
3.3 Suites de matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 Conditionnement d’une matrice . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4 Inverses G´en´eralis´es, Projecteurs M-Orthogonaux 67
4.1 Inverses G´en´eralis´es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.1 D´efinition et propri´et´es . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.2 Inverse de Moore-Penrose . . . . . . . . . . . . . . . . . . . . . . . 70
4.2 Projecteurs M-orthogonaux . . . . . . . . . . . . . . . . . . . . . . . . . . 71

4.2.1 Projecteur M-orthogonal sur Im A . . . . . . . . . . . . . . . . . . 72
4.2.2 Un probl`eme aux moindres carr´es . . . . . . . . . . . . . . . . . . . 74
4.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5 D´erivation Matricielle 77
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2 D´erivation matricielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.1 Matrices Jacobiennes . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.2 Hessien de fonctions num´eriques . . . . . . . . . . . . . . . . . . . . 81
5.3 Extremums de fonctions num´eriques . . . . . . . . . . . . . . . . . . . . . . 82
5.3.1 Probl`emes d’extremums libres . . . . . . . . . . . . . . . . . . . . . 84
5.3.2 Probl`emes d’extremums li´es . . . . . . . . . . . . . . . . . . . . . . 85
5.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6 Le paysage math´ematique et statistique de l’Analyse Factorielle de
Donn´ees : la g´eom´etrie Euclidienne 89
6.1 Le triplet (T, M, D) des donn´ees . . . . . . . . . . . . . . . . . . . . . . . . 90
6.2 Statistique et g´eom´etrie sur (IRn, D), espace des variables . . . . . . . . . . 91
6.2.1 Le simplexe des poids statistiques et la droite des constantes . . . . 91
6.2.2 Moyenne et centrage vus comme une projection . . . . . . . . . . . 92
6.2.3 Variance et ´ecart-type . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.4 Proximit´e entre deux variables, covariance et corr´elation lin´eaire . . 94
6.2.5 D´efinitions et notations pour la statistique multivari´ee . . . . . . . 96
6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7 G´en´eralisation de la D´ecomposition en Valeurs Singuli`eres. Analyse en
Composantes Principales du triplet (X, M, D)101
7.1 D´ecomposition en Valeurs Singuli`eres du triplet . . . . . . . . . . . . . . . 102
7.1.1 Lemme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.1.2 La DVS du triplet (X, M, D) . . . . . . . . . . . . . . . . . . . . . 103
7.1.3 Relation avec la DVS usuelle . . . . . . . . . . . . . . . . . . . . . . 104
7.1.4 Projecteurs orthogonaux associ´es `a la DVS . . . . . . . . . . . . . . 105
7.1.5 Th´eor`eme d’approximation d’Eckart-Young . . . . . . . . . . . . . . 105
7.2 Analyse en Composantes Principales d’ordre kdu triplet (X, M, D) . . . . 106
7.2.1 D´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.2.2 Projections des points lignes . . . . . . . . . . . . . . . . . . . . . . 113