Calcul matriciel et syst`emes linéaires

Calcul matriciel et syst`emes lin´eaires
Jocelyne Erhel Nabil Nassif Bernard Philippe
DEA Informatique et mod´elisation
Ann´ee 2004
Beyrouth, Liban

2

Contents
1 Bases de l’alg`ebre lin´eaire 7
1.1 Espacesvectorielsetvecteurs ............................... 7
1.2 Matricesetvecteurs .................................... 7
1.2.1 Matrices carr´ees et matrices particuli`eres .................... 7
1.2.2 Op´erationssurlesmatrices ............................ 8
1.2.3 Matrices sym´etriques................................ 8
1.2.4 Partitionsparblocs ................................ 8
1.3 Produitscalaireetnormesvectorielles .......................... 8
1.4 Normesmatricielles..................................... 9
1.5 Orthogonalit´edansRn................................... 11
1.6 Image,noyau,rangd’unematrice............................. 12
1.6.1 Matricesderangk................................. 13
1.6.2 Matricesderang1................................. 13
1.7 Notions de complexit´eetdeperformances ........................ 13
1.8 Biblioth`equesBLASetLAPACK............................. 14
1.8.1 Op´erationsBLAS1................................. 14
1.8.2 Op´erationsBLAS2................................. 14
1.8.3 Op´erationsBLAS3................................. 15
1.8.4 Produitdematrices ................................ 15
1.8.5 biblioth`equeLAPACK............................... 16
2Pr´ecision 17
2.1 Erreursdecalcul ...................................... 17
2.1.1 Sourcesd’erreur .................................. 17
2.1.2 Mesuresdel’erreur................................. 17
2.2 Arithm´etiqueflottante................................... 18
2.2.1 Formatflottant................................... 18
2.2.2 Arrondis....................................... 19
2.2.3 Op´erations arithm´etiques ............................. 20
2.2.4 Exceptions ..................................... 20
2.2.5 Norme IEEE-754 . . . . . . . . . ......................... 21
2.2.6 Ph´enom`ened’absorption.............................. 21
2.2.7 Ph´enom`enedecancellation ............................ 22
2.2.8 ExtensionsdelanormeIEEE........................... 23
2.3 Stabilit´edesprobl`emes................................... 23
3

2.3.1 Lien avec le r´esidu ................................. 24
2.4 Stabilit´edesalgorithmesdirects.............................. 24
2.4.1 Exemple:produitscalaire............................. 24
2.4.2 Exemple : produit ext´erieur............................ 25
3 Valeurs propres et valeurs singuli`eres 27
3.1 Valeurspropresetvecteurspropres............................ 27
3.2 Valeurs singuli`eresetvecteurssinguliers ......................... 28
3.3 Approximation de rang k et rang num´erique....................... 30
3.4 CalculdelaSVD...................................... 31
3.5 Bidiagonalisation . . . ................................... 32
4 Orthogonalisation 33
4.1 AlgorithmesdeGram-Schmidt .............................. 33
4.2 AlgorithmedeGram-Schmidtparblocs ......................... 35
4.3 Proc´ed´ed’Arnoldi ..................................... 36
4.4 Algorithme de Lanczos sym´etrique ............................ 37
4.5 Algorithme de Lanczos non sym´etrique.......................... 38
5R´esolution de syst`emes lin´eaires par des m´ethodes directes 39
5.1 Inverse d’une matrice carr´ee et syst`emes lin´eaires.................... 39
5.1.1 Inversed’unematrice ............................... 39
5.1.2 Matrices particuli`eres ............................... 40
5.1.3 R´esolution d’un syst`eme lin´eaire ......................... 40
5.2 FactorisationLU ...................................... 41
5.2.1 Pivotpartiel .................................... 41
5.2.2 Factorisationparblocs............................... 41
5.3 FactorisationdeCholesky ................................. 42
5.3.1 Algorithmedefactorisation ............................ 42
5.3.2 Stabilit´enum´eriquedeCholesky ......................... 45
5.4 Conditionnement d’un syst`eme lin´eaire.......................... 45
5.4.1 Lien avec le r´esidu ................................. 46
6R´esolution it´erative de syst`emes lin´eaires 49
6.1 M´ethodes it´eratives lin´eaires................................ 49
6.2 M´ethodesdeprojection .................................. 50
6.2.1 D´efinition d’une m´ethodepolynomiale ...................... 50
6.2.2 M´ethodespolynomialesdeprojection....................... 52
6.2.3 Pr´econditionnement d’une m´ethodepolynomiale ................ 52
6.3 Cas o`uAest sym´etrique d´efiniepositive......................... 53
6.3.1 M´ethode du Gradient Conjugu´e.......................... 53
6.3.2 Lien avec la m´ethodedeLanczos......................... 55
6.3.3 ConvergencedeGC ................................ 57
6.3.4 Convergence superlin´eaire............................. 59
6.3.5 Gradient Conjugu´ePr´econditionn´e........................ 59
6.4 Propri´et´es des m´ethodesdeprojection .......................... 60
4

6.5 Cas o`uAest sym´etrique ind´efinie............................. 62
6.5.1 M´ethodedeLanczos ................................ 62
6.5.2 M´ethodeMINRES ................................. 63
6.5.3 M´ethodeCR .................................... 63
6.5.4 M´ethodeSYMMLQ ................................ 64
6.6 Cas o`uAest non sym´etrique - m´ethodes de type gradient conjugu´e.......... 64
6.6.1 M´ethodeCGNR .................................. 64
6.6.2 M´ethodeCGNE .................................. 64
6.6.3 ConvergencedeCGNRetCGNE......................... 65
6.7 Cas o`uAest non sym´etrique - m´ethodeGMRES .................... 65
6.7.1 Lien avec la m´ethoded’Arnoldi.......................... 66
6.7.2 ConvergencedeGMRES.............................. 67
6.7.3 Red´emarragedeGMRES ............................. 68
6.8 Cas o`uAest non sym´etrique - m´ethodes de gradient bi-conjugu´e ........... 69
6.8.1 ConstructiondeBICG............................... 69
6.8.2 Lien avec Lanczos non sym´etrique ........................ 70
6.8.3 ConvergencedeBICG ............................... 71
6.8.4 VariantesCGSetBICGSTAB........................... 71
6.9 Cas o`uAest non sym´etrique - m´ethodeQMR...................... 71
6.10 Probl`emes num´eriquesdanslesm´ethodesdeKrylov .................. 72
6.10.1 Perte d’orthogonalit´eetd´erive du r´esidu..................... 72
6.10.2 Breakdownsetnear-breakdowns ......................... 72
6.11 Pr´econditionnement .................................... 72
6.11.1 D´ecomposition de A................................ 72
6.11.2 Factorisation incompl`ete.............................. 73
6.11.3 Pr´econditionnementpolynomial.......................... 73
6.11.4 Inverse approch´e .................................. 73
6.11.5 Multigrille et multiniveaux . . . ......................... 73
6.11.6 Probl`emes approch´es................................ 74
6.11.7 D´eflation et syst`emes augment´es ......................... 74
7 Cas des grands syst`emes 75
7.1 Stockagedesmatricescreuses ............................... 75
7.2 Produitmatrice-vecteur .................................. 76
7.3 FactorisationdeCholesky ................................. 76
7.3.1 Stockagesbandeetprofil ............................. 76
7.3.2 Remplissagedanslestockagecompact ...................... 76
7.3.3 Factorisationsymbolique ............................. 77
7.3.4 Renum´erotation .................................. 77
7.4 Factorisation LU ...................................... 78
5