Notes de cours Algorithmique avancée

Notes de cours
Algorithmique avancée
Ecole Centrale
Pierre Fraigniaud
CNRS et Université Paris Diderot
[email protected]
Version 19 novembre 2016
Résumé
Ce cours a pour objectif de donner aux élèves un aperçu de quelques unes des techniques
modernes de conception et d’analyse d’algorithmes. Ainsi, tous les grands thèmes de l’algo-
rithme seront abordés dans le cours : calculabilité, complexité, récursivité, programmation
dynamique, programmation linéaire, algorithmes d’approximation, algorithmes paramétrés,
algorithmes probabilistes, etc. A l’issue de ce cours, les élèves devraient être capables d’iden-
tifier la ou les méthodes les plus appropriées pour la résolution des problèmes algorithmiques
qu’ils pourront rencontrer dans leurs carrières. Il ne sera bien sur pas possible de rentrer
dans les détails de toutes les thématiques abordées dans le cours, qui mériteraient chacune
un cours à part entière. Toutefois, les ouvrages de référence qui seront indiqués durant le
cours devraient permettre de satisfaire tous les élèves désirant en savoir plus sur tels ou tels
thèmes du cours.
Ouvrages de référence
— Complexité algorithmique [11]
— Techniques de conception et d’analyse d’algorithmes [3]
— Algorithmes d’approximation [14]
— Algorithmes paramétrés [5]
— Algorithmes probabilistes [9]
— Méthodes heuristiques [8]
— Algorithmes parallèles [6]
— Algorithmes distribués [1, 7, 12]
— Algorithmes online [2]
1

Table des matières
1 Préambule : les graphes et PageRank de Google 5
1.1 Des objets au cœur de l’algorithmique : les graphes . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Codage et notations asymptotiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Matricesetgraphes........................................ 8
1.4 Composantesconnexes...................................... 9
2 Calculabilité et complexité algorithmique 9
2.1 MachinedeTuring ........................................ 10
2.1.1 Definition......................................... 10
2.1.2 Indécidabilité....................................... 11
2.2 MachinesRAM.......................................... 13
2.2.1 Les modèles de machines RAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.2 Lemodèleducours.................................... 14
2.3 Les classes pet np ........................................ 16
2.3.1 Lesproblèmesdedécision................................ 16
2.3.2 La classe p........................................ 16
2.3.3 La classe np ........................................ 18
2.3.4 Réduction polynomiale et problème np-difficiles.................... 21
2.4 Exemples de preuves de NP-complétude . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4.1 Réduction à partir de 3-sat ............................... 23
2.4.2 Réduction à partir de couverture ensemble .................... 26
2.5 Complexitéspatiale........................................ 26
2.5.1 Espacepolynomial .................................... 26
2.5.2 Espacelogarithmique .................................. 26
2.5.3 Complexité spatiale non déterministe . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.4 Lespreuvesinteractives ................................. 28
3 Techniques de conception d’algorithmes 28
3.1 Analyse et preuves d’algorithmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1.1 ParcoursDFS....................................... 29
3.1.2 ParcoursBFS....................................... 31
3.1.3 AlgorithmedeDijkstra ................................. 32
3.2 Algorithmesglouton ....................................... 34
3.2.1 Arbre couvrant de poids minimum . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2.2 Matroïdes......................................... 37
3.3 Algorithmesrécursifs....................................... 38
3.4 Programmationdynamique ................................... 41
3.4.1 Plus longue sous-séquence commune . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.2 Programmation dynamique dans les arbres . . . . . . . . . . . . . . . . . . . . . . 43
2

3.4.3 Problèmedusacàdos.................................. 44
3.5 Flotsetapplications ....................................... 45
3.5.1 Réseauxdetransport .................................. 45
3.5.2 Algorithme de Ford-Fulkerson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5.3 Applicationaucouplage................................. 49
3.6 Programmationlinéaire ..................................... 49
3.6.1 Définition......................................... 49
3.6.2 Programmation linéaire en nombres entiers . . . . . . . . . . . . . . . . . . . . . . 51
4 Algorithmes d’approximation 51
4.1 Définition ............................................. 52
4.1.1 2-approximation de la couverture sommet minimum . . . . . . . . . . . . . . . . . 52
4.1.2 La classe apx ....................................... 53
4.2 Approximation«gloutonne» .................................. 53
4.2.1 Couverture-sensemble .................................. 53
4.2.2 Couverture-ensemble pondérée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3 Approximation à partir d’arbres couvrant minimaux . . . . . . . . . . . . . . . . . . . . . 56
4.3.1 Problème du voyageur de commerce . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2 Inapproximabilité..................................... 56
4.3.3 Le voyageur de commerce métrique . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3.4 ArbresdeSteiner..................................... 58
4.4 Algorithmesd’élagage ...................................... 59
4.5 Lesschémasd’approximation .................................. 59
4.5.1 Définition......................................... 59
4.5.2 L’exempledusacàdos ................................. 60
4.5.3 Les classes fptas,ptas et apx-complet ........................ 61
4.6 Méthodedel’arrondi....................................... 61
5 Algorithmes paramétrés 62
5.1 La classe fpt ........................................... 63
5.1.1 Algorithmes polynomiaux à paramètre fixé . . . . . . . . . . . . . . . . . . . . . . 63
5.1.2 Arbre de recherche pour couverture sommet .................... 64
5.1.3 La classe fpt ....................................... 65
5.2 Les noyaux : l’exemple de maxsat ............................... 65
5.3 Algorithmesdebranchement .................................. 66
5.3.1 Algorithme paramétré de branchement pour couverture sommet ........ 66
5.3.2 Analyse des algorithmes de branchement . . . . . . . . . . . . . . . . . . . . . . . . 68
5.4 Classes de complexité paramétrée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.4.1 Le problème SAT contraint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.4.2 Formules booléennes t-normalisée............................ 68
5.4.3 Les classes w[t]...................................... 69
3

6 Algorithmes probabilistes 69
6.1 Analyseprobabiliste ....................................... 69
6.1.1 Rappels élémentaires de la théorie des probabilités . . . . . . . . . . . . . . . . . . 69
6.1.2 Exempledeladiffusion ................................. 70
6.1.3 Analysed’algorithmes .................................. 72
6.2 LasVegasetMontéCarlo .................................... 73
6.2.1 Un algorithme Las Vegas pour la recherche de répétitions . . . . . . . . . . . . . . 74
6.2.2 Un algorithme de Monté Carlo pour maxsat ..................... 74
6.2.3 Echantillonnage probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.3 Méthode de l’arrondi probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.4 Concentration : bornes de Chernoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.4.1 BornedeChernoff .................................... 76
6.4.2 Application à la diffusion probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.5 Les classes de complexité probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7 Conclusion 78
A Correction des exercices 80
B Devoir à la maison 86
C Examen du 29 janvier 2010, 11h30-13h00 89
D Examen du 21 janvier 2011, 09h30-11h00 92
E Examen du 29 octobre 2011, 09h00-11h00 95
F Examen de rattrapage 8 février 2012, 10h00-11h00 98
G Examen du 30 octobre 2012, durée 3h 100
H Examen de rattrapage 27 février 2013, durée 1h30 104
I Examen du 18 octobre 2013, durée 3h 106
J Examen de rattrapage 27 février 2014, durée 1h30 109
4

Introduction
L’algorithmique est la discipline de l’informatique traitant de la conception et l’analyse d’al-
gorithmes. A ce titre, l’algorithmique se concentre principalement sur des problèmes abstraits
dont la résolution permet de mettre en évidence de grands principes pouvant ensuite être décli-
nés pour la résolution de problèmes spécifiques issus d’applications pratiques. L’algorithmique se
distingue de la programmation au sens où l’algorithmique permet de concevoir des algorithmes
à un certain niveau d’abstraction, susceptibles ensuite d’être programmés dans n’importe quel
language de programmation. La traduction d’un algorithme en programme nécessite néanmoins
de tenir compte du language de programmation, de l’environnement d’exécution du programme,
de ses entrées, de ses sorties, etc., toutes choses qui ne sont pas au centre des intérêts de l’al-
gorithmique. L’exemple de l’algorithme PageRank, au cœur de nombreux moteurs de recherche,
illustre la différence entre algorithmique et programmation. En effet, autant il est relativement
aisé de comprendre les principes de base de PageRank, voire de décrire PageRank sous forme
d’un algorithme relativement compact, autant le passage de la description algorithmique de
PageRank à la conception d’un moteur de recherche nécessite un travail considérable.
Algorithmique Programmation Vérification
assistants
de preuves
théorie des graphes
combinatoire
logique
algèbre
Figure 1 – L’algorithmique au sein de la chaine de conception de logiciels
La figure 1 illustre la position de l’algorithmique au sein de la chaine de conception de logi-
ciels. La conception et l’analyse d’algorithmes se nourri de résultats et de concepts à l’interface
entre mathématique et informatique. Des concepts issus de l’algorithmique, il est possible de dé-
river des programmes, soit manuellement, soit via l’utilisation d’outils tels que les assistants de
preuves, ces derniers permettant à la fois de concevoir un programme et d’en générer une preuve
de correction. Une fois le programme conçu, il convient ensuite de le vérifier, soit statiquement,
soit à l’exécution.
L’algorithmique est donc essentielle à la conception de logiciels efficaces. Sans algorithmique,
point de PageRank, et donc point de Google. Ce document effectue un survol des résultats
algorithmiques les plus importants. Il débute par des rappels de calculabilité et de complexité,
et se poursuit par la description de techniques de conception et d’analyse d’algorithmes. Il aborde
les algorithmes d’approximation, les algorithmes paramétrés, et les algorithmes probabilistes.
1 Préambule : les graphes et PageRank de Google
1.1 Des objets au cœur de l’algorithmique : les graphes
Ce cours utilisera abondemment la notion de graphe, un des modèles les plus utilisés pour for-
maliser les problèmes réels. Par exemple, Internet peut être vu comme un graphe connectant des
routeurs, et le Web comme un graphe connectant des pages html. Les interactions moléculaires
se modèlent également comme un graphe, tout comme les relations entre concepts linguistiques
ou les relations entre les espèces dans la théorie de l’évolution, et caetera. On pourrait multiplier
les exemples à l’infini.
Rappelons donc qu’un graphe Gest défini comme une paire (V, E)où Vest l’ensemble
5