Parallélisme Cours 7 - Communications et routage

Parall´elisme
Cours 7 - Communications et routage
Eric Goubault
Commissariat ` a l’Energie Atomique & Chaire Ecole
Polytechnique/Thal` es
Saclay
Le 5 mars 2012
Eric Goubault 1 5 mars 2012

Plan
•Communications et routage
-- G´en´eralit´es
-- Cas de l’hypercube (diffusion simple)
-- Cas du tore 2D (multiplication de matrices)
•Algorithmique sur ressources h´et´erog`enes
-- Allocation et ´equilibrage de charges statique/dynamique
-- Cas de l’algorithme LU: sur anneau (1D) puis tore (2D)
Eric Goubault 2 5 mars 2012

G´ en´ eralit´ es
•Topologie statique: r´eseau d’interconnexion fixe:
-- anneau, tore 2D,
-- hypercube, graphe complet etc.
•Topologie dynamique: modifi´ee en cours d’ex´ecution (par config-
uration de switch)
Eric Goubault 3 5 mars 2012

Caract´ eristiques
Topologie # proc. dodiam. # liens
Complet p p −1 1 p(p−1)
2
Anneau p2⌊p
2⌋p
Grille 2D s(p)s(p) 2,3,4 2(s(p)−1) 2p−2s(p)
Tore 2D s(p)s(p) 4 2⌊√(p)
2⌋2p
Hypercube p= 2dd=log(p)dplog(p)
2
Eric Goubault 4 5 mars 2012

Int´ erˆ et
•R´eseau complet: id´eal pour le temps de communications (toujours
unitaire)
•Mais: passage `a l’´echelle difficile! (prix du cablage, rajouter des
nouveaux processeurs?)
•Anneau: pas cher, mais communications lentes, et tol´erance aux
pannes des liens faible
•Tore 2D, Hypercube: bons compromis entre les deux
Eric Goubault 5 5 mars 2012