D2.3 Définition d`une architecture `a partir d`un syst`eme

D2.3 D´efinition d’une architecture `a
partir d’un syst`eme existant
VERSION 1.0
DATE 2010
EDITORIAL MANAGER Sylvain Peyronnet
AUTHORS STAFF Fran¸cois Lesueur, Ala Rezmerita, Thomas Herault, Sylvain Peyronnet
Copyright ANR SPADES. 08-ANR-SEGI-025.

D2.3 D´efinition d’une architecture `a partir d’un syst`eme existant
Contents
1 Introduction 4
2 Pastry 5
2.1 Fonctionnement.......................................... 5
2.2 Ad´equation ............................................ 5
3 Overlays arborescents 8
3.1 Fonctionnement.......................................... 8
3.2 Ad´equation ............................................ 8
4 Graphes binomiaux 10
4.1 Arbres binomiaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4.2 Graphes binomiaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4.3 Ad´equation ............................................ 10
5 Conclusion 12
ANR SPADES. 08-ANR-SEGI-025 Page 3

D2.3 D´efinition d’une architecture `a partir d’un syst`eme existant
Chapter 1
Introduction
La tˆache 2.3 consiste `a ´etudier les diff´erentes structures r´eseaux envisageables pour supporter un runtime
ex´ecut´e sur 100.000 machines. L’objectif est d’´etudier l’ad´equation des structures existantes avec les
m´ecanismes minimaux pr´ec´edemment d´efinis, la r´esistance aux pannes ainsi que les performances des
op´erations `a r´ealiser. Plus pr´ecis´ement, les m´ecanismes minimaux que la structure de communication
doit mettre en œuvre sont :
•la cr´eation rapide de l’overlay lors du lancement de l’application ;
•un faible coˆut de maintenance de la structure, moyennant l’hypoth`ese que les nœuds sont peu
volatils ;
•une r´esistance ´elev´ee aux d´efaillances ;
•une reprise rapide apr`es d´efaillance ;
•des communications point `a point efficaces ;
•des communications de groupe efficaces ;
•une r´epartition ´equitable de la charge afin d’´eviter le ralentissement du syst`eme lors de la surcharge
d’un nœud.
Les m´ecanismes de r´esistance aux pannes et de reprise apr`es d´efaillance pour ces syst`emes petascale
entraˆınent des modifications au mod`ele usuel du calcul `a haute performance. En effet, ´etant donn´ee la
grande taille de ces syst`emes, le contrˆole ainsi que les communications doivent ˆetre distribu´es de mani`ere
la plus ´equitable possible entre les nœuds (pas de communications one-to-all possible). La distribution de
ces m´ecanismes implique des m´ecanismes de d´etection de faute et de reprise distribu´es, ce qui n´ecessite des
communications suppl´ementaires de chaque nœud pour surveiller le bon fonctionnement d’un ensemble
de nœuds connus ainsi que pour maintenir et mettre `a jour la structure de communication utilis´ee.
Ce livrable contient notre ´etude de Pastry, des overlays arborescents et des graphes binomiaux. Nous
montrons que les graphes binomiaux sont adapt´es aux contraintes et aux besoins d’un runtime petascale.
Nous proposons ´egalement une architecture reposant sur ces graphes binomiaux et mettant en œuvre les
m´ecanismes n´ecessaires au runtime.
ANR SPADES. 08-ANR-SEGI-025 Page 4

D2.3 D´efinition d’une architecture `a partir d’un syst`eme existant
Chapter 2
Pastry
Pastry [7] se base sur une structure en anneau. Les identifiants de nœud sont choisis al´eatoirement et
cod´es sur 128 bits, alors que les identifiants de ressources sont cod´es sur 160 bits (en rapport avec la
taille des hash SHA-1 ). Pastry fournit un syst`eme de routage et sugg`ere des contraintes pour un syst`eme
de transfert et de r´eplication efficace, assurant la p´erennit´e (en environnement coop´eratif) des donn´ees
pr´esentes dans la DHT.
Les donn´ees sont sous la responsabilit´e du nœud ayant l’identifiant le plus proche num´eriquement.
Le routage s’effectue en propageant le message vers un nœud partageant un plus grand pr´efixe commun
avec la ressource, ou `a d´efaut partageant un pr´efixe de mˆeme taille et plus proche num´eriquement de la
ressource cibl´ee.
2.1 Fonctionnement
Chaque nœud poss`ede un Leaf set et une table de routage. Le Leaf set contient Lvoisins dans l’espace
logique, typiquement 16 ou 32. Il sert `a donner au nœud une vision pr´ecise de sa localit´e, tout en
permettant `a certains nœuds de d´efaillir sans briser le r´eseau. Ce Leaf set est maintenu `a jour de
mani`ere agressive. La table de routage quant `a elle est une table par pr´efixe plus pr´ecise pour les nœuds
proches dans l’espace virtuel (Fig. 2.1). Elle est mise `a jour de mani`ere passive, en compl´etant les trous
des nœuds d´efaillants et en rempla¸cant les entr´ees par des nœuds plus proches.
Pour router un message, un nœud nv´erifie d’abord si la ressource rest sous le contrˆole de son Leaf
set. Si tel est le cas, ntransmet directement rau nœud responsable. Sinon, ncherche dans sa table de
routage un nœud partageant un pr´efixe plus long avec rpour lui transmettre le message. Si nne trouve
pas de nœud satisfaisant, alors il transmet le message `a un nœud partageant un pr´efixe de mˆeme taille
que lui avec r, mais qui est plus proche num´eriquement. Un tel nœud doit exister dans le Leaf set si le
taux de d´efaillance du r´eseau est tol´erable. Cet algorithme est en O(log(N).
2.2 Ad´equation
Le routage de Pastry est naturellement r´esistant `a la d´efaillance de nœuds, puisque la pr´esence d’un Leaf
set relativement important (20 par d´efaut) garantit la progression d’un message vers la ressource. Les
tables de routage sont quant `a elles r´epar´ees de mani`ere paresseuse, `a partir du moment o`u un nœud ne
r´epond plus `a une requˆete r´eelle (pas de surveillance active).
Les algorithmes de Pastry sont con¸cus pour maintenir la connectivit´e du r´eseau mˆeme en pr´esence
d’une tr`es grande volatilit´e des nœuds et pour des applications pair-`a-pair. Pour cela, chaque nœud
contient un nombre important de pointeurs vers d’autres nœuds, chacun de ces pointeurs ayant un
coˆut de maintenance. L’utilisation en environnement de clusters, avec des nœuds peu volatils et des
contraintes de performance ´elev´ees, demanderait l’adaptation du protocole.
ANR SPADES. 08-ANR-SEGI-025 Page 5