Algorithme distribué

09/01/2017
1
StéphaneVialle
[e-mail]
http://www.metz.supelec.fr/~vialle
M2‐ILC– Parallélisme,systèmes distribués etgrille
Algorithmique distribuée
AlgorithmiqueDistribuée
1. ProduitdematricessurtoredePprocesseurs
2. N‐corpssurunanneaudeP=q×q processeurs
3. Quick‐sortsurhypercube deP=2
dprocesseurs
ProduitdematricessurtoredePproc
Algorithmedistribué
A,B,C:nxn=Néléments
C=A.B
n
kkj
b
ik
a
ij
c
1
).(
O(Nbrd’opérations)=O(N3/2)
Quels
partitionnement
etcirculation?
sprocesseur PP
éléments
N
N
A
B
C

09/01/2017
2
0;0 0;1 0;2
1;0 1;1 1;2
2;0 2;1 2;2
0;0 0;1 0;2
1;0 1;1 1;2
2;0 2;1 2;2
éléments
de blocs
P
N
P
N
PP
éléments
N
N
sprocesseur PP 
Partitionnement2Dunique
(opérandesetrésultatsaumêmeformat)
ProduitdematricessurtoredePproc
Algorithmedistribué
CirculationdesblocsdeAenligne
CirculationdesblocsdeBencolonne
Schémasdecirculation:
Chaqueprocesseurvoitpassertouteslesdonnéesutilesàsescalculs
A
B
C
ProduitdematricessurtoredePproc
Algorithmedistribué
0;0
0;0
0;1
0;1
0;2
0;2
1;0
1;0
1;1
1;1
1;2
1;2
2;0
2;0
2;1
2;1
2;2
2;2
C=A.B
n
k
kj
b
ik
a
ij
c
1
).(
Seulslesprocesseursdelapremière
diagonalesontsatisfaits!
Modifierlepartitionnementinitial
besoinsimultané desblocs
jk
B
ki
A
,
et
,
Problèmedeséquencement:
A
B
C
ProduitdematricessurtoredePproc
Algorithmedistribué

09/01/2017
3
Onconserveleprincipedupartitionnementen2D
Onconserveleschémadecirculation(Aenligne,Bencolonne)
Maisonchercheunpartitionnementinitialadapté…
…onplacelesdonnéesdePE(0;0),etonpropagelescontraintes
Démarche:
0;0
0;0
BlocsA(0;0)
etB(0;0)
placéssurPE(0;0)
PE(0;0)
ProduitdematricessurtoredePproc
Algorithmedistribué
0;0
0;0
0;1 0;2
1;0
2;0
Lesschémasdecirculationimposent:
•lesblocsdeAsurlapremièrelignedeprocesseurs
•lesblocsdeBsurlapremièrecolonnedeprocesseurs
Circulationenligne
verslagauche
Circulationen
colonneverslehaut
ProduitdematricessurtoredePproc
Algorithmedistribué
0;0
0;0 1;1 2;2
1;1
2;2
0;1 0;2
1;0
2;0
L’algorithmedeproduitmatricielimpose:
•lesblocsdeBsurlapremièrelignedeprocesseurs
•lesblocsdeAsurlapremièrecolonnedeprocesseurs
Blocscompatibles
jk
B
ki
A, et
,
Blocscompatibles
jk
B
ki
A, et
,
ProduitdematricessurtoredePproc
Algorithmedistribué

09/01/2017
4
Lesschémasdecirculationimposent:
•lesblocsdeAsurleslignesdeprocesseursrestantes
•lesblocsdeBsurlescolonnesdeprocesseursrestantes
1;1
1;1 2;2 3;3
2;2
3;3
0;0
0;0 1;1 2;2
1;1 1;2
2;1
1;0
0;2
2;2 2;0
0;1
2;1
1;2
0;1 0;2
1;0
2;0
Onvérifiesilesnouveaux
couplessontcompatibles…
…Oui!Onatoujours:
jk
B
ki
A, et
,
Blocscompatibles
ProduitdematricessurtoredePproc
Algorithmedistribué
1;1
1;1 2;2 3;3
2;2
3;3
0;0
0;0 1;1 2;2
1;1 1;2
2;1
1;0
0;2
2;2 2;0
0;1
2;1
1;2
0;1 0;2
1;0
2;0
Finalement:
• Partitionnementfixésurtouslesprocesseurs
•Touslescouplesdeblocssontcompatiblesàlapremièreétape
•Touslescouplesdeblocssontcompatiblesaprèschaquecirculation
PuisCalculcompletenétapes
P
Généralisation…
Colonne0décaléede0cranverslehau
t
Colonne1décaléede1cranverslehau
t
Colonne2décaléede2cranverslehau
t
ProduitdematricessurtoredePproc
Algorithmedistribué
AlgorithmedeCanon:
Produitdematricesdeélémentssuruntoredeprocs.
P
P
N
N
0;00;10;2
1;01;11;2
2;02;12;2
1– Partitionnementdesmatricesen
éléments de blocs
P
N
P
N
PP 
2–Pré‐décalagesinitiauxdesblocssurletoredeproc:
. crans de décalage : 1])-;0[( colonne -
, crans de décalage : 1])-;0[( ligne - 
jPj
iPi
1
1
2
2
3‐ étapes{calculs:sommepartielledeC(i,j);
circulations:A(i,j)1cran,etB(i,j)1cran}
P
4– DernièrecirculationoupostdécalagesdeAetBsinécessaire.
ProduitdematricessurtoredePproc
Algorithmedistribué

09/01/2017
5
Pseudo‐Codedel’algorithmedeCanonsurchaque processeur:
main()
{partitionnement();
predecalage();
barriere();
for (step=0; step < SQRT_P-1; step++) {
multiplication_locale();
circulation_ligne_colone();
barriere();
}
multiplication_locale();
postdecalage();
}
Post‐décalage:
• nécessairesionsouhaiteréutiliserlesmatricespourdes
opérationsvariées(+,x,…)
ProduitdematricessurtoredePproc
Algorithmedistribué
1‐ Performancesavecmessagesbloquantsetsansrecouvrement :
gepostdécala ns;circulatio 1-P et calcul de étapesPdécalages;-pré
w
t
P
N
decalpost
t
w
t
P
N
decalpre
t
..2
..2
Hyp:Toutes lescommunicationspeuventsefaireenparallèle
Modélisationen«t
s+Q.tw»
•PréetPostdécalages:
w
t
P
N
P
decalpost
t
w
t
P
N
P
decalpre
t
..1.2
..1.2
‐dansunvraitoreunidirectionnel:
‐dansuncluster:
ProduitdematricessurtoredePproc
Modélisationdesperformances
gepostdécala ns;circulatio 1-P et calcul de étapesPdécalages;-pré
• Circulation:
w
t
P
N
circ
t..2
1
•Calcul:
w
t
P
N
decalpost
t
w
t
P
N
decalpre
t..2 :et ..2 
•Préetpostdécalage:
flop
t
P
N
calc
t.
2/3
2/3
.2
1
w
t
P
N
P
flop
t
P
N
P
par
T.1.2.
2/3
.2)( 
Doncsuruncluster,
avecdesmsgsbloquants:
1‐ Performancesavecmessagesbloquantsetsansrecouvrement :
ProduitdematricessurtoredePproc
Modélisationdesperformances