Vers un TERA plus green - CEA

Février 2009
Fiche thématique
Vers un TERA plus green
L’installation et la mise en œuvre de grands moyens de calcul
ne se résument pas à la seule construction d’un
supercalculateur. Il faut aussi disposer d’une infrastructure
d’accueil adéquate :
salles machines, distribution électrique, dispositifs de
climatisation, etc., dont le coût de fonctionnement peut
représenter une fraction importante de l’investissement
informatique initial. Avec l’arrivée de supercalculateurs de
classe pétaflopique, la maîtrise de ces dispositifs annexes
devient indispensable.
L’enjeu : diminuer la consommation
électrique
Le tableau ci-dessous illustre bien la problématique à laquelle
nous sommes confrontés, aussi bien avec la croissance de la
consommation électrique des calculateurs qu’avec leur emprise
au sol, qui est proportionnelle au nombre d’armoires abritant les
composants.
Or, la capacité d’accueil d’une armoire est directement liée à la
capacité à évacuer la chaleur produite par les composants
électroniques qui s’y trouvent et, en pratique, à la technologie
de refroidissement mise en œuvre. La consommation électrique
totale de l’installation peut de plus représenter jusqu’à deux fois
celle des équipements informatiques.
d’une porte intégrant un échangeur et des ventilateurs, et dans
laquelle circule de l’eau (liquide caloporteur).
Un tel dispositif ne manque
pas d’avantages :
• il est optionnel, puisqu’il
s’ajoute à une armoire
standard et peut donc
compléter un refroidissement
par air ;
• la puissance dissipée peut
atteindre 40 kW par armoire,
alors
qu’elle
n’est
au
maximum que de 15 à 20 kW
pour un refroidissement par
air ;
• la température en entrée et
en sortie d’armoire est
identique ;
• l’efficacité énergétique de
l’installation au niveau des
groupes froids est améliorée.
En revanche, il impose des contraintes supplémentaires, et
notamment l’installation dans les faux planchers d’un réseau de
distribution d’eau glacée irriguant chaque armoire. L’ensemble devra
être accompagné de dispositifs de sécurité, indispensables pour
prendre en compte l’éventualité de fuites, les arrêts intempestifs ainsi
que la cohabitation de réseaux d’eau glacée et de réseaux
électriques.
Du prototype au modèle commercial
1. Tflops (téraflops) : mille millards d’opérations par seconde.
2. Pops : pétaopérations par seconde.
Ceci est dû principalement :
• à la perte occasionnée par les différents équipements tout au
long de la chaîne de distribution de l’électricité (transformateurs,
onduleurs…) ;
• à l’énergie supplémentaire à apporter pour refroidir
l’installation (groupe froids, unité de traitement d’air…). Pour
améliorer l’efficacité énergétique de ces infrastructures
informatiques, trois domaines sont explorés : le refroidissement,
la distribution électrique et enfin la consommation du
calculateur.
De l’eau pour refroidir
Dès 2007, les équipes du CEA-DAM (DSSI et DP2I) et de Bull
ont constitué un groupe de travail. Composé d’experts des
architectures des calculateurs et de spécialistes de l’ingénierie
des salles informatiques, il s’intègre dans le cadre du projet
Pops2 du Pôle de compétitivité System@tic.
Concernant la distribution électrique, les travaux du groupe
montrent que des améliorations sont envisageables,
principalement au niveau du rendement des onduleurs (ces
équipements permettent de garantir une alimentation de haute
qualité et de pallier les coupures du réseau électrique). Des
tests ont lieu pour éventuellement supprimer en partie ces
onduleurs et les remplacer par des systèmes
installés dans les serveurs informatiques et ne consommant
pas d’énergie électrique. Le groupe de travail a aussi réfléchi à
la problématique du refroidissement. L’efficacité énergétique de
la climatisation par air ne pouvant difficilement être maintenue
avec le passage à Tera-100, la technologie de refroidissement
par eau a alors été envisagée. Potentiellement plus efficace,
celle-ci consiste en l’ajout à une armoire informatique standard
L’intérêt du dispositif a été testé en prenant le cas d’un calculateur
d’une puissance de calcul de 1 pétaflops. Avec des résultats
probants, puisque le nombre d’armoires peut ainsi être réduit d’un
facteur supérieur à deux − Tera-100 pourrait par conséquent tenir sur
une superficie équivalente à Tera-10 − tout en améliorant l’efficacité
énergétique de plus de 5 %.
Restaient à évaluer la faisabilité technique et les éventuelles
difficultés de mise en œuvre. Une salle informatique du CEA a donc
été spécialement configurée pour accueillir un prototype de porte à
eau développé par Bull.
Cette expérimentation, réalisée au printemps 2008, a été un succès
puisque le CEA a validé les interfaces techniques à mettre en place,
en particulier les emplacements d’arrivée d’eau et la cohabitation des
cheminements de câbles et de la tuyauterie. L’industriel Bull a
amélioré son prototype pour en faire un produit commercial, qui sera
pour la première fois installé au CCRT en 2009. Cette nouvelle
technique de refroidissement a aussi été retenue pour le calculateur
Tera-100, qui entrera en service en 2010.
L’ajustement de la consommation du calculateur en fonction de la
charge de travail – troisième piste de recherche − reste encore à
explorer, en agissant par exemple sur les taux d’occupation des
processeurs, la mémoire, les disques, les ventilateurs, etc. C’est l’un
des sujets du programme de R&D du projet Tera- 100, qui vient tout
juste d’être signé entre le CEA et Bull.