Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour les datacenters haute densité Livre blanc n° 129 Révision n° 2 Par Neil Rasmussen > Résumé Général Des améliorations significatives de l'efficacité, de la densité, de la supervision et de la reconfigurabilité ont été atteintes dans la distribution d'alimentation des datacenters. Les anciennes techniques avec de grosses unités de distribution équipées de transformateurs, alimentant des circuits fixes sous le plancher via des conduits rigides ou flexibles sont contraignantes dans les datacenters d'aujourd'hui. Ce livre présente la distribution modulaire d'électricité comme une alternative, qu'il compare à l'approche traditionnelle. Les livres blancs font désormais partie de la bibliothèque de livres blancs Schneider Electric produits par le Data Center Science Center de Schneider Electric [email protected] Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Introduction La plupart des datacenters utilisent toujours l'architecture de distribution de l'alimentation conçue il y a une quarantaine d'années. Ce système est illustré par la Figure 1. Figure 1 Câblage du système de distribution de l'alimentation d'un datacenter traditionnel Unité de distribution de l'alimentation Conduits d'alimentation des circuits de dérivation sous le plancher Armoires d'équipements informatiques Dans cette configuration traditionnelle, l’alimentation secteur du datacenter est distribuée à des unités de distribution de l’alimentation (de puissance nominale comprise entre 50 kW et 500 kW). Celles-ci peuvent être équipées de gros transformateurs convertisseurs de tension ou qui conditionnent l'énergie. De ces unités de distribution de l’alimentation partent des circuits de dérivation (de puissance nominale comprise entre 1,5 kW et 15 kW) à destination des équipements informatiques. Chaque armoire est reliée à un ou plusieurs circuits de dérivation. Le câblage des armoires informatiques se fait généralement au moyen de conduits flexibles ou rigides, souvent dans un faux-plancher, comme le montre la Figure 2. Figure 2 Conduits rigides de distribution de l'alimentation, installés dans un fauxplancher Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 2 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Depuis l'avènement de ce système, les modes de consommation de l'énergie dans les datacenters ont beaucoup évolué et s'accompagnent de changements, comme l'intensification de la densité de puissance, la multiplication des équipements informatiques individuels au sein du datacenter, ainsi que les ajouts et suppressions constants d'équipements. Ce livre blanc explique pourquoi l'évolution du datacenter rend l'architecture traditionnelle de distribution de l'alimentation contraignante dans les datacenters d'aujourd'hui et recommande la mise en œuvre d'un système plus efficace. Ce système amélioré permet d'installer et de déplacer des racks et mêmes des unités de distribution de l’alimentation sans nouveau câblage, de suspendre les câbles de distribution de l'alimentation, de supporter des racks jusque 30 kW par source d'alimentation flexible, d'améliorer le rendement énergétique, de réduire la consommation de cuivre, de se raccorder directement au circuit de dérivation et d'utiliser un système standard d'administration de la capacité. Généralités Aux origines du système traditionnel de distribution de l'alimentation, les datacenters se composaient d'un petit nombre de gros équipements informatiques que l'on remplaçait rarement, hormis dans le cadre d'un arrêt programmé de modernisation. La faible densité de puissance de ces installations n'exigeait que peu de distribution d’air sous le plancher et généralement moins d'un circuit de dérivation tous les trois mètres carrés. Les caractéristiques du datacenter d'aujourd'hui mettent à mal cette architecture traditionnelle : • Le petit nombre de gros équipements informatiques a laissé place à des milliers d'appareils connectés, chacun ayant ses propres cordons d'alimentation, exigeant donc bien plus de prises • Les équipements informatiques installés en armoire sont changés souvent sur toute la durée de vie d'un datacenter, ce qui induit de nouveaux besoins d'alimentation ou de prises au niveau du rack • Ces nouveaux besoins d'alimentation nécessitent d'ajouter souvent des circuits d'alimentation dans un datacenter opérationnel, sans perturber les charges informatiques en cours • La densité de puissance par rack a beaucoup augmenté, ce qui impose souvent d'avoir recours à plusieurs circuits de dérivation par armoire • La multiplication des sources d'alimentation et des conduits sous le plancher empêche l'air de circuler et complique tout changement ultérieur • Plusieurs équipements informatiques peuvent souvent être connectés à un disjoncteur de dérivation, ce qui complique le dimensionnement adapté des circuits de dérivation ou l'évaluation des conditions d'une surcharge imminente • Les systèmes à double circuit d'alimentation sont fréquents, ce qui exige de vérifier qu'aucun circuit n'est chargé à plus de 50 %, or il n'existe généralement pas de mécanisme de suivi ou de planification en ce sens Même si ces problématiques sont connues et qu'il existe différents produits pour y remédier, la plupart des datacenters construits aujourd'hui reposent toujours sur ces méthodes traditionnelles et souffrent donc des conditions défavorables suivantes : • Nécessité pour les opérateurs de datacenter d'intervenir à chaud sur des câbles alimentés • Impossibilité de dire quels circuits de dérivation sont proches de la surcharge, ou lesquels risqueront la surcharge en cas de perte d'un circuit d'alimentation • Obstruction de la circulation de l'air sous le plancher par des câbles, rendant indisponibles les grands volumes d'air dont ont besoin les équipements modernes Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 3 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité • Occupation excessive de l'espace au sol par les unités de distribution de l'alimentation qui mobilisent aussi la portance du sol • Impossibilité d'utiliser pleinement les grosses unités de distribution de l'alimentation avec transformateurs faute de circuits de dérivation suffisants • Nécessité de refroidir la chaleur résiduelle générée par ces grosses unités de distribution de l'alimentation avec transformateurs, ce qui nuit au rendement des datacenters Quelques-unes de ces difficultés sont illustrées par les photographies de datacenters en service à la Figure 3. Figure 3 Enchevêtrements de câbles dans les datacenters existants L'architecture de distribution de l'alimentation décrite à la section suivante résout tous les problèmes évoqués ci-avant. Un système optimisé de distribution de l'alimentation Voici les caractéristiques attendues d'un système idéal : • Possibilité d'ajouter ou de remplacer des circuits à chaud, en toute sécurité • Absence de câbles sous le plancher • Suivi d'alimentation de tous les circuits • Surveillance à distance de tous les disjoncteurs • Possibilité de déployer progressivement des zones informatiques avec leur propre distribution de l'alimentation • Prise en charge de tous les niveaux de puissance par un seul câble raccordé à l'armoire informatique • Possibilité pour le personnel informatique de changer les prises au niveau de l'armoire informatique • Gestion de la capacité et de la redondance de chaque circuit • Elimination des câbles en cuivre superflus • Haut rendement Au fil du temps, les systèmes de distribution de l'alimentation ont évolué pour satisfaire les besoins du datacenter moderne et les améliorations suivantes ont été apportées : Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 4 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité • Mesure de l’alimentation des circuits de dérivation • Système suspendu de passage de câbles avec cordons d'alimentation flexibles • Goulotte fixe suspendue avec couvercles amovibles • Unités haute puissance de distribution de l'alimentation enfichable pour rack • Unités de distribution de l'alimentation sans transformateur • Logiciel de gestion de la capacité d'alimentation Le système de distribution de l'alimentation de la Figure 4 inclut tous ces éléments dans une architecture parfaitement adaptée aux datacenters haute densité modernes. Goulotte d'alimentation secteur desservant les rangées Couvercle de prise enfichable 250 kW Plateau suspendu de passage de câbles entre circuits de dérivation et armoires Figure 4 Illustration d'un système modulaire de distribution de l'alimentation Prise triphasée classique PDU modulaire demi-rack 250 kW Armoires d'équipements informatiques Description du système Le système de distribution est double. Dans les grands datacenters, l'alimentation secteur critique de l'onduleur est distribuée aux rangées informatiques via une ou plusieurs goulottes suspendues, comme illustré en haut de la Figure 4. Ces goulottes sont installées en hauteur et desservent toutes les rangées de racks. Quand on installe un groupe de racks, on installe en même temps une unité de distribution modulaire, à faible encombrement, que l'on branche à la goulotte suspendue. Le raccordement à la goulotte est également illustré par la Figure 4. Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 5 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Voyants consommation et état Sortie par le haut des circuits de dérivation Figure 5 Exemple d'une unité modulaire 250 kW à faible encombrement. Ici avec 24 modules de circuits de dérivation Porte verrouillable Un des 24 modules de circuits de dérivation Système sur roulettes Contrairement aux tableaux traditionnels de disjoncteurs avec terminaisons de câbles nues, l'unité modulaire de distribution de l'alimentation est équipée d'un fond de panier de sécurité où sont installés les modules de disjoncteurs préraccordés. Avec cet agencement, l'unité reste suffisamment étroite à l'avant et on évite les raccordements de câbles sur site. Initialement, les modules de circuits de dérivation ne sont pas installés dans l'unité de distribution modulaire. Les circuits d'alimentation entre l'unité de distribution modulaire et les racks informatiques sont des câbles flexibles, enfichés sur site à l'avant de l'unité de distribution modulaire en fonction des besoins spécifiques de chaque rack. Les câbles des circuits de dérivation à destination des armoires informatiques sont préraccordés avec des modules de disjoncteurs qui se branchent au fond de panier de sécurité de l'unité de distribution modulaire. Un exemple de module de circuit de dérivation est fourni à la Figure 6. Connexion à l'armoire informatique Connecteur de sécurité enfichable au dos Figure 6 Module de circuit de dérivation à enficher à l'unité modulaire unité de distribution de l'alimentation Disjoncteur triphasé Schneider Electric – Data Center Science Center Système de surveillance de consommation et de statut Livre blanc n° 129 Rév n° 2 6 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Pour les équipements qui ont besoin d'un circuit de dérivation dédié, comme la plupart des serveurs lames, un seul câble en sortie de l'unité de distribution d'alimentation transporte un, deux ou trois circuits de dérivation à enficher directement dans le serveur lame, sans qu'il faille de bandeau de prise au format rack (barrette d'alimentation) supplémentaire. Quand différents types d'équipements coexistent dans un rack, il existe des bandeaux à prises interchangeables pour différentes intensités. Un bandeau de prise pour rack est illustré par la Figure 7 ; le connecteur de cette figure se branche aux connecteurs homologues de la Figure 6. Figure 7 Exemple de barre d'alimentation triphasée 12 kW pour rack, à monter à la verticale à l'arrière d'une armoire informatique Ce système permet d'installer une unité de distribution d'alimentation pour une nouvelle rangée d'armoires informatiques, avec tous ses circuits de dérivation et ses barres d'alimentation pour rack, en une heure seulement, sans effort de câblage, ni de raccordement. Petites zones ou très haute densité Il arrive qu'une ou plusieurs zones d'un datacenter ne nécessitent qu'un petit nombre de circuits de dérivation. Ce peut être le cas d'un cluster de racks de très haute densité ou d'un petit groupe de racks isolé par des contraintes d'agencement ou autres. L'intégralité des 24 circuits de dérivation du système de distribution modulaire n'est donc pas utile. Il existe dans ce cas une plus petite version de l'unité de distribution modulaire, zéro encombrement au sol puisqu'elle se monte directement dans un rack, et qui supporte jusqu'à 6 circuits de dérivation. Cette unité inclut le même système de surveillance de consommation et d'état, mais dans une version à monter en rack 5U. Figure 8 Petite unité modulaire à monter dans une armoire, pour distribuer l'alimentation à 6 armoires (illustrations avec porte fermée et porte ouverte) Datacenters plus petits Le système de la Figure 4 est optimisé pour de gros datacenters avec quantité de rangées de racks informatiques, à déployer progressivement. La goulotte suspendue est plus facile à installer et facilite l'ajout et le déplacement des unités de distribution de l'alimentation. Pour les plus petits datacenters de moins de 300 kW, il existe une approche simplifiée mais avec les mêmes composants et principes. Pour les petits datacenters où le nombre d'unités de distribution est limité à un ou deux, la possibilité de déploiement progressif est souvent inutile, aussi est-il plus économique de raccorder directement l'unité modulaire (Figure 5) au bus critique, avec conduit et câblage traditionnels. On omet alors la goulotte suspendue. Dans les très petits datacenters ou ceux Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 7 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité dont le sol est irrégulier, la petite unité modulaire de distribution de l'alimentation illustrée à la Figure 8 est recommandée. Plus simple encore, dans les très petits datacenters, l'unité modulaire de distribution de l'alimentation peut être intégrée à l'onduleur sous la forme d'un système compact installé dans l'alignement des armoires du local informatique. Le raccordement au bus secteur est alors inutile, de même que la nécessité d'une salle alimentée séparément. Cette approche pratique pour les datacenters de 200 kW maximum est illustrée à la Figure 9. Onduleur modulaire 120 kW Figure 9 Unité modulaire de distribution de l'alimentation intégrée à l'onduleur pour les très petits datacenters Système de batterie d'onduleur modulaire Unité modulaire de distribution de l'alimentation Modernisation et mise à niveau Souvent les projets consistent à moderniser un datacenter existant, notamment par l'ajout de capacité ou l'installation d'une zone haute densité. Le système de distribution modulaire est donc particulièrement bien adapté à ces projets de modernisation, son installation étant moins perturbatrice que celle d'une unité traditionnelle. La conception du système de distribution modulaire élimine, en effet, la longue liste des contraintes associées à l'installation d'une unité traditionnelle dans un datacenter existant. Au fil de l'évolution d'un datacenter, il est possible de faire coexister des unités de distribution de l'alimentation modulaires et traditionnelles. Souvent, les unités de distribution traditionnelles ont été positionnées en fonction de contraintes historiques et raccordées au bus secteur par des conduits et câbles traditionnels, sans goulotte suspendue. L'un des principaux avantages souvent mésestimé des unités modulaires pour moderniser un datacenter est le fait que les câbles sont acheminés par un système suspendu de passage de câbles et n'obstruent donc pas la circulation de l'air sous le plancher. C'est d'autant plus important dans les datacenters avec une petite hauteur sous plancher, où la circulation de l'air sous le plancher limite déjà la performance de refroidissement, voire l'efficacité électrique du datacenter. Surveillance de consommation et d'état Des centaines de disjoncteurs du système de distribution de l'alimentation d'un datacenter peuvent être en situation de surcharge. Dans ce système de distribution optimisé, les alimentations de rack sont de plus grande capacité, tout en utilisant 20 à 40 % de disjoncteurs en moins. Mais les circuits restent quand même nombreux, répartis sur 4 niveaux : Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 8 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité • Bus secteur d'onduleur • Entrée de l’unité de distribution de l'alimentation • Circuit de dérivation • Prise Dans le système modulaire de distribution de l'alimentation, chaque circuit est équipé d'un système de surveillance de consommation et d'état, à tous les niveaux de la hiérarchie (la surveillance des prises est facultative dans certaines configurations). L'état des disjoncteurs du circuit de dérivation de l'unité de distribution de l'alimentation est aussi surveillé. Toute la surveillance s'effectue via le protocole ouvert SNMP (simple network management protocol). Un logiciel de gestion de la capacité permet de surveiller chaque circuit du système et d'y appliquer des marges de sécurité, de vérifier la redondance et la capacité disponible. Configuration de la tension L'architecture décrite dans ce document vaut pour n'importe quelle tension de fonctionnement d'un datacenter. Toutefois, en Amérique du Nord, il y a deux options de configuration de la tension de fonctionnement. En Amérique du Nord, celle qui offre le meilleur rendement est l'alimentation triphasée en courant alternatif (CA) à 415/240 V. C'est le système de distribution le plus fréquent en Europe et dans le reste du monde, mais pas en Amérique du Nord. La seconde option en Amérique du Nord est celle de l'alimentation triphasée en courant alternatif à 208/120 V, dont sont équipés les immeubles. Elle requiert davantage de câbles en cuivre et d'unités de distribution de l'alimentation, avec de gros transformateurs. Plus coûteuse, elle offre aussi un moins bon rendement. Pour plus d'informations sur les avantages du courant alternatif 415/240 V dans les datacenters nord-américains, reportez-vous au Livre blanc n° 128, Accroissement du rendement d'un datacenter via l'utilisation d'une alimentation haute densité améliorée. Cette option est celle recommandée. Le système de distribution de l'alimentation que nous recommandons ici peut aussi être mis en œuvre dans une configuration nord-américaine traditionnelle, à 208/120 V. Configuration de la tension Le système de distribution de l'alimentation décrit ici a été conçu pour pallier les inconvénients de l'approche traditionnelle. Ses avantages sont répertoriés au Tableau 1. Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 9 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Tableau 1 Comparaison du système de distribution de l'alimentation traditionnel avec le modulaire Condition Distribution traditionnelle Distribution modulaire Ajout de circuits de dérivation Nécessité d'installer de nouveaux conduits, de dimensionner et installer des disjoncteurs et de tirer et raccorder des câbles. Si le système est sous tension, l'électricien devra intervenir sur des installations électriques non protégées. En cas de surveillance de l'alimentation du circuit, il faut généralement le reprogrammer et/ou installer de nouveaux capteurs Circuits de dérivation prêts à enficher. La surveillance de l'alimentation est incluse dans chaque circuit de dérivation, avec configuration automatique dès le raccordement Retrait de circuits de dérivation Si le système est sous tension, l'électricien devra intervenir sur des installations électriques non protégées. Difficulté à extraire le conduit de l'enchevêtrement des câbles sous le plancher. En cas de surveillance de l'alimentation du circuit, il faut généralement le reprogrammer Le circuit de dérivation simplement débranché de l'unité de distribution de l'alimentation peut être réutilisé ailleurs Retrait ou changement d'armoire Il faudra peut-être déconnecter le circuit de dérivation du rack mécaniquement et/ou électriquement Le circuit de dérivation se débranche du rack, que l'on peut déplacer Planification simplifiée Souvent il faut décider tôt du nombre et des emplacements des unités de distribution de l'alimentation, avant même de connaître la densité finale. En cas de faux-plancher, il faut concevoir des supports spécifiques sous le plancher Inutile de décider à l'avance du nombre et des emplacements des unités de distribution de l'alimentation. On peut en rajouter ultérieurement, sans préparation particulière Fiabilité Beaucoup de raccordements de câbles sont faits sur le terrain, avec le risque de connexions lâches et autres défauts. Dans la précipitation, le risque est grand de déloger des câbles ou de déclencher des disjoncteurs, perturbant d'autres charges informatiques Les raccordements de câbles sont prévus à l'avance, en usine, pour plus de fiabilité. Aucun risque d'interférer avec d'autres circuits au cours des ajouts et changements Encombrement au sol minimal Les unités de distribution de l'alimentation avec transformateurs occupent environ 2,5 m2 pour 100 kW de charge informatique, soit 7 % de l'espace au sol d'un local informatique Occupent environ 0,7 m2 pour 100 kW, soit 2 % de l'espace au sol d'un local informatique Sécurité Exposition des techniciens à des installations électriques non protégées lors des ajouts, retraits, inspections et contrôles manuels d'intensité des circuits de dérivation Circuits de dérivation enfichés à un fond de panier de sécurité. Aucun câblage sur le terrain Circulation de l'air Les très nombreux câbles sous le plancher raccordés aux unités de distribution de l'alimentation entravent la circulation de l'air. Les ouvertures pour le passage des câbles créent des fuites d'air au détriment de la capacité et de l'efficacité des climatiseurs Aucun câblage sous le plancher. Aucun risque de fuite d'air par les ouvertures dans le sol Conception simplifiée Le positionnement optimal des unités de distribution de l'alimentation impose des compromis en termes de longueur des rangées, de densité, de courant admissible et de coût Choix de références standards pour les différents besoins. Possibilité de report de nombreuses décisions Coûts initiaux Les unités de distribution de l'alimentation sont généralement installées en amont. Le coût de la main-d’œuvre est important. Le gros des coûts est encouru dès la construction Les coûts des unités de distribution de l'alimentation sont encourus ponctuellement, à chaque installation Rendement Les pertes sont importantes, proportionnelles aux longueurs de câbles. Les pertes sont 10 fois plus importantes avec un système CA 208/120 V qu'avec un système CA 415/240 V La réduction des longueurs de câbles permet de réduire les pertes Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 10 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Conclusion Nous avons décrit dans ce livre blanc les limites de l'architecture traditionnelle de distribution de l'alimentation, avec conduits sous le plancher. Nous avons présenté une alternative, celle de la distribution modulaire. Elle apporte de nettes améliorations par rapport à l'approche traditionnelle, en termes d'évolutivité, de rendement, de simplicité de gestion et de reconfiguration, et de densité de puissance. Le système de distribution modulaire convient mieux aux datacenters dont l'agencement n'est pas précisément défini à l'avance, aux projets de modernisation, ou encore quand la forme de la pièce présente des contraintes, des obstacles ou un sol irrégulier. À propos de l'auteur Neil Rasmussen est Vice-président sénior du service Innovation de Schneider Electric. Il est en charge de la direction technique du plus gros budget du monde consacré à la recherche et au développement de l'infrastructure physique (alimentation, climatisation, baie) de réseaux critiques. Neil Rasmussen détient 19 brevets liés au haut rendement et à l'infrastructure d'alimentation et de refroidissement des datacenters à haute densité. Il a publié plus de 50 livres blancs dédiés aux systèmes d'alimentation et de refroidissement, dont une grande partie ont été traduits dans plus de 10 langues, et s'est récemment intéressé plus spécifiquement à l'amélioration du rendement énergétique. Il est un conférencier reconnu dans le monde entier dans le domaine des datacenters à haut rendement. Neil Rasmussen travaille actuellement au développement d'infrastructures évolutives à haut rendement et haute densité pour les datacenters. C'est l'un des principaux architectes du système InfraStruXure d'APC. Avant de fonder APC en 1981, Neil Rasmussen a obtenu un diplôme d'ingénieur et une maîtrise en génie électrique au Massachusetts Institute of Technology où il a rédigé une thèse sur l'analyse de l'alimentation de 200 MW d'un réacteur à fusion Tokamak. De 1979 à 1981, il a travaillé aux Lincoln Laboratories du MIT sur les systèmes de stockage d’énergie à volant d’inertie et sur la génération électrique à partir de l’énergie solaire. Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 11 Une architecture de distribution d'alimentation évolutive, reconfigurable et efficace pour pour les datacenters haute densité Ressources Accroissement du rendement d’un datacenter via l’utilisation d’une alimentation haute densité améliorée Livre blanc n° 128 Consultez tous les livres blancs whitepapers.apc.com Consultez tous les outils TradeOff tools.apc.com Contactez-nous Pour des commentaires sur le contenu de ce livre blanc : Data Center Science Center [email protected] Si vous êtes client et que vous avez des questions relatives à votre projet de datacenter : Contactez votre représentant Schneider Electric Schneider Electric – Data Center Science Center Livre blanc n° 129 Rév n° 2 12