Alimentation électrique et refroidissement pour racks et serveurs lame de très haute densité

Transcription

1 Alimentation électrique et refroidissement pour racks et serveurs lame de très haute densité par Neil Rasmussen Livre blanc n 46 Revision 2

2 Résumé Une puissance de rack de 10 kw par rack ou plus peut être atteinte en déployant certains équipements informatiques, tels que des serveurs lame. De sérieux défis se posent alors dans les domaines du refroidissement et de l alimentation pour des environnements de centres de données où la consommation électrique moyenne de l industrie est inférieure à 2 kw par rack. Ce document décrit des stratégies de planification permettant de gérer des racks de très haute densité, ainsi que des solutions pratiques pour des centres de données nouveaux ou existants. 2

3 Introduction La puissance consommée par l équipement d'une simple baie informatique peut considérablement varier. La puissance consommée en moyenne par baie dans un centre de données est d environ 1,4 kw, mais la puissance maximale pouvant être obtenue en remplissant un rack avec des serveurs haute densité, tels que des serveurs lame, est d environ 18 kw. De telles charges dépassent largement les capacités théoriques d alimentation et de refroidissement des centres de données standard. Les techniciens de centres de données ont une expérience très limitée en matière de baies informatiques pouvant gérer plus de 10 kw, mais les récentes tendances suggèrent que bon nombre d entres eux seront confrontés à la nécessité d installer et de fournir des systèmes d alimentation et de refroidissement pour racks de haute densité que ce soit par racks individuels ou groupés. La solution la plus simple à ce problème serait de proposer un centre de données qui puisse fournir 18 kw de puissance et de refroidissement redondants pour chaque baie. Malheureusement, dans la plupart des cas, ceci n est simplement ni techniquement possible ni économiquement intéressant. Faire de mauvais choix lors de la spécification d un centre de données destiné à des opérations de haute densité peut augmenter inutilement et considérablement les coûts de cycle de vie d une infrastructure physique. L objectif de ce document est de présenter des stratégies pratiques et efficaces permettant de déployer des baies et des serveurs lame de haute densité. Nous passerons tout d abord en revue le concept de densité électrique. Puis, nous examinerons les valeurs réelles de densité électrique pour des centres de données actuels et à venir. Les approches pratiques permettant d atteindre des hautes densités seront ensuite présentées, ainsi que leurs limites et avantages. Enfin, des stratégies logiques et pratiques de déploiement de solutions informatiques de haute densité seront proposées. Définition claire de la densité électrique pour un centre de données De très importants malentendus peuvent survenir lorsque l on décrit la densité électrique, car la signification du terme «densité électrique» est ambiguë. La densité électrique est souvent exprimée en Watts par m 2 ou en Watts par baie. Cette description simple est suffisante lorsque la puissance consommée par toutes les baies est la même. Cependant, dans un centre de données réel, la puissance par baie informatique varie considérablement. Dans ces cas réels, les densités électriques mesurées au niveau du rack, au niveau de la rangée et au niveau de la pièce peuvent énormément varier. Cette variation de la densité électrique mesurée au niveau de la baie, de la rangée et de la pièce a un impact important sur la structure du système d alimentation et un impact encore plus considérable sur la structure du système de refroidissement. 3

4 Les différences de densité électrique mesurées au niveau du rack, de la rangée et de la pièce sont présentées dans le schéma n 1. Dans ce schéma, des baies de 12 kw sont installées dans une pièce typique. Dans l un des cas, 15 % des baies de la pièce nécessitent 12 kw et le reste 1 kw. Dans le deuxième cas, le même pourcentage de baies utilisent 12 kw, mais elles sont rassemblées dans une même rangée. Dans le troisième cas, toutes les baies de la rangée utilisent 12 kw. Dans chacun des cas, la densité électrique maximale est la même, 12 kw par rack, ce qui correspond à 5,2 kw / m 2. En revanche, les densités électriques de la rangée et de la pièce varient considérablement d un cas à l autre. Schéma n 1 Densité électrique en Watts par unité de surface, par rack, par rangée et par pièce pour trois configurations de pièce différentes Cas n 1 Cas n 2 Cas n 3 Max Rack : 5,2 kw / m 2 Max Rack : 5,2 kw / m 2 Max Rack : 5,2 kw / m 2 Max Rangée : 1,6 kw / m 2 Max Rangée : 3,3 kw / m 2 Max Rangée : 5,2 kw / m 2 Pièce : 1,1 kw / m 2 ² Pièce : 1,1 kw / m 2 ² Pièce: 5,2 kw / m 2 ² Racks à 12 kw ; autres racks à 1 kw Les différences entre les densités électriques de rack, de rangée et de pièce illustrées dans le schéma n 1 sont représentatives de diverses installations existantes. Ces différences affectent sérieusement la conception des infrastructures d alimentation et de refroidissement. Le régime final d un système d alimentation ou d un système de refroidissement est simplement la somme globale de la puissance consommée par les charges. Ceci permet déterminer facilement la taille totale des onduleurs et des climatiseurs de salles informatiques. Le problème principal lié à la variation et aux valeurs maximales de densité électrique dépend de la distribution de l alimentation et de l air au sein du centre de données. Notez que les descriptions de densité ci-dessus sont exprimées en termes de surface totale au sol, incluant les espaces tels que les allées qu il convient d ajouter à l encombrement au sol des baies informatiques. Il s agit de la méthode la plus fréquemment utilisée pour décrire la densité et nous utiliserons cette terminologie tout au long de ce document. Cependant, d autres sources d information, surtout en 4

5 provenance des fabricants informatiques, décrivent la densité en Watts par unité de surface, où la surface est limitée à l encombrement au sol des baies informatiques. De tels chiffres de densité basés sur l encombrement au sol de l équipement doivent être ajustés en les diminuant d environ 75 %. Capacité réelle de la densité électrique des centres de données actuels APC et d autres entreprises ont mené des sondages auprès de concepteurs et d opérateurs de centres de données afin de déterminer les densités électriques de fonctionnement actuelles ainsi que les limites de conception des grandes salles réseau et centres de données nouveaux et existants. Le tableau 1 présente les résultats de l enquête menée en 2002 auprès de sources variées : entreprises, techniciens de support, ingénieurs et consultants. La valeur de la densité électrique globale par baie trouvée correspond étroitement aux valeurs obtenues lors de récents sondages menés par l Université de Californie de Berkeley 1. Tableau 1 Résultat d une enquête sur la densité électrique initialement prévue et actuelle des centres de données Caractéristiques Moyenne des centres de données 90 % des centres de données sont < à Exemple maximum trouvé Densité électrique de conception 0,38 W / m 2 0,65 W / m 2 2,17 W / m 2 Densité électrique réelle de fonctionnement 0,27 W / m 2 0,43 W / m 2 1,63 W / m 2 Densité électrique de conception par baie 1,1 kw / baie 1,8 kw / baie 6 kw / baie Densité électrique globale réelle par baie 1,3 kw / baie 2 kw / baie 4 kw / baie Puissance moyenne réelle par baie dans les rangées de baies de plus haute densité des centres de données Baie de centres de données de plus haute puissance réelle 2 kw / baie 3 kw / baie 5 kw / baie 3 kw 6 kw 7 kw Remarque : les baies incluent les baies pour racks et les baies pour équipement, telles que les unités de stockage à accès direct et les macro-ordinateurs. Les équipements de taille supérieure aux baies de racks sont comptés comme plusieurs baies de racks de même encombrement au sol. Ces données indiquent que la densité électrique de conception pour des centres de données est en moyenne de 0,38 W / m 2, correspondant à 1,1 kw par baie si l on considère une baie de 0,32 m 2. Le résultat d une puissance réelle moyenne par baie supérieure à la valeur de conception est possible, car, en général, la densité par baie de 0,32 m 2 n est pas atteinte. Ceci est principalement possible du fait que les 1 Mitchell-Jackson, J.D., Koomey, J.G., Nordman, B., Blazek, M., Data Center Power Requirements: Measurements From Silicon Valley (Besoins électriques des centres de données : mesures de la Silicon Valley), 16 mai Mémoire de maîtrise, Département Energy and Resources, Université de Californie. Berkeley, Californie. 5

6 centres de données ne sont pas entièrement remplis de baies. Par exemple, un centre de données ayant une densité électrique de conception par baie de 1,1 kw pour des baies de 0,38 m 2 peut engendrer une densité électrique par rack de 2, 2 kw par baie si les baies n utilisent que la moitié de l encombrement au sol disponible. Notez que ces données concernent uniquement des environnements de production. Des densités électriques moyennes et maximales quelque peu supérieures ont été obtenues pour des environnements de développement et de test. Le schéma n 2 représente la distribution de la fréquence de la consommation électrique par rack basée sur des données provenant de sondages 2. Ceci fournit des indications supplémentaires sur les sources de densité électrique. Chaque colonne représente le pourcentage de racks ayant une utilisation électrique comprise dans une fourchette de 500 Watts précédant la valeur indiquée pour la colonne. Par exemple, la colonne 1,5 kw représente les baies utilisant une puissance électrique entre 1 kw et 1,5 kw. Remarquez que dans le schéma n 2, un nombre important de baies des centres de données standard utilisent moins de 500 W. Ces baies incluent des panneaux de raccordement et des racks comprenant des bypass et des serveurs de faible densité. La plupart de ces racks incluent également un important espace vertical ouvert non utilisé. Remarquez en outre dans le schéma n 2 que le nombre de baies nécessitant une puissance supérieure à 2 kw diminue spectaculairement et qu aucune baie nécessitant plus de 8 kw n'a été trouvée. 2 Ces données sont plus difficiles à obtenir que les données du Tableau 1, car les instruments de mesure de la puissance par rack ne sont pas présents dans la plupart des centres de données. Dans de nombreux cas, les données ont dû être estimées à partir des données de puissance réelle pour un groupe de racks, que l on a réparties proportionnellement entre les baies à l'aide des données de consommation précises de fournisseurs qu APC détient et utilise dans ses outils de définition de taille d'onduleurs. 6

7 Schéma n 2 Distribution de la fréquence de la consommation électrique réelle des baies de racks, montrant la relation avec les configurations de rack maximales possibles 30% % de baies 25% 20% 15% >90 % des capacités des nouveaux centres de données Données réelles 2002 moy. = 1,5 kw Limite de Gartner Maxi serveurs 1 U Maxi serveurs lame 10% 5% 0% 0,5 1,5 2,5 3,5 4,5 5,5 6,5 7,5 8,5 9,5 10,5 11,5 12,5 13,5 14,5 15,5 Puissance par rack en kw Dans le schéma n 2, plusieurs lignes de référence sont superposées aux valeurs de consommation électrique réelle par baie. La première paire de lignes de référence indique la fourchette de densité électrique moyenne pour laquelle les nouveaux centres de données sont conçus, basée sur un sondage effectué auprès d ingénieurs consultants. La ligne intitulée «limite de Gartner» représente la valeur de 3,25 W / m 2 suggérée pour la conception de nouveaux centres de données par les recherches Gartner dans leur rapport de février 2003 intitulée «Power and Heat in the Modern Data Center» (puissance et chaleur dans les centres de données modernes). Remarquez que cette valeur dépasse largement la valeur des centres de données actuels ainsi que les valeurs pour lesquelles les nouveaux centres de données sont réellement conçus. De telles densités sont souvent mentionnées dans la presse comme valeurs de conception appropriées. Les deux lignes suivantes représentent les densités électriques pouvant être obtenues en remplissant des baies informatiques avec les serveurs de plus haute densité maximale existants à ce jour, les serveurs de 7

8 1U et les serveurs lame. Ces valeurs dépassent largement les valeurs de conception des nouveaux centres de données et les valeurs réelles des centres de données existants. Bien que les serveurs lame peuvent présenter des puissances par rack supérieures aux serveurs 1U, il est important de noter qu'à ces densités électriques les serveurs lame fournissent environ deux fois plus de serveurs que les serveurs 1U, ce qui suppose que l utilisation électrique des serveurs lame est environ 40 % inférieure à celle des serveurs 1U conventionnels. De ces données peuvent être déduites les observations suivantes : La plupart des baies de centres de données fonctionnent à une puissance inférieure à la valeur de conception des centres de données. L équipement informatique de haute densité n est en fait pas installé à la densité maximale pouvant être atteinte. Les valeurs de densité électrique mentionnées fréquemment dans la presse ne sont atteintes par pratiquement aucun des centres de données actuels ni d un avenir proche. Dans le cadre de ce document, le terme «haute densité» fera référence aux baies de plus de 3 kw, où la valeur de 3 kw correspond à la limite supérieure de la fourchette de capacité moyenne de refroidissement des centres de données actuels. Besoins d alimentation et de refroidissement des baies de haute densité Un exemple de baie de très haute densité serait une installation de serveurs lame consistant en six machines serveurs lame de 7U sur un rack de 42U, chaque châssis de lame consommant 3 kw pour un besoin total de 18 kw. Ceci signifie que 18 kw d'alimentation et 18 kw de refroidissement doivent être fournis à la baie. Un système de ce type serait normalement considéré comme un système vital aux opérations et une redondance de l alimentation et du refroidissement serait nécessaire. Besoins électriques D un point de vue électrique, ce système nécessiterait probablement douze circuits d alimentation de 30 A à 208 V ou 230 V (deux pour chaque châssis de lame à deux câbles ; partager un circuit entre deux serveurs placerait les charges d un circuit individuel trop près du seuil de disjonction). Le câblage associé à ce circuit serait encombrant et nécessiterait normalement d être placé au dessus des racks pour éviter de bloquer la diffusion de l air dans le faux-plancher (dans le cas de l utilisation d un faux-plancher). Ce serait d autant plus le cas si plusieurs baies de ce type se trouvaient à proximité les unes des autres. En revanche, si un fauxplancher était utilisé, la profondeur du faux-plancher pourrait être augmentée pour recevoir le câblage. Dans les deux cas, un câblage supplémentaire important devrait être installé, ce qui serait compliqué et onéreux dans le cas d un centre de données opérationnel. Ces méthodes permettent de fournir une alimentation redondante à des racks de très haute densité. 8

9 Besoins de refroidissement Refroidir une baie de très haute densité est un défi bien plus épineux que de l alimenter en électricité. Le système de serveurs lame décrit ci-dessus nécessiterait environ 1,180 L/s d air frais en admission (valeur basée sur la valeur commune d une augmentation de la température de l air rejeté de 11 C) et rejetterait la même quantité d air réchauffé à l'arrière de la baie. Cet équipement consommerait ce volume d air que le système de refroidissement puisse ou non le fournir. Si la pièce n était pas capable de fournir cette quantité d air frais à la baie, cette dernière utiliserait son propre air chaud rejeté (ou l air rejeté de l équipement voisin) et finirait par surchauffer. Quatre éléments clés doivent être considérés pour atteindre les performances souhaitées de refroidissement : Fournir L/s d air frais à la baie Évacuer L/s d air chaud rejeté par la baie Garder l air chaud rejeté loin de l admission d air de l équipement Fournir toutes ces fonctions d une manière redondante et ininterrompue Chacune de ces fonctions est très difficile à obtenir. Ces difficultés sont présentées dans les sections suivantes. Fourniture de L/s d air frais à la baie Un centre de données standard dispose d une dalle ventilée pour chaque baie. Le sol ventilé typique d un centre de données standard est capable de fournir environ 142 L/s d air frais à la baie. Ceci signifie qu une baie de 18 kw nécessite 8 dalles ventilées, c'est-à-dire 8 fois plus que la valeur normale. La largeur des allées ainsi que l espacement des racks devraient alors être significativement augmentés afin de pouvoir installer 8 dalles ventilées par baie. Ceci n est pas possible dans un centre de données standard. Le schéma n 3 présente la capacité de la puissance de refroidissement d une dalle en fonction de la circulation de l air par dalle. Alors que la puissance de refroidissement augmente avec la circulation de l air, la figure montre que les capacités d une circulation de l air élevée deviennent irréalisables. La figure indique que l obtention d une circulation de l air par dalle supérieure à 142 L/s nécessite un faux-plancher étudié, l installation d une climatisation centrale de salle informatique et le contrôle des obstacles à la circulation de l air existant sous le plancher, tels que des tuyaux et des câbles. Obtenir une circulation de l air par dalle supérieure à 236 L/s nécessite l utilisation de dalles spéciales conçues sous forme de grilles métalliques ouvertes. Elles peuvent fournir jusqu à 330 L/s par dalle dans un centre de données standard. Cependant, l utilisation de ces grilles modifie considérablement les courbes de pression du sous plancher et influe sur la circulation de l air dans les régions voisines. Quand plusieurs de ces grilles sont utilisées, la pression locale sous le faux-plancher tombe et la circulation de l air totale n est plus effectuée. Pour augmenter encore la circulation de l air et équilibrer la pression du sous plancher, la profondeur du faux-plancher doit encore être significativement augmentée, ce qui rend finalement d autres augmentations de la circulation de l air par dalle impossible. 9

10 Schéma n 3 Capacité disponible de refroidissement des baies informatiques pour une dalle en fonction de la circulation de l air par dalle Capacité de refroidissement par dalle (en kw) Capacité standard Avec efforts Extrême Difficile à obtenir Circulation de l'air pour une dalle (PCM) Même lorsqu'une conception extrême est mise en place, le schéma n 3 indique que 4 ou 5 dalles seraient alors nécessaires pour refroidir une baie de racks hypothétique de 18 kw. Cependant, la disposition d un centre de données standard ne comprend qu une dalle par baie de racks. Les dispositions conventionnelles de centre de données comprenant une dalle de circulation d air par rack ne pourraient simplement pas permettre de refroidir des racks sur une surface étendue dans le cas de plus de 3 kw par rack. Évacuation de L/s d air chaud rejeté d une baie Il existe trois manières de retourner de l air à un système de refroidissement : par la pièce, par un conduit ou par le plenum du plafond. Idéalement l air chaud rejeté par l équipement serait repris par le système de refroidissement sans qu il puisse se mélanger à l air alentour et sans être capturé par l équipement. Ceci nécessite un chemin de retour direct et sans obstacle. Pour référence, sachons que transporter L/s dans un conduit circulaire de 30 cm nécessite une vitesse de l air de 56 km/h. Un haut plafond ouvert avec un retour d air de masse situé à un point central élevé est un moyen de fournir cette fonction. Cependant, de nombreux centres de données dépendent d un retour de l air transporté par des canalisations de retour ou un plenum de plafond suspendu, et bon nombre se basent sur un retour d'air en masse par la pièce sous le plafond à moins d'un mètre du toit des baies. Ces cas constituent des défis techniques de conception. La disponibilité d une capacité de retour d air pour une baie informatique donnée est aussi limitée que l approvisionnement en air. Comme dans le cas de l apport en air, fournir plus de 189 L/s de capacité de 10

11 retour d air par rack sur une surface étendue nécessite des installations spécialisées afin que le système dispose des performances et redondance requises. Éloignement de l air chaud rejeté loin de l admission d air de l équipement Le chemin d approvisionnement de l air le plus court vers l équipement électronique est le chemin de recyclage depuis la sortie même de l équipement. Un élément essentiel de la conception de centres de données est que les chemins de fourniture d air frais et de retour d air chaud doivent dominer ce chemin de recyclage indésirable. Ceci devient particulièrement difficile pour les environnements de haute densité, car la vitesse élevée de la circulation de l air doit dépasser la résistance des systèmes de distribution et de retour d air. Plusieurs méthodes peuvent être utilisées pour résoudre ce problème et sont décrites de manière plus détaillée dans le livre blanc d APC n 49, «Avoidable Mistakes that Compromise Cooling Performance in Data Centers and Network Rooms» (Erreurs pouvant être évitées qui compromettent les performances de refroidissement des centres de données et des salles de réseau). Mise en œuvre de toutes ces fonctions de manière redondante et ininterrompue Dans un centre de données de haute disponibilité, les charges doivent continuent à opérer pendant les interruptions de fonctionnement prévues ou imprévues des unités de climatisation des salles informatiques. Ceci signifie que le refroidissement doit être disponible lorsque l une des unités de climatisation ne fonctionne pas. Dans les conceptions de centres de données conventionnels, plusieurs unités de climatisation alimentent un faux-plancher ou un plenum de plafond commun supposés rassembler les évacuations de toutes les unités de climatisation et fournir une pression uniforme dans tout le plenum de circulation de l air. Le système est conçu pour répondre aux exigences de circulation d air et de refroidissement lorsqu une unité de ventilation ne fonctionne pas. Lorsque la densité électrique de fonctionnement de centres de données conventionnels est augmentée, la circulation de l'air dans les zones de plenum augmente et les hypothèses fondamentales relatives au fonctionnement du système de plenum partagé commencent à faillir. L interruption d une unité de climatisation peut radicalement altérer les vitesses de circulation locale de l air dans le plenum. La circulation de l air au niveau d une dalle individuelle peut même s inverser, aspirant l air dans le sol du fait de l effet Venturi. Le fonctionnement du système de refroidissement dans des conditions déficientes devient moins prévisible à mesure que la densité électrique augmente. Pour cette raison, les installations de haute densité sont souvent simulées à l aide de méthodes de simulations numériques afin d établir la présence de la redondance. Le concept de refroidissement ininterrompu est également remis en question dans un environnement de haute densité. Le système de refroidissement d un centre de données conventionnel reçoit une alimentation électrique de secours d un générateur de secours et non pas d un système d alimentation sans interruption. Le délai de démarrage d un générateur est acceptable dans les centres de données moyens car la perte de refroidissement et d'approvisionnement en air pendant les 5 à 20 secondes nécessaires au démarrage du générateur n engendre qu une augmentation de la température de 1 C. En revanche, dans le cas de l installation de charges de haute densité de l ordre de 18 kw par baie, l augmentation approximative de la 11

12 température de l air atteint les valeurs inacceptables de 8 à 30 C pendant le délai typique de démarrage d un générateur. Ainsi, dans le cas d installations de haute densité, il devient nécessaire de mettre en permanence en fonctionnement les ventilateurs du système de climatisation, les pompes et dans certains cas les unités mêmes de climatisation afin d assurer un refroidissement ininterrompu. Il s agit d un facteur de coût élevé et d un frein important au déploiement d environnements informatiques de haute densité. Solutions pour le déploiement de baies de haute densité et de serveurs lame Il existe 5 méthodes de base différentes pouvant être utilisées dans le cas d installations de baies de haute densité et de serveurs lame : 1. Fournir à la pièce la capacité d'alimenter et de refroidir chaque rack à la densité maximale 2. des baies. Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies et utiliser un équipement de refroidissement additionnel, en fonction des besoins, pour refroidir les racks d une densité supérieure à la valeur moyenne de conception. 3. Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies et utiliser des règles pour permettre aux racks de haute densité d utiliser la capacité de refroidissement sous-utilisée des racks voisins Fournir à la pièce la capacité d'alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale potentielle des baies et répartir la charge de certaines baies qui dépassent la valeur moyenne de conception en répartissant l'équipement parmi les différentes baies de racks. Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies, aménager une zone spéciale limitée dans la pièce disposant d une capacité de refroidissement élevée et limiter l emplacement des baies de haute densité à cette zone. Chacune de ces approches est présentée ci-dessous avec ses avantages et inconvénients. Première méthode : Fournir à la pièce la capacité d'alimenter et de refroidir chaque rack à la densité maximale des baies. Il s agit de la solution la plus simple d un point de vue conceptuel, mais elle n est jamais mise en œuvre, car les centres de données connaissent des variations importantes de puissance par rack et concevoir le cas extrême est par conséquent très onéreux et équivaut à du gaspillage. De plus, concevoir pour une densité 12

13 électrique de rack globale supérieure à 6 kw par rack nécessite des moyens d ingénierie et des analyses extrêmement complexes. Cette approche ne serait logique que dans les situations extrêmes. Deuxième méthode : Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies et utiliser un équipement de refroidissement additionnel, en fonction des besoins, pour refroidir les racks d une densité supérieure à la valeur moyenne de conception. Cette solution nécessite généralement que l installation soit planifiée à l avance afin de pouvoir utiliser l équipement de refroidissement additionnel lorsque et où il est nécessaire. Lorsqu une pièce a été aménagée de cette manière, plusieurs techniques peuvent être utilisées afin de fournir un refroidissement supplémentaire aux racks. Elles incluent : Installation de dalles spéciales ou de ventilateurs afin d augmenter la fourniture d air frais du système de climatisation vers une baie. Installation de conduits de retour spéciaux ou de ventilateurs afin de récupérer l air chaud rejeté d une baie et le retourner vers le système de climatisation. Installation de racks spéciaux ou de dispositifs de refroidissement montés sur racks ayant la capacité de fournir le refroidissement requis directement au rack. Ces méthodes font l objet du livre blanc d APC n 41: «Rack Cooling Options for Data Centers and Network Rooms» (Option de refroidissement de racks pour les centres de données et les salles de réseau). Ces méthodes ne sont disponibles que depuis peu et ne sont pas encore largement déployées dans les centres de données existants. Pourtant, elles offrent une souplesse accrue et, grâce à une planification adéquate, elles n ont pas besoin d être achetées ni installées avant d être utiles. Troisième méthode : Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies et utiliser des règles pour permettre aux racks de haute densité d emprunter la capacité de refroidissement sous-utilisée des racks voisins. Cette solution sans frais est souvent utilisée mais rarement présentée. Cette approche bénéficie du fait que certains racks utilisent moins de puissance que la valeur moyenne de conception. Le refroidissement et la capacité de retour provenant des baies sous-utilisées sont disponibles aux baies voisines. Une simple règle comme «ne pas placer les racks de haute densité les uns près des autres» engendre des effets bénéfiques, mais des règles plus sophistiquées peuvent être mises en place et fournir un refroidissement fiable et prévisible aux baies deux fois plus important que la valeur moyenne de conception. Ces règles peuvent être établies officiellement et leur application être vérifiée en effectuant le suivi de la consommation électrique au niveau du rack. Cette fonction peut être automatisée par un système de gestion, tel que le gestionnaire ISX de APC Corp. L automatisation de cette fonction deviendra essentielle à mesure que de nouveaux équipements informatiques sont rajoutés dont la consommation électrique varie dans le temps. 13

14 Un exemple de règle réelle, pouvant être appliquée dans le cadre de cette méthode, est présenté dans le schéma n 4. Cette règle serait appliquée aux déploiements de nouveaux équipements afin d établir s ils peuvent être déployés en respectant la capacité du système de refroidissement. Selon cette règle, la capacité de refroidissement n étant pas utilisée par les baies immédiatement voisines est disponible pour refroidir un équipement de rack ; ce qui permet à la densité électrique maximale d une baie de dépasser la puissance de refroidissement moyenne de la pièce d un facteur pouvant atteindre 3. Dans les centres de données standard, ceci peut être une manière très efficace de mettre en place des baies de haute densité, car il existe souvent des baies contigües n utilisant pas la capacité de refroidissement moyenne. 14

15 Schéma n 4 Exemple d une méthode basée sur des règles permettant à des baies de haute densité d'utiliser une capacité de refroidissement sous-utilisée Start: New proposed load Obtain power value from existing loads in rack and add proposed power value NO Does new proposed rack power exceed Average Cooling Power? Do either immediately adjacent racks exceed Average Cooling Power? YES YES YES Is rack located at the end of a row? NO NO NO Does the average of the new rack power and the adjacent rack power exceed Average Cooling Power? NO Does the average of the new rack power and the two adjacent rack powers exceed Average Cooling Power? YES YES New load may be deployed New load may not be deployed; split up load or try a different location 15

16 Quatrième méthode : Fournir à la pièce la capacité d'alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale potentielle des baies et répartir la charge de certaines baies qui dépassent la valeur moyenne de conception en répartissant l'équipement parmi les différentes baies informatiques. Il s agit de la solution la plus populaire permettant d incorporer un équipement de haute densité à des centres de données actuels. Heureusement, tous les serveurs de 1U et les serveurs lame vendus n ont pas besoin d être installés afin de remplir une baie informatique, mais peuvent être répartis sur plusieurs baies. En répartissant l équipement sur plusieurs racks, aucun rack n'est jamais tenu de dépasser la valeur de densité électrique de conception et par conséquent les performances de refroidissement sont prévisibles. Notez que lorsque l équipement est réparti sur plusieurs baies, un espace vertical inutilisé important sera laissé au sein des racks. Cet espace doit être rempli de panneaux d obturation afin d'éviter la dégradation des performances de refroidissement, tel que décrit dans le livre blanc d APC n 44, «Improving Rack Cooling Performance Using Blanking Panels» (Amélioration des performances de refroidissement des racks à l aide de panneaux - caches). Le besoin de répartition des équipements de haute densité sur plusieurs racks est souvent ressenti pour d autres raisons que les besoins de refroidissement. L'approvisionnement adéquat des racks en câbles de données ou d'alimentation peut ne pas être possible ni pratique, et dans le cas de serveurs de 1U, le volume de câblage à l arrière de la baie peut sérieusement bloquer l'air ou même empêcher la fermeture des portes arrière. Cinquième méthode : Fournir à la pièce la capacité d alimenter et de refroidir à une valeur moyenne inférieure à la valeur maximale des baies, aménager une zone spéciale limitée dans la pièce disposant d une capacité de refroidissement élevée et limiter l emplacement des baies de haute densité à cette zone. Cette approche nécessite la connaissance préalable de la fraction des baies de haute densité et la possibilité de rassembler ces baies dans une zone spéciale ; elle permet dans ces conditions de pouvoir atteindre une utilisation optimale de l espace. Malheureusement, une connaissance préalable de la fraction des baies de haute densité est souvent impossible. Résumé Les avantages et inconvénients des cinq approches permettant de refroidir des baies de haute densité sont résumés dans le tableau 2. 16

17 Tableau 2 Application des cinq approches de refroidissement des baies de haute densité Approche Avantages Inconvénients Application 1) Fournir une capacité de refroidissement de haute densité à chaque baie Supporte tous les scénarios futurs Coûts d installation et de fonctionnement très élevés, 4 fois supérieurs aux autres méthodes Ingénierie complexe Cas extrêmes de grands centres d équipement de haute densité devant tenir dans un espace physique très limité 2) Fournir une capacité de refroidissement moyenne avec l installation d un équipement de refroidissement additionnel 3) Fournir une capacité de refroidissement moyenne avec des règles permettant l emprunt d une capacité sous-utilisée 4) Répartir l équipement entre les baies pour que la charge maximale reste peu élevée 5) Zone spéciale de haute densité Hante densité où et quand elle est requise Coûts d installation différés Grande efficacité Utilisation optimale de l espace au sol Aucune planification requise Pratiquement gratuite dans de nombreux cas Fonctionne partout, aucune planification requise Pratiquement gratuite dans de nombreux cas Utilisation optimale de l espace au sol Redondance difficile à assurer Infrastructure surdimensionnée nécessitant de l espace Limitée à environ 7 kw par baie Racks et pièce doivent être conçus à l avance pour cette approche Limitée à environ 2 fois la densité électrique moyenne Utilise une plus grande surface au sol Nécessite le respect de règles Utilise une plus grande surface au sol Ne fonctionne que lorsque l équipement peut être réparti parmi les racks Nécessité de connaître à l avance la taille de la zone de haute densité Nécessité de séparer l équipement de haute densité du reste Nouvelles constructions Lorsque l équipement à haute densité est une petite fraction de la charge totale Lorsque l équipement à haute densité est une petite fraction de la charge totale et que l espace n est pas sévèrement limité Lorsque la fraction des racks de haute densité est constante et connue Valeur de concentration Les sections précédentes identifiaient divers obstacles liés aux coûts élevés, à la complexité et à la fiabilité associés aux baies de haute densité électrique. Ces problèmes doivent être résolus pour pouvoir déployer des centres de données de haute densité. Pourtant, les prédictions dominantes des publications commerciales de l industrie indiquent que la concentration des centres de données est inévitable et en 17

18 cours, du fait du coût et des avantages d économie d espace que l on associe à cette concentration. Ces données suggèrent qu une concentration croissante par l augmentation de la densité sans une réduction fondamentale de la consommation électrique n est pas rentable. Le schéma n 5 présente la surface d un centre de données par kw en fonction de la densité électrique d équipements informatiques. Lorsque la densité des équipements informatiques augmente, la surface immobilière consacrée à cet équipement chute comme le montre la courbe inférieure. Pourtant, aucune diminution de la surface immobilière consacrée à l infrastructure d alimentation et de refroidissement ne diminue. Lorsque la densité électrique dépasse environ 2,5 kw par rack, la surface utilisée par les équipements d alimentation et de refroidissement dépasse, en fait, la surface de l équipement informatique. Une concentration au-delà de 4-5 kw par rack environ n engendre finalement pas une réduction supplémentaire de la surface totale. Schéma n 5 Surface de centre de données par kw de capacité en fonction de la densité électrique de rack Surface en pieds carrés / kw Surface totale de l'équipement et des installations informatiques Surface des installations électriques et de refroidissement Surface de l'équipement informatique Densité de concentration : kw par rack Une croyance implicite et largement répandue concernant la concentration consiste à penser que fondamentalement les coûts des centres de données sont fonction de la surface et que réduire la surface par le biais de la concentration réduit les coûts. Le schéma n 6 présente le coût total de possession d un centre de donnée sur sa durée de vie en fonction de la densité électrique de l équipement informatique. Lorsque la densité de l équipement informatique diminue, un résultat largement attendu est que le coût total de possession diminue proportionnellement comme l indique la courbe inférieure de la figure. Cependant, en 18

19 réalité, 75 % du coût total de possession des centres de données dépend de l alimentation et que seuls 25 % des coûts dépendent de la surface. En outre, les coûts par watt augmentent avec l augmentation de la densité électrique du fait des facteurs précédemment décrits. Par conséquent, le coût total de possession ne diminue pas significativement avec l'augmentation de la densité électrique, mais augmente en fait au-delà d une densité électrique optimale, qui est de l ordre de 4 kw par baie. Schéma n 6 Variation du coût total de possession de centres de données tout au long de leur durée de vie en fonction de la densité électrique de rack Coût total de possession 100% 80% 60% 40% 20% 0% Réalité: coût dépendant des Watts Si les coûts dépendaient de la surface Concentration : kw par rack Les avantages d une augmentation de la densité électrique d un équipement informatique sont limités. Cependant, il existe des avantages importants à réduire la consommation électrique de l équipement informatique car, comme l ont montré les sections précédentes, la surface des centres de données et le coût total de possession est fortement affecté par la consommation électrique. Le tableau 3 présente comment des réductions supplémentaires de la consommation électrique et de la taille des équipements informatiques affectent la surface et le coût total de possession des centres de données. Comparées au cas de base typique, les réductions de consommation électrique ont de biens plus importants avantages que des réductions proportionnelles de taille. Tableau 3 Économies de surface et de coût total de possession de centres de données par la réduction de la taille et de la consommation électrique d équipements informatiques 19

20 Amélioration de l équipement informatique Économie d espace Économies de coûts de possession Réduction de 50 % de la taille, même consommation électrique 14 % 4 % Réduction de 50 % de la consommation électrique, même taille 26 % 35 % Analyse Les économies de surface attendues ne sont pas réalisées car la surface du système d alimentation et de refroidissement domine Les économies de coût de possession ne sont pas réalisées car ces derniers sont inférieurs aux coûts d alimentation De grandes économies d espace proviennent des économies effectuées sur l espace d alimentation et de refroidissement Grandes économies de coûts de possession car ces derniers sont inférieurs aux coûts d alimentation Remarque : Un cas de base consiste en des serveurs de 2U à processeur double réalisant 3 kw par rack Stratégie optimale de refroidissement Des informations présentées dans ce document, il est possible de concevoir une stratégie cohérente qui soit optimale pour la plupart des installations. Cette stratégie utilise une combinaison des approches précédemment décrites. Tableau 4 Stratégie applicable permettant d optimiser le refroidissement lors du déploiement d'un équipement informatique de haute densité Élément de stratégie 1) Ignorer la taille physique de l équipement informatique et se concentrer sur la fonctionnalité par Watt consommé. 2) Concevoir le système pour permettre l installation ultérieure de dispositifs de refroidissement supplémentaires. 3) Choisir une densité électrique de base pour les nouvelles installations entre 0,4 1,1 kw / m 2 ; 0,6 kw / m 2 (1800 W / baie en moyenne) étant une valeur adéquate pour la plupart des nouvelles installations. 4) Lorsque la fraction de charges de haute densité est élevée et prévisible, établir et équiper des zones spéciales de haute densité de 1,1-2,2 kw / m 2 (3 6 kw par baie) dans le centre de données. Objectif Il s agit d une manière efficace de minimiser la surface et le coût total de possession. Pour permettre l installation ultérieure d un équipement de refroidissement supplémentaire lorsque et où il sera nécessaire dans le centre de données en fonctionnement, afin de répondre à des besoins futures incertains. La densité électrique de base doit être choisie pour éviter un gaspillage trop important dû à un surdimensionnement ; en le conservant en dessous de 1,1 kw / m 2, les performances et capacité de redondance deviennent prévisibles. Lorsque l on sait à l avance qu une zone de haute densité est nécessaire et qu il n est pas possible de répartir la charge. Ceci peut augmenter significativement les coûts, le temps et compliquer la conception du centre de données. 20

21 Élément de stratégie 5) Établir des politiques et des règles déterminant l alimentation pouvant être fournie pour toute baie, en fonction de son emplacement et des charges voisines. 6) Utiliser des dispositifs de refroidissement supplémentaires lorsque nécessaire. 7) Diviser les équipements dont l installation ne respecte pas les règles Objectif Lorsque la compréhension des capacités de l installation est combinée à la gestion de l'alimentation, la mise en place de règles pour les installations de nouveaux équipements peut réduire les zones de réchauffement, assurer une redondance du refroidissement, augmenter l efficacité du refroidissement du système et réduire la consommation électrique. Des règles et une gestion plus sophistiquées peuvent permettre des densités électriques élevées. Installer des dispositifs de refroidissement supplémentaires lorsque et où ils sont nécessaires peut augmenter la capacité de refroidissement d'une zone du centre de données jusqu'à 3 fois la valeur de base afin de s adapter à un équipement de haute densité. Option engendrant les coûts les plus bas et les risques les moins élevés, mais qui peut nécessiter un espace considérable lorsque les charges de haute densité sont plus importantes. La plupart des utilisateurs n ayant pas de limite de surface choisissent cette option comme stratégie principale. Conclusions La densité électrique maximale de rack de la dernière génération d équipement informatique de haute densité est environ 10 fois la densité électrique moyenne de rack des centres de données existants. Un nombre important de baies informatiques de centres de données actuels fonctionnent à la moitié de cette densité électrique maximale. Les méthodes et dispositions actuelles des centres de données ne peuvent pas fournir le refroidissement nécessaire aux équipements de haute densité du fait des limites des systèmes de ventilation et de la difficulté de fournir une redondance et un refroidissement ininterrompu pendant le passage à un fonctionnement sur groupe électrogène. Lorsque l objectif est de réduire la surface des centres de données et le coût total de possession, les clients doivent considérer l'acquisition d'un équipement informatique en se basant sur la fonctionnalité fournie par Watt et ignorer la taille physique de l équipement. Cette conclusion inattendue s explique par le fait qu audelà de 0,6 kw / m 2, l alimentation a un effet plus important que la taille de l équipement sur le coût de possession et la surface. Une variété de solutions permet le déploiement efficace d'un équipement informatique de haute densité pour des environnements conventionnels. Alors que la conception de centres de données entiers de haute densité reste impossible en pratique, des centres de données peuvent supporter une installation limitée d équipements de haute densité en utilisant des systèmes additionnels de refroidissement, des règles 21

22 permettant d emprunter une capacité voisine sous-utilisée et enfin en répartissant la charge entre plusieurs baies. Lorsqu une installation est projetée avec un fort pourcentage de baies de haute densité et qu il n est pas possible de répartir l équipement, la seule option est de fournir cette capacité à chaque baie. Cependant, la hauteur et la surface utilisées dans de tels centres de données seront significativement supérieures à celles des installations standard, afin d'assurer une circulation de l air suffisante. Malgré les indications fournies par les publications commerciales traitant des densités de conception de centre de données de 3,25 6,5 Watts par m 2, atteindre de telles densités reste hors de portée dû aux importantes pénalités de coûts et à la difficulté d obtenir une disponibilité élevée à ces densités. Des installations actuelles de centres de données de hautes disponibilité et performances sont prévisibles et possibles dans la fourchette de 0,4 1,1 kw / m 2 (1,2 kw à 3 kw de moyenne par rack), avec la capacité de s adapter à des charges pouvant atteindre 3 fois la valeur de conception en profitant de la diversité de la charge et en utilisant des dispositifs de refroidissement supplémentaires. À propos de l auteur : Neil Rasmussen est l un des fondateurs et le directeur de la technologie de American Power Conversion. À APC, Neil dirige le plus gros budget de R&D du monde consacré à l alimentation, le refroidissement et aux infrastructures physiques de réseau critique; les principaux centres de développement de produits se trouvent au Massachusetts, au Missouri, au Danemark, dans le Rhode Island, à Taiwan et en Irlande. Neil dirige actuellement les travaux menés par APC visant au développement de solutions modulaires et évolutives pour centres de données. Avant de fonder APC en 1981, Neil a obtenu les diplômes de licence et maîtrise en génie électrique au MIT où il rédigea son mémoire sur l analyse d'une source d alimentation de 200 MW pour un réacteur de fusion Tokamak. De 1979 à 1981, il a travaillé aux laboratoires Lincoln du MIT sur les systèmes de stockage énergétique grâce à un disque rotatif («flywheel») et les systèmes électriques solaires. 22