COÛTS ET EFFICACITE ENERGETIQUE - ETUDE COMPARATIVE ENTRE TROIS CONCEPTS DE REFROIDISSEMENT POUR DATACENTERS

COÛTS ET EFFICACITE ENERGETIQUE - ETUDE COMPARATIVE ENTRE TROIS CONCEPTS DE REFROIDISSEMENT POUR DATACENTERS 1/16

Sommaire : 1. Introduction : L'efficacité énergétique au coeur des préoccupations 1.1 Quels sont les consommateurs d'énergie dans un datacenter? 1.2 Evolution de la puissance dissipée dans le datacenter 1.3 Les caloporteurs : l'air et l'eau 2. Comparatif de l'efficacité des différents concepts de refroidissement 2.1 Concept I : Allées froides et allées chaudes 2.2 Concept II : Allées froides et allées chaudes avec confinement 2.3 Concept III : Baies VARISTAR avec échangeur thermique air/eau LHX20 intégré 3. Comparatif de l'efficacité des concepts de refroidissement 3.1 Coût d'investissement des composants entrant dans les différents concepts 3.2 Surcoûts suite aux besoins d'air et d'énergie accrus 3.2.1 Surcoûts suite aux besoins d'air et d'énergie accrus - concept I 3.2.2 Surcoûts suite aux besoins d'air et d'énergie accrus - concept II 3.2.3 Surcoûts suite aux besoins d'air et d'énergie accrus - concept III 3.3 Comparatif des surcoûts suite aux besoins d'air et d'énergie accrus des concepts I et concept II par rapport au concept III 4. Comparatif global des coûts 5. Conclusion 6. Présentation de la société Schroff et informations relatives aux auteurs 2/16

1. Introduction : L'efficacité énergétique au coeur des préoccupations Les technologies de l'information et de la communication (TIC) sont l un des principaux moteurs de l'économie moderne : en Allemagne, la valeur ajoutée brute de ce secteur a augmenté de près de 50 pour cent depuis le milieu des années 90 pour être de nos jours supérieure à celle de l'industrie automobile et mécanique. Il y a cependant une ombre au tableau : la consommation électrique des près de 50.000 salles serveurs et datacenters en Allemagne s'élevaient à environ 10,1 TWh en 2008 et a plus que doublé ces dix dernières années. Les datacenters allemands ont ainsi émis près de 6,4 millions de tonnes de CO2 en 2008. Au niveau mondial, l'industrie des télécoms a généré environ 2% des émissions de CO 2, ce qui représente autant que le secteur de l'aviation. Il est évident que l'efficacité énergétique joue un rôle de plus en plus important, autant d'un point de vue économique que écologique. Ce document décrit trois concepts de refroidissement mis en œuvre dans les datacenters. Basé sur notre expérience, il recense les avantages et les inconvénients, l'investissement moyen et les coûts opérationnels des différents concepts pour un datacenter d'une puissance dissipée de 300 kw. 1.1 Quels sont les consommateurs d'énergie dans un datacenter? Seule la moitié du coût de l'électricité peut être effectivement attribuée aux équipements informatiques. Les 50% restant sont utilisés pour assurer la sécurité nécessaire et la disponibilité - alimentation de secours, systèmes de sécurité, protection/extinction d'incendies, climatisation. Environ un quart des coûts d'électricité sont à imputer à la climatisation qui se trouve ainsi au cœur de l'optimisation de l'efficacité énergétique. 1.2 Evolution de la puissance dissipée dans le datacenter La densité de composants par baie est également en constante augmentation. Alors que par le passé une baie comportait usuellement 4 à 8 kw, on atteint aujourd'hui 10 à 15 kw. A l'avenir, on estime de puissance dissipée par baie à plus de 30 kw. 1.3 Les caloporteurs : l'air et l'eau Les matériaux usuels utilisés pour le refroidissement sont l'air et l'eau. L'énergie qui peut être transporté par un matériau est calculée selon la formule suivante : 3/16

Q = ρ x V x c p x dt avec ρ = densité de la matière, V = débit volumique, c p = capacité calorifique du matériau et dt = différence de température. La densité (ρ) et la capacité calorifique (cp) sont des propriétés spécifiques à chaque matériau. En passant de l'air à l'eau, le facteur augmente d'un coefficient 4.000. Lorsque le caloporteur est choisi, la seule variable restante dans la formule est le débit volumique (V) et donc la vitesse du fluide caloporteur. 2. Comparatif de l'efficacité des différents concepts de refroidissement L'efficacité de refroidissement et les coûts de trois différents concepts de refroidissement ont été comparés pour une même puissance dissipée. Concept I : allées froides et allées chaudes non confinées avec refroidissement par air. Concept II : allées froides et allées chaudes confinées, toujours avec refroidissement par air. Il est possible de confiner des allées chaudes ou des allées froides. Les différences entre une allée froide confinée et une allée chaude confinée ne seront cependant pas abordées plus en détails. Dans l'étude comparative suivante, nous avons opté pour le confinement de l'allée froide. Concept III : baies serveurs refroidies par échangeurs air/eau. Nous considérons dans notre étude un datacenter avec une puissance totale dissipée de 300 kw. Prenant en compte une puissance dissipée maximale par baie, nous avons étudié le rendement du refroidissement et les coûts des différents concepts. 2.1 Concept I : Allées froides et allées chaudes Dans le cas d'un refroidissement exclusivement par air, la puissance maximale dissipée par baie serveur est limitée par la capacité de l'espace environnant à fournir suffisamment d'air frais à l'avant des baies et à extraire l'air chaud expulsé à l'arrière des baies. Les allées froides et chaudes sont construites de telle sorte que les baies serveurs sont disposées en rangées. 4/16

Dans une des rangées, les baies sont positionnées avec les serveurs face à face (allée froide) et dans la rangée suivante, les baies sont placées avec les serveurs dos à dos (allée chaude). Il y a différentes manières d'acheminer l'air froid : L'air froid est amené au travers du plancher technique à l'avant des baies serveurs (cas de l'allée froide). La vitesse de l'air en sortie du plancher technique doit être suffisament élevée pour que le serveur supérieur reçoive suffisamment d'air froid tout en veillant à ce que les serveurs du bas ne soient pas 'sous-approvisionné' en raison d'une vitesse excessive. L'air froid entre par le haut dans l'allée froide. La problématique dans ce cas est la difficulté de l'air froid à atteindre les serveurs inférieurs. L'air froid pénètre par le haut et le bas dans l'allée froide. Avec ce concept d'allée froide "High Efficiency", les serveurs supérieurs sont refroidis par le haut, les serveurs inférieurs par le bas, de façon optimale. Dans notre concept I, l'air froid pénètre uniquement à partir du plancher technique dans l'allée froide. En outre, les dispositifs d'extraction de l'air, qui aspirent l'air chauffé, sont placés directement sur les allées chaudes de telle sorte que l'air soit aspiré uniformément. 5/16

Dans de nombreux datacenters existants, ces mesures ne sont pas systématiquement mises en œuvre. Par conséquent, dans la plupart des agencements d'allées froides/chaudes, l'air chaud et l'air froid se mélangent dans la partie supérieure de la salle, entrainant des pertes inutiles. 2.2 Concept II : Allées froides et allées chaudes avec confinement Afin de limiter les pertes dans les allées froides et d'éviter les forts gradients de température engendrés par les problèmes de réglage de la vitesse d'air, de nombreuses possibilités d'optimisation sont offertes lorsque de l'air froid est acheminé par le sol. Une solution très efficace consiste à recouvrir les allées froides. Cela permet d'une part de réduire la vitesse de circulation de l'air froid et d'autre part d'éviter les courts-circuits d'air. Le gradient de température sur la hauteur de la baie est fortement réduit, ce qui améliore le rendement du système de refroidissement. L'air froid introduit dans les allées froides parvient exactement là où il est nécessaire et peut être aspiré par les serveurs installés dans les baies. En plus d'être obturée par le dessus, l'allée froide est également fermée à l'avant et à l'arrière (porte ou sas). Dans cette espace fermé, l'air froid n'a d'autre possibilité que de traverser les baies serveurs. Afin que l'allée froide résultante fonctionne correctement, une surpression constante est générée, qui devrait idéalement être conservée à un niveau le plus faible possible. 6/16

Schéma : confinement d'une allée froide avec plusieurs LHX 20 en tant qu'unités de refroidissement 2.3 Concept III : Baies VARISTAR avec échangeur thermique air/eau LHX20 intégré Les baies serveurs fermées sont refroidis à l'aide d'un échangeur thermique air / eau. Ce concept de refroidissement est indépendant de la salle et les avantages d'un refroidissement à l'eau peuvent être pleinement exploités. 7/16

La température à l'intérieur de la baie est réglée à une valeur adaptée aux serveurs; l'infrastructure demeure inchangée. Seules les zones dans le datacenter qui le nécessitent sont refroidies. Dans des conditions normales de fonctionnement, la puissance du système de refroidissement de la salle peut être réduite au minimum car seule la chaleur dissipée par la surface de la baie doit être évacuée. Le système de refroidissement de la salle renforce également l'aspect de sécurité. 3. Comparatif de l'efficacité des concepts de refroidissement Pour chaque concept, la capacité de refroidissement par baie est différente, de sorte que la dissipation totale des serveurs (300 kw) est répartie sur un nombre différent de baies. Concept I : allée froide/chaude Concept II : Confinement allée froide Concept III : baie refroidie à l'eau 5 kw par baie 10 kw par baie 15 kw par baie 60 baies nécessaires 30 baies nécessaires 20 baies nécessaires Nous avons admis que la taille de la salle est identique pour tous les concepts. Le plancher technique nécessaire pour un datacenter refroidi à l'air est également utilisé dans le cas d'un refroidissement par eau (concept III) afin d'y disposer les canalisations d'eau et les câbles. L'espace accru exigé pour un agencement d'allée froide /chaude et le confinement joue en faveur du concept III. Les coûts d'investissement tiennent compte du nombre de baies serveurs requis mais le coût du besoin d'espace supplémentaire reste, quant à lui, difficilement quantifiable et n'est donc pas pris en compte dans l'étude comparative. En fonction l'espace disponible, il s'agit donc d'un avantage significatif. 8/16

3.1 Coût d'investissement des composants entrant dans les différents concepts Concept I Concept II Concept III Confinement allée Baies serveurs Allée froide/chaude froide refroidies à l'eau Équipements de refroidissement identiques pour tous les concepts Coûts globaux pour ces équipements Equipements de refroidissement spécifiques aux concepts Coûts supplémentaires pour chaque concept Investissement global pour les équipements de refroidissement Installation frigorifique Groupe de production d'eau glacée (chiller) Station de pompage double, avec permutation des pompes en cas de panne Tuyauterie circuit froid env. 150.000 Climatisation de la salle (eau) Robinet d'arrêt Conduits d'air pour évacuation de l'air chaud 60 baies serveurs de 5 kw chacune Pièces d'angle pour conduits d'air Confinement des rangées de baies, montage inclus 30 baies serveurs de 10 kw chacune Conduites d'eau Isolant pour conduites d'eau Vanne d'arrêt eau 20 baies refroidies à l'eau (LHX 20) de 15 kw chacune avec ventilateurs indépendants et gestion de l'eau env. 140.000 env. 120.000 env. 160.000 290.000 270.000 310.000 3.2. Surcoûts suite aux besoins d'air et d'énergie accrus D'importantes pertes d'air dues à des fuites qui engagent des frais supplémentaires sont constatées pour les concepts 1 et 2. La nécessité de refroidir les salles serveurs sont à l'origine des coûts énergétiques supplémentaires. Dans le concept III (baies serveur refroidies à l'eau), il s'agit d'un système fermé, étanche à l'air, et n'entraînant aucune perte d'air. Résultat : pas de frais supplémentaires dus à une augmentation des besoins en air et en énergie. 3.2.1 Surcoûts suite aux besoins d'air et d'énergie accrus - concept I Dans un datacenter équipé d'une allée froide et d'un plancher technique se forment inévitablement, à la fois dans la partie supérieure et inférieure, des courts-circuits d'air. Ces courts-circuits d'air sont d'ailleurs inhérents au concept 1. La raison principale est qu'il est impossible de contrôler précisément la quantité d'air froid qui entre par le plancher technique afin d'amener la bonne quantité d'air froid aux serveurs 9/16

intégrés dans le haut des baies. Une telle régulation devrait également être capable de répondre rapidement aux appels de puissance instantanée des serveurs; or cette puissance instantanée varie au cours de la journée selon la charge du réseau. Prévoir un excédent d'air froid est ainsi une alternative simple et peu coûteuse. Les courts-circuits d'air résultant ont un impact négatif, d'un côté sur la température de l'air froid en raison du gradient vertical de température, de l'autre côté sur la quantité réelle d'air froid. Afin de contrecarrer ces courts-circuits d'air, des mesures appropriées doivent être prises. Le gradient de température vertical (variation de température) à l'avant des serveurs et sur la hauteur de la baie atteint environ 4 K. La salle serveur doit donc être climatisée dans son intégralité pour garantir un approvisionnement en air suffisant aux serveurs montés dans le haut de la baie. Il est également nécessaire de prendre en compte les pertes de chaleur du plancher technique, qui doivent être compensées en refroidissant l'air d'au moins 2 K en-dessous de la température de l'air souhaitée en sortie du plancher technique. Cette valeur est d'autant plus grande que la superficie du plancher technique est importante et que le niveau d'isolation est faible. L'expérience a montré que la réduction du volume d'air froid rée, causée par les courts-circuits, est d'environ 15%, en grande partie tributaire de la qualité de l'étanchéité en partie basse de la baie et de l'emplacement et de la qualité de l'évacuation de l'air chaud dans la salle. Schéma : Espace non étanchéifié : 1 l'air chaud atteint les serveurs intégrés dans le haut de la baie, 2 espace = 10 mm, 3 espace = 21,5 mm, l'air chaud est aspiré par les serveurs intégrés dans le bas de la baie 10/16

Schéma : Espace étanchéifié : aspiration minime d'air chaud par les serveurs installés dans le zone supérieure de l'allée froide; 1 espace 2 mm et mesures d'étanchéité; Les serveurs installés dans la zone inférieure de l'allée froide aspirent une quantité infime d'air chaud Vouloir compenser ce déficit d'air entraîne une augmentation de la vitesse de l'air circulant à l'avant des serveurs, ce qui rend l'aspiration de l'air plus difficile. Pour atténuer cet effet, un refroidissement de l'air supplémentaire d'au moins 1 K est nécessaire, ce qui augmente le refroidissement total dans le datacenter d'au moins 7 K. Ces besoins supplémentaires en refroidissement sont inévitables et entraînent des coûts énergétiques additionnels. En règle générale, refroidir une salle serveur sous une température d'air d'entrée donnée entraîne une dépense supplémentaire d'énergie d'environ 3% à 4% par 1K de différentiel de température de la climatisation. Dans le cas décrit ci-dessus, les 7 K supplémentaires requis engendrent une augmentation des coûts d'électricité de 21% à 28%. 3.2.2 Surcoûts suite aux besoins d'air et d'énergie accrus - concept II Dans une configuration de confinement se produisent également des pertes d'air dues aux surpressions qui peuvent être attribuées à une mauvaise étanchéité entre les baies elles-mêmes ainsi qu'entre le socle 11/16

et le sol. Le BITKOM recommande une surpression d'air d'environ 25 Pascal dans une configuration de confinement. Cette valeur est souvent difficile à maintenir. La plupart des utilisateurs se contente d'environ 15 Pascal. Schéma : fuites d'air dans une allée froide confinée Graphique : pertes d'air dues aux surpressions dans une allée confinée avec 30 baies 12/16

Schéma : Confinement allée froide : 1 faible rayonnement par le toit de travée; 2 l'air froid s'engouffre dans l'espace de 12 mm vers l'allée chaude, pas de retour d'air chaud vers l'allée froide. Température de l'air homogène dans l'allée froide Si l'utilisateur souhaite minimiser les pertes dues à la surpression, il devra mesurer les surpressions au niveau des points critiques (points de mesure de référence) dans l'allée confinée puis ensuite adapter le volume d'air froid. Cette procédure est assez délicate à mettre en oeuvre car une variation de la charge des baies serveurs en cours de journée entraîne le déplacement des points de mesure de référence. De plus, elle demande une régulation rapide afin que les besoins en refroidissement et en volume d'air des serveurs soient rapidement satisfaits. La réalisation d'une telle installation avec une régulation appropriée du volume de l'air est très complexe et coûteuse. 3.2.3 Surcoûts suite aux besoins d'air et d'énergie accrus - concept III La dissipation des serveurs est supposée être de 15 kw par baie avec une différence de température de l'air à travers les serveurs de 15 K. Le concept III avec refroidissement à l'eau n'engendre pas de coûts supplémentaires dus aux pertes d'air ou d'énergie. Débit d'air dans la baie LHX20 Puissance absorbée LHX20 Puissance dissipée Serveur Puissance absorbée Chiller 1 baie VARISTAR LHX20 Rangée de 20 baies VARISTAR LHX20 2.311 m³/h 550 W 15 kw --- 46.220 m³/h 11 kw 300 kw 90 kw *) *) Puissance absorbée par le Chiller pour refroidir l'eau : 30 % x 300 kw = 90 kw 13/16

3.3. Comparatif des surcoûts suite aux besoins d'air et d'énergie accrus des concepts I et concept II par rapport au concept III Perte de débit d'air allée froide/chaude (concept I) Confinement avec un espace de 9 mm entre les baies (concept II) 15% perte de débit d'air perte de débit d'air avec un espace de 1,5 mm perte de débit d'air avec un espace de 12 mm Débit d'air supplémentaire nécessaire 6.993m³/h (15% x 46.220) Consommation énergétique des ventilateurs env. 2,0 kw Coût énergétique annuel des ventilateurs (à 0,06 /kwh, 24 h x 365 jours) 1.051 par année 4.800 m³/h env. 1,3 kw 683 par année 10.000 m³/h env. 2,8 kw 1.472 par année Perte d'énergie due au surplus de refroidissement nécessaire basée sur la consommation d'énergie nominale de 90 kw pour le groupe de production d'eau froide. allée froide/chaude (concept I) Confinement avec un espace de 9 mm entre les baies (concept II) Refroidissement nécessaire Energie supplémentaire (en règle générale 3 à 4 % par 1 K) Energie dissipée Coûts annuelles supplémentaires pour la puissance dissipée (à 0,13 /kwh, 24h x 365 jours) 7K 21 à 28% 18,9 à 25,2 kw 9.934 à 13.245 2K 6 à 8% 5,4 à 7,2 kw 2.838 à 3.784 14/16

4. Comparatif global des coûts Investissements Investissements pour les équipements Différence d'investissement par rapport au concept III Coûts d'exploitation coûts annuels supplémentaires dus aux pertes débit d'air coûts annuels supplémentaires dus aux pertes d'énergie Coûts annuels globaux supplémentaires Allée froide/chaude (concept I) Confinement avec un espace de 9 mm entre les baies (concept II) Espace socle 1,5 mm Espace socle 12 mm Baies serveurs refroidies à l'eau (concept III) 290.000 270.000 310.000 env. -20.000 env. -40.000 -- 1.051 683 1.472 -- (9.934 à 13.245) 2.838 à 3.784 -- (10.985 à 14.296) 3.521 à 4.467 4.310 à 5.256 -- 5. Conclusion L'efficacité énergétique de la climatisation d'un datacenter fait désormais partie des enjeux environnementaux et économiques. Sur le plan environnemental, cela se traduit par des émissions de CO limitées grâce à une consommation d'énergie réduite au strict minimum. L'approche économique se 2 base principalement sur les coûts d'investissement et d'exploitation. Le concept de climatisation mis en œuvre joue donc un rôle primordial. Un choix réfléchi et pertinent en terme de technologies et principes jette les bases d'une climatisation efficace. Les résultats de ces études montrent clairement l'avantage d'une climatisation basée sur des baies serveurs VARISTAR LHX 20 refroidies à l'eau. Cette solution réduit l'empreinte écologique grâce à une consommation d'électricité relativement faible qui limite les émissions de CO. De plus, l'eau est un caloporteur respectueux de l'environnement. Autre avantage : le 2 niveau de bruit est réduit de manière significative pour un environnement de travail plus sain (100 x baies VARISTAR LHX 20 = 75 db (A), 1 x baie refroidie par air > 80 db (A)). Les datacenters étant généralement conçus pour le long terme, les avantages économiques du concept III sont évidents. Les coûts d'investissement légèrement plus élevés pour le matériel sont amortis au bout de 10 ans grâce à des coûts d'exploitation réduits. Cette solution participe donc grandement aux efforts de réduction des coûts et d'amélioration de l'efficacité. L'utilisation de baies refroidies à l'eau VARISTAR LHX 20 a d'autres avantages techniques comme l'évolutivité par le refroidissement indépendant des baies et une plus grande capacité de refroidissement (jusqu'à 15 kw) par baie. 15/16

7. Présentation de la société Schroff et informations relatives aux auteurs La société Schroff est mondialement reconnue pour la conception et la fabrication d'habillage pour les secteurs de l électronique, de l automatisme, des réseaux et des télécommunications. Schroff propose une large gamme de produits standard, à la pointe de l'innovation et de la qualité : baies indoor et outdoor, coffrets, bacs à cartes, alimentations, cartes-mères et systèmes d'intégration pour cartes à microprocesseur. Grâce à notre savoir et à de vastes ressources (hommes, machines, etc.), nous sommes en mesure d'offrir à chaque utilisateur LA solution d'habillage électronique qu'il recherche. Par ailleurs, Schroff dispose de connaissances spécifiques ainsi que de moyens d'ingénierie et de production performants, qui lui permettent de fournir des habillages dédiés à des domaines d'application complexes tels que l'électronique, l'automobile, le ferroviaire, l'aérospatial l'aéronautique, la défense ou encore les télécommunications et l'informatique. Nos produits et services résultent d'une observation rigoureuse des intérêts globaux des marchés de l'électronique. Le savoir d'experts en habillage électronique, en CEM et en gestion thermique a permis à Schroff d'élargir ses compétences et d'en faire ainsi une société actuellement en pleine expansion. Adam Pawlowski est ingénieur diplômé de l'école polytechnique "Politechnika Warszawska" à Varsovie. Chercheur à l'université Technique de Berlin, il a effectué sa thèse sur la théorie des vibrations mécaniques. Il a été responsable du département R&D Gestion thermique au sein de sociétés spécialisées dans les climatiseurs pour armoires électriques ou encore dans l'industrie automobile. Adam Pawlowski a intégré Schroff GmbH en août 2005; il est responsable du département Gestion Thermique. Markus Gerber est diplômé de l'université de Pforzheim en Analyses de marchés et Communication. Markus Gerber a intégré la société Schroff GmbH en février 2007 avec pour mission la mise en place d'une offre complète de services. Depuis janvier 2009, il est responsable produit "Accessoires de baies" et Vertical Market Manager pour le marché Datacom. 16/16