Urbanisation des Datacentres Romaric David david@unistra.fr Univerité de Strasbourg 18 Septembre 2014
Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 2
Introduction Centre de calcul de l'université de Strasbourg http://hpc.unistra.fr 300 Serveurs HPC, Linux, Infiniband,... Confinement d'allée chaude et d'allée froide pour des racks très haute densité (35kw / rack) Consigne : 28 C en face avant des serveurs Free-Chilling Une salle serveur ré-urbanisée de fond en comble pour le service de calcul haute performance 3
Introduction 4
Introduction L'urbanisation décrit l'ensemble des techniques qui permettent d'organiser un Datacentre de manière à faciliter son exploitation et à la rendre efficace Pour cela, l'urbanisation couvre aussi bien l'organisation des allées chaudes / froides que le rangement de l'intérieur des racks Dans le cadre d'un DC neuf que vous organisez à partir d'une feuille blanche, les recommandations d'urbanisation suivent... 5
Introduction Organisez votre salle de manière modulaire en allées chaudes et froides Mesurez et archivez les consommations électriques de l'ensemble de l'it et des équipements techniques Privilégiez les grands racks (51, 55, 58 U) Prévoyez des dalles béton résistantes (1200 kg/m2) Courant secouru en fonction du SLA Séparez les cheminement des fluides «oui mais moi j'ai déjà un Datacenter, que faire?»6
Introduction Cet exposé vous donnera des pistes pour la réorganisation de Datacentres existants, vous fournira des références de constructeurs (forcément non exhaustives) Pour chaque solution, le coût correspondant sera présenté 7
Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 8
Flux d'air - Rappels Le principe de base est le cloisonnement d'allées chaudes ou froides = jamais de face avant de serveur en regard d'une face arrière Le cloisonnement évite les recirculations non contrôlées d'air, source majeure d'inefficacité énergétique (= jetés par la fenêtre) dans un Datacentre Dans un Datacentre neuf refroidi à air, vous pouvez changer de fournisseur si celui-ci ne vous a proposé aucune solution de cloisonnement 9
Flux d'air - Avant le cloisonnement Cloisonner sera totalement inutile si de l'air peut recirculer à l'intérieur de vos racks Même dans un rack dans une salle non cloisonnée, il est recommandé... de boucher les trous (cf présentation B. Boutherin) Cout : quelques Vous pouvez choisir la couleur... Obligatoire chez certains hébergeurs (Telecity par exemple). Thanks to A. Siitonen for the photo 10
Flux d'air : cloisonnement léger Même dans un Datacentre déjà existant, il est possible de réaliser des cloisonnement d'allées chaudes ou froides sans trop d' fforts Dans une salle machine existante, où les serveurs sont déjà organisés en allées chaudes/froides non cloisonnées, vous pouvez: ajouter un toit en plexigas au dessus des racks; fermer l'allée ainsi constituée par un rideau de boucher d'informaticien Exemple : salle machine de l'institut Pierre et Simon Laplace à (merci à Franck Corsini) 11 :
Flux d'air : cloisonnement léger Coût : 5300 pour l'ossature métallique et les rideaux, pour 9 racks (600 / rack) Installé par ODC (Optimal Data Center) 12
Flux d'air : chaud dehors! Si le capotage n'est pas possible, vous pouvez dans un premier temps vous attaquer à l'air chaud Il existe des extracteurs d'air qui s'adaptent à l'arrière de certaines armoires Vu à l'observatoire de (merci à Emmanuel Halbwachs et Albert Shih) : La solution de l'observatoire s'appuie sur : http://www.apc.com/products/resource/include/techspec_index.cfm?base_sku=acf400 13
Flux d'air : chaud dehors! Vers l'extérieur Coût : environ 2500 pour l'extracteur D'après la doc, ceci dissipe17kw de puissance calo. Dans ce cas, le volume d'air extrait est compensé par l'air du couloir 14
Flux d'air : cloisonnement partiel Le cloisonnement complet d'allées chaudes/froides peut être délicat à mettre en oeuvre dans l'intégralité d'une salle machine Il est possible et efficace de réaliser un cloisonnement partiel Pour cela, vous pouvez prolonger vos racks par des panneaux en polycarbonate alvéolaire. Coût : quelques centaines d' Test réalisés ce mardi à Peugeot, Montbeliard, France, sur une initiative de Bernard Barrois (PSA) 15
Flux d'air : cloisonnement partiel Simulation : salle machine sans /avec panneaux 16
Flux d'air : et le Free-Cooling? Pour mettre en oeuvre le Free-Cooling, il vous faut : une source d'air extérieure ; une sortie d'air, également à l'extérieur (veillez au débit d'air nécessaire : 100kw IT 20000m3.h-1) Ces deux composants ne doivent pas être trop près les uns des autres (éviter les recirculations) ; En fonction de la température de votre source d'air, vous devrez mélanger l'air chaud et froid Petit rappel : Ashrae A2 (2011, 3 ans déjà...) autorise 35 C 100% du temps en entrée des serveurs... mais également > 10 C! 17
Flux d'air : et le Free-Cooling? Vous pouvez réaliser du Free-Cooling partiel, en omettant une partie des 4 composants précédents. C'est ce qui a été fait par l'équipe du centre de calcul Ciment team in Grenoble (Francoise Roch, Olivier Richard, Christian Seguy, Pierre Neyron) https://2011.jres.org/archives/90/paper90_poster.pdf http://wiki-oar.imag.fr/index.php/frigid_construction Pour le confinement d'air autour des serveurs, une cabine de douche (sans l'eau...) a été utilisée 18
Flux d'air : et le Free-Cooling? Coût : 3000 (75k pour les serveurs) Vrai caisson pro Attention à l'isolation thermique de la cabine! Température max facade : 33 C 19
Flux d'air : et le Free-Cooling? L'installation précédente ne dispose pas d'échangeur permettant de refroidir l'air quand il fait trop chaud dehors, les serveurs ont chaud Dans une installation plus industrielle, par exemple celle réalisée par Bernard Boutherin (CNRS, LPSC, Grenoble) en 2008, il y a un échangeur. http://informatique.in2p3.fr/?q=node/290 Coût : 60k pour 80kw IT. Rentabilisés en moins de 5 ans Très peu de pannes liées au traitement d'air 20 Free-Cooling utilisé 84% du temps
Flux d'air : et le Free-Cooling? Pictures: Échangeur air-eau professionnel Registres motorisés pour entrée / sortie / mélange d'air Filtres (à 2 étages, grossier puis fin) 21
Flux d'air : et le Free-Cooling? Free-Cooling d'urgence : Flux d'air aidé par les ventilateurs 22
Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 23
Refroidissement liquide Bernard Boutherin vous a montré l'intérêt des solutions de refroidissement liquide Cet exposé vous présente les solutions existantes et déjà commercialisées... et les conséquences sur les installations de froid Il s'agit d'une technologie à suivre de près! 24
Refroidissement liquide - eau Bull commercialise une solution de refroidissement direct à eau, déjà installée : au Centre de calcul Ciment à Grenoble : environ 200 machines http://ecoinfo.cnrs.fr/article335.html au centre de calcul Calmip, à Toulouse : environ 600 machines http://www.calmip.univ-toulouse.fr/spip/spip.php?article385 au Cines à Montpellier : 2100 serveurs https://www.cines.fr/occigen-le-nouveau-supercalculateur/ Il s'agit déjà de matériel en production!!! http://www.bull.com/bullx/bullxdlc.html 25
Refroidissement liquide - eau Dans une machine à refroidissement liquide, le fluide caloporteur est directement conduit à proximité des points chauds : processeur, mémoire Le réseau d'eau de refroidissement n'est plus un réseau d'eau glacée. Régimes à Grenoble (Merci à Bruno Bzeznik) : 30 (entrée) / 35 (sortie) L'eau peut donc être refroidie en permanence avec échange thermique avec l'air adieu le compresseur qui tombe en panne en Août 26
Refroidissement liquide - eau Les conséquences sur l'urbanisation sont immédiates : Plus de réseau d'eau froide (mais de l'eau tiède) Remplacement du compresseur par éventuellement un échangeur adiabatique à eau perdue (tant qu'à faire baisser son PUE...) : Exemple de référence : http://www.jacir.fr/fr/produits/5_refroidisseur_adiabatique/19_gamme_topaz/ Nécessite de spécialiser quelques racks Pensez à la récupération de chaleur 27
Refroidissement liquide - huile L'inconvénient du refroidissement à eau est qu'il nécessite des serveurs spécialisés Il est possible d'immerger des serveurs classiques dans de l'huile non conductrice si : On supprime les ventilateurs On utilise des disques durs sans pièces mobiles exposées à l'huile (SSD ou certains modèles de disque mécaniques) De nombreux tests en cours à travers le monde 28
Refroidissement liquide - huile Exemple de réalisation : Centre de calcul Université de Vienne, société Clustervision Serveurs Supermicro (= no name) Installé en production à l'université de Vienne : http://vsc.ac.at/systems/vsc-3/ http://www.grcooling.com/ Les racks ne sont plus des racks mais des cuves Le refroidissement de l'huile elle-même se fait par29 un simple échangeur
Refroidissement liquide En plus du changement de mentalité, le refroidissement liquide : est une solution mûre (ce n'est pas de l'extreme cooling pour la bidouille le soir à la maison) permet de concevoir un datacenter sans compresseur peut s'accompagner de techniques de refroidissement adiabatique pour l'échangeur doit être intégré à la conception de nouveaux datacenters pour éviter des investissements inutiles 30
Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 31
Références constructeurs Sur le marché, un certain nombre de constructeurs proposent des solutions d'équipements de Datacenter Pour augmenter l'efficacité du refroidissement, tous les constructeurs proposent des solutions distribuant le froid au plus près des serveurs Cet exposé fournit quelques références, non exhaustives et par ordre alphabétique des constructeurs 32
Références constructeurs APC Schneider : Racks de 41 à 48 U http://www.apc.com/products/family/index.cfm?id=301 Échangeurs intercalaires : récupèrent l'air chaud à l'arrière des serveurs et soufflent à l'avant, dans le volume de la salle (ou dans l'allée froide) http://www.apc.com/products/family/?id=339 Refroidissement Air / Air indirect à évaporation http://www.apc.com/products/resource/include/techspec_index.cfm?base_sku=acec101se&tab= Extracteurs d'air chaud http://www.apc.com/products/resource/include/techspec_index.cfm?base_sku=acf400 PDUs monitorés verticaux (0 U) + capteurs http://www.apc.com/products/family/?id=136 33
Références constructeurs Conteg : rences constructeurs Racks de 42 à 48 U Différentes solutions allées chaudes / froides / double confinement (mini allées chaudes et froides dans des racks totalement étanches, jusqu'à 34kw par rack). Eau glacée ou détente directe http://www.conteg.com/modular-closed-loop Systèmes de monitoring environnementaux : http://www.conteg.com/rack-monitoring-systems-ramos Armoires destinées à être installées à l'extérieur 34
Références constructeurs Rittal (note les URL directes sont longues, non citées sur ce transparent) : Racks 42U http://www.rittal.com/imf/none/5_917/ Différentes solutions allées chaudes / froides / double confinement (mini allées chaudes et froides dans des racks totalement étanches) Jusqu'à 55kw par échangeur intercalaire en eau glacée : Liquid Cooling Package LCP Rack CW SK 3311.260 Groupes froid jusqu'à 480 KW, Free-Chillers Solutions de monitoring : capteurs environnementaux 35
Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 36
Conclusion L'urbanisation complète d'un DC s'appuie sur des compétences informatiques, aéraulique, électriques La réhabilitation d'un DC commence par une amélioration des flux d'air Aujourd'hui, les solutions de Free-Cooling et de refroidissement liquide sont mûres À vous de transmettre ces éléments de veille technologique... Vous pouvez innover! 37