Urbanisation. des Datacentres. Urbanisation de DC TutoJres 18 Septembre 2014 Paris

Transcription

1 Urbanisation des Datacentres Romaric David Univerité de Strasbourg 18 Septembre 2014

2 Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 2

3 Introduction Centre de calcul de l'université de Strasbourg Serveurs HPC, Linux, Infiniband,... Confinement d'allée chaude et d'allée froide pour des racks très haute densité (35kw / rack) Consigne : 28 C en face avant des serveurs Free-Chilling Une salle serveur ré-urbanisée de fond en comble pour le service de calcul haute performance 3

4 Introduction 4

5 Introduction L'urbanisation décrit l'ensemble des techniques qui permettent d'organiser un Datacentre de manière à faciliter son exploitation et à la rendre efficace Pour cela, l'urbanisation couvre aussi bien l'organisation des allées chaudes / froides que le rangement de l'intérieur des racks Dans le cadre d'un DC neuf que vous organisez à partir d'une feuille blanche, les recommandations d'urbanisation suivent... 5

6 Introduction Organisez votre salle de manière modulaire en allées chaudes et froides Mesurez et archivez les consommations électriques de l'ensemble de l'it et des équipements techniques Privilégiez les grands racks (51, 55, 58 U) Prévoyez des dalles béton résistantes (1200 kg/m2) Courant secouru en fonction du SLA Séparez les cheminement des fluides «oui mais moi j'ai déjà un Datacenter, que faire?»6

7 Introduction Cet exposé vous donnera des pistes pour la réorganisation de Datacentres existants, vous fournira des références de constructeurs (forcément non exhaustives) Pour chaque solution, le coût correspondant sera présenté 7

8 Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 8

9 Flux d'air - Rappels Le principe de base est le cloisonnement d'allées chaudes ou froides = jamais de face avant de serveur en regard d'une face arrière Le cloisonnement évite les recirculations non contrôlées d'air, source majeure d'inefficacité énergétique (= jetés par la fenêtre) dans un Datacentre Dans un Datacentre neuf refroidi à air, vous pouvez changer de fournisseur si celui-ci ne vous a proposé aucune solution de cloisonnement 9

10 Flux d'air - Avant le cloisonnement Cloisonner sera totalement inutile si de l'air peut recirculer à l'intérieur de vos racks Même dans un rack dans une salle non cloisonnée, il est recommandé... de boucher les trous (cf présentation B. Boutherin) Cout : quelques Vous pouvez choisir la couleur... Obligatoire chez certains hébergeurs (Telecity par exemple). Thanks to A. Siitonen for the photo 10

11 Flux d'air : cloisonnement léger Même dans un Datacentre déjà existant, il est possible de réaliser des cloisonnement d'allées chaudes ou froides sans trop d' fforts Dans une salle machine existante, où les serveurs sont déjà organisés en allées chaudes/froides non cloisonnées, vous pouvez: ajouter un toit en plexigas au dessus des racks; fermer l'allée ainsi constituée par un rideau de boucher d'informaticien Exemple : salle machine de l'institut Pierre et Simon Laplace à (merci à Franck Corsini) 11 :

12 Flux d'air : cloisonnement léger Coût : 5300 pour l'ossature métallique et les rideaux, pour 9 racks (600 / rack) Installé par ODC (Optimal Data Center) 12

13 Flux d'air : chaud dehors! Si le capotage n'est pas possible, vous pouvez dans un premier temps vous attaquer à l'air chaud Il existe des extracteurs d'air qui s'adaptent à l'arrière de certaines armoires Vu à l'observatoire de (merci à Emmanuel Halbwachs et Albert Shih) : La solution de l'observatoire s'appuie sur : 13

14 Flux d'air : chaud dehors! Vers l'extérieur Coût : environ 2500 pour l'extracteur D'après la doc, ceci dissipe17kw de puissance calo. Dans ce cas, le volume d'air extrait est compensé par l'air du couloir 14

15 Flux d'air : cloisonnement partiel Le cloisonnement complet d'allées chaudes/froides peut être délicat à mettre en oeuvre dans l'intégralité d'une salle machine Il est possible et efficace de réaliser un cloisonnement partiel Pour cela, vous pouvez prolonger vos racks par des panneaux en polycarbonate alvéolaire. Coût : quelques centaines d' Test réalisés ce mardi à Peugeot, Montbeliard, France, sur une initiative de Bernard Barrois (PSA) 15

16 Flux d'air : cloisonnement partiel Simulation : salle machine sans /avec panneaux 16

17 Flux d'air : et le Free-Cooling? Pour mettre en oeuvre le Free-Cooling, il vous faut : une source d'air extérieure ; une sortie d'air, également à l'extérieur (veillez au débit d'air nécessaire : 100kw IT 20000m3.h-1) Ces deux composants ne doivent pas être trop près les uns des autres (éviter les recirculations) ; En fonction de la température de votre source d'air, vous devrez mélanger l'air chaud et froid Petit rappel : Ashrae A2 (2011, 3 ans déjà...) autorise 35 C 100% du temps en entrée des serveurs... mais également > 10 C! 17

18 Flux d'air : et le Free-Cooling? Vous pouvez réaliser du Free-Cooling partiel, en omettant une partie des 4 composants précédents. C'est ce qui a été fait par l'équipe du centre de calcul Ciment team in Grenoble (Francoise Roch, Olivier Richard, Christian Seguy, Pierre Neyron) Pour le confinement d'air autour des serveurs, une cabine de douche (sans l'eau...) a été utilisée 18

19 Flux d'air : et le Free-Cooling? Coût : 3000 (75k pour les serveurs) Vrai caisson pro Attention à l'isolation thermique de la cabine! Température max facade : 33 C 19

20 Flux d'air : et le Free-Cooling? L'installation précédente ne dispose pas d'échangeur permettant de refroidir l'air quand il fait trop chaud dehors, les serveurs ont chaud Dans une installation plus industrielle, par exemple celle réalisée par Bernard Boutherin (CNRS, LPSC, Grenoble) en 2008, il y a un échangeur. Coût : 60k pour 80kw IT. Rentabilisés en moins de 5 ans Très peu de pannes liées au traitement d'air 20 Free-Cooling utilisé 84% du temps

21 Flux d'air : et le Free-Cooling? Pictures: Échangeur air-eau professionnel Registres motorisés pour entrée / sortie / mélange d'air Filtres (à 2 étages, grossier puis fin) 21

22 Flux d'air : et le Free-Cooling? Free-Cooling d'urgence : Flux d'air aidé par les ventilateurs 22

23 Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 23

24 Refroidissement liquide Bernard Boutherin vous a montré l'intérêt des solutions de refroidissement liquide Cet exposé vous présente les solutions existantes et déjà commercialisées... et les conséquences sur les installations de froid Il s'agit d'une technologie à suivre de près! 24

25 Refroidissement liquide - eau Bull commercialise une solution de refroidissement direct à eau, déjà installée : au Centre de calcul Ciment à Grenoble : environ 200 machines au centre de calcul Calmip, à Toulouse : environ 600 machines au Cines à Montpellier : 2100 serveurs Il s'agit déjà de matériel en production!!! 25

26 Refroidissement liquide - eau Dans une machine à refroidissement liquide, le fluide caloporteur est directement conduit à proximité des points chauds : processeur, mémoire Le réseau d'eau de refroidissement n'est plus un réseau d'eau glacée. Régimes à Grenoble (Merci à Bruno Bzeznik) : 30 (entrée) / 35 (sortie) L'eau peut donc être refroidie en permanence avec échange thermique avec l'air adieu le compresseur qui tombe en panne en Août 26

27 Refroidissement liquide - eau Les conséquences sur l'urbanisation sont immédiates : Plus de réseau d'eau froide (mais de l'eau tiède) Remplacement du compresseur par éventuellement un échangeur adiabatique à eau perdue (tant qu'à faire baisser son PUE...) : Exemple de référence : Nécessite de spécialiser quelques racks Pensez à la récupération de chaleur 27

28 Refroidissement liquide - huile L'inconvénient du refroidissement à eau est qu'il nécessite des serveurs spécialisés Il est possible d'immerger des serveurs classiques dans de l'huile non conductrice si : On supprime les ventilateurs On utilise des disques durs sans pièces mobiles exposées à l'huile (SSD ou certains modèles de disque mécaniques) De nombreux tests en cours à travers le monde 28

29 Refroidissement liquide - huile Exemple de réalisation : Centre de calcul Université de Vienne, société Clustervision Serveurs Supermicro (= no name) Installé en production à l'université de Vienne : Les racks ne sont plus des racks mais des cuves Le refroidissement de l'huile elle-même se fait par29 un simple échangeur

30 Refroidissement liquide En plus du changement de mentalité, le refroidissement liquide : est une solution mûre (ce n'est pas de l'extreme cooling pour la bidouille le soir à la maison) permet de concevoir un datacenter sans compresseur peut s'accompagner de techniques de refroidissement adiabatique pour l'échangeur doit être intégré à la conception de nouveaux datacenters pour éviter des investissements inutiles 30

31 Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 31

32 Références constructeurs Sur le marché, un certain nombre de constructeurs proposent des solutions d'équipements de Datacenter Pour augmenter l'efficacité du refroidissement, tous les constructeurs proposent des solutions distribuant le froid au plus près des serveurs Cet exposé fournit quelques références, non exhaustives et par ordre alphabétique des constructeurs 32

33 Références constructeurs APC Schneider : Racks de 41 à 48 U Échangeurs intercalaires : récupèrent l'air chaud à l'arrière des serveurs et soufflent à l'avant, dans le volume de la salle (ou dans l'allée froide) Refroidissement Air / Air indirect à évaporation Extracteurs d'air chaud PDUs monitorés verticaux (0 U) + capteurs 33

34 Références constructeurs Conteg : rences constructeurs Racks de 42 à 48 U Différentes solutions allées chaudes / froides / double confinement (mini allées chaudes et froides dans des racks totalement étanches, jusqu'à 34kw par rack). Eau glacée ou détente directe Systèmes de monitoring environnementaux : Armoires destinées à être installées à l'extérieur 34

35 Références constructeurs Rittal (note les URL directes sont longues, non citées sur ce transparent) : Racks 42U Différentes solutions allées chaudes / froides / double confinement (mini allées chaudes et froides dans des racks totalement étanches) Jusqu'à 55kw par échangeur intercalaire en eau glacée : Liquid Cooling Package LCP Rack CW SK Groupes froid jusqu'à 480 KW, Free-Chillers Solutions de monitoring : capteurs environnementaux 35

36 Plan Introduction Contrôle des flux d'air Refroidissement liquide Références constructeurs Conclusion 36

37 Conclusion L'urbanisation complète d'un DC s'appuie sur des compétences informatiques, aéraulique, électriques La réhabilitation d'un DC commence par une amélioration des flux d'air Aujourd'hui, les solutions de Free-Cooling et de refroidissement liquide sont mûres À vous de transmettre ces éléments de veille technologique... Vous pouvez innover! 37