Audrey CHOPITON Génie Climatique et Energétique INSA de Strasbourg BE Alain Garnier Projet de Fin d Études : Les Green Datacenters COMPTE RENDU DE VISITE DATACENTER VICTOR HUGO TELECITYGROUP 20/03/2015 1
2
1) Caractéristiques du datacenter Présentation de TelecityGroup TelecityGroup n est pas seulement un exploitant de datacenter, mais se charge aussi de la conception, de la réalisation et de l exploitation. TelecityGroup est le maitre d ouvrage de ses datacenters. Remarque : Lors de la construction d un nouveau site les critères sont très variés, il faut prendre en compte : la densité (kw/m²), la classification uptime institute, le niveau de redondance, les services associés, le design, l architecture réseau (qui a un impact sur l architecture du batiment) etc Présentation du site Victor Hugo Caractéristiques des parois : - Dalles : béton - Murs : brique rouge + BA13 - Toiture : tôle + isolant Certification Tier III+ Information Tier IV : Bien qu'aucun datacenter ne soit encore certifié en France, le Tier IV serait possible. Il est définit par une tolérance de panne à tous les niveaux, c est-à-dire que tout est redondant (2N+1). Une installation Tier IV peut donc être réalisée en alimentant le site par deux boucles totalement distinctes et indépendante de EDF. Ces deux boucles viennent de sources différentes, si bien que si une source tombe en panne, la seconde n est en rien impactée et le site continue de fonctionner correctement. 3
Schéma simplifié du bâtiment : J ai visité la zone 3 et j ai pu voir les zones 1 et 2. Zone géographique Il est préférable de ne pas trop s éloigner des villes, se placer idéalement en banlieue (prix de la surface moins cher) pour être proche de tous les avantages d une ville. Pas d intérêt majeur d aller en campagne. Exemple du datacenter Normandie de Orange à Val de Reuil : Il est placé dans une cuvette pour bénéficier d une température extérieure faible toute l année. Orange annonce 80% de free cooling direct. Type de bâtiment Explications typologie des bâtiments : - L emplacement d un datacenter est basé en premier lieu sur la proximité des réseaux informatiques : idéalement il faut se placer là où plusieurs réseaux se croisent. (regarder la carte du réseau de fibre optique) ; - Ensuite pour la construction du bâtiment, il faut se baser le prix du m2 à l emplacement choisi. Un faible prix favorisera un bâtiment en longueur, à l inverse, un prix élevé favorisera un bâtiment en hauteur. A noter que la construction du bâtiment repose aussi sur un critère de discrétion, le bâtiment doit se fondre dans le paysage pour ne pas attirer les curieux. Ce ne sont pas des constructions sur lesquelles les architectes peuvent se faire plaisir! - Choix techniques : ceux-ci vont ensuite devoir s adapter à la typologie du bâtiment. Emplacement géographique Typologie de bâtiment Choix techniques 4
Services du datacenter Dans les datacenters on distingue : - Les centres informatiques appartenant à des entreprises, ils ne sont utilisés que pour les besoins de cette entreprise. - Les hébergeurs, ces sites appartiennent à des grands groupes et font de la location de services (location d emplacement libre ou location de serveurs) pour des clients (particuliers ou entreprises). Telecity Group propose des services avec de la location d emplacement libre dans leurs baies. C est ce qu on appelle la colocation (= location de surface hautement sécurisée). Ceci permet la mutualisation de moyens comme la détection incendie, le contrôle d accès, la climatisation la colocation permet donc de réaliser des économies d énergie et financières à grande échelle et c est bon pour l environnement car ça évite que chaque entreprise ait son propre centre informatique. Les clients peuvent louer ce qu on appelle une «suite», c est un emplacement contenant plusieurs baies fermé par une grille et avec accès sécurisé. Les clients peuvent aussi louer un module de baies confinées, ce module possède des portes pour éviter de perdre de l air froid par le haut et pour forcer son passage à travers les baies. D autres hébergeurs proposent de la prestation totale (= location de surface hautement sécurisée + location des serveurs), dans un tel contrat, le client place seulement ses données et/ou ses applications chez l hébergeur (exemple : OVH). 2) Logique de répartition des installations Ce datacenter se compose de 5 salles informatiques, j ai visité la salle 3. Cette salle est bien hiérarchisée : - le long d un murs : climatiseurs - au milieu de la salle : les baies - l autre côté est une zone de circulation Schéma simplifié de la zone 3 : Les locaux techniques sont en bout de bâtiment. Pas de sas en entrée des salles. Plusieurs suites privatives grillagées. 5
3) Performance du datacenter En fonction des clients, la puissance des baies varie de 1kW à 6kW. Pour la quantité de chaleur émise par les baies, on pose un coefficient de sécurité de 1,2 entre la puissance électrique consommée et la puissance rejetée. On compte donc de 1,2 à 7,2kW par baie. Les baies ayant des dimensions au sol différentes, il est difficile de travailler avec une valeur par m2. 4) Refroidissement Conditions en ambiance Dans les salles informatiques : T : de 18 à 27 C (remarque : c est la plage dit «recommandée» de l ASHRAE) HR : de 20 à 80% On laisse la température et l humidité dériver dans ces plages. Instrumentation : - Sonde de régulation : 1 par armoire de climatisation. La régulation de l armoire de climatisation s effectue sur la température de soufflage. Une sonde est placée en faux plancher à 3m après le ventilateur. Elle sert notamment au pilotage des batteries. - Sonde de contrôle : 2 par module de baies. Elles sont situées à 1,20m de hauteur pour suivre la température. Ces valeurs sont fournies aux clients et ne servent que pour qu ils puissent s assurer de la qualité du service. Relevés de la température ambiante effectués sur des appareils différents : Armoires de la salle 3 Local onduleur Salle de batteries 21,7 C 36,50% 26,1 C 26,9% 23 C 21,5 C 36,60% 25,4 C 29,6% 21,5 C 37,20% 21,5 C 35,20% 21,5 C 37,60% Climatisation des salles informatiques Les salles informatiques sont climatisées par des armoires de climatisation hybrides. Cellesci sont placées le long des murs et soufflent en vrac dans le faux plancher. Les baies sont ordonnées selon le principe allées chaudes/allées froides et l air chaud est repris en haut des armoires de climatisation. Le datacenter Victor Hugo ne possède pas actuellement de modèle dit «in-row», c est-àdire des armoires de climatisation insérées dans les baies de stockage. Cependant l offre existe et la boucle de refroidissement possède des départs disponibles pour ce genre d application mais ce n est pas une demande client. Les armoires possèdent deux circuits internes, l un fonctionnant à détente directe (R410A) et un second fonctionnant à eau. Il y a 9kg de gaz par armoire. Pas de groupe froid, que des aéroréfrigérants secs. Pour la zone 1-2, il y a 3 aéroréfrigérants secs de 450kW chacun. Zone 3-4-5, idem avec 4 aéroréfrigérants secs de 475 kw chacun. Un maintien de pression est installé, il sert notamment lors du passage entre 8 et 30 C. 6
Modèle des appareils : - Armoires de climatisation : STULZ modèle ALD_812_GES de 73,1kW Le schéma est similaire à celui qu on l on trouve chez Liebert : Version F mais avec deux circuits frigorigènes - Aéroréfrigérant : STULZ modèle GFD_090 de 478,3 kw 7
Schéma de principe d une armoire de climatisation fourni par Adrien CAROULLE (coordinateur infrastructure) : Explication du schéma de principe : - Les armoires possèdent deux batteries (superposées mais distinctes) d échanges avec l air de la salle. La première batterie (en bas sur le schéma) comprend deux circuits frigo, un pour le compresseur tout ou rien (50% de la puissance) et un autre pour le compresseur à vitesse variable (autres 50%). Chaque compresseur a son propre échangeur à plaques avec le réseau d eau de refroidissement. La deuxième est une batterie d eau. - Il y a 2 modes de fonctionnement : o Mode Hiver : Text < 3 C - En sortie des aéroréfrigérants l eau est à 8 C - Les vannes motorisées des deux circuits à détente directe sont fermées - La vanne motorisée de la batterie froide est ouverte à 100% Fonctionnement 100% Free Chilling : l air ambiant est refroidi uniquement par son passage dans la batterie à eau glacée. o Mode été : Text > 3 c - La vanne motorisée de la batterie froide est ouverte à 100% : tant que Tamb<30 C, celle-ci va servi de pré refroidissement. - Circuits à détente directe o Besoins en froid < 50% : ouverture de la vanne du circuit avec compresseur à vitesse variable ; o Besoins en froid = 50% : ouverture de la vanne du circuit avec compresseur TOR ; o Besoins en froid > 50% : ouverture des vannes des 2 circuits. Fonctionnement thermodynamique + léger pré refroidissement 8
- L air chaud de la salle entre par le haut de l armoire, traverse les deux échangeurs (évaporateur et batterie à eau glacée) Proposition de schéma de principe de l installation : - Les aéroréfrigérants sont en parallèle. C est une nécessité pour la maintenance. De plus, ils sont bouclés pour permettre l isolation complète d un équipement sans impact sur la continuité d activité. - Un maintien de pression est installé, il sert notamment lors du passage entre 8 et 30 C. Fonctionnement de la régulation : 1/ Une sonde de température en sortie de chaque aéroréfrigérant permet la régulation de la vitesse de ses ventilateurs. En modulant la vitesse des ventilateurs, on ne véhicule pas la même quantité d air dans les aéroréfrigérants et donc on n évacue pas la même quantité de chaleur. Dans chaque local technique, il y a un régulateur par aéroréfrigérant. Le régulateur compare en entrée : la température de sortie d eau à la température extérieure et agit sur la vitesse de rotation des ventilateurs. 9
2/ Une régulateur pour chaque armoire va permettre de piloter les compresseurs de ces circuits thermodynamiques. En entrée de ce régulateur on va trouver la température ambiante, la température de reprise et la température de soufflage. Celui-ci va agir sur les deux compresseurs pour qu ils puissent couvrir les besoins en froid. 3/ Une régulation va aussi se faire sur la batterie à eau de refroidissement. En entrée du régulateur, on a la température extérieure et la température dans l ambiance. La vanne motorisée de la batterie sera pilotée pour se couper quand Text > Trepris de façon à éviter que la batterie de pré-refroidissement fasse du pré-chauffage de l air à refroidir. Analyse critique : 1/ Ici il n y a que deux modes de fonctionnement : - un mode hiver : le froid est apporté à 100% par le free chilling - un mode été : la batterie froide permet de pré refroidir mais le froid est apporté dans sa quasi totalité par les deux circuits thermodynamiques. Le gros défaut de cette installation est le manque de fonctionnement de mi-saison dans lequel il serait possible de coupler le free chilling au fonctionnement thermodynamique. En effet, avec le mode mi-saison, une partie du froid pourrait être apportée par le free chilling et les compresseurs se mettraient en route pour apporter le complément de froid. 2/ Les aéroréfrigérants n ont pas de fonctionnement adiabatique or l utilisation d un tel système permettrait des économies intéressantes. On estime qu un aéroréfrigérant sec permet des économies de 20-30% grâce au free chilling à Aubervilliers, en adiabatique, on pourrait avoir 30% d'économies supplémentaires. En amélioration de cette installation, on pourrait donc proposer d installer des aéroréfrigérants adiabatiques. 3/ Dans un datacenter les charges ne sont pas constantes. Celles-ci dépendent du taux de remplissage des baies et de la technologies des serveurs installés et elles varient donc au cours de l année. C est pour cela que le système avec deux circuits frigorifiques est adapté : un circuit fournit 50% des besoins en froid de façon permanente et le second circuit s adapte aux charges et apporte la quantité de froid restante. 4/ Un tel système est bien adapté à l amélioration d installation existante. Pour lesquelles on pourrait ajouter une batterie à eau en free chilling ou en pré-refroidissement ou faire condenser les groupes sur le même circuit d eau. 5/ Le site est dit Tier III+. Dans un Tier III, il y a redondance passive des voies d alimentation et de refroidissement, ce n est pas le cas ici donc le site est un Tier II. 10
Soufflage Il y a 3 ventilateurs par armoire de climatisation. Ceux-ci soufflent à la vertical vers le bas. Ceci permet de «casser» le flux d air lorsqu il «tape» le sol et permet une meilleure diffusion de l air en vrac dans le faux plancher. Cette armoire semble plus performante que les armoires où le ventilateur souffle à l horizontal car en soufflant à l horizontal, on impose un flux d air dans une certaine direction, la quantité d air n est pas homogène dans tout le faux plancher. Les salles sont agencées selon le principe allée chaud/allée froide dans la zone 3. L air sort par des grilles dans les allées froides et traverse les serveurs. L air chaud ressort par l arrière des baies puis et repris par le haut des armoires de climatisation. Que les baies soient confinées ou non, des caches sont positionnés aux emplacements vides dans les baies pour optimiser la diffusion de l air dans les serveurs. Ici, le faux plancher est considéré comme un volume à pression équivalente en tout point. C est évidemment faux mais ils sont obligés de prendre cette hypothèse car le soufflage se fait «en vrac» dans le plancher. Ils s assurent de la surpression dans les couloirs froids confinés en ajustant le nombre de dalles percées et bien sûr de la température en entrée de baie qui est contractuelle. 11
Baie modulaire : Dans la zone 1 qui est la plus ancienne, les baies ne sont pas fermées et sont agencées de façon aléatoire. Des grilles sont placées au sol à proximité des baies qui sont fortement remplies. Par endroit la température à l arrière des baies monte à 35 C (d après les mesures faires par le personnel du site). Concernant les grilles de soufflage et la hauteur du faux plancher : pour les dimensionner, on utilise le cahier des charges du client. Dans celui-ci on trouve : les caractéristiques du bâtiment, les conditions d ambiances désirées. On ne sait absolument pas comment vont être remplies les baies dans les salles, ni à quel pourcentage, ni avec quelle technologie de serveurs, les besoins de froid sont donc très durs à dimensionner. (De plus, lors du dimensionnement, il faut prendre en compte la redondance. Pour les sites les plus récents, la redondance des appareils de climatisation peut est complète, dans un tel cas, il faut tout doubler). Les bureaux d études spécialisés ont des logiciels internes dans lesquels ils peuvent entre les éléments du cahier des charges et le logiciel va alors donner les débits d air à souffler, les caractéristiques des grilles et la hauteur de faux plancher. Ici les grilles utilisées sont ouvertes à 50% et n ont pas de système pour diriger l air. Information débit d air : le débit d air à souffler en faux plancher dépend des débits d air des serveurs car chaque serveur possède un ventilateur interne. Ici, on distingue la partie énergie de la partie réseau : - partie énergie : air climatisé et câbles électriques o en faux plancher (40 à 50cm selon les salles) - partie réseau : câbles réseau o en faux plafond 12
Remarque : j ai pu voir sous le faux plancher : il y a quelques chemins de câbles, ils sont judicieusement placés et ne sont jamais à l aplomb des grilles de soufflage. J ai pu voir que la quantité de câbles n est pas si importante et leur température n est pas si élevée, je pense donc qu ils ne perturbent pas beaucoup le déplacement de l air ni sa température. Locaux techniques Les locaux techniques : - Salle des batteries, utilisent des climatiseurs multisplit et sont climatisés de façon précise à 23 C. - Salle des onduleurs, - Salle avec système de lutte contre l incendie (réserve d eau et bonbonnes d air comprimé). Lors de la détection d un incendie, le système se met en route et «fabrique» un brouillard d eau. Dans les salles, on trouve des pulvérisateurs, ceux-ci possèdent un petit fusible et ne se déclenche que lorsque la température de la salle est supérieure à 45 C. Ceci permet de ne pas endommager les installations qui ne sont pas attaquées par le feu. - Local électrique (TBGT et STS) sont climatisés différemment que les salles informatiques. Ils utilisent des climatiseurs multi split. 5) Ventilation Une petite CTA sert à apporter l air neuf hygiénique pour les salles informatiques. Il n y a pas de personne ne permanence dans la salle, il y a des techniciens sur le site dans ils sont dans les bureaux à coté et entrent dans les salles que pour faire des vérifications ou des maintenances. Des postes sont également mis à disposition des clients. 6) Réjection Système Le refroidissement se fait à travers des aéroréfrigérants sec, pas de fonctionnement adiabatique. La chaleur est rejetée aux oiseaux. Réutilisation Aucune réutilisation de la chaleur de réjection alors qu il y a des bureaux dans le bâtiment. Cela est semble-t-il trop compliqué à mettre en place pour plusieurs raisons : - les besoins de bureaux ne sont pas les mêmes toute l année donc même si on peut les chauffer gratuitement l hiver, il faut maintenir les installations existantes pour continuer d évacuer la chaleur de réjection l été ; - Règles de sécurité incendie : toutes les salles informatiques sont construites avec des murs coupe-feu, pour utiliser la chaleur de réjection, il faudrait faire des travaux pour compartimenter les nouvelles zones et placer des clapets coupefeu ; - La régulation d un tel système est également compliquée ; - le site souhaite depuis sa création (années 2000) travailler avec un réseau de chaleur urbain, leurs installations sont prêtes, des attentes sont prévues pour y placer des échangeurs. Le problème vient des collectivités qui ne sont pas prêtes 13
à travailler avec cette source de chaleur (pour des raisons de rentabilité financière). De manière générale, ils ne souhaitent pas utiliser la chaleur de réjection pour chauffer leurs bureaux, pour eux ceci serait mieux adapté à un bâtiment ayant un gros volume et des besoins importants. 7) Questions diverses Températures Si le système de climatisation tombe en panne, les serveurs fonctionnent encore quelques minutes (environ cinq minutes, c est le temps pour arriver à 45 C en ambiance) puis se coupent pour ne pas être endommagés. D après l ASHRAE les serveurs récents peuvent fonctionner correctement pour une température en ambiance pouvant atteindre 45 C. Les hébergeurs loue de l emplacement libre et le client place librement ses équipements. Il est donc impossible de «climatiser» les salles pour des températures allant jusqu à 45 car les hébergeurs ne peuvent absolument pas prédire le type de technologie utilisée par leurs clients et ils peuvent encore moins restreindre leurs clients à un type de technologie. C est pour cela qu en ambiance, ils jugent raisonnable de travailler sur la gamme 18-27 C. Pour répondre à ce problème, il faudrait sectoriser les salles en fonction des technologies des serveurs. Problème, un client qui loue une suite entière, peut avoir différentes technologies dans sa suite, or ça ne doit pas être évident de demander au client de mettre son matériel dans différentes salles (problème venant du client et difficulté de mise en place de la sécurité et du contrôle d accès dans le site). Secours Groupes électrogènes Le bâtiment était anciennement équipé de climatiseurs split, les appareils ont été gardé et servent de secours et/ou de compléments. Sécurité incendie Système dry fog : propulsion par air comprimé d un brouillard d eau 8) Personnes présentes Adrien Caroulle Telecity Group Responsable infrastructure Angel Montilla Emerson sales manager Philippe Rémia Cap Ingelec BE 14