Observatoire de Paris : deux approches pour la moyenne et haute densité : Partie 1 : salle compartimentée Stéphane Aicardi, Emmanuel Halbwachs, Nicolas Legrand, Albert Shih Division Informatique Observatoire de Paris Journée JoSy hébergement 12 juin 2012 1 / 43
La salle dans l état actuel 2 / 43
Caractéristiques principales Espace : surface : 25 m 2 (baies) + 10 m 2 (production froid) volume utile : 9 baies 42 U = 378 U charge répartie au sol max : 400 kg/m 2 Électricité/froid : puissance électrique : 40 kw onduleur 40 kva / 32 kw, autonomie 15 puissance froid : 2 groupes 20 kw = 40 kw Densité surfacique : 11 U/m 2 Densité puissance moyenne : 4,5 kw/baie, 100 W/U max raisonnable : 4.4 kw/baie à pondérer si courant secouru PUE moyen sur 9 mois : 1.39 (sous réserve) 3 / 43
Services hébergés Pour tout l établissement : cœur de réseau Campus Paris applications critiques DNS, LDAP, mail, web, etc. comptabilité, finances, paie, etc. stockage pour les services communs Par labo : services et stockage propres manip internationales calcul 4 / 43
Technologies en œuvre : bâtiment fenêtres côté allée chaude reprise d un décaissement existant (ex faux-plancher) création d un faux-plafond pour favoriser l efficacité de la climatisation 5 / 43
Technologies en œuvre : compartimentage compartimentage allées froide/chaude 6 / 43
Technologies en œuvre : APC InRow unité de ventilation d air froid 8 ventilateurs sur toute la hauteur des 42 U 7 / 43
Technologies en œuvre : APC InRow échangeur eau/air alimentation par circuit fermé d eau glacée 8 / 43
Technologies en œuvre : groupes froids 2 groupes froids Carrier dans salle attenante : refroidissent un circuit fermé d eau régime 10-16 C classique à détente gaz réfrigérant montés sur ressorts/silentblocs pour découplage vibrations 9 / 43
Technologies en œuvre : électricité Un seul TGBT avec une seule source EDF mais 2 tableaux pour la salle : normal/ondulé 1 tableau pour les groupes froid permet ajout disjoncteur à chaud (multiclip) centrale de mesure sur chaque tableau 10 / 43
Technologies en œuvre : PDU par baie : 2 PDU 32 A monophasé : normal, ondulé soit 32 A/baie en double alim (mais limite onduleur) ampèremètre par demi-pdu (1 PDU = 2 bancs de 16 A) pas de mesure ni de off /on par prise (regrets?) 11 / 43
Technologies en œuvre : supervision Synthèse des alarmes globale (tableau électrique) pour les défauts suivants : coupure de courant sur un des 3 tableaux électriques défaut onduleur défaut groupe froid 1 défaut groupe froid 2 Reports d alarme : au poste de garde (procédure en cours de validation) e-mail d alerte aux ASR via Nagios/SNMP 12 / 43
Technologies en œuvre : supervision En SNMP/HTTPS/SSH : consommation des PDU sondes diverses des InRows sondes additionnelles de température Graphes générés avec Munin 13 / 43
Technologies en œuvre : supervision Munin : PDU 14 / 43
Technologies en œuvre : supervision Munin : InRow 15 / 43
Technologies en œuvre : supervision Munin : sondes de température 16 / 43
Technologies en œuvre : cartographie Cartographie de l occupation des baies avec racktables http://racktables.org/ 17 / 43
Technologies en œuvre : cartographie 18 / 43
Technologies en œuvre : disponibilité Électricité : par baie, 2 sources de courant : normale + ondulée autonomie onduleur 15 Climatisation : InRow : 18 kw froid max, double alimentation les 4 InRows fonctionnent en groupe, donc 1 voire 2 peuvent tomber 2 groupes froid 20 kw en série donc 1 peut tomber et on tourne en mode dégradé à 50 % de la capacité nominale 19 / 43
Technologies en œuvre : disponibilité Réseau : double adduction au MAN (mais 1 seul routeur) commutateurs mono-alim rendus double-alim avec des Automatic Transfer Switchs (ATS) 20 / 43
Technologies en œuvre : incendie murs et porte coupe-feu choix : pas de détection/extinction incendie car centrale bâtiment obsolète 21 / 43
Mutualisation : genèse labo A : salle info à refaire labo B : squattait déjà le labo A labo C, D : dos au mur avec leurs «salles» division informatique de l Observatoire Z : idem A sollicite Z : occasion pour faire une salle commune 22 / 43
Mutualisation : arguments Pour les décideurs : retrouver de la marge pour l hébergement fermeture de petites salles : récupération de m 2 Pour les ASR : nivellement de la qualité par le haut (PUE, dispo, proactivité) coût de maintenance mutualisée à la baisse charge humaine de gestion répartie sur plus de personnes 23 / 43
Mutualisation : au final Au final : gouvernance, A, C et Z sont OK B rechigne mais OK D n est pas intéressé le projet se monte, sans D mode copropriété (A, B, C, Z) en 4 4 plus tard, création de la fonction «responsable de l urbanisation» au sein de Z 24 / 43
Contraintes Pas le choix de la salle : salle info historique du labo A m 2 à Paris : grosse pression, gros problème reprise d un décaissement existant (ex faux-plancher) étage 1 er /8 : pas possible de mettre les groupes froids à l extérieur : annexion d un bureau voisin de 10 m 2 charge répartie au sol max : 400 kg/m 2 appartement privé sous la salle, salle de cours en face... charge au sol : risque vital bruit/vibrations 25 / 43
Réalisations 2006 top départ pour l idée budget estimé à 75 ke, collecte de la somme premiers devis réels, réévaluation budget à 150 ke... 2007 appel d offre (sans AMOA) copiloté par A, Z et service technique 2008 dépouillement, choix réalisation tranche 1 (50 % froid cible) septembre : mise en service 2009 6 mois plus tard, on est déjà au taquet... réalisation tranche 2 (100 % froid cible) pose cloison isolation allées froide/chaude 26 / 43
Réalisations 2010 pose sondes de température prise de conscience que l infrastructure électrique ne permet pas de profiter de toute la capacité froid et onduleur appel d offre pour doublement de la puissance électrique 2011 dépouillement, choix réalisation doublement de la puissance remplacement des PDU 16 A par des 32 A et montée en charge : problème de grilles groupes froids 2012 nouvelles grilles, calorifugeage groupes froids pose porte à lames souples 27 / 43
Pannes depuis la mise en service Sur 3 des 4 InRow APC : pb flotteur condensat remplacement pompe condensat ( 2) tube d évacuation de condensat pincé changement sonde température d entrée d eau changement de carte mère remplacement sonde de température de sortie d eau pb contrôleur de débit d eau ( 2) sonde température d entrée d eau mal enfichée 28 / 43
Pannes depuis la mise en service Sur un des 2 groupes froid Carrier : fuites de gaz réfrigérant fuite A re-fuite A (5 mois après) fuite B (1 mois après) fuite C (4 mois après) Mais grâce au 2 groupes froid et au mode dégradé, la salle a toujours été fonctionnelle pour les services critiques. Bilan : les soucis viennent exclusivement de la climatisation, qui est fragile Souci annexe : l envoi d e-mail d alarme par l onduleur n est pas fiable, contournement par Nagios/SNMP 29 / 43
Erreurs de débutants Électricité : net sous-dimensionnement électrique avoir laissé recycler les anciens disjoncteurs 16 A PDU ridicules : horizontaux, sans mesure pas de centrales de mesure électrique ni télérelevage Froid : contrat de maintenance préventive et non forfait curatif mauvais calfeutrage des interstices ( 2 cm) Aspects pratiques : porte inter-allée opaque et sans rappel pas de prises ménage dans les allées 30 / 43
Erreurs de conception Climatisation : grilles d entrée/sortie d air du local groupes froids inadaptées : déni de service... pas de calorifugeage des capots de groupes 31 / 43
Coûts investissement total : 250 ke ratios : 7 ke/m 2 28 ke/baie (660 e/u) maintenance préventive : 12 ke/an (4 visites) réparations depuis le début : 5 ke consommation électrique moy. : 26 kw = 21 ke/an coût humain : 0,5 ETP niveau IE-IR cumulé en continu sur 5 ans 32 / 43
Organisation au quotidien site web qui centralise toutes les infos notamment la todo list affichage clair (sur papier ) contacts d urgence contraintes physiques de la salle liste des machines non cruciales pouvant être arrêtées pour le mode dégradé (50 % du froid nominal) 33 / 43
Organisation au quotidien tous les 15 j : ménage et inspection (tour de rôle) tous les trimestres : réunion copropriétaires étude des consommations, charge, équilibrage, etc. prédiction autonomie onduleur (reports de charge) actions correctives point todo-list, distribution du travail tous les n ans : test de coupure au TGBT pour voir vraiment ce qui se passe l onduleur expire avant qu il ne fasse trop chaud 34 / 43
Perspectives centrales de mesure reliées au logiciel Schneider Energy View Online (EVO), en mode SaaS calcul du PUE en temps réel et graphe sur l année 35 / 43
Perspectives : Schneider EVO Schneider EVO (mode SaaS, application web) : 36 / 43
Perspectives : Schneider EVO 37 / 43
In Memoriam La salle a coûté une vie : un électricien d une entreprise a commis une imprudence qui lui a été fatale. 38 / 43
Acteurs notoires Alain Montintin : initiateur, moteur Julien Lecubin : moteur, AO Joël Marchand : démultiplicateur, veille, AO, rigueur Albert Shih : supervision Emmanuel Halbwachs : AO extension élec, supervision Nicolas Legrand : télémesure, gestion Stéphane Vaillant, Pascal Blondé : pompiers du week-end l ensemble des copropriétaires : ménage, gestion 39 / 43
Diapos cachées : teasing Porte AR extractrice d air (APC Air Removal Unit) 40 / 43
Diapos cachées : teasing PUE estimé à 1,1 41 / 43
Diapos cachées : teasing Green Computing : à l extérieur, développement de plantes robustes 42 / 43
Questions? 43 / 43