Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules Retour d'expérience Datacentre du CC IN2P3, 18 Septembre 2014
Sommaire } Présentation : Activités du DC CCIN2P3 } Infrastructure : Evolution des besoins } Nouvelle Infrastructure : Réalisation - Exploitation } Exploitation du DC: Retour Expérience } Projection des besoins : Adaptation de la feuille de route } Conclusion 18/09/2014 2
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules Activités du Data Centre du CC IN2P3 Chiffres clés
Activités du Data Centre CC IN2P3 4
PROMOUVOIR ET FEDERER MISSIONS APPORTER LA RECHERCHE EN PHYSIQUE SUBATOMIQUE Compétences Expertise COORDONNER Programmes pour le compte du CNRS et universités Partenariat CEA Titre conférence - Date EXPLORER Les infinis, des particules au cosmos Recherches interdisciplinaires, formation, valorisation Fred Hulin/Scavo/Université Paris-Sud, Ganil/Philippe Stroppa, LSM, A. Palacios LUPM/CEA - Conception graphique : Anna Thibeau (IPNL) Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules INFRASTRUCTURE Evolution des besoins 6
Infrastructure Infrastructure evolution 2004-2011 Accroissement très rapide de la consommation électrique lié à l installation massive d équipements 77
Infrastructure Augmentation des besoins conséquents Nouvelles applications et ouvertures en 2009 Ø Augmentation de demande sur 60 groupes utilisateurs Ø Répondre aux prévision de puissance de traitement de LHC Ø Coller au planning d augmentation du LHC Ø Des expressions de besoins significatifs dans le domaine de la recherche en astroparticules. 8
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules NOUVELLE INFRASTRUCTURE Réalisation - Exploitation 9
Nouvelle infrastructure Multi-tier 10
Infrastructure Nouvelle infrastructure Choix technologique Technologie de racks confinés refroidis par eau récupération calories - Infrastructure modulaire. Plus de faux plancher Réseaux complexes - hydrauliques et électriques Dans le cadre convention avec l Université Lyon, fourniture d eau chaude 570Kw 11
Infrastructure Réalisation de l extension du DC q Réalisation en 18 mois. q Programme rédigé avec un spécialiste (Critical Building) q Appel à projet et concours q Conception Réalisation par le Bureau du Patrimoine CNRS (événement historique au CNRS) q Réception et livraison au CCIN2P3 pour l exploitation q Mise en exploitation et installation des racks et matériel par équipe CC q Apprentissage et maitrise des outils q Tranche de travaux complémentaire ( capacité accrue de 40 racks) 12
November 15th, 2011
Infrastructure Configuration actuelle q Tier II q 2 allées chaudes disponibles q 28 racks à 18 20 KW ( froid) q 1 chaine de 4 onduleurs de 2 MW q 2 transformateurs de 1600 kva q 3 groupes froid 2,4MW, un seul circuit hydraulique q Alimentation deux lignes réseaux : 1 dédiée 9 MW et un secours garanti de 2 MW 14
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules Exploitation du DC Retour d expérience
Exploitation du DC Consommation Electrique du DC 1400! 1300! Coût!k HT/an! Prix!kWh!brut! kwh/an!conso! 1200! 1100! 1000! 900! 800! 700! 600! 500! 400! 300! 200! 5-7% d augmentation tarifaire KWh EDF moyenne par an 100! 2003! 2004! 2005! 2006! 2007! 2008! 2009! 2010! 2011! 2012! 2013! 2014!! 16
Exploitation du DC Optimisation énergétique du DC 17
Exploitation du DC Les axes d optimisation explorés q Concentration des services informatique (virtualisation ) q Arrêts des serveurs et services IT non actifs (1 rack allumé non actifs = 1 A consommé en permanence) q Rationalisation des équipements infrastructures ( arrêts onduleurs, transformateurs, équipements non utiles) q Choix des nouveaux équipements IT ( à capacité serveur égale, la nouvelle consommation est divisée par 2) q Remontée du régime eau glacée & des températures fonctionnement racks. q Modification mode de régulation rationaliser la charge hydraulique q Négociation du niveau contrat fournisseur au plus juste du besoin 18
Exploitation du DC Moyens de Monitoring Mesure des consommations sur l ensemble de l infrastructure par : q Une GTC infrastructure q Analyse des factures et consommation fournisseur électricité q Des Pdus monitorés et communicants q Sondes de température spécifiques q Suivi Température extérieure pour corrélation q Suivi et exploitation PUE 19
Exploitation du DC Pdu dans Rack réfrigéré «In Row» n Suivi de consommation n Remontée données SNMP n Détection et remontée des anomalies n Rapport et analyse de situation Bénéfice : pour un type d équipement dans une configuration possibilité de projection de consommation. 20
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules Projection des besoins du DC Adaptation feuille de route
Projection des besoins du DC Evolution envisagée en 2011 Cible production IT 2011-2019 Objectif : 2011 50 racks 0.6 MW Puissance électrique 3 MW 2015 125 racks 1.5 MW Puissance électrique 6 MW 2019 216 racks 3.2 MW Puissance électrique 9 MW Tier II Tier III Tier IV La consommation électrique sera multipliée par 3 en moins de 10 ans 22
Projection des besoins du DC Constats Ø Investissements pas au Rdv pour répondre à la feuille de route d origine. Ø Contexte budgétaire très contraint et sans visibilité sur année N+2. Ø La typologie de nos ressources IT change. Ø Nouveaux besoins identifiés à horizon 2018 pour nouveaux utilisateurs. Souplesse nécessaire sur la capacité de l infrastructure, fiabiliser les sources de crédits. 23
Projection des besoins du DC Nouvelle feuille de route Faire glisser l infra existante Tier II vers un multi Tier ( Tier II + III) dans le contexte budgétaire très contraint Axes : 1 Offrir une capacité d hébergement en conformité aux demandes des utilisateurs 2 Changement de destination d utilisation de la nouvelle salle, passage de calcul à serveurs et stockage. 3 Prochain équipements dédiés à cette salle pour utiliser la différence positive de PUE 24
Projection des besoins du DC Plan de mise en oeuvre 1 Définir les scénarii projection sur la base d annonces utilisateurs versus moyens disponibles 2 Etude de faisabilité avec budget défini 3 Optimisation & Réaffectation d équipements présents à d autres destinations transformation partielle du Tier II vers TIER III 25
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules Conclusion
Conclusions Conclusions ü A puissance informatique égale, le matériel le plus énergétiquement intéressant dégrade le PUE. ü Garder un DC efficient est un travail continu d amélioration et d adaptation technique, intégrant choix technologiques et évolution de l infrastructure. ü Nécessité d analyses et de suivis des indicateurs et des données d exploitation pour décision et anticipation. ü Nécessité de réviser et de planifier son adaptation de manière continue sur des montants d investissements moyens à faibles. ü Privilégier la modularité permet d être aussi d être plus souple pour adapter l infrastructure. 18/09/2014 2 27
Merci de votre attention Contacts : pascal.trouve@cc.in2p3.fr / xavier.canehan@cc.in2p3.fr TUTOJJRES 2014 18/09/2014 28
Projection des besoins du DC 29
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules CHAPITRE Y: XXX DÉVELOPPEMENT AAAAAA Assemblée générale 2011
Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules CHIFFRES CLES 2 500 chercheurs, ingénieurs et techniciens CNRS 40 grands projets internationaux 16 LIA 1 groupement de recherche international 40 M budget annuel (hors salaires) Titre conférence - Date 25 laboratoires et plateformes CENBG, LSM Conception graphique : Anna Thibeau (IPNL) 3
3 Centre de Calcul de l Institut National de Physique Nucléaire et de Physique des Particules L IN2P3, UN INSTITUT DU CNRS Le CNRS 10 instituts (3 nationaux : INSMI, INSU, IN2P3) 1 100 unités de recherche 34 000 chercheurs, ingénieurs, techniciens 3, 3 milliards d euros budget Titre conférence - Date CENBG, LSM Conception graphique : Anna Thibeau (IPNL) (95% partenariat)