Intégration d'ibm idataplex au CC-IN2P3

Transcription

1 Intégration d'ibm idataplex au CC-IN2P3 Journée Utilisateurs HPC IBM Dominique Boutigny

2 Présentation du CC-IN2P3 n Le CC-IN2P3 fédère l'ensemble des moyens de calcul lourds de la communauté française de Physique des particules Physique nucléaire Physique des astro-particules Irfu dapn ia

3 Mission du CC-IN2P3 (2) Expériences de physique Physique Nucléaire Physique des particules Astro-particules Recherche fondamentale Masse de données Traitement des données Publications Analyse des résultats

4 Expériences utilisant le CC-IN2P3

5 Le LHC On peut utiliser beaucoup de superlatifs pour qualifier le LHC ü Plus grand accélérateur du monde (27 km) ü L'un des plus grand instrument jamais construit ü Plus grande installation cryogénique ü Plus froid que l'espace interstellaire ü Mais des collisions fois plus chaude que le coeur du soleil et ainsi de suite 4 expériences / collaborations internationales ALICE ATLAS CMS - LHCb

6 Le LHC Pourquoi faire? Le LHC va fournir des indices pour comprendre les questions les plus intrigantes de l'univers Quelle est l'origine de la masse? Pourquoi vivons nous dans un monde de matière et où est passée l'antimatière crée lors du BigBang? Quelle est la nature de la matière noire qui domine le contenu en matière de l'univers? Credit: NASA/WMAP Science Team Combien notre univers compte t'il de dimensions? 18 mars 2009

7 Balloon (30 Km) Le LHC Un énorme générateur de données CD stack with 1 year LHC data! (~ 20 Km) 15 pétaoctets de données chaque année Concorde (15 Km) Mt. Blanc (4.8 Km)

8 Évolution des ressources au CC-IN2P3 + 3 robots de stockage de masse (cassettes) 30 Po

9 Aujourd'hui le CC-IN2P3 c'est 1398 machines Linux 368 Machines Solaris Dont: 302 Thumpers / Thor Ø disques 100 Machines AIX Ø 2416 RAMs Ø 604 CPUs

10 Évolution de la puissance électrique kw Seuil de disjonction Seuil de sécurité Accroissement de 490W / jour! Budget élec. 2009: 600 k

11 Efficacité électrique des CPU Pour optimiser les équipements il faut raisonner en fonction du rapport A / ksi2k Puissance électrique / Puissance informatique Est devenu l'un des éléments prépondérant des cahiers des charges Moore Valeurs mesurées

12 Consommation des disques La consommation du stockage sur disque est loin d'être négligeable 1 SUN X4500: ~1000 W è disques de 500 Go 17 To utile / serveur è ~60W / To Nouvelle génération X4540 è disques de 1 To On gagne un facteur 2 à chaque changement de technologie Optimisation de la consommation des serveurs de stockage? Ajout de cache SSD Modification des drivers pour arrêter les disques inactifs è Technologie MAID (Massive array of idle disks) Voir par exemple:

13 Le problème du refroidissement A moins d'avoir un système aéraulique complexe, Le refroidissement par air suppose de traiter le volume complet de la salle informatique è Peu efficace

14 Refroidissement Organisation en allées chaudes / allées froides Serveurs Capotage Reprise d'air chaud Armoire de clim

15 Un comportement non intuitif Un monitoring efficace est indispensable afin de Mercredi 8de avrilla 2009 comprendre en temps réel le fonctionnement salle

16 Plus il fait chaud moins il fait froid! Puissance électrique consommée ~20 kw / oc! Température extérieure

17 Comment survivre? Améliorer l efficacité du refroidissement Air è Eau Arrière La dernière acquisition de CPU inclut la fourniture de racks refroidis à l eau Système IBM i-dataplex serveurs (5 racks) Intel 5430 LV 2.66 GHz 50 W 85 kw total ~pas de chaleur en dehors des racks Aussi efficace que des racks entièrement fermés ~Aussi dense que des Blades et moins cher que des lames Avant Échangeur sur porte arrière

18 La suite Petit à petit les serveurs (CPU, stockage et services) vont être installés dans des racks refroidis à l'eau Porte refroidie: test Ok ØTrès efficace ØÉchangeur eau glacée / eau froide (18 oc) ØPas de condensation Le CC-IN2P3 va également tester d'autres systèmes de racks refroidis è Acquisition d'une expérience qui sera profitable lors de la réalisation de notre future salle informatique

19 Nouvelle salle informatique La salle actuelle a atteint son extrême limite (plus de redondance) Projet de construction d'une nouvelle salle informatique moderne On vise une puissance électrique ~5 MW sur 800 m2 Salle informatique pour l'informatique Infrastructure technique en dessous (ou au dessus ) 3 zones: Ø Haute disponibilité (réseau services critiques) Ø Redondance N+1 + courant secouru (stockage) Ø Redondance N+1 + autonomie 10 minutes (calcul)

20 Démarche environnementale L'extension s'inscrit dans le cadre du projet éco-campus de l'université de Lyon (UCBL) Convention avec l'ucbl: Le CC-IN2P3 fournira de l'eau chaude pour le chauffage des bâtiments proches Contrainte: Température ~50-55 oc è Nécessite un chauffage adapté La récupération de la chaleur constitue un moyen de valorisation simple et efficace Fourni malheureusement le maximum de chaleur en été è Pré-chauffage de l'eau chaude sanitaire (idéal pour une piscine!)

21 Merci de votre attention Crédits: Marc Chiumento Jean-Louis Perrot Pierre Larrieu Fabien Wernli Xavier Canehan Yannick Perret