Intégration d'ibm idataplex au CC-IN2P3 Journée Utilisateurs HPC IBM Dominique Boutigny
Présentation du CC-IN2P3 n Le CC-IN2P3 fédère l'ensemble des moyens de calcul lourds de la communauté française de Physique des particules Physique nucléaire Physique des astro-particules Irfu dapn ia
Mission du CC-IN2P3 (2) Expériences de physique Physique Nucléaire Physique des particules Astro-particules Recherche fondamentale Masse de données 101000 100111 0001001010001 00011101 100010001111 00010 101000 100111 0001001010001 00011101 100010001111 00010 101000 100111 110001 111010 0001001010001101000 100111 0001001010001 00011101 1110 100010001111 00010 101000 00 11 0001100111 0001001010001 00011101 100010001111 00010 101000 100111 0001001010001 Traitement des données Publications Analyse des résultats
Expériences utilisant le CC-IN2P3
Le LHC On peut utiliser beaucoup de superlatifs pour qualifier le LHC ü Plus grand accélérateur du monde (27 km) ü L'un des plus grand instrument jamais construit ü Plus grande installation cryogénique ü Plus froid que l'espace interstellaire ü Mais des collisions 100 000 fois plus chaude que le coeur du soleil et ainsi de suite 4 expériences / collaborations internationales ALICE ATLAS CMS - LHCb
Le LHC Pourquoi faire? Le LHC va fournir des indices pour comprendre les questions les plus intrigantes de l'univers Quelle est l'origine de la masse? Pourquoi vivons nous dans un monde de matière et où est passée l'antimatière crée lors du BigBang? Quelle est la nature de la matière noire qui domine le contenu en matière de l'univers? Credit: NASA/WMAP Science Team http://map.gsfc.nasa.gov/m_mm.html Combien notre univers compte t'il de dimensions? 18 mars 2009
Balloon (30 Km) Le LHC Un énorme générateur de données CD stack with 1 year LHC data! (~ 20 Km) 15 pétaoctets de données chaque année Concorde (15 Km) Mt. Blanc (4.8 Km)
Évolution des ressources au CC-IN2P3 + 3 robots de stockage de masse (cassettes) 30 Po
Aujourd'hui le CC-IN2P3 c'est 1398 machines Linux 368 Machines Solaris Dont: 302 Thumpers / Thor Ø 14 496 disques 100 Machines AIX Ø 2416 RAMs Ø 604 CPUs
Évolution de la puissance électrique kw Seuil de disjonction Seuil de sécurité Accroissement de 490W / jour! Budget élec. 2009: 600 k
Efficacité électrique des CPU Pour optimiser les équipements il faut raisonner en fonction du rapport A / ksi2k Puissance électrique / Puissance informatique Est devenu l'un des éléments prépondérant des cahiers des charges Moore Valeurs mesurées
Consommation des disques La consommation du stockage sur disque est loin d'être négligeable 1 SUN X4500: ~1000 W è disques de 500 Go 17 To utile / serveur è ~60W / To Nouvelle génération X4540 è disques de 1 To On gagne un facteur 2 à chaque changement de technologie Optimisation de la consommation des serveurs de stockage? Ajout de cache SSD Modification des drivers pour arrêter les disques inactifs è Technologie MAID (Massive array of idle disks) Voir par exemple: http://www.green-bytes.com/zfsplusnew.html
Le problème du refroidissement A moins d'avoir un système aéraulique complexe, Le refroidissement par air suppose de traiter le volume complet de la salle informatique è Peu efficace
Refroidissement Organisation en allées chaudes / allées froides Serveurs Capotage Reprise d'air chaud Armoire de clim
Un comportement non intuitif Un monitoring efficace est indispensable afin de Mercredi 8de avrilla 2009 comprendre en temps réel le fonctionnement salle
Plus il fait chaud moins il fait froid! Puissance électrique consommée ~20 kw / oc! Température extérieure
Comment survivre? Améliorer l efficacité du refroidissement Air è Eau Arrière La dernière acquisition de CPU inclut la fourniture de racks refroidis à l eau Système IBM i-dataplex 252+160 serveurs (5 racks) Intel 5430 LV 2.66 GHz 50 W 85 kw total ~pas de chaleur en dehors des racks Aussi efficace que des racks entièrement fermés ~Aussi dense que des Blades et moins cher que des lames Avant Échangeur sur porte arrière
La suite Petit à petit les serveurs (CPU, stockage et services) vont être installés dans des racks refroidis à l'eau Porte refroidie: test Ok ØTrès efficace ØÉchangeur eau glacée / eau froide (18 oc) ØPas de condensation Le CC-IN2P3 va également tester d'autres systèmes de racks refroidis è Acquisition d'une expérience qui sera profitable lors de la réalisation de notre future salle informatique
Nouvelle salle informatique La salle actuelle a atteint son extrême limite (plus de redondance) Projet de construction d'une nouvelle salle informatique moderne On vise une puissance électrique ~5 MW sur 800 m2 Salle informatique pour l'informatique Infrastructure technique en dessous (ou au dessus ) 3 zones: Ø Haute disponibilité (réseau services critiques) Ø Redondance N+1 + courant secouru (stockage) Ø Redondance N+1 + autonomie 10 minutes (calcul)
Démarche environnementale L'extension s'inscrit dans le cadre du projet éco-campus de l'université de Lyon (UCBL) Convention avec l'ucbl: Le CC-IN2P3 fournira de l'eau chaude pour le chauffage des bâtiments proches Contrainte: Température ~50-55 oc è Nécessite un chauffage adapté La récupération de la chaleur constitue un moyen de valorisation simple et efficace Fourni malheureusement le maximum de chaleur en été è Pré-chauffage de l'eau chaude sanitaire (idéal pour une piscine!)
Merci de votre attention Crédits: Marc Chiumento Jean-Louis Perrot Pierre Larrieu Fabien Wernli Xavier Canehan Yannick Perret