Calcul Haute Performance & Données Plan de l exposé CALMIP : news Evolution Matérielle Evolution des systèmes de calcul (CALMIP) Evolution Applicative Modélisation et Calcul haute performance Calcul haute performance et traitement de la données Perspectives Nicolas Renon (Ingénieur en Calcul Scientifique) Journée Ingénieur Statisticien 27 Janvier 2014 Page 1
CALMIP : Mésocentre de Calcul TF / cores European 100 000 National 10 000 Mesocentre 1000 Labos. Mésocentre CALMIP : Proximité Contexte fort de Production Multi-thématique Journée Ingénieur Statisticien 27 Janvier 2014 Page 2
CALMIP : Les Labos utilisateurs Pôle Science de la Matière: CEMES - Centre d'elaboration de Matériaux et d'etudes Structurales (UPR 8011) CIRIMAT - Centre Inter-universitaire de Recherche et d ingénierie des Matériaux (UMR 5085) IMRCP - Laboratoire des Interactions Moléculaires et Réactivité Chimique et Photochimique (UMR 5623) LCC - Laboratoire de Chimie de Coordination (UPR 8241) LNCMI - Laboratoire National des Champs Magnétiques Intenses (UPR 3228) LCAR - Laboratoire Collisions Agrégats Réactivité (UMR 5589) LCPQ - Laboratoire de Chimie et de Physique Quantiques (UMR 5626) LPCNO - Laboratoire de Physique et Chimie des Nano-Objets (UMR 5215) LPT - Laboratoire de Physique Théorique (UMR 5152) Pôle Univers Planète Environnement Espace : IRAP - Institut de Recherche en Astrophysique et Planétologie CNRM/GAME - Centre National de Recherches Météorologiques (URA 1357) LA - Laboratoire d'aérologie (UMR 5560) LEGOS - Laboratoire d'etudes en Géophysique et Océanographie Spatiale (UMR 5566) LMTG - Laboratoire des Mécanismes et Transferts en Géologie (UMR 5563) Pôle Mathématiques Sciences et Technologies de l Information et de l Ingénierie : ICA - Institut Clément Ader IMFT - Institut de Mécanique des Fluides de Toulouse (UMR 5502) IMT - Institut de Mathématiques de Toulouse (UMR 5219) IRIT - Institut de Recherche en Informatique de Toulouse (UMR 5505) LAAS - Laboratoire d'analyse et d'architecture des Systèmes (UPR 8001) LGC - Laboratoire de Génie Chimique (UMR 5503) LAPLACE - Laboratoire Plasma et Conversion d'energie (UMR 5213) Pôle Sciences du Vivant : IPBS - Institut de Pharmacologie et de Biologie Structurale (UMR 5089) LIPM - Laboratoire des Interactions Plantes Micro-organismes (UMR 2594) EDB - Evolution et Diversité Biologique (UMR 5174) INSERM U563, dept. Oncologie LISBP Journée Ingénieur Statisticien 27 Janvier 2014 Page 3
2014 : 4th system in production #5? #4 Eos #1 Magellan 0,04 Tflop 64 cores #2 Soleil 1,5 Tflop 512 cores #3 Hyperion 37 TF 3 424 cores 280 TF 12 240 cores? TF?cores 1999 2005-2009 2010-2014 2014-2018 2018-? Comment mettre ces chiffres en perspective? Journée Ingénieur Statisticien 27 Janvier 2014 Page 4
Calcul et Loi de Moore Loi de Moore: Les lois de Moore sont des lois empiriques qui ont trait à l'évolution de la puissance des ordinateurs et de la complexité du matériel informatique. Au sens strict, on ne devrait pas parler de lois de Moore mais de conjectures de Moore puisque les énoncés de Moore ne sont en fait que des suppositions. Source : WIKIPEDIA (FR) http://fr.wikipedia.org/wiki/loi_de_moore Moore's law is the observation that, over the history of computing hardware, the number of transistors on integrated circuits doubles approximately every two years. The law is named after Intel co-founder Gordon E. Moore, who described the trend in his 1965 paper. [1][2][3] His prediction has proven to be accurate, in part because the law is now used in the semiconductor industry to guide long-term planning and to set targets for research and development. [4] Source : WIKIPEDIA (ENG) http://en.wikipedia.org/wiki/moore s_law Proposition d énoncé de la «Loi de Moore» «quelque chose» double tout les 18 mois «quelque chose» = transistors «quelque chose» lié à la «performance» C est une «loi» exponentielle Peut-elle durer? (vraie depuis 30 ans) Journée Ingénieur Statisticien 27 Janvier 2014
Evolution matérielle Systèmes de Calcul période 1999-2004 2005-2009 2010-2014 2014-2018* nom systeme Magellan Soleil Moore's Law PredicAon 3 vs. Soleil Hyperion Moore's Law PredicAon vs. Hyperion Eos Stockage «Brut 1» To 0,8 6 306 1230 Calcul TF 2 0,04 1,5 0,4 38 15,1 274 Budget (adimensionalisé!) 1 2 4 4 1 «Brut» vs. «Utile» La protection des données par rapport à des pannes matérielles consomme de l espace disque 2 TF = Téraflop/s ; Mille milliard d opération par seconde 1 TF = 1 colonne de papier de 100km de haut (méso-sphère/météores) 3 prédiction loi de Moore : sur une période de 5 ans, on multiplie par 2 (5x2/3) la puissance de calcul (soit environ 10) Journée Ingénieur Statisticien 27 Janvier 2014
Calcul Haute Performance & Données Retour Expérience HYPERION Temporary Storage : Lustre 180 To Utiles 2014 : 80% plein Le Mur de la Donnée! Journée Ingénieur Statisticien 27 Janvier 2014 Page 7
Calcul Haute Performance & Données Plan de l exposé CALMIP : news Evolution Matérielle (Quantitatif) Evolution des capacités d un système de calcul (CALMIP) Evolution Applicative (Qualitatif) Modélisation et Calcul haute performance Calcul haute performance et traitement de la données Perspectives Journée Ingénieur Statisticien 27 Janvier 2014 Page 8
Répartition Demandes par Thématiques scientifiques année 2014 SPI 2% biologie molécules 4% SDU 18% Chimie quantique 16% biologie molécules Chimie quantique Mécanique des fluides Physique théorique et moléculaire 10% Physico-chimie des matériaux 25% Mécanique des fluides 24% Méthodes et algorithmes numériques Physico-chimie des matériaux Physique théorique et moléculaire SDU Méthodes et algorithmes numériques 1% 2010 2011 2012 2013 2014 demande h_cpu 5 352 500 15 302 500 21 492 000 24 567 064 288 881 300 nbre projets 93 121 143 152 163 Journée Ingénieur Statisticien 27 Janvier 2014
Calcul Haute Performance & Données Application / Usage du Calcul Haute Performance Simuler par le calcul les modèles Résoudre l Equation de Schrödinger Physico-chimie matériaux, physique théorique et moléculaire, chimie quantique, biologie-molécules Résoudre Equation aux Dérivées Partielles (EDP) Mécanique des milieux continus Mécanique des Fluides, Sciences pour l Ingénieur Science de l Univers (Océans Atsmosphère, Astrophysique, etc ) Données Entrées Calcul/Prédiction Journée Ingénieur Statisticien 27 Janvier 2014 Page 10
Calcul Haute Performance & Données Application / Usage du Calcul Haute Performance Simulation numérique de l'hydrodynamique et des transferts dans les réacteurs gaz-particules à lit fluidisé O. Simonin H. Neau et al. Code EDF Neptune Résolution de Navier-Stokes pour des fluides di-phasiques Parallèlisation [Message Passing Interface : MPI] Découpage en sous-domaine / communication aux interfaces 2 M h_cpu / an Calcul sur 64 à 512 cores (sur CALMIP/Hyperion) Données Entrées Calcul/Prédiction Maillage à 3 000 000 éléments / Partition en 64 domaines - 46 000 éléments par sous-domaines Images : merci à Hervé Neau Institut de Mécanique des Fluides de Toulouse Journée Ingénieur Statisticien 27 Janvier 2014
Calcul Haute Performance & Données Application / Usage du Calcul Haute Performance Calcul Haute Performance pour traiter la donnée? Année 2007 Réduction de données spectropolarimétriques du télescope THEMIS au sein du service BASS2000 (IRAP) F. Paltou, N. Meunier (Thématique : Astrophysique) Pb de minimisation / code maison parallèle F77 Année 2010 Impact de la fragmentation des cours d'eau sur l'histoire démographique des communautés de poissons Géraldine Loot (EcoExMoulis USR CNRS) (Thématique : Ecologie Evolutive Science de la vie) Markov Chain/ Code R, MSVAR, parallèlisation «triviale» sur les données (indépendance des traitements) Mesure des vitesses horizontales de la surface solaire T. Roudier (IRAP) (Thématique : Astrophysqiue) Code Fortran, Parallèlisé mémoire partagée OpenMP Calcul/traitement Données Journée Ingénieur Statisticien 27 Janvier 2014 Page 12
Calcul Haute performance pour traiter la donnée Mesure des vitesses horizontales de la surface solaire T. Roudier (IRAP) (Thématique : Astrophysqiue) Code Fortran, Parallèlisé mémoire partagée OpenMP 5 000 h_cpu / an Calculs sur 32 cores à 64 cores Calcul Traitement Journée Ingénieur Statisticien 27 Janvier 2014 Données
Perspectives Calcul haute performance et données Quel impact sur les infrastructure de calcul? Supercomputing 2013 Denver : Big Data «every where» Data centric model Journée Ingénieur Statisticien 27 Janvier 2014 Page 14