Les enjeux du calcul intensif. pour Météo-France

Transcription

1 Les enjeux du calcul intensif pour Météo-France Réunion novembre 2015 Alain BEURAUD Chef de projet «CALCUL HAUTE PERFORMANCE» Sommaire Un (ou plutôt 2) supercalculateur(s), pour quoi faire? La stratégie de Météo-France en matière de calcul intensif L exploitation actuelle des calculateurs Les évolutions à courte échéance Et quid pour le futur? 1

2 La protection des personnes et des biens : de l observation à l avertissement Le supercalculateur est au cœur du dispositif! PNT : l apport de la configuration BULL (AROME HR) Situation du 2/8/201 à 19hUTC 2

3 PNT : une progression continue au fil des ans Les progrès de la modélisation globale à Météo-France au fil du temps Et le positionnement du modèle Arpège au niveau international La progression de la puissance de calcul est un des facteurs clés ayant permis d atteindre ces résultats, mais il y en a d autres (observation dont télédétection, assimilation, paramètrisations, algorithmes précis mais peu coûteux, ) Stratégie HPC : des contrats de 5 6 ans en 2 phases Calcul 2013 / durée : les objectifs sont de couvrir les besoins de Météo-France (et de ses partenaires) en matière de calcul intensif pour une durée de 5/6ans ans ( /19) Calcul 2013 / architecture : la puissance de calcul demandée est scindée en 2 entités (1 machine à vocation «opérationnel» ; une à vocation «recherche»), avec bascule possible des opérations de l une sur l autre. Calcul 2013 / infrastructure : la salle calcul sur la Météopole étant saturée, une partie de la configuration devra être installée à distance (Espace Clément Ader à Toulouse / Montaudran) Calcul 2013 / démarche : l augmentation de puissance de calcul se fait en 2 phases (une première étape fin 2013/début 201, une seconde étape début 2016). Pour répondre aux besoins du Contrat d Objectifs et de Performances, besoin d un gain effectif d au moins 10 à en phase 1, d au moins 2 à 3 en phase 2. Calcul 2013 / transition et deadline : le nouveau système se devait d être apte à assurer la production opérationnelle au plus tard en janvier 201 (fin du contrat NEC : 6 février 201) 3

4 2 salles calcul, situées à km l une de l autre Lien direct : bleu et vert Lien de secours (non actif aujourd hui) : rouge Phase 1, calculateur 1 : Beaufix Le calculateur CNC en quelques mots : - BULLx DLC710 - Intel/Xeon Ivy Bridge - ni GPU, ni MIC noeuds (32, 8 ou 256 Go) coeurs (2.7 Ghz) - 69 Tflops Linpack (89.7% peak) - technologie DLC (15 / 20 C) Stockage temporaire et semi-temporaire basé sur un système de fichiers LUSTRE : 2 Pétaoctets (NetApp E5500), bande passe de 69 Gb/s Stockage permanent basé sur NFS : 209 Téraoctets (NetApp FAS6280) Interconnect basé sur une architecture Infiniband FDR en fat-tree (3 Mellanox top switch SX6536)

5 Phase 1, calculateur 2 : Prolix Le calculateur ECA en quelques mots : - BULLx DLC710 - Intel/Xeon Ivy Bridge - ni GPU, ni MIC noeuds (32, 8 ou 256 Go) coeurs (2.7 Ghz) - 6 Tflops Linpack (90.7% peak) - technologie DLC (15 / 20 C) Stockage temporaire et semi-temporaire basé sur un système de fichiers LUSTRE : 1,5 Pétaoctets (NetApp E5500), bande passe de 6 Gb/s Stockage permanent basé sur NFS : 135 Téraoctets (NetApp FAS6280) Interconnect basé sur une architecture Infiniband FDR en fat-tree (3 Mellanox top switch SX6536) L augmentation de la complexité au niveau applicatif AROME OPERATIONNEL : évolution du taux de parallélisation Machine Résolution Nbre de nœuds utilisés Nbre de tâches MPI/ noeud Nbre de threads OMP / tâches Nbre de threads effectués en // NEC SX9 (2013) 2.5km L60 (750 x 720 pts) 3 16 NA BULLx (1/01/201) 2.5km L60 (750 x 720 pts) (HPT) 1152 BULLx (avril 2015) 1.3km L90 (1536 x 10 pts) 0 + (HPT) 960 5

6 Un nouveau schéma d entrées/sorties dans nos modèles de PNT SCHEMA «NEC» SCHEMA «BULL» Mode opérationnel ou mode recherche : un coût bien différent! AROME FR700 / 30h / impi _intel13183 Nodes calcul MPI/nœud OMP/MPI #threads/node Total Nodes NPROMA srun temps tot. Nodes*Temps ,76 211, , , , , , 2078, , , ,8 2258, , ,01 662, , ,6 5632, , , ,1 6711, , ,6 0899, , , , , , , ,83 6

7 Exploitation des calculateurs BULL à Météo-France Evolution de la charge mensuelle des calculateurs BULL Charge "Beaufix" (CNC) Charge "Prolix" (ECA) Taux d'utilisation Juil Aout Sept Oct Déc Jan Fév Avr Mai Juin Juil Aout Sept Oct Déc Jan Fév Avr Mai Juin Juil Aout Sept Oct La chaîne de prévision opérationnelle à Météo-France 7

8 Les contraintes associées à la prod. opérationnelle Ressources occupées par l opérationnel sur le calculateur ECA (23/11/15 matin) : Deux objectifs contradictoires : optimiser temps de restitution et charge machine Taux d utilisation oper / Taux d utilisation recherche 8

9 HPC et stockage : un couple très lié! Installation d une solution BULL/IBM HPSS en 2015 Joint proposal BULL / IBM : - servers : BULL R23 (Intel Xeon EP Ivy Bridge E V2) - HSM software : HPSS disk solution : NET APP E5500 (with 6 TB disks NL SAS) - library technology : IBM TS tape drive technology : IBM TS1150 (Jaguar 5) - remote library : IBM TS remote tape drive : IBM LTO6 9

10 Evolution de la puissance de calcul prévue en TFlops crête 56 châssis bullx DLC 1008 nœuds de calcul Intel Ivy Bridge EP Fat Tree InfiniBand FDR Lustre 2 Po, 69 Go/s Stockage permanent 209 To bullx SCS Centre National de Calcul 2, PFlops crête 56 + châssis bullx DLC 1836 nœuds de calcul Intel Broadwell EP Fat Tree InfiniBand FDR Lustre 3,57 Po, 138 Go/s Stockage permanent 00 To bullx SCS Calculateur C1 (09/2013) Calculateur C3 (08/2016) * Remplacement des lames IvyBridge par des lames Broadwell TFlops crête 55 châssis bullx DLC 990 nœuds de calcul Intel Ivy Bridge EP Fat Tree InfiniBand FDR Lustre 1,53 Po, 6 Go/s Stockage permanent 135 To bullx SCS Calculateur C2 (03/201) Espace Clément Ader 2, PFlops crête châssis bullx DLC 1800 nœuds de calcul Intel Broadwell EP Fat Tree InfiniBand FDR Lustre 2,8 Po, 92 Go/s Stockage permanent 135 To bullx SCS Calculateur C (02/2016) De la Phase 1 à la Phase 2 Configuration Cible par Calculateur Facteur de Gain Opérationnel Processeurs Génération Nombre de cœurs par socket Nombre de cœurs par noeud Nombre de cœurs par calculateur (Beaufix / Prolix) Fréquence (GHz) Mémoire par nœud de calcul (Go) Mémoire par nœud de transfert (Go) Nombre de nœuds de calcul (Beaufix / Prolix) Puissance crête (TFlops) Espace disque LUSTRE (Po) (Beaufix / Prolix) Nombre de châssis (Beaufix / Prolix) Température maximale en entrée DLC Consommation Linpack(kW) max (Beaufix / Prolix) Phase 1 2,18 E v2 Ivy Bridge / , ( nœuds) 1008 ( ) / 990 ( ) 523 / 5 1,5 / 2,5 56 / C 38 / 69 Phase 2 7,7 E v Broadwell / , (8 nœuds) 1836 ( ) / 1800 ( ) 267 / 219 3,5 / 2,8 102 / 100 (ferme) 38 C 916/898 10

11 Vigilance Un des objectifs majeurs de Phase 2 : la prévision d ensemble AROME Apport de la PNT déterministe dans la prévision des tempêtes synoptiques PE Arome Tempête Xynthia Carte diffusée le février 2010 à 16h PE Arome du 2 oct. à 21h Prévisions pour le 3 oct. de rafales à 1h et AROME 21h 30h Indice de convection (DirOP/Labo) Prévision des phénomènes dangereux Utilisation de la prévision d ensemble pour la prévision des phénomènes remarquables Prévision du Vigilance 10/3/2013 du 3 oct. pour 2015 le à 11h /3/2013 Vigilance rouge neige en Normandie Production opérationnelle J2-J3 pour la Sécurité Civile (PEARP et EPS) Production en test J - J7 (EPS) CPPN du 2 novembre 2015 Point 2 Positionnement de la configuration HPC de MF fin

12 Phase 2 : le nouveau calendrier Peak rate (Petaflops) 5,5 3,5 3 2,5 2 1,5 1 0,5 0 Juillet Juillet Juillet Juillet Juillet Juillet Juil Evolution du système d archivage au fil des ans Storage capacity (PB) Number of files (Millions) Mean daily throughput (TB/day) Double copy storage Capacity (TB) IBM Library Double Copy 1 TS TS TS TS500 1 TS TS TS500 1 TS TS TS500 1 TS TS TS500 1 TS3310 Number of Drives Jag 5 : Jag 6 : LTO6 : Capacity on disk (PB) 3,2 6,2 1, 17

13 Un exemple de portage de code Météo sur GPU PORTAGE DU CODE «COSMO»SUR GPU au CSCS COSMO 2 (2 km) Meteoswiss, 2h run, 520 x 350 x 60 grid points Comparaison socket à socket, avec 9 nœuds de calcul, sur CRAY XK7 : GPU nodes : AMD Opteron CPU (using 1 cores) + K20x GPU CPU nodes : AMD Opteron CPU (using all 16 cores) Stratégie de portage : -Effort de portage conséquent, par des experts en algorithmique - Difficultés de maintenance de la version GPU (CUDA et OpenACC non normalisés, pb de lisibilité, de portabilité ) - Le code «restructuré» pour GPU, quand il revient sur CPU, bénéficie d un gain de 1.8 Un exemple de portage de code Météo sur MIC PORTAGE DU CODE «WRF» SUR MIC au NCAR/NREL 13

14 Une voie quasi certaine : toujours plus de cœurs! Le parallélisme massif impose-t-il de revoir... la nature même du modèle, et donc, par exemple, sa grille de calcul? Beaucoup de travaux ces dernières années: pas de consensus dans la communauté Météo Internationale sur le type de grille de calcul optimal dans le futur : grille stretchée, grilles icosaédriques, grilles Yin-Yang, modèle en points de grille, Estimation CEP + MF + Met Office + DWD : il faudrait au moins 10 ans entre la réécriture totale d un cœur dynamique avec une nouvelle grille et le passage du modèle ainsi réécrit en opérationnel! Le prochain appel d offres «calcul» à MF Cible : installer un calculateur fin 2018 Contrainte : notifier le marché en juillet (voire en avril) 2018 ce qui implique : - mener le dialogue compétitif sur 2017 et début 2018? - lancer l appel à candidatures début 2017 (voire fin 2016) - conduire l exercice «RAPS» durant l été définir la stratégie HPC et préparer les codes début 2016 On s y met dès qu on aura arrosé l upgrade de notre calculateur ECA! 1

15 Merci pour votre attention Des questions? 15