Plateforme de Calcul Intensif HPC de l lnstitut Pytheas

Transcription

1 Plateforme de Calcul Intensif HPC de l lnstitut Pytheas M. Libes, C. Pinazo Novembre 2012 Journées du M.I.O La Londe

2 Description du Cluster de calcul! Qu est ce qu un «cluster de calcul»? o Un ensemble de PC «gonflés» taillés pour le calcul " Reliés sur un réseau dédié " Infiniband " à très haute vitesse " 40Gb/s Permettant le calcul "parallèle " " possédant beaucoup de mémoire vive RAM (48Go) Permettant de charger de grosses matrices " Des processeurs puissants : Bi-processeurs quadcore (2*4) ou hexa-core (2*6) " Un stockage sur disque performants et volumineux 40To dédié à la sortie des modèles Nov Plateforme de calcul HPC Institut Pythéas 2

3 Description du Cluster de calcul! La photo! 1 nœud maitre +! 16 nœuds de calcul =! 200 cœurs! Baie de stockage Nov Plateforme de calcul HPC Institut Pythéas 3

4 Description du Cluster de calcul! Sur le plan logiciel le cluster possède tout un environnement de développement o Compilateurs : Fortran90, C, C++, Java o Librairies de parallélisation: parallélisation MPI o Progiciels scientifiques : Matlab, R o Librairies de visualisation de données : nco, ncview, ferret o Logiciels de génétique des populations, modèles d océanographie et de météorologie : Mrbayes, Migrate ROMS, MARS3D, Symphonie, ECO3M, Ichtyop WRF Nov Plateforme de calcul HPC Institut Pythéas 4

5 Combien ca coûte?! Cher...! 1 ère phase 2008 sur FdR du COM : 40k Architecture de base 8 noeuds! 2 ème Phase 2011 sur crédits Univmed : 32k Rajout de 8 nœuds Quelques apports du LOPB en disques et nœuds de calcul! 3 ème phase 2012 sur FEDER Oceanomed : 50k Baie de stockage de 40To Réseau Infiniband 40Gb/s! Nécessité de mutualiser ce type d'équipement au sein de l Institut Pythéas avec un " ticket d'entrée " géré par le SIP Nov Plateforme de calcul HPC Institut Pythéas 5

6 Comment utiliser le " cluster "?! Se rapprocher du SIP : Création du compte informatique et l'environnement de travail sur le cluster S'abonner à la liste cluster@pytheas.univ-amu.fr Prendre connaissance du WIKI (documentation utilisateur) Et lire un peu de documentation pour utiliser quelques commandes L'article du cluster sur le site WEB du SIP Nov Plateforme de calcul HPC Institut Pythéas 6

7 Qui l utilise? Une 30 aine d Utilisateurs principalement du M.I.O. 1 Utilisateur du Cerege 2 Utilisateurs de l IMBE Test effectués par des Utilisateurs de l OAMP pour voir si l on pourrait consacrer le cluster de Luminy au calcul parallèle et le cluster de l OAMP au calcul séquentiel Nov Plateforme de calcul HPC Institut Pythéas 7

8 Modélisation 3D Océano Modélisation couplée Physique/Biogéochimie Ex : Nouvelle-Calédonie (Thèse R. Fuchs) Nov Plateforme de calcul HPC Institut Pythéas 8

9 Modélisation 3D Météo (Ch. Yohia)!! Nov Plateforme de calcul HPC Institut Pythéas 9

10 Accès aux Enseignements La puissance de calcul du Cluster HPC est utilisée pour plusieurs UEs d enseignement de Master en Modélisation: Modélisation Hydrodynamique avec ROMS Modélisation couplée 2DH Leendertse/Bacher et al 1997 de l Etang de Thau Modélisation couplée MARS3D/ECO3M Modélisation couplée 1DV/ECO3M Nov Plateforme de calcul HPC Institut Pythéas 10

11 Nov Plateforme de calcul HPC Institut Pythéas 11

12 Comment fonctionne le " cluster "?! Le principe de fonctionnement Les utilisateurs se connectent sur le nœud " maitre " Déposent leur code de calcul Développent leur code de calcul, leur modèle, compilation exécutable Lancent l'exécution de leur modèle sur le cluster au travers d'un logiciel d'ordonnancement appelé SGE! L'ordonnanceur SGE Gère le lancement et l'exécution des divers calcul Attribut les calculs à tel ou tel nœud au cours du temps, en fonction de la charge Nov Plateforme de calcul HPC Institut Pythéas 12

13 Supervision du " cluster " Suivi de la consommation des ressources : RAM, disques, processeurs Nov Plateforme de calcul HPC Institut Pythéas 13