ClimServ. Service Données et Calcul de l IPSL. Sophie Cloché, Karim Ramage

Transcription

1 ClimServ Service Données et Calcul de l IPSL Sophie Cloché, Karim Ramage

2 ClimServ : Présentation 1/2 Objectifs : Favoriser et faciliter l accl accès s et l exploitation l des données d intd intérêt commun, Mutualiser les ressources techniques et humaines autour de ces données, Mettre à disposition des moyens pour la gestion de données dans le cadre de projets IPSL nationaux et internationaux. Mise en œuvre : Mise à disposition de grands jeux de données alliées à des moyens de calcul pour l ensemble l de l IPSL, l Outil de travail pour de nombreux groupes de l IPSL, l Support technique pour de multiples projets.

3 ClimServ : Présentation 2/2 Historique Créé en 1996 par J. L. Monge au LMD Palaiseau en réponse r au besoin des utilisateurs autour des thèmes rayonnement / climat, Composante du centre de données de l IPSL l depuis 2003, Nouvelle architecture en 2004: Support technique pour le Centre d Expertise ICARE IPSL (CExII( CExII). Personnel Gestion de données : S. Cloché,, K. Ramage Administration système : K. Ramage, (J. Lenseigne,, LMD, pour la sauvegarde J. Lenseigne ou P. Raberanto en cas d absence) d Gestion technique autour des différents projets : S. Cloché,, K. Ramage

4 ClimServ : Les données Données orientées es plutôt grands jeux : données satellite niveau 1,2,3,4 (Meteosat( Meteosat/MSG, ISCCP, bilan radiatif, TRMM, Calipso, Cloudsat,, A-Train, A AMSU ) sorties modèle (NCEP, NCEP2, ERA40/ECMWF, Analyses ECMWF, ) climatologies (GPCP, OISST, NVAP, ) Bases de données thématiques : INDOEX: centre européen en de données (données satellite, modèles, ballons) AMMA : bases de données satellites et modèles du programme AMMA SIRTA (Site instrumental de recherche par télédétection t tection atmosphérique): stockage, calcul et sauvegarde des données d observation d sol

5 ClimServ : Les utilisateurs ClimServ est ouvert à tout membre de l IPSL l souhaitant : Exploiter des données hébergh bergées es sur ClimServ, 150 utilisateurs enregistrés s (ayant un compte SSH) Liste de diffusion : climserv-users@ipsl.polytechnique.fr Héberger, distribuer ses données, si elles ont un intérêt pour la communauté : Flux turbulents, Climatologie des radiances ciel clair WV de Meteosat, Climatologie de bilan radiatif, Emissivité de surface Micro-Ondes Ondes. Utiliser l infrastructure l de ClimServ comme soutien pour un projet : CExII (Calipso( Calipso,, Megha-Tropiques, CloudSsat, ) AMMA (AMMA-SAT, AMMA-MOD, MOD, AOC-Paris, AMMA-MIP, MIP, ALMIP, Bilan d eau, eau, ) SIRTA (Méditerran diterranée) e) CFMIP, Claris,, Vasco,

6 ClimServ : Les moyens d accd accès Accès s intensifs : Login : accès s direct à l ensemble des données et aux serveurs de calcul, FTP : accès s direct aux fichiers (anonyme ou privé), OpenDAP (aka DODS) : permet d accd accéder à un fichier local ou distant par une adresse http depuis son application C, fortran, Ferret, Accès s ponctuels : Catalogue via le web Live Access Server (LAS): permet la visualisation et l extraction l ponctuelle de données (image, netcdf,, série s temporelle, calcul simple,..)

7 ClimServ en pratique : les logiciels Compilateurs : GNU (gcc( gcc,, g++, g77, g95) Intel (ifort( ifort, icc, idb) PGI (pgf77, pgf90, pgcc, pgdbg) Bibliothèques : NetCDF, HDF, HDF5, HDFEOS, HDFEOS5, Udunits Lam-MPI, Lapack,, blitz++, cernlib, Ncarg, dislin,,... Visualisation, traitement et analyse : IDL, Matlab,, Ferret, grads,, R, GMT, CDAT,... Documentation : «man est ton ami» Site Web de ClimServ : ( Documentations officielles dans la rubrique «Documentation» Aide pratique dans «Support technique» A venir : Tutoriaux, trucs et astuces fournis par les utilisateurs experts. + programmes utiles demandés s par les utilisateurs.

8 ClimServ en pratique : le matériel Stockage Myrddin Web et FTP Perceval Fibre Channel Loholt1 Camelot Loholt2 Données Fibre Channel Homes Réseau 1Gbits Sauvegarde Robot LTO-3 88 x 400 Go Disques 12 To Calcul Bohort1 Cluster (Merlin)

9 ClimServ actuel : le stockage 4 To réservr servés s aux Homes des utilisateurs, 55 To : /bdd/ : données archivées communes ou à accès s restreint : cache des données ICARE (A-Train, ), Espaces gérés g s par ClimServ pour des projets particuliers (Megha( Megha-Tropiques, Calipso/Cloudsat Cloudsat,, réanalyses r TOVS/ATOVS, AMMA, SIRTA), données d intd intérêt communs (Meteosat( Meteosat, ISCCP, ECMWF, NCEP, ) Stockage Données Fibre Channel Myrddin Fibre Channel Homes 1 serveur de fichiers

10 ClimServ : Evolution du stockage Calcul Sauvegarde Stockage Myrddin Fibre Channel Myrddin 1 Myrddin 2 Myrddin 3 Myrddin 4 Données Fibre Channel Homes Données ~ 100 To Homes ~ 12 To Nouveau Stockage

11 ClimServ actuel : le calcul Loholt1 Loholt2 Bohort1 Camelot Calcul : 4 serveurs 32 et 64 bits dédid diés s aux traitements interactifs, 1 ferme de calcul de 23 processeurs. Calcul Cluster (Merlin)

12 ClimServ : Evolution du calcul Loholt1 Loholt2 Loholt1 Loholt2 Réseau 1Gbits Camelot Réseau 1Gbits Camelot Bohort1 Calcul Cluster (Merlin) Bohort1 Bohort2 Nouveau Calcul Cluster (Merlin) 43 cœurs

13 ClimServ : la sauvegarde Sauvegarde Robot LTO-3 80 x 400 Go Disques 12 To Sauvegarde /Archivage : 1 robot d une d capacité de 32 To natifs pour les sauvegardes absolues 12 To de disques pour les sauvegardes incrémentales et différentielles

14 ClimServ : le Web et le FTP Web et FTP Perceval Web et FTP : 1 serveur hébergeant h 6 sites Web et 6 sites FTP

15 ClimServ : L infrastructurel Salle informatique : Aile 0 Fournie par DSI de Polytechnique Entretenue par le SIE de Polytechnique 1 salle accueillant les serveurs du LMD et ClimServ 2 groupes de climatisation sur courant redondé Courant secouru par un onduleur de 300 KVA (pour l ensemble l des labos de l école Polytechnique) Dimensionnement : Possibilité de doubler le nombre de serveurs et de baies de ClimServ Equipement actuel : 3 armoires 42 U Installation électrique prévue pour 7 armoires