Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer. (IPSL Climate Modeling Center)

Transcription

1 Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer. (IPSL Climate Modeling Center) Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek, Philippe Weill, JL. Dufresne.

2 Laboratoires et tutelles 2

3 PLAN L activité de modélisation du Climat D un projet CMIP à l autre Accès et organisation des données CMIP5 Prodiguer et CMIP5 Analyses 3

4 Modèles de l'ipsl Conditions aux limites Émissions CO2 Utilisation des sols Composition Physique Transport Biogéochimie Chimie tropo & aérosols (INCA) Ozone starto. (Reprobus) Carbone / CO2 (Orchidée, Pisces) O3 aérosols CO2 Atmosphère (LMDZ) Continent (Orchidée) Coupleur (OASIS) Océan (Nemo) Glace de mer (LIM) Climat Émissions autres que CO2 Modèle du système Terre (ESM) Autres Volcans Insolation Relief GES Descente d échelles régionales : Statistique Dynamique 4

5 IPSL Earth System Model (ESM) Emissions Land use Tropospheric chemistry & aerosols (INCA) Atmosphere (LMDZ) Surface (ORCHIDEE) Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Volcanoes Solar irradiance Physic Transport Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Global climate Coupler (OASIS) Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies Dynamical Downscaling Statistical Downscaling Regional climate 5

6 IPSL Earth System Model (ESM) Emissions Land use Tropospheric chemistry & aerosols (INCA) Atmosphere (LMDZ) Surface (ORCHIDEE) Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Volcanoes Solar irradiance Physic Transport Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Global climate Coupler (OASIS) Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies Dynamical Downscaling Statistical Downscaling Regional climate 6

7 An Earth System Model (ESM) closes the carbon cycle Atmospheric circulation and radiation Climate Model (AOGCM) Sea Ice Ocean circulation Land physics and hydrology Atmospheric circulation and radiation Allows Interactive CO2 Earth System Model (ESM) Sea Ice Ocean ecology and Biogeochemistry Ocean circulation Plant ecology and land use Land physics and hydrology 7

8 Une simulation climatique METAFOR schema : METAFOR site : Why What How Experiment Simulation Model Input: Coupling Output: Data 1..* Requirement 0..* Conformance Software Component Name Properties Description Coupling Framework 0..1 Parent 0..* Child 8

9 Initialization: How is this done? Implications for you Modelers make a long Pre-industrial control -Typically 1850 or 1860 conditions Perturbation runs start from control - Model related to real years only through radiative forcing - Solar, volcanoes, human emissions, land use, etc. Each ensemble member an equally likely outcome Do not expect wiggles to match model vs obs 9

10 Coupled Model Intercomparison Project(s) 10

11 CMIP3/AR4 About 18 groups using 24 models participated. More than 1000 papers written using CMIP3 database Downloads continue at very high rate 11

12 CMIP3/AR4 Un intérêt qui ne se dément pas 12

13 Quelques chiffres CMIP3/AR4 AR 4 (Assessment Report #4), groupes de modélisation 35 Terabytes 77,000 fichiers Quantité de données distribuée : 303 Terabytes fichiers. Les groupes ont généré et exploités probablement 10x plus de données AR 5 (Assessment Report #5), ~ 2013 Un facteur 30 à 50 en volume Une volonté de distribué une plus grande proportion des données La base de données doit être distribuée 13

14 D'un projet CMIP à l'autre, d'un rapport du GIEC à l'autre CMIP3, IPCC-AR4 (2007) => Énorme succès de la base de données multi-modèles Changement de paradigme: analyse multi-modèles Utilisation au delà de la communauté des «climatologues» CMIP5, IPCC-AR5 (2013) => Des simulations «centennales» variées: 20 et 21è siècles (historiques + scénarios futurs) paléoclimat, dernier millénaire... SST forcée (AMIP, Chimie-Climat, très haute résolution...) => Des modèles de complexités différentes: Modèle climatique physique (AOGCM) Modèles avec cycle biogéochimique (modèle système Terre) Configurations idéalisées (aqua-planète,...) => Des simulations décennales 14

15 CMIP5/AR5 Un compte à rebours Fin 2009 Fin 2010 : Simulations Climatiques Mi 2010? : Distribution des données Fin 2010 Juillet 2012 : soumission des articles Septembre 2013 : IPCC AR5 WG1 session plénière Octobre 2014 : Prix Nobel? 15

16 Simulations proposées par CMIP-5 pour la préparation du 5e rapport du GIEC Évaluation Obs. Scénarios futurs Compréhension Analyse de forçages et des réponse Long terme (centennal) Court terme (décennal) 16

17 Simulations centennales proposées par CMIP5 pour la préparation du 5e rapport du GIEC Évolution du climat au 20e siècle Thématiques d'intérêt pour l'ipsl Climat-carbone ( C4MIP) Nuages (CFMIP) Paléoclimats Paléoclimat (PMIP) Évolution du climat au 21e siècle Estimation des forçages radiatifs Aérosols (AEROCOM) Emissions (GEIA) Ozone (CCMVal) Sensibilité climatique et rétroactions des nuages Couplage climat-carbone Chimie et aérosols 17

18 CMIP5/AR5 Quatre scénarios futures (dont un très optimiste) : RCP8.5, RCP6.0, RCP4.5, RCP 2.6 Noms basés sur le forçage en 2100 (W / m**2) Détail des émissions et concentrations sur : Travail à rebours pour les «modélisateurs Intégrés» Bâtir les scénarios d'activité correspondant à ces forçages 18

19 CMIP5/AR5 Concentration Scénarios définis en termes de forçage radiatif Travail en parallèle des communautés«climat» et «socioéconomique» Scénarios futurs incluant des politiques de contrôle des perturbations anthropiques Un scénarios pour limiter le réchauffement à 2 C environ Forçage radiatif 19

20 CMIP5/AR5 10 year hindcasts Initialized at 1960, 1965, ensemble members 30 year forecasts Initialized at 1960, 1980, ensemble members Near Term - Core

21 CMIP5/AR5 Near Term Tier 1 Investigate role of short live species Investigate alternative initialization methods 100 yr control and 1% run (if not doing long term experiments with same model) Increase ensemble size to 10+ Hindcast without volcanoes Runs initialized in 200X 2001, 2002, 2003, 2004, 2006, 2007, 2008, Prediction with Pinatubo-like event in

22 Modèles de l'ipsl CMIP5/AR5 LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS Modèle intégré du système Terre (ESM), physique éprouvée: IPSL-CM5A Basse résolution IPSL-CM5A-LR (3.75 x2 L39) Oce: 2 Simulations demandées (toutes) de sensibilité avec niveaux d'intégration Moyenne résolution IPSL-CM5A-MR (2.5 x1.25 L39) Oce: 2 Simulations demandées (principales) guidage mod. régionaux de sensibilité Modèle avec nouvelle physique IPSL-CM5B Basse résolution IPSL-CM5B-LR (2.5 x1.25 L39) Oce: 2 Simulations demandées (principales) Moyenne résolution (2.5 x1.25 L39) Oce: 2 Haute résolution (2 x1 L39) Oce:

23 Accéder aux résultats CMIP5 Contact cmip5-helpdesk (AT) stfc.ac.uk 23

24 CMIP5/AR5 Coupled Model Intercomparison Project (5) Coordination de l aspect données PCMDI: Communauté CMIP5 BADC et WDCC: Communauté Climat Européenne et IPCC working group 2 et 3 ( mandat IPCC-DATA.ORG) 3 Décembre 2008: MoU Tripartite (PCMDI, BADC, WDCC) > 20 groupes de modélisation du climat > 50 expériences numériques > 86 simulations pour satisfaire aux expériences > 6500 ans de simulation > 800 To d archive actuellement 1 Po (3 Po) envisagés d'ici 1 an (2 ans) 24

25 Modelers, PCMDI, JPL, ESA, Community Who does what? Produce Simulations & Projections & make them g available n i l job;s (HUGE e er odon nmodel focus t M e development) Model output archived in a uniform fashion to facilitate access and analysis. (Far from trivial see below) Sophisticated development and application of model diagnostics for evaluation (Observations needed here, but which ones?) M C P C Enormous Model Output/Complexity pre-industrial control k a e k W in L committed climate change SRES A2 720 ppm stabilization (SRES A1B) 550 ppm stabilization (SRES B1) 1%/year CO2 increase (to doubling) 1%/year CO2 increase (to quadrupling) slab ocean control 2xCO2 equilibrium AMIP , A S A N L& JP A ES To quantify and reduce uncertainty, this chain has to work. climate of the 20th Century (20C3M) 0 Develop global observations relevant to climate change research (Focus on hardware, retrievals, delivery) 26 Number of Models Waliser et al. 2009, Climatic Change, Submitted. present-day control D t e I. l a Identify and deliver/archive observations in form useful for model analysis (Requires model, obs and IT expertise) 25

26 IPSL EU FP7 : IS-ENES METAFOR CNRM CMCC EC-EARTH Distributed : 3.3 Po Earth System Grid Federation Adapted from Taylor, WGCM,

27 La Fédération Earth System Grid conduite par le PCMDI Données disponible auprès des groupes de modélisation (via ESG), et dans de multiples CORE centres. Données des groupes de modélisation Si chaque couleur représente les sorties d un groupe de modélisation, alors on peut voir que la structure est en hub, avec réplication au sein des noeuds centraux, et connections à des noeuds périphériques. CORE (au moins) TROIS COPIES Tout les centres qui fourniront des core-data ne rendront pas disponible le reste au sein de la fédération de sites. Plusieurs copies du CORE data ; ESG et d autres interfaces! 27

28 Data Node Architecture 28

29 ESGF GATEWAY HOW TO First register as a user with the CMIP5 research role How-to from CMIP5 website How-to from is-enes portal 29

30 Coupled Model Decadal Simulations # Short Name of Experiment (In CMIP5 output files this is recorded in the global attribute named experiment_id.) Experiment Name Experiment Description Year Per run Ensemble size requested (In CMIP5 output files this is recorded in the global attribute named experiment.) decadalxxxx* 10- or 30-year run initialized in year XXXX* decadal hindcasts/predictions, some extended to 30 years * novolcxxxx* volcano-free hindcasts hindcasts but without volcanoes volcin2010 prediction with 2010 volcano Pinatubo-like eruption imposed in year ** chemistry-focused runs near-term runs with enhanced chemistry/aerosol models

31 Coupled Model Long-Term Simulations 3.1 picontrol pre-industrial control coupled atmosphere/ocean pre-industrial control run historical historical simulation of recent past ( ) midholocene mid-holocene consistent with PMIP, impose Mid-Holocene conditions lgm last glacial maximum consistent with PMIP, impose last glacial maximum conditions past1000 last millennium consistent with PMIP, impose forcing for rcp45 RCP4.5 future projection ( ) forced by RCP rcp85 RCP8.5 future projection ( ) forced by RCP rcp26 RCP2.6 future projection ( ) forced by RCP rcp60 RCP6 future projection ( ) forced by RCP esmcontrol ESM pre-industrial control as in experiment 3.1, but emissions-forced (with atmospheric CO2 determined by model) esmhistorical ESM historical as in experiment 3.2, but emissions-forced (with atmospheric CO2 determined by model) esmrcp85 ESM RCP8.5 as in experiment 4.2, but emissions-forced (with atmospheric CO2 determined by model)

32 Coupled Model Long-Term Simulations esmfixclim1 ESM fixed climate 1 radiation code "sees" control CO2, but carbon cycle sees 1%/yr rise esmfixclim2 ESM fixed climate 2 radiation code "sees" control CO2, but carbon cycle sees historical followed by RCP4.5 rise in CO esmfdbk1 ESM feedback 1 carbon cycle "sees" control CO2, but radiation sees 1%/yr rise esmfdbk2 ESM feedback 2 carbon cycle "sees" control CO2, but radiation sees historical followed by RCP4.5 rise in CO pctCO2 1 percent per year CO2 imposed 1%/yr increase in CO2 to quadrupling abrupt4xco2 abrupt 4XCO2 impose an instantaneous quadrupling of CO2, then hold fixed historicalnat natural-only historical simulation but with natural forcing only historicalghg GHG-only historical simulation but with greenhouse gas forcing only historicalmisc* other historical forcing historical simulation but with other individual forcing agents or combinations of forcings historicalext historical extension extension of the historical simulation (experiment 3.2) through year

33 Atmosphere-Only Simulations AMIP AMIP (1979- at least 2008) 30 1 sst time-slice conditions for imposed a sstclim control SST climatology control run climatological SSTs & sea ice imposed b sstclim4xco2 CO2 forcing as in experiment 6.2a, but with 4XCO2 imposed a sstclimaerosol all aerosol forcing as in experiment 6.2a, but with aerosols from year 2000 of experiment b sstclimsulfate sulfate aerosol forcing as in experiment 6.2a, but with sulfate aerosols from year 2000 of experiment amip4xco2 4xCO2 AMIP AMIP ( ) conditions (experiment 3.3) but with 4xCO amipfuture AMIP plus patterned anomaly consistent with CFMIP, patterned SST anomalies added to AMIP conditions (experiment 3.3) a aquacontrol aqua planet control consistent with CFMIP, zonally uniform SSTs for oceancovered earth b aqua4xco2 4xCO2 aqua planet as in experiment 6.7a, but with 4XCO c aqua4k aqua planet plus 4K anomaly as in experiment 6.7a, but with a uniform 4K increase in SST amip4k AMIP plus 4K anomaly as in experiment 3.3, but with a uniform 4K increase in SST amip

34 Search 34

35 Login 35

36 Select 36

37 Get wget.sh 37

38 Credential 38

39 Organisation des données CMIP5 Objectif : Pouvoir exploiter directement les données produites par les autres centres Une «table» : Une liste de variables géophysiques Une fréquence de sortie parmi : year, mon, day, 6h, 3h, clim, fx Peut concerner un ou plusieurs milieux («realms»): Omon, Amon, Lmon, Oimon, cfmon, cfday aero, day, 6hLev, 6hrPlev, 3hr Peut concerner toute ou partie de la durée d'une simulation Un piège : un même nom de variable peut avoir des significations différentes dans deux tables. Ex : sbl dans Amon et LImon 39

40 Organisation des données CMIP5 contenu des «tables» Dictionnaire exhaustif des sorties CMIP5 (167 pages, 800 vars): Data Reference Syntax (DRS) Dans table Amon : 3D atmos sur 17 niveaux de pressions sauf cl, clw, cli, mc, phalf, pfull Dans table aero et cfmon : 3D atmos sur niveaux modèles. Dans table day : 3D atmos sur 7 niveaux de pressions Dans table cfday : 3D atmos sur niveaux modèles 6hLev : ta, ua, va, hus, psl : 3D atmos sur niveau modèle ; input à CORDEX 6hPlev : ta, ua, va, ps : 3D atmos sur 3 niveaux de pression 40

41 Organisation des données CMIP5 fichiers Un fichier = une variable géophysique pour une période d'un membre d'une simulation d'un modèle (et d'une table) Noms de fichiers de la «Data Reference Syntax» <variable name>_<mip table>_<model>_<experiment>_<ensemble member>[_<temporalsubset>].nc ta_amon_ipsl-cm5a-lr_historical_r5i1p1_ nc <variable name>, <MIP table>, <model>, <experiment>, and <ensemble member> are DRS components, The <temporal subset> is omitted for variables that are time-independent. ensemble_member : r<n>i<m>p<l> r : n d'état initial i : n de méthode d'initialisation p : n de version de «physique» (ou n de jeu de forçage pour historicalmisc) N=M=L= 0 pour les champs fixes 41

42 Organisation des données CMIP5 attributs globaux netcdf Le labo et le modèle :institution = "IPSL (Institut..)" ; / :institute_id = "IPSL" ; / :model_id = "IPSL-CM5A-LR" ; :contact = "ipsl-cmip5 _at_ ipsl.jussieu.fr... :comment = "... include natural and anthropogenic forcings..." ; :references = "...reference available here : ; :source = "IPSL-CM5A-LR (2010) : atmos : LMDZ4 (LMDZ4_v5, 96x95x39) ;... L'expérience :experiment_id = "historical" ; :forcing = "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA" ; :parent_experiment = "pre-industrial control" ; / :parent_experiment_id = "picontrol" ; :parent_experiment_rip = "r1i1p1" ; :branch_time = ; (en année (IPSL) ou en jours (CNRM) ou en seconde...) Fréquence et milieu :frequency = "mon" ; / :modeling_realm = "atmos" ; :tracking_id = "92c75dc8-a b8fc-b746156ccf21" 42

43 Controlled Vocabulary (CV) for Abbreviated Forcing Descriptors Abbrev. Forcing Description Abbrev. Forcing Description Nat natural forcing (a combination, not explicitly defined here, that might include, for example, solar and volcanic) LU land-use change Ant anthropogenic forcing (a mixture, not explicitly defined here, that might include, for example, well-mixed greenhouse gases, aerosols, ozone, and land-use changes). Sl solar irradiance (note: Sl is S followed by a lower case L, not an upper case I ) well-mixed greenhouse gases (a mixture, not explicitly defined here) Vl volcanic aerosol (note: Vl is V followed by a lower case L, not an upper case I ) SD anthropogenic sulfate aerosol, accounting only for direct effects SS sea salt SI anthropogenic sulfate aerosol, accounting only for indirect effects Ds Dust anthropogenic sulfate aerosol direct and indirect effects BC black carbon TO tropospheric ozone MD mineral dust SO stratospheric ozone OC organic carbon ozone (= tropospheric and stratospheric ozone) AA anthropogenic aerosols (a mixture of aerosols, not explicitly defined here) GHG SA (= SD + SI) Oz (= TO + SO) 43

44 CV for Modeling Center and Models Modeling Center (or Group) Institute ID Model Name The Centre for Australian Weather and Climate Research CAWCR ACCESS1.0 Beijing Climate Center, China Meteorological Administration BCC BCC-CSM1.1 College of Global Change and Earth System Science, Beijing Normal University GCESS BNU-ESM Canadian Centre for Climate Modelling and Analysis CCCMA CanESM2 CanCM4 CanAM4 University of Miami - RSMAS RSMAS CCSM4(RSMAS) National Center for Atmospheric Research NCAR CCSM4 CESM1(BGC) CESM1(CAM5) CESM1(CHEM,CAM5) CESM1(CHEM) CESM1(WACCM) National Centers for Environmental Prediction NCEP CFSv2 Centro Euro-Mediterraneo per I Cambiamenti Climatici CMCC CMCC-CESM CMCC-CM CMCC-CMS 44

45 CV for Modeling Center and Models Centre National de Recherches Meteorologiques / Centre Europeen de Recherche et Formation Avancees en Calcul Scientifique CNRM-CERFACS CNRM-CM5 Commonwealth Scientific and Industrial Research Organization in collaboration with Queensland Climate Change Centre of Excellence CSIRO-QCCCE CSIRO-Mk3.6 EC-EARTH consortium EC-EARTH EC-EARTH LASG, Institute of Atmospheric Physics, Chinese Academy of Sciences LASG-IAP FGOALS-G2.0 FGOALS-gl FGOALS-S2.0 The First Institute of Oceanography, SOA, China FIO FIO-ESM NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 NOAA Geophysical Fluid Dynamics Laboratory NOAA GFDL GFDL-CM2.1 GFDL-CM3 GFDL-ESM2G GFDL-ESM2M GFDL-HIRAM-C180 GFDL-HIRAM-C360 45

46 CV for Modeling Center and Models NASA Goddard Institute for Space Studies NASA GISS GISS-E2-H GISS-E2-H-CC GISS-E2-R GISS-E2-R-CC GISS-E2CS-H GISS-E2CS-R NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 National Institute of Meteorological Research/Korea Meteorological Administration NMR/KMA HadGEM2-AO Met Office Hadley Centre MOHC HadCM3 HadCM3Q HadGEM2-CC HadGEM2-ES HadGEM2-A Natural and Environmental Research Council/Met Office Hadley Centre undeclared HiGEM1.2 46

47 CV for Modeling Center and Models Institute for Numerical Mathematics INM INM-CM4 Institut Pierre-Simon Laplace IPSL IPSL-CM5A-LR IPSL-CM5A-MR IPSL-CM5B-LR Japan Agency for Marine-Earth Science and Technology, Atmosphere and Ocean Research Institute (The University of Tokyo), and National Institute for Environmental Studies MIROC MIROC-ESM MIROC-ESM-CHEM Atmosphere and Ocean Research Institute (The University of Tokyo), National Institute for Environmental Studies, and Japan Agency for Marine-Earth Science and Technology MIROC MIROC4h MIROC4m MIROC5 Max Planck Institute for Meteorology MPI-M MPI-ESM-HR MPI-ESM-LR MIP-ESM-P Meteorological Research Institute MRI MRI-AGCM3.2H MRI-AGCM3.2S MRI-CGCM3 MRI-ESM1 Norwegian Climate Centre NCC NorESM1-M 47

48 Organisation des données CMIP5 structure des répertoires (1) The standard CMIP5 output tool CMOR2 writes output files to a directory structure mapping DRS components to directory names as: <activity>/<product>/<institute>/<model>/<experiment>/ <frequency>/<modeling realm>/<variable name>/<ensemble member>/ /CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/atmos/tas/r3i2p1/ /CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p1/ This structure, based on a previous version of the DRS, is incompatible with the recommended current DRS directory structure (see after). 48

49 Organisation des données CMIP5 structure des répertoires (2) It is recommended that ESGF data nodes should layout datasets on disk mapping DRS components to directories as: <activity>/<product>/<institute>/<model>/<experiment>/<fre quency>/<modeling realm>/<mip table>/<ensemble member>/<version number>/<variable name>/<cmor filename>.nc /CMIP5/output1/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v /ta /CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai 49

50 Organisation des données CMIP5 structure des répertoires (3) output1 and output2 merge into a single directory: <activity>/merge/<institute>/<model>/<experiment>/<frequen cy>/<modeling realm>/<mip table>/<ensemble member>/<version number>/<variable name>/<cmor filename>.nc /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v /ta /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/latest/ta /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/latest/lai 50

51 Le projet IPSL Prodiguer S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan, H.Moulron, J. Raciazek, P.Weill, JL. Dufresne. Contact sdipsl (AT) ipsl.jussieu.fr 51

52 Prodiguer ; what's that? Calcul : ciclad.ipsl.jussieu.fr Cluster de calcul (20 nœuds dual quad-core AMD) «Climate analysis enabled» netcdf, cdo, ferret, matlab Stockage : /prodigfs/esg/cmip5/merge Sous ensemble CMIP5 (160 To 300 To début 2012) Support à l'analyse : Prodiguer Un portail «beau et intuitif» pour naviguer dans le sous ensemble CMIP5 : Un outil puissant de téléchargement CMIP5 (fonctionnalités proches du script type wget CMIP3) Un data node «maison» (accès opendap sur agrégation) (année = 1 20) 52

53 53

54 État des lieux CMIP5 : ESG The GOOD DOI pour les données (Digital Object Identifier) ESG ça marche The BAD Mais pas très bien d après moi Couche sécurité (cf licence) : c est louuurd The UGLY Les portails CMIP5 ne sont pas intuitifs Téléchargement complexe (+authentification/autorisation) Incohérence des arborescences des data nodes 54

55 État des lieux CMIP5 : IPSL The GOOD Collaboration au niveau nationale quant à l installation du nœud de données. (L IPSL a été moteur) IPSL et CNRM/CERFACS : parmi les 5 premiers groupes présents sur ESG (mars 2011) ~ 62% du volume de l archive CMIP5 vient de la communauté ENES (de l IPSL principalement) The VERY SURPRISING Le datanode IPSL distribuant les données stockés sur ciclad est la première machine en sortie de réseau de l UPMC (devant des serveurs distribuant linux). 55

56 État des lieux CMIP5 : IPSL The VERY SURPRISING 2011 Volume (To) / Nombre de fichiers téléchargés Avril : 1.26 To / 777 fichiers Mai : 2.96 To / 1855 fichiers Juin : 16.2 To / 7274 fichiers Juillet : 1.51 To / 2028 fichiers Août : 13.9 To / 8627 fichiers Septembre : 5.9 To / 1946 fichiers Octobre : 11.1 To / 8758 fichiers (Mi)Novembre: 28.5 To / fichiers Total : 81.6 To / fichiers Nombre de requêtes : A comparer avec les fichiers totaux! Nombre d IP ayant demandé un téléchargement :

57 État des lieux CMIP5 : financement actuel Source européenne: FP7 : METAFOR/IS-ENES/EGI Source internationale : G8 : projet ExArch Source nationale : GIS : Prodiguer. Future : ANR? Labellisation INSU PRODIGUER : refusé Dossiers classés A et considérés comme de bons projets pouvant sans conteste être labellisés, mais qui mériteraient certainement une ouverture nationale plus grande ou dont l implémentation doit être revue. PRODIGUER système de diffusion des données de modélisation, issues des exercices du GIEC, est un projet tout à fait intéressant mais dont le soutien comme SOERE peut faire débat. L avis du comité est que cette initiative mérite d être soutenue dans un cadre qu Allenvi pourrait déterminer. 57

58 En soutient de cette activité FP7 METAFOR : 60 Keuros. Work Package (WP) leader GIS Climat : PRODIGUER 118 Keuros. Porteur du projet. FP7 IS-ENES: 110 Keuros. Contact IPSL de 2 WP. FP7 EGI-INSPIRE : 100 Keuros. Contact IPSL d'un WP. G8 ExArch: 197 Keuros. PrincipaI Investigator (PI). Un financement cumulé de 585 Keuros sur 5 ans Trois ingénieurs recrutés sur ces projets (dans la continuité), le troisième depuis un an. 58

59 Les soutients potentiels EQUIPEX2 GENCI : DIP-HPC 70Keuros d'équipement pour l'ipsl. WP leader. Soumis en septembre Refusé. FP7 : IS-ENES2 260 Keuros. WP leader. Soumis en novembre

60 SCIENTIFIC PARTNER OR HPC COMPUTING CENTRES CCRT (CEA) IDRIS (CNRS) IPSL CORE (CMIP5+PMIP3+*MIP) HTTPS / X Meteo-France R&D HTTPS / X509 HTTPS / X509 PRODIGUER WEB SERVERS (IPSL) ESG GATEWAY HTTPS / OpenID HTTPS / X509 HTTPS / X509 METAFOR IS-ENES HTTPS / OpenID HTTPS / OpenID HTTPS / OpenID PRODIGUER COMMUNITY (Scientists, Researchers, Students) 60

61 Prodiguer portal CMIP5 subset query/access tools IPSL - METAFOR IS-ENES - ESGF M.Morgan, S.Denvil Contact Momipsl (AT) ipsl.jussieu.fr 61

62 62

63 Dashboard and data access 63

64 Start 64

65 Wait... 65

66 Search 66

67 Select 67

68 Tick it 68

69 Choose 69

70 copy/paste 70

71 Synchro-Data CMIP5 data access tools IPSL - ESGF - EGI J.Raciazek, S.Denvil Contact Jripsl (AT) ipsl.jussieu.fr 71

72 Overview Search for CMIP5 data in ESGF Metadata analysis File selection using DRS facets (realm, freq, experiment, ensemble, variable). So called template. Incremental search (keep track of what have already been downloaded) Compute total files size Check if all variables get a match in ESGF Transfer files from ESGF to local filesystem Transparent handling of x509 Certificate based security HTTP Parallel download 72

73 WARNING You should not use it to download files IPSL Climate Modeling Group supports : Centralized templates handling To avoid redundant downloads To avoid unnecessary network burden Prefer several small templates (not a big one) 73

74 Installation Retrieve installation script from synchro-data webpage Run the script with «-b» option to start installation in $HOME/synchro_data wget chmod +x install.sh./install.sh -b If you want to install in non default location, use «-t» option./install.sh -b -t /opt 74

75 Configuration Sign up to ESGF Set username and password Edit file.synchrodata_login Select which models to download Edit file MODELS Select which variables to download Edit file user_selections/default.txt 75

76 Template example experiments="historical amip decadal2000" ensembles="r1i1p1" #ensembles="all" variables[atmos][mon]="tas" variables[land][fx]="sftgif" variables[seaice][mon]="sic evap nshrice" variables[ocnbgchem][mon]="dissic fbddtalk" variables[atmos][mon]="ta hur clcalipso parasolrefl" 76

77 Usage Search for files Start download./start.sh -b Get download current status./start.sh -a [-t template]./start.sh -s Stop download./stop.sh 77

78 Usage (suite) Change priority (e.g. set higher priority for a template) Update model list./start.sh -e Retry transfer with error status./start.sh -c -p 1500 [-t template]./start.sh -j More options./start.sh -h 78

79 Output Data folder DB folder $HOME/synchro_data/data Use new DRS format $HOME/synchro_data/db Sqlite database with transfer information (status, duration, priority..) Log folder «get_data.log» and «synchro_data_transfert.log» for transfer related messages One log file per model for discovery related messages 79

80 Aggregation node CMIP5 subset aggregated files IPSL GIS Climat - IS-ENES A.Bhardwaj, S.Denvil Contact Abhipsl (AT) ipsl.jussieu.fr 80

81 Thredds 81

82 Dataset 82

83 Real file 83

84 Virtual File Aggregation 84

85 All in one 85

86 Aggrégation temporelle : préparatif sur CICLAD # # NETCDF4 # export PATH=/opt/netcdf4/gfortran/bin:${PATH} export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH} export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib # # CDO with opendap # export PATH=/home/laliberte/local/cdo/bin:${PATH} 86

87 Moyenne d'ensemble: #!/bin/ksh #set -vx experiment=historical which cdo set -A liste_file for EnsembleMember in ; do # test d'existence de l'aggregation wget --spider {experiment}.mon.atmos.amon.r${ensemblemember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$? if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]= else # aggregation absente echo failure fi done echo cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc 87

88 Variante autour de l'aggrégation Moyenne saisonnière cdo seasmean result.nc Moyenne mensuelle climatologique cdo ymonmean result.nc Moyenne annuelle cdo yearmean result.nc Regrillage en pré calculant le fichier de poids : cdo setgrid,ipsl.orca2_gridcf.nc inter.nc cdo genbic,r360x180 inter.nc remapweight.nc cdo remap, remapweight.nc inter.nc sst_regular.nc Et plus: cdo -h # 88

89 Perspectives CMIP à 10 ans Year Power factor Npp Resolution [km] Number of mesh points [millions] Ensemble size Number of variables Interval of 3-dimensional output (hours) Years simulated Storage density Distributed Archive Size (Pb) CMIP , , ,19 CMIP , , ,05 CMIP , , ,20 89