Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer. (IPSL Climate Modeling Center)

Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer. (IPSL Climate Modeling Center) Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek, Philippe Weill, JL. Dufresne.

Laboratoires et tutelles 2

PLAN 1. 2. 3. 4. 5. L activité de modélisation du Climat D un projet CMIP à l autre Accès et organisation des données CMIP5 Prodiguer et CMIP5 Analyses 3

Modèles de l'ipsl Conditions aux limites Émissions CO2 Utilisation des sols Composition Physique Transport Biogéochimie Chimie tropo & aérosols (INCA) Ozone starto. (Reprobus) Carbone / CO2 (Orchidée, Pisces) O3 aérosols CO2 Atmosphère (LMDZ) Continent (Orchidée) Coupleur (OASIS) Océan (Nemo) Glace de mer (LIM) Climat Émissions autres que CO2 Modèle du système Terre (ESM) Autres Volcans Insolation Relief GES Descente d échelles régionales : Statistique Dynamique 4

IPSL Earth System Model (ESM) Emissions Land use Tropospheric chemistry & aerosols (INCA) Atmosphere (LMDZ) Surface (ORCHIDEE) Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Volcanoes Solar irradiance Physic Transport Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Global climate Coupler (OASIS) Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies Dynamical Downscaling Statistical Downscaling Regional climate 5

IPSL Earth System Model (ESM) Emissions Land use Tropospheric chemistry & aerosols (INCA) Atmosphere (LMDZ) Surface (ORCHIDEE) Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Volcanoes Solar irradiance Physic Transport Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Global climate Coupler (OASIS) Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies Dynamical Downscaling Statistical Downscaling Regional climate 6

An Earth System Model (ESM) closes the carbon cycle Atmospheric circulation and radiation Climate Model (AOGCM) Sea Ice Ocean circulation Land physics and hydrology Atmospheric circulation and radiation Allows Interactive CO2 Earth System Model (ESM) Sea Ice Ocean ecology and Biogeochemistry Ocean circulation Plant ecology and land use Land physics and hydrology 7

Une simulation climatique METAFOR schema : http://metaforclimate.eu/trac/browser/cim/tags/version-1.5 METAFOR site : http://www.purl.org/org/esmetadata/cim/portal Why What How Experiment Simulation Model Input: Coupling Output: Data 1..* Requirement 0..* Conformance Software Component Name Properties Description Coupling Framework 0..1 Parent 0..* Child 8

Initialization: How is this done? Implications for you Modelers make a long Pre-industrial control -Typically 1850 or 1860 conditions Perturbation runs start from control - Model related to real years only through radiative forcing - Solar, volcanoes, human emissions, land use, etc. Each ensemble member an equally likely outcome Do not expect wiggles to match model vs obs 9

Coupled Model Intercomparison Project(s) http://cmip-pcmdi.llnl.gov/cmip5/ 10

CMIP3/AR4 About 18 groups using 24 models participated. More than 1000 papers written using CMIP3 database Downloads continue at very high rate 11

CMIP3/AR4 Un intérêt qui ne se dément pas 12

Quelques chiffres CMIP3/AR4 AR 4 (Assessment Report #4), 2007 18 groupes de modélisation 35 Terabytes 77,000 fichiers Quantité de données distribuée : 303 Terabytes 1 098 000 fichiers. Les groupes ont généré et exploités probablement 10x plus de données AR 5 (Assessment Report #5), ~ 2013 Un facteur 30 à 50 en volume Une volonté de distribué une plus grande proportion des données La base de données doit être distribuée 13

D'un projet CMIP à l'autre, d'un rapport du GIEC à l'autre CMIP3, IPCC-AR4 (2007) => Énorme succès de la base de données multi-modèles Changement de paradigme: analyse multi-modèles Utilisation au delà de la communauté des «climatologues» CMIP5, IPCC-AR5 (2013) => Des simulations «centennales» variées: 20 et 21è siècles (historiques + scénarios futurs) paléoclimat, dernier millénaire... SST forcée (AMIP, Chimie-Climat, très haute résolution...) => Des modèles de complexités différentes: Modèle climatique physique (AOGCM) Modèles avec cycle biogéochimique (modèle système Terre) Configurations idéalisées (aqua-planète,...) => Des simulations décennales 14

CMIP5/AR5 Un compte à rebours Fin 2009 Fin 2010 : Simulations Climatiques Mi 2010? : Distribution des données Fin 2010 Juillet 2012 : soumission des articles Septembre 2013 : IPCC AR5 WG1 session plénière Octobre 2014 : Prix Nobel? 15

Simulations proposées par CMIP-5 pour la préparation du 5e rapport du GIEC Évaluation Obs. Scénarios futurs Compréhension Analyse de forçages et des réponse Long terme (centennal) Court terme (décennal) 16

Simulations centennales proposées par CMIP5 pour la préparation du 5e rapport du GIEC Évolution du climat au 20e siècle Thématiques d'intérêt pour l'ipsl Climat-carbone ( C4MIP) Nuages (CFMIP) Paléoclimats Paléoclimat (PMIP) Évolution du climat au 21e siècle Estimation des forçages radiatifs Aérosols (AEROCOM) Emissions (GEIA) Ozone (CCMVal) Sensibilité climatique et rétroactions des nuages Couplage climat-carbone Chimie et aérosols 17

CMIP5/AR5 Quatre scénarios futures (dont un très optimiste) : RCP8.5, RCP6.0, RCP4.5, RCP 2.6 Noms basés sur le forçage en 2100 (W / m**2) Détail des émissions et concentrations sur : http://www.iiasa.ac.at/web-apps/tnt/rcpdb/dsd?action=htmlpage&page=welcome Travail à rebours pour les «modélisateurs Intégrés» Bâtir les scénarios d'activité correspondant à ces forçages 18

CMIP5/AR5 Concentration Scénarios définis en termes de forçage radiatif Travail en parallèle des communautés«climat» et «socioéconomique» Scénarios futurs incluant des politiques de contrôle des perturbations anthropiques Un scénarios pour limiter le réchauffement à 2 C environ Forçage radiatif 19

CMIP5/AR5 10 year hindcasts Initialized at 1960, 1965, 1970 3+ ensemble members 30 year forecasts Initialized at 1960, 1980, 2005 3+ ensemble members 1965 1960 Near Term - Core 1970 1975 1980 1985 1990 1995 2000 2005 2010 2030 20

CMIP5/AR5 Near Term Tier 1 Investigate role of short live species Investigate alternative initialization methods 100 yr control and 1% run (if not doing long term experiments with same model) Increase ensemble size to 10+ Hindcast without volcanoes Runs initialized in 200X 2001, 2002, 2003, 2004, 2006, 2007, 2008, Prediction with Pinatubo-like event in 2010 21

Modèles de l'ipsl CMIP5/AR5 LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS Modèle intégré du système Terre (ESM), physique éprouvée: IPSL-CM5A Basse résolution IPSL-CM5A-LR (3.75 x2 L39) Oce: 2 Simulations demandées (toutes) de sensibilité avec niveaux d'intégration Moyenne résolution IPSL-CM5A-MR (2.5 x1.25 L39) Oce: 2 Simulations demandées (principales) guidage mod. régionaux de sensibilité Modèle avec nouvelle physique IPSL-CM5B Basse résolution IPSL-CM5B-LR (2.5 x1.25 L39) Oce: 2 Simulations demandées (principales) Moyenne résolution (2.5 x1.25 L39) Oce: 2 Haute résolution (2 x1 L39) Oce: 0.5 22

Accéder aux résultats CMIP5 Contact cmip5-helpdesk (AT) stfc.ac.uk 23

CMIP5/AR5 Coupled Model Intercomparison Project (5) Coordination de l aspect données PCMDI: Communauté CMIP5 BADC et WDCC: Communauté Climat Européenne et IPCC working group 2 et 3 ( mandat IPCC-DATA.ORG) 3 Décembre 2008: MoU Tripartite (PCMDI, BADC, WDCC) > 20 groupes de modélisation du climat > 50 expériences numériques > 86 simulations pour satisfaire aux expériences > 6500 ans de simulation > 800 To d archive actuellement 1 Po (3 Po) envisagés d'ici 1 an (2 ans) 24

Modelers, PCMDI, JPL, ESA, Community Who does what? Produce Simulations & Projections & make them g available n i l job;s (HUGE e er odon nmodel focus t M e development) Model output archived in a uniform fashion to facilitate access and analysis. (Far from trivial see below) Sophisticated development and application of model diagnostics for evaluation (Observations needed here, but which ones?) M C P C Enormous Model Output/Complexity pre-industrial control k a e k W in L committed climate change SRES A2 720 ppm stabilization (SRES A1B) 550 ppm stabilization (SRES B1) 1%/year CO2 increase (to doubling) 1%/year CO2 increase (to quadrupling) slab ocean control 2xCO2 equilibrium AMIP 2 4 6 8 10 12 14 16 18 20 22 24, A S A N L& JP A ES To quantify and reduce uncertainty, this chain has to work. climate of the 20th Century (20C3M) 0 Develop global observations relevant to climate change research (Focus on hardware, retrievals, delivery) 26 Number of Models Waliser et al. 2009, Climatic Change, Submitted. present-day control D t e I. l a Identify and deliver/archive observations in form useful for model analysis (Requires model, obs and IT expertise) 25

http://is.enes.org IPSL EU FP7 : IS-ENES METAFOR CNRM CMCC EC-EARTH Distributed : 3.3 Po Earth System Grid Federation Adapted from Taylor, WGCM, 2010 26

La Fédération Earth System Grid conduite par le PCMDI Données disponible auprès des groupes de modélisation (via ESG), et dans de multiples CORE centres. Données des groupes de modélisation Si chaque couleur représente les sorties d un groupe de modélisation, alors on peut voir que la structure est en hub, avec réplication au sein des noeuds centraux, et connections à des noeuds périphériques. CORE (au moins) TROIS COPIES Tout les centres qui fourniront des core-data ne rendront pas disponible le reste au sein de la fédération de sites. Plusieurs copies du CORE data ; ESG et d autres interfaces! 27

Data Node Architecture 28

ESGF GATEWAY HOW TO First register as a user with the CMIP5 research role. http://pcmdi3.llnl.gov http://cmip-gw.badc.rl.ac.uk http://ipcc-ar5.dkrz.de How-to from CMIP5 website http://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html How-to from is-enes portal https://verc.enes.org/help/how-to-./esgf-gateways/ 29

Coupled Model Decadal Simulations # Short Name of Experiment (In CMIP5 output files this is recorded in the global attribute named experiment_id.) Experiment Name Experiment Description Year Per run Ensemble size requested (In CMIP5 output files this is recorded in the global attribute named experiment.) 1.1 1.2 1.5 decadalxxxx* 10- or 30-year run initialized in year XXXX* decadal hindcasts/predictions, some extended to 30 years 10-30 3* 10 1.3 novolcxxxx* volcano-free hindcasts hindcasts but without volcanoes 10-30 3 1.4 volcin2010 prediction with 2010 volcano Pinatubo-like eruption imposed in year 2010 10-30 3 1.6 ** chemistry-focused runs near-term runs with enhanced chemistry/aerosol models 10-30 1 30

Coupled Model Long-Term Simulations 3.1 picontrol pre-industrial control coupled atmosphere/ocean pre-industrial control run 500 1 3.2 historical historical simulation of recent past (1850-2005) 156 1 3.4 midholocene mid-holocene consistent with PMIP, impose Mid-Holocene conditions 100 1 3.5 lgm last glacial maximum consistent with PMIP, impose last glacial maximum conditions 100 1 3.6 past1000 last millennium consistent with PMIP, impose forcing for 850-1850 1000 1 4.1 rcp45 RCP4.5 future projection (2006-2300) forced by RCP4.5 95295 1 4.2 rcp85 RCP8.5 future projection (2006-2300) forced by RCP8.5 95295 1 4.3 rcp26 RCP2.6 future projection (2006-2300) forced by RCP2.6 95295 1 4.4 rcp60 RCP6 future projection (2006-2100) forced by RCP6 95 1 5.1 esmcontrol ESM pre-industrial control as in experiment 3.1, but emissions-forced (with atmospheric CO2 determined by model) 250 1 5.2 esmhistorical ESM historical as in experiment 3.2, but emissions-forced (with atmospheric CO2 determined by model) 156 1 5.3 esmrcp85 ESM RCP8.5 as in experiment 4.2, but emissions-forced (with atmospheric CO2 determined by model) 95 1 31

Coupled Model Long-Term Simulations 5.4-1 esmfixclim1 ESM fixed climate 1 radiation code "sees" control CO2, but carbon cycle sees 1%/yr rise 140 1 5.4-2 esmfixclim2 ESM fixed climate 2 radiation code "sees" control CO2, but carbon cycle sees historical followed by RCP4.5 rise in CO2 251 1 5.5-1 esmfdbk1 ESM feedback 1 carbon cycle "sees" control CO2, but radiation sees 1%/yr rise 140 1 5.5-2 esmfdbk2 ESM feedback 2 carbon cycle "sees" control CO2, but radiation sees historical followed by RCP4.5 rise in CO2 251 1 6.1 1pctCO2 1 percent per year CO2 imposed 1%/yr increase in CO2 to quadrupling 140 1 6.3 abrupt4xco2 abrupt 4XCO2 impose an instantaneous quadrupling of CO2, then hold fixed 150 1 7.1 historicalnat natural-only historical simulation but with natural forcing only 156 1 7.2 historicalghg GHG-only historical simulation but with greenhouse gas forcing only 156 1 7.3 historicalmisc* other historical forcing historical simulation but with other individual forcing agents or combinations of forcings. 156 1 7.4 historicalext historical extension extension of the historical simulation (experiment 3.2) through year 2012. 7 1 32

Atmosphere-Only Simulations AMIP AMIP (1979- at least 2008) 30 1 sst2030 2030 time-slice conditions for 2026-2035 imposed 10 1 6.2a sstclim control SST climatology control run climatological SSTs & sea ice imposed 30 1 6.2b sstclim4xco2 CO2 forcing as in experiment 6.2a, but with 4XCO2 imposed 30 1 6.4a sstclimaerosol all aerosol forcing as in experiment 6.2a, but with aerosols from year 2000 of experiment 3.2 30 1 6.4b sstclimsulfate sulfate aerosol forcing as in experiment 6.2a, but with sulfate aerosols from year 2000 of experiment 3.2 30 1 6.5 amip4xco2 4xCO2 AMIP AMIP (1979-2008) conditions (experiment 3.3) but with 4xCO2 30 1 6.6 amipfuture AMIP plus patterned anomaly consistent with CFMIP, patterned SST anomalies added to AMIP conditions (experiment 3.3) 30 1 6.7a aquacontrol aqua planet control consistent with CFMIP, zonally uniform SSTs for oceancovered earth 5 1 6.7b aqua4xco2 4xCO2 aqua planet as in experiment 6.7a, but with 4XCO2 5 1 6.7c aqua4k aqua planet plus 4K anomaly as in experiment 6.7a, but with a uniform 4K increase in SST 5 1 6.8 amip4k AMIP plus 4K anomaly as in experiment 3.3, but with a uniform 4K increase in SST 30 1 3.3 amip 2.1 33

Search 34

Login 35

Select 36

Get wget.sh 37

Credential 38

Organisation des données CMIP5 Objectif : Pouvoir exploiter directement les données produites par les autres centres Une «table» : Une liste de variables géophysiques Une fréquence de sortie parmi : year, mon, day, 6h, 3h, clim, fx Peut concerner un ou plusieurs milieux («realms»): Omon, Amon, Lmon, Oimon, cfmon, cfday aero, day, 6hLev, 6hrPlev, 3hr Peut concerner toute ou partie de la durée d'une simulation Un piège : un même nom de variable peut avoir des significations différentes dans deux tables. Ex : sbl dans Amon et LImon 39

Organisation des données CMIP5 contenu des «tables» Dictionnaire exhaustif des sorties CMIP5 (167 pages, 800 vars): Data Reference Syntax (DRS) http://pcmdi-cmip.llnl.gov/cmip5/docs/standard_output.xls http://cmip-pcmdi.llnl.gov/cmip5/docs/cmip5_data_reference_syntax.pdf Dans table Amon : 3D atmos sur 17 niveaux de pressions sauf cl, clw, cli, mc, phalf, pfull Dans table aero et cfmon : 3D atmos sur niveaux modèles. Dans table day : 3D atmos sur 7 niveaux de pressions Dans table cfday : 3D atmos sur niveaux modèles 6hLev : ta, ua, va, hus, psl : 3D atmos sur niveau modèle ; input à CORDEX 6hPlev : ta, ua, va, ps : 3D atmos sur 3 niveaux de pression 40

Organisation des données CMIP5 fichiers Un fichier = une variable géophysique pour une période d'un membre d'une simulation d'un modèle (et d'une table) Noms de fichiers de la «Data Reference Syntax» <variable name>_<mip table>_<model>_<experiment>_<ensemble member>[_<temporalsubset>].nc ta_amon_ipsl-cm5a-lr_historical_r5i1p1_195001-200512.nc <variable name>, <MIP table>, <model>, <experiment>, and <ensemble member> are DRS components, The <temporal subset> is omitted for variables that are time-independent. ensemble_member : r<n>i<m>p<l> r : n d'état initial i : n de méthode d'initialisation p : n de version de «physique» (ou n de jeu de forçage pour historicalmisc) N=M=L= 0 pour les champs fixes 41

Organisation des données CMIP5 attributs globaux netcdf Le labo et le modèle :institution = "IPSL (Institut..)" ; / :institute_id = "IPSL" ; / :model_id = "IPSL-CM5A-LR" ; :contact = "ipsl-cmip5 _at_ ipsl.jussieu.fr... :comment = "... include natural and anthropogenic forcings..." ; :references = "...reference available here : http://icmc.ipsl.fr" ; :source = "IPSL-CM5A-LR (2010) : atmos : LMDZ4 (LMDZ4_v5, 96x95x39) ;... L'expérience :experiment_id = "historical" ; :forcing = "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA" ; :parent_experiment = "pre-industrial control" ; / :parent_experiment_id = "picontrol" ; :parent_experiment_rip = "r1i1p1" ; :branch_time = 2000. ; (en année (IPSL) ou en jours (CNRM) ou en seconde...) Fréquence et milieu :frequency = "mon" ; / :modeling_realm = "atmos" ; :tracking_id = "92c75dc8-a117-4827-b8fc-b746156ccf21" 42

Controlled Vocabulary (CV) for Abbreviated Forcing Descriptors Abbrev. Forcing Description Abbrev. Forcing Description Nat natural forcing (a combination, not explicitly defined here, that might include, for example, solar and volcanic) LU land-use change Ant anthropogenic forcing (a mixture, not explicitly defined here, that might include, for example, well-mixed greenhouse gases, aerosols, ozone, and land-use changes). Sl solar irradiance (note: Sl is S followed by a lower case L, not an upper case I ) well-mixed greenhouse gases (a mixture, not explicitly defined here) Vl volcanic aerosol (note: Vl is V followed by a lower case L, not an upper case I ) SD anthropogenic sulfate aerosol, accounting only for direct effects SS sea salt SI anthropogenic sulfate aerosol, accounting only for indirect effects Ds Dust anthropogenic sulfate aerosol direct and indirect effects BC black carbon TO tropospheric ozone MD mineral dust SO stratospheric ozone OC organic carbon ozone (= tropospheric and stratospheric ozone) AA anthropogenic aerosols (a mixture of aerosols, not explicitly defined here) GHG SA (= SD + SI) Oz (= TO + SO) 43

CV for Modeling Center and Models Modeling Center (or Group) Institute ID Model Name The Centre for Australian Weather and Climate Research CAWCR ACCESS1.0 Beijing Climate Center, China Meteorological Administration BCC BCC-CSM1.1 College of Global Change and Earth System Science, Beijing Normal University GCESS BNU-ESM Canadian Centre for Climate Modelling and Analysis CCCMA CanESM2 CanCM4 CanAM4 University of Miami - RSMAS RSMAS CCSM4(RSMAS) National Center for Atmospheric Research NCAR CCSM4 CESM1(BGC) CESM1(CAM5) CESM1(CHEM,CAM5) CESM1(CHEM) CESM1(WACCM) National Centers for Environmental Prediction NCEP CFSv2 Centro Euro-Mediterraneo per I Cambiamenti Climatici CMCC CMCC-CESM CMCC-CM CMCC-CMS 44

CV for Modeling Center and Models Centre National de Recherches Meteorologiques / Centre Europeen de Recherche et Formation Avancees en Calcul Scientifique CNRM-CERFACS CNRM-CM5 Commonwealth Scientific and Industrial Research Organization in collaboration with Queensland Climate Change Centre of Excellence CSIRO-QCCCE CSIRO-Mk3.6 EC-EARTH consortium EC-EARTH EC-EARTH LASG, Institute of Atmospheric Physics, Chinese Academy of Sciences LASG-IAP FGOALS-G2.0 FGOALS-gl FGOALS-S2.0 The First Institute of Oceanography, SOA, China FIO FIO-ESM NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 NOAA Geophysical Fluid Dynamics Laboratory NOAA GFDL GFDL-CM2.1 GFDL-CM3 GFDL-ESM2G GFDL-ESM2M GFDL-HIRAM-C180 GFDL-HIRAM-C360 45

CV for Modeling Center and Models NASA Goddard Institute for Space Studies NASA GISS GISS-E2-H GISS-E2-H-CC GISS-E2-R GISS-E2-R-CC GISS-E2CS-H GISS-E2CS-R NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 National Institute of Meteorological Research/Korea Meteorological Administration NMR/KMA HadGEM2-AO Met Office Hadley Centre MOHC HadCM3 HadCM3Q HadGEM2-CC HadGEM2-ES HadGEM2-A Natural and Environmental Research Council/Met Office Hadley Centre undeclared HiGEM1.2 46

CV for Modeling Center and Models Institute for Numerical Mathematics INM INM-CM4 Institut Pierre-Simon Laplace IPSL IPSL-CM5A-LR IPSL-CM5A-MR IPSL-CM5B-LR Japan Agency for Marine-Earth Science and Technology, Atmosphere and Ocean Research Institute (The University of Tokyo), and National Institute for Environmental Studies MIROC MIROC-ESM MIROC-ESM-CHEM Atmosphere and Ocean Research Institute (The University of Tokyo), National Institute for Environmental Studies, and Japan Agency for Marine-Earth Science and Technology MIROC MIROC4h MIROC4m MIROC5 Max Planck Institute for Meteorology MPI-M MPI-ESM-HR MPI-ESM-LR MIP-ESM-P Meteorological Research Institute MRI MRI-AGCM3.2H MRI-AGCM3.2S MRI-CGCM3 MRI-ESM1 Norwegian Climate Centre NCC NorESM1-M 47

Organisation des données CMIP5 structure des répertoires (1) The standard CMIP5 output tool CMOR2 writes output files to a directory structure mapping DRS components to directory names as: <activity>/<product>/<institute>/<model>/<experiment>/ <frequency>/<modeling realm>/<variable name>/<ensemble member>/ /CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/atmos/tas/r3i2p1/ /CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p1/ This structure, based on a previous version of the DRS, is incompatible with the recommended current DRS directory structure (see after). 48

Organisation des données CMIP5 structure des répertoires (2) It is recommended that ESGF data nodes should layout datasets on disk mapping DRS components to directories as: <activity>/<product>/<institute>/<model>/<experiment>/<fre quency>/<modeling realm>/<mip table>/<ensemble member>/<version number>/<variable name>/<cmor filename>.nc /CMIP5/output1/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta /CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai 49

Organisation des données CMIP5 structure des répertoires (3) output1 and output2 merge into a single directory: <activity>/merge/<institute>/<model>/<experiment>/<frequen cy>/<modeling realm>/<mip table>/<ensemble member>/<version number>/<variable name>/<cmor filename>.nc /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/latest/ta /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/latest/lai 50

Le projet IPSL Prodiguer S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan, H.Moulron, J. Raciazek, P.Weill, JL. Dufresne. Contact sdipsl (AT) ipsl.jussieu.fr 51

Prodiguer ; what's that? Calcul : ciclad.ipsl.jussieu.fr Cluster de calcul (20 nœuds dual quad-core AMD) «Climate analysis enabled» netcdf, cdo, ferret, matlab Stockage : /prodigfs/esg/cmip5/merge Sous ensemble CMIP5 (160 To 300 To début 2012) Support à l'analyse : Prodiguer Un portail «beau et intuitif» pour naviguer dans le sous ensemble CMIP5 : https://prodiguer.ipsl.fr Un outil puissant de téléchargement CMIP5 (fonctionnalités proches du script type wget CMIP3) Un data node «maison» (accès opendap sur agrégation) (année 1 10 + 11 20 = 1 20) 52

53

État des lieux CMIP5 : ESG The GOOD DOI pour les données (Digital Object Identifier) ESG ça marche The BAD Mais pas très bien d après moi Couche sécurité (cf licence) : c est louuurd The UGLY Les portails CMIP5 ne sont pas intuitifs Téléchargement complexe (+authentification/autorisation) Incohérence des arborescences des data nodes 54

État des lieux CMIP5 : IPSL The GOOD Collaboration au niveau nationale quant à l installation du nœud de données. (L IPSL a été moteur) IPSL et CNRM/CERFACS : parmi les 5 premiers groupes présents sur ESG (mars 2011) ~ 62% du volume de l archive CMIP5 vient de la communauté ENES (de l IPSL principalement) The VERY SURPRISING Le datanode IPSL distribuant les données stockés sur ciclad est la première machine en sortie de réseau de l UPMC (devant des serveurs distribuant linux). 55

État des lieux CMIP5 : IPSL The VERY SURPRISING 2011 Volume (To) / Nombre de fichiers téléchargés Avril : 1.26 To / 777 fichiers Mai : 2.96 To / 1855 fichiers Juin : 16.2 To / 7274 fichiers Juillet : 1.51 To / 2028 fichiers Août : 13.9 To / 8627 fichiers Septembre : 5.9 To / 1946 fichiers Octobre : 11.1 To / 8758 fichiers (Mi)Novembre: 28.5 To / 17238 fichiers Total : 81.6 To / 48503 fichiers Nombre de requêtes : 2 659 584 A comparer avec les 48 503 fichiers totaux! Nombre d IP ayant demandé un téléchargement : 415 56

État des lieux CMIP5 : financement actuel Source européenne: FP7 : METAFOR/IS-ENES/EGI Source internationale : G8 : projet ExArch Source nationale : GIS : Prodiguer. Future : ANR? Labellisation INSU PRODIGUER : refusé Dossiers classés A et considérés comme de bons projets pouvant sans conteste être labellisés, mais qui mériteraient certainement une ouverture nationale plus grande ou dont l implémentation doit être revue. PRODIGUER système de diffusion des données de modélisation, issues des exercices du GIEC, est un projet tout à fait intéressant mais dont le soutien comme SOERE peut faire débat. L avis du comité est que cette initiative mérite d être soutenue dans un cadre qu Allenvi pourrait déterminer. 57

En soutient de cette activité FP7 METAFOR : 60 Keuros. Work Package (WP) leader GIS Climat : PRODIGUER 118 Keuros. Porteur du projet. FP7 IS-ENES: 110 Keuros. Contact IPSL de 2 WP. FP7 EGI-INSPIRE : 100 Keuros. Contact IPSL d'un WP. G8 ExArch: 197 Keuros. PrincipaI Investigator (PI). Un financement cumulé de 585 Keuros sur 5 ans Trois ingénieurs recrutés sur ces projets (dans la continuité), le troisième depuis un an. 58

Les soutients potentiels EQUIPEX2 GENCI : DIP-HPC 70Keuros d'équipement pour l'ipsl. WP leader. Soumis en septembre 2011. Refusé. FP7 : IS-ENES2 260 Keuros. WP leader. Soumis en novembre 2011. 59

SCIENTIFIC PARTNER OR HPC COMPUTING CENTRES CCRT (CEA) IDRIS (CNRS) IPSL CORE (CMIP5+PMIP3+*MIP) HTTPS / X509... Meteo-France R&D HTTPS / X509 HTTPS / X509 PRODIGUER WEB SERVERS (IPSL) ESG GATEWAY HTTPS / OpenID HTTPS / X509 HTTPS / X509 METAFOR IS-ENES HTTPS / OpenID HTTPS / OpenID HTTPS / OpenID PRODIGUER COMMUNITY (Scientists, Researchers, Students) 60

Prodiguer portal CMIP5 subset query/access tools IPSL - METAFOR IS-ENES - ESGF M.Morgan, S.Denvil Contact Momipsl (AT) ipsl.jussieu.fr 61

https://prodiguer.ipsl.fr/ 62

Dashboard and data access 63

Start 64

Wait... 65

Search 66

Select 67

Tick it 68

Choose 69

copy/paste 70

Synchro-Data CMIP5 data access tools IPSL - ESGF - EGI J.Raciazek, S.Denvil Contact Jripsl (AT) ipsl.jussieu.fr 71

Overview Search for CMIP5 data in ESGF Metadata analysis File selection using DRS facets (realm, freq, experiment, ensemble, variable). So called template. Incremental search (keep track of what have already been downloaded) Compute total files size Check if all variables get a match in ESGF Transfer files from ESGF to local filesystem Transparent handling of x509 Certificate based security HTTP Parallel download 72

WARNING You should not use it to download files IPSL Climate Modeling Group supports : Centralized templates handling To avoid redundant downloads To avoid unnecessary network burden Prefer several small templates (not a big one) 73

Installation Retrieve installation script from synchro-data webpage Run the script with «-b» option to start installation in $HOME/synchro_data wget http://dods.ipsl.jussieu.fr/jripsl/synchro_data/install.sh chmod +x install.sh./install.sh -b If you want to install in non default location, use «-t» option./install.sh -b -t /opt 74

Configuration Sign up to ESGF Set username and password Edit file.synchrodata_login Select which models to download http://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html Edit file MODELS Select which variables to download Edit file user_selections/default.txt 75

Template example experiments="historical amip decadal2000" ensembles="r1i1p1" #ensembles="all" variables[atmos][mon]="tas" variables[land][fx]="sftgif" variables[seaice][mon]="sic evap nshrice" variables[ocnbgchem][mon]="dissic fbddtalk" variables[atmos][mon]="ta hur clcalipso parasolrefl" 76

Usage Search for files Start download./start.sh -b Get download current status./start.sh -a [-t template]./start.sh -s Stop download./stop.sh 77

Usage (suite) Change priority (e.g. set higher priority for a template) Update model list./start.sh -e Retry transfer with error status./start.sh -c -p 1500 [-t template]./start.sh -j More options./start.sh -h 78

Output Data folder DB folder $HOME/synchro_data/data Use new DRS format $HOME/synchro_data/db Sqlite database with transfer information (status, duration, priority..) Log folder «get_data.log» and «synchro_data_transfert.log» for transfer related messages One log file per model for discovery related messages 79

Aggregation node CMIP5 subset aggregated files IPSL GIS Climat - IS-ENES A.Bhardwaj, S.Denvil Contact Abhipsl (AT) ipsl.jussieu.fr 80

Thredds 81

Dataset 82

Real file 83

Virtual File Aggregation 84

All in one 85

Aggrégation temporelle : préparatif sur CICLAD #-----------------------------------------------------# NETCDF4 #-----------------------------------------------------export PATH=/opt/netcdf4/gfortran/bin:${PATH} export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH} export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib #-----------------------------------------------------# CDO with opendap #-----------------------------------------------------export PATH=/home/laliberte/local/cdo/bin:${PATH} 86

Moyenne d'ensemble: #!/bin/ksh #set -vx experiment=historical which cdo set -A liste_file for EnsembleMember in 1 2 3 4 5 6 7 8 9 10 ; do # test d'existence de l'aggregation wget --spider http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.cnrm-cerfacs.cnrm-cm5.$ {experiment}.mon.atmos.amon.r${ensemblemember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$? if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]=http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.cnrm-cerfacs.cnrmcm5.${experiment}.mon.atmos.amon.r${ensemblemember}i1p1.tas.1.aggregation else # aggregation absente echo failure fi done echo cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc 87

Variante autour de l'aggrégation Moyenne saisonnière cdo seasmean http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.mohc.hadgem2-es.historical.mon.atmos.amon.r1i1p1.hfls.1.aggregation result.nc Moyenne mensuelle climatologique cdo ymonmean http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.mohc.hadgem2-es.historical.mon.atmos.amon.r1i1p1.hfls.1.aggregation result.nc Moyenne annuelle cdo yearmean http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.mohc.hadgem2-es.historical.mon.atmos.amon.r1i1p1.hfls.1.aggregation result.nc Regrillage en pré calculant le fichier de poids : cdo setgrid,ipsl.orca2_gridcf.nc http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.ipsl.ipsl-cm5a-lr.historical.mon.ocean.omon.r1i1p1.tos.1.aggregation inter.nc cdo genbic,r360x180 inter.nc remapweight.nc cdo remap, remapweight.nc inter.nc sst_regular.nc Et plus: cdo -h # https://code.zmaw.de/files/cdo/html/1.5.2/cdo.pdf 88

Perspectives CMIP à 10 ans Year Power factor Npp Resolution [km] Number of mesh points [millions] Ensemble size Number of variables Interval of 3-dimensional output (hours) Years simulated Storage density Distributed Archive Size (Pb) CMIP5 2012 1 200 100 3,2 120 800 6 90000 0,00002 3,19 CMIP6 2017 30 357 56 18,1 214 1068 4 120170 0,00002 86,05 CMIP7 2022 1000 647 31 108,4 388 1439 3 161898 0,00002 2260,20 89