Prospective du Pôle de Modélisation de l'ipsl Outils de distribution des données, diagnostic, évaluation, visualisation.



Documents pareils
PRODIGUER un noeud français de distribution de données GIEC/IPCC

Quick Start Guide This guide is intended to get you started with Rational ClearCase or Rational ClearCase MultiSite.

Forthcoming Database

WEB page builder and server for SCADA applications usable from a WEB navigator

DOCUMENTATION - FRANCAIS... 2

NOM ENTREPRISE. Document : Plan Qualité Spécifique du Projet / Project Specific Quality Plan

Mon Service Public - Case study and Mapping to SAML/Liberty specifications. Gaël Gourmelen - France Telecom 23/04/2007

Application Form/ Formulaire de demande

Lamia Oukid, Ounas Asfari, Fadila Bentayeb, Nadjia Benblidia, Omar Boussaid. 14 Juin 2013

Instructions Mozilla Thunderbird Page 1

DOCUMENTATION - FRANCAIS... 2

XtremWeb-HEP Interconnecting jobs over DG. Virtualization over DG. Oleg Lodygensky Laboratoire de l Accélérateur Linéaire

THÈSE. présentée à TÉLÉCOM PARISTECH. pour obtenir le grade de. DOCTEUR de TÉLÉCOM PARISTECH. Mention Informatique et Réseaux. par.

affichage en français Nom de l'employeur *: Lions Village of Greater Edmonton Society

CEST POUR MIEUX PLACER MES PDF

Comprendre l impact de l utilisation des réseaux sociaux en entreprise SYNTHESE DES RESULTATS : EUROPE ET FRANCE

Editing and managing Systems engineering processes at Snecma

Logiciel Libre & qualité. Présentation

SHAREPOINT PORTAL SERVER 2013

How to Login to Career Page

Frequently Asked Questions

Completed Projects / Projets terminés

Exemple PLS avec SAS

Quatre axes au service de la performance et des mutations Four lines serve the performance and changes

PLM 2.0 : Mise à niveau et introduction à l'offre version 6 de Dassault systèmes

CETTE FOIS CEST DIFFERENT PDF

Get Instant Access to ebook Cest Maintenant PDF at Our Huge Library CEST MAINTENANT PDF. ==> Download: CEST MAINTENANT PDF

SCHOLARSHIP ANSTO FRENCH EMBASSY (SAFE) PROGRAM APPLICATION FORM

MANUEL MARKETING ET SURVIE PDF

Plateforme Technologique Innovante. Innovation Center for equipment& materials

that the child(ren) was/were in need of protection under Part III of the Child and Family Services Act, and the court made an order on

Présentation de la Grille EGEE

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence

Développement logiciel pour le Cloud (TLC)

Guide d'installation rapide TFM-560X YO.13

Extension fonctionnelle d un CRM. CRM étendu >> Conférence-débat 15 April Club Management des Systèmes d Information de l'iae de Paris Alumni

The new consumables catalogue from Medisoft is now updated. Please discover this full overview of all our consumables available to you.

Language requirement: Bilingual non-mandatory - Level 222/222. Chosen candidate will be required to undertake second language training.

27/11/12 Nature. SDK Python et Java pour le développement de services ACCORD Module(s)

Paxton. ins Net2 desktop reader USB

Innovative BI with SAP Jean-Michel JURBERT D. de Marché BI, HANA, BIG DATA _ SAP France

Atelier Progress Rollbase

Un exemple de cloud au LUPM : Stratuslab

Utiliser une WebCam. Micro-ordinateurs, informations, idées, trucs et astuces

Nouveautés printemps 2013

LE FORMAT DES RAPPORTS DU PERSONNEL DES COMMISSIONS DE DISTRICT D AMENAGEMENT FORMAT OF DISTRICT PLANNING COMMISSION STAFF REPORTS

Présentation par François Keller Fondateur et président de l Institut suisse de brainworking et M. Enga Luye, CEO Belair Biotech

MANAGEMENT SOFTWARE FOR STEEL CONSTRUCTION

Lean approach on production lines Oct 9, 2014

La solution idéale de personnalisation interactive sur internet

Le Cloud Computing est-il l ennemi de la Sécurité?

CONVENTION DE STAGE TYPE STANDART TRAINING CONTRACT

UML : Unified Modeling Language

HSCS 6.4 : mieux appréhender la gestion du stockage en environnement VMware et service de fichiers HNAS Laurent Bartoletti Product Marketing Manager

Projets en cours sur l archivage et la diffusion des simulations climatiques et de leurs produits, en liaison avec le projet DRIAS

DOCUMENTATION MODULE BLOCKCATEGORIESCUSTOM Module crée par Prestacrea - Version : 2.0

First Nations Assessment Inspection Regulations. Règlement sur l inspection aux fins d évaluation foncière des premières nations CONSOLIDATION

Macroscope et l'analyse d'affaires. Dave Couture Architecte principal Solutions Macroscope

Contents Windows

Thomas Loubrieu (Ifremer) Small to Big Data Novembre 2013, Ifremer, Brest

en SCÈNE RATIONAL Rational Démonstration SDP : automatisation de la chaîne de développement Samira BATAOUCHE sbataouche@fr.ibm.com

Archived Content. Contenu archivé

Once the installation is complete, you can delete the temporary Zip files..

REMOTE DATA ACQUISITION OF EMBEDDED SYSTEMS USING INTERNET TECHNOLOGIES: A ROLE-BASED GENERIC SYSTEM SPECIFICATION

Middleware et services de la grille

WiFi Security Camera Quick Start Guide. Guide de départ rapide Caméra de surveillance Wi-Fi (P5)

Planning a Science Fair

Supervision et infrastructure - Accès aux applications JAVA. Document FAQ. Page: 1 / 9 Dernière mise à jour: 15/04/12 16:14

LOGICIEL D'ADMINISTRATION POUR E4000 & G4000 MANAGEMENT SOFTWARE FOR E4000 & G4000

Surveillance de Scripts LUA et de réception d EVENT. avec LoriotPro Extended & Broadcast Edition

ADHEFILM : tronçonnage. ADHEFILM : cutting off. ADHECAL : fabrication. ADHECAL : manufacturing.

English Q&A #1 Braille Services Requirement PPTC Q1. Would you like our proposal to be shipped or do you prefer an electronic submission?

Plan. Department of Informatics

Face Recognition Performance: Man vs. Machine

Information Security Management Lifecycle of the supplier s relation

Valorisez vos actifs logiciels avec Rational Asset Manager. Jean-Michel Athané, Certified IT Specialist IBM Rational Software

Cedric Dumoulin (C) The Java EE 7 Tutorial

L accès aux Clouds (Académiques)

RAPID Prenez le contrôle sur vos données

4. SERVICES WEB REST 46

IDENTITÉ DE L ÉTUDIANT / APPLICANT INFORMATION

RULE 5 - SERVICE OF DOCUMENTS RÈGLE 5 SIGNIFICATION DE DOCUMENTS. Rule 5 / Règle 5

Agile&:&de&quoi&s agit0il&?&

The space to start! Managed by

Stratégie DataCenters Société Générale Enjeux, objectifs et rôle d un partenaire comme Data4

Township of Russell: Recreation Master Plan Canton de Russell: Plan directeur de loisirs

SERVEUR DÉDIÉ DOCUMENTATION

Gouvernance européenne sur les technologies énergétiques

I. COORDONNÉES PERSONNELLES / PERSONAL DATA

FOURNIR UN SERVICE DE BASE DE DONNÉES FLEXIBLE. Database as a Service (DBaaS)

An Ontology-Based Approach for Closed-Loop Product Lifecycle Management

CEPF FINAL PROJECT COMPLETION REPORT

Règles et paramètres d'exploitation de Caparmor 2 au 11/12/2009. Pôle de Calcul Intensif pour la mer, 11 Decembre 2009

Revision of hen1317-5: Technical improvements

Les marchés Security La méthode The markets The approach


Services à la recherche: Data Management et HPC *

Motivations (many2many) Motivations (many2one) Sur le thème de la Version. La gestion de version. La gestion de configuration.

Préconisations pour une gouvernance efficace de la Manche. Pathways for effective governance of the English Channel

Transcription:

Prospective du Pôle de Modélisation de l'ipsl Outils de distribution des données, diagnostic, évaluation, visualisation. S.Denvil, K. Ramage, A. Bara, N. Carenton, F.Corsini, JL.Dufresne, G.Levavasseur, M. Morgan, J.Raciazek, P. Weill (IPSL) J. Servonnat, P. Brockmann, J-Y Peterschmitt, T. Noel (LSCE) S.Sénési, J.Richon, E.Gerbier (CNRM/Météo-France) G.Wiber, F.Valley (TGCC) A.Ansari (IDRIS)

1. BILAN PROSPECTIVE 2008 2. Éléments du bilan sur lesquels s'appuyer 3. Services sur lesquelles baser les outils 4. Applications basées sur ces services 5. Disséminer le savoir faire 6. Discussion

1. BILAN PROSPECTIVE 2008 Relever le défi «masse de données» imposé par CMIP5, et préparer l'avenir. Ces 2 axes stratégiques ont été définis en 2008 : «L'exercice imposé par CMIP5 donne l occasion à l IPSL d intégrer une infrastructure mondiale de gestion de données climatiques et de se préparer à l avenir en acquérant la maîtrise des technologies de grilles de données qui seront nécessaires lors du passage à l échelle du calcul pétaflopique.» «En interne, l'ipsl via une structure informatique multi-site reliant le serveur ClimServ (site IPSL de Palaiseau) au serveur Ciclad (site IPSL de l'upmc) pourra épauler cette plateforme dédiée à la recherche climatique en explorant les possibilités offertes par les méso-centres de calcul dans le contexte de déploiement d un portail d accès et d analyse de données climatiques de toute nature.»

Mise à disposition distribuée des données The Earth System Grid Federation (ESGF) is a multi-agency, international collaboration of people and institutions working together to build an open source software infrastructure for the management and analysis of Earth Science data on a global scale Software development and project management: ANL, ANU, BADC, CMCC, DKRZ, ESRL, GFDL, GSFC, JPL, IPSL, ORNL, LLNL (lead), PMEL, Operations: tens of data centers across Asia, Australia, Europe and North America

Évolution CMIP3 CMIP5 Évolution du stockage en 6 ans (de CMIP3 à CMIP5) : en moyenne x30 CMIP3: distribution des données via 1 Plus de variables, fréquence plus élevée serveur (PCMDI) Plus de types d expériences CMIP5: base de données distribuée Simulations d ensemble (ESG Federation) Plusieurs versions de modèles 45 modèles du système climatique 2.0 Po de données actuellement 3.0 Po envisagés d'ici 2 ans CMIP3 : 35 To CNRM-CERFACS IPSL

Mise à disposition et analyse des données à l'ipsl Accès noeud IPSL (moyenne sur 2 an) 30 To/mois 30 000 fichiers/mois centaines «d utilisateurs» CICLAD PRODIGUER Cluster calcul Interface ESGF disques disques Plusieurs dizaines d utilisateurs IPSL analysent les données CMIP5 250 To IPSL-CM5 210 To autres modèles CMIP5 à l'ipsl Distribution de la contribution IPSL à CMIP5 Téléchargement de résultats CMIP5 des autres modèles Analyse multi modèle CMIP5 Documentation des modèles CMIP5

PMIP :Paleoclimate Modelling Intercomparison Project (J.Y. Peterschmitt, P. Braconnot, M. Kageyama et al.) : projet international initié en 1995 : coordonné par LSCE / IPSL (S.Joussaume, puis P.Braconnot) PMIP3 - Phase3 en phase / avec CMIP5 : participation active de 20 groupes internationaux : dépôt sorties de modèles / outils d analyses : dépôt «propre PMIP3» (~ 3 To) + dépôt CMIP5 OCMIP : Ocean Carbon Cycle Model Intercomparison Project (J. Orr, P. Brockmann, L. Bopp et al.) : projet international initié en 1995 par IGBP : coordonné par LSCE / IPSL (J. Orr) depuis son démarrage OCMIP5 - Phase 5 en phase / input pour CMIP5 : soutenu par plusieurs projets européens CARBOCHANGE, EPOCA : participation active de 6 groupes européens (+ groupes internationaux) : dépôt sorties de modèles / outils d analyses intercomparaisons automatiques : dépôt «propre OCMIP5» (~ 1 To) + dépôt CMIP5

Projet international CFMIP-Obs (Cloud Feedback Model Intercomparison Program) (H.Chepfer, G.Cesana, M.Reverdy, S.Denvil, K.Ramage) => Évaluation des nuages dans les modèles de climat basée sur les observations satellite Hébergement de l'espace de travail du projet (~ 10 To) Distribution des données via ClimServ Contribution à Obs4MIPs : => Faciliter l'utilisation des produits satellite pour l évaluation et la validation des modèles Conversion des données d'observation satellite au format CMIP5 (CMOR) Distribution des produits satellite du groupe de travail international CFMIP-Obs via le datanode ESGF IPSL 7 datasets Obs4MIPs parmi les 24 disponibles sur l'esg «CMORisation» pour DRIAS, CORDEX, Transpose AMIP, GeoMIP, LUCID, Aerocomm, EUCLIPSE COOKIE, PMIP3, CMIP5, Obs4MIPs. S.Denvil, J.Y.Peterschmitt, T.Noel, K.Ramage, M.Reverdy, S.Szopa, A.Idelkadi, L.Fairhead, I.Musat.

2. Éléments du bilan sur lesquels s'appuyer

Intégration au réseau ESGF PRODIGUER, le niveau national. Coordination au niveau national IPSL, CNRM-CERFACS, TGCC, IDRIS Accompagner la communauté Développement synchro-data / es-doc IS-ENES, le niveau Européen Coordination au niveau Européen Gros travail pour la mise en œuvre opérationnelle de la grille ESGF (la plus grande ressource distribué en étude du climat) Renforcement de l infrastructure ESGF, le niveau international. Coordination au niveau international. Lien avec une communauté active de développeurs 10

Synchro-data : ESGF data access tools Search for data in ESGF File selection using DRS facets (realm, freq, experiment, ensemble, variable). So called template. Incremental and fast/parallel search (keep track of what have already been downloaded) Metadata analysis Compute total files size Check if all variables get a match in ESGF Transfer files from ESGF to local filesystem and manage versionning Transparent handling of x509 Certificate based security HTTP Parallel download

Une simulation climatique http://earthsystemcog.org/projects/es-doc-models/ Why What How Experiment Simulation Model Input: Coupling Output: Data 1..* Requirement 0..* Conformance Software Component Name Properties Description Coupling Framework 0..1 Parent 0..* Child

ES-DOC Meta-Programming Framework (esdoc-py-mp) Problem 1 CIM Schema Problem 2 CIM XML Encoding Solution Meta-Programming Framework Result Decoupled and agile in relation to CIM schemas, encodings and language bindings.

ES-DOC API - Web Service Create PUBLISH Retrieve Update Delete ID / version Type / name SEARCH Dataset id File id DRS COMPARE C1 = Model component properties

3. Services sur lesquelles baser les outils L interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. Degré d'opérabilité Compatibilité Standard de fait Interopérabilité

Hype.vs. Reality Interoperability in Earth Sciences Semantic Web OpenSearch Web Map Service OPeNDAP Web Coverage Services THREDDS NetCDF CF-1 GCMD DIF HDF-EOS ECHO Catalog Services for the Web Technology Trigger Peak of Inflated Expectations Trough of Disillusionment Slope of Enlightenment Plateau of Productivity

THREDDS Data Server (TDS) Web server for scientific data (written in 100% Java) Can serve any dataset the netcdf-java library can read E.g., netcdf-3, netcdf-4, HDF-4, HDF-5, HDF-EOS, GRIB-1, GRIB-2 Advertise available datasets and services via catalogs Data access (subset) services: OPeNDAP OGC WMS and WCS NCSS, cdmremote Data collection services Aggregation Point/station collection Metadata services THREDDS nciso: ISO, UDDC, NcML

TDS and NcML NcML: an XML representation of netcdf. Can fix metadata problems Can augment metadata Can aggregate datasets General Aggregations: joinnew, joinexisting, Union Specialized aggregations: Forecast Model Run Collection (FMRC) Point Feature Collections Embed NcML into the TDS configuration catalog Server serves a virtual dataset defined by NcML NcML hidden from the client

Search Service : index node Purpose: to make data holdings discoverable and accessible by clients by indexing & searching the associated metadata Highlights: Real-time global distributed search Simple RESTful API Implementation: Apache Solr Popular open source search engine Powerful text search based on Lucene Facets (a.k.a. categories) search High performance, proven scalability Flat (key, values) pair model ESGF Search Architecture Metadata harvested into master Solr Metadata replicated to slave Solr Search clients use REST API to query slave Solr Slave Solr distributes query to other slave Solrs to return federation-wide results

4. Applications basées sur ces services IDRIS CORDEX CMIP3 THREDDS/WMS CMIP5 IPSLCM OpenDAP LABO GridFTP CICLAD-CLIMSERV CMIP3 CMIP5 THREDDS/WMS IPSL1 OBS 1..N OpenDAP PMIP3 GridFTP TGCC CORDEX CMIP3 THREDDS/WMS = Data node CMIP5 IPSLCM OpenDAP = Dataset Type LABO GridFTP = ESGF Service

Outils d'évaluation du modèle couplé de l'ipsl (et de ses composantes) Deux besoins différents: - Evaluation du modèle: - CliMAF = Climate Model Assessment Framework - long terme (2 à 5 ans) - Collaboration avec le CNRM (S. Sénési, J. Richon et S. Ramos-Buarque) et le CERFACS (diagnostics) - nombreux contributeurs à l IPSL (sur les diagnostics) - Tunning du modèle couplé: - évolution des Atlas et outils existants à l IPSL - court terme (dans les 6 mois qui viennent, pour l arrivée d IPSL-CM6)

CliMAF = Climate Model Assesment Framework Ce qu on attend de CliMAF: - Doit faciliter l analyse des sorties de modèles et la comparaison modèles-données => générer des atlas (ensemble de figures) - Application: évaluation du modèle, monitoring, tunning, analyse des simulations (recherche) - Outils efficace, flexible, personnalisable et évolutif sur le long terme - facilement utilisable par de nombreuses personnes (chercheurs/ingénieurs, thésards, post-docs, stagiaires) Outils existants pouvant être intégrés à CliMAF: - ESMVal-Tool d EMBRACE (basé sur CCSMVal-Diag Tool) - Fonctionnalités des Atlas - Outils DRAKKAR - Atlas CAMI du CERFACS

Fonctionnement de CliMAF ################################## # Configuration of a new plot ################################## # New figure made of graphs g1, g2 and g3 New_fig=(g1,g2,g3) # Make graph 1 g1=graph(plot.time.series(d=(d1,d2,d3),param=pers.graph.pa ram) d1=spatial_average(get.dataset(f1),lon1=80,lon2=40,lat1=20,lat2=80) f1=filename(project=cmip5, model=ipsl-cm5a-lr, variable=tas, time_step=monthly) # Make graph 2 g2=run(script=myscript.r,dataset=d2) CliMAF General driver Get the files: - Cached data - Distant access (ESG, Convergence Task 4) Pre-treatment - Zone or period selection - Spatial average Indexation of the results and images Make the figures: - CliMAF basic functionalities - Script (Ncl, R, Python, Ferret) Atlas (web or pdf)

Tunning du modèle couplé But: Générer un grand nombre de diagnostics et métriques identifiées : avoir des gardes fous Contraintes: - Utilisable (a minima) par les membres du groupe «Tunning» (public moins large que pour CliMAF) - Version opérationnelle (basée sur les Atlas) dans les mois qui viennent (à la fin de l assemblage d IPSL-CM6) Utilisation opérationnelle: - Ajout d un onglet Tunning sur Prodiguer (comparaison de plusieurs simulations)

Dashboard and data access

5. Disséminer le savoir faire

Efficiency Distribution of labor in a scientist's job Writing Papers Coding Travels 0 20 Ideal 40 60 Reality 80

Efficiency Distribution of labor in a scientist's job Writing Papers Coding Travels 0 20 Ideal 40 60 Reality 80

Efficiency Our partial answer to this problem: Science-Based Queries In short: Ask a science-based question to the data and receive a science-based answer

How to improve climate analyses/evaluations Researcher to solve science-based questions needs : Specific simulations, variables, frequency, time periods, etc., Where appropriate, to run their own simulations, To have an overview/quick look on data with simple graphics or maps, If necessary, to conduct complex analysis using different languages (R, Python, Ferret, etc.) Researcher-friendly protocol to facilitate analyses and save time by : Clarifying access to available data, Simplifying simulations runs, Automating recurring needs (means, anomalies, etc.), Allowing to apply specific script, Ensuring support and data management. Climate engineer has data, tools and services ESGF Search API, Prodiguer portal, cdb_query, etc., IPSL model code thought libigcm interface, (Inter-)Monitoring, atlas, Web Mapping Services, etc., cdb_driver, OpenDAP, etc., Documentation and trainings. To reproduce itself exactly the same analysis. Needing a case study to raise important issues?

6. Discussion

Perspective CMIP a 10 ans Year Power factor Npp Resolution [km] Number of mesh points [millions] Ensemble size Number of variables Interval of 3-dimensional output (hours) Years simulated Storage density Distributed Archive Size (Pb) CMIP5 2012 1 200 100 3,2 120 800 6 90000 0,00002 3,19 CMIP6 2017 30 357 56 18,1 214 1068 4 120170 0,00002 86,05 CMIP7 2022 1000 647 31 108,4 388 1439 3 161898 0,00002 2260,20

Mise à disposition distribuée des données

System Architecture ESGF is a system of distributed and federated Nodes that interact dynamically through a Peer-To-Peer (P2P) paradigm Distributed: data and metadata are published, stored and served from multiple centers ( Nodes ) Federated: Nodes interoperate because of the adoption of common services, protocols and APIs, and establishment of mutual trust relationships Dynamic: Nodes can join/leave the federation dynamically - global data and services will change accordingly A client (browser or program) can start from any Node in the federation and discover, download and analyze data from multiple locations as if they were stored in a single central archive.

Software Stack Internally, each ESGF Node is composed of services and applications that collectively enable metadata discovery, data access, and user management. Software components are grouped into 4 areas of functionality (aka flavors ): Data Node : secure data publication and access Index Node : metadata indexing and searching (w/ Solr) web portal UI to drive human interaction Identity Provider : user authentication and group membership Compute Node : analysis and visualization Nodes flavors can be installed in various combinations depending on site needs, or to achieve higher performance and scalability Open Source with BSD License Source code: http://esgf.org/gitweb https://github.com/esgf Documentation: https://esgf.org/wiki

Security Infrastructure Purpose: enable access to distributed data resources by implementing local authentication and authorization policies Federated security services: Single-sign-on: users register at a site, authenticate at any other site OpenID for browsers X509 certificates for desktop clients Distributed access control Resources are controlled by local policies XML registry tracks security services ESGF Security Highlights Based on standards: OpenID, SAML, SSL, X509 endpoints User attributes are propagated as Language neutral (Java, Python implementations) digital SAML statements Non-intrusive: filters and libraries Requires digital trust relationships among Nodes

J'ai une idée d'analyse... Long is the road... J'ai mon analyse

http://pmip3.lsce.ipsl.fr/ PMIP : Paleoclimate Modelling Intercomparison Project Projet international initié en 1993 Coordonné par LSCE / IPSL (S. Joussaume, puis P. Braconnot) PMIP 3 intégré en partie dans CMIP5 Participation active de 21 groupes internationaux CMORisation des sorties PMIP3 IPSL avec les outils standards IPSL Réplication d'un sous-ensemble des sorties PMIP3 sur ciclad Distribution de certaines données PMIP3 non CMIP5 depuis l'ipsl Calcul de cycles saisonniers moyens sur ciclad (J.Y. Peterschmitt, P. Braconnot, M. Kageyama et al.)

IPSL NOAA - ESGF M.Morgan, S.Denvil, E.Guilyardy

PRODIGUER ES-Doc est un projet international développant des applications basées sur le Common Information Model (CIM) définit au cours du projet FP7 METAFOR. CIM : modèle conceptuel qui utilise des métadonnées pour décrire les modèles du système terrestre et leurs simulations, utilisé lors de CMIP5 et est actuellement exploité par une variété de projets internationaux. Prodiguer est leader dans ES-Doc et a pris en charge le développement de l'écosystème logicielle permettant d'offrir à la communauté la documentation détaillée des modèles et des simulations présents dans l'archive CMIP5.

ES-DOC Earth Science Documentation OBJECTIVE Creation, exploitation & dissemination of standards (e.g. CIM) based earth system modelling metadata FUNDING G8 EX-ARCH, FP7 IS-ENES, NOAA HISTORY 04 / 2012 Metafor WP4 evolution WHO EU - IPSL, BADC, DKRZ US - NOAA, NCAR, PCMDI HOW Development of standards based open source tools and web services LICENSING GPL / CeCILL

ES-DOC Target User Community Modellers Scientists Students CIM Impacts Community Politicians Media Public

ES-DOC Target Documentation Types Models Experiments Simulations CIM Grids Data Ensembles Quality

ES-DOC Target Technical Challenges Versions Encodings Languages (human) CIM Languages (programming) Representations Formats Devices

ES-DOC Tools - Document Viewer Integration @ 01/02/2013 Metafor CMIP5 Questionnaire ESGF-P2P Node Front End DyCore 2012 Portal IPSL Prodiguer Portal Technology Javascript / HTML AJAX (API) JSON

ES-DOC Tools - Comparator C1 - Model Component Properties Step 1 Select Models Step 2 Select Components Step 3 Selection Properties Step 4 View Report Step 5 Export to CSV

ES-DOC Futures Controlled Vocabularies Comparators Automated Documentation EXA-Scale

Prodiguer portal CMIP5 subset query/access tools IPSL - METAFOR IS-ENES - ESGF M.Morgan, S.Denvil Contact Momipsl (AT) ipsl.jussieu.fr

Template example experiments="historical amip decadal2000" ensembles="r1i1p1" #ensembles="all" variables[atmos][mon]="tas" variables[land][fx]="sftgif" variables[seaice][mon]="sic evap nshrice" variables[ocnbgchem][mon]="dissic fbddtalk" variables[atmos][mon]="ta hur clcalipso parasolrefl"

Aggregation node CMIP5 subset aggregated files IPSL GIS Climat - IS-ENES S.Denvil Contact sdipsl (AT) ipsl.jussieu.fr

Thredds

Dataset

Real file

Virtual File Aggregation

All in one

Aggrégation temporelle : préparatif sur CICLAD #-----------------------------------------------------# NETCDF4 #-----------------------------------------------------export PATH=/opt/netcdf4/gfortran/bin:${PATH} export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH} export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib #-----------------------------------------------------# CDO with opendap #-----------------------------------------------------export PATH=/home/laliberte/local/cdo/bin:${PATH}

#!/bin/ksh Moyenne d'ensemble: #set -vx experiment=historical which cdo set -A liste_file for EnsembleMember in 1 2 3 4 5 6 7 8 9 10 ; do # test d'existence de l'aggregation wget --spider http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.cnrm-cerfacs.cnrm-cm5.${experiment}.mon.atmos.amon.r$ {EnsembleMember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$? if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]=http://vesg3.ipsl.fr/thredds/dodsc/cmip5.merge.cnrm-cerfacs.cnrm-cm5.$ {experiment}.mon.atmos.amon.r${ensemblemember}i1p1.tas.1.aggregation else # aggregation absente echo failure fi done echo cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc

Satellite observations for climate model evaluation - Obs4MIPs H. Chepfer (IPSL/LMD) Contributors: P. Glecker (PCMDI), D. Waliser (NASA/JPL) S. Bony, JL. Dufresne, G. Cesana, M. Reverdy (LMD/IPSL) S. Denvil, K. Ramage (IPSL) S. Planton (MeteoFrance), T. Phulpin (CNES)

Many Acknowledgements JPL/NASA, PCMDI, IPSL, CNES CFMIP-Obs Working group: S. Bony (IPSL/LMD), G. Cesana (IPSL/LMD), H. Chepfer (IPSL/LMD), M. Chiriaco (IPSL/LATMOS), J-L. Dufresne (IPSL/LMD), S. Klein (LLNL), N. Loeb (NASA/LarC), R. Marchand (Univ. Seattle), R. Pincus (University of Colorado), K. Ramage (IPSL), M. Reverdy (IPSL/LMD), D. Tanré (LOA), M. Webb (UKMO), D. Winker (NASA/LarC), S. Xie (LLNL), Y. Zhang (LLNL) NASA obs4mips Working Group: J. Bates (NOAA), K. Bowman, A. da Silva, P. Gleckler (PCMDI), FJLanderer, C. Peters-Lidard, N. Loeb, R. Nemani, S. Platnick, D. Waliser (chair), T. Lee, Robert Ferraro WCRP encouragement/support via WGCM/CFMIP, Significant IT support via ESGF developments and IS-ENES, Climserv/IPSL Many data providers CNES, NASA, NOAA, ESA

Model and Observation Overlap For what quantities are these comparisons viable? Observations Models Taylor et al. 2008 ~120 ocean ~60 land ~260 atmos ~60 cryosphere Exemple: Current NASA Missions ~14 Total Missions Flown ~ 60 Many with multiple instruments Most with multiple products (e.g. 10-100s) Many cases with the same products Over 500 Variables in (monthly) CMIP Database Over 1000 satellitederived quantities

Three independent initiatives 1) a US effort initiated and supported by NASA/JPL since about 2008 : Obs4MIPs_historical 2) a EU effort initiated by ESA since about 2010: Climate Change initiative (CMUG-CCI) 3) a joint EU & US effort initiated and supported by IPSL since about 2008: CFMIP-Obs (focus on Clouds) Pursuing a similar objective: Facilitate the use of satellite data for climate model evaluation Using a similar approach: Identify target quantities and make them available and easy to use by non remote sensing experts To be merged together: since 2012, Obs4MIPs_historical and CFMIP-Obs are available on the ESG under the name «Obs4MIPs» => Today EU contributes to Obs4MIPs with CFMIP-Obs through the IPSL node

1) NASA-related Datasets included in Obs4MIPs Datasets are Gridded Monthly Averages Unless otherwise noted Separate files containing Nobs & StdErr for each grid cell are available CMIP Protocol Variables ta - Atm Temp Data Source AIRS ( 300 hpa) MLS ( < 300 hpa) AIRS ( 300 hpa) MLS ( < 300 hpa) TES AMSR-E Time Period 9/02 8/04 9/02 8/04 2004 6/02 - Comments AIRS +MLS needed to cover all pressure levels rlut, rlutcs, rsdt, rsut, rsutcs TOA outgoing LW & SW Radiation, Incident SW Radiation CERES 3/00 - clt Total Cloud Fraction zos - Sea Surface Height Above Geoid MODIS TOPEX/JASON series 2/00 10/92 - AVISO Product pr - Total precipitation TRMM 1997 - hus - Specific Humidity tro3 Mole Fraction of Ozone tos - Sea Surface Temperature sfcwind, uas, vas - Surface (10m) zonal QuikSCAT wind Land Surface products (TBD) MODIS Undergoing QC checks SST science team recommends multiple products Monthly Ave + 3 hourly products 1999 2009 Oceans only. No land products. 2/00 Perhaps 2 CMIP variables, TBD Orange datasets are still in process

2a) ESA-related Datasets that could be included in Obs4MIPs in the future ESA Climate Change Initiative (CCI) has selected 13 Essential Climate Variables (ECV)

2b) ESA-related Datasets that could be included in Obs4MIPs in the future Proposed time line for ESA Essential Climate Variables (ECV) ESA Climate Change Initiative (CCI))

3a) CFMIP-Obs Datasets included in Obs4MIPs On the ESGF and also on http://climserv.ipsl.polytechnique.fr/cfmip-obs/

Satellite Observations for CMIP5 Simulations Data Available Now on Earth System Grid Federation obs4mips Project NASA and IPSL Portal

Some Basic Tenets of the Obs4MIPs Activity Use the CMIP5 simulation protocol as guideline for deciding which observations to select. Initial Target was monthly averaged (ocean, atmosphere) products on 1 x 1 degree grid Convert Observations to CMIP5 model output format Standardised CMOR output, NetCDF files, CF Convention Metadata, CMIP standard pressure levels, etc. Not a new product. Independent QC check before release. Includes a 6-8 page Technical Note describing strengths/weaknesses, uncertainties, caveats regarding comparisons with models. (at graduate student level) Observers Modelers Available via ESGF (analogous to CMIP5) Analysis Community Obs4MIPs to report annually to WDAC/WCRP and WMAC/WCRP