Prospective du Pôle de Modélisation de l'ipsl Outils de distribution des données, diagnostic, évaluation, visualisation.

Transcription

1 Prospective du Pôle de Modélisation de l'ipsl Outils de distribution des données, diagnostic, évaluation, visualisation. S.Denvil, K. Ramage, A. Bara, N. Carenton, F.Corsini, JL.Dufresne, G.Levavasseur, M. Morgan, J.Raciazek, P. Weill (IPSL) J. Servonnat, P. Brockmann, J-Y Peterschmitt, T. Noel (LSCE) S.Sénési, J.Richon, E.Gerbier (CNRM/Météo-France) G.Wiber, F.Valley (TGCC) A.Ansari (IDRIS)

2 1. BILAN PROSPECTIVE Éléments du bilan sur lesquels s'appuyer 3. Services sur lesquelles baser les outils 4. Applications basées sur ces services 5. Disséminer le savoir faire 6. Discussion

3 1. BILAN PROSPECTIVE 2008 Relever le défi «masse de données» imposé par CMIP5, et préparer l'avenir. Ces 2 axes stratégiques ont été définis en 2008 : «L'exercice imposé par CMIP5 donne l occasion à l IPSL d intégrer une infrastructure mondiale de gestion de données climatiques et de se préparer à l avenir en acquérant la maîtrise des technologies de grilles de données qui seront nécessaires lors du passage à l échelle du calcul pétaflopique.» «En interne, l'ipsl via une structure informatique multi-site reliant le serveur ClimServ (site IPSL de Palaiseau) au serveur Ciclad (site IPSL de l'upmc) pourra épauler cette plateforme dédiée à la recherche climatique en explorant les possibilités offertes par les méso-centres de calcul dans le contexte de déploiement d un portail d accès et d analyse de données climatiques de toute nature.»

4 Mise à disposition distribuée des données The Earth System Grid Federation (ESGF) is a multi-agency, international collaboration of people and institutions working together to build an open source software infrastructure for the management and analysis of Earth Science data on a global scale Software development and project management: ANL, ANU, BADC, CMCC, DKRZ, ESRL, GFDL, GSFC, JPL, IPSL, ORNL, LLNL (lead), PMEL, Operations: tens of data centers across Asia, Australia, Europe and North America

5 Évolution CMIP3 CMIP5 Évolution du stockage en 6 ans (de CMIP3 à CMIP5) : en moyenne x30 CMIP3: distribution des données via 1 Plus de variables, fréquence plus élevée serveur (PCMDI) Plus de types d expériences CMIP5: base de données distribuée Simulations d ensemble (ESG Federation) Plusieurs versions de modèles 45 modèles du système climatique 2.0 Po de données actuellement 3.0 Po envisagés d'ici 2 ans CMIP3 : 35 To CNRM-CERFACS IPSL

6 Mise à disposition et analyse des données à l'ipsl Accès noeud IPSL (moyenne sur 2 an) 30 To/mois fichiers/mois centaines «d utilisateurs» CICLAD PRODIGUER Cluster calcul Interface ESGF disques disques Plusieurs dizaines d utilisateurs IPSL analysent les données CMIP5 250 To IPSL-CM5 210 To autres modèles CMIP5 à l'ipsl Distribution de la contribution IPSL à CMIP5 Téléchargement de résultats CMIP5 des autres modèles Analyse multi modèle CMIP5 Documentation des modèles CMIP5

7 PMIP :Paleoclimate Modelling Intercomparison Project (J.Y. Peterschmitt, P. Braconnot, M. Kageyama et al.) : projet international initié en 1995 : coordonné par LSCE / IPSL (S.Joussaume, puis P.Braconnot) PMIP3 - Phase3 en phase / avec CMIP5 : participation active de 20 groupes internationaux : dépôt sorties de modèles / outils d analyses : dépôt «propre PMIP3» (~ 3 To) + dépôt CMIP5 OCMIP : Ocean Carbon Cycle Model Intercomparison Project (J. Orr, P. Brockmann, L. Bopp et al.) : projet international initié en 1995 par IGBP : coordonné par LSCE / IPSL (J. Orr) depuis son démarrage OCMIP5 - Phase 5 en phase / input pour CMIP5 : soutenu par plusieurs projets européens CARBOCHANGE, EPOCA : participation active de 6 groupes européens (+ groupes internationaux) : dépôt sorties de modèles / outils d analyses intercomparaisons automatiques : dépôt «propre OCMIP5» (~ 1 To) + dépôt CMIP5

8 Projet international CFMIP-Obs (Cloud Feedback Model Intercomparison Program) (H.Chepfer, G.Cesana, M.Reverdy, S.Denvil, K.Ramage) => Évaluation des nuages dans les modèles de climat basée sur les observations satellite Hébergement de l'espace de travail du projet (~ 10 To) Distribution des données via ClimServ Contribution à Obs4MIPs : => Faciliter l'utilisation des produits satellite pour l évaluation et la validation des modèles Conversion des données d'observation satellite au format CMIP5 (CMOR) Distribution des produits satellite du groupe de travail international CFMIP-Obs via le datanode ESGF IPSL 7 datasets Obs4MIPs parmi les 24 disponibles sur l'esg «CMORisation» pour DRIAS, CORDEX, Transpose AMIP, GeoMIP, LUCID, Aerocomm, EUCLIPSE COOKIE, PMIP3, CMIP5, Obs4MIPs. S.Denvil, J.Y.Peterschmitt, T.Noel, K.Ramage, M.Reverdy, S.Szopa, A.Idelkadi, L.Fairhead, I.Musat.

9 2. Éléments du bilan sur lesquels s'appuyer

10 Intégration au réseau ESGF PRODIGUER, le niveau national. Coordination au niveau national IPSL, CNRM-CERFACS, TGCC, IDRIS Accompagner la communauté Développement synchro-data / es-doc IS-ENES, le niveau Européen Coordination au niveau Européen Gros travail pour la mise en œuvre opérationnelle de la grille ESGF (la plus grande ressource distribué en étude du climat) Renforcement de l infrastructure ESGF, le niveau international. Coordination au niveau international. Lien avec une communauté active de développeurs 10

11 Synchro-data : ESGF data access tools Search for data in ESGF File selection using DRS facets (realm, freq, experiment, ensemble, variable). So called template. Incremental and fast/parallel search (keep track of what have already been downloaded) Metadata analysis Compute total files size Check if all variables get a match in ESGF Transfer files from ESGF to local filesystem and manage versionning Transparent handling of x509 Certificate based security HTTP Parallel download

12 Une simulation climatique Why What How Experiment Simulation Model Input: Coupling Output: Data 1..* Requirement 0..* Conformance Software Component Name Properties Description Coupling Framework 0..1 Parent 0..* Child

13 ES-DOC Meta-Programming Framework (esdoc-py-mp) Problem 1 CIM Schema Problem 2 CIM XML Encoding Solution Meta-Programming Framework Result Decoupled and agile in relation to CIM schemas, encodings and language bindings.

14 ES-DOC API - Web Service Create PUBLISH Retrieve Update Delete ID / version Type / name SEARCH Dataset id File id DRS COMPARE C1 = Model component properties

15 3. Services sur lesquelles baser les outils L interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. Degré d'opérabilité Compatibilité Standard de fait Interopérabilité

16 Hype.vs. Reality Interoperability in Earth Sciences Semantic Web OpenSearch Web Map Service OPeNDAP Web Coverage Services THREDDS NetCDF CF-1 GCMD DIF HDF-EOS ECHO Catalog Services for the Web Technology Trigger Peak of Inflated Expectations Trough of Disillusionment Slope of Enlightenment Plateau of Productivity

17 THREDDS Data Server (TDS) Web server for scientific data (written in 100% Java) Can serve any dataset the netcdf-java library can read E.g., netcdf-3, netcdf-4, HDF-4, HDF-5, HDF-EOS, GRIB-1, GRIB-2 Advertise available datasets and services via catalogs Data access (subset) services: OPeNDAP OGC WMS and WCS NCSS, cdmremote Data collection services Aggregation Point/station collection Metadata services THREDDS nciso: ISO, UDDC, NcML

18 TDS and NcML NcML: an XML representation of netcdf. Can fix metadata problems Can augment metadata Can aggregate datasets General Aggregations: joinnew, joinexisting, Union Specialized aggregations: Forecast Model Run Collection (FMRC) Point Feature Collections Embed NcML into the TDS configuration catalog Server serves a virtual dataset defined by NcML NcML hidden from the client

19 Search Service : index node Purpose: to make data holdings discoverable and accessible by clients by indexing & searching the associated metadata Highlights: Real-time global distributed search Simple RESTful API Implementation: Apache Solr Popular open source search engine Powerful text search based on Lucene Facets (a.k.a. categories) search High performance, proven scalability Flat (key, values) pair model ESGF Search Architecture Metadata harvested into master Solr Metadata replicated to slave Solr Search clients use REST API to query slave Solr Slave Solr distributes query to other slave Solrs to return federation-wide results

20 4. Applications basées sur ces services IDRIS CORDEX CMIP3 THREDDS/WMS CMIP5 IPSLCM OpenDAP LABO GridFTP CICLAD-CLIMSERV CMIP3 CMIP5 THREDDS/WMS IPSL1 OBS 1..N OpenDAP PMIP3 GridFTP TGCC CORDEX CMIP3 THREDDS/WMS = Data node CMIP5 IPSLCM OpenDAP = Dataset Type LABO GridFTP = ESGF Service

21 Outils d'évaluation du modèle couplé de l'ipsl (et de ses composantes) Deux besoins différents: - Evaluation du modèle: - CliMAF = Climate Model Assessment Framework - long terme (2 à 5 ans) - Collaboration avec le CNRM (S. Sénési, J. Richon et S. Ramos-Buarque) et le CERFACS (diagnostics) - nombreux contributeurs à l IPSL (sur les diagnostics) - Tunning du modèle couplé: - évolution des Atlas et outils existants à l IPSL - court terme (dans les 6 mois qui viennent, pour l arrivée d IPSL-CM6)

22 CliMAF = Climate Model Assesment Framework Ce qu on attend de CliMAF: - Doit faciliter l analyse des sorties de modèles et la comparaison modèles-données => générer des atlas (ensemble de figures) - Application: évaluation du modèle, monitoring, tunning, analyse des simulations (recherche) - Outils efficace, flexible, personnalisable et évolutif sur le long terme - facilement utilisable par de nombreuses personnes (chercheurs/ingénieurs, thésards, post-docs, stagiaires) Outils existants pouvant être intégrés à CliMAF: - ESMVal-Tool d EMBRACE (basé sur CCSMVal-Diag Tool) - Fonctionnalités des Atlas - Outils DRAKKAR - Atlas CAMI du CERFACS

23 Fonctionnement de CliMAF ################################## # Configuration of a new plot ################################## # New figure made of graphs g1, g2 and g3 New_fig=(g1,g2,g3) # Make graph 1 g1=graph(plot.time.series(d=(d1,d2,d3),param=pers.graph.pa ram) d1=spatial_average(get.dataset(f1),lon1=80,lon2=40,lat1=20,lat2=80) f1=filename(project=cmip5, model=ipsl-cm5a-lr, variable=tas, time_step=monthly) # Make graph 2 g2=run(script=myscript.r,dataset=d2) CliMAF General driver Get the files: - Cached data - Distant access (ESG, Convergence Task 4) Pre-treatment - Zone or period selection - Spatial average Indexation of the results and images Make the figures: - CliMAF basic functionalities - Script (Ncl, R, Python, Ferret) Atlas (web or pdf)

24 Tunning du modèle couplé But: Générer un grand nombre de diagnostics et métriques identifiées : avoir des gardes fous Contraintes: - Utilisable (a minima) par les membres du groupe «Tunning» (public moins large que pour CliMAF) - Version opérationnelle (basée sur les Atlas) dans les mois qui viennent (à la fin de l assemblage d IPSL-CM6) Utilisation opérationnelle: - Ajout d un onglet Tunning sur Prodiguer (comparaison de plusieurs simulations)

25 Dashboard and data access

26 5. Disséminer le savoir faire

27 Efficiency Distribution of labor in a scientist's job Writing Papers Coding Travels 0 20 Ideal Reality 80

28 Efficiency Distribution of labor in a scientist's job Writing Papers Coding Travels 0 20 Ideal Reality 80

29 Efficiency Our partial answer to this problem: Science-Based Queries In short: Ask a science-based question to the data and receive a science-based answer

30 How to improve climate analyses/evaluations Researcher to solve science-based questions needs : Specific simulations, variables, frequency, time periods, etc., Where appropriate, to run their own simulations, To have an overview/quick look on data with simple graphics or maps, If necessary, to conduct complex analysis using different languages (R, Python, Ferret, etc.) Researcher-friendly protocol to facilitate analyses and save time by : Clarifying access to available data, Simplifying simulations runs, Automating recurring needs (means, anomalies, etc.), Allowing to apply specific script, Ensuring support and data management. Climate engineer has data, tools and services ESGF Search API, Prodiguer portal, cdb_query, etc., IPSL model code thought libigcm interface, (Inter-)Monitoring, atlas, Web Mapping Services, etc., cdb_driver, OpenDAP, etc., Documentation and trainings. To reproduce itself exactly the same analysis. Needing a case study to raise important issues?

31 6. Discussion

32

33 Perspective CMIP a 10 ans Year Power factor Npp Resolution [km] Number of mesh points [millions] Ensemble size Number of variables Interval of 3-dimensional output (hours) Years simulated Storage density Distributed Archive Size (Pb) CMIP , , ,19 CMIP , , ,05 CMIP , , ,20

34

35

36

37 Mise à disposition distribuée des données

38

39 System Architecture ESGF is a system of distributed and federated Nodes that interact dynamically through a Peer-To-Peer (P2P) paradigm Distributed: data and metadata are published, stored and served from multiple centers ( Nodes ) Federated: Nodes interoperate because of the adoption of common services, protocols and APIs, and establishment of mutual trust relationships Dynamic: Nodes can join/leave the federation dynamically - global data and services will change accordingly A client (browser or program) can start from any Node in the federation and discover, download and analyze data from multiple locations as if they were stored in a single central archive.

40 Software Stack Internally, each ESGF Node is composed of services and applications that collectively enable metadata discovery, data access, and user management. Software components are grouped into 4 areas of functionality (aka flavors ): Data Node : secure data publication and access Index Node : metadata indexing and searching (w/ Solr) web portal UI to drive human interaction Identity Provider : user authentication and group membership Compute Node : analysis and visualization Nodes flavors can be installed in various combinations depending on site needs, or to achieve higher performance and scalability Open Source with BSD License Source code: Documentation:

41 Security Infrastructure Purpose: enable access to distributed data resources by implementing local authentication and authorization policies Federated security services: Single-sign-on: users register at a site, authenticate at any other site OpenID for browsers X509 certificates for desktop clients Distributed access control Resources are controlled by local policies XML registry tracks security services ESGF Security Highlights Based on standards: OpenID, SAML, SSL, X509 endpoints User attributes are propagated as Language neutral (Java, Python implementations) digital SAML statements Non-intrusive: filters and libraries Requires digital trust relationships among Nodes

42 J'ai une idée d'analyse... Long is the road... J'ai mon analyse

43 PMIP : Paleoclimate Modelling Intercomparison Project Projet international initié en 1993 Coordonné par LSCE / IPSL (S. Joussaume, puis P. Braconnot) PMIP 3 intégré en partie dans CMIP5 Participation active de 21 groupes internationaux CMORisation des sorties PMIP3 IPSL avec les outils standards IPSL Réplication d'un sous-ensemble des sorties PMIP3 sur ciclad Distribution de certaines données PMIP3 non CMIP5 depuis l'ipsl Calcul de cycles saisonniers moyens sur ciclad (J.Y. Peterschmitt, P. Braconnot, M. Kageyama et al.)

44 IPSL NOAA - ESGF M.Morgan, S.Denvil, E.Guilyardy

45 PRODIGUER ES-Doc est un projet international développant des applications basées sur le Common Information Model (CIM) définit au cours du projet FP7 METAFOR. CIM : modèle conceptuel qui utilise des métadonnées pour décrire les modèles du système terrestre et leurs simulations, utilisé lors de CMIP5 et est actuellement exploité par une variété de projets internationaux. Prodiguer est leader dans ES-Doc et a pris en charge le développement de l'écosystème logicielle permettant d'offrir à la communauté la documentation détaillée des modèles et des simulations présents dans l'archive CMIP5.

46 ES-DOC Earth Science Documentation OBJECTIVE Creation, exploitation & dissemination of standards (e.g. CIM) based earth system modelling metadata FUNDING G8 EX-ARCH, FP7 IS-ENES, NOAA HISTORY 04 / 2012 Metafor WP4 evolution WHO EU - IPSL, BADC, DKRZ US - NOAA, NCAR, PCMDI HOW Development of standards based open source tools and web services LICENSING GPL / CeCILL

47 ES-DOC Target User Community Modellers Scientists Students CIM Impacts Community Politicians Media Public

48 ES-DOC Target Documentation Types Models Experiments Simulations CIM Grids Data Ensembles Quality

49 ES-DOC Target Technical Challenges Versions Encodings Languages (human) CIM Languages (programming) Representations Formats Devices

50 ES-DOC Tools - Document Viewer 01/02/2013 Metafor CMIP5 Questionnaire ESGF-P2P Node Front End DyCore 2012 Portal IPSL Prodiguer Portal Technology Javascript / HTML AJAX (API) JSON

51 ES-DOC Tools - Comparator C1 - Model Component Properties Step 1 Select Models Step 2 Select Components Step 3 Selection Properties Step 4 View Report Step 5 Export to CSV

52 ES-DOC Futures Controlled Vocabularies Comparators Automated Documentation EXA-Scale

53 Prodiguer portal CMIP5 subset query/access tools IPSL - METAFOR IS-ENES - ESGF M.Morgan, S.Denvil Contact Momipsl (AT) ipsl.jussieu.fr

54 Template example experiments="historical amip decadal2000" ensembles="r1i1p1" #ensembles="all" variables[atmos][mon]="tas" variables[land][fx]="sftgif" variables[seaice][mon]="sic evap nshrice" variables[ocnbgchem][mon]="dissic fbddtalk" variables[atmos][mon]="ta hur clcalipso parasolrefl"

55 Aggregation node CMIP5 subset aggregated files IPSL GIS Climat - IS-ENES S.Denvil Contact sdipsl (AT) ipsl.jussieu.fr

56 Thredds

57 Dataset

58 Real file

59 Virtual File Aggregation

60 All in one

61 Aggrégation temporelle : préparatif sur CICLAD # # NETCDF4 # export PATH=/opt/netcdf4/gfortran/bin:${PATH} export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH} export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib # # CDO with opendap # export PATH=/home/laliberte/local/cdo/bin:${PATH}

62 #!/bin/ksh Moyenne d'ensemble: #set -vx experiment=historical which cdo set -A liste_file for EnsembleMember in ; do # test d'existence de l'aggregation wget --spider {EnsembleMember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$? if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]= {experiment}.mon.atmos.amon.r${ensemblemember}i1p1.tas.1.aggregation else # aggregation absente echo failure fi done echo cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc cdo ensmean "${liste_file[*]}" ensmean_cnrm-cerfacs.cnrm-cm5.${experiment}.tas.nc

63 Satellite observations for climate model evaluation - Obs4MIPs H. Chepfer (IPSL/LMD) Contributors: P. Glecker (PCMDI), D. Waliser (NASA/JPL) S. Bony, JL. Dufresne, G. Cesana, M. Reverdy (LMD/IPSL) S. Denvil, K. Ramage (IPSL) S. Planton (MeteoFrance), T. Phulpin (CNES)

64 Many Acknowledgements JPL/NASA, PCMDI, IPSL, CNES CFMIP-Obs Working group: S. Bony (IPSL/LMD), G. Cesana (IPSL/LMD), H. Chepfer (IPSL/LMD), M. Chiriaco (IPSL/LATMOS), J-L. Dufresne (IPSL/LMD), S. Klein (LLNL), N. Loeb (NASA/LarC), R. Marchand (Univ. Seattle), R. Pincus (University of Colorado), K. Ramage (IPSL), M. Reverdy (IPSL/LMD), D. Tanré (LOA), M. Webb (UKMO), D. Winker (NASA/LarC), S. Xie (LLNL), Y. Zhang (LLNL) NASA obs4mips Working Group: J. Bates (NOAA), K. Bowman, A. da Silva, P. Gleckler (PCMDI), FJLanderer, C. Peters-Lidard, N. Loeb, R. Nemani, S. Platnick, D. Waliser (chair), T. Lee, Robert Ferraro WCRP encouragement/support via WGCM/CFMIP, Significant IT support via ESGF developments and IS-ENES, Climserv/IPSL Many data providers CNES, NASA, NOAA, ESA

65 Model and Observation Overlap For what quantities are these comparisons viable? Observations Models Taylor et al ~120 ocean ~60 land ~260 atmos ~60 cryosphere Exemple: Current NASA Missions ~14 Total Missions Flown ~ 60 Many with multiple instruments Most with multiple products (e.g s) Many cases with the same products Over 500 Variables in (monthly) CMIP Database Over 1000 satellitederived quantities

66 Three independent initiatives 1) a US effort initiated and supported by NASA/JPL since about 2008 : Obs4MIPs_historical 2) a EU effort initiated by ESA since about 2010: Climate Change initiative (CMUG-CCI) 3) a joint EU & US effort initiated and supported by IPSL since about 2008: CFMIP-Obs (focus on Clouds) Pursuing a similar objective: Facilitate the use of satellite data for climate model evaluation Using a similar approach: Identify target quantities and make them available and easy to use by non remote sensing experts To be merged together: since 2012, Obs4MIPs_historical and CFMIP-Obs are available on the ESG under the name «Obs4MIPs» => Today EU contributes to Obs4MIPs with CFMIP-Obs through the IPSL node

67 1) NASA-related Datasets included in Obs4MIPs Datasets are Gridded Monthly Averages Unless otherwise noted Separate files containing Nobs & StdErr for each grid cell are available CMIP Protocol Variables ta - Atm Temp Data Source AIRS ( 300 hpa) MLS ( < 300 hpa) AIRS ( 300 hpa) MLS ( < 300 hpa) TES AMSR-E Time Period 9/02 8/04 9/02 8/ /02 - Comments AIRS +MLS needed to cover all pressure levels rlut, rlutcs, rsdt, rsut, rsutcs TOA outgoing LW & SW Radiation, Incident SW Radiation CERES 3/00 - clt Total Cloud Fraction zos - Sea Surface Height Above Geoid MODIS TOPEX/JASON series 2/00 10/92 - AVISO Product pr - Total precipitation TRMM hus - Specific Humidity tro3 Mole Fraction of Ozone tos - Sea Surface Temperature sfcwind, uas, vas - Surface (10m) zonal QuikSCAT wind Land Surface products (TBD) MODIS Undergoing QC checks SST science team recommends multiple products Monthly Ave + 3 hourly products Oceans only. No land products. 2/00 Perhaps 2 CMIP variables, TBD Orange datasets are still in process

68 2a) ESA-related Datasets that could be included in Obs4MIPs in the future ESA Climate Change Initiative (CCI) has selected 13 Essential Climate Variables (ECV)

69 2b) ESA-related Datasets that could be included in Obs4MIPs in the future Proposed time line for ESA Essential Climate Variables (ECV) ESA Climate Change Initiative (CCI))

70 3a) CFMIP-Obs Datasets included in Obs4MIPs On the ESGF and also on

71 Satellite Observations for CMIP5 Simulations Data Available Now on Earth System Grid Federation obs4mips Project NASA and IPSL Portal

72 Some Basic Tenets of the Obs4MIPs Activity Use the CMIP5 simulation protocol as guideline for deciding which observations to select. Initial Target was monthly averaged (ocean, atmosphere) products on 1 x 1 degree grid Convert Observations to CMIP5 model output format Standardised CMOR output, NetCDF files, CF Convention Metadata, CMIP standard pressure levels, etc. Not a new product. Independent QC check before release. Includes a 6-8 page Technical Note describing strengths/weaknesses, uncertainties, caveats regarding comparisons with models. (at graduate student level) Observers Modelers Available via ESGF (analogous to CMIP5) Analysis Community Obs4MIPs to report annually to WDAC/WCRP and WMAC/WCRP