FME Server comme plateforme d échanges de données raster multi-temporelles chez MeteoSuisse

FME Server comme plateforme d échanges de données raster multi-temporelles chez MeteoSuisse FME Server als multidimensionale Rasterdatendrehscheibe bei MeteoSchweiz Estelle Grüter, Meteoschweiz. Estelle.Grueter@meteoswiss.ch Pierre Terrettaz, INSER SA. pt@inser.ch 11-04-2011 FME Worldtour 2011 1

Plan Architecture Workflows Formats FME Server «Out of the Box» pour les jobs interactifs Mécanismes pour les jobs automatiques (import/export) Raster Streaming Service pour R Ou comment coupler un logiciel de statistique avec un service d extraction de géodonnées via HTTP Quelques points particuliers FME et PYTHON Transformation du contenu d images RASTER Nouveautés FME 2010 et 2011 ArcGIS 10 Security by Repository SDERASTER Reader: Where Clause FeatureReader Transformer Conclusion - Perspective 11-04-2011 FME Worldtour 2011 2

Architecture DB Server: Solaris Oracle 11g ArcSDE 10 File Server: NAS FME Server: Windows Server 2008 R2 Tomcat 6 FME Server 2010 SP3 + Engines 2011 beta FME Desktop 2011 beta ArcGIS Server 10 (en collaboration avec ESRI-SUISSE) ArcGIS Desktop 10 (en collaboration avec ESRI-SUISSE) 11-04-2011 FME Worldtour 2011 3

R + Web Client Windows XP - Solaris FME Client Windows XP Zuelt224, Web Browser R FME Desktop (2011 beta build 6492) DB Client Oracle 11g WebServer Solaris 10 Weblogic 10.3.2 zueux416 FME Server Windows Server 2008 R2 - zuegis301 File Server NAS zuenas401 TOMCAT 6 FME Services - FME Web User Interface / Administration Panel FME Server Console (2010 SP3) FME Server Core (2010 SP3) Transformation manager Process Monitor Repository Manager FME Server Engines (2011 beta build 6489) FME License Server ArcGIS Engine 10 Python 2.6 cx_oracle Data Folders FlexLM 11.6.1 Image Magick 6.6.7 DB Client Oracle 11g DB server Solaris 10 Oracle 11g zueux303 ArcGIS server Windows Server 2008 R2 - zuegis302 ArcSDE 10 Geodatabase AGS 10 SOM Object Manager AGS 10 SOC Object Container GIS Server Windows Server 2008 R2 - zuegis202 ArcGIS 10 License Server 11.6.1 (FlexLM) - \in - \out FME Server 11-04-2011 FME Worldtour 2011 4 Database TOMCAT AGS Admin. Panel DB Client Oracle 11g Web Client Windows XP - Solaris ArcGIS Client Windows XP Zuelt224 Web Browser ArcGIS 10 Desktop DB Client Oracle 11g

Workflows Import automatique NetCDF, GIF, Vera > GDB Raster Catalog Export automatique GDB Raster Catalog > NetCDF, TIFF, ASCII, GIF Définition des jobs d extraction automatique Import et Export interactifs Raster Streaming Service (RSS) pour R R: logiciel d analyse statistique GDB Raster Catalog > RDATARASTER NetCDF NetCDF GIF GIF Vera Vera Import GDB Raster Catalog Raster Streaming Service (RSS R) Export NetCDF, NetCDF, TIFF, TIFF, ASCIIGRID ASCIIGRID GIF GIF 11-04-2011 FME Worldtour 2011 5

Formats NetCDF GIF avec Comment Field RDATA Raster (Format des données raster du logiciel R) Vera 11-04-2011 FME Worldtour 2011 6

NetCDF (Network Common Data Form ) Format Amélioration du Reader: Attributs «non conventionnels» Support des coordonnés suisses 11-04-2011 FME Worldtour 2011 7

GIF Format avec Comment Field 11-04-2011 FME Worldtour 2011 8

GIF Format avec Comment Field Comment Field contenant les métadonnées PIX0930611007_00005.gif Generated by meteoswiss 2009 VERSION=ACQUIRE-V4.0_14Apr2009_(uge,mbc,cll) PRDT=PIX093061100 SCALE=mmh2LASSEN8bitmm_mn COLOR=reddish ACCUm=000005 DeltaT=000005 TOTn=000001 CFG_INFO=none ALB=000001 DOL=000001 LEM=000001 AF=acqe_af_map14.dat_2007 Comment Field contenant les métadonnées Lu et écrit par Image Magick Traité grâce à PYTHON (PythonCaller Transformer) Solution proposée initialement par EBP et adaptée par INSER 11-04-2011 FME Worldtour 2011 9

R Statistical Data (RDATA) Raster FME Reader et Writer développés dans le cadre de ce projet 11-04-2011 FME Worldtour 2011 10

FME Server pour les jobs interactifs FME Server «Out of the box» Interface utilisateur + Interface d administration sécurisés 11-04-2011 FME Worldtour 2011 11

Extracteurs interactifs Extracteur interactif complet Produit Date Périmètre BBOX Système de projection Format Dossier en sortie 11-04-2011 FME Worldtour 2011 12

Extracteurs interactifs Export interactif (selon code du produit) GIF Exporter 11-04-2011 FME Worldtour 2011 13

Administration des jobs Toutes les propriétés de l extracteur interactif + Possibilité de sauvegarder les propriétés d extraction dans la table qui contient les propriétés des jobs automatiques + code MHS 11-04-2011 FME Worldtour 2011 14

Mécanisme pour les jobs d exportation automatiques Windows Task Scheduler >Script Python Parcourt la table des jobs et crée une liste >Lance chaque job d exportation sur FME Server Récupère le résultat du job FME (successful/failed) Si «Failed» Email à l administrateur 11-04-2011 FME Worldtour 2011 15

Mécanisme pour les jobs d importation automatiques Windows Task Scheduler >Script Python Crée une liste des fichiers contenus dans le dossier «Input» >Lance un job d importation par fichier sur FME Server Récupère le résultat du job FME (successful/failed) Si «Failed» Email à l administrateur Transfert du fichier dans le dossier «Failed» Si «Successful» Transfert du fichier dand le dossier «Done» 11-04-2011 FME Worldtour 2011 16

Raster Streaming Service pour R Raster Streaming Service pour R: Interface FME Server Requête HTTP directement depuis R http://servername:port/fmedatastreaming/rss_r/meteoschweizrastercatalog2rdataview_whereclause.fmw?coordsys=epsg%3a4326&rdat araster_object_name=rpd19&maxx=0&sderaster_in_where_sderaster=raster_product_id+%3d+19++and+reference_ts+ %3E%3D+TO_DATE%28%272010-12-22+00%3A00%27%2C%27YYYY-MM- DD+HH24%3AMI%27%29++AND+REFERENCE_TS+%3C%3D+TO_DATE%28%272010-12-30+00%3A00%27%2C%27YYYY-MM- DD+HH24%3AMI%27%29++AND+LOAD_TS+%3E%3D+TO_DATE%28%272010-09-20+00%3A00%27%2C%27YYYY-MM- DD+HH24%3AMI%27%29+AND+LOAD_TS+%3C%3D+TO_DATE%28%272020-12-31+00%3A00%27%2C%27YYYY-MM- DD+HH24%3AMI%27%29&MAXY=0&MINY=0&MINX=0&SEARCH_ENVELOPE_COORDINATE_SYSTEM_SDERASTER=EPSG%3A4326 11-04-2011 FME Worldtour 2011 17

Quelques points particuliers Des formats peu habituels pour FME Python et FME Transformation du contenu d images raster Fausses couleurs (GIF - UINT8) Valeurs continues (NetCDF ou RDATA - REAL64) Et inversément 11-04-2011 FME Worldtour 2011 18

Points particuliers Formats peu habituels Des formats peu standards dans le monde GIS NetCDF Reader: Améliorations du Reader (Safe) NetCDF Writer: Pas de Writer dans FME (peut-être avec FME 2012?) Solution INSER: Export via ArcGIS/ARCPY/NetCDF Export (Shutdown Python Script dans FME) RDATA Raster Reader et Writer Développé spécialement pour ce projet (Merci Safe!) 11-04-2011 FME Worldtour 2011 19

Points particuliers PYTHON et FME Pour les jobs automatiques scripts Python Déclenche des jobs FME + Email + Gestion des fichiers Pour l export en NetCDF (via Arcpy) Shutdown Python Script Pour la compression des fichiers exportés (ZIP) Shutdown Python Script Pour la transformation des dates et l utilisation de périodes pré-définies NetCDF: days since xx.xx.xxxx (e.g. 01.01.1900) Python Caller Transformer GIF: RZC10236000570.801.gif (236 ème jour de l année 2010) Python Caller Transformer Pour lire et générer le champ de commentaires des fichiers GIF Python Caller Transformer Pour la lecture de paramètres à partir d un fichier de configuration Python scripted parameter (Nouveauté FME 2011!) 11-04-2011 FME Worldtour 2011 20

Points particuliers Transformations d images raster UINT8 REAL 64 avec une formule de transformation UINT8 REAL 64 avec une Look Up Table (LUT) à 16 ou 255 niveaux 11-04-2011 FME Worldtour 2011 21

Nouveautés FME 2010 et 2011 Support ArcGIS 10 (SDE) Python Scripted Parameter Concatenated Parameter Private Parameters Security by Repository Droits d accès différenciés selon les utilisateurs SDERASTER Reader avec Where Clause FeatureReader Transformer 11-04-2011 FME Worldtour 2011 22

Security by Repository User Job Administrator 11-04-2011 FME Worldtour 2011 23

Security by Repository User Kundendienst 11-04-2011 FME Worldtour 2011 24

ARCSDE Raster Reader: Where Clause Nécessaire pour avoir une performance suffisante lors des requêtes d extraction du Raster Catalog Nouveau dans FME 2010 11-04-2011 FME Worldtour 2011 25

Where Clause FeatureReader Transformer FME 2010: Approche Master/Detail ou Script (batch ou autre) Master Workspace: Construction de la Where Clause Lance l exécution du Detail Workspace via un FMEServerJobSubmitter Transformer Detail Workspace Désavantages Effectue l extraction et la transformation Nécessaire d avoir 2 Workspaces (ou un script + un Workspace) Donc 2 Engines sur FME Server 11-04-2011 FME Worldtour 2011 26

Where Clause FeatureReader Transformer FME 2011: FeatureReader Transformer 1 seul Workspace au lieu de 2 Et donc aussi un seul Engine au lieu de 2 sur FME Server Avantages Des économies de licence pour le client Un développement facilité Très facile de faire un extracteur de données performant 11-04-2011 FME Worldtour 2011 27

Conclusion Deux mondes qui se rencontrent: Climatologie/Météorologie - GIS Et la volonté de faciliter l accès aux données de MeteoSuisse Cela donne un challenge assez intéressant Nécessité d un DWH Formats / Modèle de données Transformations à réaliser Besoin d outils flexibles et ouverts FME/PYTHON/ARCGIS FME Server Et d acteurs aussi flexibles et réactifs Client Intégrateur Fournisseur Merci particulier à SAFE! 11-04-2011 FME Worldtour 2011 28

Conclusion - Perspective FME Server Out of the Box? Ou couplage API FME Server Avec votre propre application Web? Java,.NET, C++ REST 11-04-2011 FME Worldtour 2011 29

Perspective Extracteur de géodonnées qui utilise FME Server 11-04-2011 FME Worldtour 2011 30

Simplifier l accès aux géodonnées grâce à FME Server! 11-04-2011 FME Worldtour 2011 31

Merci de votre attention! Vielen Dank für Ihre Aufmerksamkeit 11-04-2011 FME Worldtour 2011 32