FME la boîte à outils pour le traitement de données géographiques de SAFE Software Veremes 42, avenue des Jardins 66240 St Esteve http://www.veremes.com veremes@veremes.com
1. Présentation de FME FME (Feature Manipulation Engine) est une boîte à outil qui révolutionne le traitement et la conversion de données géographiques. FME est capable d'exploiter en lecture et en écriture plus d'une centaine de formats de données et des dizaines d'opérateurs géométriques topologiques et attributaires. Ces quelques exemples d'utilisation montrent la vaste étendue du champ d'action de FME : Conversion de données entre plus de 100 formats différents Modification de modèle de données Chargement de données dans Oracle Spatial ou ArcSDE en étant sûr de la qualité des données Réalisation d'analyses spatiales Migration d'un système vers un autre Développement de sites web cartographiques sans serveur cartographique (SVG, IMAGEMAP) Contrôle de la qualité de travaux de saisie Correction des géométries incohérentes Génération de MNT ou de TIN à partir d'une source vectorielle Génération de courbes de niveaux à partir de MNT Traitement par lots et bien d'autres choses encore... FME ne remplace pas votre logiciel SIG mais il peut devenir son meilleur compagnon en se chargeant des tâches de traitement et de conversion de manière efficace. FME est développé par l'éditeur canadien SAFE Software (www.safe.com). FME est utilisé dans tous les secteurs d'activité de l'information géographique : collectivités, industrie, services. C'est un outil idéal pour les communautés de communes qui peuvent ainsi échanger des données géographiques avec les communes et les gestionnaires de réseau disposant de logiciels différents ou utilisant un autre modèle de données. Dans le domaine de l'industrie, FME est utilisé pour intégrer des plans numériques du monde CAO dans des bases de données géographiques. FME est utilisé par des Universités pour sa puissance, ses qualités pédagogiques et son indépendance vis-à-vis des éditeurs de SIG. Présentation FME Page : 1 / 14
2. Le traitement de données avec FME Pour FME, un traitement est l'ensemble des actions nécessaires pour faire passer un jeu de données source se trouvant dans un certain format et un certain modèle de données vers un jeu de données cible ayant son propre format et modèle de données. Ces trois constituants du jeu de données, format, données et modèle, peuvent évoluer indépendamment les uns des autres : il est possible de modifier les données sans changer le format ni le modèle (généralisation de la géométrie ou changement de projection par exemple) ou changer ces trois éléments à la fois (génération d'une topologie en shapefile à partir des données DXF). Structure générale d'un traitement avec FME Pour être performant, tout traitement doit mettre en œuvre quatre phases successives : L'analyse des données, qui permet de prendre connaissance du modèle de données source La description du traitement, qui permet de décrire le jeu de données cible et les opérations à appliquer sur la source. Présentation FME Page : 2 / 14
La conversion, qui correspond au traitement effectif des données source et à la production d'un jeu de données cible. Enfin le contrôle, qui doit permettre de comparer le résultat avec les attentes du demandeur. FME met à la disposition des utilisateurs quatre outils logiciels permettant d'assurer ces différentes tâches dans les meilleures conditions : Universal Viewer Workbench Universal Translator fme.exe Universal Viewer est un outil de consultation des données graphiques et attributaires. Il est utilisé dans les phases d'analyse et de contrôle qualité. Interface graphique de FME Universal Viewer Présentation FME Page : 3 / 14
Workbench est le logiciel de conception des traitements. Son interface graphique permet de définir simplement des traitements très complexes sans développement, grâce à l'utilisation des Transformers. Workbench donne la possibilité de tracer de manière fine les différentes étapes d'un traitement en produisant des résultats intermédiaires consultables directement dans Universal Viewer. Interface graphique de FME Workbench Présentation FME Page : 4 / 14
Universal Translator permet d'appliquer, dans un environnement graphique, un traitement conçu par Workbench sur un jeu de données source. Interface graphique de FME Universal Translator Présentation FME Page : 5 / 14
Fme.exe correspond au noyau de FME. Cette application est exploitable en mode console pour lancer des traitements par lots (batch) ou pour automatiser des tâches régulières. FME en mode console Ces quatre applications sont disponibles dans toutes les déclinaisons commerciales de FME à l'exception de la version Unix qui ne comprend que le moteur exploitable en mode console. Présentation FME Page : 6 / 14
3. Les transformers de FME-Workbench Les transformers de Workbench sont des opérateurs géométriques, topologiques ou attributaires qui permettent de définir un traitement dans Workbench. Chacun des transformers dispose d'une ou plusieurs interfaces en Entrée et en Sortie, et de paramètres. Par exemple le transformer SNAPPER permet de corriger la géométrie de réseaux mal numérisés en déplaçant l'extrémité de certaines lignes (impasses) pour les mettre en contact avec d'autres lignes. Le transformer SNAPPER En entrée SNAPPER n'admet qu'une interface correspondant au flux de données à traiter. Ce flux de données peut provenir d'une source de données (un fichier SHP par exemple) ou de l'interface de sortie d'un autre transformer. En sortie SNAPPER admet deux interfaces. L'une correspond au flux de lignes modifiées par SNAPPER, l'autre aux données non modifiées. Les paramètres du transformer sont accessibles par le bouton. Paramètres du transformer SNAPPER Présentation FME Page : 7 / 14
Les paramètres de SNAPPER permettent de définir les caractéristiques de la transformation : tolérances, type de raccordement, ajout d'un vertex ou déplacement du nœud. Dans Workbench, les transformers peuvent être chaînés pour produire des traitements complexes. Par exemple, si l'on souhaite créer une zone tampon (buffer) autour d'une route pour réaliser une étude de nuisance sonore, on pourra utiliser les transformers suivants : ATTRIBUTETESTER pour sélectionner à partir d'une valeur d'attribut les tronçons de la route qui nous intéresse, par exemple NRO_RTE="D432". SNAPPER pour s'assurer que les tronçons de cette route sont bien jointifs LINEJOINER pour obtenir la géométrie de la route à partir de la géométrie des différents tronçons la composant. On passe ainsi de n objets jointifs à un seul objet. BUFFERER pour générer la zone tampon. VIZUALIZER Dans le diagramme ci-dessous VIZUALIZER est utilisé pour afficher dans Universal Viewer le résultat du traitement (la zone tampon) ainsi qu'un résultat intermédiaire : la géométrie corrigée de la route. Vizualizer n'est donc pas indispensable mais il est très pratique pour contrôler le déroulement du processus. Processus de génération d'une zone tampon autour d'une route Présentation FME Page : 8 / 14
4. Fonctionnalités 4.1 Traitemen ts *** : Fonction supportée - : Fonction non supportée La liste ci-dessous correspond aux fonctions graphiques de FME-Workbench ("transformers"). D'autres fonctions sont disponibles ("factories" et "functions") en mode texte. Il est possible de développer des procédures en langage TCL et de les appeler au cours d'un traitement FME. De plus, FME-Professionnal permet de développer ses propres fonctions ou le support de nouveaux formats en langage C ou Java. Fonctions FME- Desktop FME- Professionnal Fonctions FME- Desktop FME- Professionnal 2DCreator *** *** GenericTester *** *** 2DForcer *** *** GeometryCoercer *** *** 2DPointAdder *** *** GeometryRemover *** *** 2DPointReplacer *** *** GlobalVariableRetriever *** *** 3DCreator *** *** GlobalVariableSetter *** *** 3DForcer *** *** Grepper *** *** 3DInterpolator *** *** HoleCounter *** *** 3DPointAdder *** *** Intersector *** *** 3DPointReplacer *** *** Joiner *** *** Affiner *** *** Labeller - *** AffineWarper - *** LabelPointReplacer - *** AggregateFilter *** *** LengthCalculator *** *** Aggregator *** *** LineCloser *** *** AnchoredSnapper - *** LineGeneralizer *** *** ArcSDEQuerier - *** LineJoiner *** *** ArcStroker *** *** LineOnAreaOverlayer - *** AreaCalculator *** *** LineOnLineOverlayer - *** AreaGeneralizer *** *** ListBuilder *** *** AreaOnAreaOverlayer - *** ListConcatenator *** *** AttributeCopier *** *** ListCopier *** *** AttributeCreator *** *** ListElementCounter *** *** AttributeRemover *** *** ListExploder *** *** AttributeReprojector *** *** ListIndexer *** *** AttributeSetter *** *** ListSearcher *** *** AttributeSplitter *** *** Logger *** *** AttributeTester *** *** Matcher *** *** BaseConverter *** *** ModuloCounter *** *** BoundingBoxAccumulator *** *** NeighbourFinder - *** BoundingBoxReplacer *** *** NeighbourhoodAggregator *** *** BoundsExtractor *** *** NeighbourPairFinder - *** Présentation FME Page : 9 / 14
Bufferer *** *** Offsetter *** *** CenterLineReplacer *** *** OGCGeometryExtractor *** *** CenterPointReplacer *** *** OGCGeometryReplacer *** *** ChangeDetector *** *** OracleQuerier *** *** Chopper *** *** Orientor *** *** CircularityCalculator *** *** Player *** *** Clipper *** *** PointConnector *** *** Cloner *** *** PointOnAreaOverlayer - *** CommonSegmentFinder *** *** PointOnLineOverlayer - *** Concatenator *** *** PointOnPointOverlayer - *** ContourGenerator - *** PolygonBuilder *** *** ConvexHullAccumulator *** *** Recorder *** *** ConvexHullCreator *** *** Reprojector *** *** CoordinateCounter *** *** Rotator *** *** CoordinateFetcher *** *** RubberSheeter - *** CoordinateRounder *** *** Sampler *** *** Counter *** *** Scaler *** *** Deaggregator *** *** SelfIntersector *** *** DEMGenerator - *** Snapper - *** Densifier *** *** Sorter *** *** DeveauGeneralizer *** *** SQLExecutor *** *** DimensionCalculator *** *** SurfaceDraper - *** Dissolver *** *** SurfaceModeller - *** DonutBuilder *** *** SystemCaller *** *** DonutHoleExtractor *** *** TCLCaller *** *** ElevationExtractor *** *** Terminator *** *** EnvelopeFilter - *** TimeStamper *** *** ExpressionEvaluator *** *** TINGenerator - *** Extender - *** TopologyBuilder *** *** FeatureMerger *** *** ValueMapper *** *** FeatureTypeExtractor *** *** VoronoiDiagrammer - *** La liste des fonctionnalités de FME étant en constante évolution, ce tableau est donné à titre indicatif. La liste complète et la documentation technique associée sont disponibles sur : http://www.safe.com/download/index.php#docs Présentation FME Page : 10 / 14
4.2 Formats Le tableau ci-dessous fournit la liste des différents formats supportés par FME. Attention certains formats nécessitent une extension ou une suite FME particulière. De même certains formats ne sont disponibles qu'en écriture ou en lecture. Pour en savoir plus, merci de consulter la liste détaillée des formats sur : http://www.safe.com/products/fme/formats/index.php Certains formats tels que Edigéo ou Geoconcept sont en cours de développement sous la forme d'extension ; merci de nous contacter pour en savoir plus. Formats supportés par FME et ses extensions. Access Database (nonspatial) IDRISI Adobe Illustrator (EPS) Intergraph FRAMME Aircom ENTERPRISE (Extension) Intergraph FRAMME SEF (Standard Exchange Format) (Extension) APIC (Extension) Intergraph G/Technology (Extension) APT Intergraph GeoMedia Access Warehouse ARGIS GINA (Extension) (Windows only) Intergraph GeoMedia SQL Server Warehouse Intergraph MGE INTERLIS (Extension) ASCII Tabular ISO 8211 Autodesk GIS Design Server (VISION) native KLT Atlas ASCII (Extension) Autodesk AutoCAD DWG/DXF Landmark Z-MAP Autodesk GIS Design Server (VISION) GINA Laser-Scan IFF (Extension) Autodesk MapGuide SDF (binary) LaserScan Gothic (Extension) Autodesk MapGuide SDL Leica GSI (Extension) Autodesk MapObject Reader Leica IDEX AutoKa Transfer File (FF) (Extension) MapGIS(Extension) BC Electronic Submission Framework (ESF) FTA MapGIS ASCII (Extension) GML BC Electronic Submission Framework (ESF) MapInfo MID/MIF RESULTS GML BC MOEP CCOGIF (Extension) MapInfo SpatialWare on SQL Server (Extension) CDED DEM MapInfo TAB CGDEF Mercator MCF CITS/QLF MicroStation Geographics CSV (Comma-Separated Value) MZK (Extension) Cubestore MDF Nen1878 (Extension) Danish DSFL NTF Danish UFO NTX Caris dbase III (DBF) NTX Soundings (Extension) DES ODBC Database (non spatial) Design Files (DGN) (Bentley/Intergraph) OGDI Design Files (V8) ONORM (Extension) DFAD (NIMA) (Extension) Oracle Spatial Object DFD (MultiGen Paradigm) Oracle Spatial Relational DMDF (Digital Map Data Format) Oracle SQL Loader ASCII Présentation FME Page : 11 / 14
DTED DEM Oracle Tables (nonspatial) EDBS (Extension) OS MasterMap (DNF) (GML-2) EPS (Encapsulated PostScript) PenMetrics GRD ESRI ArcGIS Binary Grid (ArcGrid:AIG) PHOCUS PHODAT ESRI ArcInfo Coverage ESRI ArcInfo Export (E00) PostGIS Database PostgreSQL Database ESRI ArcInfo Generate ESRI ArcSDE 8.x/SDE 3.x Raster Image (PNG/GIF) ESRI Ascii Grid ESRI Enterprise GeoDatabase REGIS (SDE) ESRI GML S-57 ESRI Personal GeoDatabase (Access) (Windows SAIF only) ESRI SDE 2.x SDTS ESRI Shape Shockwave Facet XDR Flash Fastgate (Extension) SICAD/SQD (GeoTask) (Extension) FME Feature Store (FFS) SLF GDF (Extension) SOTF GDMS SPANS (Extension) GDS (Extension) STAR INFORMATIC (CX) (Extension) GE Smallworld SVG (Scalable Vector Graphics) GenaMap (Extension) Swedish KF85 GEOCITY (Extension) Swedish MASIK TIGER/Line GEODESYS StruMap USGS DEM (Digital Elevation Model) Geographix CDF USGS DLG Geogrid OVL/ASC (Extension) VALIS/ASC (Extension) GeoTask VML GICAD (Extension) VPF Reader GML (1/2/3) VPF Writer (Extension) GTI/RDB (Extension) VRML IBM DB2 Spatial IBM DB2 Tables (non-spatial) Web Feature Service (WFS) IBM IFF (Extension) XML 4.3 Systèmes de référence spatiale FME est livré avec plus de 1000 systèmes de coordonnées et permet d'en décrire de nouveaux. FME permet les changements de projection et de datum et supporte les grilles de transformation telles que celle de l'ign pour le passage de NTF en RGF93. FME assure le stockage du système de référence spatial dans le fichier cible si le format de celui-ci le permet (MapInfo par exemple). Des transformers tels que DENSIFIER peuvent être combiné au processus de changements de référentiel pour augmenter la qualité du résultat final. Présentation FME Page : 12 / 14
5. Les suites commerciales FME FME est commercialisé sous différentes formes : FME Desktop FME Desktop est composé des différentes applications FME : Universal Viewer, Workbench, Universal Translator et fme.exe. Il s'agit néanmoins d'une version limitée, à la fois en nombre de formats et en nombre d'opérateurs (transformers). Elle s'adresse aux utilisateurs ayant des besoins simples ou pour des besoins d'exploitation bien précis (mise en place d'une procédure batch). Il est impossible d'étendre la liste des formats de FME Desktop avec les extensions de FME Professionnal Suite. FME Professionnal suite Cette version dispose des fonctionnalités complètes de FME et de tous les formats de base (plus de 100). De plus, il est possible d'étendre la liste des formats acceptés avec des extensions (plug-in) développés par Safe ou d'autres sociétés. Parmi ces extensions on trouve les formats APIC, STAR, GDF et bientôt EDIGEO et GEOCONCEPT. Les autres suites correspondent à FME Professionnal + le support de certains formats. Les suites peuvent être étendues à l'aide des mêmes extensions que FME Professionnal. FME Esri suite = FME Professionnal suite + support ESRI ArcInfo Coverages et Geodatabase FME Intergraph suite = FME Professionnal suite + support GeoMedia SQL Server FME Oracle suite = FME Esri suite + FME Intergraph suite + écriture dans Oracle spatial et Oracle locator FME DBII suite = FME Esri suite + FME Intergraph suite + écriture dans IBM DBII spatial FME SMALLWORLD Suite = FME Oracle suite + Support Smallworld Enfin, il existe une version FME Objects qui permet de développer des applications diffusables sous la forme de runtime. FME Objects peut être mis en œuvre dans des environnement COM (C++, VB, Delphi) et Java. Pour en savoir plus consultez la liste des formats supportés par chaque version sur : http://www.safe.com/products/fme/formats/index.php Présentation FME Page : 13 / 14
La liste des plug-in pour toutes les suites FME en dehors de Desktop est sur : http://www.safe.com/products/fme/3rd_party_applications.php Contactez le service commercial de VEREMES pour obtenir les tarifs, conditions de paiement et délais de livraison. 6. Les formations VEREMES propose deux formations autour de FME : - Introduction à FME Professional suite (2 jours) - Introduction à FME Oracle suite (3 jours) Ces formations sont organisées sur site pour des groupes de un à six personnes. Merci de nous contacter pour obtenir le programme détaillé. Pour être tenu au courant des nouveautés de SAFE-SOFTWARE, recevoir la lettre d'information de VEREMES sur FME ou télécharger une version d'évaluation consultez http://www.veremes.com Présentation FME Page : 14 / 14