Principe, applications et limites

Transcription

1 Principe, applications et limites Sujet commandité par Thomas Milon Encadré par Bruno Tisseyre Traité par Florence Laporte, Anne Meillet et Romain Rivière Veilles technologiques Mercredi 14 décembre

2 Présentation Introduction Principe Analyse de l existant Intérêts et limites Petit TD de prise en main d un ETL géographique libre : SDI Conclusion 2

3 Définition,historique et importance des données spatiales 3

4 ETL: Extract, Transform, Load Technologie informatique intergicielle : Extraction massive de données de diverses sources Transformation de ces données en les rendant compatibles avec une source cible Intégrer les données transformées dans la source cible Apparition avec la notion de «Business Intelligence» 4

5 Apparition des premiers ETL Première interface avec langage SQL Première suite GéoDécisionnelle Jmap Premier ETL spatial Open Source Talend SDI 5

6 80 % des données possèdent des références géographiques (Franklin,1992) Essor des SIG: Pression de plus en plus importante pour l'accès aux données géographiques Multiplicité des sources et formats de données Métadonnée: multiplicité des sources et spécifications, malgré tentative de normalisation 6

7 ETL géo Source: 7

8 Extract Transform Load E T L 8

9 Connexion aux différentes données(vecteurs, rasters, SGBD, flux, PCI ) Parseur lecture de l information Données sources Connexion Lecture ETL Point critique conditionne le process 9

10 Modification des données extraites Transformation attributaire calcul, harmonisation des valeurs Nettoyage/correction des erreurs Homogénéisation Transformation géographique Filtre masque Tri classification Association jointure (y compris spatiales) Cœur du système qualité du process 10

11 Chargement des données transformées dans les bases de données cibles ETL Connexion Transfert Données cibles (ex : Data Warehouse) 11

12 Données sources E-T-L (géokettle) Données cibles 12

13 Analyse des logiciels existants et critères d'évaluation 13

14 Propriétaire : FME, InfoSphere DataStage, Informatica, Oracle Warehouse Builder, Libre : Talend SDI, Pentaho Geokettle 3 catégories : Engine-based (Moteur de transformation) Database-embedded embedded Code-generators (générateur de code) 14

15 Coût Taille de la structure Culture de la structure Accès aux données Traitement des données Temps de traitement Ergonomie Le livre blanc - ETL Open Source : Une réelle alternative aux solutions propriétaires ATOL, Conseil et Développement 15

16 Version SDI Depuis 2007 Géokettle 2.0 Depuis 2007 Basé sur Talend Open Studio (TOS) Pentaho Data Integration Développé par CampToCamp Université de Laval ETL de type Générateur de code Moteur de transformation Lecture et/ou écriture des données aux formats Les principaux SGBD et formats de fichiers Une trentaine de SGBD Tous les fichiers plats (csv, xml, excel) Points forts Communauté Calculs d aggrégation lookups Forum et Wiki Chargement de données Répartition sur plusieurs serveur 16

17 A travers un exemple d'application et d'un TD 17

18 Collecte et transformation d une quantité massive de données D origines diverses De formats différents Automatisation des processus Gain de temps Chargement incrémentiel de nouvelles données Eviter les erreurs dûes à la redondance d opérations manuelles Sécurité (système de détection des erreurs) 18

19 Accessible aux non-informaticiens: Programmation limitée et «graphique» Reprise et partage du «code» facilité Ex: Transformation Shp en Kml Solution classique: bash + Ogr #!/bin/bash mkdir ecw for FILE in *.tif do BASENAME=$(basename $FILE.tif) OUTFILE=ecw/${BASENAME}.ecw echo "Processing: ${BASENAME}.tif" if [ -f $OUTFILE ] #skip if exists then echo "Skipping: $OUTFILE" else /usr/local/bin/gdal_translate -of ECW -co LARGE_OK=YES $FILE $OUTFILE fi done Talend SDI 19

20 (Exemple d application) 20

21 Contrôle de la qualité des données / norme OGC Intégration et contrôle du PCI au format EDIGEO Localisation des erreurs Création des périmètres administratifs, Découpage Conversion de format Reprojection de référentiels 21

22 22

23 Tâche Processus Job Etape 1 Composant 1 Etape 2 Composant 2 Etape N Composant N

24 Barre d outil Zone de travail Gestionnaire de projet Zone de gestion des jobs Palette de composants 24

25 Lourd Peu intuitif Boite noire 25

26 «ETL is not magic» 26

27 Pratique mais contraignant Questions sur les données sources : Sont-elles modifiables? Sont-elles homogènes? Doivent-elles être transformées? Questions sur les processus : Faisable autrement? Répétitif? 27

28 28