Gestion de données avec TALEND

Transcription

1 Journée Bases de données OSUC Gestion de données avec TALEND Validation et insertion Aurore Hertout Chargée d études Géomatique & Expertise Spatiale

2 Données thématiques : Nombreuses et variées Différents modes d acquisition Continues Ponctuelles Autres Nécessaire de mettre en place des processus et des routines pour le traitement de ces données AUTOMATISATION

3 Données thématiques : Nombreuses et variées Différents modes d acquisition Continues Ponctuelles Autres Nécessaire de mettre en place des processus et des routines pour le traitement de ces données AUTOMATISATION ETL

4 ETL = Extract, Transform, Load Objectifs : - intégration de données de tous types et de tous volumes - unifier les projets - rendre les fichiers interopérables - traiter des données

5 ETL = Extract, Transform, Load Objectifs : - intégration de données de tous types et de tous volumes - unifier les projets - rendre les fichiers interopérables - traiter des données - intégrer les données dans une base de données

6 Présentation de Talend Talend Open Studio = éditeur de logiciels Open Source ETL de type «générateur de code» Langage = JAVA ou PERL

7 Présentation de Talend Talend Open Studio = éditeur de logiciels Open Source ETL de type «générateur de code» Langage = JAVA ou PERL Gestion des données et des bases de données

8 Présentation de Talend (interface Job Designer) Jobs / Routines Définition des paramètres des composants / Exécution Composants

9 Présentation de Talend (interface Job Designer) Composants = pas de développement en JAVA TALEND Open Studio -> nécessaire de connaitre le schéma des données Organisation du fichier d entrée et du fichier de sortie obligatoire Connaissance du formatage des fichiers de données

10 SO Tourbières et Principasol APPLICATION AUX DONNÉES SCIENTIFIQUES

11 Données brutes (sites Frasne, La Guette, Landemarais) Traitement (validation) Intégration dans la BDD Principasol

12 Données de terrain (GSM, relevés, etc.) Fichiers de données (.dat) TALEND Intégration dans la BdD Principasol Validation Expert Publication

13 Données de terrain (GSM, relevés, etc.) Fichiers de données (.dat) TALEND Intégration dans la BdD Principasol Validation Expert Publication

14 TALEND Données validées dans la BdD σx = N 1 (xx x ) N 1 i=1

15 TALEND Données validées dans la BdD Données brutes à valider Min < Valeur < Max Min < Valeur < Max VALIDEE Validation expert requise

16 TALEND Données validées dans la BdD Données brutes à valider Min < Valeur < Max Min < Valeur < Max VALIDEE Validation expert requise Intégration dans la BdD Principasol

17 De la théorie à la pratique

18 De la théorie à la pratique

19 De la théorie à la pratique

20 De la théorie à la pratique routines.data_pretraitement.sitei d(row3.rh_avg,row3.record)

21 De la théorie à la pratique

22 De la théorie à la pratique

23 De la théorie à la pratique Données Routine Checked / Expert validation required Intervalle Max Intervalle Min Routine Unchecked

24 De la théorie à la pratique

25 De la théorie à la pratique Intégration des données dans différents types de bases de données

26 Modifications? Modification des Jobs et des routines Ajout d'un paramètre (+ 1 colonne au fichier de données) Modification du schéma global à remplacer et à importer dans l'ensemble des jobs Modification d'une unité ou d'un paramètre Modification dans la routine Traitement_Unite Modification de l'emplacement de la base de données Modification du composant tmysqlinput, tmysqlconnection, tmysqloutput dans l'ensemble des jobs Modification de l'ordre des paramètres Problème de cohérence mais traitement effectué normalement

27 Conclusions et perspectives Talend = Σ d'outils puissants mais complexes => Forums indispensables pour comprendre l'utilisation de certains composants => Communauté de développeurs = amélioration constante des composants SO Tourbières : ETL Talend utilisé et performant pour la gestion des données et l intégration dans la BdD Principasol

28 Journée Bases de données OSUC 15 janv Merci de votre attention Questions?

29