Avant-propos 1. Public visé Pré-requis des connaissances techniques Configuration matérielle et logicielle...20

Transcription

1 Table des matières 1 Avant-propos 1. Public visé Pré-requis des connaissances techniques Configuration matérielle et logicielle...20 Chapitre 1 Présentation générale 1. Introduction Secteur BI Open Source Intégrations OEM Partenariats technologiques Microsoft Teradata SAP Produits CRM Plates-formes décisionnelles Consortiums et Alliances Acteurs intégrateurs Livraisons SaaS - architectures SOA Solution globale Talend Service R&D Modèle économique Soutiens financiers Plate-forme unifiée Principe global Transparence du code généré Mutualisation des éléments de référence Déploiement et planification des tâches Éventail des versions communautaires Spécificités des versions commerciales....35

2 2 Talend Open Studio Mettre en œuvre une solution d'intégration de données 3.5 Extraire, transformer et charger les données (ETL) Entrepôts de données Intégration d'applications d'entreprise Autres applications Découverte, aide et support Veille technologique Société TALEND Informations générales Séminaires et ateliers découverte Formations proposées Documentations fournies Présentations en ligne (Webinars) Tutoriaux Forums Connaissances encyclopédiques (Wiki) Suivi des dysfonctionnements et corrections (BugTracker) Contributions de la communauté des développeurs Internet Sites spécialisés Forums de développeurs...46 Chapitre 2 Installation, lancement et paramétrage 1. Introduction Installation de Talend Open Studio Environnement d'exécution Ressources système Machine Virtuelle Java (JVM) Package d'installation pour Windows ou Linux Téléchargement depuis le site de Talend Déroulement de l'installation...51

3 Table des matières Installation par copie de fichiers Différentes options de lancement Démarrage initial Lancement de l'application Talend Open Studio Activation de la licence GPL Enregistrement sur la communauté des utilisateurs Paramétrage spécifique Sélection de la langue Gestion de la mémoire disponible Définition du référentiel Local Distant Lancement de Talend Open Studio Action sur les projets Configuration du langage interpréteur Démarrage d'une autre instance...73 Chapitre 3 Gestion et mise en œuvre d'un projet 1. Introduction Menus de l'environnement Eclipse RCP Action sur le projet : menu Fichier Changer de Projet Éditer les propriétés du Projet Action sur les éléments : menu Édition Contrôle de l'affichage et des options : menu Fenêtre Disposition de l'affichage : Vue et Perspective Options et paramètres : Préférences Documentations et informations : menu Aide Documentation utilisateur Talend Guide Développeur Communauté des développeurs...88

4 4 Talend Open Studio Mettre en œuvre une solution d'intégration de données Moteur de recherche Application des mécanismes d'import/export Synchronisation d'un projet Ajout d'éléments au projet courant Import d'un projet existant Synchronisation d'éléments Préparation d'un export Archivage d'un projet Ensemble d'éléments Mise à niveau de l'environnement : migration automatique Élaboration d'un Business Model Modélisation graphique Principe de conception Gestion des versions Schémas de description Définition des besoins Spécifications fonctionnelles Spécifications techniques Utilisation de la documentation intégrée Saisie libre Les notes La documentation ("Info-bulles") Les descriptions Génération automatique Diffusion d'un package de déploiement Scripts autonomes Export d'un Job Paramétrage spécifique Services Web Export d'un Job Serveur d'application Tomcat Paramètres d'exécution...117

5 Table des matières 5 Chapitre 4 Conception d'un Job 1. Introduction Gestion des vues Personnalisation des fenêtres Utiliser l'affichage par défaut Fermer, déplacer, agrandir, réduire ou restaurer Rétablir l'affichage des éléments fermés Référentiel et Navigateur Onglet designer Conception des traitements Lecture et visualisation Trace des flux Effacement des informations (statistiques et erreurs) Onglet code Lecture du code généré Identification des erreurs Debug et points d'arrêt Description des paramètres spécifiques Les propriétés du Job La définition locale des variables de contexte Les options du composant Les commandes : Exécution et Debug Le récapitulatif des erreurs et avertissements Structure et Code viewer Gestion des Jobs Fonction de recherche Mise à jour automatique Liens hypertextes Tutoriaux (Learn) Premiers pas Compléments...147

6 6 Talend Open Studio Mettre en œuvre une solution d'intégration de données 3.2 Forums (Ask) Installation Utilisation et manipulation Création de composants Suggestions Discussions non techniques Version entreprise (Upgrade) Introduction aux fonctionnalités avancées Contrôle de l'exécution Pilotage et surveillance Chapitre 5 Palette de composants 1. Introduction Applications Métier Gestion de la Relation Client : CRM Gestion Électronique Documentaire : GED Progiciel de gestion intégré : SAP SalesForce : Solution cloud computing Bases de données Élément générique : Création de table Éléments spécifiques Utilisation du mode BULK Appel de procédures stockées Exécution et contrôle Décisionnel : Business Intelligence Gestion des changements dans une table SCD Génération de rapports Utilisation des cubes Code Utilisateur Éléments types d'un composant...164

7 Table des matières Code Java spécifique Définition dans certains éléments du Job Affichage sur la console Chargement de librairies spécifiques Divers Génération des jeux de données Manipulation des variables et contextes Disponibilité d'un serveur Affichage et choix pour l'utilisateur interactif Localisation (adresse IP) Extraire, Charger puis Transformer : ELT Fichier Gestion des formats spécifiques Lecture/Écriture Fonctions de gestion Communication : Internet Transfert de fichiers : FTP Communication entre applications Mails Journalisation et suivi : Logs & Erreurs Orchestration Structurer les traitements Pre/Post Job Autre Job Organiser les traitements Gestion des flux Gestion des itérations Attente d'un évènement déclencheur Qualité de données Analyse des schémas...183

8 8 Talend Open Studio Mettre en œuvre une solution d'intégration de données 12.2 Contrôle des valeurs Gestion de l'unicité Divers critères Contrôle de l'intégrité des informations Commandes Système Gestion des données de référence (MDM) Définition des transformations Conditions de jointures Tri et agrégations Conversions, dénormalisation Flux XML Validation d'un fichier Configuration d'un arbre Mise en forme des données d'un fichier Format d échange EDIFACT Chapitre 6 Architecture et mise en œuvre d'un Job 1. Introduction Liens et connexions Types de liens Flux principal (Row) Flux secondaire (Lookup) Flux de sortie (Output) Flux de rejet (Rejet) Flux filtré (Filter) Itération d'un ensemble d'éléments (Iterate) Modification des liens Déclencheurs (Triggers) Niveau Subjob Niveau Composant...199

9 Table des matières Conditions Priorités et ordre d'exécution Orchestration des flux Traitements spécifiques Opérateur logique Opérateur ternaire Analyse et mise en relation des données Application des filtres (tfilter) Définition des jointures (tjoin) Gestion des transformations multiples (tmap) Gestion des flux XML pour transformations multiples (txmlmap) Organisation des traitements Répartition de la charge Découpage en séquences Chapitre 7 Contextes et variables 1. Introduction Les contextes Type de déclaration Globale au projet Locale au Job Séparation des environnements Modification des valeurs Paramétrage dans les fichiers properties Chargement explicite de valeurs Chargement implicite Options d'utilisation Configuration des groupes Définition des valeurs d'initialisation...230

10 10 Talend Open Studio Mettre en œuvre une solution d'intégration de données Ajustement en mode design (Prompt) Cas d'applications dans les Jobs Définition des propriétés des composants Définition des paramètres d'un Job Application aux métadonnées Déclaration et utilisation des variables Variables locales Définition dans un composant tmap Utilisation dans une séquence de composants de type tjava Variables globales Enregistrement des valeurs dans un composant tglobalvarset Cas d'itération d'une liste Chapitre 8 Code et routines 1. Introduction Les routines système Différents types Les nombres : Numeric Les chaînes de caractères : StringHandling et TalendString Les fonctions de génération de données : TalendDataGenerator Les dates : TalendDate Les autres types Les routines utilisateur Définir une classe Java Déclaration Syntaxe spécifique Modification...256

11 Table des matières Compilation implicite Gestion du fichier associé Mettre en œuvre des fonctions métiers Formatage, conversion, transformation spécifique Combinaison d'éléments Réutilisation du code existant Gestion des valeurs par défaut Exemple d'application : cryptage des données Cas d'applications des routines dans un Job Déclaration des dépendances Différents types d'utilisation Configuration des paramètres des composants Assistant : Constructeur d'expression Composants Java Contrôle du code généré : compilation Utilisation du type générique Objet Chapitre 9 Définition des métadonnées 1. Introduction Configuration d'une connexion de type base de Données Connexion générique JDBC Principe Pilote JDBC Port TCP Connexion générique ODBC Déclaration d'une source de données Utilisation d'une source de données Connexion native Lecture des schémas : tables et vues...286

12 12 Talend Open Studio Mettre en œuvre une solution d'intégration de données 3. Configuration d'un schéma de type fichier Introduction Fichier délimité Fichier positionnel Fichier XML Définition d'un schéma Gestion d'un arbre Configuration de schémas génériques Définition libre Export/import au format XML Enregistrement du schéma d'un composant de Job Utilisation des autres schémas Enregistrement des paramètres de connexion Exporter comme contexte Cas des bases de données Cas d'un fichier Dissocier du contexte Modification des paramètres Enregistrement dans un nouveau groupe de contexte Modification des schémas Gestion des impacts sur les Jobs existants Mise à jour automatique Désactivation de la propagation Application des changements sur les Jobs existants Chapitre 10 Approche professionnelle 1. Introduction Travail collaboratif Application d'une charte de développement Démarche personnelle...318

13 Table des matières Disposition et affichage des composants Limitation du nombre de composants Règle des noms Cycle de vie des projets Gestionnaire de code source Fusion d'éléments dans un projet Version mineure, majeure et propriétés des éléments Notes, commentaires et descriptions Jobs génériques et Jobs spécifiques Découpage des traitements Passage de paramètres par valeur Paramètres et arguments d'exécution du Job principal Paramètres d'un Job secondaire Échange de paramètres en retour d'exécution d'un Job Code utilisateur et bibliothèque de routines Contrôle des applications Gestion des données Cohérence des schémas Intégrité des données Données de référence Analyse des traitements Audit des développements Répartition de la charge Optimisation des transformations Analyse des performances Application des filtres Actualisation des flux secondaires Syntaxes spécifiques Utilisation des expressions régulières Recours à l'opérateur ternaire Exploitation de la capacité des disques durs Cas des bases de données...343

14 14 Talend Open Studio Mettre en œuvre une solution d'intégration de données Tirer profit du langage SQL Appliquer le mode ELT Charger les gros volumes en mode BULK Utiliser des index Choix de types d'objets adaptés Gestion des rejets et des erreurs Gérer les exceptions Tracer les erreurs Contrôler les rejets Mise en œuvre des applications Utilisation des schémas du référentiel Définition des séquences PreJob et PostJob Gestion de l'espace de travail et de la mémoire disponible Enregistrement des statistiques, traces et notifications Archivage des informations détaillées Contrôle final en production Organisation des tests et procédures de validation Principe général Tests unitaires onditions et valeurs aux limites Détection des données incohérentes Accès aux données Tests intensifs Recette interne Reprise manuelle sur erreur Tests de non-régression Recette externe Gestion du déploiement Export de scripts Type Batch Autonome Type service Web Type ESB...363

15 Table des matières Planification Chapitre 11 Exemples d'application 1. Introduction Boîte à outils Analyse automatique de flux Présentation générale Collecte des informations Gestion des critères de contrôle Agrégation des données Communication d'un rapport Scripts de commande Surveillance système : Service FTP Copie et synchronisation différentielle (Robocopy) Convertisseur FOXPRO (DBF2CSV) Activation des objets COM - Windows Script Synchronisation sur un évènement de type mail Déclaration des serveurs POP3 et SMTP Analyse des pièces jointes Production de documents Transformation XML vers PDF Actualisation de Tableaux Croisés Dynamiques Intégration de données opérationnelles Gestion de comptes bancaires Import : format générique ou spécifique Export de données consolidées vers Excel Interconnexion avec un système tiers Export SQL des données Import de fichiers Migration des données : changement de SGBD

16 16 Talend Open Studio Mettre en œuvre une solution d'intégration de données Description explicite des schémas Lecture des informations des tables Systèmes Synchronisation de données Maintien des données homogènes avec le mode transactionnel Contrôle du flux de la source à la destination Mise en relation des flux Unicité des Clés Correspondances multiples des références Coexistence de deux référentiels Chapitre 12 Solutions Open Source complémentaires 1. Introduction Interopérabilité avec la plate-forme décisionnelle Spago BI Principe de l'architecture Installation de la version démo Application Web de type portail Enregistrement des métadonnées Déploiement d'un Job Talend Déclaration du serveur SpagoBI Démarrage du serveur Export d'un Job Déclenchement depuis le portail Enregistrement d'un document analytique Rôle et planification Restitution des données : solution Jaspersoft Présentation Rôle de l'etl Talend...405

17 Table des matières Mise en œuvre de rapports, tableaux croisés Introduction Utilisation de l'assistant AdHoc Édition avec ireport Exemples de restitution des données Rapports et tableaux de bord Fonction d'export aux formats usuels Publication vers jasperserver Évolutions futures Autres outils complémentaires Index...415