Simplifions les projets décisionnels TALEND version 1.0 du 07/10/2008 -Talend V1.0.doc 1 / 57
Table des matières 1 PREAMBULE... 3 1.1 CONTENU DE CE DOCUMENT... 3 1.2 SUIVI DES REVISIONS DU DOCUMENT... 3 1.3 PRE-REQUIS... 3 2 CREATION D UN PROJET TUTORIAL... 5 3 CONFIGURATION DE METADATAS... 7 3.1.1 Configuration de la DataSource LABD_OLTP... 7 3.1.2 Configuration de la DataSource CONSOLIDATION_OLTP... 12 3.1.3 Configuration d un fichier Delimited... 13 3.1.4 Configuration d un fichier Positional... 17 4 CREATION D UN JOB SIMPLE...22 5 EXTRACTION D UNE TABLE VERS UN FICHIER... 28 5.1 DESCRIPTION... 28 5.2 EXTRACTION DES DONNEES... 28 5.2.1 Fichier avec séparateur... 28 5.2.2 Fichier de champs de longueur fixe... 33 6 ALIMENTATION D UNE TABLE SQL SERVER AVEC LE CONTENU D UN OU PLUSIEURS FICHIERS... 36 6.1 DESCRIPTION... 36 6.2 ALIMENTATION D UNE TABLE A PARTIR D UN FICHIER... 36 6.3 ALIMENTATION D UNE TABLE A PARTIR DE PLUSIEURS FICHIERS... 39 6.4 GESTION DES REJETS... 42 7 COMPOSANTS TALEND... 46 8 COMPOSANTS JAVA... 50 8.1 DESCRIPTION... 50 8.2 CREATION D UNE ROUTINE... 50 9 ANNEXES... 57 9.1 RESSOURCES DU TUTORIAL...57 9.1.1 Base de données... 57 -Talend V1.0.doc 2 / 57
1 Préambule 1.1 Contenu de ce document Ce document permet à travers d exemples de prendre connaissance de quelques fonctionnalités de l outil Talend. Les points majeurs abordés sont : Création d un projet, Création de Metadata : o Base de données, o Fichier avec séparateur, o Fichier de champs de longueur fixe. Extraction des données d une table vers un fichier (avec séparateur ou de champs de longueur fixe), Alimentation d une table avec un fichier (avec séparateur ou de champs de longueur fixe), Alimentation d une table avec plusieurs fichiers (jointure), Transformation de données, Filtres et Rejets, Création d une routine. 1.2 Suivi des révisions du document Version Date Modifications Auteur 1.0 07/10/08 Création du document C. HOUPE 1.3 Pré-requis Les pré-requis pour ce tutorial sont : Installation de SQL Server 2005 Express (http://www.labdecisionnel.com/tutoriels-/- Labos/Prerequis-Laboratoires/Installation-de-SQL-Server-2005-Express.html) Intégration de la base de données OLTP du Laboratoire (http://www.labdecisionnel.com/tutoriels-/-labos/prerequis-laboratoires/creation-etrestauration-de-la-base-oltp-sous-sql-server.html) -Talend V1.0.doc 3 / 57
Création sous SQL Server d une base de test CONSOLIDATION_OLTP avec les tables Clients et Commandes dont les scripts de création sont fournis en annexe ( 9.1.1.1 et 9.1.1.2) Installation de Talend (http://www.labdecisionnel.com/tutoriels-/-labos/laboratoire- Talend/Installation-Talend-Open-Studio.html ) -Talend V1.0.doc 4 / 57
2 Création d un projet Un nouveau projet doit être créé afin d intégrer les différents exemples que nous allons évoqués. Pour ce faire, exécuter Talend via l exécutable TalendOpenStudio-win32-x86.exe. La fenêtre de connexion apparaît. Figure 1 : Ecran de connexion Sélectionner l icône Create afin que la page de dialogue apparaisse et saisir, à minima, les champs : «Project Name» à la valeur TalendPartie2 «Generation Language» à la valeur Java. -Talend V1.0.doc 5 / 57
Figure 2 : Ecran de création de projet Sélectionner ce projet afin d ouvrir Talend Figure 3 : Ecran d'accueil -Talend V1.0.doc 6 / 57
3 Configuration de MetaDatas Afin d accéder à des sources extérieures, il est possible de définir des Metadata afin de définir, une et une seule fois lors du projet, les informations spécifiques aux sources. Ces informations sont dépendantes de la nature de la source. Figure 4 : Metadata 3.1.1 Configuration de la DataSource LABD_OLTP Sélectionner «Db connection» dans le groupe «Metadata» puis effectuer un click droit afin de choisir l option «Create Connection». Figure 5 : Création de Metadata Datasource - Sélection de création d'une DataSource Le processus de création d une datasource se décompose comme suit : Etape 1 : Saisie du nom, du sujet, de la description ainsi que le statut, Etape 2 : Saisie du driver et des informations de connexion. -Talend V1.0.doc 7 / 57
Figure 6 : Création de Metadata Datasource - Création d'une datasource - Etape 1 -Talend V1.0.doc 8 / 57
Figure 7 : Création de Metadata Datasource - Création d'une datasource - Etape 2 Suite à cette création, les tables que nous devons utilisées doivent être indiquées. Pour ce faire, les étapes à suivre sont : Etape 1 : Bouton droit sur la connexion puis sélectionner «Retrieve Schema», Etape 2 : Indiquer si besoin un filtre sur les tables souhaitées, Etape 3 : Sélectionnées les tables souhaitées, Etape 4 : Valider le format des tables récupérées. -Talend V1.0.doc 9 / 57
Figure 8 : Création de Metadata Datasource - Retrieve Schema - Etape 1 Figure 9 : Création de Metadata Datasource - Retrieve Schema - Etape 2 -Talend V1.0.doc 10 / 57
Figure 10 : Création de Metadata Datasource - Retrieve Schema - Etape 3 -Talend V1.0.doc 11 / 57
Figure 11 : Création de Metadata Datasource - Retrieve Schema - Etape 4 3.1.2 Configuration de la DataSource CONSOLIDATION_OLTP Réitérer les étapes précédentes afin de rendre disponible les tables Clients et Commandes sur la datasource CONSOLIDATION_OLTP. Figure 12 : Création de Metadata - Datasource CONSOLIDATION_OLTP -Talend V1.0.doc 12 / 57
3.1.3 Configuration d un fichier Delimited Sélectionner «File Delimited» dans le groupe «Metadata» puis effectuer un click droit afin de choisir l option «Create File Delimited». Figure 13 : Création de Metadata File Delimited - Sélection de création d'un fichier Delimited Le processus de création d un fichier delimited en metadata se décompose comme suit : Etape 1 : Saisie du nom, du sujet, de la description ainsi que le statut, -Talend V1.0.doc 13 / 57
Figure 14 : Création de Metadata File Delimited - Création d'une source Fichier Delimited - Etape 1 Etape 2 : Saisie du chemin du fichier et du format (Unix ou Windows), -Talend V1.0.doc 14 / 57
Figure 15 : Création de Metadata File Delimited - Création d'une source Fichier Delimited - Etape 2 Etape 3 : Paramétrage de la structure du fichier. Il est possible de choisir le séparateur de champs, de ligne, d indiquer si le fichier contient une ligne d header, de limiter le nombre d enregistrements à prendre en compte ou, encore, de préciser si des lignes doivent être ignorées, -Talend V1.0.doc 15 / 57
Figure 16 : Création de Metadata File Delimited - Création d'une source Fichier Delimited - Etape 3 Etape 4 : Définir la structure du fichier afin d indiquer des alias pour les colonnes si le fichier ne contient pas d header. -Talend V1.0.doc 16 / 57
Figure 17 : Création de Metadata File Delimited - Création d'une source Fichier Delimited - Etape 4 Note : Il n est pas possible de définir DateMAJ comme une date car le format peut être le format TimeZone US. Talend pouvant être en TimeZone FR, sans une routine, il n est pas possible de convertir la date avec le pattern "EEE MMM dd HH:mm:ss zzz yyyy". En effet, il est nécessaire de spécifier le TimeZone à utiliser pour la conversion. Cette transformation sera effectuée plus tard dans ce document (cf. 6.3). 3.1.4 Configuration d un fichier Positional Sélectionner «File Positional» dans le groupe «Metadata» puis effectuer un click droit afin de choisir l option «Create File Positional». -Talend V1.0.doc 17 / 57
Figure 18 : Création de Metadata Positional - Sélection de création d'un fichier Positional Le processus de création d un fichier positional en metadata se décompose comme suit : Etape 1 : Saisie du nom, du sujet, de la description ainsi que le statut, Figure 19 : Création de Metadata File Positional - Création d'une source Fichier Positional - Etape 1 Etape 2 : Saisie du chemin du fichier et du format (Unix ou Windows) ainsi que la longeur de chaque champ (soit par saisie dans Field Separator soit par pointage souris), -Talend V1.0.doc 18 / 57
Figure 20 : : Création de Metadata File Positional - Création d'une source Fichier Positional - Etape 2 Etape 3 : Paramétrage de la structure du fichier. Il est possible de choisir le séparateur de champs, de ligne, d indiquer si le fichier contient une ligne d header, de limiter le nombre d enregistrements à prendre en compte ou, encore, de préciser si des lignes doivent être ignorées, -Talend V1.0.doc 19 / 57
Figure 21 : Création de Metadata File Positional - Création d'une source Fichier Positional - Etape 3 Etape 4 : Définir la structure du fichier afin d indiquer des alias pour les colonnes. -Talend V1.0.doc 20 / 57
Figure 22 : Création de Metadata File Positional - Création d'une source Fichier Positional - Etape 4 Figure 23 : Figure 22 : Création de Metadata File Positional - Création d'une source Fichier Positional - Etape 4 - Détail des colonnes -Talend V1.0.doc 21 / 57
4 Création d un job simple Créons à présent un Job affichant un message «Hello World». Pour ce faire, click droit sur le groupe «Job Designs» afin de créer un folder «Job_simple» Figure 24 : Création d'un folder de Job Step 1 Figure 25 : Création d'un folder de Job Step 2 Note : Le nom d un folder ne doit pas comporter de caractères accentués ni d espace. La création d un job est possible à partir du menu contextuel du groupe «Job Designs» ou un de ses folders. Figure 26 : Création d'un job - Step 1 -Talend V1.0.doc 22 / 57
Au minima, le nom du job doit être saisi. Figure 27 : Création d'un job - Step 2 Sélectionner dans la palette le composant tmsgbox du groupe Misc puis cliquer sur la partie Designer du Job. Figure 28 : Composant tmsgbox -Talend V1.0.doc 23 / 57
Figure 29 : Ajout d'un composant à un job Info : Il est possible de visualiser le code source généré via l onglet Code. L onglet «Component» du composant permet de saisir les informations spécifiques au composant. -Talend V1.0.doc 24 / 57
Figure 30 : Onglet Component De manière générale, La section Basic Settings permet d indiquer les informations nécessaires à l utilisation du composant, La section View permet d indiquer un nom explicite à travers le champ «Label format». La section Documentation permet d ajouter un commentaire pour l utilité du composant. Figure 31 : Section Basic Settings d'un composant tmsgbox -Talend V1.0.doc 25 / 57
Figure 32 : Section View d'un composant tmsgbox L exécution d un job se fait via une icône spécifique de la barre de menu ou sur l onglet Run sous le schéma. Figure 33 : Exécution d'un Job -Talend V1.0.doc 26 / 57
Figure 34 : Exécution du Job Hello World Lors d une exécution de job, il est possible de connaître le temps d exécution en cochant avant le lancement la case «Exec time». Figure 35 : Temps d'exécution d'un job -Talend V1.0.doc 27 / 57
5 Extraction d une table vers un fichier 5.1 Description Nous allons étudier dans ce paragraphe l export des données d une table SQL Server vers un fichier avec séparateur et de champs de longueur fixe. Ces fichiers seront ensuite utilisés dans les paragraphes suivants. Ce paragraphe nécessite que le paramétrage de la datasource LAB_OLTP soit réalisé (cf 3.1.1) 5.2 Extraction des données 5.2.1 Fichier avec séparateur Les étapes à suivre pour exporter des données d une table dans un fichier avec séparateur sont : Créer un job «DBData2FileDelimited» dans un folder «Database_Export», Ajouter un composant tmssqlconnecttion au job, Dans la section «Basic Settings» de l onglet «Component» o Sélectionner «Repository» dans la liste de Property Type afin de définir que la connexion est définie comme Metadata o Sélectionner la connexion LABD_OLTP comme Repository, o Les autres informations n ont pas à être modifiées étant donné que leurs valeurs ont été récupérées de la datasource. Figure 36 : Extraction de données - Fichier avec séparateur - Composant tmssqlconnection Dans le groupe Metadata du repository, faire glisser la table Client vers le designer du job. Un composant tmssqlinput est créé automatiquement avec les informations nécessaires à son utilisation. Il faut cependant indiquer que le composant utilise une connexion existante (en cochant la case «Use an existing connection») et indiquer la connexion concernée, (il est possible de modifier le nom du composant afin que le schéma soit plus compréhensible) -Talend V1.0.doc 28 / 57
Figure 37 : Extraction de données - Fichier avec séparateur - Composant tmssqlinput Faire un click droit sur le composant de connexion et sélectionner Trigger / On Component OK afin de créer une liaison qui doit aboutir sur le composant tmssqlinput Figure 38 : Extraction de données - Fichier avec séparateur - Liaison de connexion Figure 39 : Extraction de données - Fichier avec séparateur - Liaison de connexion (suite) Ajouter dans le job le composant File / Output / tfileoutputdelimited et le renommer en Fichier_CSV_Clients -Talend V1.0.doc 29 / 57
Figure 40: Extraction de données - Fichier avec séparateur - Composant tfileoutputdelimited La section «Basic Settings» de l onglet Component permet d indiquer les informations relative au fichier destination (chemin, séparateur de ligne, séparateur de champ) Figure 41 : Extraction de données - Fichier avec séparateur - Composant tfileoutputdelimited - Basic Settings En sélectionnant le bouton associé à «Edit Schema», nous obtenons fenêtre permettant la saisie des colonnes composant le fichier Figure 42 : Extraction de données - Fichier avec séparateur - Composant tfileoutputdelimited - Schema -Talend V1.0.doc 30 / 57
Il est cependant possible d automatiser la composition du fichier si l export concerne toutes les colonnes de la table source. Pour ce faire, dans la section «Basic settings», sélectionner en schema puis la metadata correspondant à la table Client Figure 43 : Extraction de données - Fichier avec séparateur - Composant tfileoutputdelimited - Schema (mode automatique) En sélectionnant le bouton associé à «Edit Schema», la fenêtre comporte l ensemble des colonnes de la table Client, Figure 44 : Extraction de données - Fichier avec séparateur - Composant tfileoutputdelimited - Schema (mode automatique suite) Faire un click droit sur le composant MSSqlInput, puis sans relâcher le bouton, relier ce composant au tfileouputdelimited, Ajouter le composant Databases/MS SQL Server/tMSSqlRollback et vérifier dans les «Basic settings» que la connexion sera fermée, Faire un click droit sur le composant tfileouputdelimited et sélectionner Trigger / On Component OK afin de créer une liaison qui doit aboutir sur le composant tmssqlrollback. -Talend V1.0.doc 31 / 57
Le job est à présent terminé : Figure 45 : Extraction de données - Fichier avec séparateur - Schéma du job Exécuter le job afin de vérifier son bon fonctionnement. Figure 46 : Extraction de données - Fichier avec séparateur - Exécution du job Le fichier a été alors correctement généré. Figure 47 : Extraction de données - Fichier avec séparateur Fichier généré Note : Si la liaison entre le composant de sortie et le rollback est un Main, le job ne sera pas opérationnel. En effet, une liaison Main est appliquée à chaque itération du traitement. De ce fait, -Talend V1.0.doc 32 / 57
la première itération va ouvrir une connexion, exporter la première ligne, clore la connexion puis vouloir exporter la deuxième ligne. La connexion étant fermée, un exception sera levée. Figure 48 : Extraction de données - Fichier avec séparateur Job en erreur Figure 49 : Extraction de données - Fichier avec séparateur Job en erreur (suite) 5.2.2 Fichier de champs de longueur fixe Afin d exporter des données d une table dans un fichier avec des champs de longueur fixe, il faut réitérer le processus précédent en remplaçant le composant tfileoutputdelimited par un composant tfileoutputpositional. -Talend V1.0.doc 33 / 57
Exportons les données commandes vers un fichier txt. De manière identique au tfileoutputdelimited, la sélection d un schema permet d automatiser la saisie de la composition du fichier destination. Figure 50 : Extraction de données - Fichier avec des champs de longueur fixe - Composant tfileooutputpositional Dans notre exemple, il faut cependant modifier la taille des champs DateCommande, DateLivraisonPrevue et DateExpedition à 30 et EstCommandeEnLigne à 5. Le job est à présent terminé : Figure 51 : Extraction de données - Fichier avec séparateur - Schéma du job Exécuter le job afin de vérifier son bon fonctionnement. -Talend V1.0.doc 34 / 57
Figure 52 : Extraction de données - Fichier avec séparateur - Exécution du job Le fichier a été alors correctement généré. Figure 53 : Extraction de données - Fichier avec séparateur Fichier généré -Talend V1.0.doc 35 / 57
6 Alimentation d une table SQL Server avec le contenu d un ou plusieurs fichiers 6.1 Description A partir des fichiers générés dans les paragraphes Fichier avec séparateur et Fichier de champs de longueur fixe, nous allons alimenter des tables. Ce paragraphe nécessite que le paramétrage des fichiers sources a été réalisé (cf 3.1.3 et 3.1.4) ainsi que celui du datasource CONSOLIDATION_OLTP (cf 3.1.2) 6.2 Alimentation d une table à partir d un fichier L alimentation d une table à partir d un fichier se décompose comme suit : Création d un folder de Job nommé «Database_Import», Création d un job nommé «OneFile2DBData», Ajouter au job une connection SQL Server vers la datasource CONSOLIDATION_OLTP, Ajouter au job le File Delimited Client, Relier ces deux composants par un lien OnComponentOK, Ajouter un composant tmssqlouput pour qu elle utilise la connexion précédemment déclarée, Sélectionner pour «Schema» la valeur «Repository» puis la table «Clients», Sélectionner pour «Action on table» la valeur «Clear Table», Sélectionner pour «Action on data» la valeur «Insert» Figure 54 : Alimentation d'une table à partir d'un fichier - Composant tmssqlouput Afin de définir le mapping entre les données du fichier source et la table cible, il faut ajouter le composant Processing / tmap Relier le File Delimited Client à ce tmap et relier ce tmap au tmssqlouput, Sélectionner dans l onglet Component du tmap le bouton associé au Map Editor -Talend V1.0.doc 36 / 57
Figure 55 : Alimentation d'une table à partir d'un fichier - Composant tmap Une fenêtre permet de glisser-déposer de mapper les données du fichier source et celle de la table cible. En sélectionnant «Auto map!» de la partie droite, un mapping automatique est effectué par homonymie en non case-sensitive Figure 56 : Alimentation d'une table à partir d'un fichier - Mapping Supprimer dans un premier temps le mapping sur DateMAJ, Le champ DateMAJ ne devant pas être null, se placer dans la première colonne du output et sélectionner le bouton afin d afficher l Expression Builder qui permet d apporter une aide sur les expressions, Choisir comme «Category» la valeur «Talend Date» puis dans «Functions» la valeur «getcurrentdate», l expression est automatiquement mise à jour à «TalendDate.getCurrentDate()» -Talend V1.0.doc 37 / 57
Figure 57 : Alimentation d'une table à partir d'un fichier - Mapping (suite) Insérer un composant tmssqlcommit et relier le composant tmssqlouput précédent à ce composant par un lien «oncomponentok». Le schéma du job ainsi généré est : Figure 58 : Alimentation d'une table à partir d'un fichier - Schéma du Job L exécution du Job en cochant la case Statistics aboutit au résultat suivant : Figure 59 : Alimentation d'une table à partir d'un fichier - Exécution du Job -Talend V1.0.doc 38 / 57
Et la table Clients comprend les 190 000 lignes. Figure 60 : Alimentation d'une table à partir d'un fichier - Visualisation des lignes Clients 6.3 Alimentation d une table à partir de plusieurs fichiers Nous allons dans cet exemple utiliser deux fichiers sources afin d alimenter une table. Pour ce faire, les étapes à suivre sont : Créer un nouveau job «ManyFiles2DB», Ajouter un Composant tmssqlconnection, Faire glisser le fichier positional sur le designer du Job, Relier les deux composants précédents via Trigger / On Component OK, Faire glisser le fichier delimited sur le designer du Job, Ajouter un composant tmap, Relier le fichier positional au tmap par un click droit puis glisser le lien en restant appuyé, Ajouter un composant tmssqloutput afin qu il pointe vers la table Commandes Figure 61 : Alimentation d'une table à partir de plusieurs fichiers - Basic Settings du tmssqloutput Relier les deux composants tmssqloutput et tmap, Répondre Yes à la question «Do you want to get the schema of the target component», afin que le système mette à jour les champs en sortie du tmap, -Talend V1.0.doc 39 / 57
Figure 62 : Alimentation d'une table à partir de plusieurs fichiers - Mise à jour des champs en sortie du tmap Dans Basic Settings, sélectionner Map Editor du tmap, Par glisser/déposer dans les entrées, relier les champs ClientID afin de créer une jointure, Par glisser/déposer, mapper les champs du row2 vers le output Figure 63 : Alimentation d'une table à partir de plusieurs fichiers - Mapping Le champ DateCommande est incorrect car il n est pas possible de convertir la chaîne de caractère en date. L expression à utiliser est : TalendDate.parseDateLocale("EEE MMM dd HH:mm:ss zzz yyyy", row1.datecommande,"en") -Talend V1.0.doc 40 / 57
Figure 64 : Alimentation d'une table à partir de plusieurs fichiers - Mapping (suite) Ajouter un composant tmssqlcommit et le relier au tmssqlouput via un lien oncomponentok. Le schéma du job réalisé est le suivant : Le Job est exécuté correctement. Figure 65 : d'une table à partir de plusieurs fichiers - Schéma du Job -Talend V1.0.doc 41 / 57
Figure 66 : Alimentation d'une table à partir de plusieurs fichiers - Exécution du Job 6.4 Gestion des rejets Lors de l utilisation de filtres, il est parfois nécessaire de récolter les données ne respectant pas les critères. De telles données sont appelées rejets. Afin de réaliser une table de rejet, les étapes à suivre sont : Créer un folder de job nommé «Database_Uses», Créer un job nommé «Rejects», Ajouter un composant tmssqlconnection référençant la base LABD_OLTP, Ajouter un composant tmssqlinput pointant sur la table Commande, Ajouter un composant tfileouputdelimited destiné à accueillir les commandes validées (les colonnes du fichier sont CommandeId et Etat), -Talend V1.0.doc 42 / 57
Figure 67 : Gestion des rejets - Composition Fichier Output De même, ajouter un composant tfileouputdelimited destiné à accueillir les commandes validées (les colonnes du fichier sont CommandeId et Etat), Ajouter un composant tmap, Relier les deux composants tfileouputdelimited précédent au tmap, Ouvrir le Map Editor du tmap, Relier le champ CommandeID en entrée avec celui des fichiers de sortie, Relier le champ Etat en entrée avec celui des fichiers de sortie, Pour la sortie Valide, sélectionner l icône d activation de filtres Figure 68 : Gestion des rejets - Activation des filtres Saisir un filtre sous la syntaxe Java, -Talend V1.0.doc 43 / 57
Figure 69 : Gestion des rejets - Saisie d'un filtre Pour la sortie de rejet, sélectionner l icône d activation des rejets Figure 70 : Gestion des rejets - Activation des rejets Figure 71 : Gestion des rejets - Mapping -Talend V1.0.doc 44 / 57
Ajouter un composant tmssqlrollback. Le schéma du job est le suivant : Figure 72 : Gestion des rejets - Schéma du Job L exécution du Job permet de constater la répartition des commandes en fonction de leur état Figure 73 : Gestion des rejets - Exécution du Job -Talend V1.0.doc 45 / 57
7 Composants Talend La liste suivante, non-exhaustive, décrit des composants de Talend. Celle-ci sera revue régulièrement. Palette Composant Description Paragraphe tmsgbox Misc Affiche une alerte Windows. Les boutons accessibles peuvent être choisis parmi une liste prédéfinie trowgenerator Misc Génère des jeux de données de test en définissant un schéma et les patterns pour les données de test tflowtoiterate Misc Permet de définir des actions à répéter pour tous les enregistrements d une source tfor Misc Permet de lister les fichiers d un répertoire Pour accéder au nom du fichier : 4 globalmap.get("$idtfor$_current_i TERATION") où idtfor correspond à l identifiant du tfilelist qui correspond à la valeur entre parenthèse après son nom tlogrow Logs & Errors Permet d afficher les données sur la console 8.2 Attention : Ce composant est très lent tstatcatcher Logs & error Permet le calcul de performance Peut être utilisé au niveau du composant par l onglet Job Settings /Stats & Logs tfilelist File Permet de lister les fichiers d un répertoire Pour accéder au nom du fichier : ((String)globalMap.get("$idFileList$_ CURRENT_FILE")) où idfilelist correspond à l identifiant du tfilelist -Talend V1.0.doc 46 / 57
qui correspond à la valeur entre parenthèse après son nom tfileinputdelimited File / Input Définit un fichier en entrée dont les champs sont séparés par un séparateur tfileinputpositional File / Input Définit un fichier en entrée dont une longueur fixe est associée à chaque champ tfileoutputdelimited File / Output Définit un fichier en sortie dont les champs sont séparés par un séparateur tfileoutputpositional File / Output Définit un fichier en sortie dont une longueur fixe est associée à chaque champ tmysqlinput tmysqloutput tmysqlconnection tmysqlcommit tmysqlrollback tmysqlbulkexec tmssqlinput tmssqloutput tmssqlconnection tmssqlcommit tmssqlrollback tmssqlbulkexec Databases/MySQL Est linké avec une table MySql afin de fournir des données en entrée Databases/MySQL Est linké avec une table MySql afin de pouvoir recevoir des données Databases/MySQL Ouvre une connexion à une base MySql Databases/MySQL Effectue un commit sur une connexion MySql et permet également de la clore Databases/MySQL Effectue un rollback sur une connexion MySql et permet également de la clore Databases/MySQL Permet le chargement de masse sous MySql Databases/MS SQL Server Databases/MS SQL Server Databases/MS SQL Server Databases/MS SQL Server Databases/MS SQL Server Databases/MS SQL Server Est linké avec une table MS SQL Server afin de fournir des données en entrée Est linké avec une table MS SQL Server afin de pouvoir recevoir des données Ouvre une connexion à une base MS SQL Server Effectue un commit sur une connexion MS SQL Server et permet également de la clore Effectue un rollback sur une connexion MS SQL Server et permet également de la clore Permet le chargement de masse sous MS SQL Server 5.2.2 5.2.1 5.2.1 6.2 5.2.1 6.2 5.2.1 -Talend V1.0.doc 47 / 57
teltmysqlmap ELT/MySQL Permet d effectuer un mapping pour la génération de flux teltmysqlinput ELT/MySQL Permet de définir une entrée (structure libre ou table) pour effectuer un mapping teltmysqloutput ELT/MySQL Permet de définir une sortie (structure libre ou table) pour effectuer un mapping tmap Processing Permet de réaliser entre autre : 6.2 Jointure (interne/externe), Transformation des données, Concaténation et inversion de champs, Filtrage, Gestion des rejets, qualité de données. tjoin Processing Réalise des jointures tfilterjoin Processing Permet de limiter les colonnes en sortie du composant tunite Processing Permet de fusionner les données de deux structures différentes tsortrow Processing Permet de trier les données suivant une ou plusieurs colonnes. texternalsortrow Processing Permet de faire appel à un programme externe pour réaliser un tri (perfs accrues mais job non portable) taggregaterow Processing Permet de faire des aggrégats avec les fonctions : count, min, max, avg, sum, first, last, liste, count(distinct) tnormalize Processing Permet pour un champ contenant des tokens de créer une ligne pour chaque token tdenormalize Processing Permet de regrouper des données en fonction d une colonne commune et indique les données de la colonne regroupée sous forme de token tjava Processing Permet d exécuter des méthodes Java tjavarow Processing Permet d exécuter des méthodes Java sur l ensemble des lignes d un flux de données trunjob System Permet de lancer des jobs -Talend V1.0.doc 48 / 57
tsystem System Permet de lancer une ligne de comamnde tssh System Permet de lancer une succession de commande sous une connexion ssh tsetenv System Permet de définir une variable d environnement tuniqrow Data Quality Permet de déterminer les doublons en fonction d une colonne de données en entrée. En sortie, il est possible soit d avoir les données uniques soit d avoir les données dont la colonne étudiée a déjà été rencontrée. tpop Internet Permet de recevoir des mails en pop -Talend V1.0.doc 49 / 57
8 Composants Java 8.1 Description Il est possible sous Talend de créer des méthodes Java, nommées «Routines», pouvant être utilisées dans les composants ainsi que de définir ses propres composants. 8.2 Création d une routine La création d une Routine est accessible dans la section Routines de la partie Code du repository. Créons une routine simple prenant en paramètre une valeur à laquelle sera préfixée «Hello». Les étapes à suivre sont : Création d un folder UserRoutines dans la section Routines Création d une routine ConcatenateHello -Talend V1.0.doc 50 / 57
Figure 74 : Création de routine - Création -Talend V1.0.doc 51 / 57
Figure 75 : Création de routine - Code Par défaut d'une routine Modifier la classe générée par défaut par code préfixant le message par Hello et retournant la valeur ainsi obtenue, -Talend V1.0.doc 52 / 57
Figure 76 : Création de routine - Méthode prefixehello Création d un folder Java_Component au niveau des Jobs, Création d un job RoutineHello, Ajout d un fichier en entrée, Ajout d un composant tlogrow avec une unique colonne Message, Ajout d un tmap devant être relié aux deux composants précédents, Mapping dans le Map Editor de la valeur de sortie Message par l expression ConcatenateHello.prefixeHello(row1.Prenom) (la categorie «*User Defined» permet d atteindre aisément la routine définie) -Talend V1.0.doc 53 / 57
Figure 77 : Création de routine - Expression Builder -Talend V1.0.doc 54 / 57
Figure 78 : Création de routine - Mapping Le schéma du Job ainsi généré est : Figure 79 : Création de routine - Job généré L exécution du Job confirme que l utilisation de la routine est possible. -Talend V1.0.doc 55 / 57
Figure 80 : Création de routine - Exécution du job -Talend V1.0.doc 56 / 57
9 Annexes 9.1 Ressources du tutorial 9.1.1 Base de données 9.1.1.1 Script de création de CONSOLIDATION_OLTP.Clients USE [CONSOLIDATION_OLTP] GO /****** Objet : Table [dbo].[clients] ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO SET ANSI_PADDING ON GO CREATE TABLE [dbo].[clients]( [ClientID] [int] NULL, [Nom] [varchar](50) NOT NULL, [prenom] [varchar](50) NOT NULL, [Email] [varchar](50) NULL, [DateMaj] [datetime] NOT NULL ) ON [PRIMARY] GO SET ANSI_PADDING OFF 9.1.1.2 Script de création de CONSOLIDATION_OLTP.Commandes USE [CONSOLIDATION_OLTP] GO /****** Objet : Table [dbo].[commandes] ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO SET ANSI_PADDING ON GO CREATE TABLE [dbo].[commandes]( [CommandeID] [int] NOT NULL, [NumeroCommande] [char](18) NOT NULL, [DateCommande] [datetime] NOT NULL, [TotalOrdre] [money] NOT NULL, [TotalHorsLivraison] [money] NOT NULL, [FraisLivraison] [money] NOT NULL, [ClientNom] [varchar](50) NOT NULL, [ClientPrenom] [varchar](50) NOT NULL, [ClientEmail] [varchar](50) NULL ) ON [PRIMARY] GO SET ANSI_PADDING OFF -Talend V1.0.doc 57 / 57