Composants Talend Open Studio

Transcription

1 Composants Talend Open Studio Guide de référence Version 2.4_a Convient pour l utilisation de Talend Open Studio v2.4.x.

3 Composants Talend Open Studio Guide de référence... i Avertissement...1 A propos du Guide de référence... 1 Composants Business Intelligence 3 tmysqlscd... 4 Propriétés du tmysqlscd... 4 Scénario : Traquer des modifications avec Slowly Changing Dimension 6 Composants Data Quality...13 tfuzzymatch Propriétés du tfuzzymatch Scénario 1 : Distance de Levenshtein de 0 pour les prénoms 15 Scénario 2 : Distance de Levenshtein de 1 ou 2 pour les prénoms 17 Scénario 3 : Distance métaphonique pour les prénoms 18 Composants Database...21 tldapinput Propriétés du tldapinput Scénario : Afficher le contenu filtré d un annuaire LDAP 23 tldapoutput Propriétés du tldapoutput Scénario : Editer des données dans un annuaire LDAP 27 tmysqlbulkexec Propriétés du tmysqlbulkexec Scénarios associés tmysqlcommit Propriétés du tmysqlcommit Scénario associé tmysqlconnection Propriétés du tmysqlconnection Scénario : Insérer des données dans des tables mère/fille 34 tmysqlinput...39 Propriétés du tmysqlinput...39 Scénario associé...40 tmysqloutput...41 Propriétés du tmysqloutput...41 Scénario : Ajouter une colonne et modifier les données 43 tmysqloutputbulk...45 Propriétés du tmysqloutputbulk...45 Scénario : Insérer des données transformées dans une base MySQL 47 tmysqloutputbulkexec...51 Propriétés du tmysqloutputbulkexec 51 Scénario : Insérer des données dans une base MySQL 52 tmysqlrollback...53 Propriétés du tmysqlrollback...53 Scénario : Annuler l insertion de données dans des tables mère/fille 53 tmysqlrow...54 Propriétés du tmysqlrow...54 Scénario : Supprimer et regénérer un index de table MySQL 55 tmysqlscd...57 tmysqlsp...58 Propriétés du tmysqlsp...58 Scénario : Trouver le libellé State à l aide d une procédure stockée 59 Composants Database Utilities..63 tparserecordset...64 Propriétés du tparserecordset...64 Scénario...64 Composants File...65 tfileinputdelimited...66 Propriétés du tfileinputdelimited...66 Scénario : Afficher le contenu d un fichier délimité 67 tfileinputpositional...69 Propriétés du tfileinputpositional...69 Scénario : Transformer un fichier positionnel en XML 70 tfileinputregex...74 Copyright 2008 Talend Open Studio iii

4 Propriétés du tfileinputregex Scénario : Transformer en fichier Regex en Positional 75 tfileinputxml Propriétés du tfileinputxml Scénario : Extraire des adresses XML 79 tfilelist Propriétés du tfilelist Scénario : Itération sur un répertoire 81 tfileoutputxml Propriétés de tfileoutputxml Scénario : Utiliser un format de sortie XML 85 tpivotoutputdelimited Propriétés du tpivotoutputdelimited 86 Scénario : Utiliser une colonnes pivot pour agréger des données 86 Composants Processing...89 taggregaterow...90 Propriétés du taggregaterow...90 Scénario : Agréger des valeurs et trier des données 91 tmap...95 Propriétés du tmap...95 Scénario 1 : Mapping simple avec filtre et jointure explicite (Perl) 95 Scénario 2 : Mapping avec rejet Inner join (Perl) 101 Scénario 3 : Mapping de jointure en cascade 107 Scénario 4 : Mapping avancé avec filtres, jointures explicites et rejet Inner join 107 Scénario 5 : Mapping avancé avec filtres et vérification des lignes 112 tsortrow Propriétés du tsortrow Scénario : Trier des données iv Talend Open Studio Copyright 2008

5 Avertissement Avertissement A propos du Guide de référence Le présent Guide de référence est la version française non exhaustive du Components Reference Guide anglais. Pour les composants non renseignés, référez-vous à ce dernier. Veillez à consulter régulièrement la site Internet de Talend pour télécharger la dernière version du Guide de référence français. Copyright 2008 Talend Open Studio 1

7 Composants Business Intelligence Composants Business Intelligence Ce chapitre passe en revue les principaux composants présents dans le groupe Business Intelligence de la Palette de Talend Open Studio. La famille BI regroupe tous les connecteurs couvrant des besoins tels que la lecture et l écriture de bases de données multidimensionnelles ou OLAP, la génération de rapports Jasper, le suivi des modifications de bases de données à l aide de tables slow changing dimension, etc. Présentation des Composants Chaque composant possède sa propre liste de propriétés et de paramètres, éditables dans les onglets Basic et Advanced settings dans la vue Component. WARNING Les propriétés des Composants ont été séparés en deux onglets Basic et Advanced settings. Certaines des informations suivantes ayant été rédigées au préalable, un écart entre l interface utilisateur de Talend Open Studio et la description ci-dessous peut subsister. Dans la section de propriétés des composants, une icône ou indique si le composant est disponible en Java et/ou en Perl. Copyright 2008 Talend Open Studio 3

8 Composants Business Intelligence tmysqlscd tmysqlscd Propriétés du tmysqlscd Famille de composant Databases/MySQL Fonction tmysqlscd reflète et traque les modifications d une table SCD MySQL dédiée. Objectif tmysqlscd adresse des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. Basic settings Property type Peut être Built-in ou Repository. Host Port Database Username et Password Encoding Table Schema type et Edit Schema Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier de propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Adresse IP du serveur de base de données. Numéro du port d écoute du serveur de base de données. Nom de la base de données. Informations d authentification de l utilisateur de la base de données. Sélectionnez l encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données de base de données. Nom de la table à créer. Vous ne pouvez créer qu une seule table à la fois. Un schéma est une description de lignes, i.e., il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (built-in) soit distant dans le Repository. Built-in : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également : Paramétrage d un schéma built-in, page 60 Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également : Paramétrage d un schéma du repository, page 61 4 Talend Open Studio Copyright 2008

9 Composants Business Intelligence tmysqlscd Pour l instant, uniquement disponible en Java. Pour l instant, uniquement disponible en Java. Surrogate key Sélectionnez la colonne sur laquelle la clé de substitution (surrogate key) générée est positionnée. Cette clé peut être générée en fonction de la méthode sélectionnée dans la liste Creation. Creation Sélectionnez la méthode utilisée pour générer la clé : input field : la clé provient d un champ du flux d entrée routine : accédez aux fonctions de base en utilisant le raccourci clavier Ctrl+Espace. table max +1 : la valeur maximum de la table SCD est incrémentée pour créer la clé de substitution. sequence/identity : Clé auto-incrémentale Source Keys Use SCD Type 1 fields Use SCD Type 2 fields Use SCD Type 3 fields Debug Mode Sélectionnez une ou plusieurs colonnes qui serviront de clé, afin d assurer l unicité des données entrantes. Utilisez l option SCD Type 1 si les modifications n ont pas besoin d être répertoriées, notamment pour la correction des coquilles. Sélectionnez les colonnes du schéma qui subiront des modifications. Utilisez l option SCD Type 2 si les modifications doivent être répertoriées, notamment pour suivre les mises à jour. Sélectionnez les colonnes du schéma qui subiront des modifications. Start date : Ajoutez une colonne à votre schéma SCD qui contiendra la date de début. Vous pouvez sélectionner une des colonnes du schéma d entrée comme date de début dans la table SCD. End Date : Ajoutez une colonne à votre schéma SCD qui contiendra la date de fin de l enregistrement. Lorsque l enregistrement est actif, la date de fin apparaît comme nulle, sinon vous pouvez sélectionner Fixed Year value et la renseigner avec une date fictive afin d éviter d avoir une valeur nulle dans le champ End date. Log Active Status : Ajoutez une colonne à votre schéma SCD contenant les valeurs de statut true ou false. Cette colonne permet de repérer facilement les enregistrements actifs. Log versions : Ajoutez une colonne à votre schéma SCD contenant le numéro de version de l enregistrement. Utilisez l option SCD Type 3 lorsque vous souhaitez garder une trace des anciennes valeurs d une colonne modifiée. Current value field : Sélectionnez la colonne dans laquelle la valeur est modifiée. Previous value field : Sélectionnez la colonne dans laquelle l ancienne valeur devrait être stockée. Cochez cette case pour afficher chaque étape du processus SCD. Copyright 2008 Talend Open Studio 5

10 Composants Business Intelligence tmysqlscd Utilisation Ce composant est un composant de sortie. Par conséquent, il requiert un composant d entrée et une connexion de type Row Main en entrée. Scénario : Traquer des modifications avec Slowly Changing Dimension Ce scénario décrit un job qui traque les modifications et les mises à jour du fichier source, puis crée un historique des modifications dans une table SCD. Le fichier source contient les profils de plusieurs personnes, inclus leur nom, le nombre d animaux domestiques qu ils possèdent et la ville dans laquelle ils vivent. Une colonne id permet d assurer l unicité des lignes. Cliquez-déposez le composant suivant de la Palette dans l espace de modélisation : tmysqlconnection, tfileinputpositional, tlogrow, tmysqlscd et tmysqlcommit. Tout d abord, connectez les composants tfileinputpositional, tlogrow, tmysqlscd à l aide d une connexion de type Row Main. Ils représentent le flux principal de votre job. Puis connectez tmysqlconnection au composant tfileinputpositional à l aide d une connexion de type Then Run. Connectez le composant tmysqlscd au composant tmysqlcommit à l aide d une connexion de déclenchement de type OnOK. Tout d abord, configurez la connexion à la table SCD dans laquelle toutes les modifications sont répertoriées. Utilisez le composant tmysqlconnection pour éviter de configurer plusieurs fois la même connexion à la base de données quand plusieurs composants BDD sont utilisés. 6 Talend Open Studio Copyright 2008

11 Composants Business Intelligence tmysqlscd Si les informations sur la base de données sont stockées dans le Repository, sélectionnez Repository dans le champ Property type. Et sélectionnez l entrée correspondante si plusieurs bases de données sont centralisées. Puis définissez les propriétés du tfileinputpositional : Récupérez les propriétés du tfileinputpositional dans le Repository, sinon renseignez les paramètres Built-in. Dans cet exemple, le schéma est composé de quatre colonnes et suit ce modèle : 3,19,11,9 Puis configurez le tlogrow afin d afficher le contenu du fichier d entrée dans la console avant qu il n ait été traité par le composant SCD. Dans cet exemple, cochez la case Print values in cells of a table afin que le contenu s affiche sous forme de table. Puis configurez le composant tmysqlscd afin de traquer les modifications apportées au fichier d entrée. Copyright 2008 Talend Open Studio 7

12 Composants Business Intelligence tmysqlscd Cochez la case Use an existing connection pour réutiliser les informations définies dans les propriétés du composant tmysqlconnection. Nommez la table utilisée pour traquer les modifications. La table SCD doit déjà exister. Définissez le schéma de la table. En plus du schéma de flux, le schéma SCD doit inclure des colonnes SCD spécifiques contenant des informations de log standard, notamment : Start date (date de début), End date (date de fin), Status (Activé/Désactivé) et Version number (numéro de version). Ajoutez ces colonnes au schéma si elles n existent pas. 8 Talend Open Studio Copyright 2008

13 Composants Business Intelligence tmysqlscd Dans la table Source keys, ajoutez au moins une colonne à l aide du bouton (+) et sélectionnez la colonne assurant l unicité des enregistrements. Cette colonne peut être une Surrogate Key. Sinon vous avez la possibilité de créer plusieurs colonnes pour créer une clé assurant l unicité de chaque enregistrement. Puis cochez la case Use SCD type 1 fields pour paramétrer les colonnes qui sont à modifier sans que ces modifications ne soient répertoriées. L option SCD type 1 s utilise principalement pour la correction des coquilles et des petites erreurs qui n ont pas besoin d être répertoriées mais qui doivent se refléter en sortie. Cliquez sur le bouton (+) et sélectionnez le nom de la colonne correspondante. Puis cochez la case Use SCD type 2 fields pour paramétrer les colonnes qui sont à modifier et dont les modifications sont répertoriées dans la table SCD. Copyright 2008 Talend Open Studio 9

14 Composants Business Intelligence tmysqlscd Cliquez sur le bouton (+) pour ajouter autant que colonnes que nécessaire et sélectionnez les noms de colonnes correspondantes. Le principe de l option SCD Type-2 réside dans le fait qu un nouvel enregistrement est ajouté à la table SCD lorsqu une modification est détectée dans les colonnes sélectionnées. Notez que même si plusieurs modifications sont effectuées sur plusieurs colonnes définies en SCD type-2 dans un même enregistrement, une seule ligne répertoriant ces modifications est ajoutée à la table SCD. Définissez les colonnes de votre table contenant les valeurs Start date (date de début) et End date (date de fin). La date de fin est nulle pour les enregistrements en cours jusqu à ce qu une modification soit détectée. Une fois la modification détectée, la date de fin est renseignée et un nouvel enregistrement, sans date de fin, est ajouté. Cochez la case Log active status, et sélectionnez la colonne contenant les valeurs de statut True ou False. True correspond à l enregistrement en cours et False à l enregistrement modifié. Cochez la case Log versions et sélectionnez la colonne contenant le numéro de version (Version number). Cochez la case Debug mode si vous souhaitez suivre les étapes de repérage SCD avec la console Run Job lors de l exécution du job. Puis sélectionnez le composant tmysqlcommit et sélectionnez la connexion correspondante dans le liste. Appuyez sur F6 pour exécuter votre job. 10 Talend Open Studio Copyright 2008

15 Composants Business Intelligence tmysqlscd La console Run Job affiche toutes les étapes SCD ainsi que le contenu du fichier d entrée (uniquement le premier et le dernier dans cet exemple). La table SCD affiche l historique des modifications apportées au fichier d entrée, ainsi que le statut et le numéro de version. La date de fin (End date) est Null (nulle) lorsque le statut de l enregistrement est actif (courant). Copyright 2008 Talend Open Studio 11

17 Composants Data Quality Composants Data Quality Ce chapitre passe en revue les propriétés des principaux composants présents dans la famille Data Quality de la Palette de Talend Open Studio. La famille Data Quality regroupe les composants vous permettant d améliorer la qualité de vos données. Ces composants couvrent divers besoin dont la comparaison de colonnes afin d en extraire des données spécifiques. Présentation des Composants Chaque composant possède sa propre liste de propriétés et de paramètres, éditables dans les onglets Basic et Advanced settings dans la vue Component. WARNING Les propriétés des Composants ont été séparés en deux onglets Basic et Advanced settings. Certaines des informations suivantes ayant été rédigées au préalable, un écart entre l interface utilisateur de Talend Open Studio et la description ci-dessous peut subsister. Dans la section de propriétés des composants, une icône ou indique si le composant est disponible en Java et/ou en Perl. Copyright 2008 Talend Open Studio 13

18 Composants Data Quality tfuzzymatch tfuzzymatch Propriétés du tfuzzymatch Famille de composant Data quality Fonction Objectif Basic settings Le tfuzzymatch compare une colonne du flux principal avec une colonne du flux de référence et extrait les données du flux principal en affichant la distance. Permet d assurer la qualité des données de n importe quelle source de données en la comparant avec une source de données de référence. Schema type et Edit Schema Matching type Min Distance Un schéma est une description de lignes, i.e., il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local(built-in) soit distant sans le Repository. Deux colonnes en lecture seule sont ajoutées automatiquement au schéma de sortie : Value et Match. Built-in : Le schéma est créé et conservé pour ce composant seulement. Voir également : Paramétrage d un schéma built-in, page 60 Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisable dans divers projets et job designs. Voir également : Paramétrage d un schéma du repository, page 61 Sélectionnez l algorithme de correspondance approprié parmi les suivants : Levenshtein : Basé sur la théorie de la distance d édition. Il calcule le nombre d insertion, de suppression ou de substitution nécessaire pour correspondre à la référence. Metaphone : Basé sur la phonétique. Tout d abord, il charge les sonorités de toutes les entrées du flux de référence (Lookup) et les compare avec celles des entrées du flux principal (Main). Double Metaphone : Pour éviter toute ambiguïté que le Metaphone n aurait pas pu détecter, utilisez cette option. (Levenshtein uniquement) Définissez le nombre minimum de modifications autorisées pour correspondre à la référence. Si vous définissez 0, seules les correspondances exactes sont extraites. 14 Talend Open Studio Copyright 2008

19 Composants Data Quality tfuzzymatch Utilisation Limitation/Conditions requises Max Distance Matching Column Unique Matching Matching item separator (Levenshtein uniquement) Définissez le nombre maximum de modificiations pouvant correspondre à la référence. Sélectionnez la colonne du flux principal qui doit être comparée avec la colonne clé du flux de référence (Lookup). Cochez cette case pour obtenir la meilleure correspondance possible, si plusieurs correspondances sont disponibles. Si plusieurs correspondances sont disponibles, elles seront toutes affichées sauf si la case Unique match est cochée. Définissez le délimiteur entre chaque correspondance. Ce composant n est pas un composant de début (fond vert) et il nécessite deux composants d entrée et une composant de sortie. Utilisateurs Perl : Assurez-vous que le package correspondant est installé sur votre ordinateur. Consultez la vue Module pour connaître les modules à installer. Scénario 1 : Distance de Levenshtein de 0 pour les prénoms Ce scénario décrit un job constitué de quatre composants dont le but est de vérifier la distance d édition comprise entre les colonnes First Name (prénom) d un fichier d entrée et de comparer les données avec celles du fichier de référence. Le résultat de cette vérification de la distance de Levenshtein et le contenu du flux principal sont affichés dans une table. Cliquez et déposez les composants suivants de la Palette vers le espace de modélisation : tfileinputdelimited (x2), tfuzzymatch et tfileoutputdelimited. Paramétrez les propriétés du composant tfileinputdelimited à partir de l onglet Basic settings. Parcourez votre répertoire et sélectionnez le fichier d entrée à analyser. Mais surtout définissez le schéma à utiliser par le flux à vérifier. Dans le schéma, définissez le Type de données en version Java, surtout si vous êtes en mode Built-in. Copyright 2008 Talend Open Studio 15

20 Composants Data Quality tfuzzymatch Connectez ce composant d entrée au tfuzzymatch à l aide d une connexion de type Main Row. Définissez le deuxième composant tfileinputdelimited de la même manière. WARNING Assurez-vous que la colonne de référence a bien été définie comme colonne clé dans le schéma du flux de référence (lookup). Puis connectez le deuxième composant d entrée au tfuzzymatch à l aide d une connexion main row (qui apparaît comme une connexion Lookup row dans l espace de modélisation). Définissez les propriétés du tfuzzymatch dans l onglet Basic settings. Le Schéma doit correspondre à celui du flux d entrée principal (Main) afin que le flux principal soit comparé au flux de référence. Notez que deux colonnes : Value et Matching sont ajoutées au schéma de sortie. Elles correspondent à des informations standard de correspondance et sont en lecture seule. Sélectionnez la méthode à utiliser pour la vérification des données entrantes. Dans ce scénario, la correspondance à sélectionner dans le champ Matching type est de type Levenshtein. Ensuite définissez la distance. Dans cette méthode, la distance est le nombre de caractères modifiés (insertion, suppression ou substitution) pour que l entrée principale corresponde exactement à l entrée de référence. 16 Talend Open Studio Copyright 2008

21 Composants Data Quality tfuzzymatch Dans ce scénario, nous souhaitons que la distance soit de 0 en minimum et en maximum. Ce qui signifie que seule une correspondance exacte sera redirigée en flux de sortie. Décochez la case Case sensitive pour ne pas prendre en compte la casse. Et sélectionnez la colonne du flux principal qui doit être vérifiée. Dans cet exemple, le prénom (First name). Ne cochez pas la case Unique matching et ne modifiez pas le séparateur. Connectez le tfuzzymatch à un composant de sortie standard type tlogrow. Ne définissez aucun autre paramètre que le délimiteur pour ce scénario. Enregistrez le job et appuyez sur la touche F6 pour exécuter le job. Comme la distance d édition définie est de 0 (min. et max.), la sortie correspond à une jointure entre le flux principal et le flux de référence (lookup), ainsi seules les correspondances totales avec une valeur égale à 0 sont affichées. Pour un exemple plus évident avec une distance minimum de 1 et une distance maximum de 2, see Scénario 2 : Distance de Levenshtein de 1 ou 2 pour les prénoms on page 17. Scénario 2 : Distance de Levenshtein de 1 ou 2 pour les prénoms Ce scénario est basé sur le scénario 1 décrit ci-dessus. Seuls les paramètres distance min. et max. du composant tfuzzymatch sont modifiés, ce qui modifiera la sortie affichée. Copyright 2008 Talend Open Studio 17

22 Composants Data Quality tfuzzymatch Dans la vue Component du tfuzzymatch, modifiez la distance min. de 0 à 1. Ceci exclut directement les correspondances exactes (qui ont une distance de 0). Maintenant mettez une distance max. de 2 puisque la distance max. ne peut être inférieure à la distance min. La sortie correspond à toutes les données mises en correspondance contenant une différence de 2 caractères au plus. Aucune autre modification de paramètres n est nécessaire. Assurez-vous que le séparateur de champs (Matching item separator) est bien défini, vu que plusieurs entrées de référence peuvent correspondre à l entrée du flux principal. Enregitrez votre nouveau job et appuyez sur F6 pour l exécuter. Vu que la distance d édition a été définie à 2, certaines entrées du flux principal correspondent à plusieurs entrées de référence (lookup). Vous pouvez utiliser une autre méthode, la Métaphone, pour évaluer la distance entre le flux principal et le flux de référence. Scénario 3 : Distance métaphonique pour les prénoms Ce scénario est basé sur le scénario 1 décrit plus haut. 18 Talend Open Studio Copyright 2008

23 Composants Data Quality tfuzzymatch Modifiez le champ Matching type avec l option Metaphone. Aucune distance minimum et aucune distance maximum ne sont à définir puisque cette méthode est basée sur les différences de phonétique avec la référence. Enregistrez le job et appuyez sur F6. La valeur phonétique est affichée avec les correspondances possibles. Copyright 2008 Talend Open Studio 19

25 Composants Database Composants Database Ce chapitre passe en revue les propriétés des principaux composants présents dans la famille Databases de la Palette de Talend Open Studio. La famille Databases regroupe les connecteurs de bases de données les plus populaire. Ces connecteurs couvrent divers besoins : ouverture de connexion, lecture et écriture de tables, commit de transactions, ainsi que des rollbacks pour le traitement des erreurs. Les sous-familles correspondent au différents types de base de données. Plus de 40 SGBDR sont supportés. Présentation des Composants Chaque composant possède sa propre liste de propriétés et de paramètres, éditables dans les onglets Basic et Advanced settings dans la vue Component. WARNING Les propriétés des Composants ont été séparés en deux onglets Basic et Advanced settings. Certaines des informations suivantes ayant été rédigées au préalable, un écart entre l interface utilisateur de Talend Open Studio et la description ci-dessous peut subsister. Dans la section de propriétés des composants, une icône ou indique si le composant est disponible en Java et/ou en Perl. Copyright 2008 Talend Open Studio 21

26 Composants Database tldapinput tldapinput Propriétés du tldapinput Famille de composant Databases/LDAP Fonction tldapinput lit un répertoire et extrait les données en fonction d un filtre défini. Objectif tldapinput exécute une requête LDAP basée sur un filtre prédéfini et correspondant au schéma défini. Puis la liste de champ est transmise au composant suivant via une connexion Main row. Basic settings Property type Peut-être Built-in ou Repository. Host Port Base DN Protocol Authentication User et Password Filter Multi valued field separator Alias dereferencing Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Adresse IP du serveur d annuaire LDAP. Numéro du port d écoute du serveur. Chemin d accès à l arborescence de l utilisateur autorisé. Sélectionnez le type de protocole dans la liste. LDAP : aucun codage n est utilisé LDAPS : LDAP sécurisé TLS : le certificat est utilisé Cochez Authentication si une connexion LDAP est nécessaire. Notez que le login doit correspondre à la syntaxe LDAP pour être valide. Par exemple : cn=directory Manager. Saisissez le filtre comme attendu par l annuaire LDAP db. Saisissez le séparateur de valeur des champs à valeurs multiples. Sélectionnez l option dans la liste. Never permet l amélioration des performances de recherche si vous êtes sûr qu aucun alias n est déréférencé. Par défaut, utilisez Always : Always : les alias sont toujours déréférencés. Never : les alias ne sont jamais déréférencés. Searching : cette option déréférence les alias uniquement après la résolution du nom. Finding : cette option déréférence les alias uniquement lors de la résolution du nom. 22 Talend Open Studio Copyright 2008

27 Composants Database tldapinput Utilisation Referrals handling Sélectionnez l option dans la liste : Ignore : ne tient pas compte des redirections des requêtes Follow : tient compte des redirections des requêtes Limit Time Limit Schema type et Edit Schema Cette option permet de limiter le nombre d enregistrement lus, si nécessaire. Cette option permet de limiter la durée de connexion à l annuaire. Un schéma est une description de lignes, i.e., il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (built-in) soit distant dans le Repository. Built-in : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également : Paramétrage d un schéma built-in, page 60 Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également : Paramétrage d un schéma du repository, page 61 Ce composant couvre toutes les requêtes LDAP possibles. Note : Appuyez sur Ctrl + Espace pour accéder à la liste des variables globales, inclus la variable GetResultName permettant de récupérer automatiquement la base correspondante. Scénario : Afficher le contenu filtré d un annuaire LDAP Le job décrit ci-dessous filtre simplement l annuaire LDAP et affiche le résultat dans la console Run Job. Cliquez et déposez les composants tldapinput et tlogrow. Paramétrez les propriétés du tldapinput. Sélectionnez Repository dans le champ Property type si vous avez stocké les informations de connexion LDAP dans le Metadata Manager du Repository. Puis sélectionnez l entrée adéquate dans la liste. En mode Built-In, renseignez manuellement les champs Host et Port. Host peut être l adresse IP du serveur de l annuaire LDAP ou son nom DNS. Aucune Base DN particulière ne doit être paramétrée. Copyright 2008 Talend Open Studio 23

28 Composants Database tldapinput Puis sélectionnez Protocol adéquat dans la liste. Dans cet exemple : un protocole LDAP simple est utilisé. Cochez la case Authentication et renseignez les informations de connexion pour lire l annuaire, si nécessaire. Dans ce scénario, aucune authentication est nécessaire. Dans la zone Filter, saisissez la commande sur laquelle est basée la sélection de données. Dans cet exemple, le fiiltre est : (&(objectclass=inetorgperson)&(uid=pierre DUPONT)). Renseignez le champ Multi-valued field separator avec une virgule, puisque certains champs contiennent plus d une valeur séparée par une virgule. Comme nous ne savons pas si des alias sont utilisés dans l annuaire LDAP, sélectionnez Always dans la liste. Sélectionnez Ignore dans le champ Referral handling. Définissez la limite à 100 dans cet exemple. 24 Talend Open Studio Copyright 2008

29 Composants Database tldapinput Définissez le Schéma tel qu il est requis par l annuaire LDAP. Dans cet exemple, le schéma est composé de 6 colonnes dont les colonnes objectclass et uid qui seront filtrées. Dans le composant tlogrow, aucune configuration particulière n est exigée. Seule une entrée de l annuaire correspond aux critères du filtre défini dans le composant tldapinput. Copyright 2008 Talend Open Studio 25

30 Composants Database tldapoutput tldapoutput Propriétés du tldapoutput Famille de composant Databases/LDAP Fonction tldapoutput écrit dans un annuaire LDAP. Objectif tldapoutput exécute une requête LDAP basée sur un filtre prédéfini et correspondant à un schéma défini. Puis la liste de champ est transmise au composant suivant via une connexion Main row. Basic settings Property type Peut être Built-in ou Repository. Host Port Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Adresse IP du serveur d annuaire LDAP. Numéro de port d écoute du serveur. Base DN Chemin d accès à l arborescence de l utilisateur autorisé. Protocol Sélectionnez le type de protocole dans la liste : LDAP : aucun codage n est utilisé LDAPS : LDAP sécurisé TLS : le certificat est utilisé User et Password Alias dereferencing Renseignez les champs User (utilisateur) et Password (mot de passe) conformément à l annuaire. Notez que le login doit correspondre à la syntaxe LDAP pour être valide. Par exemple : cn=directory Manager. Sélectionnez l option dans la liste. Never permet l amélioration des performances de recherche si vous êtes sûr qu aucun alias n est déréférencé. Par défaut, utilisez Always. Always : les alias sont toujours déréférencés. Never : les alias ne sont jamais déréférencés. Searching : cette option déréférence les alias uniquement après la résolution du nom. Finding : cette option déréférence les alias uniquement lors de la résolution du nom. Referrals handle Sélectionnez l option dans la liste : Ignore : ne tient pas compte des redirections des requêtes. Follow : tient compte des redirections des requêtes. 26 Talend Open Studio Copyright 2008

31 Composants Database tldapoutput Utilisation Insert mode Sélectionnez l action dans la liste : Insert : insère de nouvelles données Updata : met à jour les données existantes Delete : supprime les données sélectionnées de l annuaire Insert or Updata : insère et met à jour les données Schema type et Edit Schema Un schéma est une description de lignes, i.e., il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (built-in) soit distant dans le Repository. Built-in : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également : Paramétrage d un schéma built-in, page 60 Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également : Paramétrage d un schéma du repository, page 61 Ce composant couvre toutes les requêtes LDAP possibles. Note : Appuyez sur Ctrl + Espace pour accéder à la liste des variables globales, inclus la variable GetResultName permettant de récupérer automatiquement la base correspondante. Scénario : Editer des données dans un annuaire LDAP Le scénario suivant décrit un job qui lit un annuaire LDAP, met à jour l d une entrée sélectionnée et affiche la sortie avant de mettre à jour l annuaire LDAP en sortie. C est-à-dire qu aucun alias n est déréférencé et qu aucune requête n est redirigée. Ce scénario est basé sur le scénario du LDAPInput (cf. Scénario : Afficher le contenu filtré d un annuaire LDAP, page 23). Le résultat obtenu est une entrée simple, correspondant à une personne organisationnelle dont l est mis à jour. Cliquez et déposez les composants tldapinput, tldapoutput, tmap et tlogrow sur l espace de modélisation. Connectez le composant d entrée au tmap puis au tlogrow puis au composant de sortie. Dans la vue Component du tldapinput, paramétrez les informations de connexion au serveur d annuaire LDAP, ainsi que les filtres tel que décrit dans le Scénario : Afficher le contenu filtré d un annuaire LDAP, page 23. Simplifiez le schéma en enlevant les champs suivants : dc, ou, objectclass. Copyright 2008 Talend Open Studio 27

32 Composants Database tldapoutput Puis ouvrez le mapper pour définir les changements à exécuter. Glissez et déposez la colonne uid de la table d entrée (input) à la table de sortie (output) puisque aucune modification n est nécessaire pour cette colonne. Dans le champ Expression de la colonne dn de la table de sortie (output), saisissez l expression exacte attendue par le serveur LDAP afin qu il atteigne l arborescence souhaitée et permette d écrire dans l annuaire, à condition que vous n ayez pas déjà renseigné le champ Base DN du composant tldapoutput. Dans cet exemple, la variable globale GetResultName est utilisée pour récupérer automatiquement le chemin d accès. Appuyez sur Ctrl+Espace pour accéder à la liste de variable et sélectionnez tldapinput_1_result_name. Dans le champ Expression de la colonne mail, saisissez l adresse qui remplacera celle obsolète dans l annuaire LDAP. Dans cet exemple, le nouvel est : Pierre.Dupont@talend.com. Cliquez sur OK pour valider les modifications. Le composant tlogrow ne nécessite pas de paramétrage particulier. Puis sélectionnez le composant tldapoutput pour définir les propriétés d écriture dans l annuaire. 28 Talend Open Studio Copyright 2008

33 Composants Database tldapoutput Définissez manuellement les champs Port et Host si ces informations ne sont pas stockées dans le Repository. Dans le champ Base DN, définissez la plus haute arborescence à laquelle vous avez accès. Si vous n avez pas défini le chemin complet et exact au DN cible, définissez-le ici. Dans cet exemple, le DN complet est fournit par la sortie dn du composant tmap, Ainsi, seule la plus haute arborescence accessible est fournie : o=directoryroot. Sélectionnez le protocole a utilisé : LDAP pour cet exemple. Puis renseignez les champs User et Password attendus par l annuaire LDAP. Laissez les paramètres par défaut des champs Alias Dereferencing et Referral Handling, c est-à-dire respectivement Always et Ignore. Dans le champ Insert mode, sélectionnez l option Update pour cet exemple (l adresse ). Le schéma est récupéré du composant précédent à l aide d une opération de propagation. Enregistrez le job et exécutez-le en appuyant sur la touche F6. La sortie montre les champs suivants : dn, uid et mail comme défini dans le job. Copyright 2008 Talend Open Studio 29

34 Composants Database tmysqlbulkexec tmysqlbulkexec Propriétés du tmysqlbulkexec Les composants tmysqloutputbulk et tmysqlbulkexec sont généralement utilisés ensemble pour d une part générer en sortie le fichier qui sera d autre part utilisé comme paramètre dans l exécution de la requête SQL énoncée. Cette exécution en deux étapes est unifiée dans le composant tmysqloutputbulkexec, détaillé dans une section séparée. L intérêt de proposer deux composants séparés réside dans le fait que cela permet de procéder à des transformations avant le changement des données dans la base de données. 30 Talend Open Studio Copyright 2008

35 Composants Database tmysqlbulkexec Famille de composant Databases/Mysql Fonction Effectue une action d Insert sur les données fournies. Objectif Le composant tmysqlbulkexec est un composant dédié qui permet un gain de performance pendant les opérations d Insert dans une base de données Mysql. Basic settings Property type Peut être Built-in ou Repository. Utilisation Limitation Host Port Database Username et Password Table File Name Fields terminated by Encoding Commit every Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier de propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Adresse IP du serveur de base de données. Numéro du port d écoute du serveur de base de données. Nom de la base de données. Informations d authentication de l utilisateur de base de données. Nom de la table à écrire. Notez qu une seule table peut être écrite à la fois et la table doit exister pour que l opération d Insert soit autorisée. Nom du fichier à traiter. Voir également :Définir les variables à partir de la vue Component, page 137 Caractère, chaîne ou expression régulière séparant les champs. Sélectionnez l encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données de base de données. Nombre de lignes à inclure dans le lot avant de commencer l écriture de la base. Cette option garantit la qualité de transaction (cependant pas de rollback) et surtout une meilleure performance des exécutions. Ce composant est généralement utilisé avec un composant tmysqloutputbulk. Ensemble, ils offrent un gain de performance important pour l alimentation d une base de données Mysql. n/a Copyright 2008 Talend Open Studio 31

36 Composants Database tmysqlbulkexec Scénarios associés Pour plus d informations relatives au fonctionnement de tmysqlbulkexec, consultez les scénarios suivants : tmysqloutputbulk Scénario : Insérer des données transformées dans une base MySQL, page 47 tmysqloutputbulkexec Scénario : Insérer des données dans une base MySQL, page Talend Open Studio Copyright 2008

37 Composants Database tmysqlcommit tmysqlcommit Propriétés du tmysqlcommit Ce composant est étroitement lié aux composants tmysqlconnection et tmysqlrollback. Ils sont généralement utilisés ensemble lors de transactions. Famille de composant Databases/MySQL Fonction Valide les données traitées dans un job à partir d une base de données connectée. Objectif En utilisant une connexion unique, commitez en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes. Ce composant permet un gain de performance. Basic settings Component list S il y a plus d une connexion dans le job en cours, sélectionnez le composant tmysqlconnection dans la liste. Utilisation Limitation Ce composant est généralement utilisé avec des composants Mysql et notamment avec les composants tmysqlconnection et tmysqlrollback. n/a Scénario associé Ce composant est étroitement lié aux composants tmysqlconnection et tmysqlrollback. Ils sont généralement utilisés avec un composant tmysqlconnection car il permet d ouvrir une connexion pour la transaction en cours. Pour plus d informations relatives au fonctionnement du composant tmysqlcommit, consultez tmysqlconnection page 34 Copyright 2008 Talend Open Studio 33

38 Composants Database tmysqlconnection tmysqlconnection Propriétés du tmysqlconnection Ce composant est étroitement lié aux composants tmysqlcommit et tmysqlrollback. Ils sont généralemet utilisés avec un composant tmysqlconnection car il permet d ouvrir une connexion pour la transaction en cours. Famille de composant Databases/MySQL Fonction Ouvre une connexion vers une base de données afin d effectuer une transaction. Objectif Ce composant permet de commiter les données d un job entier en une seule transaction vers une base de données de sortie. Basic settings Property type Peut être Built-in ou Repository. Utilisation Limitation Host Port Database Username et Password Encoding type Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Adresse IP du serveur de base de données. Numéro du port d écoute du serveur de base de données. Nom de la base de données. Informations d authentication de l utilisateur de base de données. Sélectionnez l encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données des bases de données. Ce composant est généralement utilisé avec des composants Mysql, notamment les composants tmysqlcommit et tmysqlrollback. n/a Scénario : Insérer des données dans des tables mère/fille Le job suivant est dédié à des utilisateurs avancés de base de données qui souhaitent effectuer des insertions dans des tables multiples à l aide de l id d une table parent qui alimentera une table enfant. Avant de créer ce job, suivez les étapes décrites ci-dessous pour créer les tables nécessaires, à l aide d un gestionnaire de table tel que innodb. 34 Talend Open Studio Copyright 2008

39 Composants Database tmysqlconnection Dans un éditeur de ligne de commande, connectez-vous à votre serveur Mysql. Une fois connectée à la base de données correspondante, saisissez la commande suivante afin de créer la table parent : create table f1090_mum(id int not null auto_increment, name varchar(10), primary key(id)) engine=innodb; Puis créez la deuxième table : create table baby (id_baby int not null, years int) engine=innodb; Dans Talend Open Studio, le job est constitué de sept composants, tmysqlconnection et tmysqlcommit inclus. Cliquez et déposez les composants suivants de la Palette : tfilelist, tfileinputdelimited, tmap, tmysqloutput (x2). Connectez le composant tfilelist au composant d entrée tfileinputdelimited à l aide d une connexion de type Iterate. Ainsi, le nom du fichier à traiter sera automatiquement renseigné à partir de la liste de fichiers du tfilelist en utilisant une variable globale. Connectez le composant tfileinputdelimited au tmap et séparez le flux vers deux composants de sortie tmysqloutput. Utilisez des connexions de type Row pour chacune de ces connexions représentant un flux de données principal. Définissez les propriétés du composant tfilelist, notamment le répertoire dans lequel sont stockés les fichiers. Ajoutez le composant tmysqlconnection et connectez-le au composant de départ de ce job, (dans cet exemple, le composant tfilelist) à l aide d une connexion ThenRun afin de définir l ordre d exécution. Dans la vue Component du composant tmysqlconnection, définissez manuellement les informations de connexion ou récupérez-les dans le Repository si vous les avez préalablement stockés dans le dossier DB connection du répertoire Metadata. Pour plus d information concernant les Métadonnées, consultez Définition des schémas de métadonnées page 68 Copyright 2008 Talend Open Studio 35

40 Composants Database tmysqlconnection Dans l onglet Basic settings du composant tfileinputdelimited, appuyez sur la touche Ctrl+Espace pour accéder à la liste des variables. Définissez le champ File Name avec la variable globale : $_globals{tfilelist_1}{current_filepath} Paramétrez les autres champs comme vous le souhaitez, définissez les séparateurs de lignes et de champs (Row et Field Separator) en fonction de la structure de votre document. Puis définissez manuellement le schéma du ficher à l aide du bouton Edit schema ou sélectionnez le schéma dans le Repository. En version Java, assurez-vous que le type de données est correctement défini, conformément à la nature des données traitees. Modifiez l encodage s il ne correspond pas à celui de votre fichier. Dans la zone Output du tmap, ajoutez deux tables de sortie, une que vous nommerez mum pour la table parent et une deuxième que vous nommerez baby pour la table enfant. Cliquez sur la colonne Name de la zone Input et glissez-la dans la table mum. Cliquez sur la colonne Years de la zone Input et glissez-la dans la table baby. Assurez-vous que la table mum est bien au dessus de la table baby car l ordre des tables détermine la séquence des flux et ainsi l insertion de base de données est exécutée correctement. 36 Talend Open Studio Copyright 2008

41 Composants Database tmysqlconnection Puis sélectionnez une connexion de sortie de type Row pour acheminer correctement le flux vers le composant BDD de sortie correspondant. Dans l onglet Basic settings des deux composants tmysqloutput, cochez la case Use an existing connection pour récupérer les informations du composant tmysqlconnection. En version Perl, le champ Commit every n apparaît plus puisque vous utilisez le composant tmysqlcommit au lieu de gérer les commits de transaction globale. En version Java, ignorez ce champ puisque cette commande sera annulée par le composant tmysqlcommit. Nommez votre table dans le champ Table en vous assurant que vous saisissez la bonne table. Dans cet exemple, la table est soit f1090_mum, soit f1090_baby. Ne définissez aucune action dans le champ Action on table puisque les tables ont déjà été créées. Sélectionnez Insert dans le champ Action on data pour les deux composants de sortie (tmysqloutput). Cliquez sur le bouton Sync columns pour récupérer le schéma défini dans le tmap. Modifiez le type d encodage si nécessaire. Dans la zone Additional columns de l onglet Advanced settings du composant tmysqloutput correspondant à la table enfant (f1090_baby), définissez la colonne id_baby de manière à ce que l id de la table parent soit réutilisé. Dans le champ SQL expression, saisissez : '(Select Last_Insert_id())' Dans la colonne Position, sélectionnez l option Before et dans Reference column, l option years. Ajoutez le composant tmysqlcommit à votre job et connectez-le au composant tfilelist à l aide d une connexion de type ThenRun afin que votre job se termine avec un commit de transaction. Copyright 2008 Talend Open Studio 37

42 Composants Database tmysqlconnection Dans la vue Component du tmysqlcommit, sélectionnez dans la liste la connexion à utiliser. Enregistrez votre job et appuyez sur F6 pour l exécuter. L id de la table parent a été réutilisé pour alimenter la colonne id_baby. 38 Talend Open Studio Copyright 2008

43 Composants Database tmysqlinput tmysqlinput Propriétés du tmysqlinput Famille de composant Databases/MySQL Fonction tmysqlinput lit une base de données et en extrait des champs à l aide de requêtes. Objectif tmysqlinput exécute une requête BDD dans laquelle l ordre doit strictement correspondre à l ordre défini dans le schéma. Puis la liste des champs est transmise au composant via une connexion Main row. Basic settings Property type Peut être Built-in ou Repository. Use existing connection Host Port Database Username et Password Schema type et Edit Schema Query type et Query Built-in : Propriétés utilisées ponctuellement. Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les champs suivants sont alors pré-remplis à l aide des données collectées. Cochez cette case lorsque vous utilisez tmysqlconnection. Adresse IP du serveur de base de données. Numéro du port d écoute du serveur de base de données. Nom de la base de données. Informations d authentification de l utilisateur de base de données. Un schéma est une description des lignes, i.e., il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (built-in) soit distant (Repository). Built-in : Le schéma sera créé et conservé pour ce composant seulement. Voir également : Paramétrage d un schéma built-in, page 60 Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également : Paramétrage d un schéma du repository, page 61 Saisissez votre requête BDD en faisant attention à ce que l ordre des champs corresponde à celui défini dans le schéma. Copyright 2008 Talend Open Studio 39

44 Composants Database tmysqlinput Utilisation Encoding Sélectionnez l encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données des bases de données. Ce composant couvre toutes les possibilités de requête SQL dans les bases de données Mysql. Scénario associé Aucun scénario n est disponible pour ce composant. 40 Talend Open Studio Copyright 2008

Montrer encore