Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza

Transcription

1 Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza Avant de commencer à travailler avec le produit, il est nécessaire de comprendre, à un haut niveau, les problèmes en réponse desquels l outil a été conçu. Dans ce support, nous allons introduire l outil à un très haut niveau afin de vous permettre de comprendre les bénéfices essentiels procurés par cet outil, ainsi ses principales fonctionnalités. 1 Introduction à Warehouse Builder Avant de commencer à regarder le produit, il est important de comprendre ce que fait Warehouse Builder à un haut niveau. Bien qu on le présente souvent comme un outil Extract, Transform and Load (ETL), Warehouse builder fait bien plus pour les Environnements de Business Intelligence. Warehouse Builder est un outil industriel majeur qui vous permet de concevoir vos schémas de base de données, de définir les processus ETL et déployer tout ceci avec votre base de données ORACLE. Warehouse Builder gère cet environnement et les métadonnées requises à l aide d une unique interface. Pour compléter votre système B.I., Warehouse Builder vous permet de générer les métadonnées pour votre outil B.I., de manière similaire à Oracle Discoverer. 1.1 Domaines applicatifs Si vous faites un tour d horizon des outils pour les entrepôts de données sur le marché, vous trouverez que la plupart des outils disponibles sont focalisés sur une seule fonctionnalité, comme par exemple ETL ou conception de bases de données. Les utilisateurs doivent souvent utiliser plusieurs outils, fournis par differents vendeurs, à des prix élevés, et doivent gérer tous les problèmes liés à l intégration de ces différents outils. Warehouse builder a un avantage car il s agit d une solution complète qui intègre donc toutes les fonctionnalités nécessaires. Fonctionnalité Intégration et gestion des données Conception de systèmes Qualité des données Intégration et gestion de métadonnées Description Extraction, transformation et chargement de données à partir de systèmes hétérogènes Création d environnements dimensionnels, relationnels et pour utilisateurs finaux, à partir d un unique outil Fonctionnalités intégrées afin de nettoyer et de corriger n importe quel type de données Intégration de métadonnées métiers dispersées à l intérieur d un repository central pour l entrepôt de données avec des fonctionnalités de gestion sophistiquées 1

2 Figure 1: Capacités de OWB 1.2 Conception et génération de code Warehouse Builder est un outil de conception basé sur un repository de métadonnées dans la base Oracle. Par conséquent, un développeur réalise une conception en utilisant des diagrammes et laisse alors Warehouse Builder traduire cette conception en code pour les bases de données. Cette étape est appelée génération. Ensuite le développeur ou le DBA utilise Warehouse Builder pour déployer ce code au sein de la base de données afin de créer les tables, les dimensions, les packages PL/SQL et autres objets des bases de données qu il a conceptualisé. L étape suivante consiste à lancer les packages PL/SQL pour charger les données (ETL) dans le schéma cible, qui permet alors à l utilisateur final d analyser les données de l entrepôt. Parce que Warehouse Builder est un outil de conception, il permet à l utilisateur d améliorer directement sa productivité. En travaillant avec des représentations graphiques, il devient beaucoup plus facile de changer les processus existant, de créer des nouveaux processus ou d incorporer de nouvelles fonctionnalités à sa plateforme. 1.3 Valeurs ajoutées à votre organisation En plus d intégrer plusieurs fonctionnalités au sein d un seul produit, Warehouse builder apporte à votre organisation les valeurs ajoutées suivantes: 2

3 Figure 2: Concevoir, générer, déployer et analyser Valeur ajoutée Productivité Performance Exactitude Ouverture Efficacité et coût Description Une productivité accrue à travers des fonctionnalités avancées et l utilisation d outils intuitifs pour la conception ainsi que pour la manipulation et gestion des métadonnées Une intégration étroite avec la base de données Oracle fournit à l organisation de bonnes performances au niveau de la charge L amélioration de l exactitude des données et des métadonnées à l aide des fonctionnalités avancées de Warehouse Builder vous permet de produire de meilleurs systèmes à moindre effort OWB permet d échanger des métadonnées à l aide de standards ouverts. Il permet également la connectivité à de nombreuse sources de données. Pour une compagnie souhaitant à la fois disposer d un vaste ensemble de fonctionnalités pour sa conception, ainsi qu un prix total raisonnable, OWB qui est un outil complet apparait comme une bonne solution. Pour résumer, d après ce que l on a vu concernant les capacités de OWB ainsi que les valeurs ajoutées, OWB apparait comme le seul outil B.I. de conception et d intégration qui gère le cycle de vie complet des données et métadonnées d une base de données Oracle. 1.4 Pourquoi choisir OWB... encore des arguments Dans le cas où nous disposons d un environnement ORACLE DW, il est fréquent d avoir tous les processus (process en anglais) développés en utilisant PL/SQL et UNIX et gérés par des DBA et les développeurs. Un des avantages à utiliser un outil ETL est l automatisation et la gestion des processus ETL complexes, principalement dans un environnement de grande taille et complexe conduisant à des cycles de développement très rapides et une demande de production de prototypes en un temps le plus faible possible. Dans cet environnement ORACLE DW et avec ce contexte, le choix OWB plutôt qu un autre outil ETL est motivés par les facteurs suivants: 3

4 1. la majorité des membres de l équipe de développement est familière avec PL/SQL (ou Java) et UNIX. Les développeurs ont ainsi les connaissances pour créer des transformations définies par l utilisateur en PL/SQL ou Java, qui viendraient compléter les 150 transformations préétablies fournies par OWB; 2. OWB est très étroitement intégré avec Oracle server et peut utiliser de manière optimale les fonctionnalités ETL fournit par Oracle server comme table functions, external tables, multi-table inserts, partition exchange loading, etc; 3. intégration avec d autres outils BI d Oracle tels que Discover, Oracle Designer, Oracle Work Flow et OEM; 4. possibilité d extraire des données de sources très diverses telles que SAP, R/3, DB2, etc, en utilisant des intégrateurs, des passerelles transparentes, etc; 5. capacité à générer du code (PL/SQL, ABAP (Advanced Business Application Programming, a high level programming language created by SAP)) 6. possibilité d utiliser les composants d Oracle Application Server (OracleiAS) pour publier des rapports de métadonnées (meta data report) en version web-like. 1.5 Les différents composants de OWB Les principaux composants de OWB sont: OWB repository qui stocke les meta définitions utilisées dans le DW ainsi que la bibliothèque de transformations qui contient plus de 150 transformations prédéfinies; OWB client qui est utilisé pour concevoir le DW et les processus ETL. Ce composant inclus également les intégrateurs et éditeurs et se comporte comme un point d accès aux autres composants OWB; OWB design browser client qui permet de visualiser les métadonnées, de lancer des rapports web, analyser les métadonnées,... OWB runtime audit browser client pour lancer des rapports sur l audit et sur les informations d erreur capturées lorsqu on lance des jobs pour charger et rafraîchir les processus ETL; OWB runtime assistant qui aide à installer un runtime repository et un schema cible (target schema), ainsi qu à maintenir à jour les information d audit/erreur pour le deploiement ou l exécution. 1.6 Les tâches typiques réalisées avec OWB OWB intervient notamment dans les étapes ou phases typiques suivantes de la vie d un DW: 1. conception du modèle du DW et de la structure physique 2. identification des sources de (méta) données (SGBD, fichiers plats, etc) 3. conception des processus d extraction, transformation et chargement (ETL) 4. identification et gestion des changements dans les définitions des sources 4

5 5. gestion et extension des structures du DW cible 6. intégration avec d autres outils de business intelligence, tels que les outils de reporting, etc. 7. import ou export de métadonnées afin de faciliter l échange de données entre différents outils (ouverture) 8. conception et mise en place d un environnement de reporting de métadonnées 2 OWB architecture L architecture de OWB est représentée sur la figure 3 ci-après. Le concept au cœur de l architecture de OWB est le repository qui est stocké dans le serveur Oracle. L architecture de base comprend 2 composants: le design time component le runtime component 2.1 Le design time component Il fournit un repository autorisant un fort passage à l échelle, des éditeurs pour la conception et des outils de reporting qui permettent de créer et publier les métadonnées. Certains éditeurs incluent: 1. les éditeurs de module qui permettent de définir les modules sources/cibles et les modules d édition 2. les éditeurs d objets qui incluent l éditeur de tables, de dimensions, de faits, etc, permettant d éditer les propriétés des objets 3. l éditeur de mappings qui permet de concevoir et de configurer comment les données sont chargées dans le DW cible, et est utilisé pour concevoir une représentation graphique de la relation entre les objets sources de données qui sont utilisées pour peupler les objets cibles du DW. L éditeur fournit un ensemble d opérateurs qui peuvent être inclus lors des mappings et des transformations. Il permet également la validation et la génération du code utilisé pour peupler le DW cible 4. l éditeur de code qui permet d éditer ou personnaliser le code généré par OWB. Le design time browser permet aussi de voir différent rapports. 2.2 Runtime component Le runtime component inclue the runtime repository et le visualiseur d audit, qui permet de voir les informations lors de l exécution des travaux d ETL qui ont été exécutés en utilisant des outils Oracle tel que Oracle enterprise Manager (OEM). Ces travaux d ETL sont créés dans le repository OEM lorsqu ils sont enregistrés avec OEM dans l éditeur de mappings. 5

6 Figure 3: Architecture de OWB 2.3 Autres composants Integrators OWB est capable d extraire des données de sources variées comme des fichiers plats, SAP, d autres sources Oracle, d autres bases de données telles que DB2, ou encore des versions plus anciennes de repository OWB. Les intégrateurs sont des composants qui facilitent l extraction de systèmes non-oracle comme l intégrateur SAP R/3. Ils fournissent l utilitaire MDL (Meta Data Loader) pour l extraction des métadonnées. Bridges Ce composant permet de transférer les métadonnées à d autres outils Oracle tels que Oracle discoverer, OLAP, etc. Metabase Cette couche intermédiaire fournit des services à tous les producteurs (sources) et consommateurs (cibles 6

7 ou autres outils Oracle) de données. Les services comprennent un service multi-utilisateur et verrouillage, des services de génération et de validation, etc. 3 Ce que l on va voir dans les TPs Après avoir rapidement vu et compris ce que fait Warehouse Builder, nous allons regarder ce que nous allons faire dans ces séances de TPs. Comme nous venons de le voir, il existe de nombreuses fonctionnalités dans OWB. Pour des raisons de temps, nous avons du faire des choix et seulement avons sélectionné les fonctionnalités les plus pertinentes pour démarrer. Nous verrons également en détails les fonctionnalités que nous ne couvrirons pas dans ces TPs. 3.1 Sur quoi nous nous focaliserons Dans les séances de TPs qui vont suivre nous allons nous focaliser principalement sur Intégration de données ou ETL Conception de systèmes La raison pour les choix de ces fonctionnalités est qu ils constituent une part importante de n importe quelle système Business Intelligence. L intégration de données est l activité qui est la plus coûteuse en terme de temps, et la conception de système est typiquement nécessaire avant de pouvoir faire n importe quel intégration de données. La qualité des données est une fonctionnalité à part au sein de l outil et par conséquent est séparé des fonctionnalités de l intégration de données. Cependant intégrer la qualité des données dans l outil fournit certains bénéfices notables au client, et par conséquent nous avons choisi de travailler un sous-ensemble des fonctionnalités de qualité de données dans nos TPs. Ce constant est également valable pour le Metadata Reporting, qui offre souvent un bénéfice significatif au client. Utilisé lors de la collecte et l intégration de métadonnées, Metadata Reporting est un point crucial de n importe quel projet d intégration de données. Par conséquent nous jeterons également un œil aux fonctionalités de compte-rendu concernant les métadonnées dans OWB. 3.2 Autres fonctionnalités importantes Afin de comprendre toute la puissance de l outil OWB, il faut également connaître les autres fonctionnalités non-couvertes par les TP. Nous les présentons par famille de fonctionnalités, par exemple par conception de systèmes nous entendons, les fonctionnalités non-présentées dans ces TPs dans le domaine de la conception de systèmes Conception de système la création d un système ON-Line Analytical Processing (OLAP) est seulement présenté lors des TPs comme une partie du travail de conception de système 7

8 la conception de schémas: la conception un schéma normalisé est souvent utilisé dans un entrepôt de données. Dans les TPs nous ne présenterons pas cette fonctionnalité car cette conception est généralement connue par les concepteurs d entrepôts de données. Nous nous focaliserons plus sur la modélisation des dimensions. La conception de schéma inclus des choses comme la définition des vues, des vues matérialisées, etc. Vous pouvez définir, maintenir et créer tout ceci dans OWB pour compléter votre conception de schéma, sans avoir à utiliser un autre outil. la gestion du cycle de vie: elle vous permet de gérer les changements dans les systèmes source ou cible. OWB vous permet de manipuler et propager les changements dans l environnement de votre entrepôt, de manière rapide et simple Intégration de données fonctionnalités diverses: un grand nombre de fonctionnalités avancées ou très spécifiques ne sont pas abordées dans ces TPs. Par exemple ce qui concerne les files d attente des messages source ou cible, l envoi d s à partir du flux de traitements, et bien d autres Transformations: OWB comprend un grand nombre de transformations prédéfinies (transformations de caractères, conversions, format de date, de nombres, transformations OLAP). Dans ces TPs seuls un sous-ensemble de ces transformations seront abordées. chargement d un système OLAP: puisque lors de ces TPs nous n aurons sans doute pas le temps de travailler avec OLAP, nous ne verrons pas le mécanisme de chargement d une base OLAP depuis n importe quelle source. Chargement dans une partition d échange: cette fonction vous permet de charger les données dans une table temporaire et alors de changer celle-ci en une partition d une table beaucoup plus grande. Ce processus de chargement est très rapide et efficace et estcomplètement automatisé par OWB sources de données hétérogènes: OWB permet nativement une connectivité avec des systèmes SAP en utilisant du code ABAP généré pour extraire des données de SAP. L outil OWB supporte également différentes approches pour charger à partir de serveurs centraux et supporte ODBC Qualité des données Nettoyage du nom et de l adresse: un composant important et déjà intégré dans OWB vous permet de vérifier l exactitude des noms et des adresses dans votre système source avant de les déplacer dans l entrepôt de données cible. Typiquement vous voulez faire cela avant d utiliser les fonctionnalités match/merge, afin de travailler ainsi sur des données propres et correctes. Match/Merge: intégré dans OWB, cette fonctionnalité permet de faire des détections et fusions avancés de n importe quel type de données. En s appuyant sur les règles métiers, vous pouvez fusionner plusieurs enregistrements en un enregistrement unique, créant une unique base d enregistrements pour vos analyses Intégration de métadonnées Version des métadonnées: OWB supporte la gestion des version à un niveau objet 8

9 Détermine la différence entre version: OWB vous permet d obtenir un rapport des différences entre versions ou entre la situation actuelle et une vieille version. Vous pouvez ainsi déterminer avec quelle version travailler. Support de langages multiples: OWB vous permet à la fois de stocker les métadonnées dans le repository dans différents langages, et de lancer OWB dans votre langue préférée Ouverture API publiques: des APIs java publiques sont disponibles pour donner aux applications externesun accès direct en lecture/écriture au repository OWB Vues SQL publiques: OWB fournit un accès SQL en lecture-seule au métadonnées dans le repository de OWB 4 Refaire le TP chez vous Nous vous donnons maintenant la technique pour installer OWB chez vous, ainsi que les données d essai que nous utiliserons en TP. Il s agit d instruction pour windows. On suppose que vous posséder également une base (avec un serveur) Oracle. 4.1 Installer OWB aller sur le site choisissez le fichier correspondant à votre configuration, en général le premier lien (pour les utilisateurs de linux, il est possible de l installer, mais les jeu d essai n existe que pour windows). supposons que j ai choisi le premier lien, je télécharge le fichier OWB_ win.zip que je sauve sur mon disque dur si besoin, lorsque c est demandé, créez vous un compte sur le site Oracle 4.2 Installer les jeux d essai aller sur le site cliquer sur le petit ordinateur dans le tableau, correspondant à la colonne delivery télécharger ce fichier reviewcd.zip sur votre ordinateur une fois déarchiver, lancer le programme d installation 9

10 4.2.1 Où trouver de la documentation seulement en anglais malheureusement! le guide d installation de Oracle warehouse Builder le guide utilisateur de OWB OWB - présentation pédagogique par Oracle présentation en anglais du TP la page Oracle générale sur OWB Se connecter à distance sur votre compte au CNAM sous linux Pour ceux ne travaillant pas sous windows et souhaitant refaire le TP, il est possible de se connecter sur votre compte au CNAM et travailler a distance. Il faut alors faire les étapes suivantes: dans un terminal taper la commande ssh -X mon_login@vlad.cnam.fr une fois saisi le mot de passe vous êtes maintenant sur le serveur vlad (le seul accessible depuis l extérieur) connectez-vous ensuite sur le serveur odessa avec ssh -X santorin une fois connecté sur la machine vous pouvez ensuite lancer les scripts de paramétrage (cf démarrage présenté lors du premier TP) Premiers tests une fois sur odessa, fixer le nom de la base que vous souhaiter attaquer en tapant: export ORACLE_SID=NFE115 essayer de vous connecter avec votre compte en faisant sqlplus avec votre login/password placez vous dans le repertoire de owb avec la commande cd /opt/oracle/product/11.1.0/db_1/owb/bin/unix tester la commande suivante./reposinst.sh 10