Data Integration et ETL avec Oracle Warehouse Builder

Transcription

1 Oracle University Appelez-nous: Data Integration et ETL avec Oracle Warehouse Builder Durée: 5 Jours Description Ce cours explique comment charger des données en exécutant les mappings ou les flux de processus et décrit comment utiliser les fonctions d'oracle Warehouse Builder 11g Release 2 pour gérer les changements de métadonnées, déboguer les mappings, sauvegarder les métadonnées, gérer la sécurité et régler les mappings ETL en vue d'améliorer les performances. Il aborde également l'architecture et la configuration de Warehouse Builder ainsi que l'intégration de Warehouse Builder avec OBI EE. Il explique comment extraire des données de différents types de source tels que des fichiers plats ou des schémas relationnels, et comment utiliser les différents opérateurs de transformation pour concevoir une tâche ETL. Les autres thèmes abordés sont notamment l'utilisation de Warehouse Builder pour définir à la fois des modèles relationnels dimensionnels et multidimensionnels, pour déployer un modèle logique unique en plusieurs cibles physiques et pour gérer les dimensions SCD (Slowly Changing Dimensions). Enfin, ce cours explique comment extraire des données de sources tierces à l'aide de modèles de code, du processus ETL de Warehouse Builder et des fonctions d'intégration de données inclus dans l'option Enterprise ETL d'oracle Database. Cette fonctionnalité requiert l'option Enterprise ETL/ODI EE d'oracle Warehouse Builder. Ce cours combine deux thèmes liés à Oracle Warehouse Builder : Data Integration et ETL. La première partie traite de la fonction Data Integration et la deuxième partie traite de la fonction ETL dans OWB. Learn To: Extraire des données à partir de différents types de source tels que des fichiers plats ou des schémas relationnels Utiliser les fonctionnalités OWB pour gérer les changements de métadonnées, déboguer les mappings, sauvegarder les métadonnées, gérer la sécurité et régler les mappings ETL pour de Utiliser les opérateurs de transformation pour concevoir une tâche ETL Intégrer Warehouse Builder avec OBI EE Warehouse Charger des données en utilisant les mappings ou les flux de processus Expliquer l'architecture et la configuration de Warehouse Builder Audience Administrateurs de data warehouse Analystes de data warehouse Business Intelligence Developer Data Warehouse Administrator Data Warehouse Analyst Data Warehouse Developer Developer Développeurs Ingénieurs support Support Engineer Cours pré-requis Cours pré-requis obligatoire(s) Connaissance de l'utilisation des fonctions de base du SGBDR Copyright 2013, Oracle. Tous droits réservés. Page 1

2 Oracle, notamment les langages LDD, LMD, SQL et PL/SQL Cours pré-requis conseillé(s) Oracle BI Warehouse Builder 11g R2: Getting Started (OBE) Oracle Database 11g: Data Warehousing Fundamentals Présentation des produits Business Intelligence (estudy) Objectifs Appliquer les méthodes d'amélioration des performances aux mappings Sauvegarder les projets OWB avec MDL Export/Import et créer des clichés pour gérer les changements de métadonnées Créer des mappings simples entre des fichiers plats ou des sources relationnelles et des cibles relationnelles Définir un flux de processus pour un ensemble de mappings simples Définir des métadonnées représentant un fichier plat et des sources relationnelles, et des cibles de type tables relationnelles Décrire le nettoyage de nom et d'adresse et le processus de mise en correspondance/fusion Décrire l'intégration OBI EE Décrire l'utilisation des différents opérateurs de l'éditeur de mapping Charger des tables et visualiser les données résultantes Générer des états sur les travaux ETL en utilisant Repository Browser Utiliser OWB pour définir, déployer et exécuter une source de base vers une cible relationnelle Utiliser les outils OWB pour déployer des tables, des mappings et des objets liés Utiliser Mapping Debugger pour déboguer des mappings Thèmes abordés Installer et configurer l'environnement Warehouse Builder Présentation d'oracle Warehouse Builder Flux de processus de base pour la conception et le déploiement Options de gestion de licences et de connexion d'oracle Warehouse Builder Installer Oracle Warehouse Builder 11.2 Schéma OWBSYS Utiliser OWB 11.2 avec Oracle Database 10g R2 Copyright 2013, Oracle. Tous droits réservés. Page 2

3 Utiliser Repository Assistant pour gérer les espaces de travail Systèmes d'exploitation pris en charge, sources, cibles et composants optionnels Warehouse Builder : Mise en route Se connecter à OWB Design Center Présentation de Design Center Projets OWB Présentation des objets d'un projet Présentation des objets d'un module Oracle Organiser les métadonnées à l'aide de dossiers Volets Locations Navigator et Global Navigator Configurer les préférences relatives aux projets : Connexions récentes Comprendre l'architecture de Warehouse Builder Cycle de développement de Warehouse Builder Présentation de l'architecture pour la conception, le déploiement et l'exécution Présentation des configurations, des centres de contrôle et des emplacements Créer les schémas cible Enregistrer un utilisateur de base de données en tant qu'utilisateur OWB Rôles et privilèges des utilisateurs Warehouse Builder Enregistrer un utilisateur Oracle Workflow Définir les métadonnées source Implémentation d'un data warehouse : Processus standard Différences entre les métadonnées provenant d'une source relationnelle et celles provenant d'un fichier plat Créer un module de type fichier plat Modéliser un fichier délimité simple Modéliser un fichier plat multi-enregistrement Créer un module Oracle Sélectionner les tables à importer Définir des mappings ETL pour les données Fonction d'une zone intermédiaire Définir des mappings OWB Interface d'édition de mapping : Grouper, dissocier et mettre en évidence Créer des tables externes Créer un processus de liaison Niveaux de synchronisation des modifications Utiliser l'option de correspondance automatique dans l'éditeur de mapping Définir le type de chargement et l'ordre de chargement de la cible Utiliser les opérateurs de transformation des données Palette de composants Utiliser un opérateur de jointure Opérateur de recherche : Gérer les correspondances multiples de lignes Utiliser l'opérateur de filtrage de sous-interrogation Utiliser les opérateurs ensemblistes (set), de séquence et de répartition Opérateurs pivot et unpivot Utiliser les opérateurs d'agrégation, l'opérateur constante, les opérateurs de transformation et les opérateurs de relation Déployer et exécuter des projets dans le panneau de navigation Nettoyage et mise en correspondance/fusion de données de nom et d'adresse Copyright 2013, Oracle. Tous droits réservés. Page 3

4 Intégrer la qualité des données dans le processus ETL Nettoyage de données de nom et d'adresse Serveur de noms et d'adresses Fournisseurs logiciels de noms et d'adresses Paramètres de l'opérateur de définition de nom et d'adresse Vérifier un mapping de nom et d'adresse Consolider les données à l'aide de l'opérateur de mise en correspondance/fusion Utiliser l'opérateur de mise en correspondance/fusion dans un mapping Utiliser des flux de processus Concepts de flux de processus Créer un module de flux de processus, un package de flux de processus et un flux de processus Types d'activité : Fork, And, Mapping et End Créer des transitions entre les activités Autres activités : Manual, SQLPLUS, Générer le package de flux de processus Déployer des travaux ETL et générer des états Comparaison des implémentations logiques et physiques Définir la configuration des objets Concepts relatifs au déploiement Appeler Control Center Manager Options et préférences de déploiement Repository Browser Démarrer OWB Browser Listener et Repository Browser Examiner les états Design Center et Control Center Utiliser le débogueur de mapping Présentation du débogueur de mapping Initialiser une session de débogage de mapping Préparer l'environnement de test et les données de test Définir des points d'arrêt et des points d'observation Evaluer le flux de données pour détecter les erreurs de mapping Améliorer les performances ETL Régler les performances à différents niveaux Paramètres liés aux performances dans la conception ETL Configurer des mappings pour les modes opérationnels, la journalisation des erreurs LMD, le contrôle de validation et les Activer PEL (Partition Exchange Loading) pour les cibles Paramètres liés aux performances dans la conception du schéma Configurer des index, des partitions et des contraintes Activer le parallélisme et le mode Parallel DML Définir les propriétés des tablespaces et collecter des statistiques sur les schémas Gérer les sauvegardes, les modifications dans le développement et la sécurité Présentation des utilitaires de Metadata Loader (MDL) Gérer les modifications des métadonnées à l'aide de clichés Utiliser le gestionnaire de modifications Gestion des versions des objets de conception Interface graphique pour la gestion de la sécurité Sécurité au niveau objet Définir les paramètres de sécurité Copyright 2013, Oracle. Tous droits réservés. Page 4

5 Intégration avec Oracle Business Intelligence Enterprise Edition (OBI EE) Justification métier : Intégration des outils Intégration avec OBI EE et OBI SE Transférer des métadonnées BI vers le serveur OBI EE Définir l'emplacement du fichier UDML Dériver les métadonnées BI (OBI EE) Déployer les modules BI Convertir le fichier UDML pour OBI EE Administration d'oracle BI et outil Answers Tâches d'administration dans Warehouse Builder Extension des options ETL de base avec l'option Enterprise ETL Utilisation de plusieurs configurations nommées : Pourquoi et comment Utiliser plusieurs configurations nommées Utiliser des modèles de configuration Etapes de configuration d'owb dans un environnement RAC Créer une planification OWB Gérer les métadonnées Utiliser le lignage et les diagrammes d'analyse d'impact Lancer une analyse de lignage et d'impact Utiliser la boîte de dialogue de propagation des modifications Propriétés, objets et icônes définis par l'utilisateur Utiliser des mappings réutilisables (Pluggable Mappings) Types d'activité avancés dans les flux de processus Support relationnel objet natif Transformations SQL prédéfinies hétérogènes Accéder à des sources non Oracle Structure extensible d'owb 11g Release 2 Avantages des modèles de code extensible Emplacement des modèles de code prédéfinis Créer de nouveaux modèles de code Définir de nouvelles plates-formes d'intégration dans OWB Concevoir des mappings avec la licence Oracle Data Integration Enterprise Edition Mappings traditionnels et mappings de modèle de code Unités d'exécution dans un mapping de modèle de code Vue d'exécution et vue logique Affecter un modèle de code à une unité d'exécution Convertir un mapping traditionnel en mapping de modèle de code utilisant Data Pump Déployer des mappings de modèle de code sur des agents de centre de contrôle Utilisation de data warehouse en temps réel avec OWB Présentation de l'utilisation de data warehouse en temps réel Fréquences de rafraîchissement prises en charge par OWB Créer un mapping pour un chargement continu Utiliser des files d'attente avancées pour des mappings de chargement continu Utiliser des modèles de code CDC dans les mappings pour la capture des modifications de données Démarrer le processus de capture CDC Définir des modèles relationnels Copyright 2013, Oracle. Tous droits réservés. Page 5

6 Définir des dimensions à l'aide d'assistants et d'éditeurs Définir des attributs de dimension, des niveaux et des hiérarchies Lier les attributs de dimension à la table d'implémentation Créer une dimension temporelle à l'aide de l'assistant Time Wizard Définir un cube Définir les attributs et les mesures d'un cube Concevoir des mappings à l'aide de dimensions et de cubes relationnels Définir un modèle relationnel multidimensionnel Chargement initial et chargements incrémentiels d'un data warehouse Actualiser les données et les métadonnées Capturer les données modifiées pour une actualisation Configurer les propriétés de chargement Choisir le type de chargement LMD Gestion des orphelins dans OWB Prise en charge des vues matérialisées sous forme de cubes Créer une dimension SCD de type 2 Modéliser des dimensions et des cubes OLAP multidimensionnels OLAP : Présentation Types de données multidimensionnels Espace de travail analytique Modélisation dimensionnelle à l'aide d'owb Mesures calculées Copyright 2013, Oracle. Tous droits réservés. Page 6