Eric Tremblay Spécialiste Oracle

Transcription

1 Concept: Entrepôt de données Eric Tremblay Spécialiste Oracle

2 Objectif Décrire les principales étapes et approches de conception d'un entrepôt de données (Data Warehouse) et de présenter les techniques de son exploitation ainsi que les principaux défis liés à son implantation.

3 Définition

4 Définition «Un entrepôt de données est une collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour le processus de décision.» --- Bill Inmon

5 Les objectifs d un entrepôt de données

6 Les objectifs d un entrepôt de données Accès aux informations de l entreprise Les informations de l entreprise sont cohérentes Une vue consistante, globale et unifiée de l entreprise Les données publiées sont entreposées pour la consultation rapide de l entreprise

7 Les objectifs d un entrepôt de données Qualité de l information d un entrepôt de données Les outils de présentation d informations font partie de l entrepôt de données Supporte des applications de type informationnel comme, les applications d aide à la décision

8 Concept d intelligence d affaire Décisions Action Valeur d'affaires Collection Intégration Analyse Connaissance Information Données

9 Besoin d affaires Modèlisation dimensionnel Conception technique d'architecture Planification et gestion de projet Conception Physique Besoin d'affaires Entretien et croissance Conception Data Staging Planification déploiement Spécifications application utilisateur

10 Comment construire une entrepôt de données Identifiez les problèmes et les processus d'affaires Identifiez le grain Identifiez les dimensions Identifiez les faits

11 Étapes pour construire un entrepôt de données Conception technique d'architecture Sélection et installation de produits Planification de projet Définition des besoins d'affaires Modèlisation dimensionnel Conception physique Data staging & développement Déploiement Entretien et croissance Spécifications d'application analytiques Développement d'applicaiton analytique Gestion de projet

12 Éléments d'un entrepôt de données DONNÉES SOURCES ENTREPÔT DE DONNÉES OUTILS D'ACCÈS DE DONNÉES Requête Rapport Analyse Forage

13 Éléments de base d'un entrepôt de données Système source opérationnel Extraction Data staging area Chargement Entrepôt de données Accès Outils d'accès

14 Éléments de base d'un entrepôt de données Système source opérationnel Extraction Data staging area Chargement Entrepôt de données Accès Outils d'accès Flux d'information circulant dans un entrepôt de données

15 Extraction Source Staging

16 Transformation Staging Transformation Staging

17 Staging Chargement

18 Dimension & Table de faits

19 Table de dimension

20 Table de dimension Clef primaire simple Attributs textuels riches et adaptés à l'utilisateur Rapports hiérarchiques Peu de codes; des codes devraient être décodés selon des descriptions Relativement petit

21 Dimension Province Client Location Région Ville 3-Chiffres Code Postal 6-Chiffres Code Postal Adresse Clef d'entrepôt Grain de dimension

22 Année Fiscale Dimension Calendrier Calendrier Année Quart Fiscal Calendrier Quart Mois Fiscal Calendrier Mois Calendrier Semaine Jour Clef d'entrepôt Grain de dimension

23 Modèles multidimensionnels Schéma étoile et flocon

24 Table de faits Clef primaire composé La date/heure est presque toujours une clef Les faits sont habituellement numériques Les faits sont en général additifs

25 Table de faits Schéma étoile

26 Table de faits Schéma étoile Dimension promotion promotion_clef (PK) promotion_nom Dimension calendrier calendrier_clef (PK) jour_de_semaine mois quart année Dimension magasin Ventes Table de faits promotion_clef (FK) calendrier_clef (FK) produit_clef (FK) magasin_clef (FK) client_clef (FK) dollars_vendu dollars_coût unités_vendu Dimension produit produit_clef (PK) SKU description marque catégorie Dimension client magasin_clef (PK) magasin_id magasin_nom adresse client_clef (PK) client_id client_nom adresse

27 Table de faits Schéma étoile Dimension promotion promotion_clef (PK) promotion_nom Dimension calendrier calendrier_clef (PK) jour_de_semaine mois quart année Dimension magasin Ventes Table de faits promotion_clef (FK) calendrier_clef (FK) produit_clef (FK) magasin_clef (FK) client_clef (FK) dollars_vendu dollars_coût unités_vendu Dimension produit produit_clef (PK) SKU description marque catégorie Dimension client magasin_clef (PK) magasin_id magasin_nom adresse client_clef (PK) client_id client_nom adresse

28 Dimension Temps temps_clef (PK) date_sql jour_de_semaine numéro_semaine mois Dimension Cours cours_clef (PK) nom département niveau cours_numéro laboratoire Table de faitsdimension Étudiant Schéma étoile Présence d'étudiant Table de faits temps_clef (FK) étudiant_clef (FK) cours_clef (FK) professeur_clef (FK) local_clef (FK) présence = 1 étudiant_clef (PK) étudiant_id nom adress inscrit Dimension Local local_clef (PK) type endroit département nombre de sièges taille Dimension Professeur professeur_clef (PK) employé_id nom adress département titre

29 Table de faits Dimension Temps Dimension Étudiant temps_clef (PK) date_sql jour_de_semaine numéro_semaine mois Dimension Cours cours_clef (PK) nom département niveau cours_numéro laboratoire Schéma étoile Présence d'étudiant Table de faits temps_clef (FK) étudiant_clef (FK) cours_clef (FK) professeur_clef (FK) local_clef (FK) présence = 1 étudiant_clef (PK) étudiant_id nom adress inscrit Quelle classe était la plus fortement occupée? Dimension Local local_clef (PK) type endroit département nombre de sièges taille Dimension Professeur professeur_clef (PK) employé_id nom adress département titre

30 Table de faits Dimension Temps Dimension Étudiant temps_clef (PK) date_sql jour_de_semaine numéro_semaine mois Dimension Cours cours_clef (PK) nom département niveau cours_numéro laboratoire Schéma étoile Présence d'étudiant Table de faits temps_clef (FK) étudiant_clef (FK) cours_clef (FK) professeur_clef (FK) local_clef (FK) présence = 1 étudiant_clef (PK) étudiant_id nom adress inscrit Quelle classe était la plus fortement occupée? Quelle classe était la moins occupée? Dimension Local local_clef (PK) type endroit département nombre de sièges taille Dimension Professeur professeur_clef (PK) employé_id nom adress département titre

31 Table de faits Dimension Temps Dimension Étudiant temps_clef (PK) date_sql jour_de_semaine numéro_semaine mois Dimension Cours cours_clef (PK) nom département niveau cours_numéro laboratoire Schéma étoile Présence d'étudiant Table de faits temps_clef (FK) étudiant_clef (FK) cours_clef (FK) professeur_clef (FK) local_clef (FK) présence = 1 étudiant_clef (PK) étudiant_id nom adress inscrit Quelle classe était la plus fortement occupée? Quelle classe était la moins occupée? Quel professeur a enseigné à plus d'étudiants? Dimension Local local_clef (PK) type endroit département nombre de sièges taille Dimension Professeur professeur_clef (PK) employé_id nom adress département titre

32 Table de faits Dimension Temps Dimension Étudiant temps_clef (PK) date_sql jour_de_semaine numéro_semaine mois Dimension Cours cours_clef (PK) nom département niveau cours_numéro laboratoire Schéma étoile Présence d'étudiant Table de faits temps_clef (FK) étudiant_clef (FK) cours_clef (FK) professeur_clef (FK) local_clef (FK) présence = 1 étudiant_clef (PK) étudiant_id nom adress inscrit Quelle classe était la plus fortement occupée? Quelle classe était la moins occupée? Quel professeur a enseigné à plus d'étudiants? Dimension Local local_clef (PK) type endroit département nombre de sièges taille Dimension Professeur Quel professeur a enseigné des cours dans des professeur_clef (PK) employé_id nom adress département titre classes appartenant à d'autres départements?

33 Dimension calendrier calendrier_clef (PK) mois_clef (FK) année Table de faits Schéma flocon Dimension produit produit_clef (PK) SKU description marque_clef (FK) catégorie mois_clef (PK) année année_clef (PK) Ventes Table de faits calendrier_clef (FK) produit_clef (FK) magasin_clef (FK) client_clef (FK) dollars_vendu dollars_coût unités_vendu marque_clef (PK) marque_description Dimension magasin Dimension client magasin_clef (PK) magasin_id magasin_nom adresse client_clef (PK) client_id client_nom adresse

34 Dimensions changeant graduellement

35 Dimensions changeant graduellement Type 1: Recouvrez l'attribut changé. Un fait est associé seulement à la valeur courante d'une colonne de dimension. Type 2: Ajoutez le nouveau record de dimension. Un fait est associé seulement à la valeur originale d'une colonne de dimension. Type 3: Employez un champ pour la vieille valeur. Un fait est associé à la valeur originale et à la valeur courante d'une colonne de dimension.

36 Dimensions changeant graduellement Type 1: Recouvrez l'attribut changé. Un fait est associé seulement à la valeur courante d'une colonne de dimension. Type 2: Ajoutez le nouveau record de dimension. Un fait est associé seulement à la valeur originale d'une colonne de dimension. Type 3: Employez un champ pour la vieille valeur. Un fait est associé à la valeur originale et à la valeur courante d'une colonne de dimension.

37 Dimensions changeant graduellement Type 1: Recouvrez l'attribut changé. Un fait est associé seulement à la valeur courante d'une colonne de dimension. Type 2: Ajoutez le nouveau record de dimension. Un fait est associé seulement à la valeur originale d'une colonne de dimension. Type 3: Employez un champ pour la vieille valeur. Un fait est associé à la valeur originale et à la valeur courante d'une colonne de dimension.

38 Dimensions changeant graduellement Scénario : Le dernier nom du client change de Pharand à Smith : Mise à jour Cust.Lname

39 Dimensions changeant graduellement

40 Dimensions changeant graduellement

41 Normalisation

42 Normalisation 3FN

43 Normalisation 3FN

44 Normalisation Simplicité de la requête Performance de la requête Économie mineure d'espace disque Ralentit les utilisateurs

45 Normalisation Simplicité de la requête Performance de la requête Économie mineure d'espace disque Ralentit les utilisateurs

46 Normalisation Simplicité de la requête Performance de la requête Économie mineure d'espace disque Ralentit les utilisateurs

47 Normalisation Simplicité de la requête Performance de la requête Économie mineure d'espace disque Ralentit les utilisateurs

48 La différence ERD Schéma étoile (Star Schema)

49 La différence Base de données Réel Interne Isolé Transactions Normalisé Sale Détaillé Entrepôt de données Historique Interne et externe Intégré Analyse Dimensionnel Propre et conforme Détaillé et sommaire

50 Requête Ad Hoc & Analyse Analyse avancée Rapport d entreprise

51 Éléments d'un entrepôt de données DONNÉES SOURCES PRÉPARATION DE DONNÉES OUTILS D'ANALYSE DE DONNÉES OUTILS D'ACCÈS DE DONNÉES BD transactionnel Données ERP Données de département Extraction Filtrer Nettoyer Transformer Chargement Portal Forage de données OLAP Rapport Affichage Graphique Pivot Forage Distribuer

52 Ralph Kimball Gourou de l entrepôt de données

53

54