Entrepôt de données et l Analyse en ligne. Maguelonne Teisseire Hugo Alatrista Salas hugo.alatrista- salas@teledetec9on.fr Flavien Bouillot

Transcription

1 Entrepôt de données et l Analyse en ligne Maguelonne Teisseire Hugo Alatrista Salas hugo.alatrista- salas@teledetec9on.fr Flavien Bouillot

2 Déroulement du cours 17 janvier : cours et TD 20 janvier : cours? et TP 20 janvier : CC noté ý Une par9e de l examen final portera sur ce cours 2

3 Plan de cours 1. Systèmes d informa9on décisionnelles 2. Entrepôt de données (Data Warehouse) 3. Analyse Mul9dimensionnelle 3

4 Systèmes d information décisionnelles 4

5 Contexte Pilotage Indicateurs Operations (Administratif + Métier) 5

6 Contexte Pilotage Décisionnel Indicateurs Operations (Administratif + Métier) Fonc9onnel 6

7 Problématique 1 Les entreprises possèdent de nombreuses sources de données poten9ellement exploitables 7

8 Problématique 2 Les sources de données sont disséminées sur diverses bases de données Ventes Stock RH 8

9 Problématique 3 Le besoin d analyse exprimé est transversal afin de perme`re la prise de décision stratégique Ventes Stock 9 RH

10 Problématique 4 Type de données : données opéra9onnelles (de produc9on) Bases de données, fichiers, 9ckets case, bulle9ns de paie,... Caractéris9ques des données : Distribuées : systèmes éparpillés Hétérogènes : systèmes et structures de données différents Détaillées : organisa9on de données selon les processus fonc9onnels et données trop abondantes pour l analyse Peu/pas adaptées à l analyse : des requêtes lourdes peuvent bloquer le système transac9onnel Vola9les : pas d historisa9on systéma9que 10

11 L idée centralisation 1 Ventes Stock RH 11

12 L idée centralisation 2 Ventes Stock RH Data Warehouse + OLAP 12

13 Du transactionnel au décisionnel Schème opérationnelle Schème du Data Warehouse Schème utilisateur Données opérationnelles Données consolidées Données derivées Système OLTP Data Warehouse Applications OLAP 13

14 Pour quoi pas utiliser OLTP? Données U9lisateurs OLTP Atomiques Orientée applica9on A jour Dynamiques Employés de bureau Nombreux Concurrents Mises à jour Requêtes prédéfinies Réponses immédiates Data Warehouse Résumées Orientée sujet Historiques Sta9ques Analystes Peu Non concurrents Interroga9ons Requetés spécifiques Réponses moins rapides Access à peu de données Access à beaucoup d informa9on 14

15 Métaphore du restaurant Prepara1on : the kitchen Quality, consistency, and integrity Raw materials Presenta1on : the dinning room Food, decor, service, cost The kitchen The dinning room h`p:// warehouse- dining- experience/ 15

16 L entrepôt de données (Data Warehouse) 16

17 Les fondateurs Edgar Frank Codd Fondateur du modèle rela9onnelle (1970) Ecrit les douze lois du traitement analy9que en ligne (1993) Bill Inmon Formalisé du concept d entrepôt de données (1994) Proposé le modèle Top- down Ralph Kimball Des premiers travaux sur la informa9que décisionnelle 70 Proposé le modèle Bo`on- up 17

18 DéNinition (B. Inmon) «Un entrepôt de données est une collec9on de données orientées sujet, intégrées, non vola9les et historiées, organisées pour le support d un processus d aide à la décision» «Un entrepôt de données ne s achète pas, il se construit» 18

19 Les approches académiques R. Kimball B. Inmon Processus Bo`om- up Top- down Organisa9on Data marts Data Warehouse Schéma9sa9on Etoile Flocon 19

20 Approche Top- down (Inmon) Qui veut par9ciper? Nous!!! RH Stock Ventes 20

21 Schéma général Datamarts RH RH Stock ETL Stock Ventes Data Warehouse Ventes 21

22 Approche Down- top (Kimball) Veux- tu par9ciper? Veux- tu par9ciper? Oui RH Oui Stock 22

23 Schéma général RH Data marts RH ETL Bus Stock Stock Ventes Ventes Data Warehouse 23

24 Data Mart Un magasin de données (Data mart) est un sous- ensemble de l'entrepôt Il correspond à une classe de décideurs intéressés par le même thème Son volume réduit permet un accès plus rapide aux données Généralement le magasin est modélisé sous forme mul9dimensionnelle Les ou9ls ETL peuvent être u9lisés à ce niveau 24

25 Les phases 1. La concep9on (et la phase ETL) 2. La phase de structura9on 3. La phase OLAP 25

26 Conception Piloter quelle ac9vité de l entreprise Déterminer et recenser les données à u9liser Définir les aspects techniques de la réalisa9on Construire les modelés de données Me`re au point les démarches d alimenta9on (ETL) Définir les stratégies d administra9on Définir des espaces d analyse Définir le mode de res9tu9on 26

27 ETL Alimenta9on du Data Warehouse et extrac9on des Data marts Extract Accès aux différentes sources Selon des règles (déclencheurs) ou requêtes Périodique Transform Unifica9on des modèles (sources hétérogènes) Ges9on des inconsistances des données sources, élimina9on des doubles, etc. Load Chargement dans l'entrepôt ou dans les magasins Périodicité parfois longue 27

28 Ex. d intégration des données m, f h, f homme, femme Transforma9on homme, femme FRF USD EUR Transforma9on EUR char(10) dec(13,3) numeric(7) Transforma9on numeric(7) 28

29 La structuration 1 1. Extrac9on des données Besoin d ou9ls spécifiques pour : Accéder aux bases de produc9on (requêtes sur des BD hétérogènes) Améliorer la qualité des données : ne`oyer, filtrer, Transformer les données : intégrer, homogénéiser Dater systéma9quement les données 29

30 La structuration 2 2. Référen9el La métabase con9ent des métadonnées : des données sur les données de l entrepôt de données Quelles sont les données «entreposées», leur format, leur Significa9on, leur degré d exac9tude Les processus de récupéra9on/extrac9on dans les bases sources La date du dernier chargement de l entrepôt L historique des données sources et de celles de l entrepôt 30

31 La structuration 3 2. Les modèles (ils sont détaillées ensuite) Modèle en étoile Modèle en flocon Modèle en constella9on 31

32 Modèle en étoile Une table de faits : iden9fiants des tables de dimension ; une ou plusieurs mesures Plusieurs tables de dimension : descripteurs des dimensions Une granularité définie par les iden9fiants dans la table des faits Avantages : Facilité de naviga9on Performances : nombre de jointures limité ; ges9on des données creuses. Ges9on des agrégats Fiabilité des résultats Inconvénients : Toutes les dimensions ne concernent pas les mesures Redondances dans les dimensions Alimenta9on complexe 32

33 Schéma en étoile Dimension 1 Dimension 3 Table de faits Dimension 2 Dimension n 33

34 Exemple de schéma en étoile Commande numcomm detaille Faits numcomm codprod cledate quan9te prix Produit codprod detaille categorie Date cledate jour mois annee 34

35 Modèle en Nlocon Le modèle doit être simple à comprendre : on peut augmenter sa lisibilité en regroupant certaines dimensions On définit ainsi des hiérarchies : celles- ci peuvent être géographiques ou organisa9onnelles Mod. flocons de neige = Mod. étoile + normalisa5on des dimension Avantages : Réduc9on du volume Perme`re des analyse par pallier (drill down) sur la dimension hiérarchisée Inconvénients : Naviga9on difficile Nombreuses jointures 35

36 Schéma en Nlocon Table de faits 36

37 Exemple de schéma en Nlocon Commande numcomm detaille Faits numcomm codprod cledate quan9té prix Produit codprod detaille codcate Date cledate Jour clemois Mois Categorie codcate descrip9on clemois mois cleannee Annee cleannee annee 37

38 Modèle en constellation La modélisa9on en constella9on consiste à fusionner plusieurs modèles en étoile qui u9lisent des dimensions communes. Un modèle en constella9on comprend donc plusieurs tables de faits et des tables de dimensions communes ou non à ces tables de faits. 38

39 Concernant l hiérarchie Hiérarchie Simple Categorie Hiérarchie Mul1ple Annee Semaine Mois Produit Jour 39

40 L analyse multidimensionnelle 40

41 L analyse multidimensionnelle Objec9f : obtenir des informa9ons déjà agrégées selon les besoins de l u9lisateur : simplicité et rapidité d accès HyperCube OLAP : représenta9on de l informa9on dans un hypercube à N dimensions OLAP (On- Line Analy9cal Processing) : fonc9onnalités qui servent à faciliter l analyse mul9dimensionnelle : opéra9ons réalisables sur l hypercube 41

42 (Hyper)Cube de données 1 Commande numcomm detaille Faits numcomm codprod cledate quan9te prix Produit codprod detaille categorie Date cledate jour mois annee Produit Fait Commande 42

43 Composantes d un cube Chaque cellule du cube correspond à une occurrence du fait Chaque cellule con9ent des indicateurs (variables, métriques ou mesures) Les axes d'analyse, également appelés dimensions, con9ennent un ensemble de valeurs Des hiérarchies sont spécifiées sur les dimensions afin de perme`re une consolida9on des indicateurs Chaque indicateur a une fonc1on d agrégat afin d être exploité sur la hiérarchie 43

44 (Hyper)Cube de données 2 quan9te prix Axes d analyse Produit Commande Indicateurs Fait 44

45 Exemple 1 VENTES Quantité Montants MAGASIN Paris France Europe Lille DATES Asie Anglaterre Japan Londres Tokyo Janvier Décembre Janvier Décembre Foulard Laine Gants Bottes Cuir Sac-à-main PRODUITS 45

46 Exemple 2 VENTES Unités vendues Prix unitaire MAGASIN Sud Montpellier DATES Nord Lille Ardennes Janvier Décembre Janvier Décembre Fifa 2013 Sport PES 2014 Darkness 2 Action Resident Evil JEUX VIDEO 46

47 L'implémentation du OLAP MOLAP (Mul9dimensional OLAP) Le cube est stocké sous forme propriétaire par un SGBD mul9dimensionnel dans une matrice On trouve en colonne tous les axes, puis tous les indicateurs Chaque cellule du cube est stockée par une ligne dans la matrice ROLAP (Rela9onal OLAP) Le stockage peut s'effectuer sur un SGBD rela9onnel classique Le cube est stocké selon le modèle en étoile (flocon ou constella9on) HOLAP (Hybride OLAP) ROLAP + MOLAP 47

48 Operateurs algébriques OLAP Modèle rela9onnel : projec9on, jointure, restric9on, union, division, intersec9on, etc. Modèle OLAP : drill- up, drill- down, slice, dice, pivot, switch, etc. 48

49 Catégories d'opérations OLAP 1 Restructura9on : opéra9ons liées à la structure, manipula9on et visualisa9on du cube : Rotate/pivot : effectuer à un cube une rota9on autour d un de ses trois axes passant par le centre de 2 faces opposées, de façon à présenter un ensemble de faces différents Switch : consiste à inter- changer la posi9on des membres d une dimension Split : consiste à présenter chaque tranche du cube et de passer d une présenta9on tridimensionnelle d un cube à sa présenta9on sous la forme d un ensemble de tables Nest : imbrica9on des membres à par9r du cube Push : combiner les membres d une dimension aux mesures du cube 49

50 Catégories d'opérations OLAP 2 Granularité : concerne un changement de niveau de détail : opéra9ons liées au niveau de granularité des données : Roll- up : consiste à représenter les données du cube à un niveau de granularité supérieur conformément à la hiérarchie définie sur la dimension. Une fonc9on d agréga9on (somme, moyenne, etc.) en paramètre de l opéra9on indique comment sont calculés les valeurs du niveau supérieur à par9r de celles du niveau inférieur Drill- down : consiste à représenter les données du cube à un niveau de granularité de niveau inférieur, donc sous une forme plus détaillée (selon la hiérarchie définie de la dimension) 50

51 Catégories d'opérations OLAP 3 Ensembliste : concerne l extrac9on et lʼoltp classique : Slice : correspond à une projec9on selon une dimension du cube Dice : correspond à une sélec9on du cube 51

52 Rotate/pivot MAGASIN Nimes Lille Paris Foulard Gants Botes PRODUITS ANNEES 2013 Foulard Botes Gants Foulard Nimes Lille Nimes Lille Paris Paris

53 Switch MAGASIN Nimes Lille MAGASIN Nimes Lille Paris Foulard Gants Botes PRODUITS Paris Foulard Gants Botes PRODUITS ANNEES ANNEES 2013 Foulard Botes Gants Nimes Lille Paris Foulard Botes Gants Nimes Lille Paris 20 53

54 Split Foulard Nimes Lille 70 Paris MAGASIN Nimes Lille Paris Foulard Gants Botes PRODUITS Botes Nimes Lille Paris Gants ANNEES Nimes Lille Paris 30 20

55 Nest nest(produit, annee) Nimes Lille Paris Foulard MAGASIN Nimes Lille Botes Paris ANNEES 10 Foulard Gants Botes PRODUITS Gants

56 Push push(annee) Foulard Botes Gants MAGASIN Nimes Lille Nimes Lille Paris Foulard Gants Botes PRODUITS Paris ANNEES 56

57 Roll- up et Drill- down Roll- up : représente les données du cube à un niveau de granularité supérieur conformément à la hiérarchie définie sur la dimension Drill- down : représente les données du cube à un niveau de granularité de niveau inférieur, donc sous une forme plus détaillée tout- lieu nord centre sud Lille Paris Nimes 57

58 Exemples de Roll- up MAGASIN Gants Botes Foulard Nimes Lille 70 PRODUITS 50 ANNEES tout- ANNEES Foulard Botes Gants Nimes Lille Paris Paris tout-magasin

59 Exemple de Drill- down MAGASIN Nimes Lille MAGASIN Nimes Lille Paris ANNEES Cuir Laine PRODUITS Paris ANNEES 10 Foulard Gants Botes PRODUITS 59

60 Slide (projection) tout-magasin MAGASIN Nimes Lille Paris Foulard Gants Botes PRODUITS ANNEES Gants Botes Foulard PRODUITS ANNEES πannees,produits Foulard Botes Gants

61 Dice (selection) (MAGASIN = Nimes OR MAGASIN = Lille) AND (ANNEE = 2010 OR ANNEE = 2011) AND (PRODUITS = Foulard OR PRODUITS = Botes) ventes MAGASIN Nimes Lille Paris Foulard Gants Botes PRODUITS MAGASIN Nimes Lille ANNEES Botes Foulard PRODUITS 61 ANNEES

62 Langages pour OLAP SQL étendu (Extensions de SQL- 3 / SQL- 99 pour OLAP) : Nouvelles fonc9ons SQL d agréga9on: Rank, N_9le Nouvelles fonc9ons de la clause GROUP BY : ROLLUP CUBE GROUPING SETS (mul9ple GROUP Bys) Fenêtre glissante : WINDOWS/OVER/PARTITION MDX (Mul9 Dimensional expression) : Langage de requêtes OLAP Proposé par Microso (1997) 62

63 Références Cours Systèmes d informa9on décisionnels, E. GRISLIN- LE STRUGEON et D. DONSEZ Cours de Entrepôts de données et analyse en ligne, Bernard ESPINASSE h`p:// SQL Server Microso et OLAP Cours de Introduc9on aux systèmes d informa9on décisionnelle, O. Boussaid 63