} Les BD Multidimensionnelles Analyse multidimensionnelle OLAP Data Mart Extraction de connaissances. } Les outils } Perspectives

Transcription

1 Chapitre 3 1

2 } Les BD Multidimensionnelles Analyse multidimensionnelle OLAP Data Mart Extraction de connaissances } Les outils } Perspectives 2

3 } Analyse multidimensionnelle capacité à manipuler des données qui ont été agrégées } selon différentes dimensions ex. : analyse des ventes /catégorie de produit 1D. + /année 2D. + /département commercial 3D. + / zone géographique 4D. 3

4 } Objectif obtenir des informations déjà agrégées selon les besoins de l utilisateur : simplicité et rapidité d accès } HyperCube OLAP représentation de l information dans un hypercube à N dimensions Axe d'analyse: La géographie (Pays - région - ville) Variables analysées: Nb unités, CA, marge... Axe d'analyse: Les produits (classe, produit) Axe d'analyse: Le temps (Année, trimestre, mois, semaine) Axes d'analyse: dimensions Variables analysées: indicateurs 4

5 } Exploration des données : Interactive manipulation Visualization OLAP capabilities 5

6 } OLAP (On-Line Analytical Processing) fonctionnalités qui servent à faciliter l analyse multidimensionnelle : opérations réalisables sur l hypercube } Types de systèmes OLAP : ROLAP : Relational OLAP (ROLAP) systems work primarily with the data in a relational database MOLAP : Multidimensional OLAP (MOLAP) systems are widely regarded as the classic form of OLAP HOLAP: Hybrid OLAP (HOLAP) is the result of attempting to incorporate the best features of MOLAP and ROLAP into a single architecture WOLAP : Web OLAP (WOLAP) refers to the OLAP application accessible via the web browser. DOLAP :Desktop OLAP (DOLAP) allows you to download a section of data from the database or source and work with that dataset locally or on your desktop molap : Mobile OLAP (molap) refers to OLAP functionalities on a wireless or mobile device SOLAP : Spatial OLAP (SOLAP) was developed with the aim of integrating the capabilities of both Geographic Information Systems (GIS)and OLAP into a single user interface 6

7 } Dimension Temps, Produit, Géographie,... } Niveau : hiérarchisation des dimensions Temps : Année, Semestre, Trimestre, Mois, Semaine,... Produit :Rayon, Catégorie, Nature,... Géographie : Région, Département, Ville, Magasin } Membre d'un Niveau Produit::Rayon : Frais, Surgelé,..., Liquide, Produit::Rayon.Catégorie: Frais.Laitage,..., Liquide.vin } Cellule intersection des membres des différentes dim. 7

8 } But Visualisation/Utilisation d'un fragment de l'hypercube } Opérations OLAP Drill Up : résumer, agréger des données En montant dans une hiérachie ou en oubliant une dimension : Semaine è Mois Drill Down : inverse de roll-up En descendant dans une hiérachie ou en ajoutant une dimension : Mois è Semaine Rotate : Réorienter le cube (Région,Produit)è(Région, Mois) Slicing et Decing : Projection et sélection selon un axe Mois = ; Projeter(Région, Produit) 8

9 Cela permet d'aller vers les informations détaillées dans une hiérarchie ou au contraire de remonter d'un niveau de granularité. Il s'agit donc de «zoumer ou de dézoumer» sur une dimension. 9

10 Consiste à effectuer une rotation de l'hypercube afin de présenter une face différente. Il s'agit donc de modifier une dimension de lecture. 10

11 Consiste à ne travailler que sur une tranche de l'hypercube. Une des dimensions est alors réduites à une seule valeur. 11

12 Consiste à ne travailler que sur un sous-cube. On s'intéressera alors seulement à une partie des données. 12

13 } Oracle OLAP API = Datacube Express = Analyse Report = Reporting } Business Object BusinessQuery = Requêtage BusinessObject = Requêtage + Analyse + Reporting WebIntelligence = Datacube } Cognos Impromptu = Reporting Powerplay = Datacube Query = Requêtage } Hyperion ESS Base = Base MOLAP ESS Analysis= Analyse + Datacube 13

14 } ROLLUP: SELECT <column list> FROM <table > GROUP BY ROLLUP(column_list); Crée des agrégats à n+1 niveaux, n étant le nombre de colonne de groupage n, n-1, n-2, 0 colonnes } CUBE: SELECT <column list> FROM <table > GROUP BY CUBE(column_list); Crée 2 n combinaisons d'agrégats, n étant le nombre de colonne de groupage 14

15 Animal Lieu Quantite Chien Paris 12 Chat Paris 18 Tortue Rome 4 Chien Rome 14 Chat Naples 9 Chien Naples 5 Tortue Naples 1 } SELECT Animal, Lieu, SUM(Quantite) as Quantite FROM Animaux GROUP BY ROLLUP Animal,Lieu Animal Lieu Quantite Chat Paris 18 Chat Naples 9 Chat - 27 Chien Paris 12 Chien Naples 5 Chien Rome 14 Chien - 31 Tortue Naples 1 Tortue Rome 4 Tortue

16 Animal Lieu Quantite Chien Paris 12 Chat Paris 18 Tortue Rome 4 Chien Rome 14 Chat Naples 9 Chien Naples 5 Tortue Naples 1 } SELECT Animal, Lieu, SUM(Quantite) as Quantite FROM Animaux GROUP BY CUBE Animal, Lieu Animal Lieu Quantite Chat Paris 18 Chat Naples 9 Chat - 27 Chien Paris 12 Chien Naples 5 Chien Rome 14 Chien - 31 Tortue Naples 1 Tortue Rome 4 Tortue Paris 30 - Naples 15 - Rome 18 16

17 17

18 18

19 } Data Mart : magasin de données ciblé sur un sujet précis vue partielle et orientée métier sur les données du D.W. Data Warehouse 19

20 20

21 Front-end tools 21

22 } Techniques à base d'olap Requêteurs donne une réponse à une question plus ou moins complexe (type SQL) EIS (Executive Information Systems) outils de visualisation et de navigation dans les données statistiques + interfaçage graphique Applications spécialisées (ad-hoc) applications développées spécialement pour les besoins de l entreprise } Techniques à base de Data Mining outils évolués de prédiction, simulation,... 22

23 } Principe Creuser une mine (le DW) pour rechercher un filon (l information) Evolution par rapport aux statistiques «classiques» } Objectifs Prédiction (What-if) ex. demande de prêt Découverte de Règles Cachées (corrélations) ex. bière + couches Confirmation d hypothèses } Entrées Slice/Scope d'un HyperCube OLAP Fichiers Texte, Feuille de Calcul (SYLK, XLS) 23

24 } OLAP : l utilisateur cherche à confirmer des intuitions ex. : «A-t-on vendu plus de yaourts en Région Parisienne qu en Bretagne en 2003?» } Data Mining : l utilisateur cherche des corrélations non évidentes ex. : «Quelles sont les caractéristiques de l achat de yaourts?» 24

25 25

26 } Un marché fragmenté : Constitution du DataWarehouse Stockage Extraction d Information 26

27 } Administration SourcePoint (Software AG), ISM/OpenMaster (Bull), CA-UniCenter, DataHub (IBM), CPE (SAS), Warehouse Administrator (SAS) } Extraction et Purification Warehouse Manager (Prism), Integrity Data Reengineering (Vality), Access (SAS), DataStage (VMark), Génio (Léonard s Logic), InfoRefiner (Platinum), PASSPORT et NATURAL (Software AG), Gentia ( Planning Sciences) 27

28 } Serveur DataWarehouse Oracle, Sybase, Informix, Ingres (CA), DB2 (IBM), Tandem, Teradata,... } Moteur OLAP Express (Oracle), Business Objects, Powerplay /Impromptu (Cognos), Adabas (Software AG), Opera (CFI), ALEA (MIS AG), Harry Cube (Adviseurs), Gentia(Planning Sciences), Essbase (Arbor Software), Informix, Pilot,... 28

29 } Rétro-ingénierie (Reverse-Engineering) Business Object, DB-Main } Browser OLAP Discoverer (Oracle), ESPERANT (Software AG), InfoBeacon (Platinum), Explorer (Business Objects), le VCL DecisionCube de Delphi Cl/Sv } Arbres de Décision Alice (ISoft), Knowledge Seeker (Angoss), Chaid (SPSS) } Réseaux de Neurones Predict (Neuralware), Neural Connection (SPSS), Previa (Elseware) } Autres Mineset (SGI), Darwin (Thinking Machines), Gupta DataMind (basé sur les réseaux d agents), Discovery Server (Pilot), DSS Agent (Micro Strategy), BusinessMiner (Business Objects), Intelligent Miner (IBM),... 29

30 30

31 } homogénéisation des outils intégrant les différentes étapes de la suite décisionnelle } données externes ouverture à l internet } augmentation des volumes de données } restitution des informations : nouvelles techniques de data mining multimédia } outils de constitution du référentiel la métabase 31

32 32

33 } J.-M. Franco, «Le Data Warehouse/Le Data Mining», Eyrolles, 1997 } J.-M. Franco, S. De Lignerolles, «Piloter l'entreprise grâce au data warehouse», Eyrolles, } R. Mattison, «Data Warehousing - Strategies, Technologies and Technics», IEEE Computer Society, } W. H. Inmon, «Building the Data Warehouse», ed. Wiley, 1ère édition : 1996, 3ème édition: 2002, voir } W. H. Inmon, «Managing the Data Warehouse», ed. Wiley, 1997 } R. Kimball, «Entrepôts de Données», Intl Thomson Pub., } Ralph Kimball, Laura Reeves, Warren Thornwaite, «The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses», 800 pages (août 1998), Ed Wiley, ISBN: } Ralph Kimball, Margy Ross, «Entrepôts de données. Guide pratique de modélisation dimensionnelle», 2ème édition (1 janvier 2003), Ed Vuibert,