Entrepôts de données Cours 2 et 3 : modélisation et interrogation. Anne Doucet Anne.Doucet@lip6.fr

Transcription

1 Entrepôts de données Cours 2 et 3 : modélisation et interrogation Anne Doucet Anne.Doucet@lip6.fr 1

2 Plan Modélisation des données Concepts multidimensionnels Opérations Modèle de données ROLAP Étoile, flocon, constellation Transformation OLTP-ROLAP Extensions de SQL pour les requêtes OLAP Dimensions, agrégation, rollup, cube Partition et Model 2

3 Table des ventes : Données relationnelles Produit Région Chiffre Soda Ouest 300 Vins Est 250 Entretien Centre 150 Soda Centre 400 Vins Centre 300 Calcul du total des ventes de soda? requêtes, tables redondantes, attribut redondant 3

4 Données pour l analyse grille des ventes : les axes correspondent à des attributs ayant des associations m-n Est Ouest Centre Sud Total Soda Vins Entretien Total facilité de lecture et de navigation intégration des calculs 4

5 Concepts du modèle multidimensionnel mesure = critère d évaluation du processus décisionnel (ex : chiffre d affaires, quantité en stock) dimension = axe d analyse associé à un indicateur, représentant un sujet d intérêt (ex : temps, produit, localisation) hiérarchie = décomposition d une dimension en une arborescence de niveaux (ex : temps décomposé en mois, trimestre, année,...) attribut = caractéristique d un niveau d une hiérarchie (ex : prix d un article) agrégat = résultat d un indicateur par rapport à des niveaux (ex : chiffre d affaires du mois) 5

6 Cube multidimensionnel année trimestre mois janvier temps trimestre février mars Strasbourg France Est Ouest Centre Sud Nord Nancy Rennes Nantes article gamme Cap Cola limonade Soda Vins classe Alimentation Produit 6

7 Interrogation OLAP Principes: Affichage d une «face projetée» du cube multi-dimensionnel Opérations de manipulations d un cube Visualisation des résultats 7

8 Exemple Projection : slicing : classe = alimentation et année=1998 Produit : classe alimentation Temps : année 1998 trimestre 1 trimestre 2 trimestre 3 trimestre 4 Soda Vins.. 8

9 Exemple Pivotement : ajout de localisation Slicing : trimestre=4 et pays=france Produit : alimentation Temps : trimestre 4, année 1998 Localisation : pays France Est Ouest Centre Sud Total Soda

10 Autre visualisation Avantage visuel Problème de multiplicité des diagrammes Droit Philo Phys Info ECP ENS Poly Nombre de succès par matière (droit, philo, phys, info) et par école (Centrale ECP, Normale Sup ENS, Polytechnique) 10

11 Choix des niveaux de hiérarchies Le choix des niveaux affecte le volume des données représentées le niveau de détail de l information la formulation des requêtes Exemple: facturation détaillée : 200 appels/mois, 50 octets/appel, sur 2 mois on a octets/abonné sans facturation détaillée : 50 octets/abonné 11

12 Opérations sur le cube Sur la structure Rotate (pivot) Switch Split Nest/unnest Push/pull Slice Sur le contenu Dice (sélection) Roll-up (grain supérieur) Drill-down (grain inférieur) Entre cubes Jointure Opérations ensemblistes (union, intersection, différence) 12

13 Rotation (slicing) Rotation (Pivot) : rotation par rapport à l un des axes de dimension Droit Philo Phys Info ECP ENS Poly Droit Philo Phys Info ECP ENS Poly <> <> <> <> <> <> 8 8 pivot 13

14 Permutation de valeurs de dimensions (switch) Droit Philo Phys Info ECP ENS Poly Droit Philo Info Phys <> ECP <> <> ENS <> Poly switch SWITCH 14

15 Décomposition (split) Droit Philo Phys Info ECP 17 8 ENS Poly Split Droit ECP ENS 15 <> <> Poly 25 <> <> Info Phys Philo ECP ENS Poly ECP ENS 8 <> <> Poly 12 <> <> ECP ENS 9 <> <> Poly 22 <> <> 15

16 Imbrication/désimbrication (nest/unnest) Droit Philo Phys Info ECP ENS Poly Droit Philo Phys Info NEST ECP ENS <> <> 15 <> <> 9 <> <> 8 <> <> 12 UNNEST Poly <> <> 25 <> <> 22 <> <> 12 <> <> 18 16

17 Concaténation (push/pull) Droit Philo Phys Info ECP 17 8 ENS Poly Push Pull Droit Philo Phys Info ECP ENS 1996<> 1997<> <> 1997<> <> 1997<> <> 1997<> Poly 1996 <> 1997 <> <> 1997 <> <> 1997 <> <> 1997 <>

18 Projection (slice) S applique sur les valeurs des dimensions 1996 Droit Philo Phys Info ECP 17 8 ENS Poly SLICE 1996 SLICE ECP 5 ENS Poly Droit Philo ECP <> ENS Info

19 Projection agrégative Droit Philo Phys Info ECP 17 8 ENS Poly Slice Matière ECP 35 ENS 44 Poly 77 19

20 Sélection (Dice) S applique sur les valeurs des cellules Droit Philo Phys Info ECP ENS Poly ECP ENS Poly 15 Droit Philo Phys Info

21 Roll up/drill-down Droit Philo Phys Info Période 11, ,3 9,3 11, ,3 9,3 9,3 ECP ENS <> <> <> Droit Philo Phys Info ECP ENS Poly <> <> <> 10,6 10,6 Poly Droit Philo Phys Info , ,6 16,3 8,3 11,6 15,6 16,3 Ecole Rang A 8,3 11,6 Roll-up(Rang) Roll-up (Période) Roll-up (*.) 13,5 13,5 13,5 21

22 Composition d opérations ECP ENS Poly Droit Philo Phys Info Dice Roll-up ECP ENS Poly Droit Philo Phys Info ECP ENS Poly Philo Slice

23 Jointure ECP ENS Poly Droit Philo Phys ECP ENS Poly Info Droit Philo Phys Info ECP ENS Poly 23

24 Union ECP ENS Poly U1 U2 U3 Droit Philo Phys Droit Philo Phys Universités U1, U2, U3 Info 17 6 Info Droit Philo Phys Info ECP 7 18 Droit Philo 5 Phys 5 Info 17 8 ENS Poly U U U

25 Représentation du cube Deux façons de représenter le cube : Le modèle ROLAP : le serveur OLAP traduit les opérations sur le cube en opérations relationnelles. Le modèle MOLAP stocke la BD multidimensionnelle dans des structures non relationnelles. La majorité des serveurs OLAP suivent le modèle ROLAP. Objectifs : Dénormaliser (minimiser les jointures) Résumés (effectuer des précalculs) Partitionnement vertical (diminuer la taille des tables) Trois modèles : étoile, flocon, constellation 25

26 Modèle en étoile Une table «fact» par indicateur Une table dénormalisée pour chaque dimension associations en étoile entre les tables «fact» et «dimension» Product Table Product_id Product_desc Time Table Day_id Month_id Period_id Year_id Sales Fact Table Product_id Store_id Item_id Day_id Sales_dollars Sales_units... Store Table Store_id District_id... Item Table Item_id Item_desc... 26

27 Choix des tables «fact» et «dimension» Analyse des requêtes attributs «group-by» indiquent les dimensions attributs agrégés indiquent les mesures attributs «where» sont les attributs des tables «dimension» Exemple : select sale.store_id,sale_product_id, sum(sale.price) from product, sale where product.product_id=sale.product_id and product.product_desc = «clothes» group by store_id, product_id 27

28 Choix des tables Analyse des procédés métier table fait est dérivée d une activité liée à un procédé métier les attributs de la table fait sont des attributs clés qui identifient l activité plus des mesures les dimensions sont dérivées des attributs clés des tables faits 28

29 Modèle en flocon Product Table Product_id Product_desc Time Table Week_id Period_id Year_id Sales Fact Table Product_id Week_id Item_id Store_id Sales_dollars Sales_units Store Table Store_id Store_desc District_id Item Table Item_id Item_desc Dept_id District Table District_id District_desc Dept Table Dept_id Dept_desc Mgr_id Mgr Table Dept_id Mgr_id Mgr_name 29

30 Avantages/Inconvénients Modèle en étoile : évite jointures par dénormalisation Modèle en flocons chargement/rafraîchissement plus rapide 30

31 Modèle en constellation Warehouse Table Warehouse_id Warehouse_loc Product Table Product_id Product_desc Store Table Store_id District_id Inventory Fact Table Product_id Warehouse_id Week_id Cost_dollars Qty_on_hand Time Table Week_id Period_id Year_id Sales Fact Table Item_id Product_id Week_id Store_id Sales_dollars Sales_units Item Table Item_id Dept_id 31

32 Modélisation de la dimension Temps Fact Table Day_id Fact Table Day_id Fact Table Day_id Time Dimension Day_id Month_id Quarter_id Half_year_id Year_id Time Dimension Day_id Month_id Quarter_id Half_year_id Year_id Fiscal_month_id Fiscal_ quarter_id Fiscal_ half_year_id Fiscal_ year_id Time Dimension Day_id Month_id Quarter_id Half_year_id Year_id 32

33 Evolutions dans les dimensions Gestion du changement des valeurs dans les dimensions modifier les données : perte de l historique perte des contraintes référentielles créer de nouveaux tuples : ID doit inclure une notion de version complique la sémantique des requêtes 33

34 Versions dans les dimensions Customer History Table Cust_id Cust_name Version 1 ABC Co 1 1 ABC Ltd 2 2 XYZ Inc 1 Customer Table Cust_id Sales Fact Table Unit Sell Price Dollar Sales Unit Sales Dollar Cost 34

35 Difficultés de la modélisation Choix des attributs mesures mesures vs propriétés caractéristiques qui déterminent requêtes possibles Représentation des agrégats granularité des données dans les tables «facts» modélisation des agrégats choix des agrégats 35

36 Mesures et propriétés Propriété : attribut d une dimension représentant une constante ou une valeur discrète couleur prix d un article en catalogue Mesure : attribut d une table «fact» représentant une valeur à variation continue solde nombre total des articles commandés 36

37 Propriétés des mesures (1) Mesures additives: peuvent être agrégées avec toutes les dimensions sans aucune restriction. Mesures semi-additives : peuvent être agrégées avec certaines des dimensions (mais pas toutes) Exemple : quantité, bénéfice, coût,... F : A x B C est additive sur A si et seulement si : F (a 1 + a 2, b) = F (a 1, b) + F (a 2, b) F est additive si elle est additive sur tous ses arguments 37

38 Propriétés des mesures (2) Mesures non additives : doivent être traitées de façon atomique. Exemple : quantité cumulée (solde, etc) Les mesures qui s accumulent avec le temps peuvent seulement être moyennées par rapport au temps Exemples : Inventaire de chaque produit, solde sur un compte en banque 38

39 Exemples de mesures Time Dimension Additive Product Dimension Sales Fact Table Time_key Product_key Store_key Promotion_key Quantity_sold* Revenue* Cost* Customer Count Store Dimension Semi-Additive Promotion Dimension Cost by Product + Store + Time Cost by Product + Promotion + Time Revenue by Product + Promotion + Time Revenue by Product + Promotion + Store + Time... 39

40 Granularité des données Analyse d un métier au niveau de ses transactions comparaison des ventes entre matin et après-midi périodes de pointe des demandes de renseignement Nécessite une granularité fine ventes par produit, par client, par minute, par magasin demandes par produit, par client, par minute 40

41 Granularité des données (2) Analyse d un métier par tranche de temps variations des demandes de renseignements sur les jours du mois Nécessite une agrégation périodique des données demandes par produit, par nombre de clients, par jour 41

42 Modélisation des agrégats agrégats : attributs calculés à partir d attributs mesures et de fonction de calcul. En général, modélisé par des tables «fact» spécifiques problème : choix de ces tables? Accélère le traitement des requêtes OLAP ralentit le rafraîchissement de l entrepôt et augmente la taille de l entrepôt 42

43 Table fact avec agrégat Customer Table Cust_id Cust_name Sales Fact Table Unit Sell Price Dollar Sales Unit Sales Dollar Cost Store Table Store_id District_id Summary for Product, Store, and Time for all Customers Customer Summary Cust_id Total Sales Highest Sales Value Average Sales Time Table Week_id Period_id Year_id Product Table Product_id Product_desc 43

44 Choix des agrégats But: optimisation des requêtes très coûteuses en temps d exécution problème : inflation du nombre d agrégats solution : les agrégats sont réutilisables pour plusieurs requêtes, même partiellement choisir les meilleurs agrégats communs à l ensemble des requêtes 44

45 Réutilisation des agrégats SALES FACTS Sales$ Region Month 10,000 North Jan 97 12,000 South Feb 97 11,000 North Jan 97 15,000 West Mar 97 18,000 South Feb 97 20,000 North Jan 97 10,000 East Jan 97 2,000 West Mar 97 SALES BY MONTH/REGION Month Region Tot_Sales$ Jan 97 North 41,000 Jan 97 East 10,000 Feb 97 South 40,000 Mar 97 West 17,000 SALES BY MONTH Month Tot_Sales Jan 97 51,000 Feb 97 40,000 Mar 97 17,000 45

46 Méthodes de conception Dimensions de la démarche descendante : on part d un schéma conceptuel du DW, puis on produit un schéma ROLAP, puis on définit la traduction des sources dans ce schéma ascendante : on part des schémas des sources qu on intègre progressivement pour obtenir un schéma global structuré selon un modèle ROLAP local vers global : débuter par des data marts puis passer à un entrepôt global global vers local : débuter par le DW global puis définir des entrepôts locaux 46

47 Descendante vs ascendante Approche descendante principe : concevoir un schéma d entreprise intégré (Modèle d entreprise) dont les schémas des sources seront dérivés nécessite outils de modélisation approche robuste mais lente et coûteuse Approche ascendante principe : intégrer les schémas des sources de façon à dériver un schéma global approche pragmatique mais évolution difficile 47

48 Approche ascendante 1. Intégration de schémas conceptuels hétérogènes en un schéma global pré-intégration comparaison de schémas conformance de schémas fusion et restructuration 2. Transformation d un schéma opérationnel en un schéma ROLAP 48

49 Transformation OLTP-ROLAP Méthode générale éliminer les attributs inutiles dans les sources estampiller les données isoler les dimensions et les faits choix et modélisation des mesures arrangement en modèle ROLAP enrichissement par données contextuelles Exemple : transformation d un schéma de type TPC-C 49

50 Etape 1 : élimination de données Order Ord ID Ord Sales ID Cust ID Sales Location Order Date -Date Filled -Comments -Routing -Ship Address Customer Cust ID Cust Name Address Phone -Created By -Credit Checked By -Credit Clerk ID Salesman Salesman ID Manager ID Projected Sales -Created By -Hire Date Order Item Ord ID Line No Product ID Quantity Unit Price Item Total Product Product ID Class ID Category ID Vendor ID -Product Status -Created By 50

51 Etape 2 : ajout du temps Order Ord ID Ord Sales ID Cust ID Sales Location Order Date Customer Cust ID Cust Name Address Phone +Snapshot Date Salesman Salesman ID Manager ID Projected Sales +Snapshot Date Order Item Ord ID Line No Product ID Quantity Unit Price Item Total +Snapshot Date Product Product ID Class ID Category ID Vendor ID +Snapshot Date 51

52 Etape 3: choix des mesures Order Ord ID Ord Sales ID Cust ID Sales Location Order Date +Total Order Value +Discount Applied Customer Cust ID Cust Name Address Phone Snapshot Date +Total Cust Orders Salesman Salesman ID Manager ID Projected Sales Snapshot Date +Total Sales Orders Order Item Ord ID Line No Product ID Quantity Unit Price Item Total Snapshot Date Product Product ID Class ID Category ID Vendor ID Snapshot Date +Total Products Ordered 52

53 Etape 4 : ajout de données Order Ord ID Cust ID Ord Sales ID Sales Location Order Date Total Order Value Discount Applied Customer Cust ID Cust Name Address Phone Snapshot Date Total Cust Orders Salesman Salesman ID Manager ID Projected Sales Snapshot Date Total Sales Orders Order Item Ord ID Line No Product ID Quantity Unit Price Item Total Snapshot Date +Warehouse ID +Order Lead Time +Stock Out +Stock Level Product Product ID Class ID Category ID Vendor ID Snapshot Date Total Products Ordered +Inventory Item +Product ID +Warehouse ID +Order Lead Time +Stock Out +Stock Level 53

54 Etape 5: réarrangement Order Ord ID Cust ID Ord Sales ID Sales Location Order Date Total Order Value Discount Applied Customer Cust ID Cust Name Snapshot Date Salesman Salesman ID Manager ID Snapshot Date Customer Detail Cust ID Snapshot Date Address Phone Total Orders Salesman History Salesman ID Snapshot Date Projected Sales Total Orders Order Item Ord ID Line No Product ID Quantity Unit Price Item Total Snapshot Date Warehouse ID Order Lead Time Stock Out Stock Level Product Product ID Class ID Category ID Vendor ID Snapshot Date Total Products Ordered 54

55 Etape 5 (suite) Order Ord ID Cust ID Ord Sales ID Sales Location Order Date Total Order Value Discount Applied +Line No +Product ID +Quantity +Unit Price +Item Total +Warehouse ID +Order Lead Time +Stock Out +Stock Level Customer Cust ID Cust Name Snapshot Date Salesman Salesman ID Manager ID Snapshot Date Customer Detail Cust ID Snapshot Date Address Phone Total Orders Salesman History Salesman ID Snapshot Date Projected Sales Total Orders Order Item Ord ID Line No Product ID Quantity Unit Price Item Total Snapshot Date Warehouse ID Order Lead Time Stock Out Stock Level Product Product ID Class ID Category ID Vendor ID Snapshot Date Total Products Ordered 55

56 Etape 6 : ajout des données de contexte +Sales Location +Region ID +Effective From +Effective To +Contains Region ID +Region Description Product Product ID Class ID Category ID Vendor ID Snapshot Date Total Products Ordered Order Ord ID Cust ID Ord Sales ID Sales Location (Region ID) Order Date Total Order Value Discount Applied Line No Product ID Quantity Unit Price Item Total Warehouse ID Order Lead Time Stock Out Stock Level Salesman History Salesman ID Snapshot Date Projected Sales Total Orders Salesman Salesman ID Manager ID Snapshot Date Customer Cust ID Cust Name Snapshot Date Customer Detail Cust ID Snapshot Date Address Phone Total Orders 56

57 Approche descendante Problème : on dispose d un schéma d entrepôt ROLAP = ens. de vues. Pour chaque vue de ce schéma, il faut spécifier sa construction à partir des sources. Exemple d approche possible : 1. Décrire les propriétés sémantiques des sources et des vues 2. Pour chaque vue, déterminer les relations source pertinentes définir les opérations pertinentes entre ces relations choisir les requêtes à générer 57

58 Meta-données 1. Schémas des sources et des vues 2. Assertions intra-schéma dépendances fonctionnelles (e.g., R 1.K R 1.A) contraintes référentielles (e.g., R 1.A R 2.A) contraintes de valeurs (e.g., R 1.A < R 1.B) 3. Assertions inter-schema équivalence sémantique (e.g., R 1.A R 2.A) équivalence des instances : e.g., I(R 1 ) = I(R 2 ), I(R 1 ) I(R 2 ) = comparaison de structures (e.g., R 1 = R 2, R 1 R 2 ) 58

59 Relations sources pertinentes V(K,A,B,C,D,E) R1(K,A,B,X) R2(Y,C,D,E,W) R3(B,D,E,Z) 59

60 Tables de transition V(K,A,B,C,D,E) T1( K,A,B,X) T2(Y,C,D,E) T3( B,D,E) tables de transition finales T4(X,Y) table de transition explicite R1(K,A,B,X) R2(Y,C,D,E,W) R3(B,D,E,Z) 60

61 Graphe des opérations possibles Vue utilisateur V(K,A,B,C,D,E) graphe d opérations relations de transition T1(K,A,B) T2(B,C,D,E) T3(B,C,D,E) U relations sources R1(K,A,B,X) R2(B,C,D,E,Y) R3(B,C,D,E,Z) 61

62 Extensions de SQL pour OLAP Plusieurs propositions d extensions : SQL : Dimension, Agrégation, Roll up, Cube Densification SQL Model (spreadsheet) 62

63 SQL (Oracle) Définition des dimensions Une dimension est définie par des relations : table + attributs un attribut = un niveau la hiérarchie entre les niveaux : arbre (ou branche) les dépendances fonctionnelles entre les attributs Avantages Cohérence des données Traitement plus efficace des requêtes d agrégation 63

64 Dimensions dans un schéma en étoile Exemple: la dimension des catégories de produits CREATE DIMENSION products_dim LEVEL product IS (products.prod_id) LEVEL subcategory IS (products.prod_subcategory) LEVEL category IS (products.prod_category) HIERARCHY prod_rollup ( product CHILD OF subcategory CHILD OF category) ATTRIBUTE product DETERMINES (prod_name, prod_desc, prod_min_price, ) ATTRIBUTE subcategory DETERMINES (prod_subcategory, prod_subcategory_desc) ATTRIBUTE category DETERMINES (prod_category, prod_category_desc); 64

65 Dimensions dans un schéma en flocon Définir une dimension à partir de plusieurs relations Clients (cl_id, cl_ville, cl_région, cl_pays) Pays (p_id, p.continent) CREATE DIMENSION clients_dim LEVEL client IS (cl_id) LEVEL ville IS (cl_ville) LEVEL région IS (cl_région) LEVEL pays IS (p_id) LEVEL continent IS (p_continent) HIERARCHY geographic_rollup ( client CHILD OF ville CHILD OF région CHILD OF pays CHILD OF continent JOIN KEY (cl_pays) REFERENCES Pays); 65

66 Agrégation avec SQL : GROUP BY Regroupement suivant n dimensions GROUP BY d1,, dn Un groupe contient tous les faits qui ont les mêmes valeurs pour (d1,, dn). Les groupes sont disjoints. Clause SELECT : fonction d agrégation sum, avg, count, min, max, Résultat: un n-uplet par groupe Exemple : Sales(StoreID, ItemID, CustID, qty, price) SELECT StoreID, ItemID, CustID, SUM(price) FROM Sales GROUP BY StoreID,ItemID,CustID 66

67 Opérateur ROLLUP Syntaxe: GROUP BY [D ] ROLLUP(D ) D et D sont des listes de dimensions d1 dn Agrégation sur n+1 niveaux de regroupements Niveau 1 : group by d1 dn-1 dn Niveau 2 : group by d1 dn-1 Niveau n : group by d1 Niveau n+1 : un seul groupe = la table des faits toute entière Rollup partiel : moins de niveaux GROUP BY D ROLLUP(D ) Ex: group by e1 rollup (e2, e3) crée les sous-totaux (e1,e2,e3), (e1, e2) et (e1) Le ROLLUP est utile lorsque les Di sont les niveaux d une même hiérarchie (ROLLUP (jour, mois, année)) 67

68 Exemple de ROLLUP(1) Sales(StoreID, ItemID, CustID, qty, price) Requête SELECT StoreID, ItemID, CustID, SUM(price) FROM Sales GROUP BY ROLLUP(StoreID,ItemID,CustID) Résultat [s, i, c, p] Résultat [s1, i1, c1, 2] [s1,i1,c3, 1] [s1, i1,null, 100] [s1, i2, null, 250] total par mag. par art. [s1, null, null, 4000 ] total par magasin [null, null, null, ] total général mais pas les n-uplets suivants : [s1, null, c1, 30] [null, null, c1, 200] total par mag. par client total par client 68

69 Exemple de ROLLUP (2) Sales(RegionID, StoreID, ClerkID, hourlypay) Requête SELECT RegionID, StoreID, ClerkID, AVG(hourlyPay) FROM Sales GROUP BY RegionID, ROLLUP(StoreID, ClerkID), Résultat 69

70 Exemple de ROLLUP (3) SELECT Type, Store, SUM(Number) FROM Pets GROUP BY type,store Type Dog Cat Turtle Dog Cat Dog Turtle Store Miami Miami Tampa Tampa Naples Naples Naples Number Résultat avec ROLLUP Type Store Number Cat Miami 18 Cat Naples 9 Cat NULL 27 Dog Miami 12 Dog Naples 5 Dog Tampa 14 Dog NULL 31 Turtle Naples 1 Turtle Tampa 4 Turtle NULL 5 NULL NULL 63 70

71 Opérateur CUBE Syntaxe: GROUP BY [D] CUBE(D ) D et D sont des listes de dimensions d1 dn Agrégation sur tous les niveaux de regroupements par face, arrête, sommet du cube (2 n groupes) group by d 1 group by d 2 group by d 3 group by d 1, d 2 group by d 1, d 2 group by d 1, d 3 group by d 1, d n Cube partiel : moins de niveaux GROUP BY D CUBE(D ) 71

72 Exemple de CUBE SELECT Type, Store, SUM(Number) FROM Pets GROUP BY CUBE (type, store) Cat Cat Cat Dog Dog Miami Naples NULL Miami Naples Dog Tampa 14 Dog NULL 31 Turtle Naples 1 Turtle Tampa 4 Turtle NULL 5 NULL NULL 63 NULL Miami 30 NULL Naples 15 NULL Tampa 18 72

73 Extension PARTITION BY : Densification Principe Obtenir un cube sans trous. Ajouter les agrégats dont la valeur est nulle. Cube + jointure externe sur chaque dimension Syntaxe PARTITION BY D [LEFT RIGHT ] OUTER JOIN table ON pred D, table : dimensions pred : prédicat de jointure Avantages: jointure plus efficace, moins de tri. 73

74 Définitions INNER join : pour qu un n-uplet soit dans le résultat, il faut que la valeur de l attribut de jointure apparaisse dans les 2 tables. OUTER join : tous les n-uplets apparaissent dans le résultat, avec une valeur nulle pour les autres attributs lorsque les valeurs ne joignent pas. RIGHT OUTER JOIN : tous les n-uplets de la table de droite apparaissent dans le résultat. LEFT OUTER JOIN : tous les n-uplets de la table de gauche apparaissent dans le résultat. 74

75 Exemple PURCHASE (Product-id, purchase-price, time-key) PRODUCT(product-id, product-name, category) TIME(time-key, day, month, year) Q1. Vente des produits par mois SELECT t.month, p.product-name, SUM(f.purchase-price) as sales FROM PURCHASE f, TIME t, PRODUCT p WHERE f.time-key = t.time-key AND f.product-id = p.product-id GROUP BY p.product-name, t.month S il n y a eu aucune vente du produit p1 au mois de février 2005, le n-uplet ( , p1, ) n apparaîtra pas dans le résultat. Pb. Moyenne des ventes par trimestre? 75

76 Exemple (suite) On veut prendre en compte les produits non vendus certains mois, en générant un n-uplet avec la valeur 0 pour les ventes dans ce cas. Select v2.month, v1.product-name, nvl(v1.sales, 0) FROM (SELECT t.month, p.product-name, SUM(f.purchase-price) as sales FROM PURCHASE f, TIME t, PRODUCT p WHERE f.time-key = t.time-key AND f.product-id = p.product-id GROUP BY p.product-name, t.month) v1 PARTITION BY (productname) RIGHT OUTER JOIN (SELECT distinct t.month FROM TIME t) v2 ON v1.month = v2.month) 76

77 Exemple (suite) V1 : vente des produits par mois V2 : valeurs distinctes des mois PARTITION BY (product-name) : prend le résultat de V1 et partitionne par nom de produit. RIGHT OUTER JOIN : fait la jointure externe en prenant toutes les valeurs des mois (RIGHT) nvl(v1.sales, 0): insère la valeur 0 (au lieu de NULL) pour les n-uplets n ayant pas de valeur de jointure avec la table de gauche. 77

78 Extension MODEL : Principes Intuition: décrire une requête comme une feuille de calcul contenant des formules dans des cellules. Relation avec N attributs tableau à N dimensions Définir la valeur d une cellule par une formule. Formule récursive, condition d arrêt et de convergence Requête avec une nouvelle clause pour définir les formules. La nouvelle clause supporte : le partitionnement des données, mises à jour, prédicats de jointure (a=b) Simplifie l écriture des requêtes OLAP (what if, ) 78

79 Evaluation d une requête OLAP Evaluation de la nouvelle clause après les clauses select, where, group by avant order by produit une relation : l imbrication de requêtes est possible Traitement efficace de la nouvelle clause en parallèle pour chaque partition une seule structure d accès pour traiter plusieurs opérations de jointure et d union 79

80 Syntaxe d une requête OLAP SELECT FROM WHERE GROUP BY. MODEL PBY (cols) DBY (cols) MEA (cols) { <regles> * } PBY (p1, ) : partition by découpage en partitions DBY (d1, ) : dimension by : nom des dimensions MEA (m) : mesure, ensemble de valeurs: m[ ] <regles>: affectation m[prédicat] = f(m) prédicat: égalité, inégalité, logique f(m) : formule algébrique 80

81 Déroulement d une requête Mapping des colonnes vers des entités Model Country Product Year Sales Partition Dimension Dimension Measure Règles Sales(Prod1, 2002) = Sales(Prod1,2000) + Sales(Prod1,2001) Sales(Prod2, 2002) = Sales(Prod2, 2000) + Sales(Prod2, 2001) 81

82 82 Résultat Prod2 A Prod1 B Prod1 A Prod2 B Prod2 B Prod2 B Prod1 B Prod1 B Prod2 A Prod2 A Prod1 A Prod1 A Measure Dimension Dimension Partition Sales Year Product Country Données d origine Résultat des règles

83 Model : exemple 1 Relation f: table de faits Attributs région r, produit p, année a, ventes v SELECT r, p, a, v FROM f MODEL PBY (r) DBY (p, a) MEA (v) { v[p= dvd, a=2005] = v[p= dvd, a=2004] * 1.6, v[p= vcr, a=2005] = v[p= vcr, a=2003] + v[p= vcr, a=2004], v[p= tv, a=2005] = avg(v)[p= tv, 1997<a<2005] } Quelles seraient les ventes en 2005 tq: - DVD : augmentation de 60% par rapport à Caméscope : somme des ventes 2003 et TV: moyenne de 1998 à

84 Model : exemple 2 Utilisation de la fonction cv() : current value MODEL DBY (r, p, a) MEA (v) { v[ ouest', *, a>2001] = 1.2*v[cv(r), cv(p), a=cv(t)-1] } Quelles seraient les ventes, après 2001, de tous les produits de la région Ouest, telles que : l augmentation annuelle pour chaque produit soit de 20% 84