Les SGBDs Décisionnels



Documents pareils
Les SGBDs Décisionnels

BUSINESS INTELLIGENCE. Une vision cockpit : utilité et apport pour l'entreprise

Fournir un accès rapide à nos données : agréger au préalable nos données permet de faire nos requêtes beaucoup plus rapidement

2 Serveurs OLAP et introduction au Data Mining

Bases de Données OLAP

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence

Bases de données multidimensionnelles et mise en œuvre dans Oracle

Bases de Données Avancées

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

Les entrepôts de données

LES ENTREPOTS DE DONNEES

Entrepôts de données. NEGRE Elsa Université Paris-Dauphine

Oracle Décisionnel : Modèle OLAP et Vue matérialisée D BILEK

BD51 BUSINESS INTELLIGENCE & DATA WAREHOUSE

Les Entrepôts de Données

<Insert Picture Here> Exadata Storage Server et DB Machine V2

Présentation du module Base de données spatio-temporelles

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP)

Performances. Gestion des serveurs (2/2) Clustering. Grid Computing

ORACLE EXADATA DATABASE MACHINE X2-8

Le "tout fichier" Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique

C-CUBE: Un nouvel opérateur d agrégation pour les entrepôts de données en colonnes

BI = Business Intelligence Master Data-Science

SQL Server 2012 et SQL Server 2014

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

Innovative BI with SAP Jean-Michel JURBERT D. de Marché BI, HANA, BIG DATA _ SAP France

Datawarehouse: Cubes OLAP. Marlyse Dieungang Khaoula Ghilani

Plan. Ce qu est le datawarehouse? Un modèle multidimensionnel. Architecture d un datawarehouse. Implémentation d un datawarehouse

ETL Extract - Transform - Load

Fouille de Données : OLAP & Data Warehousing

ORACLE EXADATA DATABASE MACHINE X2-2

SQL Server 2012 Implémentation d'une solution de Business Intelligence (Sql Server, Analysis Services...)

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste

Entrepôts de données : Systèmes OLAP : ROLAP, MOLAP et OLAP (5) 1 Introduction aux systèmes

Master Exploration Informatique des données DataWareHouse

Pascale Borla-Salamet Consultante Avant Vente Oracle France. Oracle Exadata Performance et Optimisation de votre Datawarehouse

et les Systèmes Multidimensionnels

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2012

Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza

Datawarehouse and OLAP

Eduardo Almeida. Master Alma Université de Nantes

Les bases de données

Fonctionnalités des différentes éditions de SQL Server 2012

Catherine Chochoy. Alain Maneville. I/T Specialist, IBM Information Management on System z, Software Group

Administration des bases de données. Jean-Yves Antoine

Tout ce que vous avez toujours voulu savoir sur SAP HANA. Sans avoir jamais osé le demander

Les entrepôts de données et l analyse de données

Hervé Couturier EVP, SAP Technology Development

Introduction à l Informatique Décisionnelle - Business Intelligence (7)

Chapitre IX. L intégration de données. Les entrepôts de données (Data Warehouses) Motivation. Le problème

Le Langage SQL version Oracle

Techniques d optimisation des requêtes dans les data warehouses

BI = Business Intelligence Master Data-ScienceCours 3 - Data

Option OLAP d'oracle Database 10g

Urbanisation des SI-NFE107

Business Intelligence : Informatique Décisionnelle

CHAPITRE 1 ARCHITECTURE

Introduction à la B.I. Avec SQL Server 2008

La place de la Géomatique Décisionnelle dans le processus de décision

Construction d un EDD avec SQL 2008 R2. D. Ploix - M2 Miage - EDD - Création

Le Data Warehouse. Fait Vente. temps produit promotion. magasin. revenu ... Produit réf. libellé volume catégorie poids. Temps jour semaine date ...

Exploiter les statistiques d utilisation de SQL Server 2008 R2 Reporting Services

Les Triggers SQL. Didier DONSEZ. Université de Valenciennes Institut des Sciences et Techniques de Valenciennes

Pourquoi IBM System i for Business Intelligence

Valorisez vos actifs logiciels avec Rational Asset Manager. Jean-Michel Athané, Certified IT Specialist IBM Rational Software

Business Intelligence, Etat de l art et perspectives. ICAM JP Gouigoux 10/2012

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Bases de Données. Stella MARC-ZWECKER. Maître de conférences Dpt. Informatique - UdS

Entrepôt de données 1. Introduction

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin Talend

Les Bases de Données et l Objet Introduction

OLAP : Mondrian + Pentaho. Maguelonne Teisseire Hugo Alatrista Salas hugo.alatrista- salas@teledetec9on.fr Flavien Bouillot

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2014

COMMANDES SQL... 2 COMMANDES DE DEFINITION DE DONNEES... 2

Table des matières PRESENTATION DU LANGAGE DS2 ET DE SES APPLICATIONS. Introduction

IBM Cognos Enterprise

Bases de données Cours 1 : Généralités sur les bases de données

Les Entrepôts de Données. (Data Warehouses)

Grégoire de Lassence. Copyright 2006, SAS Institute Inc. All rights reserved.

Devoir Data WareHouse

SQL Server SQL Server Implémentation d une solution. Implémentation d une solution de Business Intelligence.

Introduction à lʼinformatique. Décisionnelle (ID) / Business. Intelligence» (1)

SAP Runs SAP Reporting Opérationnel & BI avec HANA et SAP Analytics. Pierre Combe, Enterprise Analytics Juin, 2015

ADMINISTRATION EXADATA

TP11 - Administration/Tuning

FOURNIR UN SERVICE DE BASE DE DONNÉES FLEXIBLE. Database as a Service (DBaaS)

Adonya Sarl Organisme de Formation Professionnelle 75 Avenue Niel PARIS, France

Optimiser votre reporting sans déployer BW

et les Systèmes Multidimensionnels

Data Mining. Vincent Augusto École Nationale Supérieure des Mines de Saint-Étienne. Data Mining. V. Augusto.

Optimisation SQL. Quelques règles de bases

Webinar ORACLE LE LICENSING ORACLE Quel type de licensing choisir?

La problématique. La philosophie ' ) * )

Cours 3. Développement d une application BD. DBA - Maîtrise ASR - Université Evry

palais des congrès Paris 7, 8 et 9 février 2012

SQL SERVER 2008, BUSINESS INTELLIGENCE

Domaines d intervention

Jean-Philippe VIOLET Solutions Architect

Cours Base de données relationnelles. M. Boughanem, IUP STRI

Transcription:

http://www-adele.imag.fr/users/didier.donsez/cours Les SGBDs Décisionnels Didier DONSEZ Université Joseph Fourier - Grenoble 1 PolyTech Grenoble LIG/ADELE Didier.Donsez@imag.fr, Didier.Donsez@ieee.fr Thierry CRUANES Oracle Corp., US thierry.cruanes@oracle.com

Plan Limites du SQL en décisionnel Nouvelles fonctions et types de données Aspect Systèmes Index Bitmap RAID Benchmarks 2

Limites du SQL et des SGBDs «Transactionnels» orienté vers le OLTP Interface Manque d expressivité des requêtes SQL pour l OLAP Système Structures et Algorithmes inadaptées à la charge de travail de l OLAP 3

Winter 2003 VLDB Survey Largest Database Size, Decision Support 1998 Survey 2001 Survey 2003 Survey 1. Sears Teradata 4.63 2. HCIA Informix 4.50 3. Wal-Mart Teradata 4.42 4. Tele Danmark DB2 2.84 5. CitiCorp DB2 2.47 6. MCI Informix 1.88 7. NDC Health Oracle 1.85 8. Sprint Teradata 1.30 9. Ford Oracle 1.20 10. Acxiom Oracle 1.13 SBC Teradata 10.50 First Union Informix 4.50 Dialog Proprietary 4.25 Telecom Italia DB2 3.71 FedEx Teradata 3.70 Office Depot Teradata 3.08 AT & T Teradata 2.83 SK C&C Oracle 2.54 NetZero Oracle 2.47 Telecom Italia Informix 2.32 France Telecom Oracle 29.23 AT&T Daytona 26.27 SBC Teradata 24.81 Anonymous DB2 16.19 Amazon.com Oracle 13.00 Kmart Teradata 12.59 Claria Oracle 12.10 HIRA Sybase IQ 11.94 FedEx Teradata 9.98 Vodafone Teradata 9.91 4

Exemple France Telecom ajoute 1To de données brutes par mois DW de 65 To actuellement. Comment Gérer ce volume Maintenir les index, les partitions, les vues materialisées, les stats (plusieurs jours de calculs from scratch) 5

Amazon.com TODO 15

Systèmes MOLAP (obsolète) SGBD Spécialisé ROLAP (inefficace) SGBD Relationnel H-OLAP (H comme Hybrid) (l actualité) SGBD Relationnel avec des extensions OLAP Nouveaux opérateurs GROUP BY CUBE, Algorithmes adéquats StarJoin, Index Bitmap,... 16

Nouvelles Fonctions pour SQL BREAK BY (SAS) RANK Rang d une ligne par rapport à un agrégat TOP / BOTTOM Requête de type «Top Ten» Les 10 meilleurs / Les 10 moins bons Echantillonnage (Informix Online XPS) Requête effectuée sur un échantillon de données tiré aléatoirement (preview) Limite de temps de calcul pour une approximation du résultat Extension du Group By (SQL99) Grouping Sets, Rollup, Cube Fenêtre mouvante pour les agrégat : Windows Exemple : moyenne et déviance sur le jour courant et les 3 jours précédents SQL:2003 OLAP 17

Ranking select rank('01-jan-1990','12-dec-1989') within group (order by #client, #produit) montant from Ventes; 18

GROUP BY GROUPING SETS Partitionnement selon plusieurs dimensions Exemple SELECT #Client, #Produit, SUM(Montant) FROM Ventes GROUP BY GROUPING SETS ((#Client), (#Produit)) est équivalent à (SELECT #Client, NULL, SUM(Montant) FROM Ventes GROUP BY #Client) UNION (SELECT NULL, #Produit, SUM(Montant) FROM Ventes GROUP BY #Produit) 19

GROUP BY ROLLUP Réduire progressivement Exemple SELECT #Client, #Produit, SUM(Montant) FROM Ventes GROUP BY ROLLUP (#Client, #Produit) est équivalent à (SELECT #Client, #Produit, SUM(Montant) FROM Ventes GROUP BY #Client, #Produit) UNION (SELECT #Client, NULL, SUM(Montant) FROM Ventes GROUP BY #Client) UNION (SELECT NULL, NULL, SUM(Montant) FROM Ventes) 20

GROUP BY ROLLUP SELECT MONTH(SALES_DATE), REGION, SALES_MGR, SUM(SALES) FROM SALES WHERE YEAR(SALES_DATE) = 1996 GROUP BY ROLLUP (MONTH(SALES_DATE), REGION, SALES_MGR) MONTH REGION SALES_MANAGER SUM(SALES) April Central Chow 25000 April Central Smith 15000 April Central - 40000 April North - 15000 April North - 15000 April - - 55000 May Central Chow 25000 May Central - 25000 May North Smith 15000 May North - 15000 May - - 40000 - - - 95000 21

GROUP BY CUBE Partitionnement selon tous les sous-ensembles possibles de Grouping Sets SELECT #Client, #Produit, #Fournisseur, SUM(Montant) FROM Ventes GROUP BY CUBE (#Client, #Produit, #Fournisseur) est équivalent à SELECT #Client, #Produit, SUM(Montant) FROM Ventes GROUP BY GROUPING SETS ( (), -- total des ventes (#Client), -- total des ventes par Client (#Fournisseur), -- total des ventes par Forunisseur (#Produit), -- total des ventes par Produit (#Client, #Fournisseur) -- total des ventes par Client et par Fournisseur (#Client, #Produit), -- total des ventes par Client et par Produit (#Produit, #Fournisseur), -- total des ventes par Produit et par Fournisseur (#Client, #Produit, #Fournisseur) -- total des ventes par Client, Produit et Fournisseur ) 22

Fenêtre glissante But: cumul, moyenne, dérivation sur une fenêtre glissante du temps SELECT Sf.Region, Sf.Month, Sf.Sales, AVG (Sf.Sales) OVER ( PARTITION BY Sf.Region ORDER BY Sf.Month ASC ROWS 1 PRECEDING ) AS Moving_avg FROM SalesFact AS Sf ORDER BY Sf.Month ASC; Region Month Sales Moving_Avg Eastern Oct, 1994 27497 27497 Eastern Nov, 1994 24168 25832 Eastern Dec, 1994 27801 25984 Eastern Jan, 1995 25991 26896 Eastern Feb, 1995 25968 25979 Eastern Mar, 1995 23610 24789 Mid Atlantic Oct, 1994 7150 7150 Mid Atlantic Nov, 1994 7586 7368 Mid Atlantic Dec, 1994 6164 6875 Mid Atlantic Jan, 1995 6051 6108 Mid Atlantic Feb, 1995 4299 5175 Mid Atlantic Mar, 1995 6283 5291 23

Exercice : Best-profit Query D après Alberto Lerner and Dennis Shasha Find the best profit one could make by buying a stock and selling it later in the same day quote 20 18 16 14 12 10 8 6 4 2 0 15 19 16 17 15 price 15 19 16 17 15 13 5 8 7 13 11 14 10 5 2 5 13 5 8 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 time 7 13 11 14 10 5 2 5 24

Exercice : Best-profit Query D après Alberto Lerner and Dennis Shasha Find the best profit one could make by buying a stock and selling it later in the same day quote 20 18 16 14 12 10 8 6 4 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 price 15 19 16 17 15 13 5 8 7 13 11 14 10 5 2 5 mins(price)15 15 15 15 15 13 5 5 5 5 5 5 5 5 2 2 time 0 4 1 2 0 0 0 3 2 8 6 9 0 0 0 3 25

Solution : Best-profit Query D après Alberto Lerner and Dennis Shasha [SQL:1999] SELECT max(rdif) FROM (SELECT ID,tradeDate, price - min(price) OVER (PARTITION BY ID,tradeDate ORDER BY timestamp ROWS UNBOUNDED PRECEDING) AS rdif FROM Ticks ) AS t1 WHERE ID= S AND tradedate= 1/10/03' 26

MS MDX (Multidimensional Expression) Langage d expression OLAP pour MS SQL Server Exemples SELECT NON EMPTY {[Time].[1997], [Time].[1998]} ON COLUMNS, [Promotion Media].[Media Type].Members ON ROWS FROM Sales SELECT {[Measures].[Unit Sales]} ON COLUMNS, ORDER( EXCEPT( [Promotion Media].[Media Type].members, { [Promotion Media].[Media Type].[No Media]}),[Measures].[Unit Sales], DESC) ON ROWS FROM Sales 28

ADT Séries Temporelles (Time Series) Définition Suite de couple (Valeur, estampille de temps) Applications Finance (stock value), Santé (épidémiologie),... Type calendar,... Opérations Index par rapport au temps 31

ADT Séries Temporelles 32

ADT Séries Temporelles 33

Architecture des SGBD décisionnels Charge de travail et des infocentres Requêtes complexes (nombreuses jointures + agrégats) Très gros volumes de données Réponses SGBD Parallèles sur machines parallèles (SMP,Cluster, ) RAID et SAN (Storage Area Networks) Index Bitmaps, algorithme Placement sur disque (Partitionnement, ) 34

Aspects Systèmes Stockage Tables de fait Append only (RID Timekey) Ligne de fait clés et mesures de type de taille fixe enregistrement de taille fixe (accès aléatoire) Jointure en Etoiles Star Query Index Binaire (Bitmap) 35

Jointure en Etoile (Star Join) Exemple d entrepôt Temps time_key day_of_week month quarter year holiday_flag Agrégation SK= SK PK=PK FaitVente Produit Magasin Fait de Vente time_key product_key store_key dollars_sold units_sold dollars_cost Optimiseur d un SGBD classique 2 stratégies Produit product_key description brand category Magasin store_key store_name address floor_plan_type Agrégation PK=PK SK=SK FaitVente Magasin Produit 36

Jointure en Etoile (Star Join) Opérateur de jointure n-aire Star Join 1 source : la table de fait 1 à N sources : les tables de dimension FaitVente Agrégation SK=SK et PK=PK Produit Magasin 37

Index Binaire (Bitmap) Rappel sur les index B-Tree couple <Valeur Attribut, Pointeur d enregistrement> Index Fichier K Q R R 38

Index Binaire (Bitmap) Une chaîne de bits par valeur ou groupe de Valeur ou sur un prédicat (E)urope Index des Régions (A)sie (P)roche Orient Fichier Index des Couleurs Opérations logiques OR, AND, NOT E A Asie OR Europe j E v E b E r A r E b A j P b P 11101000 00010100 11111100 (r)ouge (b)leu E Not (R OR B) Jaune AND Europe 11101000 00010100 00000011 00011000 00100101 11101000 11000010 11000000 39

Optimisation des Index Binaires Compression doit permettre les comparaisons Hiérarchisation multi-niveau ratio entre niveaux (ex 1:32) Index R non hiérarchisé Index R hiérarchisé (ratio 1:2) (E)urope (A)sie (P)roche Orient N0 N1 N2 11101000 00010100 00000011 1 1 1 1 1 0 111010-- 12 bits stockés N0 N1 N2 1 1 0 1 1 0 --0101-- 10 bits stockés N0 N1 N2 0 1 - - 0 1 ------11 6 bits stockés 40

Index Bitmap Indexation de la table de fait sur les valeurs des tables de dimension associées Cardinalité faible des attributs de la dimension Tables de dimension à faible évolution Exemple CREATE BITMAP INDEX sales_region_ix ON sales(region); Jointure en étoile (Star query) 2 étapes : Sélection des faits et Sélection des dimensions index bitmap pour les faits Jointure en étoile Parallélisation balayages // dans les étapes 1 et 2 41

Index Bitmap Compression du bitmap Informix Online XPS, Oracle 8,... Indexation bitmap partielle Informix Online XPS Indexation bitmap de colonnes virtuelles Colonne calculée Vente.Profit = Vente.Prix_Vente - Produit.Prix_Conseillé Bibliographie "Star Query Processing in the Oracle7 Server," Oracle White Paper, March 1996. O'Neil, P. E., Graefe, G., "Multiple-table joins through bitmapped join indexes," SIGMOD Record, Vol. 24, No. 3, September 1995. 42

Performance des Index BitMap Pour les tables Append Only Éviter l OLTP (modification des attributs) Domaine de cardinalité faible faible nombre de valeurs différentes 43

Occupation des Index BitMap 1 000 000 tuples 5 000 000 tuples B+ Tree B+ Tree BitMap BitMap 44

Partionnement (Partitioning) de la base «Pas de DW sans partitionnement.» Partionnement Placement de tables multi disques / multi contrôleurs (RAID ou non) Partitionement composite Couplé avec d autres chemins d accès Exemple de partitionement composite classique Range sur le temps et Hash sur une autre dimension Remarque : Permet d'obsoleter les vieilles donnees (les partitions de plus d'1 an) et de beneficier des performances pour les join sur la dimension H Si partitionner, comment maintenir les index 46

Autres techniques Cache (de calcul) d agrégats Conserve et réutilise les tables temporaires issues de calculs d agrégat précédents Vue matérialisée (SNAPSHOT) Recalcul incrémental de la vue Pré-calcul d agrégat 47

Chargement de l entrepôt (i) Extract Transform Load Outils ETL (Extract Transform Load) Extracteurs à partir des bases de productions Transformateur Chargeur Tendance Au départ, outils vendus par des tiers Maintenant, integration au noyau HOLAP 48

Chargement de l entrepôt (ii) Extract Transform Load Extraction depuis les bases de production loader, external tables snapshot log, refresh trigger quelle fréquence d extraction Transformation des données extraites, transformer (table functions) nettoyer (data cleansing) valider (calcul de contraintes en parallèle, trigger). Chargement dans l entrepôt Muti table insert insert d'un flot de tuple dans plusieurs tables Upsert (Merge Update ou Insert) Merge SQL:2003 49

Merge SQL:2003 MERGE INTO INVENTORY AS INV USING (SELECT PARTNUM, DESCRIPTION, QUANTITY FROM SHIPMENT) AS SH ON (INV.PARTNUM = SH.PARTNUM) WHEN MATCHED THEN UPDATE SET QUANTITY = INV.QUANTITY + SH.QUANTITY WHEN NOT MATCHED THEN INSERT (PARTNUM, DESCRIPTION, QUANTITY) VALUES (SH.PARTNUM,SH.DESCRIPTION,SH.QUANTITY) 50

RAID Redundant Array of Inexpensive Disks Principe «Disque virtuel» : formé d un groupe de plusieurs disques Redondance, Performance (débit) Niveaux de fonctionnement des RAID Sans redondance Niveau 0 : Stripping Redondance répartition des blocs contigus d'un fichier entre les disques mais pas de redondance Niveau 1 : Disques Miroirs Niveau 5 : Contrôle réparti sur les disques du Groupe Niveau 0/1 ou «10» : Stripping sur des disques mirroirs Niveau 0/5 ou «50» : Stripping sur des groupes 5 Niveau 6 : Contrôle redondant Support plus d une panne par groupe 51

Balayage (scan) parallèle RAID 0 RAID 1 RAID 5 répartit les données sur plusieurs disques pour améliorer les performances. effectue des copies miroirs de disques pour survivre aux pannes. utilise la correction d erreur et la répartition des données pour fournir performance et sécurité de manière économique et efficace. La correction est basée sur la propriété du XOR ( ) : ( X Y ) Y = X A E I B F J RAID 0 disque D0 disque D1 disque D2 disque D3 disque D0 = mirroir D1 A E I C G K A B C D G J disque D1 =mirroir D0 C G K A E I A D E F H K RAID 1 RAID 5 disque D0 disque D1 disque D2 disque D3 C G K disque D2 =mirroir D3 B F J D H L B E G H I L D H L disque D3 =mirroir D2 D H L B F J C F I J K L 52

SAN (Storage Area Network) Réseau de stockage et d archivage haute performance Clusters de machines partageant des clusters de RAID 53

Standardisation Trop souvent propriétaire Standardisation du Référentiel Echec de AD/Cycle et Metadata Coalition OIM Open Information Model MS avec TI et Platinium Technology OLE for OLAP PLATO: Surcouche multidimensionnelle d SQL Server 54

Benchmarks (Banc de Performances) Mesurer les performances d un système (matériel / logiciel) sous une charge de travail caractérisant une application type d infocentre. Objectif comparer les produits entre eux (avec d acheter) dimensionner son système en fonction de ses besoins Les benchmarks DW du TPC http://www.tpc.org/ TPC-D : BD Décisionnelles (InfoCentre) Obsolète TPC Benchmark H (TPC-H) ad-hoc, decision support benchmark TPC Benchmark R (TPC-R) business reporting, decision support benchmark 55

TPC Benchmark TPC-H & TPC-R Benchmarks Orienté sur des requêtes décisionnelles (business report, decision support Définit une schéma de base Définit une charge de travail Mesures suite de requêtes ad-hoc (orienté business) et de modifications concurrentes TPC-H Composite Query-per-Hour Performance Metric (QphH@Size) TPC-R Composite Query-per-Hour Performance Metric (QphR@Size) Taille des bases SF (Scaling Factor)=1 (~1Go), 10, 30, 100, 300, 1,000, 3,000, 10,000 Remarque 56

Modèle de données du TPC-D H R 8 tables PART (P_) SF*200,000 PARTKEY PARTSUPP (PS_) SF*800,000 PARTKEY LINEITEM (L_) SF*6,000,000 ORDERKEY ORDERS (O_) SF*1,500,000 ORDERKEY NAME SUPPKEY PARTKEY CUSTKEY MFGR AVAILQTY SUPPKEY ORDERSTATUS BRAND SUPPLYCOST LINENUMBER TOTALPRICE TYPE COMMENT QUANTITY ORDERDATE SIZE CONTAINER RETAILPRICE COMMENT SUPPLIER (S_) SF*10,000 SUPPKEY NAME ADDRESS NATIONKEY PHONE ACCTBAL COMMENT CUSTOMER (C_) SF*150,000 CUSTKEY NAME ADDRESS NATIONKEY PHONE ACCTBAL MKTSEGMENT COMMENT NATION (N_) 25 NATIONKEY NAME REGIONKEY COMMENT EXTENDEDPRICE DISCOUNT TAX RETURNFLAG LINESTATUS SHIPDATE COMMITDATE RECEIPTDATE SHIPINSTRUCT SHIPMODE COMMENT REGION (R_) 5 REGIONKEY NAME COMMENT ORDER- PRIORITY CLERK SHIP- PRIORITY COMMENT D après TPC 57

Suite de Requêtes du TPC-H & R Pricing Summary Report Query (Q1) Minimum Cost Supplier Query (Q2) Shipping Priority Query (Q3) Order Priority Checking Query (Q4) Local Supplier Volume Query (Q5) Forecasting Revenue Change Query (Q6) Volume Shipping Query (Q7) National Market Share Query (Q8) Product Type Profit Measure Query (Q9) Returned Item Reporting Query (Q10) Important Stock Identification Query (Q11) Shipping Modes and Order Priority Query (Q12) Customer Distribution Query (Q13) Promotion Effect Query (Q14) Top Supplier Query (Q15) Parts/Supplier Relationship Query (Q16) Small-Quantity-Order Revenue Query (Q17) Large Volume Customer Query (Q18) Discounted Revenue Query (Q19) Potential Part Promotion Query (Q20) Suppliers Who Kept Orders Waiting Query (Q21) Global Sales Opportunity Query (Q22) New Sales Refresh Function (RF1) Old Sales Refresh Function (RF2) 58

Exemple de résultats Exercice : quelle configuration choisir pour un niveau de perf =20000 QphH TPC-H Results (01/2001)- Revision 1.X - 300GB Scale Factor Co mp any Syste m Qph H Price Perf.($/Qph H) Total Sys. Cost Cu rre ncy Da ta base Software Ope rating System CPU Type HP HP ProLiant DL585 Cluster 35141 48P 60 2106123 US $ Oracle 10g RAC with Partitioning Red Hat Enterprise Linux AMD AS Opteron 3 Model 848 2 FujSiemens PRIMEPOWER 2500 34493 156 5380411 Euros Oracle Database 10g Enterprise Sun Solaris Edition 9 Fujitsu SPARC64 V 1.3 G Fujitsu/ICL PRIMEPOWER 2500 34493 141 4861985 US $ Oracle Database 10g Enterprise Sun Solaris Edition 9 Fujitsu SPARC64 V 1.3 G IBM IBM eserver p5 570 with DB2 26156 UDB 53 1397456 US $ IBM DB2 UDB 8.2 IBM AIX 5L V5.3 IBM POWER5 1.9GHz IBM IBM eserver p655 with DB2 20221 UDB 69 1403446 US $ IBM DB2 UDB 8.1 IBM AIX 5L V5.2 IBM Power 4 1700 MHz Legend Ltd. Legend DeepComp 6800 Server 9951 1321 13145726 China Yuan Oracle (CNY) Database Renminbi 10g Enterprise Red Hat Linux Edition Advanced Intel Server Itanium2 v3 for 1.3GHz Itanium Unisys Unisys ES7000 Aries 420 Enterprise 9853 Server 68 669239 US $ Oracle Database 10g Enterprise Microsoft Windows Edition Server Intel 2003 Itanium2 Datacenter 1500MHz Editio Unisys Unisys ES7000 Aries 420 Enterprise 5199 Server 119 619308 US $ Microsoft SQL Server 2000 Microsoft Enterprise Windows Ed. Server 64-bit Intel 2003 Itanium2 Datacenter 1.5GHz Editio HP HP ProLiant DL760 G2 8P 3385 59 199475 US $ Microsoft SQL Server 2000 Microsoft Enterprise Windows Edition Server Intel 2003 Xeon Enterprise MP 2.8GHz Editio Sun SunFire V880 3247 56 183080 US $ Sybase IQ 12.5 Sun Solaris 10 Sun UltraSPARC III 1.2GH Sun SunFire V490 2959 52 155152 US $ Sybase IQ 12.5 Sun Solaris 10 Sun UltraSPARC IV 1050M 59

Offre du marché MicroSoft SQL Server BI http://www.microsoft.com/sql/solutions/bi/default.mspx IBM DB2 BI http://www-306.ibm.com/software/data/db2bi/ Oracle BI 10g http://www.oracle.com/technology/products/bi/index.html Informix (IBM maintenant) Teradata (NCR) http://www.ncr.com/en/solutions/data_warehousing/dataware.htm 60

Oracle 10g BI http://www.oracle.com/technology/products/bi/index.html BI = Business Intelligence Composants BI Discoverer Requêtage et analyse pour environnements relationnels et multidimensionnels Report Services Fonction de restitution Spreadsheet add-in Visualisation des analyses OLAP pour Excel BI Beans Composants JavaBeans pour le développement d applications décisionnelles personnalisées Warehouse Builder Atelier de développement pour paramétrer l extraction et les chaînes de transformation (GUI + PL/SQL) Origine Express, moteur multidimensionnel d Iri Software 61

MicroSoft SQL Server Composants SQL Server 2000 Analysis Services TODO 62

IBM DB2 Universal Database Data Warehouse Composants DB2 Alphablox rapid assembly and broad deployment of integrated analytics DB2 Universal Database Database Partitioning Feature large clustered server support DB2 Cube Views OLAP acceleration DB2 Intelligent Miner Modeling, Visualization, and Scoring powerful data mining and integration of mining into OLTP applications DB2 Office Connect Enterprise Web Edition Spreadsheet integration for the desktop DB2 Query Patroller rule-based predictive query monitoring and control DB2 Warehouse Manager Standard Edition enhanced extract/transform/load services supporting multiple Agents WebSphere Information Integrator Standard Edition provide native connectors for accessing data from Oracle databases, Teradata databases, Sybase databases, and Microsoft SQL server databases 63

Bibliographie - Livre Rob Mattison, Data Warehousing -Strategies, Technologies and Technics, IEEE Computer Society 1996, ISBN 0-07- 041034-8 Michael J. Corey, Michael Abbey, Ian Abramson and Ben Taub, «Oracle8 Data Warehousing», Ed Mc Graw Hill, ISBN: 0-07-882511-3, 686 pages Chris Date, «Introduction aux Bases de Données», 7ème édition, Chapitre 21. 64

Bibliographie - Articles Morfonios, K., Konakas, S., Ioannidis, Y., and Kotsis, N. 2007. ROLAP implementations of the data cube. ACM Comput. Surv. 39, 4 (Nov. 2007), 12. DOI= http://doi.acm.org/10.1145/1287620.1287623 CACM, «Industrial-Strength Data Warehousing» Vol. 41, No. 9 September,1998 http://www.acm.org/cacm/0998/0998toc.html Computer, Issue on «Data warehouses and decision support systems», Volume: 34 Issue: 12, Dec. 2001 Robert Armstrong: Seven Steps to Optimizing Data Warehouse Performance. IEEE Computer 34 (12): 76-79 (2001) SQL99 On-Line Analytical Processing (SQL/OLAP) ISO/IEC 9075-1/Amd1:2001 http://www.ansi.org 65

Bibliographie - Articles Tips OLAP de SQL Server Magazine http://www.sqlmag.com Intelligent Enterprise. http://www.intelligententerprise.com/info_centers/data_warehousing / Parts de marché des outils OLAP http://www.olapreport.com/market.htm 66