La gestion de la performance de l entreprise avec Cognos sur System z Guy Delaporte Spécialiste Information Management

Transcription

1 La gestion de la performance de l entreprise avec Cognos sur System z Guy Delaporte Spécialiste Information Management 2009 IBM Corporation

2 AGENDA Introduction : Tendances Architecture COGNOS 8 BI pour LINUX sur système z La gestion des gros volumes de données dans DB2 z Infosphere Warehouse La maitrise des performances Les processeurs spécialisés ziip, IFL Conclusion

3 Business Intelligence: donner du sens à l information Transactions Warehouse Analysis Applications Legacy Systems Access & Transformation Processes Portals & Dashboards Financials Real-time Information Sources ETL Extraction Transformation Data Marts Manage Analysis Tools Access

4 Les 4 nouvelles tendances du datawarehouse selon le Gartner Group Alimentation des données au fil de l eau (near-real-time) Grand nombre de rapports standard et un nombre croissant d utilisateurs avec des requêtes spécifiques ( ad hoc query users ) Un niveau accru de fonctions analytiques et BI intégrées dans les applications Temps réel Besoins liés aux réglementations( Regulatory Compliance ) besoin d une solution de PRA Audit des données et des changements

5 Les raisons de choisir la plate forme z pour une nouvelle application décisionnelle Plus grande protection des données Données sécurisées (contre les risques d intrusion) BI opérationnel en temps réel Fournir des informations fraiches à vos utilisateurs Proximité des données décisionnelles et des applications temps réel Compression hardware des données Compression des tables dans DB2 (ratio moyen > 50 %) Disponibilité supérieure de la plate forme z Sysplex : meilleur taux de disponibilité 99,999 % PRA plus fiable qu avec multiplicité de serveurs hétérogènes TCO Processeurs spécialisé : IFL pour LINUX ziip pour DB2

6 Architecture du datawarehouse 2009 IBM Corporation

7 Le z dispose de toutes les briques logiciels d un datawarehouse InfoSphere Warehouse IBM Cognos 8 BI OLAP REPORTS WAREHOUSE InfoSphere MDM Server LEGACY SOURCES DATA INTEGRATION DATAMARTS REFERENCE DATA DB2 for z/os MASTER DATA ENTERPRISE CONTENT DATA InfoSphere Information Server FileNet Content Management

8 COGNOS 8 BI pour LINUX sur système z 2009 IBM Corporation

9 Les 3 Questions qui pilotent la Performance Comment nous portons-nous? Pourquoi? Que devrions nous faire?

10 Les 3 Questions qui pilotent la Performance FINANCE MARKETING R&D Comment nous Portons-nous? Pourquoi? VENTES Que devrions-nous faire? OPERATIONS SERVICE CLIENT RESSOURCES HUMAINES IT

11 How are we doing? Comment nous portons-nous? Tableaux de bord et Indicateurs Clefs de Suivi de la Performance

12 How are we doing? Comment nous portons nous? Pourquoi? Reporting et Analyse

13 How are we doing? Comment nous portons-nous? Pourquoi? Que devrions-nous faire? Prévision, Planification et Simulation

14 Architecture COGNOS 8 BI et Datawarehouse sur system z Member A OLTP Cognos 8 BI for LINUX On System z Member A DWH Query DB2 CONNECT CEC One ICF DB2 LUW Contentstore CP z/os IFL Linux on z DB2 z Data Warehouse DB2 LUW Cognos 8 BI Contentstore

15 La gestion des gros volumes de données dans DB2 z 2009 IBM Corporation

16 Taille maximum des tables au fil des versions de DB2

17 DB2 Version 8 : extension des limites Augmentation pour les Tablespaces Partitionnés: ƒtaille Maximum d'un Tablespace (pages de 32K): de 16 TB à 128 TB ƒnombre de partitions: de 254 à EB DBM1 Buffer pool EDM pool RID pool Sort pool Support du 64 bits ƒmémoire virtuelle: de 2 31 à 2 64 (2 GB à 16 ExaBytes) ƒau dessus des 2GB: Bufferpools, EDMPool, SortPool, RIDPool, verrous IRLM dictionnaires de compression 2 GB The bar Comp dict 0 16M - Line

18 Tablespaces Partitionnés: index DPSI DPSI = index secondaire physiquement partitionné ƒnombre de partitions du DPSI = nombre de partitions de la table ƒles clés de la partition 'n' du DPSI réfèrent seulement aux lignes de la partition 'n' de la table ƒexemple: Partition des données par mois Clustering par nom TS à l'intérieur de chaque partition de l'index DPSI Part 1 jan/a-z PI jan DPSI a-z Part 2 fev/a-z fev a-z ƒcreate INDEX PARTITIONED... Part 12 dec/a-z dec a-z

19

20 DB2 Version 8: améliorations SQL Tables de requêtes matérialisées (Materialized Query Tables ou MQT) ƒdites aussi Tables d agrégats ou Summary Tables ƒdeux types de MQT maintenue-par-le-système via ordre SQL REFRESH maintenue-par-l'utilisateur via triggers, mises à jours batch,.. ƒle DBA peut utiliser une MQT pour l'optimisation comme il utiliserait un index ƒl'optimiseur peut réécrire une requête soumise sur la table de base afin d'utiliser la MQT ƒla MQT peut être nommée directement dans l'ordre SQL ƒinformation pré-calculée Meilleures performances

21 transitem Location hierarchy (S) N : 1 N : 1 N : 1 Location hierarchy (S) N : 1 N : 1 N : 1 DB2 Version 8: améliorations SQL Tables de requêtes matérialisées (MQT): utilisation Q11,Q12,... Q21,Q22,... Compute Many Times Aggregation Aggregation Aggregation Join Join Sans les MQT Join Aggregation Aggregation Aggregation Join Join Join Avec les MQT Q11,Q12,... Q21,Q22,... Reuse Many Times MQT MQT Precompute Once Aggregation Aggregation Join Join prodline (s) prodline (s) year year pgroup (s) pgroup (s) acct (L) cust (L) acct (L) cust (L) trans (LL) trans (LL) (LLL) WarehouseDB transitem (LLL) WarehouseDB Meilleures performances pour requête décisionnelle

22 DB2 SQL z z/os V8 common LUW Linux, Unix & Windows V8.2 z c o m m o n Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT L U W Updateable UNION in Views, ORDER BY/FETCH FIRST in subselects & table expressions, GROUPING SETS, ROLLUP, CUBE, INSTEAD OF TRIGGER, EXCEPT, INTERSECT, 16 Builtin Functions, MERGE, Native SQL Procedure Language, SET CURRENT ISOLATION, BIGINT data type, file reference variables, SELECT FROM UPDATE, DELETE & MERGE, multi-site join

23 DB2 SQL z z/os V9 common LUW Linux, Unix & Windows V8.2 z c o m m o n L U W Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning, TRUNCATE, DECIMAL FLOAT, VARBINARY, optimistic locking, FETCH CONTINUE, ROLE, MERGE Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT, UPDATE, DELETE & MERGE, INSTEAD OF TRIGGER, Native SQL Procedure Language, BIGINT, file reference variables, XML, FETCH FIRST & ORDER BY in subselect and fullselect, caseless comparisons, INTERSECT, EXCEPT, not logged tables Updateable UNION in Views, GROUPING SETS, ROLLUP, CUBE, 16 Built-in Functions, SET CURRENT ISOLATION, multi-site join, MERGE

24 Infosphere Warehouse 2009 IBM Corporation

25 Vos nouvelles applications décisionnelles se réalisent simplement en quatre étapes 1. Modeliser vos données pour un accès OLAP en utilisant InfoSphere Warehouse Design Studio 2. Peupler votre schéma en étoile en utilisant des scripts InfoSphere Warehouse SQW 3. Construire une ou plusieurs structures de cubes en utilisant InfoSphere Warehouse Cubing Services 4. Accéder aux données avec Cognos ou Excel SQW z/os Linux for System z Excel 2 Requêtes MDX 4 1 Cubing Services 3 Cognos OLTP DB2 DWH DB2 L environnement du système z est amélioré avec InfoSphere Warehouse InfoSphere Warehouse Design Studio 25

26 Modélisation de données Concevoir et modifier des modèles physiques de données (design de schema de stockage; cubes, dimensions, hierarchies) Fonctionnalités: Créer un nouveau design de base de données Faire du Reverse engineering à partir d une base existante Créer des diagrammes Modifier graphiquement les schémas Comparer les objects DB entre eux Générer le DDL et le déployer Analyses d impact Modélisation physique DB2: Tablespace, Buffer Pools, Partitions

27 Transformation et mouvement de données au sein de la base de données Outil qui génère des instructions SQL, pour déplacer et transformer les données au sein de la base de données Facilité d utilisation, drag and drop pour la constitution rapide de warehouse Intégré avec les modèles de données physiques pour les tables sources et cibles Mouvement de données avec transformation (+ de 30 opérateurs SQL) Test et debug des mouvements de données Fabriquer des entrepôts construits dans un environnement homogène S appuyer sur les insfrastructures de base de données existantes S appuyer sur les compétences des DBAs, Intégration native pour le déploiement rapide d application de Business Intelligence Administration de base de données Préparation des données pour des tableaux de bords, Mining & OLAP

28 Cubing Services (OLAP) Cubing Services est un serveur d analyse multidimensionnelle qui permet l accès aux applications OLAP Benefices Utilise les interfaces OLAP standards pour une large variété d outils de présentation et de reporting (Cognos, Excel) Permet l accès jusqu à 1 TB de données OLAP IBM InfoSphere Warehouse

29 Data Warehouse and BI System z Solution OLTP data Data Warehouse DB2 for z/os InfoSphere Warehouse Cubing Services InfoSphere Warehouse SQW Cognos 8 BI for LINUX On System z Source Systems : DB2 IMS VSAM Transformation d information The Enterprise Data Warehouse Mettre à dispostion des applications BI d entreprises Combiner la fiabilité et la disponibilité de DB2 for z/os avec des applications à moindre coût sur Linux on systeme z

30 La maitrise des performances sur z 2009 IBM Corporation

31 Maitrise des performances Indépendance des partitions PR/SM WLM : attribution des ressources CPU et mémoire en fonction des objectifs fixés Cohabitation requêtes lourdes et légères RLF : garde-fou contre requêtes trop gourmandes DB2 Query Monitor Capture des requêtes pour tuning Aide au choix des bonnes tables d agrégats (MQT) Optimisation Expert : advisors pour index, queries, statistiques

32

33 Capture des requêtes SQL et de leurs consommations

34 Affichage, Export, Explain des requêtes SQL

35 Détails des acces et temps par objet DB2 dans une jointure

36

37 Les processeurs spécialisés IFL (LINUX) ziip (DB2 z) 2009 IBM Corporation

38

39

40 CP CP ziip

41

42 Big Green

43 Conclusion 2009 IBM Corporation

44 Points forts du Datawarehouse sur z Qualité de Service Disponibilité 24 h / 24 7 j / 7 Conformité aux règlementations et à la sécurité des données Scalabilité Backup and recovery PRA Plan de reprise d activité Concentration de serveurs Meilleur TCO ( Total Cost of Ownership) ziip et autres moteurs spécialisés améliorent le TCO ( Total Cost of Ownership) Données de production et ODS sur même plate forme signifie Moins de complexité Reduction de coût Mise en commun des process, tools, procedures compliance and sécurité rationalisée Meilleur utilisation des compétences et de l investissement sur System z Positioné pour le futur Web-based applications XML support