Catherine Chochoy. Alain Maneville. I/T Specialist, IBM Information Management on System z, Software Group

Dimension: px

Commencer à balayer dès la page:

Download "Catherine Chochoy. Alain Maneville. I/T Specialist, IBM Information Management on System z, Software Group"

Marie-Rose Corriveau
il y a 10 ans
Total affichages :

1 1

2 Catherine Chochoy I/T Specialist, IBM Information Management on System z, Software Group Alain Maneville Executive I/T specialist, zchampion, IBM Systems and Technology Group 2

3 Le défi du Big Data (et le z Catherine Chochoy I/T Specialist, IBM Information Management on System z, Software Group Alain Maneville Executive I/T specialist, zchampion, IBM Systems and Technology Group 3

4 SGBDs Traditionnels Big Data / Map-Reduce / NoSQL Systems Echelle de Données Typique Gigabytes / Terabytes Petabytes / Exabytes Type d Accès OLTP et Batch Batch Lecture? Mise à jour? Lecture et Ecriture fréquentes Ecrite une fois, Lue de nombreuses fois Structure / Schema des données Schema Fixe Schema Flexible ou sans Schema Cohérence, Intégrité Transactionnelle Transactionnel, ACID Cohérence Finale Capacité de Croissance (Scaling) Non linéaire Linéaire 4

Lecture et Ecriture fréquentes Ecrite une fois, Lue de nombreuses fois Structure / Schema des données Schema Fixe

5 Le paysage du Big Data Data in Motion Streams Information Ingestion and Operational Information Stream Processing Data Integration Master Data Real-time Analytics Video/Audio Network/Sensor Entity Analytics Predictive Landing Area, Analytics Zone and Archive Exploration, Integrated Warehouse, and Mart Zones Discovery Deep Reflection Operational Predictive Intelligence Analysis BI and Predictive Analytics Data at Rest Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine Learning Navigation and Discovery Data in Many Forms Information Governance, Security and Business Continuity

and Mart Zones Discovery Deep Reflection Operational Predictive Intelligence Analysis BI and Predictive Analytics Data at Rest Raw Data Structured Data

6 Le zenterprise) sur ce paysage Data in Motion Data at Rest Data in Many Forms Information Ingestion and Operational Information IMS DB2 z/os Streams Stream Processing Data Integration Master Data DataStage Real-time Analytics Video/Audio Network/Sensor Entity Analytics Predictive Streams Landing Area, Analytics Zone and Archive Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine Learning Exploration, Integrated Warehouse, and Mart Zones Discovery Deep Reflection Operational Predictive Information Governance, Security and Business Continuity Information Server zdoop BigInsights Guardium DB2 z/os DB2 Analytics Accelerator Intelligence Analysis BI and Predictive Analytics Navigation and Discovery Cognos SPSS DataExplorer

Data Mining Entity Analytics Machine Learning Exploration, Integrated Warehouse, and Mart Zones Discovery Deep Reflection Operational Predictive Information Governance, Security and

7 Amener l analyse aux données )et non l inverse Extract, Transform & Load (ETL) 1TB ETL par jour, Les coûts de copie initiale plus 3 dérivées >$8 millions sur 4 ans (*) Applications Operationnelles Transfert de données Applications Analytiques Le plus grand bénéfice est obtenu quand l analyse est faite au plus près des données d origine 72% des interrogés (**) planifient d analyser les données transactionnelles issues des applications de l enterprise Environnements transactionnel <> analytique Multiple copies de données Consommation signficative de puissance de calcul 80% des données des grandes sociétés résident et sont générées par les mainframes * Source: enquête interne CPO. Assume dist. send and load is same cost as receive and load.. Also, assume 2 switches and 2 T3 WAN connections. ** Gartner research note Sept Survey Analysis -Big Data Adoption in 2013 Shows Substance Behind the Hype

transactionnelles issues des applications de l enterprise Environnements transactionnel <> analytique Multiple copies de données Consommation signficative de puissance de calcul 80% des données des

8 zentreprise HyTAP Transactionnel et Analytique optimisés Tout est en ligne les analyses sont à la bonne place Transactions OLTP Analyses Operationnelles Données en Temps Réel DB2 Native Processing Haute concurrence Reporting Standards OLAP Requêtes Complexes Requêtes sur Historique 8 IBM DB2 Analytics Accelerator Analyses Avancées* IBM PureData System for Hadoop Intégrer Accélération native z ou contrôlée depuis le z: Larges caches, memoire, flash Technologie IDAA : FPGA, compresssion/traitement SQL Connectivité haute performance IBM Big Data Platform Visualization & Discovery Application Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance

Hadoop Intégrer Accélération native z ou contrôlée depuis le z: Larges caches, memoire, flash Technologie IDAA : FPGA, compresssion/traitement SQL Connectivité haute performance

9 V11 V11 Analytique DB2 sur z avec Big Data DB2 fournit les connecteurs et les capacités d une Database pour permettre aux applications DB2 d accéder facilement et efficacement aux données dans Hadoop New user-defined functions New generic table UDF capability IBM Big Insights JAQL 9 { }

accéder facilement et efficacement aux données dans Hadoop New

10 Machine Data Analytics Accelerator Custom Applications Shrink Wrap Solutions IT use cases: Server, performance, troubleshooting Health Care Networking Insurance Telco x2020 Unity MDA Accelerator IBM Big Data Platform Business use cases: Click stream and transaction analysis Optimize production, advanced planning Tools Client Specific Customizations, Visualization tools ( zinsights ) Specific Domain Telco Financial services Retail Healthcare Generic Parsers and Extractors Federated Discovery, Pattern (applications, services, Discovery, Search, Visualization Tools servers and devices ) for root cause analysis IMS intends to provide Hadoop System Information Integration & Governance Stream Computing Data Warehouse IBM Big Data Platform Visualization & Discovery Application Development Accelerators Systems Management Hadoop System Stream Computing Data Warehouse Information Integration & Governance

Domain Telco Financial services Retail Healthcare Generic Parsers and Extractors Federated Discovery, Pattern (applications, services, Discovery, Search, Visualization Tools servers and devices ) for

11 IBM Capacity Management Analytics Utilisation optimale et rentable de zenterprise : aujourd'hui, demain et au-delà Suivi, mesure et prédiction de la capacité et de l utilisation du zenterprise Meilleure visibilitésur l utilisation de la capacitéavec un ensemble prédéfini de rapports interactifs Reporting Engine Cerner les enjeux ou les problèmes potentiels avant qu ils n affectent l expérience utilisateur TDSz Data Warehouse Tendance : Comparer en temps réel l utilisation effective et les prévisions: Identifier rapidement et corriger les anomalies et prévoir les besoins futurs Predictive Engine

Reporting Engine Cerner les enjeux ou les problèmes potentiels avant qu ils n affectent l expérience utilisateur TDSz Data Warehouse Tendance :

12 Big data + zenterprise = Big impact z Enterprise hybride hub pour l analyse capacitéàintégrer les données prêt pour le futur Business Critical Analytics Data Warehousing Data Transformation Improved business performance out Transactions in Business System / OLTP Minimiser les délais, améliorer les performances, conduire l innovation

Warehousing Data Transformation Improved business performance out Transactions in

Documents pareils

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence

L offre décisionnel IBM. Patrick COOLS Spécialiste Business Intelligence L offre décisionnel IBM Patrick COOLS Spécialiste Business Intelligence Le marché du Business Intelligence L enjeux actuel des entreprises : devenir plus «agiles» Elargir les marchés tout en maintenant