IM01P2: Le Big Data pour enrichir, complémenter et travailler en. Corinne BARAGOIN

Transcription

1 #solconnect13

2 IM01P2: Le Big Data pour enrichir, complémenter et travailler en synergie avec vos Warehouses Corinne BARAGOIN 2

3 Le succès du Big Data est lié au fait que la technologie rend possible l analyse de TOUTES les données CE QUI CHANGE: Créer de la valeur à partir de données sous-utilisées pour décider et agir avec agilité Nouvelles sources Nouvelles technologies Analyses temps réel Environnement compétitif Valeur/Monétisation donnée Website Social Media Billing ERP CRM Capteurs Network Switches 3

4 De nouvelles opportunités s ouvrent au delà des sources traditionnelles de l entreprise Transactional & Application Data Machine Data Social Data Enterprise Content Volume Données structurées Débit Vélocité/Faible latence Semi-structurées Ingestion Variété Non Structurées Véracité Variété Non Structurées Volume 4

5 Domaines majeurs d application du Big Data Exploration Big Data Chercher, visualiser et comprendre les données Big Data pour améliorer sa connaissance Vue 360 o améliorée Développer une véritable vision unifiée, intégrant des sources internes et externes Extension des systèmes de sécurité Détecter les fraudes et les risques en temps réel Analyse opérationnelle Analyser les données venant des machines pour améliorer les résultats et prévenir en temps réel Extension de Data Warehouse Intégrer le big data et les capacités des data warehouse pour augmenter leur efficacité 5

6 Extension de Data Warehouse: les besoins Intégrer le big data et les capacités des data warehouse pour augmenter leur efficacité opérationnelle Besoin de variété de données Données structurées, non structurées, en Streaming nécessaires à des analyses plus avancées Besoin de faible latence (heures- et non pas semaines ou mois) Accès à l ensemble des données Optimiser l infrastructure du DW Optimiser les coûts de stockage et de maintenance en migrant les données rarement utilisées sur Hadoop Reduire les coûts de stockage au travers du traitement optimisé des données de type Streaming Améliorer la performance des DW en déterminant les données les plus appropriées à stocker sur le DW 6

7 Un exemple Constant Contact a transformé l efficacité de ses campagnes marketing par Besoin Analyser 35 milliards d s annuels (opens, clicks ) afin de mieux guider leurs clients sur les meilleures dates et périodes pour envoyer les s pour un taux de réponse maximum. Bénéfices Our work analyzing delivery times has already given our customers a 15-25% lift in their campaign performance and that means more customers in their doors and increased revenue. Jesse Harriott, Chief Analytics Officer Grâce à la mise en œuvre d InfoSphere BigInsights pour l analyse des s, en complément d une solution Pure Data for Analytics et Cognos BI: 15-25% d augmentation des réponses client dans les campagnes marketing par Performances améliorée par un facteur de 40 Temps d analyse réduit d heures en secondes 7 7

8 Extension de Data Warehouse Enjeux Métiers Prendre des décisions plus rapidement Offrir plus de services à ses clients voire une meilleure QoS Affiner et rendre plus pertinente la prise de décision par : L enrichissement des données du Data Warehouse Des analyses plus complexes et des modèles plus riches sans contraintes La prise en compte de toute information utile à mon métier quelle qu elle soit, où qu elle soit Enjeux Techniques Intégrer de nouvelles technologies et faire évoluer son architecture de données Historiser les données dans un environnement dédié à bas coût Intégrer de nouvelles sources de données non forcément structurées et mise en qualité Analyser, agréger et corréler d importants volumes de données structurées ou non-structurées, historisés ou en temps réel Explorer / fédérer toute information et en offrir une vue unifiée Messages clés Étendre le Data Warehouse pour être en capacité de traiter toutes les informations et de prendre les meilleures décisions Diminuer le coût du Data Warehouse 8

9 Des approches différentes Approche traditionnelle Analyses structurées et répétables Métier détermine quelle question poser Approche Big Data Analyse itérative & exploratoire IT fournit une plateforme qui autorise la prospective IT structure les données pour répondre à la question Rapports de vente mensuels Analyse de profitabilité Sondages clients Métier explore les questions qui pourraient être posées Ressenti sur la marque Stratégie Produits Utilisation maximale des actifs 9

10 Exemple d architecture traditionnelle Staging EDW Marts Operational Business Intelligence Sources Information Integration Reporting & Performance Management Modeling, Analytics & Simulation Decision Support Data Governance & Security Master Data Management Metadata Repository Data Management 10

11 et ses limitations Données limitées Latence Limitations métier Sources Essentiellement mouvement de données en batch Seulement données structurées Information Integration Staging Historique de données limité Seules données structurés intégrées EDW Marts Granularité limitée Coût du changement pour satisfaire les nouvelles demandes métier Coût pour maintenir niveau de performance, Inclut des données structurées uniquement Métriques disponibles après Operational long délai Manque Business de confiance sur les Intelligence données Decision Support Manque de transparence vis à vis règlementation Reporting & Difficile Performance à s adapter aux nouvelles Management exigences règlementaires Manque de pertinence des Modeling, analyses Difficile Analytics de rapprocher & toute Simulation l information Data Governance & Security Données Master Data limitées Management MDM Metadata Repository Manque de transparence de la donnée (de bout en bout) Information non pertinente/ de faible qualité Data Management Souvent maintenue manuellement 11 11

12 Architecture logique Big Data Sources Techniques Device Logs Données Traditionnelles Données Externes Ingestion and Real-time Analytic Zone Ingest Filter, Transform Extract, Annotate Correlate, Classify Landing & Historical Analytic Zone Analytics MapReduce Hive/HBase Col Stores Indexes, facets Data Sinks Warehousing Zone Data Warehouse Analytics Appliance Data Marts Analytics and Reporting Zone Query Engines Cubes Descriptive, Predictive Models Discovery, Visualizer Search BI / Reporting Exploration / Visualization Functional App Industry App Predictive Analytics Content Analytics Analytic Applications Ingest Documents In Variety of Formats Models Data Management Governance & Integration Zone MDM, Metadata, Workbench, Intégration 12

13 Composants d une architecture Big Data Sources Techniques Device Logs Données Traditionnelles Données Externes Ingestion and Real-time Analytic Zone InfoSphere Streams Landing & Historical Analytic Zone BigInsights On Hadoop Warehousing Zone Data Warehouse PureData Analytics and Reporting Zone Query Engines Cubes Descriptive, Predictive Models Data Explorer Widgets Discovery, Visualizer Search BI / Reporting Exploration / Visualization Functional App Industry App Predictive Analytics Content Analytics Analytic Applications Governance & Integration Zone MDM, Information Server Data Management 13

14 Différentes technologies: le cercle vertueux Web, réseau sociaux Flux en temps-réel : Analyse de la donnée en mouvement InfoSphere Streams Acquisition des données Analyse, corrélation Action, décision Capteurs InfoSphere BigInsights Modélisation Stockage données structurées et non-structurées Modèles d analyse 14 Data-at-rest analysis (basée sur Hadoop) Data Warehouse InfoSphere Data Explorer 14

15 Extension de Data Warehouse : 3 exemples Pre-Processing Hub Query-able Archive Exploratory analysis Streams Real-time processing Data Explorer BigInsights Landing zone for all data BigInsights Information Integration Data Explorer Find and view All data Can combine with unstructured information BigInsights Streams Offload analytics for microsecond latency Data Warehouse Data Warehouse Data Warehouse 15

16 La plate-forme IBM Big Data Découvrir, comprendre, rechercher et naviguer dans les sources de données Big Data InfoSphere Data Explorer Analyser des petabytes de données multistructurées à bas coût InfoSphere BigInsights --la version plus d Hadoop pour le déploiement et l intégration en entreprise InfoSphere Suite -- intégrer, sécuriser, masteriser protéger et archiver Big Data Solutions Analytics and Decision Management Visualization & Discovery BigInsights (Hadoop) IBM Big Data Platform Application Development Accelerators Streams Governance Big Data Infrastructure Systems Management Data Warehouse Traiter les flux de données, les analyser en temps réel InfoSphere Streams pour l analyse en continu de flux de données avec des temps de réponse de l ordre de la sousmilliseconde Délivrer de manière optimisée de l analyse avancée PureData System système expert intégré (analyses simplifiées et plus rapides) Accélérateur DB2 BLU in memory database accelerator 16

17 Extension de Data Warehouse: BigInsights apporte plus de fonctionnalités que l Open Source Hadoop Enterprise capabilities InfoSphere BigInsights Visualization & Exploration Development Tools Advanced Engines Connectors Workload Optimization Inclus dans BigInsights Enterprise Edition: Real-time Analytics InfoSphere Streams* Indexing & Exploration InfoSphere Data Explorer* Bi Reporting Cognos BI Server* Streams Data Explorer Cognos BI Administration & Security Accelerateurs Open source based components IBM tested & supported open source components *Limited use license bundles 17

18 InfoSphere BigInsights: déclinaisons Enterprise class Quick Start Edition Coming with BigInsihts 2.1 Free download for Non-Production Apache Hadoop Basic Edition Free download - Web-based mgmt console - Jaql - Integrated install Enterprise Edition Sold by # of terabytes managed PureData for Hadoop - Appliance simplicity for the enterprise - Accelerators - Performance Optimization - Visualization Capabilities - Pre-built applications - Text analytics - Spreadsheet-style tool - RDBMS, warehouse connectivity - Administrative tools, security - Eclipse development tools - Enterprise Integration.... Pre-announced Deploy 8x Faster Single system console Rapid maintenance updates HA Breadth of capabilities IBM Corporation

19 Accès SQL pour Hadoop: Pourquoi? L extension du DW est un cas d usage majeur pour Hadoop 1 Pre-Processing Hub 2 Query-able Archive 3 Exploratory Analysis Streams Real-time processing BigInsights Landing zone for all data BigInsights Information Integration Can combine with unstructured information Hadoop souvent perçu comme complexe: Data Warehouse Data Warehouse Data Warehouse L API Java MapReduce nécessite une expertise en programmation Langages non familiers (ex Pig) nécessites des compétences spécifiques Le support BigSQL de Biginsights ouvre les données à une plus large audience Syntaxe familière, largement connue Catalogue commun pour identifier données et structures IBM Corporation

20 IBM BigInsights et sa fonction BigSQL Standard SQL syntax and data types Joins, unions, aggregates... VARCHAR, decimal, TIMESTAMP,... JDBC/ODBC drivers... Optimization MapReduce parallelism or Local access for low-latency queries Varied storage mechanisms appropriate for Hadoop ecosystem Integration Eclipse tools DB2, Netezza, Teradata (via LOAD) Cognos Business Intelligence,,, IBM Corporation

21 Comment engager un projet Big Data 21

22 Quelques liens utiles: watch?v=rcxsj-5wjmq atch?v=o8qokzzwble

23 Tak Danois Obrigado Brésilien portuguais Thank You Anglais Hindi Grazie Italien Arabe Japonais Coréen Russe Merci Chinois traditionnel Français Dankon Esperanto go raibh maith agat Gaélique Tamil Gracias Espagnol Hébreu Tack så mycket Suédois Chinois Dank u Hollandais Trugarez Breton Danke Allemand Thaï Dekujeme Vam Tchèque