Big Data : Quand l approche traditionnelle ne suffit plus à gérer les données

Transcription

1 Big Data : Quand l approche traditionnelle ne suffit plus à gérer les données

2 L information est au cœur des préoccupations de l entreprise x44 de données et contenus au cours de la prochaine décennie zettaoctets et les entreprises ont besoin d'informations fiables 1 sur 3 (parmi les dirigeants d'entreprise) prend fréquemment des décisions sur la base d'informations en lesquelles il n'a pas confiance, voire qu'il ne possède pas pétaoctets 80% des données mondiales sont des données non structurées 1 sur 2 83% (parmi les dirigeants d'entreprise) déclare qu'il n'a pas accès aux informations dont il a besoin dans le cadre de son activité (parmi les Directeurs Informatiques interrogés) ont cité la Business intelligence et les analyses comme faisant partie des plans visant à optimiser la compétitivité 60% (parmi les PDG interrogés) ont besoin de collecter et de comprendre les informations plus rapidement, afin d'accélérer leurs prises de décisions 2 2

3 Gérer les flux de données devient un véritable défi Des volumes de données énormes et en constante augmentation Des données provenant de sources multiples et de natures diverses Des besoins analytiques vitaux à fournir dans des délais impartis COLLECTE Collect e GESTION Gestion Intégrat ion INTEGRATION Analys ANALYSE e 3

4 Big Data = 3 V : Variété, Vélocité, Volume Variété Analyser la télémétrie, les consommations de carburant et les modèles météorologiques pour optimiser la logistique de transport. Vélocité Analyser des dossiers de 100k / seconde pour définir le degré de satisfaction des clients en temps réel Volume Optimiser les investissements pour traiter des volumes de données de 6 pétaoctets 4

5 Fusionner les approches traditionnelle et Big Data Approche traditionnelle Analyses structurées et répétables Approche Big Data Analyse itérative & exploratoire Utilisateurs métier déterminent quelle question poser IT Fournit une plateforme qui autorise la prospective IT structure les données pour répondre à la question Rapports de vente mensuels Analyse de profitabilité Sondages clients Métier Explore les questions qui pourraient être posées Ressenti sur la marque Stratégie Produits Utilisation maximale des actifs 5

6 Big Data : toutes sources, toutes natures, tous volumes Plate-forme Big Data Analyses multi canaux pour optimiser l'expérience des clients Dans les hôpitaux, détection des situations mettant en péril la vie des patients, à temps pour pouvoir intervenir Prédiction des schémas météorologiques permettant de planifier l'utilisation des éoliennes et d'optimiser les investissements correspondants Prise de décisions risquées sur la base de données transactionnelles en temps réel Identification de criminels, de réseaux et de menaces à partir d'éléments vidéo, audio et de données

7 Big Data doit savoir s intégrer à l architecture d entreprise Entrepôt de données Plate-forme Big Data Big Data devient une composante à part entière de l architecture IT ne peut pas être un silo supplémentaire doit être parfaitement intégré pour donner toute sa valeur doit être simple à déployer et intégrer Sources traditionnelles Nouvelles sources

8 La solution IBM Big Data : une plateforme complète et ouverte Data Warehouse Solutions Clients & Partenaires Solutions IBM Big Data Information Integration Environnements utilisateurs Big Data Développeurs Utilisateurs Administrateurs IBM Big Insights IBM Streams HBase Pig Lucene Database Content Analytics Business Analytics Marketing Composants Open Source Hadoop INTEGRATION AGENTS Moteurs d exploitation Big Data Master Data Mgmt Jaql Data Growth Management

9 Qu est-ce que IBM Streams? Enable user-developed applications that rapidly ingest, analyze, and correlate information as it arrives from thousands of real-time sources. Sub-millisecond response times allows businesses to react to events and trends as events are taking place. Highly scalable and agile infrastructure that can support a wide variety of both structured and unstructured data types. High availability via runtime restart and recovery services. Integration with enterprise class databases/warehouses: DB2, Informix, InfoSphere Warehouse, IBM Smart Analytics System, Netezza TwinFin, Microsoft SQLServer, MySQL, soliddb, and Oracle databases.

10 Qu est-ce que IBM BigInsights? Allows enterprises to store, analyze and explore massive volumes of relational and non-relational data (ex: text, audio, video, system logs). Built on the Apache Hadoop software framework, the open source technology for reliably managing large volumes of complex data. The BigInsights offering enhances this technology to meet enterprise requirements by adding administrative, workflow, provisioning, and security features, along with sophisticated analytical capabilities from IBM Research. Integration with enterprise class databases/warehouses : DB2, InfoSphere Warehouse, IBM Smart Analytics System and Netezza through IBM developed Jaql language.

11 Streams + Big Insights : une plateforme V 3 ready Outils nés de la recherche IBM - Spécifiques à l'analyse des données dans leurs format natif Texte Image & Vidéo Acoustique Financier Série chronologique Statistique Exploration des données Prospective Géospatial Mathématiques La spécificité IBM : investissements importants dans la recherche & outils conçus pour leur utilisation avec Big Data. 11

12 Big Data InfoSphere BigInsights on zenterprise (Future based on x-blades) Building an end-to-end BI environment on zenterprise FOUNDATION zenterprise InfoSphere Warehouse Cognos BI Structured Data Feeds UNIX Intel Dist Servers zbx DB2 Warehouse database InfoSphere Streams Un-Structured Data Feeds SPSS InfoServer IEDN DB2 for z/os Big Insight IBM Smart Analytics System for z Reduce complexity Improved Security Highly available, Single View of the Business Centralized data management Query/workload prioritization Strong InfoSphere BigInsights alignment BigInsights on zbx for Small to Medium Scale (<500 Data Nodes) per zenterprise Ensemble Node 12

13 The best of both worlds: Netezza and System z IBM DB2 Analytics Accelerator V2.1 (IDAA, formerly IBM Smart Analytics Optimizer) What is it? The IBM DB2 Analytics Accelerator is a workload optimized, appliance add-on, that enables the integration of business insights into operational processes to drive winning strategies. It accelerates queries, with unprecedented response times. Announced October 12th Unmatched BI capabilities for System z Dramatically improve price/performance for analytic workloads Faster and more predictable response time No changes in application logic or SQL Self-managed workloads: queries are executed in the most efficient location Highly secure and reliable environment for sensitive data analysis Enables true Operational BI for our Clients zenterprise (z196 or z114) with DB2 V9 or V10 IDAA With Netezza technology: Superior Netezza price/performance Simplified administration: appliance hands-free operations, eliminating most DB tuning tasks Increase applicability with greater off-load of data types, query types and larger data Support concurrent query execution Sysplex support

14 pour tous les secteurs d activité Systèmes d'analyse Gestion sécurité incendie Gestion de l'eau Transports Gestion intelligente du trafic Industrie Contrôle de process pour la fabrication de micropuces Sciences de la santé et de la vie Surveillance des cas néonatals en soins intensifs Système de veille épidémiologique Télésurveillance des soins de santé Téléphonie Traitement CDR Analyse sociale Prévision de rotation de la clientèle Géolocalisation Bourses des valeurs Effets des phénomènes climatiques sur les cotations Analyser les informations sur le marché à flux ultra-lents Application des lois, Défense & cyber-sécurité Surveillance multimodes en temps réel Sensibilisation aux situations Détection par cyber-sécurité Prévention de la fraude Détection de la fraude ayant plusieurs origines Prévention de la fraude en temps réel e-science Prévisions météorologiques Détection d'évènements transitoires Recherches au synchrotron Divers Réseau intelligent Analyse textuelle Qui parle à qui? ERP pour produits de base Accélération du réseau FPGA

15 Illustration : Comment une entreprise du secteur éolien peut optimiser ses investissements sur la base de 6 pétaoctets de données Modélisation des informations météorologiques en vue de l'optimisation de la mise en place des éoliennes, maximisation de la génération d'électricité et de la longévité Création de modèles de prévisions et de fonctionnement en temps réel des unités de génération d'électricité Intégration de 6 Po de flux d'informations structurés et semi-structurés 15

16 Illustration : Comment une compagnie d assurance peut tirer parti de Big Data? 5 Opportunités Données Structurées/Non Structurées Etre à l écoute des clients Que disent les clients et le marché Optimiser les opérations internes Sur la base de sondages, retours des centres d appels, documents projets,etc. Analytique prédictif Déceler les activités suspectes, les contentieux imminents et automatiser les alertes Veille et Intelligence concurrentielle Tirer partie de l information disponible sur le web Recherches par couches Chercher et organiser les documents par centres d intérêts et significations 16 Quelle doit être notre prochaine meilleure offre?

17 IOD : The IDAA advantage Reto Esterman, Director It, It, Swiss Re Faster response times for reports - which means users can act on results much sooner IDAA uses the standard DB2 for z/os interface so there is no change to our existing applications IDAA implementation does NOT increase the workload of the DBA, no additional tuning or administration required The IDAA breakthrough technology allows us to free up MIPS that we can use for future growth Accelerating decisions to the speed of business

18 IBM Watson IBM Watson est une véritable innovation analytique, mais son succès est uniquement du à la qualité de l information avec laquelle il travaille.