Safe Harbor Statement

Transcription

1

2 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 2

3 Exploiter et Visualiser vos données Big Data Olivia Faucheux Business Development Manager Pascal Guy Architecte Systèmes Lundi 30 mars 2015

4 Les cas d usage du Big Data AUTOMOTIVE Analyse sur localisation, et problemes COMMUNICATIONS Publicité Géolocalisation RETAIL / CPG Sentiment client Ciblage produit Marketing optimisé FINANCIAL SERVICES Risque et analyse portefeuille nouveaux produits EDUCATION & RESEARCH Analyse d experience HIGH TECHNOLOGY / INDUSTRIAL MFG. Mfg de qualité Analyse des garanties LIFE SCIENCES Essais cliniques Génomique MEDIA/ ENTERTAINMENT Analyse téléspectateur Cross Sell ON-LINE SERVICES / SOCIAL MEDIA Match :People & carrière Site Web optimisation SANTE Dossier patient, surveillance. Qualité des soins OIL & GAS Analyse de la sonde d'exploration Forage GAMES S adapter au comportement du joueur TRAVEL & TRANSPORTATION Analyse des capteurs pour étude des flux Sentiment client UTILITIES Analyse des compteurs LAW ENFORCEMENT & DEFENSE Analyse des menaces Surveillance des médias sociaux, Analyse photo

5 Produce Data Use Data

6 Production Data Comment pouvez-vous réduire le gap? Capturer et simplifier l accés à toutes les données Découvrir et prévoir rapidement Gouverner et Sécuriser la plateforme de données Usage Data

7 Data Liquidity DATA CAPITAL CHANGE THE BUSINESS RUN THE BUSINESS Oracle Confidential Internal/Restricted/Highly Restricted 7

8 Notre Mission Accélerer La Découverte La prédiction et La prise de décision BIG DATA ANALYTICS CAPITAL NUMERIQUE BIG DATA APPLICATIONS Passer à l action plus rapidement Simplifier l Accès à Toutes les données BIG DATA MANAGEMENT BIG DATA INTEGRATION Connecter et Gérer toutes les données Copyright 2014 Copyright Oracle and/or 2014 its Oracle affiliates. and/or All its rights affiliates. reserved. All rights Oracle reserved. Confidential 8

9 Performance

10 Efficacité Opérationnelle

11 Personnalisation

12 Increase state funding through better attendance Exalytics to increase efficiency in budget analysis 105% ROI in first four years; total benefits of $4.4m through 2015 Efficacité 12

13 Prévention du désabonnement Oracle Confidential Internal 13

14 Optimisation

15 SOURCE S BIG DATA MANAGEME NT BUSINESS ANALYTICS BIG DATA APPLICATIO NS Architecture Oracle Big Data BY INDUSTRY & z LINE OF BUSINESS DISCOVERY BUSINESS ANALYTICS DATA RESERVOIR DATA WAREHOUSE

16 Architecture Oracle Big Data DATA RESERVOIR DATA WAREHOUSE NoSQL Hadoop NoSQL Hadoop NoSQL Big Data Appliance Oracle Big Data Connectors Oracle Database Oracle Industry Models Oracle Database Oracle Advanced Analytics Oracle Spatial & Graph Exadata

17 Notre Mission BIG DATA ANALYTICS BIG DATA APPLICATIONS CAPITAL NUMERIQUE BIG DATA MANAGEMENT BIG DATA INTEGRATION Copyright 2014 Copyright Oracle and/or 2014 its Oracle affiliates. and/or All its rights affiliates. reserved. All rights Oracle reserved. Confidential 19

18 Oracle Big Data Analytics Big Data Analytics Discovery Business Analy. Mining Real Time Rules & Models Automation Goals 2 miles Arbitration

19 Oracle Big Data Analytics Big Data Analytics Discovery Business Anal. Mining Real Time Rules & Models Automation Goals 2 miles Arbitration Oracle R Data Reservoir Oracle Advanced Analytics (Data Mining + R ) Oracle Spatial & Graph Data Warehouse

20 Expérience client

21 UNSTRUCTURED STRUCTURED Recommandation Temps Réel CRM ERP Scoring Data Warehouse Rules & Models Automation Opt-in Offers personalization Goals Arbitration Real Time Decision Real-Time Personalization Product recommendation Service Process Optimization

22 Process Optimization Oracle Confidential Internal 24

23 Efficacité opérationnelle Oracle Confidential Internal 25

24 Découverte de données avec Oracle Endeca Information Discovery Fichiers Excel personnels Oracle BI Server Models Données d entreprise Cloud et Sociales Documents et Pages Web Ajouter de Nouvelles Données Intégrer des données diverses et variées, fichiers personnels, données d entreprises ou Web Poser de Nouvelles Questions Proposer, en standard, la recherche par mot-clef combinée avec la navigation guidée Découvrir de Nouvelles Tendances Les résultats de recherche organisent les données imparfaites, un enrichissement de texte expose automatiquement des thèmes cachés. De puissantes capacités de visualisation font ressortir de nouvelles tendances

25 Comment Analyser Rapidement le Big Data alors que Les données sont confuses Peu familières et très nombreuses Nécessitent d importantes manipulations Au potentiel de valeur peu évident Les outils sont complexes Outils techniques réservés aux seuls experts Les outils BI n ont pas été conçus pour Hadoop Les solutions émergentes manquent encore de couvertures fonctionnelles 80% des efforts sur l évaluation et la préparation des données Les experts sont rares et très spécialisés, les métiers se sentent dépendants 27

26 Une nouvelle approche est nécessaire sur la techno Hadoop Une interface utilisateur intuitive, interactive et visuelle pour... trouver explorer transformer découvrir partager Trouver et explorer pour comprendre le potentiel du Big Data Transformer et rapidement enrichir les données pour encore mieux les valoriser Démocratiser le Big Data à l ensemble des utilisateurs en partageant l ensemble du patrimoine informationnel 28

27 Oracle Big Data Discovery. The Visual Face of Hadoop trouver explorer transformer découvrir partager 29

28 Oracle Big Data Discovery. The Visual Face of Hadoop trouver explorer transformer Explorer tout le découvrir potentiel du partager Big Data 30

29 Trouver En utilisant un catalogue interactif de toutes les données d Hadoop Via une navigation guidée et une recherche simplifiée Visualisation agrégée et statistique des data set, leurs annotations et associations 31

30 Explorer Visualiser tous les attributs à plat et les trier par potentiel informationnel Observer les statistiques par attributs, leur qualité, leurs aberrations Combiner les attributs pour découvrir des corrélations 32

31 Oracle Big Data Discovery. The Visual Face of Hadoop Produire rapidement un Big Data pertinent et efficace trouver explorer transformer découvrir partager 33

32 Transformer Revaloriser les données de manière intuitive et visuelle Large librairie de fonctions de transformations et d enrichissements Fonctions de preview, undo, commit et replay des transformations. Test sur un échantillon avant l application sur toutes les données dans Hadoop 34

33 Oracle Big Data Discovery. The Visual Face of Hadoop trouver explorer transformer découvrir partager Libérer le potentiel Big Data pour tous les utilisateurs 35

34 Découvrir Enrichir les analyses avec des données locales ou d entreprise via le selfservice pour obtenir plus de perspectives Découvrir de nouvelles informations et corrélations grâce à d innovantes visualisations interactives Composer des tableaux de bord d analyse en simple drag and drop 36

35 Partager Partager projets, signets et snapshots avec une communauté d utilisateurs Composer des galeries analytiques qui adressent des problématiques métier Collaborer en équipe et lancer des itérations analytiques Publier les données combinées dans un nouveau data set Hadoop pour le mettre à disposition d autres outils 37

36 Big Data Discovery : à suivre sur YouTube Oracle Confidential Internal/Restricted/Highly Restricted 38

37 Notre Mission BIG DATA ANALYTICS BIG DATA APPLICATIONS CAPITAL NUMERIQUE BIG DATA MANAGEMENT BIG DATA INTEGRATION Copyright 2014 Copyright Oracle and/or 2014 its Oracle affiliates. and/or All its rights affiliates. reserved. All rights Oracle reserved. Confidential 39

38 Agenda Défis du Big Data Simplifier l Infrastructure Big Data Valoriser toutes les données Référence Airbus, Démo Bigdata Oracle Conclusion Oracle Confidential Internal/Restricted/Highly Restricted 40

39 Défis Du Big Data

40 Technologies Big Data Hadoop & NoSQL Grille de traitements distribués, Coût stockage optimisé Traitements distribués Java, Open Source Architecture Shared nothing Traitement exécuté près des données Gros volumes & Exécution Parallèle Clusters de serveurs (1000s noeuds), HA Hadoop /HDFS -> Batch No SQL -> Temps réel Ecosystème riche mais complexe PI G

41 Les DSI confrontées à de nouvelles complexités Innovations Oracle - Simplifier l IT Big Data Batir une ferme Hadoop /NoSQL performante? Déployer l infrastructure Big Data rapidement? Opérer, Administrer, Fiabiliser ces systèmes? ORACLE ENGINEERED SYSTEMS Intégrer le Big Data aux données d entreprises? Oracle Big Data Connectors & DIS

42 Comment valoriser rapidement les données Big Data Innovations Oracle - Simplifier l accés, la découverte et l analyse Préparer et Filtrer les données Big Data? Découvrir les anomalies au sein du Big Data? Analyser les tendances et corrélations Big Data? Oracle Big Data Discovery Programmer en Java Hadoop/No SQL? Unifier et Sécuriser l accés à toutes les données? Oracle Big Data SQL

43 Simplifier l infrastructure Big Data

44 Oracle Big Data Vue Conceptuelle Actionable Events Actionable Insights Actionable Information Structured Enterprise Data Input Events Event Engine Data Factory DATA RESERVOIR Enterprise Information Store Reporting (DAWAREHOUSE ) Other Data Execution Innovation Events & Data ANALYTICS LAB Discovery Output

45 Data Reservoir Big Data Big Data Appliance X5-2, plateforme pour Hadoop et No SQL 6 à 18 Serveurs Sun Oracle X5-2L, pour chaque serveur: 2 * 18 Core Intel Xeon E5 Processeurs Mémoire RAM: 128 GB Stockage Disque: 288 à 868 TB (18*12 disques SAS HC 4TB) Jusqu à 40 Gb/s de débit InfiniBand Logiciels intégrés (4.1): Oracle Linux 6.5, Oracle JDK 7u72 Oracle Big Data SQL 1.1 Distribution Cloudera Apache Hadoop 5.3 EDH Edition & Cloudera Manager 5.3 Distribution Oracle R , Oracle NoSQL Database Starter In-Rack Full Rack Expansion Rack

46 Still - Hadoop Can Be Confusing

47 What goes where? Projects typically come with services Typical services: NameNodes (x2) Zookeeper Quorum Journal Managers (x3) Hive Server2 Etc. Metadata in an RDBMS Etc. QJM? Zookeeper? DataNode TaskTracker NameNode? JobTracker? Hive Server

48 Oracle Big Data Appliance Run Any Software 21% Moins chère à l achat 30% Plus rapide à déployer

49 Data Reservoir Big Data temps réel Oracle NoSQL Database Bases de données distribuées temps réel (faible latence) Modèle de données Simple Paire Clé-Valeur (notion de clé majeur+mineur), mais aussi Tables Opérations trés rapides Lecture/Insertion/MiseAJour/Suppression APIs C & Java ( put, delete get, multiget ) Application NoSQLDB Driver Application NoSQLDB Driver Scalabilité, Haute disponibilité & Répartition de charge Partitionnement dynamique des données & distribution Ajout/Suppression des Noeuds à chaud Un ou plusieurs réplica(s), PRA, pas de SPOF Noeuds de Stockage Data Center A Forrester estimates the current adoption of NoSQL is at 20% and is likely to double by 2017 Noeuds de Stockage Data Center B

50 Big Data Connectors Intégration Optimisée du Big Data avec la base Oracle Oracle Loader for Hadoop Oracle SQL Connector for HDFS Oracle Data Integrator Application Adapter for Hadoop Oracle R Advanced Analytics for Hadoop (ORAAH) Oracle Xquery for Hadoop Oracle Golden Gate for Big Data Oracle Big Data Connectors Oracle Data Integrator Oracle Database Oracle Advanced Analytics Oracle Spatial & Graph Hadoop Acquire Organize Analyze Oracle Database

51 Big Data Appliance - Administration de bout en bout Serveurs, Réseaux & Logiciel Matériel & Logiciels Suivi des Performances Vue schématique du matériel et alertes Topologie Matérielle et Logicielle Gestion du Cluster Hadoop Suivi des performances systèmes sur tout le cluster Hadoop Visualiser l évolutions du stockage HDFS, de l activité MapReduce et de l utilisation des serveurs. Gestion consolidée des incidents

52 Oracle Big Data Management System ORACLE BIG DATA SQL DATA RESERVOIR DATA WAREHOUSE Cloudera Hadoop Oracle NoSQL Big Data Discovery Oracle R Advanced Analytics for Hadoop Oracle R Distribution Big Data Appliance Oracle Event Apache Processing Flume Oracle GoldenGate Oracle Big Data Connectors Oracle Data Integration Oracle Oracle Database Database Oracle In-Memory, Industry Multitenant Models Oracle Oracle Advanced Industry Analytics Models Oracle Oracle Spatial Advanced & Graph Analytics Oracle Spatial & Graph Exadata Oracle Data Oracle Oracle Event Integrator GoldenGate Processing SOURCES

53 Data Warehouse EXADATA in Memory Database Machine Le meilleur système pour les bases de données ORACLE Data Warehouse mais aussi OLTP et Consolidation Exadata Smart Scan Improve query performance by 10X Hybrid Columnar Compression Reduce the size of database storage requirements by up-to 3-5X Smart Flash Cache Improve query response times by 40% + Oracle Database 12c In-Memory + Oracle Database 12c Advanced Analytics

54 Valoriser toutes les données

55 Surmonter les obstacles de l'adoption des nouvelles techno INTEGRATION COMPETENCES SECURITE SQL Engineered Systems SQL sur TOUTES les données Sécuriser TOUTES les données Confidential 57

56 Governance et Sécurité Que peut apporter Oracle Droits d accès et Authentification Provisioning and Compliance Role-Based Access Data Redaction Data Encryption Data Warehouses Enterprise Application s Websites Surveys & Reviews 3rd party data Spreadsheet s Social Media Machine Data Big Data Authorization and Authentication Provisioning and Compliance Role-Based Access Data Redaction Data Encryption 58

57 Manager et Sécuriser toutes les données Hadoop, NoSQL & Relational A partir des fonctions existantes Authentification Kerberos Authentification Apache Sentry Auditing avec Oracle Audit Vault Encryption Data Encryption Réseau Big Data SQL adds Advanced Security on Hadoop & NoSQL Masking and Redaction Virtual Private Database Fine-grain Access Control Oracle Confidential Internal 59

58 Oracle R Advanced Analytics for Hadoop Pour les utilisateurs Statisticiens ou Data scientists Les capacités Analytiques de R et la puissance d Hadoop/HDFS MAP Oracle R Client MAP REDUCE MAP REDUCE MAP Hadoop HDFS Algorithmes R optimisés pour exécution en parallèle Linear Models and Logistic Models General feed-forward Neural Networks Regression Models, Matrix Factorization, K-Means Clustering PCA (Principal Component Analysis) Correlations Les traitements R utilisent MapReduce Les Calculs intensifs parallélisés accélèrent les Simulations

59 SQL universel s adapte aux données Big Data Hive Tajo Impala Presto Drill Spark SQL Hadapt CitusDB Cassandra Apache Phoenix HAWQ PolyBase MongoDB #BeyondBigData

60 Des données sous tous les angles NoSQL Pourquoi Oracle SQL Support de tout type de données du Big Data Structured data Numeric, string, date, Unstructured data LOBs, Text, XML, JSON, Spatial, Graph, Multimedia Et des fonctions analytiques enrichies Ranking, Windowing, LAG/LEAD, Aggregate, Statistical, Linear Regression, Correlations, Cross Tabs, Hypothesis Testing, Distribution Fitting, 6

61 Oracle Big Data SQL Requêtes SQL Massivement Parallèles sur Oracle, Hadoop et NoSQL SQL SQL Offload Query to Data Nodes data subset Small data subset quickly returned Offload Query to Exadata Storage Servers Hadoop & NoSQL Oracle Database 12c 6

62 Optimisation intelligente des requêtes Une même requête pour Oracle Database, Hadoop & NoSQL Interrogation des données dans SGBDR, Hadoop & NoSQL Rapide Parallélisme massif Oracle SQL Filtrée localement Mouvement des données Oracle NoSQL DB BDS Server Oracle NoSQL DB BDS Server HDFS Data Node BDS Server HDFS Data Node BDS Server Oracle Database Storage Server Oracle Database Storage Server minimisé Sécurisé Sécurité de la base relationnelle appliquée aux données Bi data HDFS/No SQL

63 SQL Oracle avancé pour toutes les données Oracle Advanced Analytics (Data Mining & Langage R) Puissant Combinaison d algorithmes data mining en base de données et d algorithmes open source R Accessible via SQL, PL/SQL, R Scalable, exécution parallèlisée en base de données Simple à utiliser Différents types d outils pour les utilisateurs métiers et les statisticiens ( data scientists ) Adapté à l Entreprise Fonctionnalité intégrée de la base de données Oracle Support naturel des applications Analytiques et des environments Décisionnels (BI) R

64 Oracle Big Data SQL - Une nouvelle architecture Pour rapprocher les données d Entreprise et le Big Data Puissance et hautes performances SQL sur Hadoop Toutes les capacités d Oracle SQL sur Hadoop (sécurité, analytiques ) Exécution locale sur les nœuds Hadoop, Smart Scan comme Exadata Intégration simple des données Hadoop et Oracle Un unique point d'entrée SQL pour accéder à toutes les données Jointures adaptables entre Hadoop et les données SGBDR Matériel optimisé Réseau Infiniband haut débit entre BDA (Hadoop/No SQL) et Exadata (Oracle) BIG DATA APPLIANCE EXADATA DATABASE MACHINE Oracle Confidential 6

65 Référence Airbus Démo Bigdata

66 Conclusion

67 Oracle Big Data, un accélérateur d innovation Solution unique et complète Pour valoriser toutes les données (Big Data + Entreprise) Pour tous les utilisateurs (Statisticiens, Métiers, Développeurs SQL) Réduit le risque des nouvelles technologies Simplifie la découverte & l analyse des données Solutions de Découvertes Innovantes (Big Data Discovery, Endeca) Toutes les sources de données Big Data ou non (Big Data SQL, Connectors) Simplifie l Infrastructure du Big Data Systèmes intégrés, spécialisés, prêts à l emploi, support unique Performance et Evolutivité natives, déploiements plus rapides

68 Liens utiles! Solutions Oracle Big Data Oracle Information Discovery Oracle Real Time Decision Oracle Big Data Appliance Oracle NoSQL Database Oracle Advanced Analytics Oracle Big Data Connectors Oracle Big Data SQL Oracle Event Processing Oracle Big Data Discovery

69 Oracle Confidential Internal 71

70 Oracle Confidential Internal/Restricted/Highly Restricted 72