Organiser vos données - Big Data Patrick Millart Senior Sales Consultant
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle.
Big Data en Action DECISION ANALYSE ACQUISITION ORGANISATION Prendre de Meilleures Décisions en Utilisant Big Data
Big Data en Action DECISION ANALYSE ACQUISITION ORGANISATION Organiser et Répartir vos Big Data en utilisant une architecture massivement parallèle
Nouvelles sources de données
Utilisation des données Challenge Nouvelles sources Transformation Comprendre l activité en ligne d un site web Logs Web «Sessionization» Comprendre les causes de défaillance Prioriser les réponses aux clients Mesures de capteurs Medias Sociaux Identifier les exceptions, les tendances Analyse des sentiments
Architecture Hadoop Management/Monitoring Système de fichiers distribué MapReduce Paradigme de programmation Map/Reduce Traitement des données hautement scalable Hadoop Distributed File System (HDFS)
Exemple de traitement MapReduce SHUFFLE /SORT
Utilisation de Map/Reduce pour lire les données INPUT 1 OUTPUT 1 SHUFFLE /SORT SHUFFLE /SORT INPUT 2 SHUFFLE /SORT SHUFFLE /SORT SHUFFLE /SORT OUTPUT 2
Analyse des sentiments Conversion d un fichier Sentiment Semaine Fréquence Positif 17 3 Positif 18 5 Négatif 18 8
Analyse de la tendance hebdomadaire des sentiments Parcourir tous les fichiers Pour chaque fichier, une liste de sentiments ainsi que leur fréquence sont exprimés par semaine Parcourir la liste des mots avec leur occurrence Pour chaque nœud, une liste de sentiments ainsi que le nombre d occurrences exprimés par semaine Parcourir tous les noeuds Une liste des sentiments et leur fréquence sont exprimés par semaine pour l'ensemble du cluster
Oracle Loader pour Hadoop Utilise les ressources du cluster Big Data ORACLE LOADER POUR HADOOP SHUFFLE /SORT Dernière étape dans le workflow MapReduce Tables standards et partitionnées SHUFFLE /SORT Chargement direct ou en mode déconnecté
Oracle Direct Connector pour HDFS Accès direct depuis la base de données Oracle HDFS Oracle Database Table Externe Requête SQL SQL accès pour HDFS Table externe Oracle Requête SQL ou import Infini Band DCH DCH DCH HDFS Client
Compétences requises pour développer des traitements MapReduce Java Environnement Hadoop Algorithmes parallèles
Oracle Data Integrator - ODI Simplifier MapReduce Oracle Data Integrator Oracle Loader pour Hadoop Génère automatiquement le code MapReduce Gère le processus Charge les données dans votre Data Warehouse
Oracle Data Integrator - ODI Interface graphique Modélisation graphique des flux de bout en bout Utilisation de modules de connaissance (templates fournis) pour générer automatiquement le code MapReduce
Plate-forme Oracle Big Data Big Data Appliance Exadata Exalytics Oracle Big Data Connectors ACQUISITION ORGANISATION ANALYSE DECISION
Oracle Big Data Appliance Hardware: 216 intel cores, 864 GB RAM, 648 TB disk 40 Gb/s InfiniBand, inter-rack, node connectivity 10 Gb/s Ethernet, data center connectivity System Software: Oracle Linux, Oracle Java Hotspot VM Oracle NoSQL Database Community Edition Cloudera s Distribution including Apache Hadoop Oracle Big Data Connectors and ODI * Open-source R distribution
Organiser Big Data Organiser les données Big Data avec Hadoop Simplifier le développement Simplifier le déploiement Découvrir de la valeur par l analyse