Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Transcription

1 Acquisition des données - Big Data Dario VEGA Senior Sales Consultant

2 The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle.

3 Big Data En Action DECISION ANALYSE ACQUISITION ORGANISATION Prendre de Meilleures Décisions en Utilisant Big Data

4 Big Data En Action DECISION ACQUISITION Acquisition de toutes vos données ANALYSE ORGANISATION

5 In-Database Analytics Architecture SI approche traditionnelle Données: Référentielles Master Batch & Transaction Intégration Data Warehouse Applications Analytiques Documents Content DB OLTP Acquisition Organisation Analyse Décision

6 Big Data Cas d étude Challenge Nouvelles Données Que peut-on faire? Santé Visites medicales coûteuses Manufacturing Support Location-Based Services Basé sur le code postal Retail Marketing ciblé Utilities Gestion Réseaux de Distribution Suivi à distance Capteurs embarqués Données localisation en temps réel Social media Compteurs intelligents Soins préventifs, réduction des hospitalisations Diagnostic automatisé, support Publicité ciblée, trafic Analyse de sentiments, segmentation Réduire le coût

7 Architecture SI approche Big Data Batch Temps Réel Traiter des données Accès rapide à un volume important de données Chargement/Lecture massif Pas de mise à jour Fournir un service Accès rapide à un enregistrement Lecture, écriture, mise à jour

8 Architecture SI approche Big Data File System distribué Data Store Key Value Map Reduce Environnement Travail Data Warehouse Applications Analytiques Acquisition Organisation Analyse Décision VARIETE VOLUME VITESSE VALEUR

9 Acquisition des données - Big Data HDFS Oracle NoSQL Database Oracle Database ACQUISITION

10 Architecture Hadoop Management/Monitoring Hadoop MapReduce Hadoop Distributed File System (HDFS) Système fichiers distribués Paradigme de programmation Map/Reduce Traitement des données hautement scalable

11 Présentation de HDFS Distribution des données dans tout le Cluster Gestion automatique de plusieurs copies - redondance Ajout des nœuds au fur et à mesure des besoins

12 Caractéristiques de HDFS Intégration complète avec les produits Oracle (ODI, OLH, R for Hadoop, ODC for HDFS) Fonctionnalités Scalabilité et Disponibilité Administration Modèle Simplifié Optimisé pour le streaming Optimisé pour les gros fichiers Division et distribution d un fichier sur l ensemble du cluster Driver Intelligent Distribue la charge sur tous les nœuds Réplication et gestion automatique des pannes Facilité à étendre Console WEB et commandes shell-like Administration et monitoring Topologie Charge Performance Evènements Alertes

13 Delete Read Update Read Architecture Oracle NoSQL Application Application Modèle très simplifié NoSQL Driver NoSQL Driver Scalable Haute disponibilité Répartition de charge transparente Nœud West Nœud Central Nœud East Facile à administrer

14 Caractéristiques Oracle NoSQL Intégration complète avec les produits Oracle (ODI, CEP, OLH) Fonctionnalités Scalabilité et Disponibilité Administration Modèle Simplifié Major + Minor key Opérations simples read/insert/update/delete Consistance et durée configurables Driver Intelligent Distribue la charge sur tous les nœuds Envoie les opérations au nœud le plus rapide Réplication et gestion automatique des pannes Console WEB et commandes CLI Administration et monitoring Topologie Charge Performance Evènements Alertes

15 Caractéristiques Oracle NoSQL Modèle de données simple key-value pair - major+minor-key paradigm Chaîne de caractères Major key EmpId Minor key: XmlCard 3003 photo Valeur binaire Value:

16 Comparaison des composants Hadoop Distributed File System (HDFS) File System Oracle NoSQL Base de données Balayage complet en parallèle Lecture Indexée Fichiers Structure simple Distribution des données dans le cluster Distribution de la charge dans le cluster

17 Cas d utilisation pour HDFS Acquisition et analyse des «click streams» Nombre de sessions Web qui dure plus de X minutes Les pages plus ou moins fréquentées Regroupement des sessions par heure, localisation, Analyse de sentiments Combien de commentaires contiennent un mot ou une expression Découverte des corrélations Quels événements semblent être corrélés dans le temps ou l espace Combien de fois 2 évènements se sont produits à proximité

18 Cas d utilisation pour Oracle NoSQL Capture des données Capteurs ( i.e. IA, SmartGrid, Earth Sc., BioMedical Sc.) Statistiques réseaux (QOS Network Mgmt) Application Web (click-through capture) Services NoSQL data sharing (Earth Sci, BioMedical) Authentification Communication en temps réel (MMS, SMS, routing) Réseaux Sociaux, Personnalisation

19 In-Database Analytics Solution intégrée Oracle - Big Data HDFS Hadoop (MapReduce) Oracle NoSQL Database Oracle Big Data Connectors Data Warehouse Applications Analytiques Base de données Oracle Data Integrator ACQUISITION ORGANISATION ANALYSE DECISION

20 Plateforme Oracle Big Data Big Data Appliance Exadata Exalytics ACQUISITION ORGANISATION ANALYSE DECISION

21 Conclusion Faites l acquisition de toutes vos données en utilisant la bonne infrastructure HDFS Oracle NoSQL Bases de données relationnelles Découvrez la valeur de vos données

22