20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

Dimension: px

Commencer à balayer dès la page:

Download "20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT"

Geoffroy Savard
il y a 8 ans
Total affichages :

1 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013

3 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT

4 Qui a déjà entendu parler du phénomène BigData? Qui a déjà mis en œuvre des technos Big Data ou connait des entreprises qui l ont déjà fait?

5 ou réalité?

6 Accroissement du volume d information 1.8 Zettaoctets(1 zetta=10 21 ) ont été produits en 2011, un chiffre qui continue à augmenter de 50% chaque année. Un homme en 2006 générait 5Go de données par ans % En 2011, il génère 85Go par ans Source IDC

chiffre qui continue à augmenter de 50% chaque année.

7 Sources multiples et Variées Objets intelligents Open Data OPEN DATA Médias sociaux dont le format est Variable dans le temps

8 et traitées toujours plus vite

9 avec des modes de Visualisation toujours plus sophistiqués C est là que réside la vraie valeur

10 Alors Combien de Và BigData? Volume Variété Variabilité Vélocité Visualisation

12 Pour qui?

13 Pour qui? TELCO Flux Data Optimisation des réseaux SANTE Ingénierie médicale Maitrise de couts PUBLIC Sécurité Assurance maladie Transports collectifs BANQUE Maitrise des flux / transaction Fraude / Risque MARKETING Connaissance marques Impacts Produits Analyse navigation WEB Social Marketing VENTES Vente en temps réel Connaissance Client Analyse du tunnel de vente RH Mesure du climat social Recrutement ASSURANCE Assurance à l usage ENERGIE Optimisation des réseaux Conseil consommation (Economie, effacement) LOGISTIQUE Optimisation flux, stocks, Inventaire

BANQUE Maitrise des flux / transaction Fraude / Risque MARKETING Connaissance marques Impacts Produits Analyse navigation WEB Social

14 Pour qui? VS CA 2011 : 185 Mds employés CA 2011 : 10,5M (source JDN) 160 employés Leader du Web Analytics en France

16 Exploiter le capital numérique à ma disposition Consommation Localisation Paiements Navigation Consommation Internes Externes Relations Contacts Foyer Domotique Influence 1 2 Déplacement NOUVEAUX SERVICES NOUVEAUX USAGES OPEN DATA

Consommation Internes Externes Relations Contacts Foyer

17 Quels bénéfices à capter les données en masse? Créer un système à recommandation Booster les ventes Répondre au besoin du client Améliorer l experience utilisateur Augmenter la diversité des achats Analyse prédictive des ventes Améliorer la gestion des stocks Mettre en avant des produits Estimer les ventes Diminuer les pertes de produits Connaitre le client Connaitre ses préférences Prédire ses achats Caractériser ses besoins Evaluer sa satisfaction L exploitation des données peut être très variée Vision à 360 Utiliser des données internes et externes Croiser les informations Avoir une vision global de l activité Améliorer le fonctionnement du site internet Repérer les pages non visitées Analyser les problèmes d ergonomie Réaliser des statistiques précises Recherche d information Rechercher efficacement Améliorer la réactivité Augmenter la pertinence des résultats

gestion des stocks Mettre en avant des produits Estimer les ventes Diminuer les pertes de produits Connaitre le client Connaitre ses préférences Prédire ses achats Caractériser ses besoins Evaluer sa

19 L incontournable Hadoop Les atouts Performance Stockage Scalabilité Données non structurées Haute disponibilité R&D mondiale Open source Standard Web Système distribué Connectivité croissante Les points d attention Ressources spécialisées Langage non SQL Très orienté Analyse Orienté batch

Standard Web Système distribué Connectivité croissante Les points d

20 Le Framework Hadoop Écosystème et distributions Connecteurs (stockage simple ou utilisation de Hadoop pour réaliser des traitements) Distributions Workflowet Scheduling (Oozie) Base NoSQL orientée colonnes (Hbase) Flux de données (Pig) Pseudo SQL (Hive) Calculs distribués (MapReduce) Intégration données non-structurées (flume, chuhwa) Coordinattion (Zookeeper) Stockage distribué (HDFS) Intégration données structurées (Sqoop)

Flux de données (Pig) Pseudo SQL (Hive) Calculs distribués (MapReduce) Intégration données non-structurées

21 L adoption d Hadoop

22 Quelle fonction analytique supporte Hadoopdans votre organisation?

23 Quelles sont les données intégrées dans Hadoop?

24 Cas d utilisation d Hadoopen terme d architecture

25 Cas d utilisation Hadoop Pourquoi Facebook a migré vers Hadoop? En 2007, Facebook a préféré Hadoopaux solutions MPP pour de supporter ses données décisionnelles d un volume de 15 To Les critères de choix Aspect logiciel : Open Source vs licences Prise en main aisée par les développeurs de FaceBook Flexibilité Aspects matériel : Cluster de machines à bas prix vs serveurs spécialisés(~ US$ par instance MySQL ou MPP vs à US$ par instance Hadoop) Scalabilité horizontale jusqu à 4000 nœuds Performance accrue Chiffres clés (2012) 210 To de données Hadoop(via Hive) manipulées chaque heure 500 To de données intégrés par jour dont 300 millions de photos MAJ des requêtes de ciblages de publicité : chaque heure 100 Po de données sur une seule grappe Hadoop

26 Les cas d usage fonctionnels des technologies «BigData» Hadoop Archithecture MPP (appliance ou non) Cloud Stockage Visualisation Analyse Data Viz Data mining Big Data Etl Eco système Hadoop Traitement Requête In Memory Solutions MPP Bases NoSQL

27 Les solutions MPP Appliance EXADATA Sans Appliance Database

28 Les solutions In memory Appliance Cache pour cluster Visual Analytics Memcached

29 Les solutions NoSQL Clé / Valeurs Orienté Colonne NOSQL Orienté Documents Orienté Graphe

30 Les solutions de traitements Traitement - Map Reduce Traitement De nombreuses implémentation différentes Basé sur des travaux réalisés par Google Concept simple mais apprentissage difficile Pig: utilisation d un langage de requêtage ETL Hive: utilisation d un langage proche du sql Data warehouse Gain en productivité Plus accessible

31 Les solutions de Visualisation et d analyse Datamining Dataviz

32 Le nouvel éco système analytique Collecte Analyse Visualisation Sources Down BIG DATA Top Transformation de gros volume pour Sources Sources IN Le pilotage opérationnel, Indicateurs de pilotage, OUT Visualisation DATAVIZ Nouveaux services Business intelligence Top Down ACCELERATION DU CYCLE DECISIONNEL

33 Le nouvel éco système analytique

34 Le nouvel éco système analytique

35 Exemple POC BigData 1 Million de contrats par année Plus de 2 Millions de lignes de log par jour Des données de log en constante évolution et difficiles à analyser Impossibilité de visualiser le parcours client sur un temps de traitement très court Connaitre le trafic et la répartition des charges serveurs sur de longue période est compliqué et très couteux avec une telle volumétrie

36 Objectifs du POC A partir des logs tomcat: Quantification du traffic Vérification du loadbalancingpour les serveurs d application Identification des erreurs tomcat Analyse du parcours client Evolutiondu taux de transformation en fonction des actions marketing et des évolutions du site Web

37 Solutions mises en œuvre Hadoop distribution Cloudera CDH4 Stockage : HDFS Requêtage: Hive Traitements : Talend BigData Requêtage: Vectorwise Visualisation : Tableau software Hébergement serveur : Cloud Amazon EC2

38 Architecture technique Sources NoSQL REEL Tomcat 1 Talend BigData Base NoSQL HDFS Tomcat 2 MNA DataNode 1 Tomcat 1 Talend BigData NameNode DataNode 2 Tomcat 2 Étape 1 Étape 2 DataNode 3

39 Indicateurs du POC Temps de chargement moyen Phase init: 8H Phase quotidien : 30 min Temps d exécution moyen Requête complexe : <15 min Requête simple : < 1 min Volumétrie : 1,5 ans d historique 476 Millions de lignes 1500 Fichiers de log4j 400 Go

43 La donnée est le "nouveau pétrole". En conséquence, les métiers changent. Le cabinet Gardner chiffre à 4,4 millions le nombre d'emplois dans le monde créés d'ici à 2015 dans le secteur du BigData Nouveaux métiers CDO (chiefdata officer) : situé au même niveau hiérarchique que les directeurs marketing et informatique, il fait le lien entre les deux services. Data Scientist

44 Data scientistselon Yahoo! labs Data scientists have the skills to lead and execute projects involving: - Design algorithms to efficiently compute metrics on big data -Mine data to extract deep insights into user media consumption, consumer purchase behavior, user response to advertising -Perform analysis such as social network analysis, anomaly detection, trend analysis, etc - Develop high dimensional predictive models of user behavior - Develop visualizations Data scientists will develop a deep understanding of Yahoo's data. They will have the skillsto design and implement algorithms, manipulate data in one or more programming languages. They will have deep knowledge of big data processing architectures such as map reduce, stream processing, etc. Data scientists will have a PhD in computer science or related fields.

45 Autrement dit

46 Autrement dit

47 Autrement dit Les compétences recherchées couvrent trois domaines : la gestion des données (les capter), l'analyse (statisticiens, mathématiciens) les compétences métiers, liées au management et à la prise de décisions. Les deux premiers profils se trouvent en écoles d'ingénieurs et universités. Le troisième plutôt en école de commerce.

48 Autrement dit

Documents pareils

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos