Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013

Transcription

1 Les enjeux du Big Data Innovation et opportunités de l'internet industriel

2 François Royer Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine de données industrielles Optimisation / création de services à valeur ajoutée Solutions innovantes de fouille assistée de données 2

3 Big Data Tout le monde en parle... 3

4 Le contexte Big Data 4

5 Le contexte Big Data 5

6 Le contexte Big Data Volume Variété Vélocité 6

7 Le phénomène Big Data Quels déclencheurs? 7

8 $ Coût / GB d'un disque dur Apple en septembre 1981 $ 0.07 Coût / GB d'un disque dur 1 TB Hitachi aujourd'hui 8

9 Une culture quantitative grandissante dans les entreprises 9

10 Données métier

11 Données métier Autres sources de données intra-entreprise (logs web, CRM...)

12 Données métier Autres sources de données intra-entreprise (logs web, CRM...) Données externes

13 La ménagerie Big Data: Hadoop, Map/Reduce, Big table 13

14 Genèse Google Filesystem 14

15 Genèse Publication de MapReduce Google Filesystem 15

16 Genèse Publication de MapReduce Google Filesystem Ouverture du code source 16

17 Genèse Publication de MapReduce Google Filesystem Yahoo! Ouverture du code source 17

18 Genèse Publication de MapReduce Google Filesystem machines Cluster 100 Facebook Ouverture du code source 18

19 Le web, premier utilisateur des technologies Big Data Data mining sur click stream Analyse d'image Production d'index Moteur d'enchères Conversion de 11 millions d'articles en PDF Spam screening (> 20 milliards de msg / jour) Entrepôt de données > 30 PetaOctets (2011) 19

20 Aux origines du Big Data: les clics de l'internaute USE CASE 20

21 Aux origines du Big Data: les clics de l'internaute 21

22 Big Data : applications industrielles Quelles opportunités?

23 Applications du Big Data rêves et réalités Collectivités: amélioration des services... Automobile: prédiction de pannes... Lutte contre la fraude Energie: smart meters Logistique et transports 23

24 Chevron : analyse de données sismiques sur Hadoop We collect large amounts of seismic data into this five-dimensional type data set, and the first thing we do is we sort it which is a great Hadoop use case [ ]. 24

25 FORMA FOREST MONITORING FOR ACTION 25

26 The Climate Corporation 26

27 Le Little Data, c'est fini? Non, les statistiques ont de beaux jours devant elles! 27

28 Promesses de l'analyse prédictive Nate Silver A prédit les résultats des élections US 2012 (50/52 états) Modèles bayésiens complexes ( MCMC ) Analytique =/= Big Data Maintenant chez ESPN (groupe Walt Disney - branche sport) 28

29 Quelles compétences? The sexiest job in the next 10 years will be statistician Hal Varian, Chief Economist at Google 29

30 Le Data Scientist métier d'avenir? 30

31 Le Big Data, pas pour les PMEs? Au contraire! 31

32 Les données, moteur d'innovation People to people Réseaux sociaux Blogs Communautés People to machine Documents Smart cards E-commerce Logs box/mobile Machine to machine Logs / capteurs GPS Code-barres Caméras 32

33 Acteurs du Big Data Anciens et nouveaux 33

34 Les usual suspects

35 Le contexte Big Data 130 Nouveaux acteurs Big Data depuis

36 36

37 à suivre... 38

38 Cas d'étude E-commerce / medias 39

39 Big Data en e-commerce: analyse de texte et traitement du langage Analyse sémantique Indexation Moteurs de recherche Traitement du langage 40

40 Big Data en e-commerce: analyse de texte et traitement du langage Base d'apprentissage de + de 3 millions de fiches produits Un arbre de catégories de + de 4000 branches Données déstructurées Support au poste opérateur pour une équipe de 12 personnes 41

41 Cas d'étude Big Data industriel: les opportunités 42

42 Big Data Industriel 43

43 Big Data Industriel le mythique 1% 44 source: IBM

44 Big Data Industriel 45

45 L'internet industriel 46

46 Big Data Industriel Données types: séries temporelles Mais aussi rapports d'intervention, mesures intermittentes, transactions... 47

47 EDF Retour d'expérience présenté au Hadoop Summit 2012 Contexte: Changement climatique Pression technologique (IT, fabricants) Smart Grid Communications bidirectionnelles entre producteurs et comsommateurs Monitoring à haute résolution des usages Améliorer la résilience systémique, diminuer les couts et la dépendance énergétique Mixer Complex Event Processing + Data Mining à grande échelle CRM Prédiction de la consommation et de la prédiction Classification des courbes de charge par jour / consommateur 48

48 EDF Données: Courbes de charges individuelles Données contractuelles Mesures réseau 1 mesure / 10 mins / 35 millions de clients Volume annuel: 180 milliards de mesures = 120 TB Requêtes: Extraction de courbes de charge similaires à un patron cible (moyenne/médiane) Analytique: agrégation de courbes 49

49 EDF Volumes 10 TB compressé sur HDFS (réplication X3) Partitionnement des mesures consommateurs par jour: 25 GB journaliers, blocs de 10 MB DFS utilisé à 30 % (~30 TB) Hardware 20 noeuds sur 2 racks 7 X 1U noeuds avec 4 x 1 TB 13 X 2U noeuds avec 8 x 1 TB Total: 132 TB, 336 coeurs Performance ~ 1 minute pour calculer une courbe journalière agrégée (~ 10 GB de données) 50

50 TIC Valley - Bâtiment E-volution 425 rue Jean Rostand Labège