For Fun and Profit Datasio 2012

Dimension: px

Commencer à balayer dès la page:

Download "For Fun and Profit Datasio 2012"

Florentin Martel
il y a 10 ans
Total affichages :

1 For Fun and Profit Datasio 2012

3 130 Nouveaux acteurs Big Data depuis 2009

4 1 2 3 Agenda Hadoop, poids lourd du Big Data Stats Web avec Hive chez Scoop.it Profession: Data Scientist

5 Agenda 1 Hadoop, poids lourd du Big Data Qui l'utilise? Comment ça marche?

6 Aujourd'hui... App servers Sharding? Load balancing? Archivage? Calculs & statistiques? Reporting? Bases de données Stockage Monitoring de ressources fournies par les partenaires? Comment réconcilier les conversions (transactions) avec l'usage (logs)? Customer Lifetime Value? Nous perdons de l'argent: où??

Bases de données Stockage Monitoring de ressources fournies par les

7 Qui utilise Hadoop? Data mining sur click stream Analyse d'image Production d'index Moteur d'enchères Conversion de 11 millions d'articles en PDF Spam screening (> 20 milliards de msg / jour) Entrepôt de données > 30 PetaOctets (2011)

8 03 20 Google Filesystem

9 Publication de MapReduce Google Filesystem

10 Publication de MapReduce Google Filesystem Création du projet Apache

11 Google Filesystem Publication de MapReduce Yahoo! Création du projet Apache

12 Google Filesystem Yahoo! Ouverture du code source Publication de MapReduce Cluster 100 Facebook

13 HDFS (Hadoop Distributed Filesystem)

14 Zookeeper (Resource management) Map/Reduce (Distributed processing) HDFS (Hadoop Distributed Filesystem)

15 Zookeeper (Resource management) Pig (Data DSL) Hive (SQL) Cascading (Data flow) Map/Reduce (Distributed processing) HDFS (Hadoop Distributed Filesystem)

16 Hbase (Distributed Key Value) Zookeeper (Resource management) Cascalog (Data flow) Pig (Data DSL) Hive (SQL) Cascading (Data flow) Map/Reduce (Distributed processing) HDFS (Hadoop Distributed Filesystem)

17 HDFS = système de fichier distribué CLUSTER CPU Traitement DISK Stockage

18 Rack-awareness + data locality CLUSTER Rack Noeud Rack Noeud Noeud Rack Noeud CPU Traitement DISK Stockage Noeud

19 Fichiers distribués en blocs, avec facteur de réplication N (ici, N=3) CLUSTER Rack Noeud bloc1 bloc2 bloc3 Rack Noeud bloc1 Noeud Rack Noeud bloc1 bloc2 bloc3 bloc4 bloc4 bloc4 Noeud bloc2 bloc3

20 Map/Reduce = diviser pour régner CLUSTER Rack Rack Rack Noeud Noeud Noeud Noeud Noeud Map Map Map Map Map Reduce Reduce Reduce

21 Map/Reduce = diviser pour régner

22 Map/Reduce = diviser pour régner

23 Map/Reduce Patterns Distributed grep! def map(doc_id, doc): for term in doc: if (term == target_term): emit(term, doc_id)

24 Map/Reduce Patterns Counting! def map(doc_id, doc): for term in doc: emit(term, 1) def reduce(term, counts_list): sum = 0 for count in counts_lists : sum += c

25 Map/Reduce Patterns Counting! def map(doc_id, doc): for term in doc: emit(term, 1) def combine(term, counts_list): sum = 0 def reduce(term, counts_list): sum = 0 for count in counts_lists : sum += c for count in counts_lists : sum += c

26 Agenda 2 Stats Web avec Hive chez Scoop.it

27 Agenda 3 Profession: data scientist

28 The sexiest job in the next 10 years will be statistician Hal Varian, Chief Economist at Google

29 Données métier

30 Données métier Autres sources de données intra-entreprise (logs web, CRM...)

31 Données métier Autres sources de données intra-entreprise (logs web, CRM...) Données externes

32 People to people Réseaux sociaux Blogs Communautés People to machine Machine to machine Documents Smart cards E-commerce Logs box/mobile Logs Capteurs GPS Code-barres Caméras

33 Applications Big Data

34 Applications Big Data {

35 Applications Big Data {

36 Applications Big Data { {

37 Applications Big Data { { Carte volée!

38 Applications Big Data Estimer la production d'iphones d'après les numéros de série...

39 Applications Big Data Optimisation A/B Corrélation usage du site web + transactions Suivi de l'engagement et monitoring du churn Logs web server In-game events

41 Sémantique et Linked Data Contraintes spatio-temporelles = indispensables à la résolution d'id Fuzzy matching rue ruede degrenelle Grenelle Avène Avène 22avenue avenuedu dulauragais Lauragais Paris Paris Toulouse Toulouse haszipcode hasaddress hascity hasnom hascity Avène Avène Maurice Maurice hasnom hasprenom SAAS_clients_ _45lhsd SAAS_clients_ _45lhsd haszipcode hasaddress sameas hasprenom CRM_2012_72 CRM_2012_72 Maurice Maurice

42 Boîte à outils Postgres MySQL Logs Logs Logs Pig cascalog Hadoop / HDFS

43 Mode opératoire Nettoyage de données Scatterplots Kernel smoothing Robust EM Choix du modèle K-Means Clustering Régression logistique SVM Réseaux de neurones Naive Bayes Random Forest Survival modeling Tuning Descente de gradient Maximum de vraisemblance Meta-optimisation Méthodes d'ensemble

44 Mahout intelligence artificielle à grande échelle Règles d'association et Frequent Itemsets Recommendation d'articles Clustering et K-means Arbres de décision PageRank

45 Mahout intelligence artificielle à grande échelle Millions et + de transactions { Règles d'association et Frequent Itemsets Recommendation d'articles Clustering et K-means Arbres de décision PageRank

46 Merci! Questions?

Documents pareils

Les enjeux du Big Data Innovation et opportunités de l'internet industriel. Datasio 2013

Les enjeux du Big Data Innovation et opportunités de l'internet industriel François Royer [email protected] Accompagnement des entreprises dans leurs stratégies quantitatives Valorisation de patrimoine