Big Data: au delà du Buzz Yves de Montcheuil @ydemontcheuil
Il y a tellement de hype autour du big data que Gartner étudie un nouveau modèle ;-) Talend 2012 2
Hype Cycle Gartner Talend 2012 3
Big Data en Route vers le Pic Big Data Talend 2012 4
jeff kelly Talend 2012 5
Hadoop World - 2011 Combien d entre vous utilisent les big data? Big data 40% Talend 2012 6
Hadoop World - 2011 Combien d entre vous utilisent les big data, et ne travaillent pas pour Yahoo, Google, Facebook? Gouvernement 20% Talend 2012 7
Hadoop World - 2011 Combien d entre vous utilisent les big data, et ne travaillent pas pour Yahoo, Google, Facebook ou le Gouvernment? Startup Talend 2012 8
Cette année @hadoopsummit 2012 Les choses deviennent sérieuses Beaucoup de POCs 80% Talend 2012 9
Qu est ce qui conduit ce changement? Business Obtenir un avantage concurrentiel grâce à une meilleure analyse Opportunité de créer de nouveaux business models Technique Les données collectées et stockées continuent à s accroitre exponentiellement et dans de nombreux formats Les solutions traditionnelles doivent répondre à de nouveaux besoins, comme par exemple les données non structurées Finance Le coût des systèmes de gestion des données continue d augmenter Avantage du commodity hardware & du logiciel open source Société Initiatives Open Data par les gouvernements L accès à l information comme droit fondamental? Talend 2012 10
Lu dans Harvard Business Review La directrice marketing d une chaine de supermarchés aux US ne comprenait pas les rapports qu elle recevait. Un concurrent gagnait régulièrement des parts de marché sur plusieurs segments très profitables Malgré des campagnes de contre-attaque avec des promotions en ligne et en magasin, sa société perdait du terrain. Quand elle a réunit une équipe de travail pour creuser dans l approche de son concurrent, ils se sont aperçus que le problème était plus profond qu il n y semblait... Talend 2012 11
Si le secteur de la santé aux US utilisait les big data de façons créative pour améliorer l efficacité et la qualité, le secteur pourrait créer plus de $300 millards de dollars de valeur par an. Source: McKinsey Talend 2012 12
Big Data comme avantage concurrentiel Talend 2012 13
Il y a des pionniers dans le secteur Cas d utilisation Moteur de recommandation Analyse de sentiment Modélisation de risque Détection de fraude Analyse de campagne Analyse de churn Analyse de graphes sociaux Monitoring réseau Recherche et développement Talend 2012 14
800% de croissance des volumes de données dans les 5 prochaines années Source: Gartner Talend 2012 15
40 milliards de photos Talend 2012 16
D où viennent ces données? Mega, Giga, Tera, Peta octets Sensors/RFID/Devices Sentiment Mobile Web User Clicks Web logs Offer history ERP Purchase detail Purchase record Payment record CRM Web Segmentation Offer details Customer Touchpoints Support Contacts Big Data A/B testing Dynamic pricing Affiliate Networks Search Marketing Behavioral Targeting Dynamic Funnels User Generated Content Social Interactions & Feeds Spatial & GPS coordinates External Demographics Business Data Feeds Video, Audio, Images SMS/MMS Variété et Complexité des Données Source: Hortonworks Talend 2012 17
Les données appelées non structurées représentent 80 90% de toutes les données medicales Source: Ovum Talend 2012 18
En 2015, plus de la moitié des données du monde seront traitées par Hadoop Source: Hortonworks Talend 2012 19
Types de données non structurées Customer Interactions Social Media Operational Documents News and Information Call center recordings and logs Customer surveys/feedback Customer e-mails Field service reports Warranty claims Sales call logs Reviews/ratings on community websites Internet message boards and forum posts Twitter posts Blog posts Facebook entries Regulatory requirement documentation Meeting transcripts Contracts and service level agreements Financial analysis/reports Documents, spreadsheets, and e-mail RSS feeds Competitive websites Third-party information services Source: Caserta Talend 2012 20
Talend 2012 21
Que stockons nous de si important? Talend 2012 22
En 2009, presque tous les secteurs de l économie disposaient d une moyenne de 200 To de données stockées par société de plus de 1000 employés. Soit deux fois la taille du data warehouse de Wal-Mart en 1999. Source: McKinsey Talend 2012 23
42,000 servers Image: murphy & company Talend 2012 24
google 0.01% world s electricity Talend 2012 25 Image: flickr @suneko
Talend 2012 26
Les big data et la santé Single-Nucleotide Polymorphism (SNP, prononcez snip) Source: Cloudera Talend 2012 27
Bowtie and Crossbow Analyser 35% du génome human en 3 heures pour $85 avec un cluster 40-node de Amazon Web Services Talend 2012 28
Talend 2012 29
Quelles données utiliser? Toutes les données ne sont pas équivalentes D où viennent-elles? Qui dit quoi? Niveau de confiance La quantité ne remplace pas la qualité Des jugements éthiques doivent être faits lors de l utilisation d informations publiques Tout le monde n a pas le même accès aux bases de données donc le risque de créer une nouvelle fracture numérique est réél Source: Boyd & Crawford Talend 2012 30
Mais le plus gros frein est l accès au talent. En 2018, rien qu aux US il manquera 140000 à 190000 individus qualifiés Talend 2012 31
Comment passer de ça Talend 2012 32
A ça Pourquoi Talend SEUL Talend génère du code, executé dans MapReduce. Cette approche ouverte élimine les limites d un moteur propriétaire et fournit un jeu d outils unifié pour le big data. Talend 2012 33
3 Recommandations 1. Sachez quoi ne pas regarder 2. Evitez de penser que la nouveauté va régler les problèmes 3. N oubliez pas que un bon timing est mieux que la recherche de la perfection Source: Havard Business Review Talend 2012 34
Impossible d afficher l image. Merci! yvesm@talend.com @ydemontcheuil