Parole d expert Le BigData, aussi par et pour les PMEs Stéphane MOUTON, CETIC Département Software and Services Technologies
Avec le soutien de :
LIEGE CREATIVE Le Big Data, aussi par et pour les PMEs Stéphane Mouton CETIC 1
Résultats innovants Internet du Futur Qualité Logicielle Internet des Objets Technologie Information Communication 40 chercheurs Méthodes & outils utilisables 2001 Centre de recherche appliquée agréé
Au début, les ressources étaient rares
Des technologies adaptées à la rareté des ressources ANALYSE BI & VISUALISATION PRE-TRAITEMENT & REQUETES STOCKAGE (DATAWAREHOUSE) WORKFLOW ACQUISITION & EXTRACTION DES DONNEES DONNÉES STRUCTURÉES
Puis le stockage est devenu abordable
Le Big Data vient de l Internet Amazon -> Données produits et clients Yahoo! -> Tracking et profilage utilisateurs Microsoft -> Stockage Facebook -> Données utilisateurs Twitter -> Messages LinkedIn -> Profils et liens entre utilisateurs Google -> A peu près tout ce qui est ci-dessus
Mais tout le monde n est pas Twitter, Facebook,
BigData: consensus autour d une definition Volume Vitesse Variété (Valeur) (Véracité) (Visualisation) * *Ajoutez votre V ici
Volume: How big is big? Velocity: How fast is fast? Variety: How diverse is diverse? Un concept relatif Valable maintenant et dans un futur proche
Amazon -> Dynamo Yahoo! -> HBase, Hadoop Microsoft -> Azure Storage Facebook -> Cassandra -> HBASE Twitter -> Cassandra LinkedIn -> Voldemort Google -> BigTable... Un bond technologique
De nouvelles technologies de bases de données
Une pile logicielle Big Data ANALYSE BI & VISUALISATION SCALABILITÉ PRE-TRAITEMENT & REQUETES STOCKAGE WORKFLOW ACQUISITION & EXTRACTION DES DONNEES DONNÉES STRUCTURÉES DONNÉES NON STRUCTURÉES
Scalabilité : distribution des calculs / traitements Input Entrée Split Séparer Map Appliquer Shuffle Mélanger Reduce Réduire Final result Résultat final Chien Ane Serpent Chien,1 Ane, 1 Ane, 1 Ane, 1 Ane, 2 Chien Ane Serpent Chat Chat Serpent Chien Chat Ane Chat Chat Serpent Serpent, 1 Chat,1 Chat, 1 Serpent, 1 Chien,1 Chat, 1 Chat, 1 Chat, 1 Chien, 1 Chien, 1 Chat, 3 Chien, 2 Ane, 2 Chat,3 Chien, 2 Serpent, 2 Chien Chat Ane Chat, 1 Ane, 1 Serpent, 1 Serpent, 1 Serpent, 2 1 machine maître, plusieurs machines esclaves
Une autre manière d analyser les données source :
Et pour les PME?
Des outils plus abordables Source: O Reilly
Et le Cloud Computing? Réduire les investissements Déployer sur le Cloud pour un paiement à l utilisation Outils BigData prêts à l emploi Plateforme : pour bâtir Exemple : Hadoop on Azure Service : pour analyser Exemple : Google BigQuery Pouvoir disposer de ressources informatiques importantes
Opportunités du Big Data Améliorer les services existants Utiliser des données inexploitées pour améliorer les analyses et résultats Fournir les mêmes informations mais mieux (plus rapide, plus précis, moins cher, ) Développer de nouvelles activités Traiter des données produites par l entreprise et éventuellement d autres sources pour fournir de nouveaux services. Exemple : bookt.com service aux hôteliers
Définir une stratégie BigData Passer en revue les données Sources, Flux, Valeur Evaluer l utilisation de données peu ou semi structurées Textes, graphique, images, feuilles de calcul Choisir les technologies appropriées Choisir l angle d attaque technologique du problème Réaliser une preuve de concept Définir une utilisation business mesurable / évaluable Eviter de traiter la donnée pour la technologie Eviter les «décharge de données» Etude Wikibon : danger de retour sur investissement négatif
Prêts?
Merci stephane.mouton@cetic.be www.cetic.be/stephane-mouton