Le Big Data. Tendances technologiques Qu est-ce que le phénomène Big Data? Exemple de mise en œuvre dans le décisionnel

Dimension: px

Commencer à balayer dès la page:

Download "Le Big Data. Tendances technologiques Qu est-ce que le phénomène Big Data? Exemple de mise en œuvre dans le décisionnel"

Jean-Michel Lemieux
il y a 7 ans
Total affichages :

1 Le Big Data Tendances technologiques Qu est-ce que le phénomène Big Data? Exemple de mise en œuvre dans le décisionnel

2 Des tendances technologiques L industrie informatique évolue Le monde traverse une évolution majeure, à travers laquelle trois dimensions de l informatique (le «où», le «quoi» et le «comment») sont remises en question Cette évolution a des incidences importantes sur tous les aspects de l informatique, avec le passage de l architecture traditionnelle «sur site» au Cloud => «où» des données transactionnelles aux données d interaction => «quoi» l informatique fixe à l informatique mobile => «comment»

3 Des tendances technologiques et les données évoluent Ces changements affectent la donnée, sous tous ses aspects : 1. Le volume des données généré, consommé, stocké et exploité par les entreprises continue de croître de manière exponentielle. Selon les statistiques d IDC, il devrait être multiplié par 44 d ici à l année prochaine, pour atteindre le volume prodigieux de 35,2 zettaoctets de données générées dans le monde entier en La nature des données évolue radicalement avec de nouveaux types de données issus des réseaux sociaux et des appareils/machines, qui sont stockés à des fins d analyse 3. La vitesse à laquelle les entreprises ont besoin de traiter ces informations s accélère. Ce qui était traité en une semaine doit maintenant être réalisé en une journée, et les traitements qui prenaient une journée ne doivent plus durer que quelques minutes. Dans certains cas, les traitements dont la durée n excède pas quelques microsecondes sont devenus la norme.

4 Des tendances technologiques et les données évoluent

5 Qu est ce que le phénomène Big Data? Le Big Data se situe à la convergence de trois tendances technologiques : 1. Big Transaction Data : croissance massive des volumes de données transactionnelles 2. Big Interaction Data : explosion des nouveaux types de données d interaction, issus notamment des médias/réseaux sociaux et des machines/appareils (les capteurs, les appareils médicaux, les logs ) 3. Big Data Processing : traitement hautement évolutif dans un environnement spécifique

6 Qu est ce que le phénomène Big Data?

7 1) Big Transaction Data L explosion des données transactionnelles Il s agit des gros volumes de données transactionnelles il est donc important de connecter le système d information à ces quantités massives de données transactionnelles, qu elles soient issues de bases de données traditionnelles, comme Oracle ou IBM DB2, ou des dernières bases de données optimisées pour l analyse telles que EMC Greenplum, Teradata, Teradata Aster Data, HP Vertica et IBM Netezza

8 1) Big Transaction Data Comment tirer parti de l explosion des données transactionnelles en cinq étapes clés? 1. Extraire les données issues des applications de l entreprise dans le Cloud ou sur site, des entrepôts de données, des bases de données etc, ou issues des applications hébergées chez des partenaires, qu elles soient dans un format structuré ou non.

9 1) Big Transaction Data Comment tirer parti de l explosion des données transactionnelles en cinq étapes clés? 2. Découvrir ces données, c est dire en vérifier la pertinence, la fiabilité, l intégrité, la conformité etc et avoir des statistiques précises.

10 1) Big Transaction Data Comment tirer parti de l explosion des données transactionnelles en cinq étapes clés? 3. Nettoyer les données et les mettre en conformité avec le besoin de l entreprise. Il faut ici se poser les bonnes questions : les données sont-elles complètes, conformes, pertinentes, au même format, y a-t-il des doublons...?

11 1) Big Transaction Data Comment tirer parti de l explosion des données transactionnelles en cinq étapes clés? 4. Intégrer les données c est-à-dire les mettre en corrélation avec tous les systèmes existants pour en tirer parti.

12 1) Big Transaction Data Comment tirer parti de l explosion des données transactionnelles en cinq étapes clés? 5. Analyser les données, c est-à-dire les mettre en forme dans un tableau de bord avec la technologie appropriée, tout en ayant confiance en elles pour prendre de meilleures décisions.

2) Big Interaction Data L explosion des données d interaction Il s agit des gros volumes de données d interaction, y compris les médias sociaux il est donc important de connecter le système d

13 2) Big Interaction Data L explosion des données d interaction Il s agit des gros volumes de données d interaction, y compris les médias sociaux il est donc important de connecter le système d information avec les principaux réseaux sociaux, notamment Facebook, Twitter et LinkedIn. En enrichissant leurs données d interaction à l aide de celles des médias sociaux, les entreprises peuvent les combiner avec les données de l entreprise pour bénéficier d une vue unique et enrichie des clients ; ce qui renforce la performance de nombreuses initiatives, par exemple leurs programmes de fidélisation clients, en vue d accroître leurs ventes.

14 Les challenges Les données issues des médias sociaux explosent En 2010 dans le monde : petaoctets de données En 2011 dans le monde : 1,2 zettaoctets de données En 2020 dans le monde : 35 zettaoctets de données Et les données issues du web évoluent beaucoup plus rapidement Interactions Transactions

15 Médias Sociaux Des formes multiples

16 Médias Sociaux Comment tirer parti des données d interaction en quatre étapes clés? 1. Extraire les données issues des réseaux sociaux grâce à des connecteurs pour chaque outil

17 Médias Sociaux Comment tirer parti des données d interaction en quatre étapes clés? 2. Analyser les données issues des réseaux sociaux en identifiant des mots clés pour des analyses de tendances et de sentiment

18 Médias Sociaux Comment tirer parti des données d interaction en quatre étapes clés? 3. Gérer les données collectées pour pouvoir les corréler

19 Médias Sociaux Comment tirer parti des données d interaction en quatre étapes clés? 4. Associer: corréler les données pour avoir une vue enrichie à 360 d un produit, d une personne, d un foyer etc

20 Big Data Processing L émergence des données issues de traitement intensif comme Hadoop Il s agit des gros volumes de données issues d environnement de traitement intensif comme Hadoop il est donc nécessaire de se connecter avec le système de fichier Hadoop (HDFS). Ainsi, les entreprises peuvent pleinement tirer parti de la puissance de MapReduce en déplaçant vers Hadoop les traitements de gros volumes de données puis en envoyant les résultats vers un entrepôt de données cible où ils seront accessibles aux utilisateurs, sans formation spécifique. BIG DATA PROCESSING

21 Big Data Processing Qu est ce que Hadoop? Un environnement en open source Hadoop est destiné à faciliter la création d'applications distribuées et évolutives. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google. Une montée en puissance économique Fonctionne sur des fermes de serveurs banalisés Supporte tous les types de données Structuré, Semi-structuré et non structuré

22 Big Data Processing Connectivité pour Hadoop De nouveaux connecteurs permettent de charger des données dans Hadoop, quelque soit leur source et de les extraire, quelque soit leur cible.

23 Un exemple de mise en oeuvre dans le décisionnel Le décisionnel classique La qualité des données est globalement égale à celle des systèmes opérationnels Les indicateurs sont disponibles à J+1 Les données clients/prospects peuvent être périmées et induire des tendances incorrectes dans les indicateurs Il peine à répondre aux demandes métiers de fraîcheur de l information, rapidité de décision, et gestion proactive des clients!

24 Un exemple de mise en oeuvre dans le décisionnel Le décisionnel avancé Une solution de qualité des données a été mise en œuvre pour détecter (et corriger quand cela est possible) les erreurs dans les données. Ces erreurs sont notifiées aux systèmes opérationnels amonts pour correction. Une partie des indicateurs est mise à jour au fil de l eau (intervalle d une minute à une heure en fonction du besoin fonctionnel). Des solutions de vérification d adresses postales et de croisement avec des bases externes entreprises (D&B) permettent d améliorer les données clients/prospects. Le métier accorde une plus grande confiance aux informations du décisionnel et peut réagir plus rapidement, mais il supporte mal une approche proactive!

25 Un exemple de mise en oeuvre dans le décisionnel Le décisionnel proactif - 1 Des «Appliances» sont mises en places pour supporter les volumes de données croissants Des solutions de connectivité aux médias sociaux sont mises en place pour enrichir la connaissance du client Les clients peuvent être évalués non seulement sur les produits qu ils ont acquis mais aussi sur leur capacité d influence (nombre de leurs contacts dans les réseaux sociaux) et sur leur comportement (web logs) Les marques concurrentes citées par ces clients peuvent être analysées pour compléter l analyse concurrentielle Etc Le métier découvre de nouvelles informations lui permettant une approche proactive et une anticipation des besoins/tendances du marché!

26 Un exemple de mise en oeuvre dans le décisionnel Le décisionnel proactif - 2 On peut par exemple définir de nouvelles campagnes potentielles associées à ces médias sociaux! American Express a aidé les PME à augmenter leurs revenus d années en années de 28% pendant le week-end suivant Thanksgiving avec Small Business Saturday une campagne impliquant 1,5 million de fans Facebook

Documents pareils

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision