Comprendre le Big data grâce à la visualisation

Transcription

1 IBM Software Business Analytics Visualisation avancée Comprendre le Big data grâce à la visualisation Par T. Alan Keahey, Ph.D., IBM Visualization Science and Systems Expert

2 2 Comprendre le Big data grâce à la visualisation Sommaire 2 Introduction 3 Visualiser le Big data pour obtenir une image globale 4 Des données client simples 5 Ajouter le facteur temps à l équation client 7 Comprendre le ressenti du client 8 Comprendre les relations des clients 9 Comprendre les clients à différents niveaux de détail 12 Dompter la complexité du Big data avec IBM 14 Conclusion 14 A propos de l auteur Introduction Des études ont montré que la mémoire à court-terme humaine est capable de retenir 3 à 7 éléments simultanément, autrement dit l Homme peut uniquement jongler avec quelques éléments puis commence à les oublier. La visualisation consiste à créer des codages de données en canaux visuels visibles et compréhensibles par l Homme. Ce processus externalise les données et permet à l être humain de penser et de manipuler les données à un niveau supérieur. Cette externalisation lui permet de réfléchir de manière plus complexe sur des volumes d informations plus importants que ce qu il pourrait faire normalement. 1 La visualisation exploite la vision humaine de manière à fournir une méthode d affichage et de présentation des données intuitive, immédiate et indépendante des langues. Il s agit d un outil essentiel pour comprendre les informations. La vision humaine est la voie d acheminement d informations jusqu au cerveau de loin la plus riche, la plus immédiate et la plus performante. La part de capacité cérébrale consacrée au traitement des informations visuelles est largement supérieure à celle consacrée aux autres sens. D après certains scientifiques, la vision humaine est capable de traiter environ 9 mégabits d informations par seconde, soit près d un 1 million de lettres de texte par seconde.

3 Business Analytics 3 Au cours des dernières décennies, les recherches sur la visualisation ont mis en évidence diverses techniques de visualisation efficaces qui vont bien au-delà des diagrammes classiques circulaire, à barres, à courbes omniprésents dans les tableurs et les tableaux de bord. Ces techniques sont particulièrement utiles à l heure où la plupart des entreprises sont confrontées au Big data. En effet, la majorité d entre elles s efforcent de rendre compréhensibles les résultats de diverses sources de données communications RFID, texte des média sociaux, enquêtes clients, vidéo en streaming, etc. ainsi que les données acquises sur de très longues périodes. Le rapport de l IBM Institute for Business Value sur le Big data, pour lequel IBM a enquêté auprès de plus de 1100 professionnels de l entreprise et de l informatique, a révélé que moins de 26 % des personnes interrogées qui étaient activement impliquées dans le Big data pouvaient analyser des données extrêmement déstructurées telles que la voix et la vidéo, et seules 35 % pouvaient analyser les données en streaming. 2 La visualisation joue un rôle clé en permettant la compréhension de ces analyses de données complexes et la communication des fragments d informations analytiques essentiels à des collaborateurs de l entreprise moins versés dans l analytique. La capacité d analyser le Big data est un réel avantage pour les entreprises. Dans cette même enquête IBM, 63 % des personnes interrogées ont déclaré que, selon elles, la compréhension et l exploitation efficaces du Big data pouvaient créer un avantage concurrentiel pour leur entreprise. 3 L analyse du Big data peut en effet aider les entreprises à améliorer la prise de décision, à créer une vue à 360 degrés de leurs clients, à améliorer la sécurité et la surveillance, à analyser les opérations et à augmenter la création d entrepôts de données. La visualisation peut jouer un rôle crucial en tirant parti du Big data pour obtenir une vue complète de votre client. Découvrez comment dans ce document. Visualiser le Big data pour obtenir une image globale Dans le monde économique actuel, les entreprises se doivent d être concurrentielles et ont pour cela besoin d avoir une image de leurs clients la plus complète possible. Une telle image exige une compréhension complète non seulement des processus de transaction entre vos clients et votre entreprise mais aussi de la manière dont chacun d eux se renseigne sur les offres, compare les différentes options, discute des produits et des services sur leurs réseaux sociaux et interagit avec les produits et services associés. Chacun de ces aspects représente une tâche analytique distincte qui peut être difficile à appréhender pour les utilisateurs métier sans formation en analytique ; lorsque ces tâches sont combinées, il vous est alors encore plus difficile d obtenir une vue à 360 degrés de vos clients. La visualisation peut jouer un rôle crucial en rendant les composants analytiques individuels compréhensibles et en les regroupant en une image d ensemble intelligible. La visualisation peut être utilisée en outre de plusieurs manières différentes pour aider à maîtriser le volume et la complexité des données et simplifier ainsi leur interprétation. Pour comprendre comment, vous pouvez commencer avec un ensemble de données client simples et ajouter des vues du client, y compris celles issues du Big data.

4 4 Comprendre le Big data grâce à la visualisation Des données client simples De nombreux tableaux de bord et outils de reporting présentent les données de manière simple sous la forme d un ou plusieurs graphiques classiques : diagramme à barres, à courbes ou circulaire. Ces graphiques sont parfaitement adaptés pour communiquer des informations de base telles que des indicateurs clés de performance (KPI) mais leur efficacité est plus limitée lorsqu il s agit de comprendre plusieurs KPI ou autres indicateurs dans une vue plus globale. Regrouper plusieurs graphiques simples sur une seule page peut rapidement créer une impression de fouillis. S ils sont placés sur différentes pages, l utilisateur peut naviguer de l un à l autre mais il peut avoir des difficultés pour les intégrer en interne ou relier entre elles les différentes mesures se trouvant sur différentes pages. Dans ce cas, le diagramme à barres et à courbes peut être étendu (Figure 1) pour présenter une mesure unique pour plusieurs catégories dans un seul diagramme grâce à différentes techniques usuelles telles que les diagrammes à barres empilées ou groupées et les diagrammes à courbes et en aires à séries multiples. Ces techniques peuvent être typiquement utilisées pour présenter 4 à 8 catégories dans un diagramme unique ; toutefois, pour de nombreux scénarios de Big data, le nombre de mesures (colonnes dans un tableur) peut se compter en milliers. Dans ces cas-là, il n existe aucune technique de visualisation unique adaptée à la communication des données brutes. Une technique de réduction analytique ou dimensionnelle doit être préalablement appliquée aux données avant de tenter la visualisation. De nombreuses techniques de réduction des données sont disponibles et peuvent être appliquées, y compris la segmentation, le groupement, la régression linéaire, etc. L idée est de trouver un modèle mathématique qui réduise la complexité des données, soit le nombre de dimensions soit le nombre de points de données, tout en continuant à capturer les caractéristiques essentielles des données. Figure 1: Diagramme à barres illustrant une mesure unique pour plusieurs catégories de vente.

5 Business Analytics 5 Ajouter le facteur temps à l équation client Les modèles clients sont souvent liés aux cycles de temps, tels que le cycle diurne de 24 heures ou les cycles des payes mensuelles. La communication de ces modèles au cours du temps peut se faire à l aide des diagrammes à courbes mais d autres métaphores visuelles plus avancées peuvent rendre ces modèles temporels plus réalistes. Le diagramme en étoile (Figure 2) est souvent un bon choix pour présenter régulièrement des données cycliques comme des données journalières sur une semaine, ou des données mensuelles sur un an. Toutefois, il faut être prudent avec les données horaires car elles peuvent perturber les personnes habituées au cycle d horloge de 12 heures. Figure 2 : Diagramme en étoile qui illustre des cycles hebdomadaires de données de vente organisés de manière circulaire.

6 6 Comprendre le Big data grâce à la visualisation Le calendrier constitue également une métaphore efficace et bien connue de la représentation du temps.une visualisation efficace est la «carte thermique» avec échelle de couleurs pour attribuer une valeur aux jours calendaires (Figure 3). On obtient une représentation visuelle intuitive très compacte, qui communique les modèles hebdomadaires et mensuelles efficacement, que ce soit pour quelques mois ou pour de nombreuses années de données. Figure 3 : Exemple de carte thermique calendaire qui illustre deux ans d évolution (en pourcentages) des commandes clients sur le Web par an (rangée), mois (colonne), jour de la semaine (sous-rangée), semaine (sous-colonne) et jour.

7 Business Analytics 7 Si l on compare la carte thermique calendaire à un diagramme à courbes (Figure 4) qui contient les mêmes informations, on peut se rendre compte de l efficacité de la carte thermique. Comprendre le ressenti du client Obtenir une vue complète de vos clients exige beaucoup plus que de simplement comprendre les indicateurs de transaction clés. Vous devez suivre ce que vos clients (potentiels et existants) disent sur votre entreprise, ses produits et services, et ce qu ils disent sur vos concurrents. Cette forme de Big data peut être recueillie à partir de plusieurs sources, notamment les journaux des centres d appels, les média sociaux et les enquêtes clients. L analyse du ressenti et d autres techniques peuvent être utilisées pour traiter ce Big data et extraire des modèles, et la visualisation est un outil essentiel pour communiquer nombre de ces modèles à l utilisateur professionnel. Une technique répandue consiste à extraire les mots et phrases clés d un ensemble de communications client puis de suivre l évolution de l utilisation de ces mots et phrases au cours du temps. La visualisation de «type rivière» est parfaitement adaptée pour la présentation de ce type d informations (Figure 5). L épaisseur de la bande à un moment donné correspond au décompte de fréquence pour le mot ou la phrase associé. Cette visualisation vous permet d avoir une idée des fluctuations du ressenti de vos clients. Figure 4 : Diagramme des données illustrées sur la Carte thermique calendaire de la Figure 3. Figure 5: Visualisation de type «rivière» illustrant la fréquence d utilisation au cours du temps de phrases liées aux plateformes de jeu.

8 8 Comprendre le Big data grâce à la visualisation Comprendre les relations des clients Les relations sont un aspect hautement important de nombreux scénarios de Big data. Les réseaux sociaux sont peut-être l exemple le plus probant à cet égard, et le fait de les maîtriser implique que vous êtes en mesure de comprendre et d influencer non seulement les clients eux-mêmes mais aussi leurs réseaux de relations amicales et familiales associés. Ces types de relations sont très difficiles à comprendre au format texte ou tableau ; toutefois, le recours à la visualisation (Figure 6) peut faire apparaître les tendances et modèles de réseau émergents. Figure 6 : La visualisation d un réseau social peut représenter des modèles de ressenti client, les influenceurs clés et leur portée.

9 Business Analytics 9 Comprendre les clients à différents niveaux de détail Les hiérarchies sont de puissantes abstractions de données permettant de regrouper des informations en catégories plus larges de manière à pouvoir les comprendre à un niveau supérieur. Ces hiérarchies sont notamment utilisées pour prendre en compte la dimension temporelle : l activité client mesurée en jours, puis en mois, puis en années crée une hiérarchie à trois niveaux. Un autre type de hiérarchie fréquemment utilisé pour regrouper des ensembles de données plus volumineux en abstractions plus compréhensibles repose sur les propriétés géospatiales : par exemple, les ventes clients dans les différentes villes peuvent être regroupées en ventes au niveau départemental puis en ventes au niveau national. Un troisième exemple consiste à organiser un catalogue de produits en catégories générales (activités de plein air, loisirs, sports) puis en sous-catégories (baseball, tennis) pour arriver en final au produit. Il existe de nombreuses autres hiérarchies. Les hiérarchies sont très répandues dans l analyse de données ; elles doivent toutefois être utilisées avec prudence, en particulier avec le Big data, car le mécanisme de regroupement peut parfois masquer des détails importants à des niveaux inférieurs. Une méthode classique pour permettre la compréhension d informations à différents niveaux de détail hiérarchique est de présenter les niveaux individuels dans une série de rapports à onglets, chaque rapport présentant une section unique de la hiérarchie (par exemple, tous les produits liés au tennis). La visualisation en hiérarchies offre une compréhension plus complète des informations car elle présente des niveaux multiples de la hiérarchie simultanément. Il existe un large éventail de techniques de visualisation pour les hiérarchies ; l exemple ci-dessous (Figure 7) illustre une approche assez directe où chaque entité de la hiérarchie est représentée par un noeud sur le diagramme. La taille et la couleur indiquent les diverses propriétés des noeuds, et les lignes entre les noeuds indiquent la relation hiérarchique. Figure 7 : Visualisation de la hiérarchie des données qui indique le nombre de réponses aux campagnes ciblées au niveau régional, départemental et municipal. Chaque niveau est représenté par une ou plusieurs bulles.

10 10 Comprendre le Big data grâce à la visualisation Sur la Figure 7, la taille des bulles indique le nombre de réponses aux campagnes, et la couleur indique une autre mesure, par exemple une évolution par rapport à l année précédente. Rouge correspond à faible, blanc à neutre et bleu à élevé. Du fait de leur structure ramifiée, les hiérarchies sont souvent désignées comme des «arborescences» au sein de la communauté des chercheurs en visualisation. Une autre méthode très performante et efficace de visualisation des hiérarchies est le treemap, dans lequel le rectangle extérieur représente la somme totale pour l ensemble de la hiérarchie et est sous-divisé de manière récursive en fonctions des divisions de la hiérarchie. La taille de chaque sous-rectangle peut représenter une mesure alors que la couleur est souvent utilisée pour représenter une autre mesure des données. La Figure 8 illustre un treemap d un ensemble de choix de titres musicaux et vidéos proposés en streaming par une communauté de réseau social et qui pourrait être utile à un service média pour la conception d offres personnalisées de titres audio et vidéo à télécharger. La couleur représente les genres des titres sélectionnés, chaque genre étant sous-divisé en rectangles, chaque rectangle correspondant à un artiste. La taille du rectangle pour le genre et l artiste représente le nombre de titres disponibles dans cette catégorie. Figure 8 : Treemap de sélections de titres d un réseau social à partir d un service de media en streaming.

11 Business Analytics 11 La communauté des chercheurs a exploré des centaines de méthodes de visualisation par arborescences, nombreuses d entre elles parfaitement adaptées à des types spécifiques d arborescence comme le séquençage du génome, les grands schémas sociaux et les tournois sportifs. Certaines de ces méthodes de visualisation par arborescence sont capables de représenter des centaines ou des milliers de données voire des millions d entités organisées en une structure hiérarchique. Quel volume de Big data peut-on visualiser directement? La question se pose souvent de savoir quel volume de Big data il est possible de visualiser et de comprendre directement par des techniques de visualisation. La réponse dépend essentiellement du type de données visualisées, et des questions et réponses que l utilisateur veut développer. Toutefois, dans la plupart des cas, la visualisation directe des sources de Big data n est pas possible ou pas efficace. La visualisation des données volumineuses fonctionne mieux avec les techniques d analyse, c est la raison pour laquelle un domaine de recherche a été créé spécifiquement : l analyse visuelle. Toutefois, il est utile de déterminer le volume de données qui peut être visualisé directement de manière efficace. La réponse dépend d un certain nombre de facteurs : l échelle et la structure des données, la dimension du dispositif d affichage, l évolutivité des calculs,les besoins de collaboration et de partage et l évolutivité de la présentation visuelle. Voici quelques règles générales concernant le volume d éléments de données qui peuvent être représentées efficacement grâce à certaines techniques de visualisation classiques : Diagramme circulaire : 3 à 10 Diagramme à barres : moins de 50 Diagramme à courbes : moins de 500 Tracé de bulles : moins de 500 Nuage de points : moins de Des techniques de visualisation plus avancées peuvent représenter un plus grand nombre d éléments. Ces styles avancés peuvent permettre de représenter entre 3 et 6 ordres de grandeur ( éléments) de visualisation directe de données, et environ 9 ordres de grandeur ( ) pour les cas très spéciaux. Bien que la visualisation puisse offrir une réduction d échelle considérable, ce ne peut être qu une partie de la solution si l objectif est de traiter un téraoctet (12 ordres de grandeur) ou un pétaoctet (15 ordres) de Big data. L analyse joue un rôle clé en contribuant à réduire la taille et la complexité du Big data jusqu à un point où les données peuvent être visualisées et comprises efficacement. Dans le meilleur scénario, la visualisation et l analyse sont intégrées de manière à fonctionner ensemble sans problème.

12 12 Comprendre le Big data grâce à la visualisation Dompter la complexité du Big data avec IBM La visualisation est un outil essentiel pour comprendre le Big data. Elle permet d obtenir une vue du Big data beaucoup plus complète que celle obtenue avec des tableaux et des statistiques. Cependant, la clé d une analyse efficace du Big data est l intégration de la visualisation dans des outils analytiques afin que tous les types d utilisateurs puissent interpréter le Big data à partir d un vaste panel de sources clickstreams, média sociaux, fichiers journaux, vidéos, etc. IBM propose de nombreuses solutions qui intègrent des capacités de visualisation mais également des visualisations extensibles qui peuvent être téléchargées pour utilisation dans des solutions d analyse métier. Toutes les visualisations de ce document ont été créées avec les solutions et standards IBM. Solutions de visualisation du Big data IBM est conscient que l analyse du Big data contribue significativement à l avantage concurrentiel et que la visualisation en est un élément clé, c est la raison pour laquelle l entreprise a doté ses solutions d analyse métier de capacités de visualisation. Le composant indispensable de ces solutions est le moteur RAVE (Rapidly Adaptive Visualization Engine) d IBM. Le RAVE est de plus en plus utilisé comme le standard pour les capacités de visualisation IBM car il permet le développement rapide de types de visualisations classiques et nouvelles. L interprétation du Big data étant encore un concept émergent et les méthodes pour le comprendre étant encore en cours de développement, la capacité du RAVE à créer de nouveaux types de diagrammes qui ne sont pas encore connus est particulièrement intéressante. Les produits IBM tels qu IBM InfoSphere BigInsights et IBM SPSS Analytic Catalyst, utilisent des bibliothèques de visualisation et le RAVE pour permettre des visualisations interactives qui peuvent vous aider à mieux comprendre votre Big data. InfoSphere BigInsights est un logiciel qui aide les entreprises à découvrir et analyser les informations métiers dissimulées dans le Big data, et cette solution inclut des visualisations pour simplifier l analyse des données. SPSS Analytic Catalyst automatise la préparation du Big data, choisit les procédures d analyse appropriées et peut afficher les résultats sous la forme de visualisations interactives. Visualisation extensible Le Big data n en étant qu à ses prémices, les nouveaux types de visualisation qui vous permettent de réagir quand vous en avez besoin, vous aident à faire face aux enjeux du Big data. De plus en plus de solutions d analyse métier IBM, y compris la solution IBM Cognos Business Intelligence, utilisent de nouvelles capacités de visualisation extensible. La visualisation extensible permet aux utilisateurs de télécharger de nouvelles visualisations à partir d une bibliothèque constamment enrichie sur IBM Analytics Zone suivant leurs besoins. L accès à cet ensemble de visualisations en perpétuelle évolution libère les utilisateurs métier et les auteurs de rapport des contraintes d une bibliothèque prescrite de visualisations des produits et permet d utiliser des visualisations nouvellement développées avec le Big data.

13 Business Analytics 13 La visualisation par diagramme en cordes (Figure 9) est un exemple de ce que peut générer la visualisation extensible. Il s agit d une manière élégante et compacte de présenter des réseaux de relations entre des éléments tels que des produits, des individus ou des groupes. La largeur de chaque corde indique le volume de trafic entre les groupes situés autour de la circonférence. La couleur des cordes et des groupes peut également permettre de communiquer des informations supplémentaires. Cet exemple particulier met en relation des types de demandes de support client, indiquées du côté droit du cercle, avec le groupe de support de l entreprise qui traite la demande, qui est représenté du côté gauche du cercle. Cette visualisation unique peut représenter une quantité considérable d échanges clients sur une période d un an minimum. Figure 9 : Une visualisation en diagramme à cordes créée avec la technologie de visualisation extensible.

14 14 Comprendre le Big data grâce à la visualisation Conclusion La visualisation est un outil essentiel pour comprendre les informations et révéler des informations cachées dans vos données, y compris votre Big data. La compréhension du Big data vous permet d accomplir un certain nombre de choses qui peuvent aider votre entreprise, par exemple créer une vue complète de vos clients. De nouvelles méthodes de visualisation parfaitement adaptées aux besoins spécifiques du Big data sont disponibles dans de nombreux domaines tels que l analyse des média sociaux, l analyse géospatiale et l analyse du ressenti ou du texte. Ces nouvelles méthodes vont bien au-delà des tableaux et diagrammes à barres ou à lignes traditionnels. Elles incluent des diagrammes en étoile, des diagrammes à cordes, des cartes thermiques calendaires, etc. La technologie IBM, par exemple la solution RAVE et les capacités de visualisation extensible, peuvent vous aider à créer et à utiliser des visualisations efficaces qui vous permettent de mieux comprendre votre Big data. Pour plus d informations Pour en savoir plus sur IBM et la visualisation avancée, rendezvous sur la page Web de visualisation avancée d IBM : ibm.com/software/analytics/many-eyes/ Pour en savoir plus sur la visualisation extensible et pour voir les visualisations extensibles actuellement disponibles chez IBM, rendez-vous sur Extensible Visualization Community dans Analytics Zone: analyticszone.com/visualization A propos de l auteur T. Alan Keahey joue un rôle prépondérant dans la recherche et le développement de systèmes de visualisation d informations hautement innovants depuis près de 20 ans. Son expérience couvre une vaste gamme d environnements ; il a été notamment chercheur dans des laboratoires nationaux, directeur de recherche d une entité propre de Lucent Bell Labs et fondateur de sa propre entreprise de recherche et développement en visualisation. Il s efforce de relier les capacités créées dans les environnements de recherche et les besoins des clients professionnels du monde réel. Alan occupe actuellement le poste de Visualization Science and Systems Expert à l IBM Business Analytics Office du CTO. Blog : LinkedIn :

15 Business Analytics 15 À propos d IBM Business Analytics Les logiciels IBM Business Analytics fournissent des informations orientées données pour aider les organisations à travailler de manière plus intelligente et à surpasser leurs concurrents. Le portefeuille de produits, très complet, inclut des solutions de Business Intelligence, d analyse prédictive, d aide à la décision, de pilotage de la performance et de gestion des risques. Les solutions IBM Business Analytics aident les entreprises à identifier et à visualiser les tendances et les schémas présents dans certains secteurs (comme l analyse client) qui peuvent avoir un effet déterminant sur leurs performances. Elles leur permettent de comparer des scénarios, d anticiper des menaces et des opportunités potentielles, de mieux planifier, budgétiser et prévoir leurs ressources, d équilibrer le rapport entre les risques potentiels et les retours sur investissements prévus, et de respecter les réglementations. En élargissant l utilisation de l analyse, les organisations peuvent adapter leurs décisions tactiques et stratégiques afin d atteindre leurs objectifs. Pour plus d informations, visitez le site ibm.com/business-analytics/fr Demander à être appelé Pour être contacté ou pour poser une question, accédez au site ibm.com/business-analytics/fr Un représentant IBM vous répondra sous deux jours ouvrés.

16 Compagnie IBM France 17 Avenue de l Europe Bois-Colombes Cedex La page d accueil d IBM est accessible à l adresse suivante : ibm.com IBM, le logo IBM logo, ibm.com, BigInsights, Cognos, InfoSphere, et SPSS sont des marques d International Business Machines Corp., déposées dans de nombreuses juridictions réparties dans le monde entier. Les autres noms de produits et de services peuvent être des marques d IBM ou d autres sociétés. Une liste actualisée de toutes les marques d IBM est disponible sur la page Web «Copyright and trademark information» à l adresse suivante : ibm.com/legal/copytrade.shtml Le présent document contient des informations qui étaient en vigueur et valides à la date de la première publication et qui peuvent être modifiées par IBM à tout moment. Toutes les offres mentionnées ne sont pas distribuées dans tous les pays où IBM exerce son activité. LES INFORMATIONS DU PRÉSENT DOCUMENT SONT FOURNIES «EN L ÉTAT» ET SANS GARANTIE EXPLICITE OU IMPLICITE D AUCUNE SORTE. IBM DÉCLINE NOTAMMENT TOUTE RESPONSABILITÉ RELATIVE À CES INFORMATIONS EN CAS DE CONTREFAÇON AINSI QU EN CAS DE DÉFAUT D APTITUDE À L EXÉCUTION D UN TRAVAIL DONNÉ. Les produits IBM sont garantis conformément aux dispositions des contrats au titre desquels ils sont fournis. 1 Donald A. Norman, The Design of Everyday Things. New York: «Analytics: The real-world use of big data.» IBM Institute for Business Value, en collaboration avec la Said Business School de l Université d Oxford gbe03519usen/gbe03519usen.pdf 3 «Analytics: The real-world use of big data.» Copyright IBM Corporation 2013 Pensez à recycler ce document YTW03349-FRFR-00