FreeAnalysis Schema Designer Cubes Charles Martin et Patrick Beaucamp BPM Conseil Contact : charles.martin@bpm-conseil.com, patrick.beaucamp@bpm-conseil.com Janvier 2013 Document : BPM_Vanilla_FreeAnalysisSchemaDesigner_v4.2_FR.odt Version 4.2 1
Table des matières 1Introduction...3 2Principes de base...5 2.1La technologie OLAP...5 2.2Exemple...7 3Installation...10 3.1Prérequis...10 3.2Installation du Package...11 4FreeAnalysis Schema Designer...12 4.1Vue générale de l'application...12 4.1.1Revue des menus et de l'interface...14 4.1.1.1Menus...14 4.1.1.2Interfaces...14 4.2Créer votre premier projet FreeAnalysis...16 4.2.1Définition de la source des données...16 4.2.2Définition des dimensions...20 4.2.3Définition de mesures...23 4.2.3.1Mesure importée...23 4.2.3.2Mesure calculée...24 4.2.4Définition de cube...25 4.2.5Cube Explorer : exploration du cube...27 4.2.6Publication du schéma...28 5Conclusion...29 5.1Liens utiles...29 2
1 Introduction L évolution de l économie mondiale demande aux entreprises qui souhaitent garder un rôle majeur sur leur marché de relever de nombreux challenges. Parmi ces challenges, nous pouvons citer : La capacité de mettre à disposition des produits de qualité dans un temps de cycle de plus en plus court, La réactivité d adaptation aux évolutions rapides de la demande du marché, L amélioration sans cesse de la productivité de l entreprise, Ces challenges importants à relever ne peuvent se faire sans des remises en cause importantes des processus business de l entreprise et donc des systèmes d informations qui les supportent. La capacité des systèmes d informations de l entreprise à répondre et à s adapter aux évolutions des processus business devient de plus en plus une arme décisive pour les entreprises qui souhaitent sortir vainqueurs. Ces systèmes d information n auront cette capacité de réponse et d adaptation que si l entreprise les gère avec volonté. Ce management implique au moins les actions suivantes : Une administration importante des données, Une politique volontariste d urbanisation des applications, Une capacité à profiter des opportunités des technologies innovantes. Le concept d entrepôts des données s inscrit parfaitement dans un management fort du système d information visant un meilleur support des besoins et des évolutions des processus business. L atout principal d une entreprise réside dans les informations qu elle possède. Ces informations se présentent généralement sous deux formes. Les systèmes opérationnels qui enregistrent les données et les entrepôts de données (data warehouse). En bref, les systèmes opérationnels représentent l emplacement de saisie des données, et l entrepôt de données l emplacement de la restitution. FreeAnalysis vous offre des outils logiciels pour mettre en place votre système décisionnel, avec 3
pour objectifs : de vous donner un accès rapide et compréhensible au contenu de votre entrepôt de données, avec une navigation facile et rapide, en quelques clics à peine, de relier les informations provenant de plusieurs sources de manière cohérente, de modifier vos données, d'en rajouter, de faire évoluer le système avec les évolutions extérieures sans tout bouleverser, de gérer un accès sécurisé aux données, tout en offrant une bonne visibilité de l'utilisation des données, et enfin, de vous aider à prendre les bonnes décisions en fonction de toutes ces informations recueillie et analysées, grâce à la présentation des données sous forme de graphiques. FreeAnalysis est basé au départ sur une l'api Uolap (API développée par BPM-Conseil), et, de fait, nous vous encourageons à utiliser FreeAnalysis comme un designer central de schémas OLAP. Le client FreeAnalysisWeb est l'un des outils de la plate-forme FreeAnalysis. Il s'agit d'une application Web 2.0 (implémentée sur le framework GWT 2.4). FA Web fourni des fonctions Olap pour les schémas Mondrian et également les autres formats MDX / XMLA tels que des cubes Microsoft Analysis ou Hyperion. FreeAnalysis est la première et unique plate-forme OpenSource Olap qui supporte les deux technologies Rolap & Molap. Vos commentaire, retours et support sont les bienvenus : freeanalysis@bpm-conseil.com BPM-conseil peut apporter un support à ces outils, des services de consultation pour mettre en œuvre une solution de BI et peut également fournir des services de formation personnalisée pour vous aider à construire avec succès des outils d'aide à la décision. 4
2 Principes de base 2.1 La technologie OLAP L'ensemble de la plate forme FreeAnalysis est basée sur la technologie OLAP. Le but de l'olap (On-Line Analytical Processing) est de permettre une analyse multidimensionnelle sur des bases de données volumineuses afin de mettre en évidence une analyse particulière des données (il est l'objet d'un questionnement particulier). Ceci est possible grâce à la création de représentations multidimensionnelles (appelées hypercubes ou «cubes OLAP») selon des critères préétablis, afin de simuler des situations. Il y a des milliers de documents et de discussions à propos des structures Olap, principalement (R)Olap, (M)Olap, (D)Olap, (H)Olap, où : R-OLAP (Relational) : indique que les données sont conservées et disponibles dans des tables relationnelles SQL M-OLAP (Multidimensional) : indique que les données sont conservées dans des fichiers de cubes, utilise une structure de base de données optimisée pour les attributs comme le temps, l'emplacement, les produits. La maniere dont les données seront regroupées est définie à l'avance par les Hierarchies. D-OLAP (Desktop) : indique un déploiement spécifique de l'architecture de cubes Molap H-OLAP (Hybrid) : indique la possibilité pour une plate forme de choisir le format et l'endroit d'enregistrment du cube, entre des tables relationnelles (Rolap) et des cubes multidimensionnels (Molap) Globalement, la technologie Olap a pour but de représenter les données en utilisant des dimensions et des mesures qui sont utilisées pour explorer les données et recevoir des grilles de données en retour (remplie par les mesures). Chaque dimension peut avoir de nombreuses hiérarchies, et chaque hiérarchie a un nombre illimité de niveaux. Les valeurs pour chaque niveaux sont appelés des membres, et les valeurs pour le niveau supérieur est appelé membre de base. Les bases de données Olap sont connues comme des cubes du fait que l'utilisateur peut manipuler 5
les données dimensionnelles pour tourner la vue vers différentes mesures. Un hypercube OLAP (ou cube OLAP) est une représentation abstraite d'informations multidimensionnelles exclusivement numériques. Cette structure est prévue à des fins d'analyses interactives par une ou plusieurs personnes (souvent ni informaticiens ni statisticiens) du métier que ces données sont censées représenter. Les cubes OLAP ont les caractéristiques suivantes : obtenir des informations déjà agrégées selon les besoins de l utilisateur. simplicité et rapidité d accès capacité à manipuler des données agrégées selon différentes dimensions un cube utilise les fonctions classiques d agrégation : min, max, count, sum, avg, mais peut utiliser des fonctions d agrégations spécifiques Le cube OLAP donne accès à des fonctions qui vont vous permettre d'extraire uniquement les données qui vous intéressent. Ces fonctions sont fournies par le langage MDX qui est un langages de requête multidimensionnel comparable au SQL sur une base de données relationnelles. Ainsi, à l'intérieur d'un cube vous pourrez sélectionner un couple de dimension à cibler (Rotate), extraire toute les données pour une valeur bien précise sur une dimension (Slicing), obtenir les données selon un certain niveau de détails (Drill-up/ Drill-Down), ou alors obtenir l'ensemble des données élémentaires ayant servis au calcul d'une donnée aggrégée. Les données à analyser se trouvent dans une table appelée table de fait et sont généralement des donnée quantitatives. On appelle ces données des Mesures. Ces données sont montrées par rapport à des axes d'analyse qu'on appelle des Dimensions. Les dimensions sont elles-mêmes découpées en plusieurs niveaux différents. Au sein d'une même dimension on peut vouloir obtenir nos informations en suivant des granularités (enchainement des niveaux) différentes. Ces différences de granularité sont appelée des hiérarchies. 6
2.2 Exemple Pour bien comprendre ces concepts, examinons un exemple concret. Imaginons que nous ayons pour client une chaîne de magasins et que celui-ci veuille analyser le détails de ses ventes pour déterminer quelle gamme de produit se vend le mieux et celle qui se vend le moins. Nous avons donc à l'intérieur d'une table des données «ventes» et «quantité». Ces données sont nos mesures. Notre client étant une chaîne de magasins, il va nous falloir localiser géographiquement nos ventes. Nous allons donc avoir une dimension Geographie. Notre dimension géographie peut se découper en «Région», «Département» et «Ville». Pour que nos données sur les ventes aient une réelle signification, il faut pouvoir évaluer sur quelle période elles ont été réalisées, il va donc nous falloir une dimension Temps. Divisons cette dimension en plusieurs niveau les années, les trimestres, les saisons, les mois et les jours. Pour pouvoir savoir sur quel gamme de produit mettre l'accent dans nos publicités il va falloir que nous ayons une dimension Catégorie que nous allons diviser en type de Produit, Gamme, Nom de Produit et Couleur. Nous obtenons le schéma suivant : 7
C'est une représentation graphique, en étoile, de notre cube. Nous allons donc pouvoir regarder nos mesures «Quantité» et «Montant» suivant tous les critères que nous avons définis dans les niveaux de nos dimensions. Les cubes suivent principalement deux modèles différents, le modèle en étoile et le modèle en flocon. Le schéma suivant représente le modèle en flocon. Le principe est le même que pour le modèle en étoile, mais en plus les dimensions sont décomposées. Le but est d'économiser ainsi de la place. Les dimensions sont basées sur les tables de dimensions, et les mesures sur les tables de fait. 8
Le cube obtenu pourrait être schématisé ainsi : 9
3 Installation 3.1 Prérequis FreeAnalysisSchemaDesigner, tout comme les clients FreeAnalysis, est construit sur une base Eclipse RCP Framework. Eclipse RCP nécessite une Java Virtual Machine 1.6 JVM 1.6 est disponible à : http://java.sun.com/j2se/1.5.0/download.jsp Sans une JVM 1.6, vous recevrez un message de type classloader error. La suite de ce guide suppose que les lecteurs sont confortables avec les concepts d'utilisation de package et d'olap. 10
3.2 Installation du Package FreeAnalysis Schema Designer et FreeAnalysisWeb sont des composants de la plateforme FreeAnalysis qui doivent être installés sur votre ordinateur pour fonctionner. Pour ceci, rendez-vous dans la section download du site : http://www.bpm-conseil.com/ 11
4 FreeAnalysis Schema Designer 4.1 Vue générale de l'application En tant que Designer de schéma OLAP, FASD contient les fonctionnalités les plus utiles et indispensables afin de construire un schéma Olap, telles que les dimensions, les mesures et les cubes. Les dimensions contiennent des hiérarchies, des niveaux et des membres Les mesures contiennent des fonctions d'agrégation Les cubes sont définis par les dimensions et les mesures Un schéma Olap est un endroit où les dimensions, les mesures et les cubes sont définis. Ces notions permettent d'analyser les données en fonction de différents paramètres, les dimensions. Il s'agit d'un système basé sur Mondrian, un véritable système dimensionnel, dans lequel les dimensions proviennent de certaines tables (tables de dimensions), les données en elles-même d'autres tables (tables de fait), toutes ces tables étant reliées entre elles, formant ainsi un schéma en étoile ou en flocon. Les cubes sont les représentations de ces données. Mondrian les mets à plat dans un tableau en deux dimensions, mais qui peut être découpé et partagé avec plus ou moins de détails en fonction des dimensions que l'on souhaite. L'obtention de graphique en devient possible par la suite. 12
En plus de celles-ci, nous fournissons quelques fonctions utiles : Un navigateur de base de données intégré qui permet au développeur de parcourir et d'insérer une structure de base de données en tant que qu'objet de données pour un usage futur dans le processus de création Un système de sécurité, basé sur la définition des rôles et des vues, qui permet au développeur de construire une stratégie de sécurité pour l'accès aux données Olap. L'accès à d'utiles fonctions et propriétés, telles que les propriétés d'un item, la définition d'un cube Molap (disponible prochainement), et un assistant de déploiement de schéma. La compatibilité avec les Mondrian Schema forward/backward en utilisant le processus Import /Export Assistance illimitée pour le Annuler / Refaire dans n'importe quelle fenêtre Une interface complète en glisser déposer pour la manipulation des objets.!!!!!!!! Soyez certains de comprendre les concepts expliqués ici, puisque ces concepts sont indispensables pendant la gestion d'un projet!!!!!!!! 13
4.1.1 Revue des menus et de l'interface 4.1.1.1 Menus Fichier : permet la création et la gestion de projets «.fasd», et donne accès aux propriétés du projet et les préférence de l'environnement. Outils : Accès aux fonction d'import et export avec les fichiers de définition Mondrian, de validation de l'object actuel Aide : Accès simple à la fonction A propos, qui vous donne des informations sur la distribution et les plugins liés. FreeAnalysis : Accès au module Explorer UnitedOlap : Menus de gestion du cache Repository : Gère les connections au repository 4.1.1.2 Interfaces Data sources : lieu où l'on gère les sources de données des origines multiples sont supportées par les fichiers «.fasd» Dimensions : gestion des dimensions Mesures : gestion des mesures Cubes : Gestion des cubes Properties : gestion des détails de l'item sélectionné Barre d'icônes : les icônes sont des raccourcis par rapport au contenu des menus de l'interface. 14
Au lancement de l'application, vous obtenez cette fenêtre, où vous pourrez sélectionner l'action qui vous convient : Vous pourrez trouver des exemples dans le dossier 'samples', que vous trouverez dans le dossier d'installation de FreeAnalysis Schema Designer. 15
4.2 Créer votre premier projet FreeAnalysis Créer un projet freeanalysis est simple et conviviale car vous disposez d'une interface glisserdéposer fonctionnelle. Créer un projet simple FreeAnalysis est un processus en 5 étapes.!!!!! Ne pas utiliser d'accents,d'espaces ou de signes dans les noms que vous donnerez à vos dimensions, mesures et cubes!!!!! 4.2.1 Définition de la source des données La définition des sources de données est une méthode pour définir les tables de dimension et de faits. En utilisant soit la barre d'icônes, soit le menu contextuel (base de donnée avec un '+' dans la zone «Data Sources», nous pouvons facilement accéder à l'assistant de définition des données : Sélectionnez ensuite votre type de source de données (nous choisirons ici JDBC) : Renseignez ensuite un nom pour la source de données dans la fenêtre suivante et cliquez sur Next. 16
Renseignez ensuite les informations de connexion relatives à votre base de données : Veuillez trouver ci-dessous les chaines de connexion standards aux bases de données les plus communes : Hypersonic : jdbc:hsqldb:hsql://ip:port/base MySQL : jdbc:mysql://ip:port/base H2 jdbc:h2://ip:port/base Ingres jdbc:ingres://ip:port/base Teradata jdbc:teradata://ip:port/base Vanilla FreeMetaData jdbc:fmdt://ip:port/base Oracle jdbc:oracle:thin:@ip:port/base PostgreSql jdbc:postgresql://ip:port/base Derby jdbc:derby://ip:port/base SqlServer jdbc:jtds:sqlserver://ip:port/base Une fois votre connexion testée, validez en cliquant sur Terminer. Votre source de données est créée. 17
Nous allons à présent ajouter une table de dimension (faire de même pour les autres tables de dimension et table de fait). Sélectionnez votre source de données puis ajouter une table en cliquant sur le bouton d'ajout de jeu de données dans la barre d'outils : Sélectionnez votre source de données et nommez le jeu de données : Renseignez ensuite le script SQL permettant de créer votre jeu de données. 18
Une fois créé, sélectionnez ensuite votre jeu de données et définissez un type à appliquer (dimension, fait, autres ) : Pensez à valider en cliquant sur 'Appliquer les changements'. Une fois vos différentes tables créées, vous pouvez à présent définir vos jointures grâce à l'interface de FASD. Cliquez sur l'icône de création de relations dans la barre d'outils : Définissez vos relations entre tables et valider par OK. 19
4.2.2 Définition des dimensions L'étape suivante, une fois que la structure des données est disponible, est de définir une dimension. On peut là aussi soit utiliser l'icône correspondante dans la barre du haut, soit utiliser le menu contextuel (symbole avec les axes). Une fois créé, vous pouvez y apporter des modifications, mais n'oubliez pas de valider cette modification dans l'interface. 20
En définissant les dimensions, le développeur a besoin d'information à propos de la hiérarchie et des niveaux pour la hiérarchie de chaque dimension. N'oubliez pas d'indiquer la fonctionnalité «All members», qui est tellement utile pour avoir une vue de l'arbre consistante dans l'interface client. En effet c'est la mention qui apparaitra dans le tableau de FreeAnalysis Web lorsque vous voudrez qu'il affiche un regroupement des données correspondant aux dimensions. Pour définir la hiérarchie, vous pouvez soit choisir le menu contextuel, soit glisser-déposer une table depuis l'arbre des sources de données directement dans la zone de dimensions, ce qui créera automatiquement la hiérarchie pour vous. 21
La manipulation est la même pour définir le niveau, en utilisant soit le menu contextuel, soit le glisser-déposer depuis les colonnes disponibles dans l'arbre des données. N'oubliez pas d'indiquer si le niveau a un membre unique ou pas, et validez votre entrée. 22
4.2.3 Définition de mesures 4.2.3.1 Mesure importée La définition de mesure est l'étape suivante de notre processus. Les mesures peuvent être définies en utilisant le glisser-déposer depuis les colonnes de la tables de faits ou depuis le menu contextuel. N'oubliez pas de choisir la fonction d'agrégation. 23
4.2.3.2 Mesure calculée Vous pouvez définir votre propre mesure calculée en utilisant l'interface depuis l'onglet formule de l'assistant de création de mesures. 24
4.2.4 Définition de cube Il s'agit de l'étape finale, et c'est effectué exactement de la même manière que la définition des autres éléments. Le cube contient à la fois les dimensions et les mesures, que l'on peut glisserdéposer depuis leur zone. Vous pouvez également utiliser l'assistant de création de cubes (en cliquant sur l'icône de cube bleu), dans ce cas n'oubliez pas d'aller dans les onglets dimensions et mesures pour les assigner au cube. 25
Définition finale du cube 26
4.2.5 Cube Explorer : exploration du cube Vous pouvez explorer votre cube et le manipuler depuis le module de création qu'est FreeAnalysis Schema Designer. Pour cela, vous pouvez accéder à ce composant de 2 manières : Via le menu FreeAnalysis Grâce à l'icone située dans la barre d'outils supérieure Une fois cette interface lancée, cliquer sur le bouton 'Charger un cube'. La fenêtre suivante apparaît : Sélectionnez votre cube (dans le système de fichier ou bien le modèle courant), puis cliquez sur charger un schéma. Sélectionnez ensuite votre schéma (ici 'Ventes') puis cliquez sur OK. Le cube apparaît à l'écran pour manipulations. 27
4.2.6 Publication du schéma Pour la sauvegarde, le schéma peut être exporté dans le référentiel Vanilla au format «.fasd» et ouvert dans l'interface FreeAnalysis Web. 28
5 Conclusion 5.1 Liens utiles http://en.wikipedia.org/wiki/olap : Pour en savoir plus sur les schémas Olap www.bpm-conseil.com www.freeanalysis.org 29