Conception et déploiement du système décisionnel de l activité commerciale d Algérie Télécom

Transcription

1 République Algérienne Démocratique et Populaire Ministère de l Enseignement Supérieur et de la Recherche Scientifique Université Saâd Dahlab, Blida USDB. Faculté des sciences. Département informatique. Mémoire pour l obtention d un diplôme d ingénieur d état en Génie informatique. Option : Système d information Sujet : Conception et déploiement du système décisionnel de l activité commerciale d Algérie Télécom Présenté par : - Moussa GUENDOUZ Promoteur: - M. BALA - Mustapha abdessalam LABDANI Encadreurs: - F. BENSAID - K. AIT SAADI Organisme d accueil : Algérie Télécom Soutenus le:, devant le jury composé de : Nom président du jury, grade, organisme Nom examinateur 1, grade, organisme Nom examinateur 2, grade, organisme Président Examinateur Examinateur /2008-

2 Remerciement En entamant cette recherche, notre souhait était d apporter notre contribution dans un domaine celui de l informatique aussi vaste et en perpétuel développement. Notre souhait est aussi de voir notre contribution constituer une pierre dans l édifice et être un outil de travail utile. Mais cette contribution n a été possible, que grâce aux personnes de métier qui n ont failli à aucun moment pour nous apporter aide, soutien et orientation dans nos travaux. A toutes ces personnes, nous adressons nos vifs remerciements. Nous remercions particulièrement Monsieur KAMAL AIT-SAADI, Directeur du Centre Régional d Alger, notre encadreur Madame BENSAID FATIHA, Chef de Projet Informatique, Monsieur MAHFOUD BALA, notre promoteur de l université de Blida, ainsi que toute l équipe d Algérie Télécom pour leur disponibilité et leur encouragement pour l achèvement de cette recherche. Sans oublier bien sûr nos enseignants du Département Informatique de l Université de Blida et les membres du jury qui nous ont fait l honneur de juger ce travail.

3 Dédicaces A toutes celles et tous ceux qui m ont accompagné durant tout le temps, qu à nécessité ma recherche en m apportant soutien, aide et encouragement, à ma mère, mon père, je dédie mes travaux. Moussa GUENDOUZ Je dédie ce travail à toute ma famille surtout à mes parents, ma grand-mère, ma tante qui m ont donné tous leur soutien, leur aide et leur attention. A mes frères, mes sœurs, mes cousins et mes amis. Mustapha Abdessalam

4 Résumé L informatique décisionnelle prend aujourd'hui une importance grandissante au sein des entreprises, dans le monde entier. En effet, selon diverses études de marché, les infrastructures décisionnelles comptent de plus en plus parmi les priorités des décideurs. En d autres termes, elle est vraisemblablement la clé de voûte de l'entreprise intégrée par les technologies. Il serait d'ailleurs imprudent de la réduire à une simple liste d'outils technologiques. Elle conceptualise un changement radical de l'usage des technologies de l'information en entreprise. Avec le déploiement de l informatique décisionnelle, il s'agit de passer d'une utilisation exclusivement productiviste de la technologie comme nous l'avons connu du temps de l'"informatique traitement de données", à une exploitation rationnelle et coopérative de l'information "stratégique". Mots-clés : Intelligence économique, Décisionnel, Entrepôt de données, Magasin de données, OLAP, ETL, Tableau de bord, Analyse multidimensionnelle, Dimension, Fait, Cube.

5 Abstract The information technology decision-making, is now making a growing importance within companies in the world. Indeed, according to various market research, infrastructure decisions, are increasingly among the priorities of policymakers. In other words, it is probably the keystone of the integrated by technology. It would be unwise to reduce it to a simple list of technological tools. It conceptualizes, a radical change in the use of information technology in enterprises. With the deployment of information technology, decision-making is shifting from a productivist exclusively use of technology, as we have seen time 'computer data processing", to an efficient and cooperative information "strategic". Keywords : Business Intelligence, Data Warehouse, Data Mart, OLAP, ETL, Dimension, Fact, Data Mining, Dashboard, Reporting.

6 Table des matières Lexique.. i Index des Figures... iii Index des tableaux... v Index des Diagrammes... vi Introduction générale 1. Contexte général Problématique Objectifs Organisation du mémoire. 4 Partie I: Etat de l art CHAPITRE 1 : Les Principes du décisionnel 1.1. Intelligence économique Définitions de l Intelligence Economique.. 5 c Etapes du processus de l Intelligence Economique Cycle de renseignement Outils d Intelligence Economique Conclusion Les systèmes transactionnels et décisionnels Introduction Concepts de base Conclusion Le Data Warehouse Introduction Data Warehouse et ses composants Alimentation d un Data Warehouse Exploitation des données du Data Warehouse Conclusion 21 CHAPITRE 2 : Technologie OLAP 2.1. Introduction Les concepts de la technologie OLAP Etat technologique Conclusion.. 31 Partie II: Etude de l existant CHAPITRE 3 : Présentation de l organisme d accueil 3.1. Présentation d ALGERIE TELECOM Organisation d'algerie TELECOM Systèmes d information d Algérie Télécom Conclusion 37

7 Table des Matières CHAPITRE 4 : Présentation du Tableau de Bord opérationnel «G.INFO» 4.1. Description du «G.INFO» Avantages du «G.INFO» Inconvénients du «G.INFO» Conclusion Partie III: Méthode de Conception d un Data Warehouse CHAPITRE 5 : Modélisation multidimensionnelle 5.1. Introduction Consolidation des besoins Composants du modèle multidimensionnel.. 43 c 5.4. Passage du modèle relationnel au modèle multidimensionnel Conclusion. 46 CHAPITRE 6 : Démarche de conception et langage UML 6.1. Introduction Définition d une méthode de conception Démarches de gestion de projets classiques vers Data Warehouse Démarche de conception de 'Ralph Kimball' Langage de conception 'UML' Conclusion Partie IV : Conception de l entrepôt de données d ALGERIE TELECOM CHAPITRE 7 : Définition des besoins 7.1. Elaboration de questionnaires Préparation des entretiens Constituants de l entrepôt de données d AT Les Diagrammes des cas d utilisation Conclusion. 59 CHAPITRE 8 : Modélisation multidimensionnelle 8.1. Conception du modèle multidimensionnel Modélisation multidimensionnelle de l activité commerciale d AT Schéma de Data Warehouse de l activité commerciale d AT Conclusion. 68 CHAPITRE 9: Conception du système décisionnel 9.1. Conception des éléments des différentes phases «ETL» Phase 'ETL' Diagrammes de cas d utilisation et de séquence Diagramme d état transition du Système 'ETL' Diagramme d activité du système 'ETL' Conclusion Reporting Introduction. 75

8 Table des Matières Diagrammes de cas d utilisation et de séquence Conclusion Mise en œuvre et Déploiement Introduction Diagrammes de composants Diagrammes de déploiement Conclusion 82 Partie V : Mise en œuvre et déploiement CHAPITRE 10 : Environnement et outils de développement SGBD «Oracle» Introduction sur l Open Source Pentaho Data Integration (PDI) Présentation des Solutions de Reporting Serveur d applications «Tomcat». 90 CHAPITRE 11 : Implémentation et mise en œuvre Définition de l Architecture matérielle et technique Construction de la base de l Entrepôt Construction de la Zone d alimentation avec PDI Mise en œuvre du système de Reporting Intégration de Google Maps au Tableau de Bord. 109 CHAPITRE 12 : Démonstration du système Portail d accès des utilisateurs via le Web Démonstration des solutions de Reporting Démonstration du mode d analyse géographique 'Google Maps' Gestion des comptes utilisateurs Gestion des seuils d indicateurs Conclusion 123 Perspectives et suggestions Conclusion Générale Annexes Bibliographie

9 LEXIQUE Terme Désignation ACTEL Agence Commerciale des Télécommunication. API Application Programming Interface : interface de programmation d application, contenant un ensemble de fonctions courante. AJAX Asunchronous Java Script and Xml : un langage de programmation orienté web combine entre le Java Script et l XML. AT Algérie Télécom. Autocom Un autocommutateur est un équipement réseau qui gère plusieurs Répartiteurs. Base de données Une base de données multidimensionnelle par opposition à une multidimensionnelle base de données relationnelle est une base dénormalisée ou il existe une table centrale (table de fait) liée à toutes les autres tables (tables de dimension). BI Business Intelligence, l intelligence économique. Business Objects Un éditeur mondial de solutions informatiques spécialisé dans le domaine d intelligence économique. CHART «Mot anglais», un Graphique. CNAD Centre Notionnel d archivage et de la documentation. CRPI Centre Régionale de Production Informatique. Cube Un cube de données est une structure dimensionnelle comme une table est une structure relationnelle. Un cube est constitué d'un ou plusieurs tables de faits avec leurs tables de dimension. dashboard Tableau de Bord. Data Mining Fouille de données, traitement et analyse statistique des données d un DW. Data Warehouse Entrepôt de Données. Datamart Magasin de données, sous ensemble d un Data Warehouse. DNPI Direction Notionnel du projet Informatique. Drill-down Faire un drill-down, c'est avoir un niveau de détails sur les données EIS Executive Information Système. ERP Entreprise ressource Planning, aussi appelés Progiciels de Gestion Intégrés (PGI). ETL Extraction transformation et chargement (Extraction/Transformation/Loading en Englais). GAIA La base de production téléphonique. IDT Informatisation Des Télécommunications. JDBC Java DataBase Connectivity : Accès aux bases de données à l aide de classes Java. JSP Java Server Pages. Mesure Une mesure est une quantité présente dans la table de fait qui permet de mesurer les faits. Métadonnées Des données sur les données, les métadonnées sont cruciale pour le fonctionnement et la maintenance d un Data Warehouse. Molap Multidimensionnelle OLAP. Niveau de hiérarchie Un niveau de hiérarchie se définit au niveau des tables de dimensions. Cela permet d'agréger les données. OLAP OnLine Analytical Processing. Opposé à l'oltp. i

10 OLTP OnLine Transactional Processing. Il s'agit des traitements transactionnels. Référentiel ETL Un jeu de données ou une base de données qui peuvent être accédés par un des clients ETL, afin d'enregistrer et de charger des transformations, des tâches et des connexions à des bases de données. Répartiteur Distributeur de ligne dans un réseau téléphonique. Reporting Nom anglais, signifie la génération et la publication des rapports. Roll-up Roll-up est le contraire de drill-down. C'est donc faire de l'agrégation (ou résumé) des données. Serveur d'analyse Un serveur d'analyse ou serveur OLAP est un serveur de base de données multidimensionnelle. Serveur Serveur d applications Java 2 Entreprise Edition, tel que Tomcat et d'applications J2EE JBoss. SGBD Système de Gestion de Base de Données. SI Système d Information. SIAD Système d Information d Aide à la Décision. SID Système d Information Décisionnel. SQL Structured Query Language. Snapshot Vue Matérialisée, elle peut être utilisée dans l exploitation des cubes Olap. Table de fait Une table de fait est une table contenant tous les faits du SI et dont dépendent toutes les autres tables. Cette table ne contient que des clés étrangères venant des tables de dimension et des valeurs numériques appelées mesure. Exemple de table de fait : table des Ventes. Tables de dimension Les tables de dimension sont des tables servant d'axes d'analyse. Tomcat Projet Open Source, réalisé par la communauté Jakarta, au sein du groupe Apache. UML Unified Modeling Language. VLDB Very Large Data Base. XML extensible Markup Language. ii

11 Liste des Figures : Numéro de Figure Désignation PAGE 1.1 Etapes du processus d intelligence économique L Infocentre Entrepôt de données Base Multidimensionnelle Données Non Volatiles Composants de base d un Data Warehouse Processus d Alimentation Système OLAP dans un Data Warehouse Organigramme d AT Organigramme de la DNPI Architecture Technique du G.INFO Schéma en étoile Schéma en flocon de neige De l étoile au cube Architecteur OLAP Schéma de cycle de vie dimensionnel Exemple de représentation des besoins en indicateur avec le diagramme de cas d utilisation Modèle Multidimensionnel en étoile de l activité «DEMANDE» Modèle Multidimensionnel en étoile de l activité «DEMANDE_CUMULE» Modèle Multidimensionnel en étoile de l activité «CLIENT» Modèle Multidimensionnel en étoile de l activité «CLIENT_CUMULE» Modèle Multidimensionnel en étoile de l activité «DOSSIER_ACTIF» Modèle Multidimensionnel en étoile de l activité «DOSSIER_RESILIE» Modèle Multidimensionnel en étoile de l activité «SERVICE» Le schéma relationnel de la base décisionnelle Description PDI Exemple d une transformation PDI Architecture BIRT Architecture Oracle CHART BUILDER Architecture technique du Système décisionnel Création du Référentiel ETL nommé 94 AT_ETL_REFERENTIEL 11.3 Connexion au Référentiel ETL AT_ETL_REFERENTIEL Processus d alimentation de la table de dimension 96 GEO_DIM 11.5 Création de l étape d extraction à partir de la base de 96 Production Gaia ALGER 11.6 Modélisation de la transformation TRANS_GEO_DIM Création de la transformation TRANS_DOS_RESILE Création de la tâche TACHE_DOSSIER_RESILIE_FAIT Trace d exécution de la tâche Globale Planification de la tâche TACHE_DIM_FAIT_GLOBALE 100 iii

12 Liste des figures (Suite) : Interface principale de BIRT Designer Interface de connexion au Data Warehouse (JDBC) Création d un Data Set DOSSIER_ACTIF_FAIT Création d un cube de données Editeur des Cubes de données Aperçus du cube créé Génération d un rapport avec Birt Architecture de déploiement d un rapport Birt Processus de Reporting Oracle Chart Elément d un Diagramme à Axe Description de l utilisation de Google Maps API Portail d accès des utilisateurs Fenêtre des Fonctionnalités utilisateur Administrateur Fenêtre des Fonctionnalités utilisateur Décideur Fenêtre des Fonctionnalités utilisateur Analyste Interface principale du processus commercial Paramètres d exécution d un rapport BIRT Nombre de Dossiers Actifs Niveau Région Nombre de Dossiers Actifs Niveau Wilaya Nombre de Dossiers Actifs Niveau Actel Nombre de Dossiers Actifs par Constructeur Représentation Graphique Nombre de Dossiers Actifs par Constructeurs en 3D Nombre de Demandes Validées avec contrôle du seuil de l indicateur Nombre de Clients Ayant SERV_HCONS Niveau Région Nombre de Clients Ayant SERV_HCONS Niveau Wilaya Taux service hors consommation par wilaya Analyse Géographique Google Maps Interface de gestion de comptes utilisateurs Ajout d un compte utilisateur Interface de gestion des seuils d indicateurs 123 iv

13 Liste des tableaux : Numéro du Tableau Désignation PAGE 2.1 Comparaison entre OLTP et OLAP Secteurs utilisant OLAP Types d application OLAP Caractéristiques clefs d un système OLAP Avantages et inconvénients du système MOLAP Avantages et inconvénients du système ROLAP Services d un CRPI Différence entre démarches classiques et Data Warehouse Citation des principaux diagrammes UML utilisé dans les déférentes phases dimensionnelles du 54 cycle de vie 7.1 Tableau des dimensions Tableau des Activités Solutions décisionnelles commerciales et Open 83 Source 10.2 Utilisation de BIRT et Oracle Chart Builder Tables de la base Décisionnelle Rôles des utilisateurs selon leurs Profils 113 v

14 Liste des Diagrammes : Numéro du Diagramme Désignation PAGE 7.1 Diagramme de cas d utilisation de l activité demande Diagramme de cas d utilisation de l activité client Diagramme de cas d utilisation de l activité dossier Diagramme de cas d utilisation de l activité service hors consommation Diagramme de cas d utilisation du processus d extraction Diagramme de séquence du processus d extraction (Cas normal) Diagramme de séquence du processus d extraction (Cas d erreur) Diagramme de cas d utilisation du processus de transformation et de chargement Diagramme de séquence du processus de transformation et de chargement (cas normal) Diagramme de séquence du processus de transformation et de chargement (cas d erreur) Diagramme d État Transition : système ETL Diagramme d Activité du système ETL Diagramme de cas d utilisation de l interface Tableau de Bord Diagramme de séquence du processus de connexion au système (cas normal) Diagramme de séquence : Connexion au système (cas d erreur) Diagramme de séquence : Visualisation des rapports Diagramme de cas d utilisation : Gestion des comptes utilisateurs Diagramme de séquence : Création d un nouveau compte d utilisateur (Cas normale) Diagramme de séquence : Création d un nouveau compte d utilisateur (Cas d erreur) Diagramme de séquence : Modification d un compte d utilisateur Diagramme de séquence : Suppression d un compte d utilisateur Diagramme de cas d utilisation Gestion des seuils d indicateur Diagramme de séquence : Création d un nouveau Seuil d Indicateur (Cas normale) Diagramme de séquence : Création d un nouveau Seuil d Indicateur (Cas d erreur) Diagramme de séquence : Modification d un Seuil d Indicateurs Diagramme de séquence : Suppression d un Seuil d Indicateurs Diagramme de composants du système global Diagramme de déploiement du système global 82 vi

15 INTRODUCTION GENERALE

16 Introduction générale Contexte général : Face à la mondialisation et à la concurrence grandissante, la prise de décision est devenue cruciale pour les dirigeants d'entreprises, mais décider à partir de quoi? L intuition, la réflexion et la prise de risques donnent parfois de bons résultats, mais ne suffisent pas car elles sont également à l origine des décisions désastreuses pour les entreprises. L'efficacité de cette prise de décision s appuie sur la mise à disposition d'informations complètes, fiables et pertinentes avec des outils adaptés. Le problème des entreprises est d'exploiter efficacement d'importants volumes d'informations, qui constituent la principale matière première. Mais tout comme pour le charbon ou le pétrole, il faut l extraire, le nettoyer, le raffiner et enfin le distribuer. Les systèmes opérationnels s avèrent inadaptés à une telle activité pour au moins deux raisons : les bases de données opérationnelles sont trop complexes pour pouvoir être appréhendées facilement par tout utilisateur d une part et d autre part, ils ne peuvent être interrompus pour répondre à des questions nécessitant des calculs importants. Afin de pallier cet inconvénient, des systèmes décisionnels ont été développés. [Kim 97] Les systèmes de décisions s intéressent au passé, au présent et au futur. Il faut donc garder un historique et restructurer les données de production, éventuellement récupérées des informations de différentes sources. Les entrepôts de données - Data Warehouse - peuvent stocker tous les événements qui surviennent dans la vie de l entreprise, ils présentent les nouvelles architectures qui servent de fondations à de telles applications décisionnelles. Un véritable défi est donc en train d être posé aux entreprises, étant donnée les contraintes qui pèsent sur elles. En amont, elles doivent consolider en quasi-temps réel les données provenant de sources diverses, internes ou externes, pour les rendre homogènes et exploitables. En aval, donner les bons outils, qui tirent le meilleur profit de l architecture du Data Warehouse, aux utilisateurs finaux pour mieux comprendre et décider. Ce projet de fin d étude s inscrit dans le cadre de conception, d implémentation et de déploiement d un système décisionnel - Tableau de bord - pour le réseau téléphonique d Algérie Telecom. 1

17 Introduction générale Problématique : Les télécommunications sont un élément crucial de la société moderne. En 2006, l industrie des télécommunications représentait un revenu de milliards de dollars, soit 3 % du revenu mondial. La bonne infrastructure de télécommunications est largement reconnue comme importante pour le succès économique dans le monde moderne, sur l échelle micro et macro économique. Cependant, l écart de développement de la grande partie du monde, peut se creuser par manque de télécommunications. C est dans ce contexte qu Algérie Télécom a procédé, à la modernisation et à la diversification de son réseau de télécommunications. Aussi, l implantation de compagnies étrangères de téléphonie mobile a fortement contribué à aiguiser les efforts de la société. Afin donc, de répondre aux attentes des clients d Algérie Télécom, qui sont aujourd hui, de plus en plus variés et de plus en plus exigeants, un système décisionnel doit être mis en place, permettant de récupérer les données importantes et de les organiser suivant un tableau de bord, pour une exploitation plus fluide. Ce tableau de bord représente un instrument de mesure de la performance, facilitant le pilotage "pro-actif" d'une ou plusieurs activités, dans le cadre d'une démarche de progrès. Il contribue aussi, à réduire l'incertitude et facilite la prise de risque inhérente à toute décision. Ses principaux rôles sont : - Réduit l incertitude à la prise de décision ; - Stabilise l information ; - Contribue à une prise de risque «réfléchie», à toute décision ; - Facilite la communication, pour des échanges constructifs ; - Dynamise la réflexion, afin d inciter le décideur à pousser plus avant sa prospection ; -Offre un regard cohérent de la situation, en rapport aux objectifs et adapté aux besoins et à la sensibilité du ou des décideurs. C est dans ce but, que notre étude s est penchée, en essayant d étudier plusieurs modèles de conception de tableaux de bord et de proposer la meilleure solution à l entreprise, permettant de fournir aux décideurs des éléments d appréciation et d analyse, regroupés et consolidés dans des systèmes de «Reporting». 2

18 Introduction générale Objectifs: Notre projet s inscrit dans le cadre de conception, d implémentation et de déploiement d un système décisionnel portant sur les données commerciales du réseau téléphonique d Algérie Télécom, de tout le territoire nationale (autrement dit, des 4 régions du pays : Nord, Ouest, Est et Sud). Les données sont extraites respectivement de leur base de production du système d information appelé «GAIA», et cela à travers : La conception et la réalisation d un Data Warehouse, a pour rôles : De fournir des présentations claires et adaptées des données servant pour l analyse, D analyser dynamiquement les résultats de requêtes, Et d Historiser l information à des fins de statistiques et d études. La mise en œuvre d un référentiel d Extraction, de Transformation et de Chargement -ETL-, qui a pour but d assurer l alimentation régulière du Data Warehouse, à partir des bases de production, en utilisant un outil «ETL», développé en JAVA. Le déploiement d une plateforme décisionnelle, basée sur le «web», regroupant un ensemble d outils de «Business Intelligence», permettant la génération de rapports, le développement d applications web, l administration des comptes utilisateurs, la gestion des seuils d indicateurs et l analyse multidimensionnelle des données du Data Warehouse. Cette Plateforme utilise un serveur d application «Tomcat». De plus : La plateforme décisionnelle devra faciliter l'exploitation et l'analyse des données du Data Warehouse en produisant rapidement de nombreux graphiques et tableaux ; Elle devra simplifier la publication et la sauvegarde des rapports d analyses et de consolidation pour une destination interne des différents utilisateurs ; Offrir une meilleure accessibilité aux données ; Permet d'accélérer et d'enrichir le processus d'analyse par l introduction d une nouvelle dimension visuelle interactive, à l aide de la carte géographique de «Google Maps». 3

19 Introduction générale Organisation du Mémoire : Ce présent document est organisé en 5 grandes parties, définies dans un ordre bien précis, afin de maitriser l enchainement de notre sujet. En effet : L introduction générale de ce mémoire porte sur la définition du sujet proposé ainsi que les objectifs attendus par l entreprise. La «Partie I»: définit le domaine d étude qui est l Intelligence Economique et les systèmes décisionnels; ainsi que les notions qui leur sont associés, notamment le Data Warehouse, «ETL», restitution de données et la technologie OLAP. La «Partie II»: présente l organisation et les missions de l organisme d accueil «Algérie Télécom», ses quelques systèmes d informations opérationnels, ainsi que son tableau de bord existant «G.INFO». La «Partie III» : décrit les méthodes de conception et la démarche à suivre dans un projet «Data Warehouse». La «partie IV» : qui représente la phase de notre conception.elle décrit la conception du Data Warehouse de notre domaine d étude, depuis l analyse des besoins jusqu à sa mise en œuvre et déploiement. La «Partie V» : met en pratique la «Partie IV» ; en décrivant les outils et les solutions de développement adaptés et en donnant quelques exemples pratiques et quelques fonctionnalités du tableau de bord, choisies dans la réalisation de notre Plateforme décisionnelle. Enfin, ce document s achève par une conclusion, dans laquelle nous faisons une situation finale par rapport aux objectifs attendus et d essayer de dégager des perspectives futures, dans le but d enrichir notre sujet et d appliquer notre méthode dans d autres activités d Algérie Télécom ; notamment les activités financières et techniques de son réseau téléphonique. 4

20 Partie I : ETAT DE L ART DANS CETTE PARTIE : Nous allons définir les différents concepts du monde d intelligence économique, suivie par une brève comparaison entre les systèmes d informations transactionnels classiques et les systèmes décisionnels, finalisée par une présentation de technologies appliquées dans le domaine de l informatique décisionnelle. CHAPITRE 1 : Les Principes du décisionnel 1.1. Intelligence Economique 1.2. Les Systèmes transactionnels et décisionnels 1.3. Le Data Warehouse CHAPITRE 2 : Technologie OLAP

21 Partie I : ETAT DE L ART CHAPITRE 1 : Les Principes du décisionnel 1.1. Intelligence économique Définitions de l Intelligence Economique Etapes du processus de l Intelligence Economique Cycle de renseignement Outils d Intelligence Economique Conclusion 1.2. Les Systèmes transactionnels et décisionnels Introduction au décisionnel Concepts de base Conclusion 1.3. Le Data Warehouse Introduction Data Warehouse et ses composants Alimentation du Data Warehouse Exploitation des données du Data Warehouse Conclusion

22 PARTIE I CHAPITRE 1: Les Principes du décisionnel 1.1. Intelligence Economique: Définitions de l Intelligence Economique: L intelligence économique ou bien appelée «Business Intelligence» (BI), en Anglo-Saxon est un concept qui fait l objet de multiples définitions. En effet, pour «Bernard Besson» et «Jean-Claude Possin» il s agit de : «La capacité d obtenir des réponses à des questions en découvrant des intelligences entre deux ou plusieurs informations préalablement mémorisées. L entreprise mettra au service de cette capacité tous les moyens dont elle dispose pour saisir des opportunités ou détecter des menaces». [BES,POS 96] Le groupe de travail présidé par «Henri Martre», en 1994, retient de l intelligence économique la définition suivante : «L intelligence économique peut être définie comme l ensemble des actions de recherche, de traitements et de diffusion (en vue de son exploitation) de l information utile aux acteurs économiques». [MAR 94] «Carlo Revelli» propose une définition qui tient compte de ces concepts : «Processus de collecte, traitement et diffusion de l information qui a pour objet la réduction de la part d incertitude dans la prise de toute décision stratégique. Si à cette finalité on ajoute la volonté de mener des actions d influence, il convient de parler alors d intelligence économique». [REV 98] Etapes du processus de l Intelligence Economique : L intelligence économique a pour objectif de permettre aux décideurs et managers de l entreprise de disposer d une information de valeur, à laquelle ils puissent se fier dans le cadre de leurs prises de décision. Pour cela, il s agit de produire de l information pertinente et à forte valeur ajoutée. Cette exigence doit se retrouver à travers les différentes phases du Processus suivant : Collecte de l information, Traitement, Diffusion. COLLECTE Sources d information Formelles et Informelles TRAITEMENT DIFFUSION RECEPTEUR Figure 1.1 : Etapes du processus d intelligence économique 5

23 PARTIE I CHAPITRE 1: Les Principes du décisionnel L intelligence économique est une interface entre l entreprise et son environnement. Les stratégies de différenciation entre concurrents de plus en plus complexes et précises, obligent les entreprises à considérer l information comme une valeur et une «ressource» à part entière. L information est «intégrée comme bien immatériel à l outil de travail. Elle est à ce titre une source collective de profit et une des garanties de la pérennité de l entreprise» [MAR 94]. Puissant outil de connaissance à la disposition des entreprises, le concept d intelligence économique doit être envisagé, dans une perspective à long terme, au fur et à mesure duquel l entreprise sera amenée à acquérir une intelligence, aussi bien économique que «culturelle», de son environnement et de ses concurrents. L intelligence économique a également pour rôle de valoriser l information en la faisant circuler dans l entreprise. Cette caractéristique peut s appuyer sur les réseaux internes de l entreprise comme l intranet. L intelligence économique prend aussi en compte l aspect défense des informations et des «savoir-faire» de l entreprise. L intelligence économique se pratique donc en vue de l action, de l accroissement des performances et de la meilleure satisfaction du client, de la modification des conventions, par la forte circulation de l information dans l institution. Elle suppose le développement de la capacité interprétative et de l apprentissage, des représentations, de la capitalisation des connaissances et du développement des compétences Cycle de renseignement : L information désigne un processus : succession d actions par lesquelles on accroît son stock de données pour élaborer de la connaissance. L information concerne également le résultat du processus : c est-à-dire la valeur ajoutée. L information se définit comme tout élément ou signe qui peut être transmis ou stocké et qui participe de la représentation du réel. Chaque information possède des propriétés telles que : L origine, L itinéraire, La vitesse de circulation, La durée de vie. La création d information constitue un processus continu visant à augmenter «l intelligence» de la réalité, c est-à-dire sa compréhension. Elle est représentable comme une dynamique spiralée fondée sur l apprentissage, donc la maîtrise de la nouveauté, du changement. Certains parlent à ce propos de métabolisation. En tout état de cause, c est un processus de transformation des données, ou plutôt d intégration dans une structure de sens, visant à alimenter une logique d action et de décision orientée par un but. 6

24 PARTIE I CHAPITRE 1: Les Principes du décisionnel Cette dynamique informationnelle est, en fait, ce que l on nomme habituellement le «cycle du renseignement». Le cycle du renseignement peut aussi bien être un cycle de la connaissance. Le cycle de renseignement se déroule en quatre phases : l orientation générale, la recherche, l exploitation et la diffusion. Il constitue le support indépassable de l intelligence économique. Durant la première étape, les grands enjeux sont identifiés et les besoins sont définis en conséquence. Ce qui donne lieu à une planification de la collecte d informations, à l émission de demandes ciblées, ainsi qu à un contrôle régulier de la productivité des instances de recherche. Les besoins s expriment de manière ponctuelle ou sous forme d un catalogue de questions adressées aux unités de collecte par les organes d exploitation. La collecte ou recherche, se définit comme la période de recherche où sont identifiées et exploitées les sources d informations, ceci dans le cadre d une planification. L analyse, c est-à-dire le traitement ou l exploitation, compose l étape au cours de laquelle les données et informations passent à l état de connaissance à travers un processus systématique d évaluation, d interprétation et de synthèse, destiné à élaborer des conclusions (articulées sur des éléments significatifs), répondant aux besoins de renseignements exprimés. La diffusion est l acheminement des renseignements sous une forme appropriée (orale, écrite ou graphique) aux organes ayant exprimés la demande. Il s agit bien d un cycle dans la mesure où le renseignement obtenu permet d une part d orienter les besoins nouveaux en renseignements et, d autre part, de réévaluer constamment la connaissance obtenue, en fonction de l évolution de l environnement Outils d Intelligence Economique : Le moteur de recherche est au cœur de la plate-forme intelligence économique. Il est un élément d une chaîne de valeur, qui consiste à collecter et extraire de la donnée pour la transformer en information. Information qui va permettre d optimiser la prise de décision. On distingue trois catégories d applications que nous allons développer : 1. Les outils de recherche, 2. Les outils de traitement, 3. Les outils de diffusion et de partage. [QUE 04] Les outils de recherche comprennent en outre : les moteurs de recherche, les métas moteurs et les agents intelligents. Les outils de traitement regroupent les applications pour : traiter les données collectées, conférer du sens aux données collectées, faciliter leur lecture, les trier et les classer en catégories pertinentes. 7

25 PARTIE I CHAPITRE 1: Les Principes du décisionnel Les outils de diffusion et de partage permettent de communiquer les bonnes informations, aux bons interlocuteurs et de capitaliser les connaissances. La demande des clients évolue vers des solutions complètes qui balayent tout le spectre fonctionnel de l intelligence économique Conclusion : L intelligence économique ou l informatique décisionnelle interprète les données complexes de l entreprise et aide les dirigeants de prendre les meilleures décisions. Son objectif est de définir les méthodes et outils permettant à une entreprise de mettre en place son projet décisionnel. Ces outils facilitent l accès aux données globales de l entreprise. C est pour cela, mettre en place un Système décisionnel capable de répondre aux besoins de l entreprise est indispensable. 8

26 PARTIE I CHAPITRE 1: Les Principes du décisionnel 1.2. Les Systèmes transactionnels et décisionnels : Introduction au décisionnel : Avec la généralisation de l informatique, dans tous les secteurs d activités, les entreprises produisent et manipulent de très importants volumes de données. Celles-ci sont stockées dans les systèmes opérationnels de l'entreprise, au sein de bases de données, de fichiers, L exploitation de ces données dans un but d'analyse et de support à la prise de décision s avère difficile et fastidieuse ; elle est réalisée le plus souvent de manière imparfaite par les décideurs, grâce à des moyens classiques (requêtes SQL) [TES 00]. Ces systèmes paraissent peu adaptés pour servir de support à la prise de décision. Ces bases opérationnelles utilisent le modèle relationnel. Celui-ci convient bien aux applications gérant l'activité quotidienne de l'entreprise, mais s'avère inadapté au décisionnel [TES 00]. Face à cette inadéquation, il est fondamental de mettre en place une nouvelle informatique décisionnelle, pour obtenir une meilleure compréhension de la valeur des informations disponibles, en définissant les indicateurs pertinents pour faciliter la prise de décision. Cette nouvelle technologie est basée sur les entrepôts de données (ou bien «Data Warehouse» en Anglo-Saxon) Concepts de base: Les systèmes transactionnels : Egalement appelés «systèmes opérationnels», ce sont les outils utilisés quotidiennement. Ils assurent le bon fonctionnement de l ensemble de l entreprise. De la gestion des achats à celle des ventes, ils sont aujourd hui indispensables au fonctionnement de toute entreprise. On trouve dans cette catégorie les progiciels horizontaux couvrant les grands métiers de l entreprise : comptabilité, gestion commerciale, gestion des achats, gestion des stocks, paie et gestion des ressources humaines Les applications spécifiques, propres à une entreprise, développées pour répondre à une problématique métier ou à une particularité de gestion, figurent également dans cette catégorie. Toutes ces applications répondent à la même attente : permettre la saisie d informations, leur traitement, et la production en sortie de résultats, sous forme de documents papier, de consultations à l écran ou d autres informations. [NIE 98] Les principales caractéristiques des applications transactionnelles : Les trois principales caractéristiques d un système transactionnel sont : 9

27 PARTIE I CHAPITRE 1: Les Principes du décisionnel La capacité à gérer de grands volumes de données. Des temps de réponse très élevés. Et des requêtes relativement simples du point de vue informatique Les systèmes décisionnels : A l intérieur de l entreprise, lorsqu est venu le temps de l analyse et de la réflexion, on doit se pencher sur les transactions enregistrées dans les systèmes opérationnels. Cette phase est un préalable à toute prise de décision. Le principe même de la prise de décision est de s appuyer sur des informations précises pour en déduire des comportements et passer à l action. Un système décisionnel est un ensemble de données organisées de façon spécifique, facilement accessibles et appropriées à la prise de décision.la finalité d'un système décisionnel est le pilotage de l'entreprise. [GOG 98] Les caractéristiques des applications décisionnelles : Tout d abord, elles traitent également de gros volumes de données. Les trois principales caractéristiques d un système décisionnel sont : La capacité de traiter de gros volumes de données. Temps de réponse réduit. Les requêtes beaucoup plus complexes du point de vue informatique, car elles contiennent de nombreuses opérations de jointure et de regroupement. En conclusion donc, les systèmes décisionnels travaillent comme les systèmes opérationnels, sur de gros volumes de données, qui sont traitées et analysées par des requêtes beaucoup plus complexes avec un temps d exécution réduit Historique des systèmes décisionnels : Lorsque les entreprises ont commencé à comprendre la valeur ajoutée apportée par les outils d aide à la décision, elles ont immédiatement cherché à en bénéficier. Pour cela elles ont commencé à lancer des requêtes, c'est- à dire à interroger leurs bases de données opérationnelles. Tout en poursuivant bien entendu leurs opérations quotidiennes, elles ont donc sollicité leurs applications opérationnelles, bien souvent au-delà de ce qu elles étaient capables de supporter. Parfois une requête envoyée sur les serveurs de production, bloquait les transactions et donc la vie de l entreprise pendant plusieurs minutes, voir plusieurs heures. Les outils d administration informatiques n étaient à l époque pas aussi perfectionnés que maintenant, et il était parfois impossible de stopper une telle requête. Des situations de tension sont parfois apparues en interne dans certaines entreprises, conduisant à une opposition entre les «opérationnels» qui demandaient, à juste titre, une disponibilité permanente de leurs applications de production, et les «analystes», qui demandaient, également à juste titre, à pouvoir accéder aux données pour réaliser 10

28 PARTIE I CHAPITRE 1: Les Principes du décisionnel leurs analyses. Mais la différence structurelle entre les requêtes (simples pour les systèmes opérationnels, complexes pour le décisionnel) rendait cette cohabitation presque impossible, à moins pour les analystes de travailler la nuit, et encore! L Infocentre : La première solution trouvée était une solution de bon sens, c est de dupliquer les bases de données de production, c'est-à-dire, que chaque jour, chaque semaine, ou chaque mois, une copie des informations de production était réalisée, à l identique, sur un autre ordinateur, spécialement pour les analystes (Voir Figure 1.2). Equipe opérationnelle Analyste Données de Prodution Duplication Données de Prodution Dupliquées Figure 1.2 : L Infocentre Cette solution permettait aux équipes opérationnelles de continuer à utiliser leurs applications, sans être nullement perturbés par les requêtes analytiques, et les analystes pouvaient prendre le risque de lancer des requêtes complexes, analysant par exemple le chiffre d affaires suivant plusieurs dimensions (clients, produits, fournisseurs), sur plusieurs années, mois par mois, sans prendre le risque de bloquer le système opérationnel. Outre sa «simplicité», ce mode de fonctionnement, en doublon total entre les deux systèmes, se révélait très coûteux. Les serveurs, les disques durs, les bases de données, devaient tous être acquis en double, uniquement pour les besoins de l analyse. L Entrepôt de données : Après plusieurs années d utilisation des infocentres, c'est-à-dire, de duplications des données de production, les services informatiques ont imaginé une évolution intelligente de ce mode de stockage. Ils ont en effet constaté que les informations traitées dans les applications opérationnelles étaient très différentes de celles interrogées dans les applications décisionnelles. Le nombre de tables, de fichiers interrogés dans une même requête est bien plus important dans l aide à la décision. Le nombre d indicateurs calculés également. En revanche, les applications décisionnelles se contentent presque toujours de lire les données. Elles n ont jamais à écrire de nouvelles informations dans les bases de données. 11

29 PARTIE I CHAPITRE 1: Les Principes du décisionnel Autre constat, les questions posées par un décideur impliquent fréquemment des informations stockées dans plusieurs applications ou bases de données. Lorsque vous calculez la rentabilité de vos clients, vous exportez des données de la gestion commerciale (factures, commandes), de la comptabilité (délais de règlement, impayés), mais également de la gestion de production (coût des produits fabriqués). Le fait de dupliquer ces bases de données dans un infocentre ne simplifie en rien ces extractions. Il a donc été imaginé mettre en place, en sortie des bases de production, un entrepôt de données. Cet entrepôt uniquement dédié au stockage des données décisionnelles, permet de réconcilier les différentes sources initiales de données et les applications de production. (Voir Figure 1.3). Sources de Données L entrepôt de données Ou Data Warehouse Figure 1.3 : Entrepôt de données Les bases de données multidimensionnelles : L avez-vous remarqué? Quand un manager parle de ses résultats, il leur associe toujours une variable. Il parle d une progression d un mois sur l autre, d une gamme de produit plus performante que l autre, d un bénéfice plus important dans un pays que dans l autre, d un commercial plus efficace que son collègue. Tout simplement parce que d un point de vue métier, l information de base n a aucune importance si elle n est pas affectée d une dimension. On cherche le chiffre d affaires par trimestre, la rentabilité par client, la marge par commercial et par région. Les bases de données relationnelles sont constituées d un ensemble de tables à deux dimensions. Lorsqu on lance des requêtes décisionnelles, comme par exemple : «Le calcul de la marge par client, et par gamme de produits, mois par mois depuis un an», le système a besoin d accéder à de nombreuses tables. Une telle requête peut être très longue à exécuter, voir même parfois bloquer totalement le serveur. On a, pour résoudre ce problème, inventé les bases de données multidimensionnelles. Ces bases se présentent sous forme d un cube (voir Figure 1.4). Ce nouveau modèle de bases multidimensionnelles a été inventé par le Docteur Edgard Codd, déjà considéré comme le Père des bases de données relationnelles. 12

30 PARTIE I CHAPITRE 1: Les Principes du décisionnel Figure 1.4 : Base Multidimensionnelle Chaque base de données multidimensionnelle pré -calcule et stocke toutes les informations, au croisement de chacune des dimensions. Le chiffre d affaire réalisé par chaque client, sur chaque produit, dans chaque magasin, durant chaque mois, sera pré calculé, et conservé dans le cube, au croisement de chacune des dimensions prévues. Ainsi, lors du lancement d une requête décisionnelle complexe, le système aura simplement à lire les croisements de chaque colonne du cube, pour extraire des informations qui auront déjà été calculées. La base de données multidimensionnelle est incontestablement le cœur de tout système décisionnel Conclusion : Le développement des premiers systèmes d informations s est concentré sur l automatisation des processus opérationnels, ainsi que sur les données liées aux processus. Ces systèmes opérationnels permettent un gain de productivité non négligeable, ils soutiennent le bon déroulement de l activité principale de l entreprise et l excellence opérationnelle. Les besoins d analyse sont arrivés bien plus tard, ils relèvent plus de l avantage concurrentiel que de l excellence opérationnelle. Les SI décisionnels et les SI opérationnels ont des besoins et des structures totalement différents. Le Système d Information opérationnel doit être performant : les accès en écriture sont importants, même si prédéfinis. Tandis que les Systèmes d Informations décisionnels doivent être flexibles et fournir des possibilités d analyse conséquentes. [BOL 02] 13

31 PARTIE I CHAPITRE 1: Les Principes du décisionnel Ainsi Les systèmes d informations décisionnels sont nés d'un besoin des entreprises confrontées à une concurrence de plus en plus forte, des clients de plus en plus exigeants, des données de plus en plus surabondantes, non organisées dans une perspective décisionnelle et éparpillées dans de multiples systèmes hétérogènes. Pour répondre à ces besoins non satisfaits par les systèmes de gestion de bases de données traditionnels, le nouveau rôle de l informatique est de définir et d intégrer une architecture qui serve de fondation aux applications décisionnelles : le Data Warehouse. Le Data Warehouse correspond à l'exploitation des données de l'entreprise, dans le but de faciliter la prise de décision par les décideurs, c'est-à-dire la compréhension du fonctionnement actuel et l'anticipation des actions pour un pilotage éclairé de l'entreprise. 14

32 PARTIE I CHAPITRE 1: Les Principes du décisionnel 1.3. Le Data Warehouse : Introduction : L information est devenue vitale pour l entreprise. Toutes les données, qu elles proviennent du système de production de l entreprise, des sources externes, vont devoir être organisées, coordonnées, intégrées et enfin stockées pour donner a l utilisateur une vue intégrée et orientée métier dans un entrepôt de données ou bien «Data Warehouse» Data Warehouse et ses composants : Définition : Un Data Warehouse est un entrepôt de données. Il s'agit d'un stockage intermédiaire des données issues des applications de production, dans lesquelles les utilisateurs finaux puisent faire des analyses avec des outils de restitution de données. «Bill Inmon» est considéré comme le père du concept. Dans son ouvrage de référence "Building the Data Warehouse" [INM 94]. Il définit l'entrepôt de données comme : "Une collection de données orientées sujet, intégrées, non volatiles, historisées, organisées pour le support d un processus d aide à la décision,". Cependant le Data Warehouse doit : Rendre les informations de l entreprise compréhensibles, facilement accessibles, rapides. Assurer des informations cohérentes. Avoir une source d information souple et adaptable : l entrepôt de données est conçu dans la perspective d évoluer dans le temps. Produire des informations propres pour faciliter la prise de décision, est le véritable résultat concret du Data Warehouse. Ses principales caractéristiques sont : Orientation sujet: Le Data Warehouse est organisé autour des sujets qui ont un intérêt majeur pour l entreprise. On assemblera à cet effet, les informations par thèmes contrairement aux modélisations traditionnelles (transactionnelles) qui regroupent les informations par fonctions. L intérêt de cette organisation est de passer d une vision verticale de l entreprise a une vision transversale, beaucoup plus riche. Par exemple, le sujet client pourra être intégré dans un système décisionnel à caractère Marketing, un deuxième orienté vers l administration des ventes et un troisième à des fins d analyse financière. Données intégrées : Les données qui alimentent le Data Warehouse proviennent de multiples sources de données hétérogènes. Les données des systèmes de production doivent être intégrées de façon à avoir une seule vision globale dans le Data Warehouse. L intégration consiste 15

33 PARTIE I CHAPITRE 1: Les Principes du décisionnel à résoudre les problèmes d hétérogénéité des systèmes de stockage, des modèles de données et de sémantique de données. Données historisées : Dans les systèmes de production, les données sont mises à jour, à chaque nouvelle transaction. L ancienne valeur est perdue. Par contre dans un Data Warehouse, la donnée ne doit jamais être mise à jour, elle représente une valeur insérée à un certain moment. Le Data Warehouse stocke l'historique, c'est-à-dire l'ensemble des valeurs que la donnée aura prise au cours du temps. Données non volatiles : Les données du Data Warehouse sont utilisées en mode consultation, elles ne sont pas modifiées par l'utilisateur. En théorie, une requête lancée à différentes dates sur les mêmes données doit retourner les mêmes résultats. Base de Production Data Warehouse Créer Accéder Modifier Demandes Supprimer Données Clients Insérer Charger Pas d Historique Données Historisées Figure 1.5 : Données Non Volatiles Composants de base d un Data Warehouse : Les entreprises passent à la technologie de l'information. Transformer leur système d'information qui avait une vocation de production à un système décisionnel, dans le but de préparer les données selon leurs besoins. Dans ce paragraphe, on présente les principaux composants de base d'un Data Warehouse, selon «Ralph KIMBALL». 16

34 PARTIE I CHAPITRE 1: Les Principes du décisionnel Figure 1.6 : Composants de base d un Data Warehouse Systèmes Sources : C est le système opérationnel d enregistrement, dont la fonction consiste à capturer les transactions liées à l activité de l entreprise [KIM 97]. Il s agit souvent de ce que l on appelle les applications de gestion. On appelle, d une façon générale, base de production toutes les sources (qu il s agisse de données de production, d informations internes ou externes, quel que soit leur mode de stockage), dont il va falloir extraire des données, en vue d alimenter le Data Warehouse. La Zone de Préparation des Données : Elle regroupe l ensemble des processus qui nettoient, transforment, combinent, archivent et suppriment les doublons. Elle prépare les données sources, en vue de leur intégration et de leur exploitation, dans le Data Warehouse. Data Warehouse (Base de l Entrepôt de données) : Est le lieu de stockage centralisé des informations utiles pour les décideurs, dans lequel les données hétérogènes des sources sont intégrées et stockées durablement, dans un serveur de présentation. Celui-ci correspond à la machine cible sur laquelle l entrepôt de données est stocké et organisé, pour répondre en accès direct aux requêtes provenant des utilisateurs, des générateurs d états ou d autres applications. Sur le serveur de présentation, les données sont stockées sous forme dimensionnelle, afin de faciliter l accès aux utilisateurs finaux. 17

35 PARTIE I CHAPITRE 1: Les Principes du décisionnel Data Marts (Magasins de Données) : Un data mart est un magasin de données. Il s agit d une solution départementale d entrepôt de données supportant une partie des données. C est un sous ensemble du Data Warehouse qui ne contient que les données d un métier de l entreprise. Alors que le Data Warehouse contient toutes les données décisionnelles de l entreprise pour tous les métiers. Le Portail de Restitution: C est la partie publique du Data Warehouse. Il représente ce que voient les utilisateurs, les outils avec lesquels ils travaillent. Les services offerts par le portail de restitution sont les services d accès aux données, les applications de modélisations et le «data Mining». Les services d accès aux données comprennent : la navigation dans le Data Warehouse, la gestion des requêtes et la généralisation d états standards. Les applications de modélisation offrent différents types d analyses, basées sur des modèles financiers, système d évaluation de clientèles et offrent aussi une analyse sur l activité centrale du «data Mining», telles que la catégorisation, la classification et le regroupement par affinité Alimentation d un Data Warehouse: La Problématique : Pour alimenter un Data Warehouse, il est intéressant d extraire la matière vive des bases de production.pour cela, il faut avoir préalablement identifié les données intéressantes de celles qui ne le sont pas. Ces données ainsi réorganisées deviennent des informations utiles pour le décisionnel. La première phase de la construction d un Data Warehouse consiste généralement à extraire les données utiles des systèmes opérationnels, qui dans de nombreux cas sont hétérogènes, diffusées et complexes. Elles sont hétérogènes, car bien souvent on rencontre plusieurs SGBD différents. Elles sont diffusées, car on les trouvera au sein de plusieurs environnements matériels, éventuellement reliés par plusieurs réseaux interconnectés différents. Elles sont complexes, car on rencontrera plusieurs modèles logiques et physiques prioritairement orientés vers les traitements complexes. Des solutions logicielles sont alors nécessaires à leur intégration et à leur homogénéisation. Ces outils ont pour objet de s assurer de la cohérence des données du Data Warehouse et d homogénéiser les différents formats trouvés dans les bases de données opérationnelles. 18

36 PARTIE I CHAPITRE 1: Les Principes du décisionnel Les fonctionnalités d un outil d alimentation : Un outil d alimentation doit être capable d extraire des données au niveau de la source, de les transformer, en vertu des règles très précises, puis de les injecter au sein d un système décisionnel cible.l outil apportera une aide précieuse, s il est capable d automatiser l ensemble de ces tâches. Le choix de l outil d alimentation dépendra d un certain nombre de facteurs : - Volume d informations à extraire. - L hétérogénéité des sources de données. - La fréquence d extraction. Il est de plus nécessaire d adopter un outil capable d accéder nativement aux moteurs de SGBD. [W4] Les phases de l'alimentation du Data Warehouse : L alimentation du DW cible en premier lieu, les données à extraire, en d autres termes : «Découvrir quelles sont les données à faire migrer». L acquisition des données se déroule en trois phases : - Extraction, - Transformation, - Chargement. Data Warehouse Processus d Alimentation : - Extraction - Transformation - Chargement Source 1 Source 2 Source 3 Figure 1.7 : Processus d Alimentation La découverte des données : La découverte des données consiste à les localiser dans le système opérationnel et à prendre les plus pertinentes. Autrement dit, un mauvais choix des données extraites va complexifier les phases suivantes de l alimentation. 19

37 PARTIE I CHAPITRE 1: Les Principes du décisionnel L Extraction : L extraction des données consiste à collecter les données utiles dans le système de production, à l aide des outils spécialisés comme «E.T.L» (Extracting-Transforming- Loading). Pour rafraîchir la base décisionnelle, il faut identifier les données ayant évoluées, afin d extraire le minimum de données, puis planifier ces extractions, afin d éviter les saturations du système de production. De plus, la forme des données externes, qui est souvent totalement anarchique accentue la difficulté. Pour être utiles, ces données nécessitent un reformatage pour pouvoir les incorporer dans une forme exploitable pour l entreprise. La transformation des données : Le nettoyage des données est une discipline sur laquelle de nombreux éditeurs travaillent actuellement. Outre la qualité des données qu ils permettent d auditer et éventuellement d améliorer les outils de nettoyage, permettent de supprimer les doublons dans les fichiers. Il s'agit à ce stade d'appliquer des filtres prédéfinis sur les données, afin d'attribuer des valeurs cohérentes aux variables mal ou non renseignées ou encore d'harmoniser les formats (date : jj/mm/aaaa). En complément, on trouve des outils d'audit et d'analyse pour assurer le suivi du processus, afin notamment de contrôler les rejets. Le chargement des données : Le chargement est la dernière phase de l alimentation du Data Warehouse. C est une phase délicate, notamment lorsque les volumes sont importants, pour obtenir de bonnes performances en chargement, il est impératif de maîtriser les structures du SGBD (tables et index) associées aux données chargées, afin d optimiser au mieux ces processus Exploitation des données du Data Warehouse : Une fois que les données se trouvent dans le Data Warehouse, il ne reste plus qu à les exploiter. L'utilisateur final doit alors pouvoir interroger les données en ligne, à l'aide d'outils simples et conviviaux, qui leurs permettent de répondre à leurs nouveaux besoins. Parmi les modes d exploitation des données du Data Warehouse, on a : Le tableau de bord : Un tableau de bord n est rien d autre qu une forme particulière d états et de rapports. On appelle tableau de bord, un rapport qui est : 20

38 PARTIE I CHAPITRE 1: Les Principes du décisionnel - Particulièrement synthétique : tout doit tenir sur une feuille A4, ou sur un écran d ordinateur ; - Le plus souvent composite, c est à dire présentant plusieurs indicateurs, qui offrent une représentation complète de l activité de l entreprise ; - Souvent également personnalisé, c est à dire que chaque acteur consulte un tableau de bord qui concerne son activité. On parle parfois de «Key Performance Indicators» (KPI), des indicateurs clés. Ce sont les indicateurs qui sont présentés dès la page d accueil d un portail décisionnel. Selon les cas, le tableau de bord peut se suffire à lui-même, ou bien être le point d entrée vers des analyses affinées, des tableaux de bord secondaires, ou bien des accès en drill-down. On utilise parfois également le terme de «Executive Information System» (EIS), pour faire référence à un système décisionnel spécifiquement destiné à la Direction Générale et donc, présentant des informations stratégiques très consolidées Conclusion : Le Data Warehouse permet au décideur de travailler dans un environnement informationnel, référencé, homogène et historié. Cette technique l affranchit des problèmes liés à l hétérogénéité des systèmes informatiques des différentes définitions de données, issues de l historique de l organisation. Les applications décisionnelles permettent ensuite, d extraire du Data Warehouse, une connaissance partielle de l activité de l'entreprise, selon les axes qui préoccupent le décideur, à un instant donné. Cependant, il est vital d'aborder ce type de projet, par les besoins métier, en se gardant de se focaliser sur la composante technique. L'objectif n'est pas de créer un nième système d'information, mais d'apporter des réponses concrètes et rapides à des défis métier. La première phase d'un tel projet consiste donc, en une déclinaison de la stratégie de l'entreprise en objectifs métier, puis en l'identification des informations nécessaires à une meilleure prise de décision. 21

39 Partie I : ETAT DE L ART CHAPITRE 2 : Technologie OLAP 2.1. Introduction 2.2. Les concepts de la technologie OLAP 2.3. Etat technologique 2.4. Conclusion

40 PARTIE I CHAPITRE 2: Technologie OLAP 2.1. Introduction : La mondialisation des échanges depuis quelques années, a profondément changé l enjeu des entreprises quelque soit leur secteur d activité : une concurrence de plus en plus pressante, un environnement qui évolue très rapidement, une clientèle de plus en plus exigeante. L entreprise doit anticiper et doit avoir davantage d informations que ses concurrents. L informatique permettant le traitement de l information, joue dès lors un rôle essentiel dans l entreprise, elle devient un outil d aide à la décision. Un certain nombre de solutions ont été apportées afin de répondre à ces besoins. Parmi celles-ci les infos - centres, le Data Warehouse et bien sûr, les technologies OLAP. [FRA 97] 2.2. Les concepts de la technologie OLAP : Afin de comprendre le concept OLAP, il est important de définir son domaine d application, de présenter ses caractéristiques et ce qui le distingue des autres technologies et des autres concepts. Il est notamment important donc, de faire la distinction entre OLAP et OLTP OLAP et OLTP : Le terme «On Line Analytical Processing» fût introduit en 1993 par E.F. Codd, le père des bases de données relationnelles. OLAP décrit une classe de technologies conçues pour l accès et l analyse instantanée de données «ad hoc». Tandis que l «OLTP» s appuie essentiellement sur les bases de données relationnelles. OLAP est devenu un synonyme de vues multidimensionnelles de données «business». Ces vues requièrent une technologie multidimensionnelle de base de données et constituent la base technique, pour le calcul et l analyse demandée, dans les applications de «business intelligence». Les systèmes transactionnels se caractérisent synthétiquement par la persistance des données, l intégrité de la base de données et par l importance de l efficience de l exécution d un grand nombre de petites transactions dans un temps acceptable. Des utilisateurs créent, modifient et interrogent des enregistrements, c est pourquoi les bases de données OLTP sont optimisées pour les transactions (transaction updating). La base de donnée OLAP de son côté, est souvent mise à jour en batch et provient de sources multiples. 22

41 PARTIE I CHAPITRE 2: Technologie OLAP Le tableau suivant résume les différences entre OLTP et OLAP : OLTP (Relationnel) Données atomisées Présent Quelques enregistrements à la fois Orienté processus OLAP (Multidimensionnel) Données récapitulatives Données historiques Beaucoup d enregistrement à la fois Orienté sujet Tableau 2.1. Comparaison entre OLTP et OLAP OLAP et Data Warehouse : Les stratégies actuelles des vendeurs de base de données relationnelles, sont de présenter leurs produits comme étant des outils de construction d entrepôts de données (Data Warehouse). Un Data Warehouse stocke des informations stratégiques qui répondent à des questions telles que Qui? et Quoi?, en s appuyant sur des événements passés. Une requête typique demandée dans un Data Warehouse est : " Quel est le chiffre d affaires total pour la région Est au troisième trimestre? " Contrairement à un Data Warehouse qui se base le plus souvent sur une technologie relationnelle, OLAP utilise des vues multidimensionnelles de données agrégées, afin de permettre un accès rapide à des informations stratégiques pour une analyse plus fine. En plus de l habilité des systèmes OLAP à répondre à des questions de type Qui? et Quoi?, ce qui les distingue des Data Warehouses, c est de pouvoir répondre également aux questions Quoi si? et Pourquoi?. OLAP permet la prise de décision sur des actions futures. OLAP et Data Warehouse sont donc complémentaires : un Data Warehouse stocke et gère les données et OLAP transforme ces données en informations stratégiques. 23

42 PARTIE I CHAPITRE 2: Technologie OLAP Système OLAP Figure 2.1 : Système OLAP dans un Data Warehouse Domaines d applications : Les applications OLAP fournissent une variété de fonctions organisationnelles. Les plus courantes, sont la planification de la production, l analyse des pannes et des anomalies. Secteurs Finance Commerce Marketing Production Types d applications Analyse Prévision Simulation Modélisation Tableau 2.2 : Secteurs utilisant OLAP Tableau 2.3 : Types d application OLAP L aspect important concernant toutes ces applications précitées, est la capacité d OLAP à fournir aux décideurs, l information dont ils ont besoin afin de prendre les bonnes décisions sur les directions stratégiques de leurs services. L indicateur clef d un bon système OLAP est sa capacité à fournir une information juste à temps pour la prise de décision, ce qui requière plus qu un niveau de base de données détaillées. L information juste à temps est un ensemble de données informatisées qui représentent des relations complexes et qui sont calculées à la volée. L analyse et la modélisation de relations complexes ne sont efficientes que si les temps de réponses 24

43 PARTIE I CHAPITRE 2: Technologie OLAP sont considérablement courts. Par conséquent, puisque la nature des relations des données n est pas forcément connue à l avance, le modèle de données doit être flexible. Bien que l on trouve les applications OLAP dans un large éventail de domaines, elles présentent toutes des caractéristiques communes Les caractéristiques clefs : Le tableau suivant résume les caractéristiques clefs d un système OLAP. Les caractéristiques clefs Des vues multidimensionnelles de données. Des capacités de calculs intensifs. Une compréhension naturelle du temps. Tableau 2.4 : Caractéristiques clefs d un système OLAP Des vues multidimensionnelles de données : Les vues multidimensionnelles sont représentatives d un actuel modèle business. Les utilisateurs ont donc, la possibilité d analyser les données à travers n importe quelle dimension, à n importe quel niveau d agrégation avec les mêmes fonctionnalités et la même facilité. Les applications OLAP supportent ces vues de données de manière naturelle et dispense l utilisateur d une syntaxe de requêtes complexe. Le décideur ne doit pas être pénalisé par la complexité de leurs requêtes que ce soit en termes de ressources requises pour leur exécution ou que ce soit en termes de temps d attente pour recevoir la réponse. Des capacités de calculs intensifs : Le point crucial d une base de données OLAP est sa capacité à effectuer des calculs complexes. Les bases de données OLAP sont capables de faire davantage que de simples agrégations. Bien qu une agrégation sur une hiérarchie soit importante, une analyse l est encore l avantage que de simples roll-ups de données. Dans les calculs complexes, les données historiques sont utilisées pour le prévisionnel, et les données agrégées sont utilisées pour l estimation. Une compréhension naturelle du temps : Le temps est un composant inhérent à la plupart des applications analytiques. Le temps est une dimension particulière par son caractère séquentiel. Les vrais systèmes OLAP comprennent la nature séquentielle du temps. 25

44 PARTIE I CHAPITRE 2: Technologie OLAP Les performances commerciales sont presque toujours jugées sur le temps, par exemple, ce mois par rapport au mois précédent, ce mois par rapport à l année dernière à la même période Etat technologique : Le concept OLAP avait été posé longtemps avant que la technologie ne soit définie officiellement. La naissance de OLAP fût en 1993 lorsque la société Arbor Software demanda à E.F. Codd 1 de formaliser les caractéristiques d un produit ou d un système OLAP. 12 règles avaient été définies. Elles sont une référence pour le concept OLAP et sont présentées par tous les éditeurs de solutions OLAP Les 12 règles OLAP : 1- Un modèle multidimensionnel : La multidimensionnalité est la clef de la technologie OLAP. OLAP n est que purement et simplement une base de données multidimensionnelle. 2- Une manipulation intuitive des données : Alors que les vues multidimensionnelles de données sont un bénéfice pour le stockage de données et pour le temps de réponse des requêtes, la manipulation intuitive des données tend à contribuer à une bonne analyse. Il est naturel pour une personne, de lire un tableau ou un graphique, et de vouloir approfondir la vision d une donnée ou d un groupe de données. Avec un outil OLAP, il suffit d un simple double - click sur la souris afin de dérouler une valeur, un sous-ensemble de données ou de changer tout simplement d axe d analyse sur un graphique. Cette règle permet d éviter les procédures compliquées pour changer de vue. 3- Accessibilité : en pratique, un analyste aura besoin de sources d information très différentes, y compris des bases de données OLTP ou même des feuilles de calculs quelconques. 4- Extraction en batch ou en ligne : cette règle contient l idée d une pré-agrégation des données et d un accès en ligne des données, aussi bien que l accessibilité en ligne de sources de données. L extraction en batch fait référence à la capacité d un produit à collecter les données de sources variées dans une base OLAP. L extraction en ligne incombe l accès à différentes sources de données lorsqu elle est nécessaire pour une requête. Peu de produits offrent un choix flexible entre les deux. 1 Codd, E.F: Providing OLAP (On-Line Analytical Processing) to User-Analysts, Codd, E.F., S.B. Codd, and C.T.Salley, E.F. Codd & Associates,

45 PARTIE I CHAPITRE 2: Technologie OLAP 5- Des modèles d analyse : OLAP est fait pour l analyse, donc un système OLAP devrait supporter différents modèles d analyse. 6- Une architecture client-serveur : l architecture client-serveur est importante pour un produit OLAP, dans le sens que c est le meilleur moyen de déploiement de l information à un grand nombre d utilisateur. Dans l optique de produire des résultats cohérents, les analystes devraient avoir accès à la même information. Il est également important que le Data Warehouse soit constitué sur un site et un serveur centralisé suite à une intégration et consolidation des données. 7- Transparence du serveur : cette nécessité de transparence vient de la capacité des produits OLAP à avoir une variété de clients différents. Un client peut être une application, une feuille de données ou encore un explorateur Internet et peut être créé par un utilisateur ou par un autre éditeur. 8- Multi-utilisateur : un produit OLAP robuste permettra un accès multiple de manière concurrentielle à une donnée. Cela inclus également la capacité d un serveur à autoriser des utilisateurs à se servir de différents modèles d analyse. 9- Une souplesse d affichage et d édition : la nature «ad hoc» de l analyse requise pour les produits OLAP, nécessite qu un outil de reporting soit flexible. Un utilisateur devrait être libre de faire apparaître un cube de n importe quelle façon, c est-à-dire qu il devrait n y avoir aucune contrainte sur l arrangement des dimensions sur les axes d une table, et l utilisateur doit pouvoir faire des rotations et des coupes sur les cubes affichés. 10- Une performance de reporting uniforme : afin d éviter des perturbations de flux lors des routines d analyse, le temps nécessaire à un outil pour présenter un rapport doit être uniforme. Cela signifie qu une requête doit être exécutée à une allure uniforme, et de même pour le rapport généré. 11- Gestion des données éparses : chaque base de données à une configuration optimale, déterminée par le nombre de dimensions et par la quantité de données qu elle contient. Pour le temps de réponses et le stockage de données, une base de données devrait se baser sur ces facteurs. Un système OLAP doit donc ajuster son schéma physique automatiquement pour s adapter au type de modèle d analyse, au volume des données et aux données dispersées. 12- Contrôle des dimensions : Une dimensionnalité générique : cette règle tend à stipuler que toutes les dimensions sont équivalentes, et qu une opération effectuée sur une dimension peut l être sur n importe qu elle autre dimension. Des règles ou opérations 27

46 PARTIE I CHAPITRE 2: Technologie OLAP spécifiques peuvent être définie pour une dimension, mais ces règles doivent pouvoir être étendues à d autres dimensions. Des dimensions à niveaux multiples : idéalement, un produit OLAP devrait permettre à un utilisateur de définir autant de dimensions qu il est nécessaire pour répondre à la réalité. Dans chaque dimension, l utilisateur devrait également pouvoir déterminer le nombre de niveau d agrégation. Opérations sur les dimensions : toutes formes d opérations doivent êtres possibles à travers toutes les dimensions. Il est nécessaire à présent de se positionner d un point de vue pratique, et de présenter les composants d un système OLAP Les composants d un système OLAP : Un système OLAP est composé de différents éléments. Une vision globale du système permet de mettre en évidence une architecture générale : des sources de données, un serveur OLAP et des clients. Les données à analyser sont transférées ou copiées dans le serveur OLAP, où elles sont organisées et préparées pour optimiser les requêtes. Le client est l interface du serveur OLAP. Les sources OLAP : La source d un système OLAP dépend de l utilisation du produit OLAP qui en est faite, il peut s agir d un Data Warehouse, d une base de données quelconque d une entreprise, d une collection de feuilles de calculs contenant des données financières ou encore n importe quelle combinaison des sources précitées. La capacité d un produit OLAP à exploiter des données provenant d un grand nombre de sources est importante. L idée est d éviter que toutes les sources de données soient stockées dans un format particulier ou dans une base de données particulière, car c est un inconvénient pour les administrateurs de base de données et cela réduit la puissance et la flexibilité d un produit OLAP. Le serveur OLAP : Le noyau d un système OLAP est son serveur. Tout le travail est effectué par le serveur, c est également l endroit où les données sont stockées. Différentes philosophies régissent l'architecture du serveur OLAP. Un des aspects importants est de décider si le serveur emploie une base de données multidimensionnelle (MDDB), pour enregistrer les données ou une base de données relationnelle (RDB). Les deux solutions architecturales se dénomment respectivement MOLAP et ROLAP. 28

47 PARTIE I CHAPITRE 2: Technologie OLAP MOLAP «Multidimensionnel OLAP»: Le système MOLAP est le plus courant et est synonyme de OLAP. La finalité de cette solution est claire. On peut stocker efficacement des données qui sont de nature multidimensionnelle, et fournir des temps de réponses de requêtes très rapides. L approche MOLAP s appuie également sur l idée d effectuer le travail une seule fois et d utiliser les résultats indéfiniment. Les bases de données multidimensionnelles sont issues d une technologie relativement récente. L utilisation des bases de données multidimensionnelles implique les mêmes inconvénients que l utilisation de la plupart des autres nouvelles technologies. Les avantages Les inconvénients Des modèles qui reflètent la réalité Gère mal les VLDB Des accès très rapides sans SQL Une technologie non encore optimisée Des données récapitulatives pré établies Risques d explosion de la base de données Tab 2.5. Avantages et inconvénients du système MOLAP ROLAP «Relationnel OLAP»: Si l architecture MOLAP constitue encore le choix technique le plus utilisé, l alternative ROLAP acquière ses lettres de noblesse. Le terme ROLAP, que nous avons précédemment expliqué, signifie que le serveur OLAP s appuie sur une base de données relationnelle. Les sources de données sont entrées dans une base de données relationnelle, généralement dans le moule d un schéma en étoile ou en flocon, ce qui permet d améliorer les temps d accès. Les avantages Idéal pour les grands volumes Technologie optimisée et reconnue Les inconvénients SQL n est pas optimum pour les requêtes complexes Déterminer un modèle optimum de stockage de données est plus important et difficile Tab 2.6. Avantages et inconvénients du système ROLAP Les autres architectures : DOLAP, HOLAP : DOLAP (Destktop OLAP) décrit une catégorie de produits qui ne sont pas nécessairement connectés à un serveur. Ils peuvent essentiellement être exécutés sur un client avec la possibilité de s appuyer sur une source de données sous la forme d un Data Cube. Le fait que ce cube de données soit construit et stocké localement sur une machine utilisateur, fait de l architecture DOLAP un bon choix pour ceux qui utilisent 29

48 PARTIE I CHAPITRE 2: Technologie OLAP fréquemment un ordinateur portable ou qui n ont pas besoin de faire des calculs complexes pour lesquels la puissance d un serveur serait nécessaire. HOLAP, pour «Hybride OLAP» est en fait une architecture hétérogène composée de tout ou partie des architectures précitées. Les clients OLAP : Le client est le composant utilisé pour visualiser et manipuler les données d une base OLAP. Un client peut être aussi simple qu une feuille de calcul qui intègre des fonctionnalités OLAP telles que, le pivotement et le déroulement des données. Il peut être un outil de reporting spécialisé ou encore une application OLAP spécifiquement développée pour des manipulations de données plus élaborées. Le «web» est la forme la plus récente du client OLAP. Les outils de reporting : Un outil de requête ou un outil de reporting, est une forme simple d accès à des données OLAP. Ce sont des outils conviviaux qui permettent la création de rapports par de simples cliquer - glisser. Un éditeur de rapports traditionnel permet à un utilisateur de produire uniquement un document statique, tandis que les applications de reporting qui supportent la technologie OLAP produisent des rapports interactifs. Ces applications permettent les techniques du déroulement des données directement sur le rapport, et supportent les hiérarchies, etc Le web comme client OLAP : Le dernier arrivé dans la famille des clients OLAP est le «web». Il y a un grand nombre d avantages à déployer OLAP via le web. L avantage le plus signifiant, c est qu aucun logiciel particulier n est nécessaire à une personne pour accéder à l information. Ce qui permet d économiser beaucoup de temps et d argent pour une société. Les applications : Les applications sont un type de client qui utilise des bases de données OLAP. Elles sont similaires à des outils de requêtes ou à des outils de reporting, mais elles comportent des fonctionnalités beaucoup plus approfondies. Les applications OLAP sont plus robustes qu un simple outil de reporting. 30

49 PARTIE I CHAPITRE 2: Technologie OLAP 2.4. Conclusion : L Etat de l Art de la technologie OLAP ainsi présenté, nous fait bien comprendre l importance qu a prise cette technologie dans le monde de l informatique décisionnelle. La progression du marché démontre un intérêt certain des entreprises à OLAP. OLAP est une entité au sein de Business Intelligence liée au Data Warehouse ou l entrepôt de données. On peut présenter une architecture d un Data Warehouse comme un modèle 3 tiers, le premier s agit d une base de données, ensuite le cube d analyse OLAP et enfin l ensemble des interfaces de reporting. OLAP repose sur une base de données multidimensionnelle, destinée à exploiter rapidement les dimensions d une population de données. Dans notre projet, le modèle OLAP sera celui du Data Warehouse. Il sera construit pour sélectionner et croiser plusieurs données provenant des sources diverses, afin d en tirer une information implicite. Ceci a évolué pour aboutir à une méthode d analyse permettant aux décideurs un accès rapide et de manière pertinente présentée sous divers angles, et dimensions sous forme de cube. L outil OLAP repose sur la restructuration et le stockage des données dans un format multidimensionnel issue de bases relationnelles. Ainsi, les utilisateurs analysent les données suivant les axes propres à leur métier. 31

50 Partie II : Etude de l existant DANS CETTE PARTIE : Nous allons présenter l organisme d accueil, son organisation interne ainsi que ses systèmes d information opérationnels. DANS CETTE PARTIE : Aussi, nous présenterons leur système décisionnel existant, en relatant ses avantages et ses inconvénients. CHAPITRE 3 : Présentation de l organisme d accueil DANS CHAPITRE CETTE 4 : Présentation PARTIE : du Tableau de Bord opérationnel «G.INFO»

51 PARTIE II : ETUDE DE L EXISTANT Chapitre 3 : Présentation de l organisme d accueil 3.1. Présentation d ALGERIE TELECOM 3.2. Organisation d ALGERIE TELECOM 3.3. Systèmes d information d Algérie Télécom 3.4. Conclusion

52 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil 3.1. Présentation d'algerie TELECOM : ALGERIE TELECOM, est une société par actions à capitaux publics opérant sur le marché des réseaux et services de communications électroniques. Sa naissance a été consacrée par la loi 2000/03 du 5 août 2000, relative à la restructuration du secteur des Postes et Télécommunications, qui sépare notamment les activités Postales de celles des Télécommunications. ALGERIE TELECOM est donc régie par cette loi qui lui confère le statut d'une entreprise publique économique sous la forme juridique d'une société par actions SPA. Entrée officiellement en activité à partir du 1er janvier 2003, elle s'engage dans le monde des Technologies de l'information et de la Communication avec trois objectifs: Rentabilité Efficacité Qualité de service Son ambition est d'avoir un niveau élevé de performance technique, économique, et sociale pour se maintenir durablement leader dans son domaine, dans un environnement devenu concurrentiel. Son souci consiste, aussi, à préserver et développer sa dimension internationale et participer à la promotion de la société de l'information en Algérie. - Missions : L'activité majeure d'algérie Télécom est de : Fournir des services de télécommunication permettant le transport et l'échange de la voix, de messages écrits, de données numériques, d'informations audiovisuelles ; Développer, exploiter et gérer les réseaux publics et privés de télécommunications ; Etablir, exploiter et gérer les interconnexions avec tous les opérateurs des réseaux. - Objectifs : ALGERIE TELECOM est engagée dans le monde des technologies de l'information et de la communication avec les objectifs suivants : Accroître l'offre de services téléphoniques et faciliter l'accès aux services de télécommunications au plus grand nombre d'usagers, en particulier en zones rurales ; Accroître la qualité de services offerts et la gamme de prestations rendues et rendre plus compétitifs les services de télécommunications ; Développer un réseau national de télécommunication fiable et connecté aux autoroutes de l'information. [W1] 32

53 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil 3.2. ORGANISATION D'ALGERIE TELECOM : ALGERIE TELECOM est organisée en Divisions, Directions Centrales, Régionales et Directions Opérationnelles de projets de divers métiers. A cette organisation s'ajoutent 3 filiales, chargées l une de la téléphonie mobile(mobilis), la deuxième de l'internet(djaweb) et la troisième des Télécommunications Spatiales (ATS). Organigramme 1 : DIRECTION GENERALE DFR Direction de communication DRCP Direction des études DAI DGC Division DMAC Division de l audit Inspection générale DEE DEP DRA DNPI DRT DREOI Filiale ATS Filiale DJAWEB Division DDRT DRB DEI Filiale MOBILIS DC FTTX DAGL DRH DP RMS DSIE DP NNV DC SI DP ATHIR DSVT DFC Figure 3.1 : Organigramme d AT 1 Source : Les intitulés des différentes structures sont donnés en [Annexe F]. 33

54 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil Présentation de la Direction Nationale du Projet IDT (DNPI) : La direction du projet «DNPI» est chargée du suivi et du bon déroulement du système d information du réseau téléphonique d ALGERIE TELECOM, nommé «GAIA», dans l ensemble de ses fonctionnalités offertes : commerciale, financière, technique et même comptable. En effet, son exploitation est assurée par 4 centres régionaux installés, au sein du pays (Nord, Ouest, Est et Sud), dépendants de ladite direction. Ils représentent les 4 bases de production décentralisées d AT. Cette direction est structurée, donc comme suit : CRPI ALGER D.N.P.I CRPI ORAN CRPI OUARGLA CNAD CRPI CONSTANTINE Figure 3.2 : Organigramme de la DNPI Les centres régionaux du projet IDT (CRPIs), ont pour rôle d exploiter et d assurer le bon fonctionnement du système d information (GAIA) et la production des factures téléphoniques. Chacun d eux se décompose en 5 services. Leurs attributions sont décrites dans le tableau suivant: SERVICE DBA Collecte Facturation Réseau Système Attributions Administration de la base de production «GAIA», ainsi que ses copies (base de pré-production et formation). Collection de l ensemble du trafic d AT, sous forme des fichiers de données, en différents formats. Traitement des fichiers collectés et production des factures téléphoniques des abonnés d AT. Supervision et contrôle de l ensemble des liaisons entre les différentes structures d AT. Administration des serveurs et gestion des sauvegardes de l ensemble des données. Tableau 3.1 : Services d un CRPI 34

55 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil Le Centre National d Archivage et de la Documentation (CNAD) : Il a pour buts : - D archiver les données des 4 bases de production des CRPIs régionaux, ainsi que leurs fichiers factures. - D administrer et d assurer le fonctionnement du système décisionnel d AT, nommé «G.INFO», aux différents usagers. C est au niveau du CRPI d Alger, que notre projet a été proposé et même suivi, et plus précisément, au niveau du «service facturation», après avoir été détachés au centre d archivage «CNAD», afin d étudier le système décisionnel d AT existant «G.INFO» et ce dans le but, d apporter de meilleures solutions, aux problèmes rencontrés, dans son exploitation Systèmes d information d AT : AT est dotée de plusieurs systèmes d informations, gérant l ensemble de ses activités à plusieurs domaines (ressources Humaines, Comptabilité générale et analytique, collecte et facturation du parc téléphonique, Tableau de bord, ). La plus part de systèmes d informations opérationnels, sont achetés et installés par des fournisseurs étrangers, pour le compte de l entreprise. Par conséquent, Algérie Télécom doit veiller a leurs fonctionnement et doit être exigeante auprès de ses fournisseurs, dans le but d obtenir les résultats souhaités et d atteindre ses objectifs attendus. Les différents systèmes importants et opérationnels, au sein de l entreprise sont énumérés comme suit : Système d interconnexion «INTERCO» : qui représente l interconnexion des réseaux des télécommunications entre différents opérateurs (Fixe AT, Mobilis, Djezzy et Wataniya) Système de gestion des finances et de la comptabilité «Oracle FINANCES» : gère les finances et la comptabilité générale et analytique de l entreprise. Système de gestion des ressources humains «HR ACCESS» : permet la gestion du personnel, le calcul de la paie et la gestion des carrières des employés. Système antifraude «SUBEX» : représente le système de gestion des fraudes sur les réseaux des télécommunications. 35

56 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil Système d activation «G-ACTIV» : gère l activation de l ensemble du parc téléphonique d A.T. Système de collecte «G-Collecte» : géré la collecte de l ensemble du trafic téléphonique de l entreprise. Système de gestion commerciale, financière et Technique «GAIA» : qui permet la gestion commerciale, financière et technique du réseau d Algérie Télécom: Système décisionnel «G-info» : représente le tableau de bord de l entreprise. Autre systèmes tels que : (Messagerie annuaire d AT, site web de l entreprise, système d impression des factures téléphoniques, système de gestion de moyens logistiques, ). Description du système «GAIA» : Etant donné la vocation principale d AT est de développer et de maitriser son réseau nationale de télécommunication d une part, et d autre part, de fournir et d accroitre les services de télécommunications au plus fraude à acquérir un système d information fiable permettant la maitrise de la gestion de cette activité. En effet, l entreprise a acheté le système d information du réseau téléphonique «GAIA»en 2003, auprès d un fournisseur français appelé «Sofrecom» (Filiale de France Télécom). Celui-ci a été installé en 2003 et il est opérationnel chez AT, depuis cette date à ce jour. Il prend en charge la gestion commerciale, la gestion financière et l aspect technique du réseaux. Il est installé dans diverses structures, à savoir : - Les agences commerciales (ACTELS) ; pour le suivi des clients, des lignes téléphoniques et les services offerts par l entreprise. - Les services techniques (CECLIS) ; pour le suivi de l installation ou de rétablissement de lignes, en cas de coupure. - Les centres régionaux de production informatique (CRPI) ; pour la production des factures téléphoniques ; - Et plusieurs services rattachés à la Direction Générale, pour contrôle et statistiques. Ce système représente la base de production source à partir de laquelle notre entrepôt de données sera constitué. 36

57 PARTIE II CHAPITRE 3: Présentation de l organisme d accueil 3.4. Conclusion : AT était la première entreprise opérant sur le marché des réseaux de télécommunication, c est pour cela, elle a toujours veillé au bon déroulement et fonctionnement de son activité. Mais étant donné l apparition d autres opérateurs, elle se voit obligée de multiplier ses efforts et d accroître ses services pour qu elle soit leader dans son domaine et cela à travers des outils et système informatiques; capable de répondre à leurs besoins, notamment des systèmes décisionnels englobant les informations stratégiques de l entreprise et permettant aux décideurs d avoir une vue globale sur l ensemble des activités de l entreprise, et par conséquent les aidant à la prise de décision, en temps réel. C est dans ce but que notre projet a été proposé par l entreprise, afin de lui fournir un système décisionnel de son activité téléphonique, étant donné, son Tableau de Bord existant n offre pas les résultats attendus, qui sera décrit dans le chapitre suivant. 37

58 PARTIE II : ETUDE DE L EXISTANT Chapitre 4 : Présentation du Tableau de Bord opérationnel d Algérie Télécom «G.INFO» 4.1 Description du «G.INFO» 4.2 Avantages du «G.INFO» 4.3 Inconvénients du «G.INFO» 4.4 Conclusion

59 PARTIE II CHAPITRE 4: Présentation du G.INFO 4.1. Description du «G.INFO» : Le système «G.INFO» est un système d information décisionnel, acquis toujours par la filiale «Sofrecom» de France Télécom. Il a été installé en 2004, au sein du centre d archivage national «CNAD», afin d assurer son exploitation, son suivi et son administration. Ce système assure la production et la mise à disposition d indicateurs fiables, pertinents et stratégiques, pour AT. Sa base de données «Data Warehouse» est alimentée journellement, par les 4 bases de données régionales de production téléphoniques de l entreprise. Ces données sont organisées de façon appropriée à l aide à la décision. Elles sont transformées, filtrées et agrégées, afin d être facilement exploitables, par les utilisateurs finaux. Par conséquent, les données extraites du Data Warehouse, deviennent des données analysables, organisées par domaine, dans les bases de restitution. Ces bases permettront de disposer des informations pré-calculées et agrégées nécessaires aux calculs d indicateurs, en fonction de leurs axes d analyse appropriés. Architecture technique du G.INFO : «G.INFO» est installé dans un serveur de grande capacité, ayant comme système d exploitation UNIX AIX et comme système de gestion de base de données ORACLE 9i Server. Le chargement quotidien de sa base est assuré, à partir des 4 bases de production décentralisées du système «GAIA» ; installées dans les 4 «CRPI» du pays (Alger, Oran, Constantine et Ouargla). L accès client à ce tableau de bord est assuré par n importe qu elle station, via le «Web». 38

60 PARTIE II CHAPITRE 4: Présentation du G.INFO Le schéma suivant résume l architecture technique du système décisionnel «G.INFO» : Figure 4.1 : Architecture Technique du «G.INFO» 4.2. Avantages du «G.INFO» : Les principaux avantages du «G.INFO» sont comme suit : Basé sur l outil standard du marché. Il faut noter que les outils d analyse et de «Reporting» basés sur «Business Objects» incluent de nombreuses fonctions de calcul et de valorisation permettant la création de rapports pré définies, adaptés en fonction des besoins de l opérateur. Représente une solution adaptée au métier des télécommunications et de développement de tableau de bord pour AT. Ce qui a permis de définir et de qualifier les données utiles. Permet d intégrer de nouvelles sources de données. Autrement dit, il représente une solution évolutive. Permet d effectuer des analyses, d exploiter des rapports prédéfinis et même d en créer de nouveaux, adaptés au besoin de l opérateur. Permet à l operateur de disposer d indicateurs pertinents et adaptés et de données analysables, orientés métier, couvrant les domaines suivants : Facturation, réseau, dérangements et revenus des communications. 39

61 PARTIE II CHAPITRE 4: Présentation du G.INFO 4.3. Inconvénients du «G.INFO» : Les différents inconvénients du système, recensés par nos soins, lors de notre détachement au «CNAD», sont énumérés ci après : Alimentation journalière du Data Warehouse, ce qui rend la base plus volumineuse, sachant que le chargement se fait à partir des 4 bases de production régionales. Par conséquent le temps de réponse des traitements lancés et l analyse des données calculées sont trop longs. La non synchronisation et la non concordance des données de «G.INFO» avec celles des données sources extraites de «GAIA» (Problème toujours soulevé au fournisseur, mais sans aucune suite). Structure complexe coûteuse du point de vue matériel et logiciel. La non reprise immédiate des traitements, en cas de déconnexion avec les centres de production. La non optimisation des procédures de chargement du Data Warehouse ; autrement dit, les tables ne sont pas toutes mise à jour ; certaines d entres elles, sont toujours effacées et réalimentées de nouveau. L alimentation manuelle du Data Warehouse, ce qui provoque un taux d erreurs très élevés. Fonctionnalités limitées, fournies aux décideurs pour, l exploitation et l analyse des données du Data Warehouse et qui sont, non adaptées aux besoins de l entreprise. La non exploitation du système, par ses utilisateurs et plus précisément par les décideurs, à cause de sa non maîtrise et de ses résultats incohérents retournés. Coût de maintenance très élevé Conclusion : Afin donc de palier à ces problèmes, que le centre régionale de production informatique (CRPI) d Alger, nous a proposé de concevoir et d implémenter un système décisionnel pour AT, en commençant par le domaine commercial, qui représente sa première activité, dans son processus téléphonique. Beaucoup de résultats sont attendus et souhaités par l entreprise, pour le sujet proposé, à savoir : Offrir un système décisionnel fiable selon l analyse faite sur les données des bases de production (qui sont au nombre de 4), aidant les gestionnaires à la prise de décision, en temps réel. Avoir une vue globale sur l état de l entreprise, en faisant une fusion des 4 bases de production et ce dans le but d avoir une base de données centralisée, et par conséquent concevoir des états consolidés entreprise. 40

62 PARTIE II CHAPITRE 4: Présentation du G.INFO Utiliser des solutions simples et efficaces, pour rendre le système maitrisable et accessible par l ensemble des utilisateurs quelque soit leurs profils, via le «WEB». Etendre le système décisionnel, pour les activités financière et technique de l entreprise. Etre surtout le propriétaire de ses solutions informatiques, sachant que l ensemble de ses systèmes sont acquis et suivis par des fournisseurs étrangers et leurs coûts de maintenance reviennent excessivement chers à l entreprise, comparativement à la qualité des services offerts. 41

63 Partie III : Méthode de Conception d un Data Warehouse DANS CETTE PARTIE : Nous allons définir les notions de la modélisation multidimensionnelle, ainsi que la démarche la plus utilisée dans les systèmes décisionnels de Ralph Kimball et le langage de conception UML. CHAPITRE 5 : Modélisation multidimensionnelle CHAPITRE 6 : Démarche de Conception et langage 'UML'

64 Partie III : Méthode de Conception d un Data Warehouse Chapitre 5 : Modélisation multidimensionnelle 5.1. Introduction 5.2. Consolidation des besoins 5.3. Composants du modèle multidimensionnel 5.4. Passage du modèle relationnel au modèle multidimensionnel 5.5. Conclusion

65 PARTIE III CHAPITRE 5 : Modélisation multidimensionnelle 5.1 Introduction : L importance des données fournies aux décideurs doivent résider notamment dans la qualité et la pertinence de l information, et doivent répondre à des critères bien précis : - La fiabilité des données : les données doivent contenir le moins d erreurs possible. - La pertinence des données : les données doivent avoir une information importante pour le décideur. - L accessibilité des données : les données doivent être structurées d une manière à simplifier leur compréhension et navigation. 5.2 Consolidation des besoins: Les systèmes de production ne sont pas organisés pour pouvoir répondre efficacement aux besoins des systèmes décisionnels. Seules les applications de Data Warehouse et Reporting aident les gestionnaires à la prise de décision, et cela après avoir défini et consolider leurs besoins. L un des problèmes rencontrés dans les mécanismes de consolidation des besoins, mettant en œuvre l axe de temps, est que toutes les variables de la source de production ne peuvent pas être additives dans le mécanisme d agrégation. Par exemple, les résultats d un inventaire pour des périodes courtes ne peuvent pas simplement s additionner pour donner la valeur de fin de période. Seule la valeur de la dernière de ces périodes doit être prise en compte. Remarque : l axe d analyse temporel est le temps qui se réfère au calendrier grégorien qui comprend de nombreuses complications avec ces mois de longueur variables, ses années bissextiles, etc [JEA 01] Exemple de mécanisme d agrégation : Supposons qu un petit groupe de location de voiture soit constitué de 3 agences.au total ses trois agences ont 5 clients. Ces clients effectuent des locations dans les diverses agences. L étude dans une période précise pour le calcul de la mesure Nombre de Clients donne le tableau suivant : Client 1 Agence A Agence B Agence C x Client 2 x x Client 3 x Client 4 x X Client 5 x x Nombre de Clients = 8 clients Dans ce cas, le nombre de clients n est pas de 8 mais de 5.Donc le nombre de clients par agence est différent du nombre de clients global. 42

66 PARTIE III CHAPITRE 5 : Modélisation multidimensionnelle 5.3 Composants du modèle multidimensionnel : La modélisation multidimensionnelle est une méthode de conception qui vise à présenter les données sous une forme qui permet des accès hautement performants. Elle adhère totalement à la dimensionnalité ainsi qu à une discipline qui exploite le modèle relationnel en le limitant sérieusement. Chaque modèle multidimensionnel, se compose d une table contenant des clés multiples, appelée «table de fait», et un ensemble de tables plus petites, nommées «tables de dimension». Chacune de ces dernières possède une clé primaire unique, qui correspond exactement à l un des composantes des clés multiples de la table de fait. Cette structuration caractéristique en étoile est souvent appelée «jointure en étoile» Tables de dimensions : Les tables de dimensions également appelées tables de référence, décrivent les entités de gestion d une entreprise. Elles stockent des données relativement statiques dans un Data Warehouse et ne sont pas mise à jour régulièrement. Ces données sont textuelles et descriptives ; elles peuvent servir d en-tête de colonne d un ensemble de résultats Tables de faits : Les tables de faits décrivent les transactions de gestion d une entreprise. La majorité des données d un Data Warehouse sont stockées dans quelques tables de faits très volumineuses qui sont mises à jour régulièrement avec les données provenant d une ou plusieurs bases de production. Ces tables acceptent deux types de colonnes ; Celles qui contiennent les faits numériques, souvent appelés mesures, et celles qui contiennent des clés étrangères vers les tables de dimensions. Un schéma en étoile comprend une ou plusieurs tables de fait Schéma en étoile : Est un schéma relationnel, dont la conception représente un modèle de données multidimensionnel. Il consiste en une ou plusieurs tables de faits et de dimensions qui sont reliées par des clés étrangères. Dimension 1 clé primaire Dimension 2 clé primaire Table de fait clé étrangère 1 clé étrangère 2 clé étrangère 3 Mesures Figure 5.1 : Schéma en étoile Dimension 3 clé primaire 43

67 PARTIE III CHAPITRE 5 : Modélisation multidimensionnelle Avantages : - Représentation simple à la compréhension. - Réduction dans le nombre de tables et de jointures. - Efficacité au niveau de la navigation logiciel. Inconvénients : - Redondance des données dûe à la conception des dimensions. Ce qui implique une perte en espace de stockage. Remarque : afin de pallier à cet inconvénient, un autre modèle est proposé, nommé «flocon de neige» Schéma en flocon de neige : est un schéma en étoile, dont les dimensions sont normalisées la normalisation en 3NF 3ième forme normale, pour éviter les redondances des lignes. Dimension 1 clé primaire Dimension 2 clé primaire Table de fait clé étrangère 1 clé étrangère 2 clé étrangère 3 Mesures Dimension 3 clé primaire clé étrangère Dimension 3.1 clé primaire Figure 5.2 : Schéma en flocon de neige Avantage : - Aucune redondance des données. Ce qui implique un gain en espace mémoire par rapport au schéma en étoile. Inconvénients : - Perte de la simplicité du schéma. - Navigation logicielle plus complexe. Remarques : - Pour passer d un modèle en étoile à un modèle en flocon, il suffit de normaliser les tables des diverses dimensions pour voir apparaitre, le cas échéant, les branches de flocon - Avec les deux modèles le problème c est que les tables de faits peuvent être extrêmement volumineuses et comprendre plusieurs dizaines de millions d enregistrements. De ce fait, les mécanismes de production des agrégats deviennent cruciaux. - La règle de schéma en flocon de neige fût émise en prenant en considération, les technologies logicielles et matérielles actuelles. Il ne serait pas étonnant, à notre sens, de voir disparaître la modélisation en flocon de neige avec les avancées technologiques (rapidité et taille des disques durs, technologies OLAP, etc...). 44

68 PARTIE III CHAPITRE 5 : Modélisation multidimensionnelle 5.4 Passage du modèle relationnel au modèle multidimensionnel : Les tables correspondant aux branches de l étoile pourront alors être dépilées pour libérer la troisième dimension nécessaire à la construction de cubes et ainsi passer d un monde relationnel à un monde multidimensionnel. Une fois les axes dépilés, les cubes peuvent se construire. [JEA 01] Modèle relationnel en étoile ou en flocon : Modèle multidimensionnel : axe1 axe2 Mésures axe3 axe3 axe1 axe2 Figure 5.3 : De l étoile au cube Caractéristiques du modèle OLAP : OLAP «On Line Analytical Processus» repose sur une base de données multidimensionnelle, destinée à exploiter rapidement les dimensions d une population de données. Le modèle OLAP sera celui du Data Warehouse. Il sera construit pour sélectionner et croiser plusieurs données provenant des sources diverses, afin d en tirer une information implicite. Ceci a évolué pour aboutir à une méthode d analyse, permettant aux décideurs, un accès rapide et de manière pertinente, présentée sous divers angles et dimensions sous forme de cubes Architecture OLAP : On peut présenter une architecture d un Data Warehouse comme un modèle 3 tiers, le premier s agit d une base de données, le second du cube d analyse OLAP et enfin le troisième représente l ensemble des interfaces de Reporting ( Data mining, ESI, SIAD ). Figure 5.4 : Architecture OLAP 45

69 PARTIE III CHAPITRE 5 : Modélisation multidimensionnelle Navigation dans les cubes des données : La navigation permet à l analyste, de visualiser les informations contenues dans le cube et de passer d un niveau d agrégat à un autre, afin de connaitre le détail des données qui ont initialement servies à les constituer. Autrement dit, naviguer du plus petit niveau Drill down au plus grand niveau (forage vers le haut) drill up, ou en forage vers le bas Drill through. [KIM 01] Drill down/drill up (forage vers le bat/ forage vers le haut) : Le «Drill» est une action de zoom avant ou arrière, opérée pour obtenir un niveau de détail plus fin (Drill down), ou plus élevé (Drill up), sur un axe d analyse d un système multidimensionnel. Exemple : On pourra par exemple chercher le chiffre d affaire d un groupe international en visualisant les chiffres d affaires par pays, puis pour chaque pays par région, puis pour chaque région par agence Drill through (forage à travers) : Le «Drill through» consiste à visualiser une même information sous l angle de plusieurs dimensions. Exemple : On pourra par exemple souhaiter, à partir de la visualisation du chiffre d affaires d une agence par produits et pour un mois déterminé, obtenir la visualisation de la même information mais pour une autre agence. 5.5 Conclusion : Dans ce chapitre, Nous avons décrit la modélisation multidimensionnelle, son utilisation et son efficacité dans les systèmes décisionnels. Notre projet, s inscrit dans un environnement décisionnel, qui est basé sur la modélisation multidimensionnelle. Il reste à définir la démarche à suivre dans notre conception, qui fera l objet du chapitre suivant. 46

70 Partie III : Méthode de Conception d un Data Warehouse Chapitre 6 : Démarche de conception et langage 'UML' 6.1. Introduction 6.2. Définition d une méthode de conception 6.3. Démarches de gestion de projets 6.4. Démarche de conception de 'Ralph Kimball' 6.5. Langage de conception 'UML' 6.6. Conclusion

71 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML 6.1 Introduction : Dans ce chapitre, nous allons présenter une démarche répondant plus à la conception des projets de Data Warehouse, ainsi que le formalisme utilisé (c à d le langage de conception de projet). 6.2 Définition d une méthode de conception : Une méthode de conception est un ensemble d étapes à suivre pour concevoir un logiciel. Ces étapes sont formalisées, en utilisant un langage de conception bien défini. Les éléments nécessaires et suffisants pour la mise en œuvre d une méthode de conception sont : Langage : c est le moyen qui permettra la description des concepts et les représentations les plus précis d un schéma conceptuel. Modèle : doit être puissant, c est à dire doit offrir un ensemble complet des concepts, permettant une représentation de tous les aspects d organisation que l on modélise. Ils peuvent être statiques ou dynamiques. Que nous allons voir dans les diagrammes UML. Démarche : c est un guide posé qui propose un ordre à respecter pour réaliser les solutions du problème Démarches de gestion de projets Classiques vers Data Warehouse: La construction d un data Waterhouse nécessite une approche particulière. L expérience démontre que les démarches traditionnelles tant d analyse que de gestion de projet sont inadaptées et inapplicables dans le cas d un Data Warehouse, car les utilisateurs sont incapables d exprimer l intégration de leur besoins. [JEA 01] Les différentes caractéristiques des deux démarches, sont résumées dans le tableau suivant : Projet classique Le cahier des charges est figé. Le périmètre fonctionnel est fixé Le développement est considéré comme achevé après la recette effectuée par le client. Projet Data Warehouse Le besoin est imprévisible et souvent très large. Le périmètre fonctionnel est évolutif car le Data Warehouse une fois opérationnel suscite de nouveaux besoins. Les changements doivent être acceptés par les utilisateurs et non imposé sur la base de données Tableau 6.1 : Différence entre démarches classiques et Data Warehouse. 47

72 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML 6.4 Démarche conception de 'Ralph Kimball' : Définition: Issue des entreprises, les entrepôts des données sont aujourd hui un thème de recherche à part entière. L approche multidimensionnelle et l architecture de Data Warehouse font l objet de nombreux travaux. Avant d étudier de plus prés les détails de la conception, du développement et du déploiement du Data Warehouse, nous allons proposer la méthodologie globale adoptée dans l élaboration des projets des systèmes décisionnels, tout en présentant le cycle de vie multidimensionnel, qui sera défini en détail, lors de la conduite de notre projet. Le but de la modélisation des entrepôts de données, est de fournir des abstractions permettant de détacher la manière de représenter les données et leur implémentation physique. L utilisation qui est faite des systèmes décisionnels nécessite des représentations des données différentes de celles qui sont proposées dans les bases de données classiques. Les données décisionnelles sont organisées en fonction des analyses multidimensionnelles effectuées (analyse des données suivant plusieurs axes). Pour cela, deux approches sont disponibles, concernant le développement des systèmes décisionnels : la première basée sur le génie logiciel et la deuxième sur la gestion de projet qui est proposé et privilégiée par Ralph Kimball. C est la deuxième approche de Ralph Kimball que nous avons opté pour la conception de notre système d information décisionnel. Nous allons exposer une méthodologie globale, tout en présentant le cycle de vie dimensionnel. Celui-ci constitue à définir la démarche à suivre. [KIM 00] Schéma de cycle de vie dimensionnel : L approche global de l implémentation d entrepôt de donnés par le cycle de vie dimensionnel, est orientée beaucoup plus vers les développeurs que vers les concepteurs. Autrement dit l ensemble des phases de conception sont définies dans le schéma global du cycle de vie. Ce schéma représente la succession des tâches de haut niveau (macro tâches) nécessaires à la conception, au développement et au déploiement d entrepôt de données efficace. Il décrit le cheminement du projet dans son ensemble ; chaque rectangle sert de poteau indicateur ou de borne (voir Figure 6.2) [KIM 00] 48

73 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML 1- Planification de projet : Figure 6.2 : Schéma de cycle de vie dimensionnel Le cycle de vie commence par la planification de projet.celle-ci aborde la définition et l étendu du projet de Data Warehouse, y compris l appréciation du niveau de maturité de l organisation, face à ce type d approche et sa justification fonctionnelle. Certaines tâches initiales sont décisives, en raison de fort besoin de visibilité et des coûts associés à la plupart des projets de Data Warehouse. Le planning qui en découle, identifie toutes les tâches associées au cycle de vie et mentionne les ressources impliquées. La planification du projet dépend des besoins, comme l indique la flèche à double sens de la figure 6.2, reliant ces deux activités. 2- Définition des besoins de l entreprise : Les chances de succès d un entrepôt de données trouvent considérablement accrues par la bonne compréhension des utilisateurs et de leurs besoins. Sans elle, le Data Warehouse deviendrait rapidement un exercice vain pour les concepteurs. L approche utilisée pour identifier les besoins analytiques des employés diffère de manière significative de la traditionnelle analyse des besoins pilotés par les données. Le constructeur de l entrepôt de données devient appréhender les facteurs clés qui conduisent l entreprise à vouloir définir de manière efficace ses besoins et les traduire pour les intégrer lors de la construction. 49

74 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML 3-Conception du modèle de données «la Modélisation multidimensionnelle» : La définition des besoins, détermine les données requises pour répondre aux besoins d analyse des utilisateurs. La conception de modèle de données destinées à corroborer ces analyses nécessite une approche différente de celle utilisée lors de la conception des systèmes opérationnels. Nous commencerons par construire une matrice qui représentera les processus métier clé et leur dimensionnalité. La matrice fera office de schéma directeur, pour garantir que l entrepôt des données sera extensible dans le temps au sein de l organisme. A partir de là, nous effectuons une analyse plus détaillé des données des systèmes sources opérationnels. En couplant cette analyse à la compréhension des besoins précédemment établis. Nous dévêlerons ensuite, un modèle multidimensionnel. Ces modelés identifient la granularité de la table des faits, les dimensions associées, leurs attributs ainsi que leurs hiérarchisation. La conception logique d une base de données est complétée par les relations appropriées entre les structures des tables et les clés principales et extérieures. Le plan d agrégation préliminaire sera également développé. Cet ensemble d activités s achèvera sur le développement d une mise en correspondance des données sources et cibles. 4- Mise en œuvre de l architecture : Cette étape est composée de deux phases qui sont : la conception des éléments de la zone de préparation des données ETL et la spécification de l application utilisateur : 4.1 Conception des éléments de la zone de préparation des données (ETL) : Le processus de conception des éléments de la zone de préparation des données ETL consiste souvent la tâche la plus sous-estimée du projet de Data Warehouse.Le processus de préparation se déroule en trois étapes majeures : L Extraction, la Transformation et le Chargement des données. L extraction : Cette phase permet d accéder à la majorité des systèmes de stockage de données (SGBD, ERP, fichiers plats...), afin de récupérer les données identifiées et sélectionnées. Prendre en compte les questions de synchronisation et de périodicité des rafraîchissements. Le processus d extraction révèle toujours des problèmes de qualité des données enfouis, au sein des systèmes sources opérationnels.or, la qualité des données influence de manière significative, la crédibilité de l entrepôt des données ; il convient donc de régler ces problèmes. 50

75 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML Pour compliquer encore la chose, il faut concevoir et construire deux processus d extraction : le premier, pour le peuplement initial de l entrepôt de données, le second pour les chargements réguliers et incrémentiels. La transformation : Toutes les données ne sont pas utilisables telles qu'elles. Elles méritent d'être vérifiées, reformatées, nettoyées, afin d'éliminer les valeurs aberrantes et les doublons. Le chargement : Insérer les données transformées dans le Data Warehouse. Elles sont ensuite disponibles pour les différents outils d'analyse et de présentation : l'analyse multidimensionnelle OLAP, analyses géographiques, les requêteurs et autres Reporting et bien sûr les tableaux de bord. 4.2 La spécification de l application utilisateur (phase restitution des données): Il est recommandé de définir une série d applications standards destinées à l utilisateur final, car tous les utilisateurs n ont pas besoin d un accès ad hoc à l entrepôt de données. Les spécifications de l application décrivent les maquettes d état, les critères laissés à l initiative de l utilisateur et des calculs nécessaires. Elles garantissent que l équipe de développement et les utilisateurs ont intégré une compréhension commune des applications qui vont être livrées. 5- Développement : Cette partie de cycle de vie concerne le développement de ses différentes phases (Construction de Data Warehouse et la zone d alimentation, Construction des cubes OLAP, et Développement de l application utilisateur). Cette partie se termine par la phase restitution, qui consiste en la présentation et représentation de l outil décisionnel. 6- Déploiement : Le déploiement est le point de convergence de la technologie, des données et des applications utilisateurs accessibles, à partir du poste de travail. Une planification de grande envergure est indispensable, afin que toutes les pièces du puzzle se placent correctement. Il est également nécessaire de prévoir une formation des utilisateurs, qui intègre tous les aspects de cette convergence.en outre, avant de permettre à l utilisateur d accéder à l entrepôt des données, il faut mettre en place les processus de communication, de support utilisateur et de prise en compte des demandes d évaluation ou de correction. 51

76 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML 7- Maintenance et croissance : travail. Après le déploiement initial de l entrepôt des données, il reste encore beaucoup de Il faut également assurer que les processus et les procédures mises en place pour la gestion de la zone de construction vont faire fonctionner l entrepôt efficacement. Aussi, Il faut songer à mesurer périodiquement son acceptation et ses performances. Enfin, le plan de maintenance devra inclure une stratégie de communication de grande envergure. 8- Gestion de projet : La gestion de projet garantit que les activités du cycle de vie restent sur la bonne voie et bien synchronisées. Tels que, la détection, la résolution des problèmes et le contrôle de changement, afin de rester dans les limites des objectifs et du périmètre. Enfin, la gestion de projet inclut le développement d un plan de communication détaillé qui aborde à la fois les services informatiques et utilisateurs. 6.5 Langage de conception 'UML': Nous allons décrire dans cette section le langage de conception (le formalisme utilise) 'UML', et nous allons voir son apport, dans la conception des systèmes décisionnels Définition : 'UML' «Unified Modeling Language», est un langage formel, qui permet d exprimer et d élaborer des modèles objets, indépendamment de tout langage de programmation. Né de la fusion des méthodes objet dominantes (OMT, Booch et OOSE), puis normalisé par l OMG en 'UML' est rapidement devenu un standard. Un système est décrit en UML, à travers sa structure statique et son comportement dynamique. 'UML' propose donc un ensemble de notations graphiques, pour capturer les informations relevant des aspects statiques et dynamiques du système. C est donc un langage de modélisation visuel et non une méthode d analyse et de spécification. [PAS 04] 52

77 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML Diagrammes de l UML : Structure statique : Cette vue de modèle comporte, cinq types de diagrammes : Diagramme d objet. Diagramme de classe. Diagramme de cas d utilisation. Diagramme de composant. Diagramme de déploiement Comportement dynamique : Cette vue de modèle comporte, quatre types de diagrammes : Diagramme de séquence. Diagramme de collaboration. Diagramme d état-transition. Diagramme d activité Analyse des besoins décisionnels : L exercice de ces métiers, passe par l analyse de ces données décisionnelles, qui se déclinent en trois types distincts : Indicateurs : est une information contribuant à l appréciation d une situation par le décideur. Axe d analyse : englobe les informations qui permettent d identifier les différentes séries d indicateur. La donnée porteuse de sens qui oriente les choix dans un métier donné est l Indicateur. Or la définition d un indicateur ou la règle de gestion qui permet de l obtenir, à partir des données opérationnelles, peut varier d un métier à l autre, au sein de l entreprise. Elle se rattache à un métier et donc à un acteur ou utilisateur de l entrepôt de données. L acteur est le seul à connaitre la règle de gestion qu il utilise pour calculer tel ou tel indicateur. C est la modélisation du métier et de savoir faire de chacun qui rentre ici en jeu.chacun à sa propre vision de l organisation, du sens des termes et indicateurs de son métier. On choisit d interpréter chaque indicateur comme un cas d utilisation. Chaque cas d utilisation est relié à l acteur qui y fait appel. On regroupe les indicateurs, selon des packages (dans l exemple suivant activité client ), qui font intervenir les mêmes acteurs et qui touchent un ensemble cohérent de besoins. 53

78 PARTIE III CHAPITRE 6 : Démarche de conception et langage UML consulte Activité Client Nombre des clients actifs mois Nombre des clients résiliés mois Nombre des clients global Axes d analyse : Temporel Géographique Catégorie client et Produit Axes d analyse : Temporel Géographique Catégorie client Produit et Statut Figure 6.3 : Exemple de représentation des besoins en indicateur avec le diagramme de cas d utilisation La description textuelle des cas d utilisation est cruciale et correspond à la base de l analyse des besoins et de la discussion avec les acteurs. Elle concerne ici, essentiellement l association des axes d analyse avec chaque indicateur. [PAS 04] Synthèse du formalisme utilise : Les diagrammes choisis et appliqués, pour chaque phase, sont résumés dans le tableau qui suit : Phase de cycle de vie multidimensionnel Définition des besoins Modélisation multidimensionnelle Extraction et transformation et chargement Diagrammes utilisés Cas d utilisation Cas d utilisation Séquence Etat transition Activité Cas d utilisation Restitution des données De séquence Mise en œuvre et déploiement De composant Déploiement Tableau 6.4 : Citation des principaux diagrammes UML utilisé dans les déférentes phases dimensionnelles du cycle de vie 6.6 Conclusion : Dans Ce Chapitre, nous avons présenté la démarche de Ralph Kimball, qui représente l approche utilisée dans le développement et la conception de notre projet, en suivant la notation UML pour le formalisme de chaque phase de cycle de vie dimensionnel. Les cinq phases de cycle de vie dimensionnelle du Data Warehouse du projet étudié, seront présentées et détaillées, dans la partie Conception de l entrepôt de données d AT. 54

79 Partie IV : Conception de l entrepôt de données d ALGERIE TELECOM DANS CETTE PARTIE : Nous allons définir et développer chaque phase de cycle de vie du Tableau de Bord de l activité commerciale d Algérie Télécom, depuis la définition des besoins de l utilisateur jusqu à la restitution des données. Le dernier titre de cette partie, décrit sa mise en œuvre et son déploiement. CHAPITRE 7 : Définition des besoins CHAPITRE 8 : Modélisation Multidimensionnelle de l activité commerciale d Algérie Télécom CHAPITRE 9 : Conception du système décisionnel 9.1. Conception des éléments des différentes phases «ETL» 9.2. Reporting 9.3. Mise en œuvre et déploiement

80 Partie IV : Conception de l entrepôt de données d ALGERIE TELECOM CHAPITRE 7 : Définition des besoins 7.1. Elaboration de questionnaires 7.2. La Préparation des entretiens 7.3. Constituants de l entrepôt de données d AT 7.4. Les Diagrammes des cas d utilisation 7.5. Conclusion

81 PARTIE IV CHAPITRE 7 : Conception de l entrepôt de données d AT Introduction : Les utilisateurs de l entreprise et leurs besoins affectent presque toutes les décisions prises au cours de l implémentation de l entrepôt de données. De ce fait des entretiens répètes, avec eux est obligatoire, afin de cerner et de maitriser les besoins exprimés. 7.1 Elaboration de questionnaires : L interview principal doit mettre un questionnaire au point avant le début des entretiens. Ces questionnaires varient selon la fonction et le niveau hiérarchique de chaque personne interrogée. Dans ce cas, nous n allons pas poser les mêmes questions à un directeur marketing qu à un analyste financier. 7.2 Préparation des entretiens : Questions aux dirigeants : La rencontre quotidienne avec les cadres permet de rassembler les informations nécessaires à la compréhension globale de l entreprise et de ses orientations.cette perspective nous aide à établir un lien entre les données collectées par ailleurs dans l organisation. Voici quelques questions que nous pouvons poser à un dirigeant : - Quels sont les objectifs de votre secteur d activité? - Quels sont vos méthodes pour évaluer la réussite? - Quels problèmes affrontez-vous principalement aujourd hui? - De quelle manière votre activité en serait-elle affectée? - De quelle manière envisager-nous une meilleure exploitation de l information? * Voir Rapport d Entretiens sur l analyse des besoins de l entreprise dans [annexe B] Conclusion de l entretien : L étape finale de l entretien est sa conclusion. L interview principal songera à vérifier l heure et à s accorder au moins cinq minutes à la fin de la rencontre pour terminer l entretien par une conclusion en bonne et due forme, qui commencera par résumer ce qui a été dit Constituants de l entrepôt de données d AT: Les dimensions : sont les points de vue, depuis lesquels les mesures peuvent être observées. Par exemple, dans notre cas: date, région, type de produit, etc Les Indicateurs : sont les valeurs numériques que l on compare (ex: montant service hors consommation, nombre Dossiers actifs, nombre des dossiers résiliés le nombre des Clients enregistrés, ).Ces valeurs offrent les analyses, en fonction des différentes dimensions. 55

82 PARTIE IV CHAPITRE 7 : Conception de l entrepôt de données d AT Les faits : Un fait représente la valeur d une mesure (mesurée ou calculée), selon un membre de chacune des dimensions Description des dimensions: Une dimension contient des membres organisés en hiérarchie : Chacun des membres appartient à un niveau hiérarchique (ou niveau de granularité) particulier. Dans le tableau suivant nous représentons toutes les dimensions déterminées de notre Data Warehouse, après l étude et les entretiens effectués avec les utilisateurs d AT : Dimension Temporel Description C est la seule dimension qui figure systématiquement dans tous les entrepôts des données. Car en pratique, tout entrepôt est une série temporelle, contient tous les mois de l année, les bimestres, les trimestres, les semestres et les années. Géographique Représente toutes les agences commerciales (actels) d Algérie télécom. une willaya regroupe un ensemble d actels et une région rassemble plusieurs wilaya. Catégorie client Produit Autocom Répartiteur Motif Résiliation Statut Client Suspension Dossier Service hors consommation Etat de la demande Représente toutes les catégories clients comme, un client ordinaire ou une entreprise. Représente tous les produits fournis par Algérie télécom comme, télex, téléphone, liaison spécialisée et MégaPac(X25). Ce sont des appareils regroupant plusieurs répartiteurs et installés dans plusieurs sites. Ce sont des appareils regroupant plusieurs lignes téléphoniques. Regroupe l ensemble des motifs de résiliation des dossiers inactifs. Contient tous les statuts des clients, comme réservé, clôturé, actif Regroupe les différents cas de suspension des dossiers actifs ou bien en service. Regroupe l ensemble des services hors consommation fournis par Algérie télécom, comme l appel masqué et les transferts d appels. Regroupe les différents états de la demande comme validé, annulé, en étude Tableau 7.1 : Tableau des dimensions Description des activités: IL faut rappeler que l étude de notre Data Warehouse, porte sur l activité commerciale d Algérie Télécom. Cependant, celle-ci se décompose en quatre sous activités (Demande, Client, Dossier et service hors consommation). Autrement dit, depuis l élaboration d une demande d une ligne téléphonique, par un client (Activités Demande et Client), jusqu à la mise en service de la ligne (Activité Dossier) et éventuellement, l attribution des services demandés indépendamment de la consommation téléphonique (Activité Service Hors Consommation). 56

83 PARTIE IV CHAPITRE 7 : Conception de l entrepôt de données d AT Le tableau suivant, résume les indicateurs déterminés, par axe d analyse et par activité : Activité Indicateur Axe d analyse Demande Client * Nombre de demandes Validées. * Délai de raccordement moyen. * Nombre de demandes global. * Nombre de clients enregistrés mois. * Nombre de clients résiliés mois. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. *code répartiteur et libellé répartiteur. *code autocom et libellé autocom. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. *code répartiteur et libellé répartiteur. *code autocom et libellé autocom. *Code état de la demande et libellé état de la demande. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. Dossier * Nombre des clients en service global. * Nombre des clients hors service global. * Nombre de dossiers actifs global. * Nombre de dossiers en service mois. *Nombre de dossiers résiliés global. *Nombre de dossiers hors service mois. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. *code statut client et libellé statu client. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. *code répartiteur et libellé répartiteur. *code autocom et libellé autocom. * code suspension dossier et libellé suspension dossier. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupement catégorie. *code produit et libellé produit. *code répartiteur et libellé répartiteur. *code autocom et libellé autocom. * code motif résiliation dossier et libellé motif résiliation dossier. 57

84 PARTIE IV CHAPITRE 7 : Conception de l entrepôt de données d AT Service hors consommation * Nombre de clients ayant un service. * Montant d abonnement du service. *Nombre de dossiers ayant un service. *moisbimestretrimestresemestreannée. *code actel et libellé actel code wilaya et libellé wilaya code région et libellé région. *code catégorie client et libellé catégorie client code regroupement catégorie et libellé regroupent catégorie. *code produit et libellé produit. * code nature service hors consommation. Tableau7.2 : Tableau des Activités Commerciale d AT 7.4. Les diagrammes de cas d utilisation : Activité Demande : Activité demande Axes d analyse : - Temporel Nombre de - Géographique demandes validées - Catégorie Client mois - Produit Utilisateur - Repartiteur - - Autocom Axes d analyse : - Temporel - Géographique - Catégorie client - Produit demandes global. - Repartiteur. Administrateur Directeur Analyste - Autocom. commercial commercial -Etat De la Demande Activité Client : Diagramme 7.1 : Diagramme de cas d utilisation de l activité demande Axes d analyse : - Temporel - Géographique - Catégorie client. Nombre de clients résiliés mois - Produit Axes d analyse : Utilisateur Nombre de clients en service global Nombre de clients en - Temporel - Temporel - Géographique - Statut - Produit service global Administrateur Directeur Analyste Activité Client Délai moyen de raccordement Nombre de Nombre de clients enregistrés mois commercial commercial. Diagramme 7.2 :. Diagramme de cas d utilisation de l activité client 58

85 PARTIE IV CHAPITRE 7 : Conception de l entrepôt de données d AT Activité Dossier : Activité dossier Nombre de dossiers actifs Axes d analyse : - Temporel - Géographique. global - Produit. - Autocom Nombre de dossiers en service mois - Repartiteur Axes d analyse : - Temporel - Géographique - Produit. Nombre de dossiers - Autocom résiliés global - Repartiteur -Motif Résiliation Administrateur Directeur Analyste. commercial commercial Nombre de dossiers hors service mois Diagramme 7.3 : Diagramme de cas d utilisation de l activité dossier Activité Service hors consommation : Activité service Utilisateur Nombre de clients ayant Service Axes d analyse : - Temporel - Géographique - Catégorie Client - Produit - Service Hors Consommation Nombre de dossiers ayant Service Administrateur Directeur Analyste. commercial commercial Montant d abonnement de service Diagramme 7.4 : Diagramme de cas d utilisation de l activité service hors consommation 7.5. Conclusion : La phase définition des besoins est très longue en pratique. Nous avons fait les diagrammes de cas d utilisation, pour simplifier la compréhension des besoins des décideurs. 59

86 Partie IV : Conception de l entrepôt de données d ALGERIE TELECOM CHAPITRE 8 : Modélisation multidimensionnelle 8.1. Conception du modèle multidimensionnel 8.2. Modélisation multidimensionnelle de l activité commerciale d Algérie Télécom 8.3. Schéma de l entrepôt de données Data Warehouse de l activité commerciale d Algérie Télécom 8.4. Conclusion

87 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle 8.1 La conception du modèle multidimensionnel : La méthode de conception la plus courante est connue sous le nom d entreposage Multidimensionnel (dimensionnel data warehousing). Un Data Warehouse multidimensionnel, repose sur deux éléments fondamentaux appelés faits et dimensions. Un schéma en étoile est un schéma relationnel, dont la conception représente un modèle multidimensionnel. Il consiste en une ou plusieurs tables de faits et de dimensions qui sont reliées par des clés étrangères. La modélisation multidimensionnelle consiste à considérer un sujet analysé, comme un point dans un espace à plusieurs dimensions. Les données sont organisées de manière à mettre en évidence, le sujet analysé et les différentes perspectives d analyse. Aussi les données à analyser, au niveau d un Data Warehouse, doivent refléter la vision d une classe d analystes. La conception de Data Warehouse passe par quatre étapes : - Choix du processus d activité à modaliser. - Choix du gain du processus d activité. - Choix des dimensions applicables à chaque table de faits. - Choix des mesures que contiendra chaque enregistrement de la table de faits. [KIM 97] La modélisation multidimensionnelle de notre entrepôt de données se compose en 11 tables de faits (Temporel, Etat demande, Catégorie client, Statut client, Géographique, Produit, Suspension dossier, Motif résiliation, Répartiteur, Autocom et Service hors consommation) et 7 tables de dimensions (Demande, Demande cumule, Client, Client cumule, dossier actif, Dossier résilié, Service hors consommation), reliées toutes entre elles, par des clés étrangères. Remarques : Il faut noter, pour les activités client et dossier : sont scindées respectivement en deux tables de fait (l une concerne un traitement mensuel et l autre un traitement global), car leurs états ou bien leurs situations pratiquement changent des valeurs, de mois en mois et les informations précédentes sont écrasées par les nouvelles données. En d autre terme, la somme des valeurs des mois ne donne pas le global. L alimentation de Data Warehouse, à partir de la base de production GAIA d Algérie télécom se fait chaque fin de mois. 60

88 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle 8.2 La modélisation multidimensionnelle de l activité commerciale d AT : Activité «Demande» : Le processus d activité: Sur la base de notre étude et grâce aux entretiens qui nous ont aidé à mieux connaître l activité et les ressources des données disponibles, la première activité importante choisie dans le domaine commercial est l activité demande. Durant chaque projet, les décideurs auront besoin d avoir une synthèse sur le déroulement des demandes en fonction de leur période. Celles-ci représentent le déclanchement de toues les opérations, telles sont exprimées par les clients. Le gain de processus d activité: Dans ce processus, il est important de connaître mensuellement le nombre de demandes validées, et le délai de raccordement moyen des lignes, afin d étudier ou de réviser la qualité de service. Les dimensions : Nous avons déterminé la série de dimensions suivantes : Temporel, Géographique, Catégorie client, Produit, Autocom et Répartiteur. Les faits mesurés ou indicateurs Les faits sont: le nombre de demandes validées et le délai de raccordement moyen. Figure 8.1 : Modèle Multidimensionnel en étoile de l activité «DEMANDE» 61

89 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Demande Cumule» : Le processus d activité: Durant chaque projet, les décideurs auront besoin d avoir une synthèse sur le déroulement des demandes, mais dans ce cas, en fonction de leur état (en étude, irréalisable, réalisable, annulée, ) Le gain de processus d activité: Dans ce processus, il est important de connaître mensuellement le nombre des demandes cumulées, en fonction de leurs états. Depuis la date d enregistrement jusqu à la date de chargement. Les dimensions : Nous avons déterminé la série de dimensions principales suivantes : Temporel, Géographique, Catégorie client, Produit, Autocom, Répartiteur et état de demande. Les faits mesurés : Le fait est le nombre de demandes global. Figure 8.2 : Modèle Multidimensionnel en étoile de l activité «DEMANDE_CUMULE» 62

90 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Client» : Le processus d activité : Les décideurs auront besoin d avoir l état d avancement sur le nombre de clients. Ceux qui sont enregistrés ou résiliés respectivement avec leurs dates d enregistrement ou leurs dates de résiliation. Le gain de processus d activité: Le gain d activité est important parce qu il détermine les différentes dimensions de la base de données. La granularité de la table de fait choisie est la plus fine possible. Dans ce processus, il est important de connaître mensuellement le nombre de client, actifs ou résiliées, en fonction de leurs catégories et les actels d affectation. Les dimensions : D après la granularité de la table de fait, nous avons déterminé la série de dimensions suivante : Temporel, Géographique, Catégorie client et Produit. Les faits mesurés : Un fait est une mesure correspondant aux informations de l activité analysée. Pour cette activité les faits que nous avons enregistrés sont: le nombre de clients enregistrés et le nombre de clients résiliés. Figure 8.3 : Modèle Multidimensionnel en étoile de l activité «CLIENT» 63

91 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Client cumule» : Le processus d activité: La deuxième activité que nous avons jugé importante est l activité client cumule. Celle-ci, calcule le nombre de clients global enregistrés, depuis la 1 ere date d enregistrement jusqu à la date de chargement, en fonction de leurs statuts. Le gain de processus d activité: Dans ce processus, il est important de connaître mensuellement le nombre de clients enregistrés par statut. Ainsi, chaque enregistrement mesure doit être lié à l actel appropriée. Les dimensions : D après la granularité de la table de fait, nous avons déterminé la série de dimensions principale suivante : Temporel, Géographique, Catégorie client, Produit et Statut client. Les faits mesurés : Pour cette activité, le fait que nous avons enregistré est le nombre de clients global. Figure 8.4 : Modèle Multidimensionnel en étoile de l activité «CLIENT_CUMULE» 64

92 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Dossier actif» : Le processus d activité: Cette activité est très importante, les décideurs auront besoin de savoir le total de dossiers actifs, afin de connaître et d enrichir leur parc téléphonique. Le gain de processus d activité: Dans ce processus, il est important de connaître le nombre global et mensuel de tous les dossiers en service (dossiers vivants ou actifs). Les dimensions : Nous avons déterminé la série de dimensions suivante : Temporel, Géographique, Catégorie client, Produit, Autocom, Répartiteur et Nature de Suspension dossier. Les faits mesurés : Les faits sont: le nombre de dossiers actif global et le nombre des dossiers en service mois. Figure 8.5 : Modèle Multidimensionnel en étoile de l activité «DOSSIER_ACTIF» 65

93 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Dossier résilié» : Le processus d activité: L objectif de cette activité est de connaître le motif de résiliation de l ensemble des dossiers résiliés. Le gain de processus d activité: Dans ce processus, il est important de connaître le nombre global et mensuel de tous les dossiers résiliés (dossier morts ou inactifs). Les dimensions : Nous avons déterminé la série de dimensions suivante : Temporel Géographique, Catégorie client Produit, Autocom, Répartiteur et Motif de résiliation dossier. Les faits mesurés : Les faits sont : le nombre des dossiers inactifs global et le nombre de dossiers résilié mois. Figure 8.6 : Modèle Multidimensionnel en étoile de l activité «DOSSIER_RESILIE» 66

94 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle Activité «Service Hors Consommation» : Le processus d activité: Dans ce processus d activité, il est important de connaitre les informations sur le sujet des services hors consommation fournis ; comme le nombre de clients qui ont un service et le montant d abonnement des services offerts. Le gain de processus d activité: Dans ce processus, il est important de connaître mensuellement le nombre de clients et dossiers ayant des services hors consommation, ainsi que leurs montants d abonnement. Les dimensions : D après la granularité de la table de fait, nous avons déterminé la série de dimensions suivante : Temporel Géographique, Catégorie client Produit et service hors consommation. Les faits mesurés : Pour cette activité les faits sont: le nombre des clients et dossiers ayant service hors consommation et montant abonnement services. Figure 8.7 : Modèle Multidimensionnel en étoile de l activité «SERVICE Hors Consommation» 67

95 PARTIE IV CHAPITRE 8 : Modélisation multi dimensionnelle 8.3. Schéma de l entrepôt de données Data Warehouse de l activité commerciale d Algérie Télécom : Cette base répond à notre modèle de données. En d autres termes, c est la transformation de la conception logique en une base de données physique. Le Schéma relationnel de notre base de l entrepôt des données (Schéma de constellation), regroupe tous les schémas en étoile définis précédemment. Dont chaque entité de notre modélisation (table de fait ou dimension) sera une table de notre base de données relationnelle. GEO_DIM CLIENT_FAIT TEMPS_DIM CLIENT_CUMULE_FAIT ETAT_DEMANDE_DIM CATEG_CLIENT_DIM DEMANDE_FAIT AUTOCOM_DIM STATU_CLIENT_DIM DEMANDE_CUMULE_FAIT REPARTITEUR_DIM DOSSIER_ACTIF_FAIT PRODUIT_DIM DOSSIER_SUSP_DIM DOSSIER_RESILIE_FAIT MOTIF_RS_DIM SERV_HCONS_DIM SERVICE_HC_FAIT 8.4 Conclusion : Figure 8.8 : Le schéma relationnel de la base décisionnelle Dans ce chapitre, nous avons décrit notre modélisation multidimensionnelle de toutes les activités du processus commercial d Algérie télécom, tout en respectant la démarche de Ralph Kimball de la conception multidimensionnelle. 68

96 Partie IV : Conception de l entrepôt de données d ALGERIE TELECOM CHAPITRE 9 : Conception du système décisionnel 9.1. Conception des éléments des différentes phases 'ETL' Système 'ETL' Diagrammes de cas d utilisation et de séquence Diagramme d état transition de Système 'ETL' Diagramme d activité de système 'ETL' Conclusion 9.2. Reporting Introduction Diagrammes de cas d utilisation et de séquence Conclusion 9.3. Mise en œuvre et Déploiement Introduction Diagrammes de composants Diagrammes de déploiement Conclusion

97 PARTIE IV CHAPITRE 9 : Conception du système décisionnel 9.1. Conception des éléments des différentes phases 'ETL' : Système ETL : ETL, Acronyme d Extraction, Transformation, Loading, est un système de chargement de données, depuis les différentes sources d'information de l'entreprise (hétérogènes) jusqu'à l'entrepôt de données (modèle multi dimensionnel). Ce système ne se contente pas de charger les données, il doit les faire passer par un tas de moulinettes pour les dé-normaliser, les nettoyer, puis les charger de la façon adéquate dans le Data Warehouse, ses différents phases sont : L extraction : dans notre cas, il s agit d extraire des informations depuis les quatre bases de production, décentralisées, nommées respectivement Bases Alger, Oran, Constantine et Ouargla. La Transformation : Il s agit de transformer les données extraites, en faisant les corrections nécessaires, selon le cas. 1er cas : Recodification de quelques champs du Data Warehouse, en les affectant des codes appropriées afin d éviter les redondances des identifiants et de crée une base de données consolidée de tout l entreprise. 2ième cas : Remplir les colonnes nulles dans le Data Warehouse, qui sont non renseignées dans les bases sources, par des valeurs significatives, afin qu elles soient corrigées dans leurs bases de données sources. Le chargement : Charger les informations traitées, dans les tables de dimensions et dans les tables de faits concernés Diagrammes de cas d utilisation et de séquence : Phase extraction : Nous représentons ici un cas général pour toutes les tâches d extraction, à l aide d un diagramme de cas d utilisation. Et à l aide d un diagramme de séquence, nous mettons en évidence les scénarios les plus probables. Et pour bien comprendre, nous ajoutons une description textuelle, après chaque diagramme. Processus d extraction Chargement des données intermédiaires «include» Tables temporaires Administrateur «include» Extraction des données nécessaires depuis les quatre bases de production Diagramme 9.1: Diagramme de cas d utilisation du processus d extraction 69

98 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Description du Diagramme 9.1 : L administrateur lance le chargement des données intermédiaires vers des tables temporaires (Zone de préparation des données), elles doivent être vides avant chaque opération de chargement. Cette opération consiste à extraire les données nécessaires depuis les quatre bases de production décentralisées de 'Gaia'. Diagramme 9.2 : Diagramme de séquence du processus d extraction (Cas normal) Description du Diagramme 9.2 : Après le lancement de l assistant de chargement par l administrateur, le système ETL peut déterminer pour chaque tâche de chargement, la période nécessaire entre deux relances successives. La séquence d étapes du processus est bien définie dans le diagramme de séquence. Diagramme 9.3 : Diagramme de séquence du processus d extraction (Cas d Erreur) 70

99 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Phase transformation et chargement : Processus de transformation et de chargement Tables temporaires Transformation et Chargement «include» «include» Correction des données Chargement des données corrigées L entrepôt de données Diagramme 9.4 : Diagramme de cas d utilisation du processus de transformation et de chargement Description du Diagramme 9.4 : Après l opération d extraction, le système démarre le processus de transformation qui a pour objectif de corriger les données incomplètes (faire remplir les champs vides non renseignés par des valeurs significatives attribuées par l utilisateur). Une fois l opération de transformation est terminée, le système charge l information préparée dans l entrepôt des données. - Scénario 1 : Cas Normale. Diagramme 9.5 : Diagramme de séquence du processus de transformation et de chargement (Cas Normal) 71

100 PARTIE IV CHAPITRE 9 : Conception du système décisionnel - Scénario 2 : Cas d Erreur. Diagramme 9.6 : Diagramme de séquence du processus de transformation et de chargement (Cas d Erreur) Description du Diagramme 9.6 : L administrateur consulte le fichier LOG. En cas d erreur, il relance les tâches de processus de transformation et de chargement manuellement, ensuite il peut activer le service WEB, pour permettre l accès des utilisateurs au système de Reporting Diagramme d état transition du système ETL : Il consiste d une modélisation de comportement de l objet et relie les événements à des états, en spécifiant la séquence d états provoquée par une séquence d événements.ils servent donc, à représenter des automates d état finis. [PAS 04] En UML, ces diagrammes sont associés à une classe. Dans notre cas, il s agit de représenter clairement les différents états pour les trois systèmes (l entrepôt de données, le système ETL et le système de Reporting), Dans le diagramme qui suit, nous illustrons les deux états du système ETL. 72

101 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Diagramme 9.7 : Diagramme d État Transition : système ETL Diagramme d activité du système : Une activité représente l exécution d un mécanisme et un déroulement d étapes séquentielles. Ces diagrammes permettant de représenter graphiquement le déroulement d une méthode ou d un cas d utilisation. [PAS 2004] 73

102 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Diagramme 9.8 : Diagramme d Activité du système ETL Conclusion : Nous avons décrit formellement les différentes étapes du système ETL en se basant sur l utilisation des trois types de diagrammes UML. 74

103 PARTIE IV CHAPITRE 9 : Conception du système décisionnel 9.2. Reporting : Introduction : Dans cette phase, nous allons décrire les différents cas d utilisation de l interface tableau de bord, suivi par son propre scénario, en spécifiant un profil utilisateur correspondant Diagrammes des cas d utilisation et de séquence : Interface Tableau de Bord : Dans le diagramme des cas d utilisation de l interface tableau de bord tous les cas d utilisation sont illustrés, en représentant les trois fonctionnalités (visualisation des rapports, gestion des comptes utilisateurs et gestion des seuils d indicateurs), dont chacun sera détaillé dans son diagramme de séquence. Le système attribue les droits d accès selon le profil utilisateur comme suit : Connexion au système Visualisation des rapports «include» Identification Administrateur Gestion des comptes utilisateurs Décideur Gestion des seuils Analyste Diagramme 9.9 : Diagramme de cas d utilisation de l interface Tableau de Bord Connexion au système : Tous les utilisateurs peuvent se connecter au système. Chacun s identifie par son nom utilisateur et son mot de passe et implicitement par son profil. S il n ya pas d erreur, la connexion au système s effectue. 75

104 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Scénario 1 : Cas normal : Diagramme 9.10 : Diagramme de séquence du processus de connexion au système (cas normal) Scénario 2 : Cas d erreur : Dans ce cas, l utilisateur souhaite accéder au système avec un compte inexistant. Diagramme 9.11 : Diagramme de séquence : Connexion au système (cas d erreur) Visualisation des rapports : Un utilisateur une fois connecté, selon son profil le système lui attribue les droits d accès aux differents fonctionnalités offertes. Dans notre système, la fonctionnalité visualisation des rapports est attribué aux trois profils utilisateurs (Administrateur, Décideur, Analyste). 76

105 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Diagramme 9.12 : Diagramme de séquence : Visualisation des rapports Gestion des comptes utilisateurs : Le système offre la fonctionnalité de gestion des comptes utilisateurs seulement pour utilisateur qui a le profil Administrateur, et ceci comme suit : Administrateur Création d un nouveau compte utilisateur Modification le compte utilisateur Suppression d un compte d utilisateur Description : Diagramme 9.13: Diagramme de cas d utilisation : Gestion des comptes utilisateurs. L administrateur a la possibilité de créer des nouveaux comptes utilisateurs, de le modifier et éventuellement de supprimer les comptes. 77

106 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Toutes les opérations précédentes seront décrites dans leurs diagrammes de séquences respectifs. Diagramme 9.14: Diagramme 9.15: Diagramme de séquence : Diagramme de séquence : Création d un nouveau compte utilisateur Création d un nouveau compte utilisateur (Cas normal) (Cas d erreur) Diagramme 9.16: Diagramme 9.17: Diagramme de séquence : Diagramme de séquence : Modification d un compte utilisateur Suppression d un compte utilisateur 78

107 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Gestion des seuils d indicateurs : EN plus de la gestion des comptes utilisateurs, nous avons pensé à rajouter la gestion des seuils d indicateurs, afin d enrichir les fonctionnalité de notre système décisionnel. Cette fonctionnalité est permise uniquement aux utilisateurs ayant le profil de décideurs. Décideur Création d un seuil d indicateur Modification de valeur (Max/min) Suppression d un seuil d Indicateur Description : Diagramme 9.18: Diagramme de cas d utilisation : Gestion des seuils d indicateurs Le décideur a la possibilité de créer des seuils d indicateurs, de modifier ses valeurs minimales ou maximales, et éventuellement de les supprimer. Toutes les opérations précédentes seront décrites dans ses diagrammes de séquences respectives. Diagramme 9.19: Diagramme 9.20: Diagramme de séquence : Diagramme de séquence : Création d un nouveau Seuil d Indicateur Création d un nouveau Seuil d Indicateur (Cas Normale) (Cas d Erreur) 79

108 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Diagramme 9.21: Diagramme 9.22: Diagramme de séquence : Diagramme de séquence : Modification d un Seuil d Indicateur Suppression d un Seuil d Indicateur Conclusion : Nous avons décrit les différents aspects de l interface utilisateur offrant les trois fonctionnalités, en utilisant deux types de diagramme UML (Diagramme de cas d utilisation et Diagramme de séquence). La mise en œuvre de l application sera bien détaillée, dans la partie qui suit 80

109 PARTIE IV CHAPITRE 9 : Conception du système décisionnel 9.3. Mise en œuvre et Déploiement : Introduction : Dans la dernière phase, nous allons présenter la mise en œuvre de notre système décisionnel composé des deux systèmes «ET L» et «Reporting». Comme nous avons décrire dans la partie précédente, il s agit d utiliser les deux diagrammes le diagramme de composants et le diagramme de déploiement qui sont utilisés dans cette phase du cycle de vie décisionnel Diagrammes de composants : Le diagramme de composants permet de décrire l architecture physique et statique d une application. Autrement dit, il permet l organisation et la dépendance des composants de l application de différentes natures Diagramme de composant de système global : - Le système global est découpé en deux sous systèmes : Le premier représente l application ETL, qu il s agit d une base de données Référentiel contenant toutes les informations de l application (Taches, transformations,...). Le deuxième concerne le Système Reporting qui permet de créer et de publier les rapports sous forme de Tableau de Bord aux différent utilisateurs via un navigateur WEB et à travers une connexion au Data Warehouse. Diagramme 9.23 : Diagramme de composants du système global 81

110 PARTIE IV CHAPITRE 9 : Conception du système décisionnel Diagrammes de déploiement : Le Diagramme de déploiement permet de définir l architecture matérielle du système, ainsi que le lien de communication entre les différentes entités. Le diagramme de déploiement de notre système est représenté comme suit : Diagramme 9.24 : Diagramme de déploiement du système global Conclusion : Nous avons décrit dans cette phase de conception la mise en œuvre de notre système, en utilisant les deux derniers diagrammes UML. 82

111 Partie V : Mise en œuvre et déploiement DANS CETTE PARTIE : Nous allons décrire les différents outils décisionnels disponibles dans le domaine de l informatique décisionnelle, choisis pour la mise en œuvre de notre système, nous mettons ensuite en pratique l utilisation des ces outils dans la réalisation des différentes phases du projet : ETL et Reporting. Enfin, nous terminons cette partie par une démonstration complète du système décisionnel implémenté. CHAPITRE 10: Environnement et outils de développement CHAPITRE 11: Implémentation et mise en œuvre CHAPITRE 12: Démonstration du système

112 Partie V : Mise en œuvre et déploiement Chapitre 10 : Environnement et outils de développement SGBD «Oracle» Introduction sur l Open Source «Pentaho Data Integration» (PDI) Présentation des Solutions de Reporting Serveur d applications «Tomcat»

113 PARTIE V CHAPITRE 10: Environnements et Outils de développement Introduction : Dans ce chapitre, nous allons présenter les principaux composants décisionnels utilisés dans la mise en œuvre de notre projet, disponibles dans le domaine d intelligence économique, que nous regroupons dans les catégories suivantes : Solutions commerciales (Propriétaires) SGBD (Data Warehouse) : Oracle 9i Server Reporting : Oracle Chart Builder Solutions Open Source (Libre) ETL : Pentaho Data Integration (KETTLE) Reporting (OLAP): BIRT SERVEUR APPLICATION J2EE : Tomcat Tableau 10.1 : Solutions décisionnelles commerciales et Open Source SGBD «Oracle» : Oracle est un SGBD (Système de Gestion de Bases de Données) édité par la société du même nom (Oracle Corporation - leader mondial des bases de données). [W6] Il permet d'assurer : La définition et la manipulation des données, La cohérence des données, La confidentialité des données, L'intégrité des données, La sauvegarde et la restauration des données, La gestion des accès concurrents. Outre la base de données, la solution Oracle est un véritable environnement de travail constitué de nombreux logiciels, permettant notamment, une administration graphique d'oracle, de s'interfacer avec des produits divers et d'assistants de création de bases de données et leurs configuration. On peut classer les outils d'oracle, selon diverses catégories : Les outils d'administration, Les outils de développement, Les outils de communication, Les outils de génie logiciel, Les outils d'aide à la décision. L implémentation de notre projet, repose sur l utilisation du SGBD Oracle Version 9i Server, dans : - la création de la base du Data Warehouse ( l ensemble des schémas multidimensionnels en étoile ). 83

114 PARTIE V CHAPITRE 10: Environnements et Outils de développement - l application de la fonctionnalité d Oracle Olap, disponible dans la version citée, dans la création des Cubes de données, qui regroupe l ensemble des tables de Dimensions et tables de Faits. - la création du référentiel ETL, qui stocke l ensemble de métadonnées des processus d extraction, de transformation et de chargement. - La gestion des utilisateurs de la plateforme décisionnelle ainsi que leurs profils attribués. - La gestion des seuils des indicateurs stratégiques commerciaux. Avant de présenter les solutions de Reporting et ETL utilisées,dans la réalisation de notre projet, il est intéressant d introduire les solutions Open Source, en donnant leurs efficacité par rapport aux solutions commerciales Introduction sur l Open Source : Le monde de l Open Source, connaît maintenant une ébullition sans précédent. Dans bien des cas, le produit Open Source se montre supérieur à une offre commerciale et s impose à l utilisateur final. Les éditeurs de logiciels décisionnels libres profitent d un marché en forte croissance et de la refonte des plates-formes propriétaires pour faire valoir leurs atouts. Avec des logiciels dotés de moins de fonctions et souvent plus abordables, ils visent les entreprises à la recherche de fonctions ciblées. Les développements entrepris sont récents, ce qui contribue à la cohérence du code. L industrie du décisionnel n est pas en reste et l open source propose une offre très riche en la matière. Ces produits peuvent parfaitement s inscrire dans la démarche d un projet pilote à coût très réduit. Au-delà du pilote et moyennant un paramétrage précis, ces outils peuvent aussi s insérer dans une architecture décisionnelle de production. Editeurs et intégrateurs se déclarent tous très intéressés par le développement de nouvelles solutions décisionnelles fondées sur le concept et le modèle économique de l open source. Les fonctionnalités attendues d un système décisionnel digne de ce nom sont les rapports statiques, les rapports dynamiques, la navigation multidimensionnelle et les indicateurs synthétiques. 84

115 PARTIE V CHAPITRE 10: Environnements et Outils de développement Présentation de la Solution ETL : Pentaho Data Integration PDI Définition : PDI est un ETL Open Source qui permet de concevoir et exécuter des opérations de manipulation et de transformation de données. Grâce à un modèle graphique à base d étapes, il est possible de créer sans programmation des processus composés d imports et d exports de données et de différentes opérations de transformation, telles que, des conversions, des jointures, l application de filtres ou même l exécution de fonctions «javascript». [HAS 06] Les principaux rôles de PDI sont : - L Extraction des données, depuis diverses sources (fichiers, bases de données) ; - Le Transport des données d une unité de stockage à une autre ; - La Transformation des données ; - Le chargement (Loading en anglais) des données dans un entrepôt. Diverses sources (Bases de données, Fichiers) Diverses sources (Bases de données, Fichiers) Figure 10.1 : Description PDI Fonctionnalités : PDI permet de créer deux types de processus : Les transformations : traitements effectués au niveau d'une ou plusieurs bases de données comprenant des opérations de lecture, de manipulation et d'écriture. Les tâches : traitements de plus haut niveau, combinant des actions telles que l'exécution d'une transformation, l'envoi d'un , le téléchargement d'un fichier ou lancement d'une application. Il est possible d'exécuter des actions différentes en fonction de la réussite ou de l'échec de chaque étape. 85

116 PARTIE V CHAPITRE 10: Environnements et Outils de développement PDI peut se connecter sur un grand nombre de bases de données, dont Oracle, Sybase, MySQL, PostgreSQL, Informix ou SQLServer et peut également utiliser des données provenant de fichiers textes, XML et Excel Les applications : PDI se compose de 3 applications : Spoon : environnement graphique de création et d'exécution de transformations et de tâches. Pan : application en ligne de commande permettant de lancer l'exécution d'une transformation donnée. Kitchen : application en ligne de commande permettant de lancer l'exécution d'une tâche donnée. «Pan» et «Kitchen» sont utilisés pour planifier l exécution des transformations et des tâches. Carte : serveur web permet d'exécuter des transformations à distance, Il est doté d'un Servlet léger qui accepte un flux XML. Figure 10.2 : Exemple d une transformation PDI 86

117 PARTIE V CHAPITRE 10: Environnements et Outils de développement Planification : Il est généralement souhaitable que des transformations ou tâches créées avec PDI s'exécutent périodiquement. C'est notamment, le cas pour les tâches de synchronisation ou de création d'entrepôts de données. PDI n'intègre pas directement de planificateur de tâches, l'exécution repose donc sur un système externe, tel que les tâches planifiées de Windows ou d'unix Conclusion : PDI est un outil efficace pour réaliser rapidement tout type de traitement sur des bases de données. Nécessaire dans la plupart des projets décisionnels, il sera également très utile dans tout projet utilisant des bases de données et demandant des opérations de synchronisation ou d'export. L'utilisation de PDI présente plusieurs avantages par rapport à des solutions à base de scripts: La création de flux de données complexes est extrêmement simple. La maintenance est beaucoup plus aisée car tous les flux de données sont visibles d'un simple coup d'œil Dans notre projet, PDI va servir à constituer notre Data Warehouse, en réalisant l'importation des données, depuis différentes sources «GAIA», leur consolidation et leur mise en forme. Ainsi que La planification des processus d alimentation du DW pour une exécution mensuelle Présentation des Solutions de 'Reporting' : Les solutions de Reporting (Restitution des données) utilisées dans la réalisation de notre Système décisionnel sont en nombre de deux, il s agit de la solution Open Source 'BIRT' et la solution commerciale 'Oracle Chart Builder', que nous allons décrire dans ce paragraphe Présentation de BIRT : BIRT, Business Intelligence and Reporting Tools (Outil de Reporting et d Intelligence Economique), propose un système de création de rapports pour les applications Web. Comme tous les projets développés dans le cadre de la fondation Eclipse, BIRT est open-source et libre d'utilisation, initié par la société Actuate. [W8] Les deux principaux composants de BIRT sont un outil de conception de rapports basé sur Eclipse et un moteur d'exécution installable dans un serveur d'applications J2EE. 87

118 PARTIE V CHAPITRE 10: Environnements et Outils de développement L'utilisation de BIRT peut se résumer de la façon suivante : Chaque rapport est décrit dans un fichier (au format XML). L'éditeur associé à ce type de fichiers est appelé BIRT Designer. Il permet de construire graphiquement les rapports. Le but d'un rapport est d'afficher des données. Pour chaque rapport, l'outillage de BIRT propose une vue 'Explorateur de données' qui permet la définition d'une ou plusieurs 'sources de données' (par exemple un Data Warehouse) et d'un ou plusieurs 'jeux de données', extraits de la source de données (par exemple les champs renvoyés par une requête SQL). Les 'jeux de données' constituent les données à afficher. L'édition du rapport se fait en mode graphique, en insérant les différents composants graphiques proposés (Texte, image, tableau, liste, graphique,...). Les valeurs affichées par ces composants peuvent être soit statiques, soit extraites des 'jeux de données', soit calculées en utilisant des formules prédéfinies et des scripts écrits en JavaScript. La mise en exploitation se fait en déployant le rapport sur un serveur d'applications J2EE, dans lequel un moteur d'exécution appelé 'BIRT Report Engine' est installé (Tomcat, JBoss sont supportés). Le 'Report Engine' contient une application Web nommée 'BIRT Viewer', accessible par URL et capable de générer les rapports, en fonction des paramètres passés dans l'url. Les paramètres permettent notamment d'indiquer le format de génération (PDF ou HTML). Figure 10.3 : Architecture BIRT Présentation d Oracle CHART BUILDER : Oracle Chart Builder est un outil de Reporting permet de créer de nombreux types de graphiques pour les applications BI de l entreprise. Oracle Chart Builder regroupe une bibliothèque des packages et des classes Java de haute performance et sert à déployer des graphiques dans les applications Java, applets Java, Java Server Pages (JSP), Servlets et les pages HTML. 88

119 PARTIE V CHAPITRE 10: Environnements et Outils de développement Cet outil permet de générer plusieurs types de graphiques, contenant des centaines ou des milliers de points en moins d'une seconde. Le schéma suivant représente l architecture utilisée par Oracle CHART BUILDER Conclusion : Figure 10.4 : Architecture Oracle CHART BUILDER En résumé, ces deux solutions sont utilisées dans notre projet, à des fins suivantes : Business Intelligence and Reporting Tool (BIRT) -Création des rapports sous forme de Tableaux de Bord à l aide de BIRT Designer. -Création et exploitation des CUBES de Données, pour permettre aux utilisateurs une analyse Multidimensionnelle (OLAP) avec les méthodes Drill Down et Drill Up. Oracle Chart Builder -Génération des graphiques utilisant des Java Server Pages hébergées sur un Serveur d application Java (Tomcat), ceci à travers une connexion au Cube de données du Data Warehouse par l intermédiaire du JDBC. -Publication des rapports conçus dans l application web à travers le moteur d exécution BIRT Engine, hébergé sur le Serveur d application Tomcat. Tableau 10.2 : Utilisation de BIRT et Oracle Chart Builder 89

120 PARTIE V CHAPITRE 10: Environnements et Outils de développement Présentation du Serveur d application «Tomcat» : Tomcat est un serveur d'applications Java. Ce qui signifie deux choses : d'abord, il est intégralement écrit en Java. Ensuite, les applications qu'il est capable d'exécuté (nommées applications web) qui doivent être développées en Java. Le rôle du serveur d'applications est double. Il doit savoir exécuter des applications web pour répondre aux requêtes entrantes. Cela passe par des procédures de chargement de classes (en Java), d'invocation dynamique... Il doit également être capable de convertir une requête en objet Java, pour qu'elle soit exploitable par l'application. Et, en retour, savoir convertir l'objet Java contenant la réponse générée, en réponse compréhensible par le serveur web. Ces objets Java sont régis par une API, qui répond aux spécifications Servlet officielles. On comprend dès lors qu'un serveur d'applications est subordonné à un langage. Le cœur d'un serveur d'applications Java est le conteneur de servlets, puisque les servlets sont les éléments essentiels d'une application web écrite en Java (elles reçoivent les requêtes et renvoient les réponses). Le conteneur de servlets gère des servlets (sait où se trouvent physiquement les classes Java, pour que l URL puisse les faire appel...) et les exécute lorsqu'elles sont demandées. En résumé : - Tomcat est un serveur d'applications Java. Les applications web qu'il est capable d'exécuter sont écrites en Java. - Tomcat peut jouer les deux rôles (serveur web et serveur d'applications). [W10] La dernière version de Tomcat (V ) constitue le serveur d applications de notre système décisionnel. 90

121 PARTIE V: Mise en œuvre et déploiement Chapitre 11 : Implémentation et mise en œuvre Définition de l Architecture matérielle et technique Construction de la base de l Entrepôt Construction de la Zone d alimentation avec PDI Mise en œuvre du système de Reporting Intégration de Google Maps au Tableau de Bord

122 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Définition de l Architecture matérielle et technique : Des architectures Matérielle et Technique sont obligatoirement indispensables pour la mise en œuvre de notre système Architecture Matérielle : L architecture matérielle retenue est définie en 3 tiers : 1- Un serveur Data Warehouse centralisant les 4 bases de production GAIA ; 2- Un serveur d Applications/Web ; 3- Et des stations utilisateurs multiplateformes. Le schéma détaillant l architecture matérielle est donné en [Annexe A], de ce présent document ArchitectureCTechnique : Afin de mettre en pratique l architecture matérielle définie, une installation de logiciels est nécessaire, notamment, l application Pentaho Data integration, permettant l extraction, la transformation et le chargement des données, à partir des 4 bases de production GAIA, dans le but d alimenter notre Data Warehouse créée avec le SGBD Oracle 9i Server, installé dans le serveur DW, ainsi que les outils d analyse et de Reporting ( BIRT et Oracle Chart Builder), installés au niveau du serveur d application Java, qui ont pour objectifs la génération des rapports dynamiques selon les besoins des utilisateurs, assurant une analyse multidimensionnelle des données du Data Warehouse via un accès web à une application centralisée(plateforme décisionnelle), regroupant plusieurs fonctionnalités, comme le montre le schéma suivant: Pentaho Data Integration 3.0 Oracle 9i Server - BIRT REPORT ENGINE (J2EE) -Oracle CHART (Sous Tomcat 6.0.4) Figure 11.1 : Architecture technique du Système décisionnel 91

123 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre La réalisation de notre projet ne concerne qu un sous ensemble du Data Warehouse global, qui est représenté par le Data Mart commercial (Autrement dit, l analyse sera faite uniquement sur les données à caractère commercial) Construction de la base de l entrepôt : C est une base de données (relationnelle) dont l objectif est de centraliser l information décisionnelle. Elle représente la base de données physique de notre entrepôt. Cette base répond à notre modèle de données. En d autres termes c est la transformation de la conception logique en une base de données physique. Chaque entité dans notre modélisation, table de fait ou dimension, est transformée en une table de base de données relationnelle. A chaque dimension, on associe une table de base de données relationnelle avec : Une clé primaire. Et une colonne par niveau (pour y stocker les membres). Par exemple, pour la dimension Temps, on associe une table nommée TEMP_DIM, ayant une clé primaire nommée ID_TEMPS et les autres colonnes représentent des niveaux comme suit: Bimestre, Trimestre, Semestre et Année. Et pour chaque table de fait, on associe une table de la base de données relationnelle avec : Des clés étrangères. (clé primaire de chaque table dimension), Et une colonne par mesure (ou Indicateur). Donc, notre base décisionnelle (base d entrepôt) créée avec le SGBD Oracle 9i, contient les tables suivantes : Tables de Dimensions Tables de Faits Nom de la Table TEMPS_DIM GEO_DIM PRODUIT_DIM REPARTITEUR_DIM AUTOCOM_DIM SERV_HC_DIM CATEG_CLIENT_DIM MOTIF_RS_DIM ETAT_DEMANDE_DIM DOSSIER_SUSP_DIM STATU_CLIENT_DIM CLIENT_FAIT CLIENT_CUMULE_FAIT DEMANDE_FAIT DOSSIER_ACTIF_FAIT DOSSIER_RESILIE_FAIT SERVICE_HC_FAIT Clés Primaires ID_TEMPS CODE_REGION, CODE_ACTEL CODE_PRODUIT CODE_REPART CODE_REGION, CODE_AUTOCOM CODE_SERV_HCONS CODE_CAT_CLT CODE_MOTIF_RS CODE_ETAT_DEMANDE CODE_SUSP_DOSS CODE_STATU_CLT ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_PRODUIT ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_STATU_CLT, CODE_PRODUIT ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_PRODUIT, CODE_AUTOCOM, CODE_REPART ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_PRODUIT, CODE_SUSP_DOSS, CODE_AUTOCOM, CODE_REPART ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_PRODUIT, CODE_AUTOCOM, CODE_REPART, CODE_MOTIF_RS ID_TEMPS, CODE_REGION, CODE_ACTEL, CODE_CAT_CLT, CODE_PRODUIT, CODE_SERV_HCONS Tableau 11.1 : Tables de la base Décisionnelle 92

124 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Le schéma relationnel de l entrepôt regroupe les schémas relationnels des cubes (schéma en étoile définie dans la modélisation dimensionnelle). La base de données qui correspond à ce schéma relationnel global, s appelle la base décisionnelle (Par opposition aux bases de production). Certaines dimensions sont communes à plusieurs cubes (par exemple les dimensions GEO_DIM et TEMPS_DIM sont communes à tous les Cubes). Leurs tables ne sont évidemment pas répétées dans le schéma relationnel de l entrepôt, mais utilisées par plusieurs tables des faits. Remarque : Le schéma relationnel de la base décisionnelle est donné dans la Figure 8.8 du CHAPITRE 8. Construction des cubes OLAP : Les cubes représentent notre base de données multidimensionnelle. Chaque cube représente un fait ou un besoin d analyse bien précis. Ils facilitent l analyse aux utilisateurs finaux et les performances des requêtes, en stockant les agrégations des données de l entrepôt. Chaque cube possède un schéma de données (étoile ou flocon), qui est l'ensemble des tables jointes appartenant au Data Warehouse. La table centrale du schéma est la table de faits, qui contient les mesures du cube. Les autres tables sont les tables de dimension, qui contiennent les dimensions du cube. Notre base multidimensionnelle regroupe 7 cubes de données relatifs aux 7 tables de Faits. Avec la solution Oracle Chart Builder ces cubes sont créés au niveau du serveur Oracle par le service OLAP (Oracle 9i V OLAP Service). Ceux ci sont exploités à travers des Vues Matérialisées suivant les besoins de la phase Reporting, qui seront interrogés directement pour assurer la création des rapports et des états dynamiques. Par contre, avec BIRT, cette solution offre la fonctionnalité de créer et d interroger des Cubes au niveau de l application de développement BIRT Designer, permettant une analyse multidimensionnelle avec les méthodes Drill-Down et Drill-up (Analyse du niveau global au niveau détaillé et vice versa) Construction de la Zone d alimentation avec PDI : Nous décrivons l utilisation de PENTAHO DATA INTEGRATION sur deux exemples démonstratifs de processus d alimentation, le premier concerne une table de dimension et l autre correspond à une table de faits, après avoir défini les différentes étapes de cet outil Principales étapes de PDI : Création d un référentiel ETL. Création des connexions aux bases de production et au Data Warehouse. Création des transformations. Création des tâches. Exécution des transformations et/ou des tâches. 93

125 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Planification des transformations et/ou des tâches. Suivi de l exécution automatique des transformations et/ou des tâche à travers les fichiers journaux (Log files). Création du référentiel ETL : La création d une base de données Référentiel se fait grâce à l outil graphique Spoon, fournie avec Pentaho Data Integration. Spoon est une interface graphique orientée utilisateur qui permet de modéliser des transformations (en anglais transformation) et des tâches (en anglais job ) qui peuvent être exécutées par les outils de PDI comme : Pan (pour les transformations) et Kitchen (pour les tâches). Suivant notre architecture définie, nous avons créé la base de Référentiel ETL, dans le Serveur SGBD Oracle 9i, son rôle est d'enregistrer toutes les transformations et les tâches assurant l alimentation régulière de notre Data Warehouse, à partir des 4 bases GAIA, d une manière automatisée. Figure 11.2 : Création du Référentiel ETL nommé AT_ETL_REFERENTIEL 94

126 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre La création des transformations et des tâches est possible qu après connexion au Référentiel créé, comme le montre la figure suivante : Figure 11.3 : Connexion au Référentiel ETL AT_ETL_REFERENTIEL Remarque : Le contenu du Référentiel ETL créé dans notre projet est donné en détail dans l Annexe D Alimentation d une table de Dimension : La table de dimension GEO_DIM permet d analyser tous les indicateurs stratégiques de l entreprise, définis dans la modélisation dimensionnelle par rapport à l axe d analyse géographique. Cette dimension comporte 3 niveaux hiérarchiques qui sont : l ACTEL (le niveau détaillé), la Wilaya et la Région. Cette dimension est partagée entre toutes les tables de Faits de la base décisionnelle. L alimentation de cette table de dimension passe par plusieurs étapes selon le schéma suivant : 95

127 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Insertion dans la table temporaire GEO_TEMP1 Requête d extraction depuis La table P_GEST de GAIA CSV Insertion dans la table temporaire GEO_TEMP2 Chargement dans la Table GEO_DIM Du Data Warehouse DWAT Extraction depuis La table Statique Wilaya CSV File CSV Extraction depuis La table Statique Région CSV File Insertion dans la table temporaire GEO_TEMP3 TEMP Jointure entre les trois tables temporaires utilisant le code_gest et le code_region Data Warehouse Figure 11.4 : Processus d alimentation de la table de dimension GEO_DIM Modélisation d une transformation : Une transformation a pour but d alimenter une table de dimension (Par exemple GEO_DIM ), suivant le schéma de la Figure 11.2, à l aide de l éditeur graphique de PDI. Nous avons créé les différentes étapes 1 de la transformation comme suit : Figure 11.5 : Création de l étape d extraction à partir de la base de Production Gaia ALGER 1 Une étape peut fournir de nombreux services, comme lire un fichier texte, une table dans une base de données, réaliser un filtre sur des valeurs... Une transformation est composée d'étapes. 96

128 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre La transformation contient plusieurs étapes, dont chacune est chargée d un traitement définie par l utilisateur. Comme le montre la figure suivante : Figure 11.6 : Modélisation de la transformation TRANS_GEO_DIM Une fois la création de la transformation est terminée, on doit la sauvegarder dans la base du Référentiel pour la lancer et suivre sa trace d exécution. PDI permet d exécuter les transformations en mode local ou à distance. Dans notre cas nous avons utilisé le mode d exécution local. Cette transformation doit être incluse dans une tâche (Job), permettant sa planification pour une exécution régulière Alimentation d une table de Faits : La table de faits DOSSIER_RESILIE_FAIT permet d enregistrer, à un temps t, le nombre de dossiers résiliés suivant plusieurs axes d analyse (Région, Wilaya, Actel, Catégorie Client et Motif Résiliation). 97

129 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Modélisation d une tâche : Une tâche peut contenir une ou plusieurs transformations. Elle peut contenir aussi d autres tâches. Son but est de planifier et d ordonnancer leurs exécution. L exemple suivant décrit les étapes de création de la tâche chargée d alimenter la table de faits DOSSIER_RESILIE_FAIT, par la modélisation d une transformation et d une tâche. Création de la transformation : Sert à extraire les informations correspondant au nombre de dossiers résiliés selon la structure de la table de faits en utilisant une requête de chargement (SQL) à partir du système source «Gaia» (Etape d extraction). Elle fait ensuite la correspondance entre les champs des tables Source et Cible (Etape de Mapping), en vue de les insérer dans notre Data Warehouse (Etape d insertion). Figure 11.7 : Création de la transformation TRANS_DOS_RESILE Création de la tâche : La tâche créée combine les actions suivantes : - l ordonnancement et l exécution des transformations. - l exécution des scripts SQL, assurant la correction des données provenant du système source (Champs non renseignées, informations erronées ou manquantes...). - Le traitement des cas d erreur (Gestion des exceptions). - La génération et la gestion des fichiers LOG. 98

130 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Figure 11.8 : Création de la tâche TACHE_DOSSIER_RESILIE_FAIT La construction de la zone d alimentation est assez longue, nous terminons cette section par la description de la tâche globale qui regroupe toutes les transformations et les tâches crées, chargées d alimenter notre Data Warehouse, en vue de son lancement d une manière automatique. Figure 11.9 : Trace d exécution de la tâche Globale Planification : La tâche globale ordonnance l ensemble des tâches programmées dans le processus commercial, d une manière séquentielle, cette tâche est planifiée pour une exécution régulière à minuit et chaque fin du mois. 99

131 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Figure 11.10: Planification de la tâche TACHE_DIM_FAIT_GLOBALE La trace de l exécution des tâches est lue à partir des fichiers Logs (Voir un exemple de fichier Log et une trace d exécution d une transformation en [Annexe E]). Enfin nous avons utilisé une fonctionnalité avancée fournie par le service appelé «Kitchen» intégré dans la solution, pour planifier l exécution de la tâche globale par l intermédiaire du planificateur Windows. Ce service permet de lancer le traitement indépendamment de la solution ETL et directement à partir du Référentiel ETL en utilisant un fichier de commande (Shell Script). La tâche à été planifiée en mode différé afin d'être exécutée à des intervalles de temps Réguliers (Mensuellement). Récapitulatif sur la phase 'ETL' : Le référentiel ETL mis en œuvre regroupe un ensemble de transformations et de tâches chargées d alimenter notre base du Data Warehouse mensuellement, en assurant la gestion et le traitement des cas d erreurs, ainsi que la journalisation des processus d alimentation, à travers des fichiers Logs, qui sont mis à la disposition de l administrateur ETL, pour d éventuelles interventions manuelles. 100

132 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Mise en œuvre du système de Reporting : Description de l utilisation de BIRT : Nous décrivons le processus de création d un rapport à l aide de Birt designer, ensuite sa publication sur notre Serveur d application Tomcat au niveau de Birt Engine, hébergé sur le même Serveur, pour son exploitation par plusieurs utilisateurs. L interface de Birt designer (Version 1.3) ressemble à celle de l IDE Eclipse. Elle regroupe un ensemble de composants : Un explorateur de données (Data Explorer) permettant l exploration des bases de données (Data Warehouse), Une Palette d objets, Un éditeur de propriétés d objets, Un éditeur de code (Java, Java Script, HTML, Css Style et XML), Un créateur de cubes (Cube Builder), comme le montre cette interface : Figure 11.11: Interface principale de BIRT Designer Le développement d un rapport ne se fait qu après avoir créé une connexion à notre base de Data Warehouse, à l aide du service JDBC (Utilisant OJDBC 14, fournie avec Oracle 9i Server) : 101

133 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Figure 11.12: Interface de connexion au Data Warehouse (JDBC) Une fois la connexion créée, on passe à la création du Data Set : Figure 11.13: Création du Data Set DOSSIER_ACTIF_FAIT 102

134 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Les Data Set sont des requêtes SQL, en interrogeant l ensemble des tables de faits et de dimensions et en donnant les paramètres nécessaires pour leur exécution, selon le cas. On a par exemple comme Paramètre le Mois, la Région, l ACTEL, le Produit Une fois les Data Sets et les Paramètres créés, on passe à la création du cube de données, à partir de l ensemble des Data Set : Figure 11.14: Création d un cube de données 103

135 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Niveaux d une Dimension (Axe) Mesure (Indicateur) Figure : Editeur des Cubes de données Après l édition du cube, on doit mettre en relation les tables de dimensions avec la table de Faits, pour permettre le groupement et l agrégation des mesures : Figure 11.16: Aperçu du cube créé 104

136 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Nous terminons, par l édition de la disposition de notre rapport en utilisant le Layout Editor, avec l insertion des objets de représentation tels que : Les Tableaux, Les Tableaux Croisées (Cross tables) et Les graphiques (Avec des représentations en 3D), pour l affichage des cubes, d une manière dimensionnelle. Remarque importante : Figure 11.17: Génération d un Rapport avec BIRT Afin d améliorer notre rapport, nous pouvons introduire du code en Java ou en Java Scripts et HTML, pour : - l interactivité du rapport ; - Le paramétrage dynamique ; - Et l affichage spécial (Highlighting 1 ) de mesures qui débordent des seuils d indicateurs. Enfin, le rapport développé est déployé sur le serveur d application, à l aide des pages JSP selon le schéma suivant : Figure : Architecture de déploiement d un rapport Birt 1 Affichage d une mesure par une couleur vive, en cas de débordement de son seuil arrêté 105

137 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Description de l utilisation d Oracle CHART Builder: Notre application web est destinée à être utilisée sous la forme d application Client /serveur, et pour notre cas, nous avons utilisé l architecteur (Client/serveur à trois tiers). Oracle Chart Builder est une bibliothèque des packages et des classes Java de haute performance. Notre but est de l exploiter, pour développer et déployer des représentations graphiques des données du Data Warehouse en utilisant des Pages (JSP), pour améliorer l interprétation des données tabulaires, suivant les besoins des décideurs et des analystes de l entreprise. JSP «Java Server Pages» est un fichier contenant du code HTML et des fragments de code Java exécutés sur un moteur de Servlets. Les différentes phases pour obtenir une page JSP sur le web, sont résumées dans le schéma suivant : Figure : Processus de Reporting Oracle Chart Builder La bibliothèque Oracle Chart Builder contient plusieurs paquets. Chacun contient une ou plusieurs catégories de graphiques : Le paquet oracle.charts.piechart contient la classe PieChart, qui fournit des méthodes pour la création des diagrammes circulaires. Le paquet oracle.charts.axischart contient la classe axischart, qui fournit des méthodes pour la création des Graphiques. Il contient également d autres classes, comme AxisChartInteractive qui fournit des méthodes pour Créer des graphiques interactifs. Le paquet oracle.charts.types contient les classes qui fournissent les méthodes de personnalisation des graphiques «Titre, Sous titre, etc.». Les principales étapes de développement avec Oracle Chart Builder, sont résumées comme suit : 106

138 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Importation des paquetages Java : pour pouvoir utiliser les méthodes précédentes, il suffit de déclarer les paquetages nécessaires, en utilisant le Tag de directive <%@ %> Remarque : Les Tags permettent de différencier le code HTML du code Java. Exemple : <%@ page import="oracle.charts.types.*" %> <%@ page import="oracle.charts.axischart.*" %> <%@ page import="oracle.charts.piechart.*" %> La figure suivante montre les principaux éléments d un diagramme à axe : Créer un objet graphique AXE : en utilisant le constructeur par défaut : AxisChart () AxisChart Ch1 = new AxisChart(); Figure 11.20: Elément d un Diagramme à Axe Le nom d objet graphique «Ch1» dans cet exemple, est utilisé dans les appels aux méthodes qui définissent les caractéristiques de l'axe graphique, comme sa taille et les autres paramètres nécessaires. Définir la taille du graphe à l'aide de la méthode setsize(): La ligne suivante définit la taille de la zone graphique à (width =950) pixels de largeur et par ( height =380) pixels de hauteur: int width=950, heigth=380 ; Ch1.setSize(width,height); 107

139 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Charger des données dans l'axe graphique à partir des vues matérialisées agrégées des cubes de données 1 : Nous utilisons la méthode setxseries () pour charger les données de l'axe horizontal. Nous utilisons la méthode setyseries () pour charger les données de l'axe vertical. - La requête suivante permet d extraire les données depuis la table de la vue matérialisée : rset = stmt.executequery ( " SELECT " +" +"request.getparameter("axeanalyse")+" " +", dates, sum("+indicat+") " +" FROM " + qualifiedtablestr + " +" WHERE " + +" Condition_Temps "+ " Condition_Géographique+" +" group by " +" +"request.getparameter("axeanalyse ")"+ ",dates" ); - Les résultats de la requête seront enregistrés dans le tableau «Yval» : - Le code java suivant, permet de charger les données dans les axes du graphe : Ch1.setXSeries(TStamps);// la date définie par l utilisateur for (int i=0; i< seriesname.length; i++) { String sname = seriesname[i];//les wilayas ou les actels définies par l utilisateur. Ch1.setYSeries(sName, Yval[i]); //les valeurs retournés pour chaque wilaya/actel Ch1.setSeriesColor(sName, seriescolor[i]); //les couleurs retournés pour chaque wilaya/actel } Définition des paramètres de graphe: int graphetype = AxisChart.BAR; // type de graphe linéaire ou histogramme Ch1.setSeriesGraphType(sName, linetype); Ch1.getTitle().setText("NOMBRE ACTEL/WILAYA AYANT SERVICE HORS CONSOMMATION"); Ch1.getSubtitle().setText("REGION: CENTRE"); Ch1.getFootnote().setText("Source:Data_Warehouse, ALGERIE TELECOM 2008 "); 1 Voir la description de création du cube et de vue matérialisée utilisées en «Annexe C» 108

140 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Intégration de Google Maps au Tableau de Bord décisionnel d Algérie Telecom : L utilisation de la technologie Ajax ainsi que l Api de Google Maps permet d'ajouter une dimension géographique interactive au tableau de bord. Cette nouvelle dimension visuelle permet «d'accélérer et d'enrichir le processus d'analyse», et d'expliquer que: «La combinaison des données fournies et d'une information géographique visuelle peut aider l entreprise à identifier rapidement les régions associées à certains comportements clients ou tendances d'investissement, à sélectionner les sites d'extension de l'activité, ou encore à cibler précisément des opportunités de marché». L utilisation de cette technologie, nous a permis d ajouter une nouvelle fonctionnalité interactive au système décisionnel, pour mieux exploiter les données commerciales d Algérie Télécom, à partir du Data Warehouse implémenté. Elle permet ainsi d améliorer la présentation d indicateurs par zone géographique. Comme nous le savons, le SGBD Oracle 9i a la fonctionnalité qui permet de générer le format XML à partir de la base de données, la publication des données générées en XML sur le web se fait en utilisant une variété de langages comme Java Servlets et JDBC pour la connexion à la base du Data Warehouse. Son implémentation se résume comme suit : Création d une table supplémentaire contenant les informations géographique nécessaires pour la localisation des ACTELs, Wilayas et des Régions sur la carte géographique, et ceci au niveau de la base du Data Warehouse. Par exemple, pour localiser l agence commerciale (Actel) de Mohammadia, il est nécessaire d avoir ses coordonnées géographiques comme suit : Latitude=" " Longitude=" " Pour la centrer sur la carte on met : map.setcenter(new GLatLng( latitude,longitude),zoom); Les indicateurs souhaités seront afficher sur une Info Window, qui sera ouverte sur le point localisé précédemment, comme suit : var marker = createmarker(point,label,point.name); // Pour mettre le point sur la carte marker.openinfowindowhtml(point.name); // Pour ouvrir la fenêtre 109

141 PARTIE V CHAPITRE 11 : Implémentation et mise en œuvre Ces informations seront lues à partir d un fichier XML extrait du Data Warehouse. En résumé, nous avons implémenté la fonctionnalité de Google Maps selon l architecture suivante: Data Warehouse Oracle OLAP (JDBC) XML (JDBC) Serveur d application JAVA (TOMCAT) Extraction des données sous format XML GDownLoadURL XMLHttpRequest HTML Localisation des zones géographiques (Région, Wilayas et Actels) sur la carte utilisant les informations géographiques : longitude et latitude HTML Remarque importante : Figure : Description de l utilisation de Google Maps API L utilisation de l API de Google Maps nécessite une connexion à internet avec l activation du Java Script au niveau du navigateur web. Conclusion : Enfin tous les éléments implémentés dans la phase Reporting, sont déployés sur le Réseau Intranet d Algérie Télécom, pour permettre un accès distant aux utilisateurs selon leurs profils (Décideurs, Analystes et Administrateurs). 110

142 PARTIE V: Mise en œuvre et déploiement Chapitre 12 : Démonstration du système Portail d accès des utilisateurs via le Web Démonstration des solutions de Reporting Démonstration du mode d analyse géographique 'Google Maps' Gestion des comptes utilisateurs Gestion des seuils d indicateurs Conclusion

143 PARTIE V CHAPITRE 12: Démonstration du système Dans ce chapitre, nous allons décrire la Plateforme décisionnelle basée sur le web, implémentée, pour satisfaire les différents besoins des utilisateurs finaux du SID (Décideurs, Analystes et Administrateurs). Celle-ci regroupe un ensemble de fonctionnalités attribuées aux utilisateurs suivant leurs profils, permettant : - La gestion des utilisateurs et des profils utilisateurs. - La gestion des seuils d indicateurs stratégiques d Algérie Télécom. - L exploitation et l analyse multidimensionnelle des données du Data Warehouse à travers des rapports dynamiques publiées par les solutions BIRT et Oracle Chart Builder. - L analyse des indicateurs par zone géographique, à travers la carte géographique interactive de Google Maps. Remarque : En plus des navigateurs Web classiques (Internet Explorer et FireFox), l application offre la possibilité de télécharger le navigateur Web Safari d Apple Software Inc, en raison de sa performance élevée Portail d accès des utilisateurs via le Web: Avant d exploiter la Plateforme décisionnelle, il est obligatoirement nécessaire de s authentifier, en donnant un nom utilisateur et un mot de passe, par l intermédiaire de cette fenêtre : Figure 12.1 : Portail d accès des utilisateurs 111

144 PARTIE V CHAPITRE 12: Démonstration du système La Plateforme Décisionnelle se présente sous plusieurs aspects, selon le profil de l utilisateur connecté : Pour l administrateur ; la Plateforme se présente comme suit : Consultation et MAJ des comptes utilisateurs Figure 12.2 : Fenêtre des Fonctionnalités utilisateur Administrateur Pour le Décideur ; la Plateforme se présente comme suit : Consultation et MAJ des seuils d indicateurs Figure 12.3 : Fenêtre des Fonctionnalités utilisateur Décideur 112

145 PARTIE V CHAPITRE 12: Démonstration du système Et pour l analyste ; la Plateforme se présente comme suit : Figure 12.4 : Fenêtre des Fonctionnalités utilisateur Analyste Donc, les rôles des différentes Profils d utilisateurs définis dans notre système décisionnel sont : Profil Utilisateur Administrateur Décideur Analyste Rôles - Gestion des comptes utilisateurs. - Exploitation des rapports (BIRT, Oracle CHART et Google Maps). - Gestion des seuils d indicateurs. - Exploitation des rapports (BIRT, Oracle CHART et Google Maps). - Exploitation des rapports (BIRT, Oracle CHART et Google Maps). Tableau 12.1 : Rôles des utilisateurs selon leurs Profils 113

146 PARTIE V CHAPITRE 12: Démonstration du système Démonstration des solutions de Reporting: La fonctionnalité BIRT : Comme nous avons décrit dans les chapitres précédents, notre étude est portée sur l activité commerciale d Algérie Télécom, qui se résume en ce menu interactif : Menu Vertical des Activités commerciales Liste des rapports de l activité Client Figure 12.5 : Interface principale du processus commercial Le menu vertical, permet à l utilisateur de basculer entre les différentes Activités Commerciales. En cliquant, sur l Activité Client, le système affiche à l utilisateur, un ensemble de rapports, publiés sur la plateforme décisionnelle. En sélectionnant situation périodique par wilaya, Actel et catégorie clients, le système demande à l utilisateur de sélectionner les paramètres nécessaires à travers des Combo box, comme le montre la Figure suivante : 114

147 PARTIE V CHAPITRE 12: Démonstration du système L utilisateur doit Sélectionner les Paramètres souhaité utilisant des Combo Box Figure 12.6 : Paramètres d exécution d un rapport BIRT Après l exécution, la solution génère un rapport interactif, par niveau hiérarchique (Drill Down). En commençant du niveau le plus haut Région, ensuite vers Wilaya, Actel et Catégorie Client, comme suit : En cliquant sur les liens définis, le système effectue un passage implicite de paramètres. Par Exemple en cliquant sur le lien Blida dans le tableau, on peut avoir le détail (Drill Down) sur cette wilaya. Figure 12.7: Nombre de Dossiers Actifs Niveau Région 115

148 PARTIE V CHAPITRE 12: Démonstration du système Afin de faire un Drill Down, c à d, avoir le détail sur une Wilaya, l utilisateur doit cliquer sur une wilaya du tableau ou bien sur sa bande correspondante du graphique, il aboutira au résultat suivant : Faire un Drill Down sur le nombre de Dossiers Actifs Faire un Drill Down sur l ACTEL Figure 12.8 : Nombre de Dossiers Actifs Niveau Wilaya Le détail sur l Actel, permet d analyser l indicateur par catégorie clients (Changement d axe:géogcateg_client) Figure 12.9 : Nombre de Dossiers Actifs Niveau Actel 116

149 PARTIE V CHAPITRE 12: Démonstration du système Utilisation de Cubes avec BIRT : Cet exemple montre l utilisation de cube de données conçue par l application Birt Designer de la solution BIRT : Niveau Wilaya Niveau Actel Figure 12.10: Nombre de Dossiers Actifs par Constructeur Après le défilement de la page précédente, on aura la page suivante : Indicateur Correspondant aux deux Axes Exportation sous Format PDF Axe d Analyse Wilaya Axe d Analyse Constructeur Figure 12.11: Représentation Graphique Nombre de Dossiers Actifs par Constructeurs en 3D 117

150 PARTIE V CHAPITRE 12: Démonstration du système Remarque Importante : Les rapports sont générés, en prenant en compte les seuils d indicateurs, définis par le Décideur, en vue de provoquer des alertes de débordement de valeurs et par conséquent, prendre rapidement une décision, comme le montre cet exemple : Excès du seuil Fixé à 14 Jours Figure 12.12: Nombre de Demandes Validées avec contrôle du seuil de l indicateur La fonctionnalité d Oracle Chart Builder : Même fonctionnalité que BIRT, La solution Oracle Chart Builder, génère des tableaux et des graphiques, après avoir donné des paramètres servant à leur exécution. Cette solution n offre pas l export de rapports sous formats PDF ou HTML. Nous présentons cette solution par l exemple suivant : 118

151 PARTIE V CHAPITRE 12: Démonstration du système Figure : Nombre de Clients Ayant SERV_HCONS Niveau Région 119