Fouille de Données : OLAP & Data Warehousing

Dimension: px
Commencer à balayer dès la page:

Download "Fouille de Données : OLAP & Data Warehousing"

Transcription

1 Fouille de Données : OLAP & Data Warehousing Nicolas Pasquier Université de Nice Sophia-Antipolis Laboratoire I3S

2 Chapitre 2. Data warehousing Définition : qu est-ce que le data warehousing? Entrepôt de données vs. bases de données Modèle multi-dimensionnel des données Modélisation d un entrepôt de données Construction d un entrepôt de données Bases de données vs. data warehousing Data warehousing vs. data mining 2

3 Data warehouses & data warehousing Qu est-ce qu un data warehouse? «une collection de données orientées sujet, intégrées, historisées et persistantes, utilisée pour le support d un processus d aide à la décision.» W. H. Inmon Une base de données servant de support pour l aide à la décision qui est maintenue séparément de la base de données opérationnelle Contient un résumé des données opérationnelles, à un niveau élevé d abstraction, concernant une période étendue Objectif : l analyse multi-dimensionnelle des données Ex : comparer les ventes selon le pays, la ville, le client, le mois, etc. Qu est-ce que le data warehousing? Désigne les processus de construction et d utilisation des entrepôts de données 3

4 Une collection de données (1) Orientées sujets Organisées autours de sujets principaux (produits, clients, ventes, etc.) Pour la modélisation et l analyse des données pour l aide à la décision traitement quotidien des transactions ou opérations Fournit une vue simple et concise autour d un sujet particulier en excluant les données inutiles pour le processus d aide à la décision Intégrées Requiert une intégration de données sûres, consistantes et complètes Intégration de sources multiples et hétérogènes BD relationnelles, transactionnelles, orientées objets, flat files, applications dédiées, etc. Diverses sources (Ex : diverses services, agences, départements, etc.) Techniques de nettoyage et intégration des données Consistance entre les diverses sources des noms, des unités de mesure, etc. 4

5 Une collection de données (2) Historisées Point de vue de l entrepôt de données est plus étendu que celui de la BD opérationnelle BD opérationnelle : valeur actuelle de la donnée Entrepôt de données : valeurs d une perspective historique (ex : derniers 5 ans) Toutes les structures de clés d un entrepôt de données contiennent une référence à la date, explicitement ou implicitement Persistantes Stockage séparé en mémoire secondaire des données transformées de la BD opérationnelle Pas de mise à jour en ligne dans un entrepôt de données Pas besoin de mécanismes de traitement des transactions, récupération et contrôle d accès concurrents Opérations d accès : chargement initial des données, rafraîchissement des données et accès aux données 5

6 Entrepôts de données vs. bases de données OLTP : On-Line Transaction Processing Tâche principale des SGBD Traitement des opérations quotidiennes : enregistrements des opérations, gestion de stock, facturation, traitements de salaires, comptabilité, etc. Minimisation des redondances de données Contraintes d intégrité, concurrence d accès, résistance aux pannes OLAP : On-Line Analytical Processing Tâche principale des entrepôts de données Techniques d analyse des données ( généralisation, consolidation, agrégation, etc.) Visualisation des données selon différents angles de vues Grand volume de données et contraintes d efficacité des requêtes 6

7 Entrepôts de données vs. bases de données OLTP OLAP Utilisateurs Secrétaires, clients, employés Analystes, gestionnaires Fonction Opérations quotidiennes Aide à la décision Modélisation ER, orientée application Etoile/Flocon, orienté sujet Données Actuelles, à jour Détaillées, non abstraites Isolées Utilisation Répétitive Ad-hoc Historisées Résumés, multi-dimensionnelles Intégrées, consolidées Accès Lecture/écriture Accès concurrents Nombreux balayages Lecture seules Unité de travail Transactions atomiques Requêtes complexes # enreg. accédés Dizaines Millions # utilisateurs Centaines-milliers Dizaines-centaines Taille BD 100 MO - GO 100 GO - TO Métrique Traitement des transactions Temps de réponse (secondes) Traitement des requêtes Temps de réponse (minutes) 7

8 Pourquoi un entrepôt de données séparé? Hautes performances des deux systèmes SGBD optimisés pour l OLTP : méthodes d accès, indexage, contrôle de concurrence d accès, récupération DW optimisés pour l OLAP : requêtes OLAP complexes, vues multidimensionnelles, consolidation des données Différentes fonctions et différentes données Données manquantes : aide à la décision requiers des données sur une longue durée non conservées dans les BD Consolidation : aide à la décision requiers la consolidation (agrégation, généralisation) des données de sources hétérogènes Qualité des données : sources différentes utilisent souvent des noms, formats, codes et mesures différents qui doivent être uniformisés 8

9 Modélisation d un entrepôt de données Basé sur un modèle multi-dimensionnel des données qui voit les données sous la forme d un data cube (cube de données) Modélisation d un entrepôt de données : dimensions et mesures Data cube : permet de modéliser et visualiser les données selon différentes dimensions Les dimensions constituent les points de vues depuis lesquels les données peuvent être observées Chaque dimension est représentée par une table Ex : Localisation (ville, département, pays, région), Produit (article, type, catégorie), Date (jour, semaine, mois, trimestre, année) Tables de dimensions peuvent être générées automatiquement selon la distribution des données 9

10 Modélisation d un entrepôt de données Thème central est représenté par une table de faits Table de faits contient les valeurs des mesures et des clés vers les tables de dimensions Valeur d une mesure : résultat d une opération d agrégation des données Ex : montant_ventes, quantité_vendue Les clés des tables de dimension sont en général construites automatiquement L ensemble des valeurs d une mesure pour une combinaison de valeur des dimensions constitue un cuboïde Ex : entrepôt de données des ventes électroniques d une société. Montants des ventes sur l année par type d article, par ville et par mois Une valeur est associée à chaque combinaison type ville mois 10

11 Exemple de cuboïde (1) Dimensions : Produit (type), Localisation (ville) et Date (mois) Produit Disques durs Processeurs Moniteurs Répondeurs Téléphones Janvier Février Mars Avril Mai Juin Date Juillet Août Septembre Octobre Novembre Décembre Localisation Paris Marseille Rome Milan 11

12 Exemple de cuboïde (2) Dimensions : Produit (type) et Date (trimestre) Localisation = «Londres» Produit Date Disque dur Moniteur Processeur Téléphone Répondeur Trimestre 1 Trimestre 2 Trimestre 3 Trimestre

13 Cube de données : un treillis de cuboïdes aucune 0-D (apex) cuboïd produit date localisation client 1-D cuboïd produit,date produit,localisation produit,client date,localisation date,client localisation,client 2-D cuboïd produit,date,localisation produit,date,client produit,localisation,client date,localisation,client 3-D cuboïd produit,dates,localisation,client 4-D (base) cuboïd 13

14 Les dimensions multi-niveaux Différents niveaux d abstraction / spécialisation pour chaque dimension Représentés par les tables de dimensions Granularité d une dimension : nombre de niveaux d abstraction Exemple : Date Produit Catégorie Type Article Localisation Ville Département Pays Région Semaine Année Semestre Trimestre Mois Jour 14

15 Hiérarchies de concepts d une dimension Concept : valeur correspondant à un niveau d abstraction Exemple : dimension Localisation Toutes Toutes Région Europe.. Amérique du nord Pays France.. Italie Etats-Unis.. Canada Ville Marseille.. Nice Rome Milan Boston Seattle Toronto.. Montreal 15

16 Trois catégories de mesures Distributives Le résultat dérivé de l application de la fonction à n valeurs agrégés est le même que celui dérivé de son application sur toutes les données sans partitionnement Ex : count(), sum(), min(), max() Algrébriques Peut être calculée par un fonction algébrique avec m arguments (m entier borné), chacun obtenu en appliquant une fonction d agrégation distributive Ex : avg() {sum(), count()}, standard_deviation() Hollistiques Pas de limite constante sur la taille de stockage nécessaire pour décrire un sous-agrégat Ex : median(), mode(), rank() Calcul efficace de valeurs approchées avec une marge d erreur bornée 16

17 Modélisation d un entrepôt de données Nécessite un modèle concis et orienté sujet modèle entités-relations Schéma en étoile Une table de faits centrale connectée à un ensemble de tables de dimensions Schéma en flocon Un raffinement du schéma en étoile où certaines hiérarchies de dimensions sont normalisés en un ensemble de tables de dimensions plus petites Schéma en constellation Plusieurs tables de faits qui partagent des tables de dimensions. Peut-être vu comme une collection d étoiles (schéma en galaxie ou constellation de faits) 17

18 Schéma en étoile Table de faits centrale connectée aux tables de dimensions Client NumClient NomClient TypeClient Date CléDate Jour Semaine Mois Trimestre Semestre Année Vente NumClient NumProduit CléDate CléLocalisation QuantitéVendue PrixTotal Produit NumProduit Article Type Catégorie PrixUnitaire Fournisseur Localisation CléLocalisation Ville Département Pays Région 18

19 Schéma en flocon Tables de dimensions normalisées (décomposées) Client NumClient NomClient TypeClient Date CléDate Jour Semaine Mois Trimestre Semestre Année Vente NumClient NumProduit CléDate CléLocalisation QuantitéVendue PrixTotal Produit NumProduit Article CléType PrixUnitaire Fournisseur Localisation CléLocalisation Ville Département CléPays Catégorie CléType Type Catégorie Pays CléPays Pays Région 19

20 Schéma en constellation de faits Plusieurs tables de faits reliées aux tables de dimensions Client NumClient NomClient TypeClient Date CléDate Jour Semaine Mois Trimestre Semestre Année Vente NumClient NumProduit CléDate CléLocalisation QuantitéVendue PrixTotal Produit NumProduit Article Type Catégorie PrixUnitaire Fournisseur Localisation CléLocalisation Ville Département Pays Région Transport NumProduit CléDate LocDépart LocArrivée Prix Quantité 20

21 Un exemple de cuboïde Ventes sur l année Dimensions Produit (catégorie) Localisation (ville) Date (trimestre) Informatique Paris 30 Marseille 25 Rome Milan Téléphonie er trimestre e trimestre e trimestre e trimestre 21

22 Dimensions Produit (catégorie) Localisation (pays) Date (trimestre) Ventes en France au 1 er trimestre Ventes totales au 1 er trimestre Un autre exemple de cuboïde Total France Italie Total Informatique Téléphonie Valeur de la mesure est représentée pour chaque dimension er trimestre e trimestre e trimestre e trimestre Tous, tous, tous Total

23 Opérations sur le data cube (1) Opérations de manipulation interactive des cuboïdes Slice : sélection sur une dimension du cube Ex : 3 ème trimestre sur la dimension Date pour visualiser les ventes par Localisation et Produit durant ce trimestre France Italie Total Informatique Total Téléphonie

24 Opérations sur le data cube (2) Dice : définition d un sous-cube par sélection sur deux (ou plus) dimensions Ex : critère (Localisation = Paris Rome) (Date = 1 er trimestre 2 ème trimestre) (Produit = Informatique Téléphonie) Informatique Paris 30 Rome 35 Téléphonie er trimestre ème trimestre 24

25 Opérations sur le data cube (3) Pivot : présentation alternative du cube Transformation en une série de plans 2D Renversement du cube sur un ou plus axes pour une vision alternative Ex : renversement sur l axe Date Rome Téléphonie 35 Paris er trimestre ème trimestre Informatique

26 Opérations sur le data cube (4) Roll-up : généralisation du cube Supprimer une dimension Remonter dans une hiérarchie de concepts d une dimension Ex : remonter du niveau Trimestre au niveau Semestre pour Date Informatique Téléphonie 50 Paris Marseille er semestre e semestre Rome Milan

27 Opérations sur le data cube (5) Drill-down : spécialisation du cube Ajouter une dimension Ex : dimension TypeClient Descendre dans une hiérarchie de concepts Ex : descendre du niveau Catégorie au niveau Type pour Produit Disques durs Paris Marseille Rome Milan Processeurs Moniteurs Répondeurs Téléphones er semestre e semestre 27

28 Conception d un entrepôt de données Approche haut-bas, bas-haut ou une combinaison des deux Haut-bas : débuter par le planning et la conception du modèle (mature) Bas-haut : débuter par des essais et des prototypes (rapide) Du point de vue de l ingénierie du logiciel Cascade : analyse structurée et systématique lors de chaque étape avant de passer à la suivante Spirale : génération rapide de systèmes fonctionnels croissants ; modifications rapides et adaptation du modèle facile Processus de conception d un entrepôt de données Choix du processus à modéliser, ex : commandes, ventes, livraison Choix du grain (niveau de détail des données) pour le processus Choix des dimensions pour chaque table de faits Choix des mesures stockées dans les tables de faits 28

29 Trois modèles d entrepôts de données Entrepôt global Contient des données concernant l ensemble des composantes de l organisation Plusieurs BDs opérationnels et sources extérieures ; plusieurs thèmes Data mart Un sous-ensemble de l entrepôt global concernant un groupe spécifique d utilisateurs Ex : data mart du service commercial, data mart concernant le transport Data mart dépendant ou indépendant de l entrepôt de données Entrepôt virtuel Un ensemble de vues construites sur la BD opérationnelle Matérialisation de certaines vues, les autres sont dérivées des premières Surcharge le serveur de BD 29

30 Architectures des serveurs OLAP (1) ROLAP : Relational OLAP Utilisation de SGBD relationnel pour stocker et gérer les données de l entrepôt Avantages : souplesse, évolutions faciles Architecture de loin la plus populaire Ex : MetaCube de Informix et DSS server de Microstrategy MOLAP : Multi-dimensional OLAP SGBD multi-dimensionnels dédiés aux calculs de cubes de données multi-dimensionnels Data cubes implantés comme des matrices à plusieurs dimensions Techniques de compression pour les matrices creuses / éparses Avantage : efficacité de traitement des requêtes Ex : Essbase de Arbor 30

31 Architectures des serveurs OLAP (2) HOLAP : Hybrid OLAP Données de bas niveau stockées dans BD relationnelle Données agrégées stockées séparément dans des matrices Avantages : équilibre entre la facilité d évolution et la rapidité de traitement des requêtes Ex : Microsoft SQL Server 7.0 OLAP services Serveur SQL spécialisés Serveurs SQL spécialisés implantent des opérateurs pour des requêtes OLAP complexes Requêtes SQL sur les schémas en étoiles et flocons accédés en lecture seulement Ex : Redbrick de Informix 31

32 Matérialisation des cubes de données Les temps de réponse des requêtes de support pour l aide à la décision doivent être faibles, de l ordre de quelques minutes Solution : matérialisation des données et indexage Matérialisation complète : tous les cuboïdes Espace mémoire nécessaire important (redondances) Aucune matérialisation : cuboïde de base (le plus général) seul Autres cuboïdes sont calculés à partir du cuboïde de base Temps de réponse longs (calculs) Matérialisation partielle : certains cuboïdes Sélectionner les cuboïdes : selon la taille, la fréquence d accès, etc. Exploiter les cuboïdes matérialisés durant le traitement des requêtes Mise à jour efficace des cuboïdes matérialisés 32

33 Matérialisation des index : vecteurs de bits Indexage sur un attribut (colonne) d une table Associe à chaque valeur de l attribut la liste des tuples correspondants n valeurs de l attribut : n vecteurs de bits Ex : attributs Région et TypeClient de la table Client Table Client Index sur Région Index sur TypeClient RID Région TypeClient RID Asie Europe Amérique RID Détaillant Grossiste Asie Europe Asie Amérique Europe Détaillant Grossiste Grossiste Détaillant Grossiste Taille d un vecteur de bits : nombre d enregistrements Domaines à haute cardinalité : techniques de compression des bitmaps Efficacité des opérations (intersection, union, jointure et agrégation) 33

34 Matérialisation des index : jointures Indexage entre les tables de dimensions et la table de faits Associe à chaque tuple de la table de dimension la liste des RID des tuples de la table de faits joints Efficacité des jointures (opérations coûteuses) Limite les accès aux tuples des tables Ex : jointures entre les tables de dimensions Produit et Localisation, et la table de faits Vente Vente Produit R57 Localisation R238 LCD-15 Moniteur Informatique Paris France Europe P4-700 Process. Informatique R666 R2041 Rome Italie Europe R

35 Matérialisation des index : jointures composites Index de jointure composites : jointures multi-dimensionnelles Associe à une combinaison de tuples des tables de dimensions la liste des RID des tuples de la table de faits joints Ex : index de jointure entre la table Vente et les dimensions Localisation et Produit Table Vente Index sur Localisation / Produit RID Ville Article Localisation Produit RID Paris Paris Rome Paris Rome LCD-15 LCD-15 P4-700 P4-700 LCD-15 Paris Paris Rome LCD-15 LCD-15 LCD Index de jointure peuvent être matérialisés par vecteurs de bits Problème : quels index matérialiser? 35

36 Matérialisation des données Les problèmes : Quelles vues matérialiser? Comment mettre à jour efficacement les vues matérialisées? Comment utiliser efficacement les vues matérialisées? Optimisation des requêtes sur le cube de données Cube de données des ventes par Produit, Localisation et Date Cuboïde 1 : {article, ville, année} Cuboïde 2 : {catégorie, pays, année} Cuboïde 3 : {catégorie, département} Cuboïde 4 : {article, département} pour année = 2000 Question : Comment calculer efficacement le cuboïde {catégorie, département} pour année = 2000? A partir des cuboïdes 1, 3 ou 4 Selon les index, le nombre de sous-concepts de chaque concept, etc. 36

37 Matérialisation des données : relations multi-niveaux Comment matérialiser les vues? Tuples généralisés dans la table de faits de base Tables de dimensions multi-niveaux Champ «Niveau» indique le degré d abstraction du tuple Table des faits de base et généralisés Article P4-700 P4-700 P4-700 P4-700 Jour 01 Mois Année Quantité Février Février All Février All All Date Faits de Vente Localisation Clé Jour Mois Année RID Niveau Quantité Clé Ville Pays Région D L1 Paris France Europe D16 All L10 All France Europe D87 All All L98 All All Europe 37

38 Calcul de cubes : requêtes SQL Base cuboïde : Vente (Date,Produit,Localisation,Client) select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by CléDate, NumProduit, CléLocalisation, NumClient Data cube de n dimensions : union de 2 n requêtes select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by CléDate, NumProduit, CléLocalisation, NumClient union all select CléDate, NumProduit, CléLocalisation,, sum(quantitévendue) from Vente group by CléDate, NumProduit, CléLocalisation union all union all select,,,, sum(v.quantitévendue) from Vente Base cuboïde avec regroupement par mois select d2.clédate, v.numproduit, v.clélocalisation, v.numclient, sum(v.quantitévendue) from Vente v, Date d1, Date d2 where v.clédate = d1.clédate and d1.mois = d2.mois and d2.jour = all group by d1.mois, v.numproduit, v.clélocalisation, v.numclient 38

39 Calcul de cubes : requêtes SQL étendu (1) Extensions cube, grouping sets et rollup du group by Simplifient la syntaxe d écriture et optimisent les calculs (accès aux tables) Data cube de n dimensions : une requête cube select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by cube (CléDate, NumProduit, CléLocalisation, NumClient) Data cube partiel : une requête grouping sets select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by grouping sets ((CléDate, NumProduit), (CléDate, CléLocalisation), (CléDate, NumClient)) Cuboïdes (Date,Localisation), (Date,Client), (Produit,Localisation), (Produit,Client) select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by grouping sets (CléDate, NumProduit), grouping sets (CléLocalisation, NumClient) Cuboïdes (Date,Localisation), (Date,Client), (Produit,Localisation), (Produit,Client) 39

40 Calcul de cubes : requêtes SQL étendu (2) Data cube avec regroupement par mois select d2.clédate, v.numproduit, v.clélocalisation, v.numclient, sum(v.quantitévendue) from Vente v, Date d1, Date d2 where v.clédate = d1.clédate and d1.mois = d2.mois and d2.jour = all group by cube (d1.mois, v.numproduit, v.clélocalisation, v.numclient) Data cube partiel : une requête grouping sets select CléDate, NumProduit, CléLocalisation, NumClient, sum(quantitévendue) from Vente group by rollup (CléDate, NumProduit, CléLocalisation, NumClient) n+1 cuboïdes : (Date,Produit,Localisation,Client), (Date,Produit,Localisation), (Date,Produit), (Date), ( ) Permet la création de vues multi-niveau select Jour, Mois, Annee, sum(quantitévendue) from Vente v, Date d where v.clédate = d.clédate group by rollup (Jour, Mois, Annee) 40

41 Création de dimensions en SQL étendu Exprimer des contraintes d intégrité intra-table Ex : Mois df Trimestre, Pays df Région Dimension Date create dimension Date_dim level Jour is Date.Jour level Semaine is Date.Semaine level Mois is Date.Mois level Trimestre is Date.Trimestre level Année is Date.Année hierarchy Date_rollup {Jour child of Mois child of Trimestre child of Année} hierarchy Sem_rollup {Jour child of Semaine child of Année} attribute Jour determines (NomJour, NumJourDansMois) attribute Semaine determines (NumSemaineDansAnnée) attribute Mois determines (NomMois, NombreJours) attribute Année determines (Bissextile) 41

42 Nouvelles fonctionnalités de SQL étendu Nouveaux opérateurs structurels partition : partitionne une table en regroupant les tuples partageant les valeurs d une ou plusieurs colonnes create materialized view : vue multi-niveaux avec pré-agrégation stockées indépendamment Nouveaux opérateurs de mesure rank, top_n, bottom_n, variance, stddev, etc. Optimisation de requêtes Query rewriting : ré-écriture de requêtes pour optimiser les temps de calcul Utilisation des vues multi-niveaux matérialisées et des dimensions 42

43 Construction d index bitmaps Indexage sur le Pays de Localisation pour la table Vente create bitmap index Vente-LocalisationPays on Vente(Localisation.Pays) from Vente, Localisation where Vente.CléLocalisation = Localisation.CléLocalisation Un vecteur de bits pour chaque valeur de l attribut Pays Taille de chaque vecteur : nombre de tuple dans Vente Optimisation des requêtes select sum(quantitévendue) from Vente, Localisation where Vente.CléLocalisation = Localisation.CléLocalisation and Localisation.Pays = France Utilise seulement la table Vente et le bitmap pour le Pays «France» 43

44 Architecture multi-tiers Sources externes Extraire Nettoyer Transformer Charger Rafraîchir Méta-données Entrepôt de données Serveur OLAP Servir Requêtes & Rapports Analyses BDs opérationnelles Data marts Serveur OLAP Data mining Sources de données Bottom-tiers : Serveur DW Middle-tiers : Moteur OLAP Top-tiers : GUI 44

45 Les méta-données Méta-données : données qui définissent l entrepôt de données Description de la structure du DW Schéma, dimensions, hiérarchies, définitions des données, et localisation et contenu des data marts Méta-données d administration Historique de construction et transformation des données, statistiques d utilisation et rapports d erreurs Algorithmes de généralisation Calculs des mesures, agrégations, partition., requêtes et rapports prédéfinis Méta-données d intégration BDs sources et leurs contenus, description des passerelles, règles d extraction, nettoyage et transformation des données, règles de rafraîchissement et sécurité Données liées aux performances Index, vues, algorithmes de compression et accès aux données, règles de planification des mises-à-jour 45

46 Outils des entrepôts de données Extraction des données Récupération depuis plusieurs sources hétérogènes internes et externes Nettoyage des données Détection et gestion des erreurs, des valeurs manquantes ou incertaines Transformation des données Conversion du format source au format de l entrepôt de données Outils de chargement Trient, résument, consolident, calculent les vues, construisent les index et les partitions, et vérifient l intégrité des données Rafraîchissement Propagation des mises-à-jours des données source vers l entrepôt de données 46

47 Approche de conception recommandée Data mart distribué Entrepôt de données multi-tiers Data mart Data mart Entrepôt de données global Raffinement du modèle Raffinement du modèle Définir un modèle général de l entrepôt de données 47

48 De l OLAP à l OLAM OLAM : On-Line Analytical Mining Intégration des techniques de l OLAP et du data mining Data mining multi-niveaux sur des données multi-dimensionnelles Pourquoi? Pour les performances! Interfaces nombreuses autour des entrepôts de données ODBC, OLE DB, passerelles, outils OLAP, etc. Inutile d exporter les données pour les traiter par un moteur de data mining externe Pourquoi? Pour la qualité de l analyse! Données de qualité dans les DW (intégrées, consistantes et nettoyées) L analyse fournie par l OLAP n est pas approfondie Étendre les types de connaissances extraites (hiérarchies de concepts, multi-dimensions, etc.) 48

49 Architecture OLAM Requête DM API GUI Résultat DM Interface utilisateur Moteur OLAM Moteur OLAP OLAP/OLAM API Cube de données Base de données multi-dimensionnelle Métadonnées BD multidimensionnelle Base de données Intégration & filtrage API Base de données Base de données Intégration, nettoyage Consolidation Filtrage Entrepôt de données Dépôt de données 49

50 Résumé Data warehouse ou entrepôt de données Collection de données orientées sujet, intégrées, historisées et persistantes utilisées pour le support de l aide à la décision OLTP (interroger, enregistrer) vs. OLAP (résumer, analyser) vs. Data mining (explorer, contraster, découvrir) Basé sur un modèle multi-dimensionnel des données Schéma en étoile, en flocon, en constellation Un cube de données est défini par ses dimensions et mesures Opérations OLAP : drilling, rolling, slicing, dicing et pivoting Serveurs OLAP : ROLAP, MOLAP, HOLAP Efficacité des requêtes Aucune matérialisation vs. matérialisation complète vs. partielle Index par vecteurs de bits et index de jointure 50

51 Références bibliographiques S. Chaudhuri, U. Dayal. An overview of data warehousing and OLAP technology. ACM SIGMOD Record, 26: Mars G. Gardarin. Internet, Intranet et bases de données. Data web, data média, data warehouse, data mining. Eyrolles. Avril J. Gray, S. Chaudhuri, A. Bosworth, A. Layman, D. Reichart, M. Venkatrao, F. Pellow, H. Pirahesh. Data cube: a relational aggregation operator generalizing group-by, cross-tab and sub-totals. Data Mining and Knowledge Discovery, 1: V. Harinarayan, A. Raiaraman, J. D. Ullman. Implementing data cubes efficiently. SIGMOD conference, pages , W. H. Inmon. Building the data warehouse. Jhon Wiley M. Jarke, M. Lenzerini, Y. Vassiliou, P. Vassiliadis. Fundamentals of data warehouses. Springer-Verlag E. Thomsen. OLAP solutions: building multidimensional information systems. John Wiley & Sons editors OLAP Council. MDAPI specification version

L informatique des entrepôts de données

L informatique des entrepôts de données L informatique des entrepôts de données Daniel Lemire SEMAINE 8 Introduction à OLAP 8.1. Présentation de la semaine Le modèle OLAP (Online Analytical Processing) est un modèle quasiomniprésent en intelligence

Plus en détail

Plan. Ce qu est le datawarehouse? Un modèle multidimensionnel. Architecture d un datawarehouse. Implémentation d un datawarehouse

Plan. Ce qu est le datawarehouse? Un modèle multidimensionnel. Architecture d un datawarehouse. Implémentation d un datawarehouse Datawarehouse 1 Plan Ce qu est le datawarehouse? Un modèle multidimensionnel Architecture d un datawarehouse Implémentation d un datawarehouse Autres développements de la technologie data cube 2 Ce qu

Plus en détail

Sommaire. Introduction. Opérations typiques. Langages. Architectures

Sommaire. Introduction. Opérations typiques. Langages. Architectures OLAP IED 2006-2007 Sommaire Introduction Opérations typiques Langages Architectures Introduction Contexte un entrepôt de données offre des données - nombreuses - homogènes - exploitables - multidimensionnelles

Plus en détail

Datawarehouse: Cubes OLAP. Marlyse Dieungang Khaoula Ghilani

Datawarehouse: Cubes OLAP. Marlyse Dieungang Khaoula Ghilani Datawarehouse: Cubes OLAP Marlyse Dieungang Khaoula Ghilani Table des matières 1 Data Warehouse 3 1.1 Introduction............................ 3 1.1.1 Définition......................... 3 1.1.2 Architecture........................

Plus en détail

Bases de données multidimensionnelles et mise en œuvre dans Oracle

Bases de données multidimensionnelles et mise en œuvre dans Oracle Bases de données multidimensionnelles et mise en œuvre dans Oracle 1 Introduction et Description générale Les bases de données relationnelles sont très performantes pour les systèmes opérationnels (ou

Plus en détail

Les Entrepôts de Données

Les Entrepôts de Données Les Entrepôts de Données Grégory Bonnet Abdel-Illah Mouaddib GREYC Dépt Dépt informatique :: GREYC Dépt Dépt informatique :: Cours Cours SIR SIR Systèmes d information décisionnels Nouvelles générations

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 4 - OLAP

BI = Business Intelligence Master Data-ScienceCours 4 - OLAP BI = Business Intelligence Master Data-Science Cours 4 - OLAP UPMC 15 février 2015 Plan Vision générale ETL Datawarehouse OLAP Reporting Data Mining Entrepôt de données Les entrepôts de données (data warehouse)

Plus en détail

et les Systèmes Multidimensionnels

et les Systèmes Multidimensionnels Le Data Warehouse et les Systèmes Multidimensionnels 1 1. Définition d un Datawarehouse (DW) Le Datawarehouse est une collection de données orientées sujet, intégrées, non volatiles et historisées, organisées

Plus en détail

Entrepôts de données. NEGRE Elsa Université Paris-Dauphine 2015-2016

Entrepôts de données. NEGRE Elsa Université Paris-Dauphine 2015-2016 Entrepôts de données NEGRE Elsa Université Paris-Dauphine 2015-2016 Contexte et problématique Le processus de prise de décision L entrepôt de données Définition Différence avec un SGBD Caractéristiques

Plus en détail

Bases de données multidimensionnelles OLAP. OnLine Analytical Processing

Bases de données multidimensionnelles OLAP. OnLine Analytical Processing Bases de données multidimensionnelles OLAP OnLine Analytical Processing OLAP OLAP (On Line Analytical Processing): Ensemble des outils nécessaires pour la mise en place d'un Système d'information décisionnel

Plus en détail

Bases de données multidimensionnelles OLAP

Bases de données multidimensionnelles OLAP Bases de données multidimensionnelles OLAP OLAP OLAP (On Line Analytical Processing): Ensemble des outils nécessaires pour l analyse multidimensionnelle. Les données sont historisées, résumées, consolidées.

Plus en détail

Urbanisation des SI-NFE107

Urbanisation des SI-NFE107 OLAP Urbanisation des SI-NFE107 Fiche de lecture Karim SEKRI 20/01/2009 OLAP 1 Introduction PLAN OLAP Les différentes technologies OLAP Plate formes et Outils 20/01/2009 OLAP 2 Informatique décisionnelle

Plus en détail

Bases de Données Avancées

Bases de Données Avancées 1/26 Bases de Données Avancées DataWareHouse Thierry Hamon Bureau H202 - Institut Galilée Tél. : 33 1.48.38.35.53 Bureau 150 LIM&BIO EA 3969 Université Paris 13 - UFR Léonard de Vinci 74, rue Marcel Cachin,

Plus en détail

Plan. Introduction Eléments de la théorie des systèmes d'informations Les entrepôts de données (Datawarehouse) Les datamart Architecture Modélisation

Plan. Introduction Eléments de la théorie des systèmes d'informations Les entrepôts de données (Datawarehouse) Les datamart Architecture Modélisation Data WareHouse Plan Introduction Eléments de la théorie des systèmes d'informations Les entrepôts de données (Datawarehouse) Les datamart Architecture Modélisation 2 Présentation Besoin: prise de décisions

Plus en détail

Bases de données multimédias Bases de données multidimensionnelles

Bases de données multimédias Bases de données multidimensionnelles Bases de données multimédias Bases de données multidimensionnelles Contenu BD Multimédia : Caractéristiques Modélisation Interrogation Architectures des SGBD multimédias BD Multidimensionnelles Motivations

Plus en détail

Entreposage, analyse en ligne et fouille de données

Entreposage, analyse en ligne et fouille de données Entreposage, analyse en ligne et fouille de données Houssem Jerbi IRIT - SIG/ED jerbi@irit.fr Journée COMPIL " Bases de Données" 14/12/2010 PLAN Introduction Bases de données Entrepôt de données Technologie

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Chapitre IX. L intégration de données. Les entrepôts de données (Data Warehouses) Motivation. Le problème

Chapitre IX. L intégration de données. Les entrepôts de données (Data Warehouses) Motivation. Le problème Chapitre IX L intégration de données Le problème De façon très générale, le problème de l intégration de données (data integration) est de permettre un accès cohérent à des données d origine, de structuration

Plus en détail

2 Serveurs OLAP et introduction au Data Mining

2 Serveurs OLAP et introduction au Data Mining 2-1 2 Serveurs OLAP et introduction au Data Mining 2-2 Création et consultation des cubes en mode client-serveur Serveur OLAP Clients OLAP Clients OLAP 2-3 Intérêt Systèmes serveurs et clients Fonctionnalité

Plus en détail

Système OLAP Fresqueau

Système OLAP Fresqueau Système OLAP Fresqueau Kamal BOULIL Journées 20 mars Strasbourg Réunion plénière -Fresqueau 07-08 octobre 2013 1 Plan 1. Introduction 1. Projet ANR Fresqueau 2. Systèmes OLAP 2. Système OLAP Fresqueau

Plus en détail

L'infocentre sert à prendre des décisions opérationnelles basées sur des valeurs courantes

L'infocentre sert à prendre des décisions opérationnelles basées sur des valeurs courantes II - II 1ère génération 13 2ème génération : Entrepôt de données / Magasin de données 15 3ème génération OLAP 16 Références Bibliographiques 18 A. 1ère génération Infocentre Tableur Base de données Infocentre

Plus en détail

Introduction à la B.I. Avec SQL Server 2008

Introduction à la B.I. Avec SQL Server 2008 Introduction à la B.I. Avec SQL Server 2008 Version 1.0 VALENTIN Pauline 2 Introduction à la B.I. avec SQL Server 2008 Sommaire 1 Présentation de la B.I. et SQL Server 2008... 3 1.1 Présentation rapide

Plus en détail

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles) SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients

Plus en détail

Base de données en mémoire

Base de données en mémoire Base de données en mémoire Plan Bases de données relationnelles OnLine Analytical Processing Difficultés de l OLAP Calculs en mémoire Optimisations 1 Base de données relationnelle Introduction Date Exemple

Plus en détail

Les entrepôts de données

Les entrepôts de données Les entrepôts de données Lydie Soler Janvier 2008 U.F.R. d informatique Document diffusé sous licence Creative Commons by-nc-nd (http://creativecommons.org/licenses/by-nc-nd/2.0/fr/) 1 Plan Introduction

Plus en détail

Généralités sur les bases de données

Généralités sur les bases de données Généralités sur les bases de données Qu est-ce donc qu une base de données? Que peut-on attendre d un système de gestion de bases de données? Que peut-on faire avec une base de données? 1 Des données?

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

et les Systèmes Multidimensionnels

et les Systèmes Multidimensionnels Le Data Warehouse et les Systèmes Multidimensionnels 1 1. Définition d un Data warehouse (DW) Le Data warehouse (entrepôt de données) est une collection de données orientées sujet, intégrées, non volatiles

Plus en détail

Principes et mise en œuvre du modèle OLAP. -1 ère Partie- La modélisation multidimensionnelle

Principes et mise en œuvre du modèle OLAP. -1 ère Partie- La modélisation multidimensionnelle Principes et mise en œuvre du modèle OLAP -1 ère Partie- La modélisation multidimensionnelle 1 Le modèle multidimensionnel (1) Le modèle multidimensionnel est bien adapté pour représenter des données qui

Plus en détail

Techniques d optimisation des requêtes dans les data warehouses

Techniques d optimisation des requêtes dans les data warehouses Techniques d optimisation des requêtes dans les data warehouses Ladjel Bellatreche LISI/ENSMA Téléport2-1, Avenue Clément Ader 86960 Futuroscope - FRANCE bellatreche@ensma.fr Résumé Un entrepôt de données

Plus en détail

Présentation du module. Base de données spatio-temporelles. Exemple. Introduction Exemple. Plan. Plan

Présentation du module. Base de données spatio-temporelles. Exemple. Introduction Exemple. Plan. Plan Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Partie 1 : Notion de bases de données (Conception

Plus en détail

Entrepôts de Données

Entrepôts de Données République Tunisienne Ministère de l Enseignement Supérieur Institut Supérieur des Etudes Technologique de Kef Support de Cours Entrepôts de Données Mention : Technologies de l Informatique (TI) Parcours

Plus en détail

Prototype SOLAP appliqué sur des champs continus en mode raster

Prototype SOLAP appliqué sur des champs continus en mode raster Session démos 24 novembre 2014 Prototype SOLAP appliqué sur des champs continus en mode raster Analyse de hot spots de criminalité Jean-Paul Kasprzyk, doctorant Introduction 2 L informatique décisionnelle

Plus en détail

La conception physique des data warehouses

La conception physique des data warehouses La conception physique des data warehouses Ladjel Bellatreche LISI/ENSMA Téléport2-1, Avenue Clément Ader 86960 Futuroscope - France bellatreche@ensma.fr Résumé Un entrepôt de données est une collection

Plus en détail

Collabora'on IRISA/INRA sur le transfert de nitrates et l améliora'on de la qualité des eaux des bassins versants:

Collabora'on IRISA/INRA sur le transfert de nitrates et l améliora'on de la qualité des eaux des bassins versants: Collabora'on IRISA/INRA sur le transfert de nitrates et l améliora'on de la qualité des eaux des bassins versants: Tassadit BOUADI 22 Juin 2010, Saint Jacut 1 Plan Introduc

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

Oracle Décisionnel : Modèle OLAP et Vue matérialisée D BILEK

Oracle Décisionnel : Modèle OLAP et Vue matérialisée D BILEK Oracle Décisionnel : Modèle OLAP et Vue matérialisée SOMMAIRE Introduction Le modèle en étoiles Requêtes OLAP Vue matérialisée Fonctions Roll up et Cube Application Introduction Data Warehouse Moteur OLAP

Plus en détail

BUSINESS INTELLIGENCE. Une vision cockpit : utilité et apport pour l'entreprise

BUSINESS INTELLIGENCE. Une vision cockpit : utilité et apport pour l'entreprise BUSINESS INTELLIGENCE Une vision cockpit : utilité et apport pour l'entreprise 1 Présentation PIERRE-YVES BONVIN, SOLVAXIS BERNARD BOIL, RESP. SI, GROUPE OROLUX 2 AGENDA Définitions Positionnement de la

Plus en détail

Entrepôt de données 1. Introduction

Entrepôt de données 1. Introduction Entrepôt de données 1 (data warehouse) Introduction 1 Présentation Le concept d entrepôt de données a été formalisé pour la première fois en 1990 par Bill Inmon. Il s agissait de constituer une base de

Plus en détail

Datawarehousing and OLAP

Datawarehousing and OLAP Datawarehousing and OLAP Datawarehousing Syllabus, materials, notes, etc. See http://www.info.univ-tours.fr/ marcel/dw.html today introduction definition data integration model Introduction introduction

Plus en détail

Intégration de données hétérogènes et réparties. Anne Doucet Anne.Doucet@lip6.fr

Intégration de données hétérogènes et réparties. Anne Doucet Anne.Doucet@lip6.fr Intégration de données hétérogènes et réparties Anne Doucet Anne.Doucet@lip6.fr 1 Plan Intégration de données Architectures d intégration Approche matérialisée Approche virtuelle Médiateurs Conception

Plus en détail

SQL Server 2014 Implémentation d'une solution de Business Intelligence (Sql Server, Analysis Services, Power BI...)

SQL Server 2014 Implémentation d'une solution de Business Intelligence (Sql Server, Analysis Services, Power BI...) Avant-propos 1. À qui s'adresse ce livre? 15 2. Pré-requis 15 3. Objectifs du livre 16 4. Notations 17 Introduction à la Business Intelligence 1. Du transactionnel au décisionnel 19 2. Business Intelligence

Plus en détail

Introduction aux S.G.B.D.

Introduction aux S.G.B.D. NFE113 Administration et configuration des bases de données - 2010 Introduction aux S.G.B.D. Eric Boniface Sommaire L origine La gestion de fichiers Les S.G.B.D. : définition, principes et architecture

Plus en détail

ETL Extract - Transform - Load

ETL Extract - Transform - Load ETL Extract - Transform - Load Concept général d analyse en ligne (rappels) Rémy Choquet - Université Lyon 2 - Master 2 IIDEE - 2006-2007 Plan Définitions La place d OLAP dans une entreprise OLAP versus

Plus en détail

L informatique des entrepôts de données

L informatique des entrepôts de données L informatique des entrepôts de données Daniel Lemire SEMAINE 5 Indexation des données multidimensionnelles 5.1. Presentation de la semaine Tous les systèmes de bases de données supportent les index en

Plus en détail

Les ntrepôts de onnées. (Data Warehouses) La Modélisation

Les ntrepôts de onnées. (Data Warehouses) La Modélisation Les ntrepôts de onnées (Data Warehouses) La Modélisation 1 Les$Faits La$défini-on$ Unfaitestlapluspe-teinforma-onanalysable.C'estuneinforma-onqui con-entlesdonnéesobservables(les$faits)quel'onpossèdesurunsujetet

Plus en détail

Business Intelligence : Informatique Décisionnelle

Business Intelligence : Informatique Décisionnelle Business Intelligence : Informatique Décisionnelle On appelle «aide à la décision», «décisionnel», ou encore «business intelligence», un ensemble de solutions informatiques permettant l analyse des données

Plus en détail

Chapitre 1. Introduction aux Bases de Données. Cours de Bases de Données. Polytech Paris-Sud. Chapitre 1 : Quelques questions

Chapitre 1. Introduction aux Bases de Données. Cours de Bases de Données. Polytech Paris-Sud. Chapitre 1 : Quelques questions Cours de Bases de Données Chapitre 1 Polytech Paris-Sud Sarah Cohen-Boulakia LRI, Bât 490, Université Paris-Sud 11, Orsay cohen @ lri. fr 01 69 15 32 16 Introduction aux Bases de Données 1 2 Chapitre 1

Plus en détail

K. Smaïli Professeur à l université Nancy2. 1/105 K. Smaïli 2008

K. Smaïli Professeur à l université Nancy2. 1/105 K. Smaïli 2008 K. Smaïli Professeur à l université Nancy2 1/105 K. Smaïli 2008 Introduction au BI (Business Intelligence) Notion de Datawarehouse Cognos Powerplay Powerplay Transformer Impromptu Datamining Le panier

Plus en détail

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP)

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Définition (G. Gardarin) Entrepôt : ensemble de données historisées variant

Plus en détail

BASES DE DONNEES AVANCEES

BASES DE DONNEES AVANCEES 1.Introduction J.Korczak 1 BASES DE DONNEES AVANCEES Jerzy KORCZAK, Mohammed ATTIK email: {jjk,attik}@lsiit.u-strasbg.fr BDA Objectifs : Ce cours présente des méthodes, modèles et outils d'aide au développement

Plus en détail

L informatique des entrepôts de données

L informatique des entrepôts de données L informatique des entrepôts de données Daniel Lemire SEMAINE 9 Les opérations OLAP 9.1. Présentation de la semaine Nous avons vu la semaine précédente qu il est possible de définir partiellement le paradigme

Plus en détail

LES ENTREPOTS DE DONNEES

LES ENTREPOTS DE DONNEES Module B4 : Projet des Systèmes d information Lille, le 25 mars 2002 LES ENTREPOTS DE DONNEES Problématique : Pour capitaliser ses informations, une entreprise doit-elle commencer par mettre en œuvre des

Plus en détail

Informatique Décisionnelle pour l environnement

Informatique Décisionnelle pour l environnement Territoires, Environnement, Télédétection et Information Spatiale Unité mixte de recherche AgroParisTech - Cirad - Irstea Informatique Décisionnelle pour l environnement Principe, architecture informatique

Plus en détail

CARTE HEURISTIQUE...1 LA CHAÎNE DÉCISIONNELLE...2. Collecte des données...2 Stockage des Données...3 Exploitation des Données...4 OLTP ET OLAP...

CARTE HEURISTIQUE...1 LA CHAÎNE DÉCISIONNELLE...2. Collecte des données...2 Stockage des Données...3 Exploitation des Données...4 OLTP ET OLAP... Table des matières CARTE HEURISTIQUE...1 LA CHAÎNE DÉCISIONNELLE...2 Collecte des données...2 Stockage des Données...3 Exploitation des Données...4 OLTP ET OLAP...6 OPÉRATIONS SUR LES CUBES...7 Exemple

Plus en détail

SQL Server 2012 Implémentation d'une solution de Business Intelligence (Sql Server, Analysis Services...)

SQL Server 2012 Implémentation d'une solution de Business Intelligence (Sql Server, Analysis Services...) Avant-propos 1. À qui s'adresse ce livre? 15 2. Pré-requis 15 3. Objectifs du livre 16 4. Notations 17 Introduction à la Business Intelligence 1. Du transactionnel au décisionnel 19 2. Business Intelligence

Plus en détail

Maintenance de charge pour l optimisation des entrepôts de données évolutifs : aide à l administrateur

Maintenance de charge pour l optimisation des entrepôts de données évolutifs : aide à l administrateur Maintenance de charge pour l optimisation des entrepôts de données évolutifs : aide à l administrateur Cécile Favre, Fadila Bentayeb, Omar Boussaid Université de Lyon (Laboratoire ERIC - Lyon 2) 5 av.

Plus en détail

Bases de Données OLAP

Bases de Données OLAP Bases de Données OLAP Hiver 2013/2014 Melanie Herschel melanie.herschel@lri.fr Université Paris Sud, LRI Chapitre 1 Introduction Détails administratifs Entrepôts de Données Perspective sur le semestre

Plus en détail

Investigation des modes d intégration physique entre un serveur de base de données multidimensionnelle et un SIG

Investigation des modes d intégration physique entre un serveur de base de données multidimensionnelle et un SIG SONIA RIVEST Investigation des modes d intégration physique entre un serveur de base de données multidimensionnelle et un SIG Essai présenté à la Faculté des études supérieures de l Université Laval pour

Plus en détail

h3870 Entrepôts de données

h3870 Entrepôts de données h3870 Entrepôts de données Date de publication : 10/02/5 Par : Claude CHRISMENT Professeur à l'université Toulouse-3 Geneviève PUJOLLE Maître de conférences à l'université Toulouse-1 Franck RAVAT Maître

Plus en détail

Business & High Technology

Business & High Technology UNIVERSITE DE TUNIS INSTITUT SUPERIEUR DE GESTION DE TUNIS Département : Informatique Business & High Technology Chapitre 8 : ID : Informatique Décisionnelle BI : Business Intelligence Sommaire Introduction...

Plus en détail

Le "tout fichier" Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique

Le tout fichier Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique Introduction à l informatique : Information automatisée Le premier ordinateur Définition disque dure, mémoire, carte mémoire, carte mère etc Architecture d un ordinateur Les constructeurs leader du marché

Plus en détail

Les entrepôts de données et l analyse de données

Les entrepôts de données et l analyse de données LOG660 - Bases de données de haute performance Les entrepôts de données et l analyse de données Quelques définitions Entreposage de données (data warehousing): «La copie périodique et coordonnée de données

Plus en détail

Introduction à l Informatique Décisionnelle - Business Intelligence (7)

Introduction à l Informatique Décisionnelle - Business Intelligence (7) Introduction à l Informatique Décisionnelle - Business Intelligence (7) Bernard ESPINASSE Professeur à Aix-Marseille Université (AMU) Ecole Polytechnique Universitaire de Marseille Septembre 2013 Emergence

Plus en détail

Objectifs. Maîtriser. Pratiquer

Objectifs. Maîtriser. Pratiquer 1 Bases de Données Objectifs Maîtriser les concepts d un SGBD relationnel Les modèles de représentations de données Les modèles de représentations de données La conception d une base de données Pratiquer

Plus en détail

Bases de données et SGBDR

Bases de données et SGBDR Bases de données et SGBDR A. Zemmari zemmari@labri.fr 1 Bibliographie Bases de données relationnelles (Les systèmes et leurs langages). G. Gardarin Eyrolles Bases de données et systèmes relationnels. C.

Plus en détail

Eduardo Almeida. Master Alma Université de Nantes {eduardo.almeida@univ-nantes.fr}

Eduardo Almeida. Master Alma Université de Nantes {eduardo.almeida@univ-nantes.fr} Data Warehouse - OLAP Master Alma Université de Nantes {eduardo.almeida@univ-nantes.fr} Objectif Présenter les concepts de base d'un Data Warehouse (DW) et On Line Analytical Processing (OLAP). Présenter

Plus en détail

Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza

Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza Introduction à ORACLE WAREHOUSE BUILDER Cédric du Mouza Avant de commencer à travailler avec le produit, il est nécessaire de comprendre, à un haut niveau, les problèmes en réponse desquels l outil a été

Plus en détail

Les Entrepôts de Données. (Data Warehouses)

Les Entrepôts de Données. (Data Warehouses) Les Entrepôts de Données (Data Warehouses) Pr. Omar Boussaid Département d'informatique et de Sta5s5que Université Lyon2 - France Les Entrepôts de Données 1. Généralités, sur le décisionnel 2. L'entreposage

Plus en détail

Cours Bases de données

Cours Bases de données Informations sur le cours Cours Bases de données 9 (10) séances de 3h Polycopié (Cours + TD/TP) 3 année (MISI) Antoine Cornuéjols www.lri.fr/~antoine antoine.cornuejols@agroparistech.fr Transparents Disponibles

Plus en détail

Etude de faisabilité visant à mettre en place un entrepôt de données sur les données de l IFN. Analyser et Explorer avec une grande interactivité

Etude de faisabilité visant à mettre en place un entrepôt de données sur les données de l IFN. Analyser et Explorer avec une grande interactivité Établissement chargé de réaliser l inventaire permanent du patrimoine forestier sur tout le territoire métropolitain indépendamment de toute question de propriété. Parmi ces objectifs: Connaissance de

Plus en détail

C-CUBE: Un nouvel opérateur d agrégation pour les entrepôts de données en colonnes

C-CUBE: Un nouvel opérateur d agrégation pour les entrepôts de données en colonnes C-CUBE: Un nouvel opérateur d agrégation pour les entrepôts de données en colonnes Khaled Dehdouh Fadila Bentayeb Nadia Kabachi Omar Boussaid Laboratoire ERIC, Université de Lyon 2 5 avenue Pierre Mendes-France,

Plus en détail

Fournir un accès rapide à nos données : agréger au préalable nos données permet de faire nos requêtes beaucoup plus rapidement

Fournir un accès rapide à nos données : agréger au préalable nos données permet de faire nos requêtes beaucoup plus rapidement Introduction Phases du projet Les principales phases du projet sont les suivantes : La mise à disposition des sources Des fichiers Excel sont utilisés pour récolter nos informations L extraction des données

Plus en détail

Introduction. d'informations Les entrepôts de données (Datawarehouse) Les datamarts Architecture Modélisation

Introduction. d'informations Les entrepôts de données (Datawarehouse) Les datamarts Architecture Modélisation Data WareHouse Plan Introduction Eléments de la théorie des systèmes d'informations Les entrepôts de données (Datawarehouse) Les datamarts Architecture Modélisation 2 Présentation Besoin: prise de décisions

Plus en détail

Bases de Données OLAP

Bases de Données OLAP Bases de Données OLAP Hiver 013/014 Melanie Herschel melanie.herschel@lri.fr Université Sud, Groupe Bases de Données, LRI Systèmes Opérationnels vs. Entrepôts de Données Requêtes Requêtes BD opérationnelles

Plus en détail

Fiche de lecture OLAP

Fiche de lecture OLAP Fiche de lecture OLAP NFE107 Urbanisation des Systèmes d Information Karim Sekri Informatique décisionnelle BI, Business Intelligence Système interprétant des données complexes permettant aux dirigeants

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

Un modèle multidimensionnel pour un processus d analyse en ligne de résumés flous

Un modèle multidimensionnel pour un processus d analyse en ligne de résumés flous Un modèle multidimensionnel pour un processus d analyse en ligne de résumés flous Lamiaa Naoum To cite this version: Lamiaa Naoum. Un modèle multidimensionnel pour un processus d analyse en ligne de résumés

Plus en détail

Annexe. Méthodologie de mise en œuvre d un projet BusinessObjects

Annexe. Méthodologie de mise en œuvre d un projet BusinessObjects Annexe Méthodologie de mise en œuvre d un projet BusinessObjects Déroulement du cours 1 : Le rôle du Designer d Univers 2 : Créer un Univers avec l Assistant 3 : Créer un Univers étape par étape 4 : Enrichir

Plus en détail

Le Data Warehouse. Fait Vente. temps produit promotion. magasin. revenu ... Produit réf. libellé volume catégorie poids. Temps jour semaine date ...

Le Data Warehouse. Fait Vente. temps produit promotion. magasin. revenu ... Produit réf. libellé volume catégorie poids. Temps jour semaine date ... Le Data Warehouse Temps jour semaine date magasin nom ville m 2 région manager... Fait Vente temps produit promotion magasin revenu... Produit réf. libellé volume catégorie poids... Promo nom budget média

Plus en détail

2.2 Etat de l'art en intégration de données

2.2 Etat de l'art en intégration de données Recueil de l état de l art en Intégration de données Patrice BUCHE (2006) http://metarisk.inapg.inra.fr/content/view/full/104 2.2 Etat de l'art en intégration de données Depuis le début des années 1990,

Plus en détail

1 Introduction et installation

1 Introduction et installation TP d introduction aux bases de données 1 TP d introduction aux bases de données Le but de ce TP est d apprendre à manipuler des bases de données. Dans le cadre du programme d informatique pour tous, on

Plus en détail

Bases de Données OLAP. Bienvenue. Chapitre 1 Introduction. Horaires et Site Web. Melanie Herschel. Hiver 2011/2012

Bases de Données OLAP. Bienvenue. Chapitre 1 Introduction. Horaires et Site Web. Melanie Herschel. Hiver 2011/2012 Bases de Données OLAP Hiver 2011/2012 Melanie Herschel melanie.herschel@lri.fr Université Paris Sud, Groupe Bases de Données, LRI Bienvenue Je suis... 2000-2003 2003-2007 D origine lorraine et bavaroise

Plus en détail

PLAN. Les systèmes d'information analytiques. Exemples de décisions

PLAN. Les systèmes d'information analytiques. Exemples de décisions Les systèmes d'information analytiques Dr A.R. Baba-ali Maitre de conferences USTHB PLAN Le cycle de decision Les composants analytiques ETL (Extract, Transform and Load) Entrepot de (Data warehouse) Traitement

Plus en détail

La place de la Géomatique Décisionnelle dans le processus de décision

La place de la Géomatique Décisionnelle dans le processus de décision Géomatique décisionnelle La place de la Géomatique Décisionnelle dans le processus de décision - Arnaud Van De Casteele Mines ParisTech - CRC Arnaud {dot} van_de_casteele {at} mines-paristech.fr Les rencontres

Plus en détail

Faculté de Sciences Économiques et de Gestion. Bases de données. Maîtrise de Sciences Économiques Année 2001-2002 Jérôme Darmont

Faculté de Sciences Économiques et de Gestion. Bases de données. Maîtrise de Sciences Économiques Année 2001-2002 Jérôme Darmont Faculté de Sciences Économiques et de Gestion Bases de données Maîtrise de Sciences Économiques Année 2001-2002 Jérôme Darmont http://eric.univ-lyon2.fr/~jdarmont/ Plan du cours I. Introduction II. Le

Plus en détail

Action de formation: SQL Server Business Intelligence & Data Warehouse

Action de formation: SQL Server Business Intelligence & Data Warehouse Action de formation: SQL Server Business Intelligence & Data Warehouse Contenu : Integration Services Présentation de Management Studio - Présenter les différentes tâches de SSMS - Structure des serveurs

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 3 - Data

BI = Business Intelligence Master Data-ScienceCours 3 - Data BI = Business Intelligence Master Data-Science Cours 3 - Datawarehouse UPMC 8 février 2015 Rappel L Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l informatique à l usage

Plus en détail

2 ème PARTIE : LE LANGAGE SQL

2 ème PARTIE : LE LANGAGE SQL 2 ème PARTIE : LE LANGAGE SQL PLAN : I. Le langage de manipulation des données II. Le langage de définition des données III. Administration de la base de données IV. Divers (HORS PROGRAMME) Introduction:

Plus en détail

IFT3030 Base de données. Chapitre 2 Architecture d une base de données

IFT3030 Base de données. Chapitre 2 Architecture d une base de données IFT3030 Base de données Chapitre 2 Architecture d une base de données Plan du cours Introduction Architecture Modèles de données Modèle relationnel Algèbre relationnelle SQL Conception Fonctions avancées

Plus en détail

Bases de données relationnelles : Introduction

Bases de données relationnelles : Introduction Bases de données relationnelles : Introduction historique et principes V. Benzaken Département d informatique LRI UMR 8623 CNRS Université Paris Sud veronique.benzaken@u-psud.fr https://www.lri.fr/ benzaken/

Plus en détail

Entrepôts de données : Systèmes OLAP : ROLAP, MOLAP et OLAP (5) 1 Introduction aux systèmes

Entrepôts de données : Systèmes OLAP : ROLAP, MOLAP et OLAP (5) 1 Introduction aux systèmes Entrepôts de données : Systèmes : R, M et H (5) Bernard ESPINASSE Professeur à Aix-Marseille Université (AMU) Ecole Polytechnique Universitaire de Marseille Septembre 2013 Introduction aux systèmes Systèmes

Plus en détail

Cours Base de données relationnelles. M. Boughanem, IUP STRI

Cours Base de données relationnelles. M. Boughanem, IUP STRI Cours Base de données relationnelles 1 Plan 1. Notions de base 2. Modèle relationnel 3. SQL 2 Notions de base (1) Définition intuitive : une base de données est un ensemble d informations, (fichiers),

Plus en détail

Entrepôt de Données. Jean-François Desnos. Jean-Francois.Desnos@grenet.fr ED JFD 1

Entrepôt de Données. Jean-François Desnos. Jean-Francois.Desnos@grenet.fr ED JFD 1 Entrepôt de Données Jean-François Desnos Jean-Francois.Desnos@grenet.fr ED JFD 1 Définition (Bill Inmon 1990) Un entrepôt de données (data warehouse) est une collection de données thématiques, intégrées,

Plus en détail

Indépendance données / applications

Indépendance données / applications Vues 1/27 Indépendance données / applications Les 3 niveaux d abstraction: Plusieurs vues, un seul schéma conceptuel (logique) et schéma physique. Les vues décrivent comment certains utilisateurs/groupes

Plus en détail

Bases de Données OLAP. Systèmes Opérationnels vs. Entrepôts de Données Requêtes. Donné un Modèle Multidimensionnel

Bases de Données OLAP. Systèmes Opérationnels vs. Entrepôts de Données Requêtes. Donné un Modèle Multidimensionnel 007 006 00 00 00 00 Books s s North America Asia Europe Bases de Données OLAP Hiver 0/0 Melanie Herschel melanie.herschel@lri.fr Université Sud, Groupe Bases de Données, LRI Systèmes Opérationnels vs.

Plus en détail

IT203 : Systèmes de gestion de bases de données. A. Zemmari zemmari@labri.fr

IT203 : Systèmes de gestion de bases de données. A. Zemmari zemmari@labri.fr IT203 : Systèmes de gestion de bases de données A. Zemmari zemmari@labri.fr 1 Informations pratiques Intervenants : Cours : (A. Zemmari zemmari@labri.fr) TDs, TPs : S. Lombardy et A. Zemmari Organisation

Plus en détail

Mise à jour incrémentale des agrégats

Mise à jour incrémentale des agrégats Mise à jour incrémentale des agrégats Cas des indicateurs ROLAP dans les entrepôts de données Mohamed Badri*, Véronique Heiwy* et Faouzi Boufarès** * CRIP5, IUT de Paris Descartes Département informatique

Plus en détail

Le concept de Data Warehouse a été formalisé pour la première fois en 1990.

Le concept de Data Warehouse a été formalisé pour la première fois en 1990. 1 - LE DATA WAREHOUSE 1.1 - PRESENTATION Le concept de Data Warehouse a été formalisé pour la première fois en 1990. L idée de constituer une base de données orientée sujet, intégrée, contenant des informations

Plus en détail

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste Christian Soutou Avec la participation d Olivier Teste SQL pour Oracle 4 e édition Groupe eyrolles, 2004, 2005, 2008, 2010, is BN : 978-2-212-12794-2 Partie III SQL avancé La table suivante organisée en

Plus en détail