Collabora'on IRISA/INRA sur le transfert de nitrates et l améliora'on de la qualité des eaux des bassins versants:

Transcription

1 Collabora'on IRISA/INRA sur le transfert de nitrates et l améliora'on de la qualité des eaux des bassins versants: Tassadit BOUADI 22 Juin 2010, Saint Jacut 1

2 Plan Introduc<on: Contexte de la thèse Entrepôts de données Défini<on et applica<ons Cube de données Modélisa<ons conceptuelles des entrepôts de données Opéra<ons OLAP Explora<on des cubes de données Couplage fouille de données et analyse en ligne Conclusion Pistes de proposi<ons 2

3 Contexte de la thèse Langage de scénario Accès aux résultats de simulation Requête / interaction Simulateur Modèle décisionnel Modèle biophysique Accès aux connaissances Entrepôt de données : Connaissances Résultats/données Appren<ssage et fouille 3

4 Entrepôts de données Entrepôts de données Data Warehouses (DW) Différentes défini<ons «Un data warehouse est une collec<on de données concernant un sujet par<culier, varie dans le temps, non vola<le et où les données sont intégrées.» W. H. Inmon Objec<fs: Offrir un accès à une version agrégée et historisée de l'ensemble des données de l'entreprise Offrir des ou<ls d'aide à la décision (OLAP) 4

5 Applica<ons d un DW Traitement d informa<ons: Analyses sta<s<ques de base Rapports à l aide de tableaux croisés, graphe, etc. Traitement analy<que: Analyse mul<dimensionnelle des données d un DW Supporte les opéra<ons OLAP Fouille de données: Découverte de connaissances 5

6 Cube de données Un DW est basé sur un modèle mul<dimensionnel où les données sont vues comme des data cubes Un data cube, ex: ventes, permet de voir les données selon plusieurs dimensions Les tables de dimension ex: item (nom_item, marque, type), ou temps (jour, semaine, mois, trimestre, année) La table de faits con<ent des mesures (ex: unités_vendues) et les clés externes faisant référence à chaque table de dimension Dans la liférature du data warehousing, un cube de dimension n est dit cuboïde. Le treillis des cuboïdes d un data warehouse forme un data cube. 6

7 Data Cube TV PC DVD sum Date 1Trim 2Trim 3Trim 4Trim Total annuel des ventes de TV aux U.S.A. sum U.S.A Canada Mexique Pays sum 7

8 Cube: Un treillis de cuboïdes tous D cuboïde temps item lieu fournisseur D cuboïdes temps,item temps,lieu item,lieu Temps, fournisseur item,fournisseur Lieu, fournisseur D cuboïdes temps,item,lieu temps,lieu, fournisseur D cuboïdes Temps, item, fournisseur item,lieu, fournisseur 8 Temps, item,lieu,fournisseur D cuboïde

9 Concept de hiérarchie Montant des ventes comme une fonc<on des paramètres produit, mois, région Dimensions: Produit, Lieu, Temps Chemins de consolidation hiérarchiques Produit Industrie Région Année Catégorie Pays Trimestre Produit Ville Mois Semaine 9 Mois Magasin Jour

10 Modélisa<on Conceptuelle des Data Warehouses Dimensions & mesures Schéma en étoile: Au milieu, une table de faits connectée à un ensemble de tables de dimensions Schéma flocon de neige (snowflake): Un raffinement du précédent où certaines tables de dimensions sont normalisées (donc décomposées) Constella'on de faits: Plusieurs tables de faits partagent quelques tables de dimension (constella<on d étoiles) 10

11 Exemple de schéma en étoile temps Id_temps jour Jour_semaine mois trimestre année 11 branche Id_branche Nom_branche Type_branche Mesures Table de faits ventes id_time id_item id_branche id_lieu unités_vendues montant_ventes moyenne_ventes Id_item Nom_item marque type Type_fournisseur lieu item Id_lieu rue ville département pays

12 Exemple de schéma Snowflake temps Id_temps jour Jour_semaine mois trimestre année 12 branche Id_branche Nom_branche Type_branche Mesures Table de faits Vente Id_temps Id_item Id-branch Id_lieu unités_vendues montant_vente moyenne_vente item Id_item Nom_item Marque type Id_fournisseur lieu Id_lieu rue Id_ville fournisseur Id_fournisseur Type_fournisseur ville Id_ville ville département pays

13 Exemple de Constella<on de faits temps Id_temps jour Jour_semaine mois trimestre année branche Id_branche Nom_branche Type_branche 13 Meesures Table de faits Vente Id_temps Id_item Id-branche Id_lieu unités_vendues montant_vente moyenne_vente lieu item Id_item Nom_item marque type Id_fourniseur Id_lieu rue ville département pays Table de faits Transport Id_temps Id_item Id_transporteur id_départ id_arrivée coût Unités_transportées transporteur Id_Transporteur Nom_transporteur Id_lieu Type_transporteur

14 Opéra<ons typiques de l OLAP Roll up : consolider (résumer) les données Passer à un niveau supérieur dans la hiérarchie d une dimension Drill down : l inverse du Roll up descendre dans la hiérarchie d une dimension Slice et Dice: Projec6on et sélec6on du modèle rela6onnel Pivot (Rotate): Réoriente le cube pour visualisa6on 14

15 15

16 16

17 Explora<on des cubes de données Explora<on guidée par les hypothèses Explora<on par l usager à l'aide des opéra<ons OLAP (drill down, roll up, slice, dice, pivot,..) Avantages Permet de visualiser les données selon diverses perspec<ves Inconvénients Espace de recherche trop grand Pour un cube de n dimensions et Li niveaux de hiérarchie pour la dimension Di T= i=1..n (Li+1) Exemple : un cube de 8 dimensions avec des hiérarchies de dimension de 7 niveaux offre 1,6 millions (8 ^8) cuboïdes possibles 17

18 Explora<on des cubes de données Visualisa<on Manipula<on interac<ve 18

19 Couplage Fouille de données et analyse en ligne Entrepôt de données / OLAP Grande capacité de stockage ECD / Fouille de données Structuration multidimensionnelle des données Entrepôt Cubes de de données / OLAP OLAP Exploration : visualisation et navigation dans les cubes de données OLAP : besoin d une analyse en ligne plus élaborée dépassant la simple exploration et le résumé des cubes de données ECD / Fouille de données OLAP + Fouille de données Extraction La structure des multidimensionnelle connaissances à partir peut de tableaux apporter «Individus-Variables» un contexte d analyse ciblé pour la Fouille fouille de données Approche inductive pour la description et la prédiction Associer l aspect exploratoire de l OLAP à la démarche descriptive et prédictive de la fouille Définir une nouvelle génération d opérateurs OLAP basés sur des techniques de fouille 19

20 Couplage Fouille de données et analyse en ligne 1. Extension des opérateurs OLAP 2. Adaptation des algorithmes de fouille de données 20

21 1. Extension des opérateurs OLAP Etendre le langage de requêtes des opérateurs OLAP pour simuler des techniques de fouille de données Han et al. (OLAM : DBMiner) Sathe et al. (Opérateur RELAX ) Sarawagi (Opérateur DIFF) 21

22 2. Adaptation des algorithmes de fouille de données Application de la fouille au cœur des données multidimensionnelles Palpanas (Visions théoriques : processus d analyse élaborée) Sarawagi et al. (Discovery-driven : détection des valeurs remarquables) Giacometti et al. (Recommandations de requêtes pour OLAP ) 22

23 Conclusion Démarche pour une explora<on efficace et effec<ve des cubes de données dans les entrepôts Présente des défis intéressants dans un contexte mul<dimensionnel Peut abou<r à des connaissances fort u<les décrivant des associa<ons, des groupements ou des excep<ons au niveau des données agrégées Trouve des applica<ons dans plusieurs domaines du monde réel 23

24 Pistes de proposi<ons Orienter l u<lisateur dans l u<lisa<on des opérateurs OLAP Personnalisa<on de la défini<on d une excep<on par l u<lisateur Etablir de nouveaux modèles d appren<ssage en ligne sur les données mul<dimensionnelles Créa<on de nouveaux opérateurs permefant la prédic'on 24

25 Je vous remercie 25