Système OLAP Fresqueau Kamal BOULIL Journées 20 mars Strasbourg Réunion plénière -Fresqueau 07-08 octobre 2013 1
Plan 1. Introduction 1. Projet ANR Fresqueau 2. Systèmes OLAP 2. Système OLAP Fresqueau 1. Architecture 2. Cube physico-chimie 3. Cube hydrobiologie 3. Analyses OLAP 4. Conclusion 18/05/12 2
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Projet ANR Fresqueau 1. Une grosse base de données intégrée 5 thèmes majeurs : (1) paramètres de la qualité de l eau (physico-chimiques, hydrobiologiques, ), (2) stations de mesure, (3) réseaux hydrographiques, (4) activités humaines (ex. stations d épuration), (5) variables de contexte (climat, hydroécorégions, ) 16 sources de données: agences de l eau, ONEMA, IGN, UR, ministères d agriculture et d écologie, IRSTEA, EEA, Météo France, etc. 2. Système OLAP pour l exploration interactive, multidimensionnelle et multi-échelle des données de qualité de l eau 3. Système de fouille de données (algorithmes) pour la découverte de nouvelles connaissances (par ex. corrélations et relations entre paramètres de la qualité de l eau) 3
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Définitions Systèmes d aide à la décision permettant une exploration interactive des données suivant une approche multidimensionnelle et à plusieurs niveaux de granularité Structures de données spécifiques Cube, Mesure, Dimension, Hiérarchie de dimension, Operateurs OLAP (Roll-up, Drill-down, Slice, ) Fonctions d agrégation (Moyenne, Maximum, ) Visualisations interactives (tableaux croisées, diagrammes statistiques, cartes, ) 4
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Architecture BD opérationnelles Métadonnées Sources internes ETL Entrepôt de Données (ED) Sources externes Magasins de données Cubes de données Affichages interactifs Sources de données Couche ETL Couche d entreposage Serveur OLAP Client OLAP 5
Système OLAP Fresqueau 6
Cube physico-chimie : Dimensions et Mesures 7
Cube physico-chimie : Dimension Paramètres 8
Cube physico-chimie : Dimension Temps 9
Cube physico-chimie : Dimension Stations 10
Cube physico-chimie : Indicateurs 11
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimensions et Mesures 12
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimension Indices 13
Cube hydrobiologie : Indicateurs de note 14
Analyses thématiques multi-échelles (1/2) 15
Analyses thématiques multi-échelles (2/2) 16
Analyses temporelles multi-échelles (1/2) 17
Analyses temporelles multi-échelles (2/2) 18
Analyses spatiales multi-échelles (1/2) 19
Analyses spatiales multi-échelles (2/2) 20
Analyses spatio-temporelles multi-échelles 21
Système OLAP Fresqueau Analyse rapide de gros volumes de données physico-chimiques et hydrobiologiques de la qualité de l eau De nombreux indicateurs d analyse ( ex. moyenne des valeurs des paramètres physicochimiques, moyenne des notes, ) Différents types d analyses multidimensionnelles et multi-échelles dynamiques (thématiques, temporelles, spatiales et comparatives ) Différents types de visualisations (tableaux croisés dynamiques, diagrammes statistiques (ex. histogrammes, camembert, ), diagrammes en araignée, etc.) Extensibilité Définition d autres cubes (ex. débits, données morphologiques) Jointures de cubes pour croiser les données de différents cubes (par ex. comparer l évolution des indices biologiques par rapport à l évolution des paramètres physico-chimiques) 22
EN PLUS : Tailles des BD Base Fresqueau intégrée Taille : 2,6 GO 101 tables et 452 colonnes Base magasins de données Taille : 8400 MB 15 tables Table de fait des résultats physico-chimiques : 14 602 580 lignes Table de fait des résultats hydrobiologiques : 34 415 lignes 23
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Projet ANR Fresqueau Système Fresqueau pour l analyse des données de qualité de l eau BD publiques BD spécifiques OLAP BD de recherche ETL Base de données intégrée Fresqueau ETL Data mining Sources de données 24
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. ROLAP (Relational OLAP) : basés sur une BD Relationnelle 2. MOLAP (Multidimensionnal OLAP) : basés sur une BD multidimensionnelle 3. HOLAP (Hybrid OLAP) : combinaison du ROLAP et MOLAP Volumes de données Chargement de données ROLAP MOLAP HOLAP gros volumes petits volumes volumes moyens les plus efficaces les moins efficaces modérés Requêtage les plus lents les plus rapides modérés Passage à l échelle les meilleurs les plus faibles modérés 25
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. ROLAP (Relational OLAP) : basés sur une BD Relationnelle ED : (PostgreSQL) Serveur ROLAP : (Mondrian) Client ROLAP (Jrubik) Schéma ED (SQL) Schéma OLAP (XML) Vue multidimensionnelle Fichier de configuration 26
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. Schéma en étoile (Star schema) Une table de fait qui référence des tables de dimension : une table de dimension par dimension conceptuelle Temps de réponse plus court Mais Espace de stockage moins optimisé 2. Schéma en flocons de neige (Snow-flake schema) Une table de fait qui référence des tables de dimension : une table de dimension par niveau hiérarchique Espace de stockage plus optimisé Mais Temps de réponse plus lent 3. Schéma hybride (Star-flake schema) Une table de fait qui référence des tables de dimension : une table de dimension peut correspondre à un niveau, plusieurs niveaux ou une dimension Espace et temps de réponse moyens 27
Cube physico-chimie : Granularité des faits 28
Cube physico-chimie : Dimension Supports 29
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube physico-chimie : Dimension Remarques 30
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube physico-chimie : Dimension Préleveurs 31
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Granularité des faits 32
1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimension Notes 33
Cube hydrobiologie : Indicateurs d abondance 34
Cube hydrobiologie : Indicateurs de variété taxonomique 35
Cube hydrobiologie : Indicateurs GFI 36
Analyses thématiques multi-échelles (2/3) 37
Analyses thématiques multi-échelles (1/4) 38
Analyses temporelles multi-échelles (1/2) 39
Analyses temporelles multi-échelles (2/2) 40
Analyses spatio-temporelles multi-échelles (1/2) 41
Analyses spatio-temporelles multi-échelles (2/3) 42
Analyses spatio-temporelles multi-échelles (3/3) 43