Système OLAP Fresqueau

Transcription

1 Système OLAP Fresqueau Kamal BOULIL Journées 20 mars Strasbourg Réunion plénière -Fresqueau octobre

2 Plan 1. Introduction 1. Projet ANR Fresqueau 2. Systèmes OLAP 2. Système OLAP Fresqueau 1. Architecture 2. Cube physico-chimie 3. Cube hydrobiologie 3. Analyses OLAP 4. Conclusion 18/05/12 2

3 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Projet ANR Fresqueau 1. Une grosse base de données intégrée 5 thèmes majeurs : (1) paramètres de la qualité de l eau (physico-chimiques, hydrobiologiques, ), (2) stations de mesure, (3) réseaux hydrographiques, (4) activités humaines (ex. stations d épuration), (5) variables de contexte (climat, hydroécorégions, ) 16 sources de données: agences de l eau, ONEMA, IGN, UR, ministères d agriculture et d écologie, IRSTEA, EEA, Météo France, etc. 2. Système OLAP pour l exploration interactive, multidimensionnelle et multi-échelle des données de qualité de l eau 3. Système de fouille de données (algorithmes) pour la découverte de nouvelles connaissances (par ex. corrélations et relations entre paramètres de la qualité de l eau) 3

4 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Définitions Systèmes d aide à la décision permettant une exploration interactive des données suivant une approche multidimensionnelle et à plusieurs niveaux de granularité Structures de données spécifiques Cube, Mesure, Dimension, Hiérarchie de dimension, Operateurs OLAP (Roll-up, Drill-down, Slice, ) Fonctions d agrégation (Moyenne, Maximum, ) Visualisations interactives (tableaux croisées, diagrammes statistiques, cartes, ) 4

5 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Architecture BD opérationnelles Métadonnées Sources internes ETL Entrepôt de Données (ED) Sources externes Magasins de données Cubes de données Affichages interactifs Sources de données Couche ETL Couche d entreposage Serveur OLAP Client OLAP 5

6 Système OLAP Fresqueau 6

7 Cube physico-chimie : Dimensions et Mesures 7

8 Cube physico-chimie : Dimension Paramètres 8

9 Cube physico-chimie : Dimension Temps 9

10 Cube physico-chimie : Dimension Stations 10

11 Cube physico-chimie : Indicateurs 11

12 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimensions et Mesures 12

13 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimension Indices 13

14 Cube hydrobiologie : Indicateurs de note 14

15 Analyses thématiques multi-échelles (1/2) 15

16 Analyses thématiques multi-échelles (2/2) 16

17 Analyses temporelles multi-échelles (1/2) 17

18 Analyses temporelles multi-échelles (2/2) 18

19 Analyses spatiales multi-échelles (1/2) 19

20 Analyses spatiales multi-échelles (2/2) 20

21 Analyses spatio-temporelles multi-échelles 21

22 Système OLAP Fresqueau Analyse rapide de gros volumes de données physico-chimiques et hydrobiologiques de la qualité de l eau De nombreux indicateurs d analyse ( ex. moyenne des valeurs des paramètres physicochimiques, moyenne des notes, ) Différents types d analyses multidimensionnelles et multi-échelles dynamiques (thématiques, temporelles, spatiales et comparatives ) Différents types de visualisations (tableaux croisés dynamiques, diagrammes statistiques (ex. histogrammes, camembert, ), diagrammes en araignée, etc.) Extensibilité Définition d autres cubes (ex. débits, données morphologiques) Jointures de cubes pour croiser les données de différents cubes (par ex. comparer l évolution des indices biologiques par rapport à l évolution des paramètres physico-chimiques) 22

23 EN PLUS : Tailles des BD Base Fresqueau intégrée Taille : 2,6 GO 101 tables et 452 colonnes Base magasins de données Taille : 8400 MB 15 tables Table de fait des résultats physico-chimiques : lignes Table de fait des résultats hydrobiologiques : lignes 23

24 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Projet ANR Fresqueau Système Fresqueau pour l analyse des données de qualité de l eau BD publiques BD spécifiques OLAP BD de recherche ETL Base de données intégrée Fresqueau ETL Data mining Sources de données 24

25 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. ROLAP (Relational OLAP) : basés sur une BD Relationnelle 2. MOLAP (Multidimensionnal OLAP) : basés sur une BD multidimensionnelle 3. HOLAP (Hybrid OLAP) : combinaison du ROLAP et MOLAP Volumes de données Chargement de données ROLAP MOLAP HOLAP gros volumes petits volumes volumes moyens les plus efficaces les moins efficaces modérés Requêtage les plus lents les plus rapides modérés Passage à l échelle les meilleurs les plus faibles modérés 25

26 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. ROLAP (Relational OLAP) : basés sur une BD Relationnelle ED : (PostgreSQL) Serveur ROLAP : (Mondrian) Client ROLAP (Jrubik) Schéma ED (SQL) Schéma OLAP (XML) Vue multidimensionnelle Fichier de configuration 26

27 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Systèmes OLAP : Implémentation 1. Schéma en étoile (Star schema) Une table de fait qui référence des tables de dimension : une table de dimension par dimension conceptuelle Temps de réponse plus court Mais Espace de stockage moins optimisé 2. Schéma en flocons de neige (Snow-flake schema) Une table de fait qui référence des tables de dimension : une table de dimension par niveau hiérarchique Espace de stockage plus optimisé Mais Temps de réponse plus lent 3. Schéma hybride (Star-flake schema) Une table de fait qui référence des tables de dimension : une table de dimension peut correspondre à un niveau, plusieurs niveaux ou une dimension Espace et temps de réponse moyens 27

28 Cube physico-chimie : Granularité des faits 28

29 Cube physico-chimie : Dimension Supports 29

30 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube physico-chimie : Dimension Remarques 30

31 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube physico-chimie : Dimension Préleveurs 31

32 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Granularité des faits 32

33 1.Introduction 2.Système OLAP Fresqueau 3.Analyses OLAP 4.Conclusion Cube hydrobiologie : Dimension Notes 33

34 Cube hydrobiologie : Indicateurs d abondance 34

35 Cube hydrobiologie : Indicateurs de variété taxonomique 35

36 Cube hydrobiologie : Indicateurs GFI 36

37 Analyses thématiques multi-échelles (2/3) 37

38 Analyses thématiques multi-échelles (1/4) 38

39 Analyses temporelles multi-échelles (1/2) 39

40 Analyses temporelles multi-échelles (2/2) 40

41 Analyses spatio-temporelles multi-échelles (1/2) 41

42 Analyses spatio-temporelles multi-échelles (2/3) 42

43 Analyses spatio-temporelles multi-échelles (3/3) 43