OPEN DATA : CHALLENGES ET PERSPECTIVES D ENTREPOSAGE

Transcription

1 OPEN DATA : CHALLENGES ET PERSPECTIVES D ENTREPOSAGE «Journée Open Data» 5 Novembre 2013 Présenté par : Imen Megdiche Directeur de thèse : Pr. Olivier Teste (SIG-IRIT) Co-directeur de thèse : Mr. Alain Berro (VORTEX-IRIT)

2 Plan Contexte général Challenges d entreposage Problématique Solution proposée Perspectives

3 Contexte général : Open data Open data (ou données ouvertes) sont des données disponibles sous licence libre destinées à la réutilisation et à la redistribution par n importe quelle personne. Source :

4 Contexte général : Open Data Acteurs Catégorie Secteurs publics (gouvernements..) Producteurs Ré-utilisateurs Entreprises Médias, bloggeurs Chercheurs Intermédiaires Usages : Visualisation des données : cartographie ( OpenStreetMap..) Applications spécifiques (mobile,..) basées sur les données (exp : transports, tourisme, santé, accéssibilité ) Liaison sémantique des données ( Linked Open Data ) Analyse des données (Business Intelligence)

5 Challenges d entreposage d Open Data Challenges d entreposaged OpenData Linked Open Data Ontologie Automatiser la découverte de schémas Alignement.. Modèle d intégration flexible

6 Open data 1 Accidents Par sous-type Open data 2 Accidents par type Accidents total

7 Quelques travaux.. Approches Google Refine[1] Google fusion [2] OpenII[5] WebSmatch[3] Stratégie d intégration Extensionet/ou fusionnement des sources Identification et matchingde schémas Identification et matchingde schémas Format fichier Excel -Non structurées Limites - Les attributs doivent être surla première ligne Excel -Pasdeschémas -Un seul tableau par - Les plus utilisées parfeuille les producteurs de calcul Excel, RDF, XML - Matching entre - Les formats les plus présents deux schémas ( -Visualisation GovWild[4] LinkedOpen Data RDF, XML, HTML, CSV -Les relations du schéma sont -Structurées prédéfinis Midas [6] Matchingavec un schémacible prédéfini - Présences de schémas Texte, HTML, XML -Scénariospécifique -Nécessite un long travail (données en background financières) pour les producteurs - intégration manuelle (annotation des données )

8 Problématique Analyse multidimensionnelle (OLAP) des Open Data Axes de recherche Phase ETL : Automatiser le plus loin possible le processus d intégration des Open Data dans une structure flexible permettant la découverte d un schéma mutlidimensionnel Phase analyse des données OLAP

9 Architecture d entreposage d Open Data Valide Détection automatique des zones de données mesures Définition des relations entre les données structurelles (hiérarchie, instance ) Sources Open Data Détection des données temporelles Analyse des sources

10 Architecture d entreposage d Open Data Sources Open Data Détection automatique des zones de données mesures Définition des relations entre les données structurelles (hiérarchie, instance ) Détection des données spatio-temporelles Analyse des sources Valide Construction automatique graphes Graphes des sources G(V,E) G(V,E) : relations entre les mesures et les données structurelles V : Intégration des graphes E : par classification conceptuelle (treillis de Galois) Graphe Intégré V_lab(i,j) : sommets des données structurels (dimensions?) V_nbr(i,j) : sommets des données mesures (cellules cube?) E_dim: arcs entre les données structurels (instance, hiérarchie ) E_fact: arcs entre mesures et dimensions

11 Architecture d entreposage d Open Data

12 Architecture d entreposage d Open Data Détection automatique des zones de données mesures Valide Graphe Intégré Schéma multidimensionnel Sources Open Data Définition des relations entre les données structurelles (hiérarchie, instance ) Détection des données spatio-temporelles Analyse des sources Construction automatique graphes Graphes des sources G(V,E) Intégration des graphes par classification conceptuelle (treillis de Galois) Définition incrémentale et semi-automatique des composants multidimensionnels

13 Architecture d entreposage d Open Data

14 Perspectives Approfondir la démarche en cours extraction des structures, amélioration de l intégration. Simuler des données manquantes issues de l alignement des données de différents niveaux de granularité. Traiter le problème d historisation des open data Mise à jour de la même source Intégration d une nouvelle source

15 Références [1] [2] [3] Coletta R, Castanier E, Valduriez P, et al. (2012) Public Data Integration with WebSmatch. CoRR [4] Böhm C, Freitag M, Heise A, et al. (2012) GovWILD: integrating open government data for transparency. WWW (Companion Volume). pp [5] Seligman and al. OpenII: an open source information integration toolkit. In Int, SIGMOd Conference, pages , 2010 [6] Balakrishnan S. et al. Midas : inetgrating public financial data. In SIGMOD 10, pages , New York, Usa, ACM.

16 Merci pour votre attention Questions?