Appariement de graphes de réseau avec PostGIS

Transcription

1 Appariement de graphes de réseau avec PostGIS VincentPicavetMakinaCorpus OGRS2009

2 Vincent Picavet / Makina Corpus [email protected] Ingénieur Systèmes d'information Géographique Contributeur PostGIS SSLL Française ~ 50 personnes SIG Outils collaboratifs Business Intelligence Système VincentPicavetMakinaCorpus OGRS2009

3 Contexte Mission actuelle chez le client X, en recherche & développement du domaine géomatique Métier utilisant la cartographie du terrain (exemple : taxis, Pages Jaunes, transport routier, DDE ) Expertise PostgreSQL / PostGIS VincentPicavetMakinaCorpus OGRS2009

4 PostgreSQL Base de données relationnelle Libre (BSD) Nombreuses fonctionnalités avancées (MVCC, Contraintes, Triggers, CTE, PITR, HOT, Full-Text search ) Langages côté serveur (Pl/PgSQL, Python, Java, Perl, LOLcode) CANIHAZCOUNT(*) FROMFISHES? Adaptabilité (embarqué Data Warehouse) VincentPicavetMakinaCorpus OGRS2009

5 PostGIS Cartouche spatial de PostgreSQL Types géométriques Index spatiaux Opérateurs et fonctions d'analyse spatiale A venir : rasters, geodésique VincentPicavetMakinaCorpus OGRS2009

6 Problèmatique Client X : besoin info géographique pour le métier Graphes de réseaux routiers Données métier associées à ces graphes Données initiales 2004 Evolution en parallèle pendant 4 ans Désynchronisation des données Same same,butdifferent VincentPicavetMakinaCorpus OGRS2009

7 Problèmatique VincentPicavetMakinaCorpus OGRS2009

8 Objectif Resynchroniser les données «recoller» les graphes Réassocier et/ou reconstruire les données métier Construire un processus de mise à jour des données Rendre ce process automatique Mises à jour systèmatiques VincentPicavetMakinaCorpus OGRS2009

9 VincentPicavetMakinaCorpus OGRS2009

10 Traitements Méthodologie des traitements effectués (1) (2) (3) (4) (5) (6) (7) (8) Chargement données de référence Chargement données métier Création du modèle d'entrée d'appariement Appariement des graphes (noeuds, voies, tronçons) par méthodes sémantiques, topologiques, et géométriques. Correspondances des données métier Recréation de données métier Création de modèle de sortie Export du modèle de sortie VincentPicavetMakinaCorpus OGRS2009

11 Méthodes sémantiques Basées sur la toponymie Traitement de texte Correspondance des intersections (sémantique et topologique) er ôti ric l'ab e ed Ru lle au G e ld a r né gé u d e Ru ral né é eg Ru alle G de er oti ric l'ab de ue en Av Voies de noms proches Rue du général de Gaulle Rue général de Galle Rue de l'abri côtier avenue de l'abricotier VincentPicavetMakinaCorpus OGRS2009

12 Méthodes topologiques Propagation de l'appariement noeuds Signatures locales des noeuds noeuds Plus courts chemins tronçons VincentPicavetMakinaCorpus OGRS2009

13 Méthodes géométriques Points «superposés» Avec des gardes fous Tronçons de même géométrie problèmatique de l'égalité de géométrie Voies sur les tronçons de même géométrie Méthodes efficaces sur réseaux très proches Source d'erreurs si désynchronisation VincentPicavetMakinaCorpus OGRS2009

14 Données : modélisation des graphes VincentPicavetMakinaCorpus OGRS2009

15 Données : modèle TODO : Screenshot du modèle (si validation) VincentPicavetMakinaCorpus OGRS2009

16 Résultats Périmètre : : 70% des tronçons 93% des données métier : 70% de la population française 2700 communes 99% des tronçons 99.95% des données métier Moins de différence des réseaux Travail de nettoyage sur les données métier VincentPicavetMakinaCorpus OGRS2009

17 Résultats VincentPicavetMakinaCorpus OGRS2009

18 VincentPicavetMakinaCorpus OGRS2009

19 VincentPicavetMakinaCorpus OGRS2009

20 Des chiffres Données ~ 50 Tables + tables temporaires + tables de controle et stats Entre quelques Mo et quelques Go Entre 1500 et > 10M enregistrements ~ 30 champs de géométrie Volume total : ~ 150Go en fin de traitement 30K lignes SQL 3000 requêtes 6000 lignes Python VincentPicavetMakinaCorpus OGRS2009

21 Typologie d'utilisation de BDD «ELT» : Extract, Load, Transform Traitements longs et lourds Chaine de production globale ~ 20j Appariement : 5j Traitements dans Postgres + Postgis + quelques outils externes Non utilisés : Gestion de droits Accès conccurentiels Réplication VincentPicavetMakinaCorpus OGRS2009

22 Environnement Serveurs windows Clients windows Deux serveurs de test et prod Dimensionnement large Avantage libre : serveurs de dev en local Développement PgAdmin III Editeurs classiques SVN Python + psycopg2 VincentPicavetMakinaCorpus OGRS2009

23 Outils : intégration et exports Shp2pgsql, pgsql2shp & ogr2ogr Intégration des données géographiques de référence Exports de la géographie en fin de process BCP Sybase PostgreSQL Talend SDI Données métier Sybase vers PostgreSQL Postgres vers Sybase VincentPicavetMakinaCorpus OGRS2009

24 Outils : modélisation et contrôle Modélisation : PowerAMC Lié à Sybase En amont : conception En aval : rétroingénierie pour controle Visualisation Udig GvSIG Mapinfo (exports SHP) Mapinfo 10 (PostGIS) VincentPicavetMakinaCorpus OGRS2009

25 Difficultés rencontrées Utilisation ELT Transactions longues Cache de requêtes inefficace Gestion manuelle indexes, structure, maintenance (vacuum, analyze) Compromis modularité / généricité / performances Optimisation Paramétrage serveur Tuning requêtes Coût (temps, matériel) environnement de test réél VincentPicavetMakinaCorpus OGRS2009

26 Directions futures Industrialisation Optimisation Passage sous environnement UNIX Intégration des outils externes sous forme de modules PostgreSQL/PostGIS Changement des entrées / sorties Généralisation de PostgreSQL/PostGIS VincentPicavetMakinaCorpus OGRS2009

27 Conclusion Projet atypique Bons résultats algorithmiques Bons résultats techniques Montée en compétence Volonté de généraliser l'utilisation de PG Reversement au libre? VincentPicavetMakinaCorpus OGRS2009

28 Questions? Vincent Picavet Makina Corpus Tel : VincentPicavetMakinaCorpus OGRS2009