Laurent Jégou novembre 2014 M2 Sigma U351_33 WebMapping Webographie spécifique : Séance 2 Les systèmes de gestion de bases de données spatiales : L'exemple de PostGIS Tutoriel FOSS4G (en français) : http://www.postgis.fr/chrome/site/docs/workshop-foss4g/doc/index.html 1- Le principe du stockage d objets spatiaux et des fonctions d interrogation et de traitement et de génération d objets. a- La norme Simple Features for SQL (Norme OpenGIS de l OGC). Il s'agit de la norme de base, elle définit le format numérique de stockage pour des objets géographiques, munis ou non d attributs. Il s agit de géométries 2D simples, avec interpolation linéaire entre vertex (pas d'arcs, pas de topologie,pas de 3D). (Schéma tiré de la norme OpenGeo / OGC SF-SQL, 05-134) La norme définit en outre des fonctions de conversion de formats et opérations spatiales sur ces géométries (calculs de distances / surfaces, relations spatiales, arithmétique entre géométries, etc.). Elle a été complétée depuis par d'autres normes pour des objets plus complexes (arcs, topologie, 3D, projection prise en compte dans les calculs, etc.). Document sous licence CC-BY-SA 1
b- Les principales implémentations - PostGIS (extension intégrée de PostGreSQL, FOSS) - SpatiaLite (extension de SQLite, FOSS) - MyGIS (extension intégrée de MySQL depuis la v.4.1, FOSS) - Oracle Spatial (commercial) - Microsoft SQL Server (depuis la v.2008, commercial) - H2 (Java) avec H2 gis (avec des fonctions de graphes en plus, FOSS) Aujourd'hui certains de ces logiciels progressent vers des possibilités SIG plus avancées comme le support de types de données géographiques possédant une topologie complète, de rasters, la gestion de la temporalité (suivi de l'évolution dans le temps des objets par gestion des versions). 2- PostGIS, principes et utilisation a- Présentation Un moteur de BD orienté entreprise et réseau (sécurité, optimisation, réactivité). PostgreSQL est un SGBDR basé sur le logiciel POSTGRES développé à l'université de Californie au département des sciences informatiques de Berkeley à partir de 1986. POSTGRES était un logiciel expérimental dans le domaine des BDD, et il a servi de plateforme de test pour de nombreuses technologies modernes : requêtes complexes ; clés étrangères ; déclencheurs (triggers) ; vues ; intégrité des transactions ; contrôle des accès concurrents (gestion multi-utilisateur en temps réel, MVCC ou multiversion concurrency control). Aujourd hui PostgreSQL qui est son successeur open source se vante d être le SGBDR le plus avancé au monde, car il possède des fonctionnalités très puissantes et le moyen de les étendre facilement par la programmation (macros en perl, java et python). PostGIS est pour une bonne partie codé dans un de ces langages de macro, PLpgSQL. Organisation d une BDD PostGIS (particularités de PostgreSQL et tables PostGIS) Une installation de PostgreSQL (nommée cluster) contient une ou plusieurs bases de données, totalement indépendantes. Chaque base de données peut ensuite contenir un ou plusieurs schémas, ou subdivisions logiques, ces derniers contenant les objets courants de base de données (tables, vues, fonctions, requêtes, etc.). Document sous licence CC-BY-SA 2
Cluster o Base de données Schéma Tables Fonctions Requêtes Vues Copie d'écran d'un cluster Postgres 9.3.1 comportant une base postgis 2 : Comme il s'agit d'une base client-serveur, les utilisateurs peuvent avoir des droits différents (rôles), sur chaque élément de la base de données (schéma, table, vue, etc.). Document sous licence CC-BY-SA 3
PostGIS ajoute à ce fonctionnement classique ses types de données et ses (très nombreuses) fonctions, Cf. : http://postgis.org/docs/manual-2.0/reference.html Ce sont ces nombreuses fonctions qui en font le SGBDR-Spatial le plus intéressant aujourd'hui. Il ajoute aussi deux objets utilitaires : la vue geometry_colums et la table spatial_ref_sys. La première sert à indiquer au logiciel quels sont les champs contenant des types géographiques dans chacune des tables. La seconde contient les paramètres des systèmes de projection supportés et sert en interne au logiciel : ce sont en fait les paramètres utilisés par la bibliothèque de fonctions PROJ.4 qui gère le système de projection. On peut y retrouver les principales projections utilisées sous leurs identifiants EPSG (Lambert93 = EPSG:2154). La dernière version majeure de PostGIS, 2, sortie début 2012, a apporté des innovations importantes, comme la gestion des données rasters et la prise en compte plus poussée des relations topologiques. b- Principe d utilisation de PostGIS Le principe est donc de pouvoir : - stocker des informations géographiques en tenant compte de leurs caractéristiques particulières (projection, position, dimensions), - réaliser des opérations de type SIG comme des mesures de distance, d intersection, - créer de nouvelles géométries en les décrivant dans un format reconnu, ou comme résultat d opérations sur des géométries existantes (arithmétiques), - retourner des informations géographiques (géométries et/ou attributaires) selon un format précis, sur le réseau. c- Installation de PostgreSQL / PostGIS sous Windows XP Cf. Procédure détaillée en annexe, avec copies d écrans. Télécharger le paquet d installation sur http://www.enterprisedb.com/products/pgdownload.do Laisser les chemins d installation par défaut (programme et data) Choisir un mot de passe pour le superuser du cluster : postgres (nous faisons une installation locale de test, naturellement en production il faudra choisir un mot de passe plus sur). Laisser le port par défaut (5432, selon firewall) Choisir le «locale» French/french (page de code des textes) Laisser l installation lancer le «stack builder» (compléments) Document sous licence CC-BY-SA 4
Dans StackBuilder, choisir le cluster/serveur Postgresql local Dans le groupe «spatial extensions», choisir PostGIS Dans l installation de PostGIS, modifier les choix par défaut pour cocher «create spatial database» Fournir l identifiant et le mot de passe du superuser postgres ("postgres") Le serveur PostGreSQL est installé, il s'agit d'un service windows à démarrage automatique (lancé à chaque fois que windows démarre, à modifier en démarrage à la demande sur une machine qui n'est pas dédiée serveur). Lancer ensuite PGAdminIII dans le menu démarrer pour vérifier la connexion au serveur. Préparation de la base : Créer un nouveau rôle d utilisation (un nouvel utilisateur), ayant les droits sur la base «postgis» du cluster, par exemple «sigma» et mot de passe «sigma». Tester la connexion au serveur avec ce rôle. Configuration de PostGIS sur le serveur - ouvrir si besoin les connexions au autres machines du réseau local dans le fichier pg_hba.conf (ce fichier se trouve dans le répertoire data) : host all all 0.0.0.0/0 md5 - modifier la définition de la page de codes du client dans le fichier postgresql.conf (même répertoire data) client_encoding = latin1 (Sinon les caractères avec accents ne seront pas reconnus et bloqueront l'insertion de nouvelles données dans la base, qui est en codage UTF8 par défaut). recharger la configuration (dans le menu démarrer de Windows, PostgreSQL). L'installation de PostGIS seule peut se faire par-dessus une installation de PostGreSQL, en utilisant l'application "StackBuilder". Par défaut, la configuration de PostGreSQL est adaptée à une petite machine. Pour optimiser cette configuration, vous pouvez utiliser PGTune (qui est un script python), pour réécrire le fichier postgresql.conf en tenant compte des caractéristiques de la machine (mémoire surtout). http://pgfoundry.org/frs/?group_id=1000416 Document sous licence CC-BY-SA 5
d- Alimentation de la base de données Les jeux de données gratuites et libres d utilisation sont à récupérer dans une archive compressée : Leur provenance originale est : - Données GéoFla Départments IGN au format shape (L93) o http://professionnels.ign.fr/sites/default/files/geofla_1-1_shp_lamb93_fr-ed111.tar.gz - Données Cours d eau classés en "liste 1" sur le site de la Région Midi-Pyrénées (L93) o http://www.mipygeo.fr/prra/panierdownloadfrontal_parametrage.ph p?layeridts=642 - Données SANDRE des stations de mesures hydrobiologiques (L93) o http://services.sandre.eaufrance.fr/telechargement/geo/stationmesuree auxsurfacepointsprelfxx-shp.zip Conversion en commandes SQL et intégration des données : Dans PGAdminIII, choisir dans le menu «Plugin» : «Shape File to PostGIS Importer». Modifiez les paramètres proposés en écrivant le nom de la table en minuscules et en changeant le code système de projection par défaut (-1 pour «inconnu») par celui des couches à importer : 2154 (code EPSG pour le Lambert 93). Si ce plugin est absent de PGAdminIII, on peut télécharger l'application Shp2pgsqlGUI à part en utilisant l'archive d'installation de PostGIS disponible sur le site officiel. Attention : pour les données françaises, qui comportent des toponymes en minuscules avec accents, prenez bien soin de préciser (bouton «Options») que l encodage des caractères est de type «LATIN1» dans le.dbf de la source (les fichiers DBF ne contiennent pas d'information sur leur encodage de texte). è cette opération est à répéter à chaque importation de données, sinon elles ne seront pas correctement reconnues dans leur projection. è Attention à placer les fichier shape à importer dans un répertoire dont le chemin ne présente pas un nom trop complexe : 8 lettres maximum et pas d'espace. Autre possibilité : utiliser le programme en ligne de commande shp2pgsql (il se trouve dans le répertoire /bin de PostGreSQL). Pour simplifier les requêtes, les noms des tables ont été raccourcis dans la base en "courseau" et "stations". Document sous licence CC-BY-SA 6
Exemple pour le GéoFla Départements (IGN) : L importation par ce plugin va convertir les shapefiles en tables postgis, et créer les informations utiles dans la table geometry_columns ainsi qu un index sur la colonne contenant les géométries (nommée "geom" par défaut). Un champ "gid" (identifiant géo) sera de même rajouté (sauf option contraire) aux tables, contenant des valeurs numériques uniques permettant de créer une clé primaire indexable. Les géométries des objets spatiaux sont stockées dans un champ de type "geometry", type qui a été ajouté au serveur par l'installation de PostGIS. Ces champs contiennent en fait une description de la géométrie dans un format binaire compressé, que l'on peut lire en utilisant la fonction ST_AsText(the_geom). PostGIS possède dans le même ordre d'idées des convertisseurs de format permettant de générer des entités en format KML ou GeoJSON. Document sous licence CC-BY-SA 7
e- Exercices pratiques de découverte progressive des fonctions L'utilisation des fonctions de PostGIS s'effectue au travers de requêtes SQL, comme on utiliserait les fonctions habituelles de PostGreSQL. Sélection attributaire simple Les départements de la région Midi-Pyrénées (code 73) : SELECT * FROM departement WHERE code_reg = '73'; Les noms des cours d eau principaux(mongueur > 40km) : Select * FROM courseau WHERE st_length(geom) > 40000; Lister les différents noms de cours d eau comportant le nom «Nive» : SELECT * from courseau WHERE libtroncon LIKE '%Nive%'; Mesure de la longueur du tronçon de la Garonne contenu dans cette liste : SELECT st_length(geom) / 1000 FROM courseau WHERE libtroncon like '%La Garonne%'; Calculs spatiaux simples La superficie du département du Tarn (code 81) : SELECT st_area(geom) FROM departement WHERE code_dept = '81'; Résultat : 5 781 488 782.5 m2 (donc 5 781 km2). Le périmètre de la limite départementale du Tarn : SELECT st_perimeter(geom) FROM departement WHERE code_dept = '81'; Sélections spatiales simples (sans relation entre plusieurs tables) Les départements limitrophes du Tarn (sous-requête) : SELECT d.nom_dept FROM departement AS d, (SELECT geom FROM departement WHEREcode_dept = '81') AS tarn WHERE ST_Touches(d. geom, tarn. geom); Document sous licence CC-BY-SA 8
Les départements à moins de 200 km de la frontière du Tarn : SELECT DISTINCT d.code_dept, d.nom_dept FROM departement AS d, ST_buffer( (SELECT geom FROM departement WHERE code_dept = '81'), 200000 ) AS buffer WHERE ST_contains(buffer, d.geom) ; Les cours d'eau du Tarn : SELECT DISTINCT ce.toponyme, ce.classe FROM courseau AS ce WHERE ST_intersects((SELECT geom FROM departement WHERE code_dept = '81'), ce.geom); Les stations de mesure à proximité (10km) de la Garonne : SELECT * FROM stations as s, (select * from courseau as c where c.libtroncon like 'La Garonne%') as garonne WHERE st_distance(s.geom, garonne.geom) < 10000; Autre possibilité (plus longue) : SELECT * FROM stations as s, (select st_buffer(geom, 2000) as geom from courseau as c where c.libtroncon like 'La Garonne%') as garonne WHERE st_contains(garonne.geom, s.geom); f- Test du logiciel QuantumGIS comme client PostGIS Créer une connexion au serveur PG (ip, port, login, nom base) Charger les couches disponibles Vérifier les projections Tester la visualisation et la symbolisation Tester la modification de couches, observer la répercussion sur le serveur Tester la création de couches issues de requêtes de sélection. Document sous licence CC-BY-SA 9
g- Exercices - Télécharger les données "Admin-0 Countries" version 1:110M du site : http://www.naturalearthdata.com/downloads/ - Télécharger les données "Populated Places" version 1/110M - Les intégrer au serveur PostGIS, dans leur projection d'origine. Répondre aux questions suivantes : - Quels sont les pays frontaliers du Bhoutan? - Quelle est la distance, à vol d'oiseau et en km, entre Paris et Londres? h- PostGis 2.0 : travail avec des données raster Présentation des nouveautés : http://www.postgis.us/downloads/foss4g2011postgis20newstuff.pdf Tutorial : http://trac.osgeo.org/postgis/wiki/wktrastertutorial01 La version 2.0 de PostGIS est sortie au début de l'année 2012 qui a apporté une assez vaste série de nouveautés aux fonctionnalités du logiciel. La principale innovation est la capacité de gestion des données rasters, dans les mêmes conditions que les données vecteur (importation simplifiée, gestion des caractéristiques spatiales, fonctions d'interrogation spécifiques, croisement spatiaux). Aujourd'hui seule l'exportation au format raster reste délicate, mais il faut mentionner l'existence d'une extension de QuantumGIS qui permet d'afficher directement ce type de données PostGIS (et de les importer). Pour tester les possibilités de gestion des données raster, on va intégrer deux types de données : un MNT et une image satellite. Les données MNT sont une dalle du SRTM v4 disponibles à l'adresse web suivante : ftp://srtm.csi.cgiar.org/srtm_v41/srtm_data_geotiff/srtm_37_04.zip Il s'agit d'un raster au format GeoTIFF, sans projection et dans le datum WGS84 (ESPG:4326). L'image satellite est une image Landsat 8 d'avril 2013 sur la région Toulousaine, téléchargée depuis (enregistrement gratuit requis) : http://earthexplorer.usgs.gov/ Il s'agit d'un raster au format JPEG projeté en UTM zone 31 Nord (ESPG:32631). Pour plus de simplicité, ce raster a été reprojeté en ESPG 4326 avec l'utilitaire gdaltransform. Ces deux sources ont ensuite été converties au format PostGIS en utilisant l'utilitaire raster2pgsql en ligne de commande, par exemple : C:\Program Files (x86)\postgresql\9.2 \bin>raster2pgsql s 4326 C I t 128x128 l8.tif > l8b5.sql Le fichier.sql produit est ensuite exécuté comme une requête dans PostgreSQL, soit en ligne de commande (psql.exe) soit avec PGAdminIII (plus long). Document sous licence CC-BY-SA 10
Exemples de requêtes spatiales raster Coordonnées d'un pixel de la première dalle de l'image Landsat : SELECT St_AsText(St_PixelAsPolygon(rast, 100,100)) FROM landsat_b8 limit 1; Valeur d'un pixel de l'image à une localisation précise : SELECT rid, ST_Value(rast, ST_SetSRID(ST_Point(0.4, 44), 4326)) FROM landsat_b8; è Le test est réalisé pour les 950 dalles (lignes) de la table. Pour limiter la requête à la seule dalle concernée par ce point : SELECT rid, ST_Value(rast, ST_SetSRID(ST_Point(0.4, 44), 4326)) FROM landsat_b8 WHERE ST_Intersects(rast, ST_SetSRID(ST_Point(0.4, 44), 4326)) Statistiques de la dalle n 252 du canal n 8 de l'image Landsat : SELECT rid, band, (stats).* FROM (SELECT rid, band, ST_SummaryStats(rast, band) AS stats FROM landsat_b8 CROSS JOIN generate_series(1,3) AS band WHERE rid=252) AS foo; Calcul d'un histogramme de fréquence des valeurs du canal n 1 l'image Landsat : SELECT band, (stats).* FROM (SELECT rid, band, ST_Histogram(rast, band) AS stats FROM landsat_b1 CROSS JOIN generate_series(1,3) AS band) AS foo; Calcul des coordonnées des dalles de l'image Landsat correspondant au département du Tarn : SELECT rid, ST_upperleftx(rast), ST_upperlefty(rast) FROM landsat_b1, (SELECT st_transform(geom, 4326) as geom FROM departement WHERE code_dept = '81') AS tarn WHERE ST_Intersects(tarn.geom, rast) Altitude d'un point selon ses coordonnées spatiales : SELECT rid, St_Value(strm.rast, pt) FROM srtm, St_SetSrid(St_MakePoint(1.2, 43.1), 4326) as pt WHERE St_intersects(srtm.rast, pt); Document sous licence CC-BY-SA 11
Altitude des stations de mesure dans l'emprise de la dalle SRTM : SELECT st.cdstationm, St_Value(srtm.rast, st.geom) FROM (SELECT cdstationm, St_Transform(geom, 4326) as geom FROM stations) AS st, srtm WHERE St_intersects(srtm.rast, st.geom); Altitude des stations hydrobiologiques de la Haute-Garonne : SELECT st.cdstationm, St_Value(srtm.rast, st.geom) FROM (SELECT cdstationm, St_Transform(geom, 4326) as geom FROM stations) AS st, srtm, (SELECT St_transform(geom, 4326) as geom FROM departement WHERE code_dept = '31') as hg WHERE St_intersects(st.geom, hg.geom) AND St_intersects(srtm.rast, st.geom); Document sous licence CC-BY-SA 12
ANNEXE : Installation de PostGreSQL + PostGIS sous Win32. Télécharger le paquet d installation sur http://www.enterprisedb.com/products/pgdownload.do Laisser les chemins d installation par défaut (programme et data) Document sous licence CC-BY-SA 13
Choisir un mot de passe pour le superuser postgres du cluster : postgres (installation locale de test, naturellement en production il faudra choisir un mot de passe plus sur). Laisser le port par défaut (5432) Document sous licence CC-BY-SA 14
Choisir le «locale» French/french Laisser l installeur lancer le «stack builder» à la fin de l installation Document sous licence CC-BY-SA 15
Dans StackBuilder, choisir le cluster PG local Dans la catégorie «Spatial Extensions», choisir PostGIS Document sous licence CC-BY-SA 16
Choisir un serveur FTP où télécharger l extension Dans l installation de PostGIS, laisser les choix par défaut (postgis et «create spatial database») Document sous licence CC-BY-SA 17
Laisser le chemin d installation par défaut (le chemin de PG). Fournir l identifiant et le mot de passe du superuser : postgres Document sous licence CC-BY-SA 18
Une base de données spatiale sera créée et nommée «postgis» par défaut Laisser l installateur insérer la commande shp2pgsql dans PGAdminIII Lancer ensuite PGAdminIII dans le même menu démarrer pour vérifier la connexion. Document sous licence CC-BY-SA 19
Document sous licence CC-BY-SA 20