Conférence académique plénière, 22 octobre 2015 de 8h30 à 9h

Transcription

1 Conférence académique plénière, 22 octobre 2015 de 8h30 à 9h Prof. Omar El kharki & Jamila MECHBOUH Université Ibn Zohr, Agadir / Tél : Site web :

2 Plan Bases de Données Spatiales (BDS) et SGBD spatiaux Questions à laquelle une BDS peut donner une réponse Présentation de PostGIS Type de données et formats de stockage sous PostGIS Téléchargement, Installation et Interfaces d'utilisation BD Spatiales (BDS) sous PostGIS Démonstrations pratiques Les applications Métiers des BDS- PostGIS Les axes de recherche en BDS-PostGIS Prof Omar El kharki & Mme Jamila Mechbouh TAZA 2

3 Bases de données spatiales Introduction 80 % de l information à un caractère spatial Fichiers SIG BDG ou BDS Vecteurs : SHP (ESRI), MIF/ MID (MapInfo), OSM (Open Street Map), Raster : TIF, Geotiff, Img, Jpeg,. BD: ensemble structuré et organisé permettant le stockage de grandes quantité d information afin de faciliter leur exploitation BDG ou BDS : permet le stockage et la manipulation des objets spatiaux 3

4 Questions à laquelle une BD spatiale peut donner une réponse Quelles sont les habitations qui sont touchés par les inondations de Quelmim en décembre 2014? Quelles sont les douars de la commune Lamrasla qui ne sont pas raccordées au réseau d eau potable? Afficher dans une carte les villes du Maroc où le taux de chômage est supérieur à 15%. Quel est l'état des routes sur une commune? Quel est le chemin le plus rapide pour aller de la caserne des pompiers à l'incendie? Où implanter des antennes pour une meilleure couverture du réseau dans le cas de la téléphonie mobile? La société des autoroutes au Maroc voudrait prendre une décision pour construire trois axes autoroutiers. Pour cette raison il vous demande d afficher sur une carte les routes nationales où le trafic dépasse véhicules par Jour. 4

5 Bases de données spatiales SGBD Spatiaux Stokage Attributaires Géométrique Requêtes SQL attributaire spatiale Données volumineuses Prendre en charge Traitements longs et complexes Respect des standards existants (OGC SFSQL, ISO/MM) Ce qui est spécifié: Types de géométries supportés Prototypes des fonctions spatiales Table et traitements additionnels pour intégrité référentielle 5

6 Bases de données spatiales SGBD Spatiaux BDS ou BDG = ensemble de couches (set of layers) Table d une BDS = une couche (Layer) Ligne = Géométrie + attributs = Feature (un objet géographique ou spatiale) 6

7 Bases de données spatiales Exemples :SGBD Spatiaux 7

8 PostGIS est une extension du SGBD libre PostGreSQL qui permet de stocker des objets Géographique dans la base de données. PostGIS : PostGres SIG (Système d Information Géographique) 8

9 Open Source Écrit principalement en C Site Web officiel : Version actuelle (Mars. 2015) Société éditrice Canadienne : Refractions Research Contient une centaines de fonctions spatiales et plusieurs operateurs spatiaux Respect les normes OGC SFS et ISO SQL/MM. Utilisé dans de très nombreux projets Mise à jour régulière par une communauté de développeurs Capacités orientées «entreprises» car basé sur PostgreSQL Respect des standard SQL (respecte la norme SQL92) 9

10 Prix Fonctionnalités 10

11 SGBD : Comparaison 11

12 LAN Mapserver Internet ArcGIS QGIS GRASS PostGIS GeoServer MapGuide OpenIMF Web Client udig udig Libre Proprietaire 12

13 Plugin de PostgreSQL Couplé à Proj4 : pour la gestion de très nombreux systèmes de projections Couplé à GEOS ( JTS en C++) : pour la gestion d'opérateurs spatiaux Couplé à GDAL (Geospatial Data Abstraction Library): pour supporter de fonctionnalités raster GDAL 13

14 14

15 15

16 WKT (Well Known Text) : Représentation textuelle POINT (0 1) MULTIPOINT ( 0 1, 0 5, 1 7 ) LINESTRING ( 0 0, 1 1, 1 2) MULTILINESTRING ( (0 0, 1 1, 1 2), (3 4, 4 5, 5 5)) POLYGON ((1 1, 5 2, 7 8, 4 6, 4 5, 2 3, 1 1)) MULTIPOLYGON ( ((10 14,1 8, 1 13,10 14)), ( (12 9, 13 3, 5 5, 7 10, 12 9), (13 7, 12 8, 11 7, 13 7) )) GEOMETRYCOLLECTION ( MULTIPOINT(4 10, 12 9, 14 4), LINESTRING(8 2, 2 3, 4 7, 2 9), POLYGON ( (10 9, 11 3, 5 5, 6 10, 10 9), (9 7, 8 6, 7 7, 9 7) )) WKB (Well Known Binary) : Représentation binaire 16

17 Téléchargement de PostGIS Voir le fichier : installation.pdf qui existe dans le DVD 17

18 psql: interface pour créer, gérer et administrer la BDG en ligne de commande. 18

19 pgadmin: interface graphique permettant de créer, gérer et administrer la BDS en uilisant IHM 19

20 pgadmin (interface):clic droit sur Bases de données => Ajouter Nom: geodb Propriétaire: postgres Modèle: postgis En mode SQL: CREATE DATABASE geodb WITH template = template_postgis; 20

21 Le serveur est organisé en plusieurs bases de données Les schémas Les Tables Les Vues les Triggers les Contraintes les Index 21

22 Geometry_columns : catalogue des colonnes spatiales Spatial_ref_sys: catalogue des systèmes de projection SRID : Un identificateur de système de référence spatiale, SRID : une valeur unique utilisée pour identifier sans ambiguïté la projection SRID est la clé primaire de la table spatial_ref_sys, 22

23 Pour importer des données : Il faut d'abord créé la structure de la table dans PostGIS Ensuite copie les données depuis un CSV 1. Créer une table: Avec PgAdmin: En SQL: la création de table s'effectue via le menu contextuel / ajouter une table La définition des différents champs s'effectue dans l'onglet Colonne l onglet contraintes permet de créer une clé primaire CREATE TABLE personnes (code_per int NOT NULL, nom varchar(50), prenom varchar(50)); 23

24 2. Copier les données au format CSV (comma separated values) Syntaxe générale: COPY table FROM '/Users/macbook/file.csv' DELIMITERS ',' CSV HEADER; Exécuter la requête suivante : copy personnes(code_per,nom,prenom) FROM 'D:/Elkharki_mai_2015/Postgis_conf/pers.csv' DELIMITERS ';' CSV ; 24

25 1. Etablir une connexion à la BDS dans QGIS plugin SPIT de QGIS Dans la fenêtre SPIT, vous devez utiliser une connexion à une base de données puis, ensuite, définir les paramètres de l'import et les fichiers à intégrer. Paramétrage d'une connexion postgis Nom de la connexion : au choix Hôte (serveur) : localhost Port : 5432 par défaut Base de données : geodb Nom d'utilisateur : postgres (par défaut) Mot de passe : à renseigner selon le choix lors de l'installation de postgres 25

26 Se connecter à la base 2. Importer des shapefiles Ajouter un ou plusieurs Shapefiles Cliquer sur OK 26

27 shp2pgsl est un outil en ligne de commande permet d importer les Shapefiles vers une base de données postgis Syntaxe générale: shp2pgsql -I -s <SRID> <PATH/TO/SHAPEFILE> <SCHEMA>.<NewTABLE> psql -h myserver -d mydb -U myuser Exemple: shp2pgsql -I -s 2249 D:/data/nyc_streets.shp streets psql -U postgres -d usa 27

28 Dans pgadmin: 1. Ajouter les shapefile 2. Changer le SRID par celui des couches à importer 3. Importer 28

29 Quatre Shapefiles: Données sur la ville de New York (nyc) nyc_census_blocks : Recensement sur la ville de New York (nyc) name, popn_total, boroname, the_geom nyc_streets : Rues dans la New York name, type, the_geom nyc_subway_stations : Stations des métros dans la ville de New York name, the_geom nyc_neighborhoods : Quartiers de la New York (nyc) name, boroname, the_geom Remarque : Ce qui suit sera pratiqué devant l audience pour montrer la puissance de PostGIS / PostGreSQL pour la gestion des Bases de données Spatiales Prof Omar El kharki & Mme Jamila Mechbouh TAZA 29

30 Quelle est le nombre de la population de la ville de New York? SELECT Sum(popn_total) AS population FROM nyc_census_blocks; Quelle est la moyenne de personnes par appartement dans la ville de New York? SELECT Sum(popn_total)/Sum(hous_total) AS nb_pers_appart FROM nyc_census_blocks; 2.65 Pour chaque arrondissement, quel est le pourcentage de la population noire? SELECT boroname, 100 * Sum(popn_black)/Sum(popn_total) AS pop_noir FROM nyc_census_blocks GROUP BY boroname; 30

31 Quelle est la surface du quartier Soho? SELECT ST_Area(geom) FROM nyc_neighborhoods WHERE name = 'Soho'; m 2 Quel est la longueur totale des rues (en kilomètres) dans la ville de New York? SELECT Sum(ST_Length(geom)) / 1000 as long_rue FROM nyc_streets; km Quel est la longueur des rues de la ville de New York, suivant leur type? SELECT type, Sum(ST_Length(geom)) AS longueur FROM nyc_streets GROUP BY type ORDER BY longueur DESC; 31

32 L'accès à la géométrie des objets afficher la géométrie des trois premiers objets (rues) de la table "nyc_streets " select geom from nyc_streets limit 3; Résultat la géométrie des objets s affiche en binaire La fonction ST_asText() affiche la géométrie dans un format texte simple select ST_asText(geom) from nyc_streets limit 3; La fonction AsEwkt() retourne le même type d'affichage mais en respectant la norme de l'ogc Well Known Text (WKT) select st_asewkt(geom) from nyc_streets limit 3; 32

33 Fonctions d'information sur la géométrie La fonction ST_SRID permet de connaître l'identifiant du système de projection. select st_srid(geom) from nyc_streets limit 1; EPSG:26918: NAD83 / UTM zone 18N NAD : North American Datum ST_IsValid permet de savoir si la géométrie de l'objet est conforme OGC select st_isvalid(geom) from nyc_streets limit 1; GeometryType permet de connaître le type de géométrie de l'objet select geometrytype(geom) from nyc_streets limit 1; 33

34 La fonction st_buffer permet de créer une zone tampon. Créer une zone tampon de 2000 m autour du quartier "Central Park " SELECT ST_Buffer(geom, 2000) FROM nyc_neighborhoods WHERE name='central Park'; Pour visualiser le résultat d une requête SQL sous QGIS, II faut enregistrer la requête comme une vue (CREATE VUE) 34

35 La fonction ST_intersection réalise l'intersection des objets spatiaux Trouver les quartiers qui intersectent avec la zone tampon précédente CREATE table "inter_buf" AS SELECT gid, name,geom FROM nyc_neighborhoods WHERE ST_Intersects(geom,(SELECT ST_Buffer(geom, 2000) FROM nyc_neighborhoods WHERE name='central Park')); 35

36 Quels sont les quartiers qui sont dans la rue 'Nethermead Arches'? SELECT gid,name FROM nyc_neighborhoods WHERE ST_Intersects( geom,(select geom FROM nyc_streets WHERE name = 'Nethermead Arches') ); 36

37 Quelles sont les rues qui touchent la rue 'Nethermead Arches'? SELECT gid,geom,name FROM nyc_streets WHERE ST_Touches( geom,(select geom FROM nyc_streets WHERE name = 'Nethermead Arches') ); ST_Touches(geometry A, geometry B) : retourne TRUE si les géométries ont au moins un point en commun, mais leur intérieurs ne s intersectent pas. 37

38 Combien de personnes vivent dans une zone de 1 km de la rue 'Nethermead Arches? SELECT Sum(popn_total) FROM nyc_census_blocks WHERE ST_DWithin( geom,(select geom FROM nyc_streets WHERE name = 'Nethermead Arches'),1000 ); ST_DWithin est très utile pour répondre a une question telle que: Combien d arbres se situent dans un buffer de 500 mètres autour de cette route?. Vous n avez pas à calculer le buffer, vous avez simplement besoin de tester la distance entre les géométries. ST_DWithin(geometry A, geometry B, radius) retourne TRUE si les géométries sont distantes du rayon donné. 38

39 Construire les arrondissements de NYC a partir des quartiers select boroname,st_union(geom) as geom from nyc_neighborhoods where st_isvalid(geom) group by boroname ; ST_Union: unie des objets géographiques liés par un même attribut ST_Union: Renvoie un objet géométrique qui représente l ensemble d union des objets géométriques désignés 39

40 SELECT s.name, s.routes FROM nyc_subway_stations AS s JOIN nyc_neighborhoods AS n ON ST_Contains(n.geom, s.geom) WHERE n.name = 'Flushing'; Les jointures spatiales Les jointures spatiales vous permettent de combiner les informations de plusieurs tables en utilisant une relation spatiale Quelle station de métro se situe dans le quartier 'Flushing'? Et quelle est l itinéraire de métro à emprunter? 2 stations, la ligne 7 ST_Contains(geometry A, geometry B) retourne TRUE si la géométrie A contient la géométrie B 40

41 Les jointures spatiales Quels sont les quartiers desservis pas la ligne 7 du métro? SELECT DISTINCT n.name FROM nyc_subway_stations AS s JOIN nyc_neighborhoods AS n ON ST_Contains(n.geom, s.geom) WHERE strpos(s.routes,'7') > 0; 41

42 Comme index de table classique, mais sur base d informations spatiales Permet d améliorer les temps de réponses des requêtes spatiales Permet d'améliorer les performances d'une base de données L'indexation accélère les recherches en organisant les données dans des arbres de recherche qui peuvent être parcourus efficacement pour retrouver une entité particulière Création d'un index spatial: CREATE INDEX index_name ON table_name USING GIST(geom_column_name); Suppression d'un index spatial: DROP INDEX index_name 42

43 Améliore le temps de réponses des requêtes spatiales Quels sont les quartiers desservis pas la ligne 7 du métro? Sans index temps=20ms Avec index temps=10ms Plus la table est grande, plus le temps d'exécution d'une requête utilisant les index diminue par rapport à la même requête exécutée sur une table sans index spatial. 43

44 Principe L'indexation spatiale sous PostGIS utilise l'index GiST (Generalized Search Tree). Approxime les géométries par des boxes: Bbox 44

45 Principe PotGIS et Oracle Spatial partage la même notion d index structuré sous la forme d arbres R (R-Tree) R-Tree classent les objets géographiques sous forme de rectangles, de sousrectangles etc. Cette structure d index gère automatiquement la densité et la taille des objets. 45

46 PostGIS : Exporter vers SQL 46

47 KML: Keyhole Markup Language, le format KML utilisé par Google Earth. 1. Création du fichier KML ogr2ogr -f "KML" neighborhoods.kml PG:"host=localhost user=postgres dbname=geodb password=******" -sql "select gid, name, geom from nyc_neighborhoods limit 3" 2. afficher le fichier KML dans google maps ou google earth 47

48 PostGIS : Exporter ver GeoJSON GeoJSON is a format for encoding a variety of geographic data structures. ogr2ogr -f GeoJSON neighborhoods.json PG:"host=localhost user=postgres dbname=geodb password=khadija" -sql "select gid, name, geom from nyc_neighborhoods limit 3" 48

49 PostGIS & MapServer : Publication de l information géographique en ligne (WebMapping) MapSever /Geoserver

50 Les applications Métiers des BDG- PostGIS Contrôle et gestion de flotte - Connaître à tout moment la position d un ou plusieurs véhicules et l historique de leur itinéraire. - Combinaison de la technologie GPS et des communications mobiles (GSM par exemple). 51

51 Les applications Métiers des BDG-PostGIS Calcul d'itinéraires : pgrouting 52

52 Les applications Métiers des BDG-PostGIS Menu d activation de légende et tache Vue globale sur les fuite 53

53 Les applications Métiers de PostGIS BDG-PostGIS pour le suivi de la pandemie du VIH/sida dans les villes de brazzaville et pointe noire. 54

54 BDG-PostGIS : Recherche scientifique Sujets pour les étudiants en Master Etude et implémentation des nouveaux algorithme de l indexation de l information dans les BDG PostGIS. Conception d un WebSIG électoral pour le Maroc en utilisant Mapserver, PostGIS et Openlayers. Mise en place d une Base de Données Géographique et d une interface WebSIG pour la gestion et localisation des fuites dans le réseau d eau potable de la ville de Ben-Mellal. Intégration des WebSIG dans le suivi de la Pandémie du VIH/SIDA dans les villes d Agadir et Casablanca. Développement d une Base de données Géographique et d une interface WebMapping pour la Gestion des Infrastructures et équipements universitaires de l université Ibn Zohr, Maroc. Système d Information Géographique et Gestion des Incidents dans le réseau de distribution de l électricité de la ville de beni-mellal. Développement d une base de données géographique pour la gestion des infrastructures et équipements dans les universités marocaines. Développement d une base de données géographique pour la gestion des infrastructures et équipements dans les hôpitaux publiques au niveau du Maroc.

55 BDG-PostGIS : Recherche scientifique Sujets pour les étudiants en Master Conception et modélisation d'un WebSIG et d'une application Android pour le suivi des décès maternels et néonatals au Cameroun Conception, modélisation et mise en place d une base de données géographique et d'une interface WebSIG pour la gestion des données cadastrales : Cas du département du Mbam-et-Inoubou au Cameroun

56 PostGIS BDG : Recherche scientifique Sujets pour Doctorat Etude et implémentation des nouveaux algorithme de l indexation de l information géospatiale dans les BDG PostGIS Conception, modélisation et mise en place d'une base de données spatiale et d une interface WebMapping pour le suivi des maladies en zone CEMAC Afrique, etc.

57 Open Source : Réduire le budget alloué à l'achat des logiciels Bases de données géographique PostGIS ont les capacités pour gérer les problèmes du monde réel et sont largement utilisés. PostGIS permet de stocker et administrer de manière sécurisée les données à référence spatiale PostGIS permet d effectuer des opérations spatiales (calcul de longueurs, de surfaces, unions et intersections de géométrie, etc...) grâce à ses fonctions spatiales avancées PostGIS permet des connexions simultanées sur les données géographiques. BDG-PostGIS peuvent être visualisées grâce à un logiciel SIG comme QGIS, ArcGIS, UDIG, Les données de la BDG-PostGIS peuvent être publiées en ligne grâce à des serveurs cartographiques comme MapServer ou GeoServer. 58

58 PostGIS : Bibliographie PostGIS in Action, May 3, 2015 by Regina O. Obe and Leo S. Hsu 59

59 PostGIS : Bibliographie Bases de Données Géographiques Pratique sous PostGreSQL PostGIS Auteurs : Omar El kharki & Jamila Mechbouh Janvier

60 BDS (BDG) : Bibliographie Spatial Databases: With Application to GIS Rigaux, Scholl, Voisard 61

61 PostGIS : Annexe 01 Fonctions Spatiales 62

62 Fichier pg_hba.conf Description Permet la gestion des droits d'accès au serveur de base de données Fichier de configuration pour l'authentification basée sur l'hôte pg_ident.conf Postgresql.conf Postmaster.pid permet d'établir une relation avec l'identifiant utilisateur de base de données et celui défini sur le système Fichier de configuration pour l'authentification par ident contient l'ensemble de la configuration du serveur Ce fichier indique si la base est en cours de fonctionnement 63

63 PostGIS : Annexe 02 Deux Fichiers de configuration 64

64 PostGIS : Annexe 02 Deux Fichiers de configuration 65

65 PostGIS : Annexe 03 Récupérer le SRID à partir de *.PRJ 66

66 67 67

67 Nous sommes penchés depuis 2005 sur la rédaction de 15 ouvrages en géomatique : 1. Bases de Donnéees Geographique 2. Serveurs Cartographiques 3. Traitement des images de Télédetection Optiques 4. Algorithmes de classifications des Images satellites 5. Télédetection Radar 6. BD Web et programmation Web 7. Géodesie et GNSS 8. Traitement d Images Satellites sous ENVI 9. Cartographie et SIG sous QGIS et ArcGIS

68 DVD de cette présentation Le DVD de cette conférence académique plénière contient : 1. La version électronique de cette conférence ; 2. Copie des logiciels PostGreSQL et PostGIS ; 3. Logiciel QGIS ; 4. Des données géospatiales (Shapefiles, BDG, Cartes, ) pour manipuler PostGIS et les bases de données géographiques ; 5. Des documents sur PostGIS ; 69