Outils et langages de développement géo-informatique (GMT-4101) Cadres de développement logiciel en géomatique (GMT-7023)

Transcription

1 Outils et langages de développement géo-informatique (GMT-4101) Cadres de développement logiciel en géomatique (GMT-7023) Capsule 01 Rappels et compléments sur les systèmes de gestion de bases de données géospatiales (Partie 1) Thierry Badard & Frédéric Hubert Université Laval, Dép. des sciences géomatiques Québec, Canada {Thierry.Badard; Semaine 01

2 Notes préliminaires Ce cours s appuie pour une bonne partie sur du matériel produit par Mme Suzie Larrivée et le Dr. Yvan Bédard, respectivement professionnelle de recherche et professeur au Département des sciences géomatiques de l Université Laval, dans le cadre des cours : GMT Conception de bases de données spatiales et SCG Conception de bases de données SIG Cet emprunt a été réalisé dans le cadre de la révision des programmes aux 3 cycles entamée en 2006 au sein du Département et qui a entrainé le transfert de la partie SQL des cours cités précédemment vers celui-ci. Certains étudiants ayant suivi un de ces deux précédents cours trouveront en ce recouvrement partiel et temporaire une très bonne opportunité pour rafraîchir et parfaire leurs connaissances de ce langage de requête.

3 Contenu du cours. Introduction aux bases de données spatiales Rappels sur le langage SQL SQL Data Definition Language (DDL)

4 Introduction aux Bases de Données Spatiales

5 Définitions Données Donnée géométrique: "Donnée qui renseigne sur la position ou la forme d une entité géométrique". [OQLF, 2004] Donnée graphique: "Donnée qui porte sur la représentation visuelle d une entité géométrique". [OQLF, 2004] Donnée descriptive (à éviter: donnée alphanumérique, donnée non graphique) "Donnée relative à des attributs d une entité ou d une relation, à l exclusion de sa position et de sa forme." [OQLF, 2004] Données géospatiales : (autres noms: données à référence spatiale, données géographiques, données localisées, données géolocalisées) "Données portant sur les entités spatiales et leurs relations, dans une application géomatique. " [OQLF, 2005]

6 Définitions Phénomène Phénomène: "Réalité qui se manifeste à la conscience, que ce soit par l'intermédiaire des sens ou non. Note: Le phénomène constitue la réalité première. Il peut prendre la forme d'un objet (borne-fontaine), d'un événement (incendie), d'une personne (propriétaire) ou d'un concept (municipalité)." [OQLF, 2004] On décrit un phénomène à l'aide de ses propriétés (ou attributs) ainsi que par ses relations avec les autres phénomènes. Ils peuvent être localisés dans l'espace et le temps.

7 Définitions Base de données (1/2) Base de données (BD): "Ensemble structuré d'éléments d'information, généralement agencés sous forme de tables, dans lesquels les données sont organisées selon certains critères en vue de permettre leur exploitation. Note(s) : Une base de données doit être conçue pour permettre une modification aisée de son contenu. Elle peut être composée d'un seul fichier, lui-même contenant plusieurs tables (comme dans le logiciel Access de Microsoft). On confond parfois la base de données et la banque de données. Cette dernière est un ensemble d'éléments d'information relatifs à un domaine défini de connaissances et organisés pour être accessibles par plusieurs utilisateurs." [OQLF, 2005]

8 Définitions Base de données (2/2) Autre définition : "une base de données est un ensemble de données modélisant les objets d'une partie du monde réel et servant de support à une application informatique. Pour mériter le terme de base de données, un ensemble de données non indépendante doit être interrogeable par le contenu, c'est-àdire que l'on doit pouvoir retrouver tous les objets qui satisfont à un certain critère." [Gardarin, 2001]

9 Définitions Base de données spatiales Base de données spatiales : "Base de données portant principalement sur des objets ou phénomènes localisés sur le territoire, leur géométrie, leur description, leurs relations ainsi que les métadonnées associées." Autres noms : Base de données à référence spatiale, Base de données géographiques, Base de données localisées

10 Définitions Contraintes d'intégrités Contraintes d'intégrité: Règles permettant de s'assurer de la cohérence du contenu d'une base de données. Les contraintes sont intra-champ/ inter-champs, intra-objet/ inter-objets et intra-classe/inter-classes. Contraintes d'intégrité spatiale: Règles permettant de définir les relations spatiales (métriques et topologiques) entre deux objets d'une base de données spatiales afin de s'assurer qu'il n'y a pas d'incohérence entre eux, le tout en tenant compte de leur signification (leur sémantique).

11 Définitions Système de gestion de base de données Un système de gestion de base de données (SGBD) est : - "perçu comme un ensemble de logiciels systèmes permettant aux utilisateurs d'insérer, de modifier et de rechercher efficacement des données spécifiques dans une grande masse d'informations partagée par de multiples utilisateurs" [Gardarin, 2001] - "Système matériel et logiciel dont la fonction est d'assurer la gestion automatique d'une base de données et de permettre la création, la modification, l'utilisation et la protection des données. Notes: Le logiciel d'utilisation d'une base de données peut faire partie du système de gestion d'une base de données ou être un système indépendant. On rencontre parfois le terme base de données au sens de «système de gestion de base de données». " [OQLF, 2001]

12 Modélisation du Réel Réel Modèle conceptuel Indépendant du modèle de données Indépendant du SGBD Médecin effectue Visite Modèle logique Dépendant du modèle de données Indépendant du SGBD Codasyl Relationnel Objet XML Modèle Physique Dépendant du modèle de données Dépendant du SGBD Organisation physique des données Structures de stockage des données Structures accélératrices (index) (Source : Cours Introduction BD,

13 Base de données (BD) Classe d'objets (entité) Maison Vocabulaire Donnée (collectée ou obtenue par traitement) Objet (occurrence, instance) Fichier Attribut (propriété) Adresse: Valeur: 143 rue St-Jean Propriétaire Nom: Né.: Sexe.: Fichier Lien (avec fichier Terrain) Terrain Cadastre.: Sup..: Zone.: Fichier Nbre logements: Terrain: Possession Maison Adr.: Proprio Nom: Fichier de liens BD

14 Base de données relationnelle (BDR) Table (=classe d'objets) Maison Enregistrement ligne ou tuple (= objet) Adresse 143 St-Jean 145 St-Jean 147 St-Jean... Clé primaire(= identifiant unique) Vocabulaire Terrain No Cadastre Superficie Zonage Colonne ou Champ (= attribut) Valeur Nbre Logements No_Terrain $175,000 Champ commun (fait lien 1:N entre tables) Clé étrangère (= contrainte d intégrité s assurant que la valeur de «no terrain» saisie dans la table maison existe dans la table terrain.) Propriétaire Nom Date Naissance Sexe Propriétaire Posséder Maison Nom Proprio Adresse Maison Table de relation (fait lien N:N entre tables)

15 Base de données relationnelle Relation 1,1 1 Maison est située sur 1 seul terrain 1 terrain comprend 1 seule maison Terrain Maison No Cadastre Superficie Zonage Adresse Valeur Nbre Logements Fusion des deux tables Terrain - Maison No Cadastre Superficie Zonage Adresse Valeur Nbre Logements Clé primaire(= identifiant unique)

16 Base de données relationnelle Relation 1,N 1 Maison est située sur 1 seul terrain 1 terrain comprend 1 ou N maisons Terrain Maison No Cadastre Superficie Zonage Adresse Valeur Nbre Logements Migrer la clé primaire de la table Père dans la table Fils Maison Adresse Valeur Nbre Logements Terrain Terrain No Cadastre Superficie Zonage

17 Base de données relationnelle Relation N,N 1 Maison est située sur 1 ou N terrains 1 terrain comprend 1 ou N maisons Terrain Maison No Cadastre Superficie Zonage Adresse Valeur Nbre Logements Créer une table de relation comprenant la clé primaire des deux tables Situer sur Terrain Adresse Terrain No Cadastre Superficie Zonage Maison Adresse Valeur Nbre Logements

18 BDR Identifiant versus clé primaire Un identifiant est un champ ou un groupe de champs utilisé par l usager pour identifier chaque occurrence d un type d entité. On peut avoir aucun identifiant, un identifiant faible (plusieurs occurrences de l entité pourraient avoir la même valeur d identifiant, ex.: le nom des personnes) ou un identifiant fort (une seule occurrence de l entité par valeur d identifiant, ex. le numéro d assurance sociale des personnes). L identifiant est une notion de niveau conceptuel. Une clé primaire est une contrainte utilisée par un SGBDR (système de gestion de base de données relationnelles) afin d assurer l unicité des valeurs d un champ ou d un groupe de champs désignés pour identifier de façon unique chaque enregistrement d une table. Il est recommandé de créer une contrainte de clé primaire pour chaque table d une base de données relationnelles. La clé primaire peut être soit un identifiant fort, soit un identifiant faible combiné avec un autre champ (ex.: le numéro civique et la rue des maisons) pour que la combinaison soit forte et unique ou bien soit un numéro système (ex.:compteur) souvent utilisé à la place d un identifiant faible ou lorsque l usager décide de ne pas utiliser l identifiant comme clé. N.B.: Afin d accélérer les traitements et de faciliter les relations entre tables, on peut parfois utiliser un numéro système comme clé lorsque l identifiant est composé de 3 champs ou plus.

19 SGBD Raison d'être Gestion de fichiers simples: Programme d'application 1 Programme d'application 2 Programme d'application 3 SGBD: Fichier 1 Fichier 2 Fichier 3 Programme d'application 1 Programme d'application 2 Programme d'application 3 SGBD Base de données

20 SGBD Objectifs Indépendance Physique Standards Gestion de la confidentialité Concurrence d accès Gestion des pannes BD Gestion de la cohérence Indépendance Logique Langage de manipulation Gestion des vues Optimisation des questions (Source : Cours Introduction BD,

21 SGBD Quelques fonctionnalités Quelques fonctionnalités : Gérer le stockage, effectué dans des BD. Rendre les données persistantes. Contrôler la concurrence (conflits d'accès sur les données partagées). Protéger les données : contrôles de sécurité, reprises sur panne et mécanismes de spécification de contraintes d'intégrité. Proposer des interfaces utilisateurs pour la gestion du SGBD par les utilisateurs ou les administrateurs de bases de données. Proposer des données distribuées (accès à des données disposées dans plusieurs bases de données supportées par des systèmes différents et des modèles distincts). Ainsi, un SGBD est destiné à gérer un gros volume d'informations, persistantes (années) et fiables (protection sur panne), partageables entre plusieurs utilisateurs et/ou programmes et manipulées indépendamment de leur représentation physique.

22 SGBD Technologie Relationnelle ou Objet-Relationnelle [serveur universel] (98% du marché) Orientée-Objet pure (2% du marché) Réseau (ancienne technologie) Hiérarchique (ancienne technologie)

23 Principaux SGBD Les grands SGBD Oracle IBM DB2 Microsoft SQL Server Sybase SQL Server Ingres Informix Les open source MySQL PostgreSQL Les SGBD personnels Borland Paradox Filemaker Interbase Microsoft Access Microsoft FoxPro Les SGBD objets Objectivity Object Store Versant O2

24 SGBD et la composante spatiale Depuis quelques années, des SGBD proposent des modules ou extensions pour gérer la composante spatiale des données dans les bases de données (principalement relationnelles). "Simple Features Specification for SQL" est une norme de l'ogc (Open Geospatial Consortium), qui propose plusieurs concepts pour ajouter le support des données spatiales aux serveurs de base de données SQL Ainsi, les modules suivants se basent sur cette norme : Oracle Spatial pour Oracle : Conforme à la norme PostGIS pour PostgreSQL : Conforme à la norme MySQL Spatial pour MySQL MsSqlSpatial pour Microsoft SQL Server 2005 DB2 Spatial Extender pour DB2 d'ibm

25 Pourquoi un SGBD spatial? Autres mécanismes de stockage conventionnels : fichiers SIG (Shapefile, MapInfo) et formats XML (GML) Ce qu'apporte un SGBD spatial : centralisation et partage des données entre plusieurs utilisateurs, opérateurs spatiaux en langage SQL, exécutés à même le serveur de BD, indexation spatiale performante, contraintes d'intégrité, support des transactions, intégration avec d'autres contenus dans la BD, interopérabilité avec plusieurs logiciels SIG et serveurs de cartographie Web,... et de nombreux autres avantages.

26 Le langage SQL

27 Le langage SQL Le langage SQL (Structured Query Language) est un standard bien établi pour les SGBD relationnels. Différentes normes existent dont SQL2 (ou SQL92) et SQL3 (ou SQL99), la plus récente. Mais il subsiste des différences entre les implantations des normes dans les systèmes de gestion de bases de données. Ce langage inclut des opérations permettant: de définir les données (Data Definition Language) CREATE TABLE piste ( nombre number, degre number, km number); de manipuler les données (Data Manipulation Language) Insert, Delete, Update; d interroger les données (DML-Query Language) SELECT * FROM pistes WHERE km > 8;

28 SQL Concept de Schéma et Catalogue (1/2) Un schéma SQL est un regroupement de tables, vues, privilèges, etc. appartenant à la même application de base de données. CREATE SCHEMA [nom_schema] [ AUTHORIZATION utilisateur ] [DEFAULT CHARACTER SET jeu_de_caractères ] [liste_des_objets_du_schéma ] Dans Oracle, un schéma est créé automatiquement et porte le nom du compte usager. Dans PostgreSQL, un schéma est nommé une base de données (database). CREATE DATABASE nomdb [OWNER utilisateurpropriétaire]

29 SQL Concept de Schéma et Catalogue (2/2) Un catalogue SQL est une collection de schémas dans un environnement SQL et inclut un schéma spécial appelé information_schema contenant les informations sur les éléments inclus dans tous les schémas d un catalogue tels les tables, les vues, les contraintes d intégrité, les index, etc. Ce schéma existe dans le standard SQL et peut être interrogé à partir de la commande suivante: SELECT * FROM information_schema.tables. Il n existe pas dans Oracle, mais il peut être interrogé à partir de vues. Exemple: la commande SELECT * FROM cat permet d avoir la liste des tables, vues et séquences du schéma. (CAT ou USER_CATALOG) Dans PostgreSQL, on dispose d'environ 45 catalogues comme pg_class, pg_constraint, pg_database, pg_index, pg_tables, etc. ( Exemple: Pour obtenir le nom de toutes les tables incluses dans le schéma 'monschema' : SELECT tablename FROM pg_tables WHERE schemaname = 'monschema';

30 SQL Type de données : SGBD Oracle char(longueur) caractère: longueur fixe (max 2000 caractères). varchar2(longueur max) ou varchar (présentement synonyme) caractère: longueur variable (max 4000 caractères). number(c,d) où c est le nombre de chiffres et d le nombre de décimales. Ex: 456,45 = number(5,2) blob Binary large object: Permet de stocker des images, sons, etc. (max 4 Go). date du 1 janvier 4712 avant J-C au 31 décembre 4712 après J-C. Format par défaut: 12-SEP-97 long caractère: longueur variable (max 2 Go) (champ memo) raw(longueur) et long raw(longueur) Champ binaire utilisé pour stocker des graphiques, sons, documents, etc. (raw max= 255 byte, long raw max=2 Go) rowid Format utilisé pour stocker dans un champ la chaîne hexadécimale utilisée comme identifiant d enregistrement par Oracle. Ex: update test_rowid set champ_rowid=rowid;

31 SQL Type de données : PostgreSQL bigint int8 Entier signé sur 8 octets bit [ (n) ] Suite de bits de longueur fixe boolean bool Booléen (Vrai/Faux) bytea Donnée binaire («tableau d'octets») character varying [ (n) ] varchar [ (n) ] Suite de caractères de longueur variable character [ (n) ] char [ (n) ] Suite de caractères de longueur fixe date Date du calendrier (année, mois, jour) double precision float8 Nombre à virgule flottante de double précision integer int, int4 Entier signé sur 4 octets line Ligne infinie dans le plan lseg Segment de droite dans le plan money montant d'une devise numeric [ (p, s) ] decimal [ (p, s) ] Nombre exact de la précision indiquée path Chemin géométrique dans le plan point Point géométrique dans le plan polygon Chemin géométrique fermé dans le plan real float4 Nombre à virgule flottante de simple précision smallint int2 Entier signé sur 2 octets text Chaîne de caractères de longueur variable time [ (p) ] [ without time zone ] Heure du jour time [ (p) ] with time zone timetz Heure du jour, avec fuseau horaire timestamp [ (p) ] [ without time zone ] Date et heure

32 SQL Data Definition Language (DDL) Langage de définition de données pour SQL Gestion des tables, d'objets dans un SGBD Relationnel suivant des méthodes de : Création CREATE Modification ALTER Suppression DROP

33 SQL DDL Création de table Syntaxe pour la création de table : CREATE TABLE Nom_de_la_table (Nom_de_colonne1 Type_de_donnéeA, Nom_de_colonne2 Type_de_donnéeB,...); Exemple : Création de la table "client", qui possède des champs de type «caractères» : Prenom, Nom, Adresse, Ville, Pays et un champ Date_anniversaire de type «date». CREATE TABLE client ( Prenom char(50), Nom char(50), Adresse char(50), Ville char(50), Pays char(25), Date_anniversaire (date) ;

34 SQL DDL Contraintes d'intégrité Lors de la création et la modification de tables, on peut ajouter des contraintes aux champs de la table à définir ou modifier. On retrouve entre autres des contraintes qui permettent de: créer des clés primaires (PRIMARY KEY); créer des clés étrangères (FOREIGN KEY et REFERENCE); créer des conditions que chaque enregistrement doit satisfaire (CHECK); créer des contraintes d unicité (UNIQUE); rejeter des valeurs nulles (NOT NULL) ajouter une valeur par défaut (DEFAULT). La clause CONSTRAINT permet de nommer une contrainte

35 SQL DDL Contraintes : Exemples Exemple 1 : Utilisation des contraintes NOT NULL et PRIMARY KEY, avec nommage d'une contrainte avec CONSTRAINT : CREATE TABLE maison ( numero varchar2(6) NOT NULL, rue varchar2(20) NOT NULL, annee_construc date, CONSTRAINT pk_maison PRIMARY KEY(numero, rue) ); Exemple 2 : CREATE TABLE personne (nas char(11) NOT NULL CONSTRAINT pk_nas PRIMARY KEY, nom varchar2(15), prenom varchar2(15), sexe char(1), no_civiq varchar(6), nom_rue varchar(20), CONSTRAINT fk_maison FOREIGN KEY (no_civiq, nom_rue) REFERENCES maison(numero, rue), CONSTRAINT check_nom CHECK (nom=upper(nom)), CONSTRAINT check_fm CHECK (sexe IN ('F', 'M')) );

36 SQL DDL Contraintes : Visualisation La vérification et la visualisation des contraintes se réalisent de la manière suivante sous : - Oracle, en interrogeant la table user_constraints : SQL> SELECT constraint_name, search_condition FROM user_constraints WHERE table_name='personne'; CONSTRAINT_NAME SEARCH_CONDITION CHECK_FM sexe IN ('F', 'M') CHECK_NOM nom=upper(nom) FK_MAISON PK_NAS SYS_C NAS IS NOT NULL - PostgreSQL, avec l utilisation des catalogues suivants : pg_constraint : vérifications, clés primaires, clés uniques et étrangères des tables pg_attribute : NOT NULL

37 SQL DDL Création d'objets Possibilité de créer un nouveau type de données en tant qu'objet. CREATE TYPE adresse AS OBJECT ( No_civic varchar2(10), Nom_rue varchar2(50), Municipalite varchar2(50) ) Réutilisation du type de données (précédemment créé) lors de la création d'une table CREATE TABLE batiment ( numero NUMBER(5) PRIMARY KEY, adr_batiment ADRESSE, utilisation VARCHAR2(15) CHECK (utilisation IN ( résidentielle, 'commerciale, industrielle )) );

38 SQL DDL Modifier la structure d'une table (1/2) La clause ALTER TABLE permet de modifier la structure d une table déjà existante. Dans SQL, on peut ainsi effectuer différentes opérations de modifications : Ajouter une colonne : ADD "colonne 1" "type de données pour la colonne 1" Supprimer une colonne : DROP "colonne 1" Changer un nom de colonne : CHANGE "vieux nom de colonne" "nouveau nom de colonne" "type de données pour le nouveau nom de colonne" Changer le type de données d une colonne : MODIFY "colonne 1" "nouveau type de données"

39 SQL DDL Modifier la structure d'une table (2/2) Exemples Oracle: ALTER TABLE maison ADD(nb_etag number(2)); ALTER TABLE maison MODIFY(nb_etag number(3,1)); ALTER TABLE maison CHANGE(nb_etag nombre_etages number(2)); Exemples PostgreSQL: ALTER TABLE produits ADD COLUMN description text; ALTER TABLE produits ALTER COLUMN prix TYPE numeric(10,2); ALTER TABLE produits RENAME COLUMN no_produit TO numero_produit; ALTER TABLE produits DROP COLUMN description;

40 SQL DDL Suppression Suppression d'une table : Drop Table - DROP TABLE personne; Suppression d'un type de données : Drop Type - DROP TYPE adresse; Recyclebin (Oracle 10G) SQL> drop table personne purge; - Efface la table sans la rendre disponible dans la corbeille. SQL> purge recyclebin; - Efface le contenu de la corbeille. SQL> show recyclebin; - Affiche le contenu de la corbeille. SQL> flashback table personne to before drop; - Récupère la table Personne de la corbeille.

41 SQL DDL Affichage de la structure d'une table Pour Oracle : Desc nom_de_la _table SQL> desc maison; Name Null? Type NUMERO NOT NULL VARCHAR2(6) RUE NOT NULL VARCHAR2(20) ANNE_CONSTRUC DATE NB_ETAG NUMBER(3,1) Pour PostgreSQL (Non SQL): \d nom_de_la_table Liste de toutes les tables créées par l usager: Avec Oracle SELECT * FROM cat; SELECT * FROM cat WHERE table_type= TABLE ; Avec PostgreSQL SELECT * from pg_class;

42 Les vues Une vue est une "table virtuelle", c'est-à-dire dont les données ne sont pas stockées dans une table de la base de données, et dans laquelle il est possible de rassembler des informations provenant de plusieurs tables. Création d'une vue : CREATE VIEW CREATE VIEW Vue (colonnea,colonneb,colonnec,colonned) AS SELECT colonne1,colonne2,colonnei,colonneii FROM nom_table1 Alias1, Nom_tableII AliasII WHERE Alias1.colonne1 = AliasII.colonneI AND Alias1.colonne2 = AliasII.colonneII Suppression d'une vue : DROP VIEW DROP VIEW Vue;

43 Les index Un index contient une entrée pour chaque valeur du ou des champs sur lesquels l index s applique. Il permet un accès direct et rapide aux enregistrements. Lorsqu on créé une contrainte de clé primaire sur un champ, un index du même nom est automatiquement créé. Création d'un index : CREATE INDEX CREATE INDEX i_nom ON personne (nom); Suppression d'index : DROP INDEX DROP INDEX l_nom; Afficher des index Avec Oracle : SELECT * FROM user_indexes; Avec PostgreSQL : utilisation des catalogues pg_index et pg_class

44 Les séquences (1/2) C'est un objet de la base de données à partir duquel plusieurs utilisateurs peuvent générer un identifiant unique. On peut utiliser une séquence pour générer automatiquement des valeurs pour les clés primaires. Par défaut, le pas d'incrémentation est de 1. Exemple : CREATE SEQUENCE id_route; CREATE SEQUENCE id_route INCREMENT BY 10 START WITH 1000 la première valeur est 1000 et la seconde 1010.; Modification la définition d'une séquence : ALTER SEQUENCE ALTER SEQUENCE serial RESTART WITH 105; Suppression d'une séquence : DROP SEQUENCE DROP SEQUENCE serial;

45 Les séquences (2/2) Pour Oracle, la séquence s'utilise avec les commandes suivantes: CURRVAL: retourne la valeur courante de la séquence. NEXTVAL: incrémente la séquence et retourne une nouvelle valeur. Exemple d'ajout de données à une table avec INSERT: INSERT INTO emp VALUES (empseq.nextval, 'LEWIS', 'CLERK', 7902, SYSDATE, 1200, NULL, 20) Pour PostgreSQL, nextval(nom_séquence) est directement utilisé INSERT INTO distributors VALUES (nextval('serial'), 'nothing');

46 Conclusion/Synthèse Dans cette capsule, on a : Fait quelques rappels sur les bases de données et les systèmes de gestion de bases de données Réalisé une revue des commandes SQL DDL pour créer, modifier, supprimer des tables, des vues, des index et des séquences.