Python: Manipulation d Informations 02/05/2013

Transcription

1 Python: Manipulation d Informations 02/05/2013

2 Sommaire 1. Introduction 2. Bases de données 3. Systèmes de gestion de bases de données 4. Grammaire SQL 5. Python et les bases de données : le module «SQLite» 6. Stockage d'objets : le module «Pickle» 7. Copie d'informations : le module «copy» 02/05/2013 Manipulation d'informations 2

3 1. Introduction Calculs importants: Grande masse de données (Google : 24 Po/j en 2009) Stockage dans une mémoire secondaire (disque, réseau, cloud) Lecture/manipulation facile d informations Longévité des données (plusieurs dizaines d'années) => Bases de données 02/05/2013 Manipulation d'informations 3

4 2. Bases de Données Ensemble de données informatisées Multiple utilisateurs Organisée selon un modèle de données Stockées dans une mémoire SGBD : Logiciel de gestion de BD (mémorisation/manipulation) 02/05/2013 Manipulation d'informations 4

5 3. Système de Gestion de Bases de Données SGBD : Créer, manipuler, interroger une BD Fonctionnalités : Partage des données (accès concurrent) Manipulation des données Contrôle de la redondance Optimisation des accès aux données (requêtes SQL) Confidentialité des données (droits & modes d accès) Intégrité des données (cohérence) 02/05/2013 Manipulation d'informations 5

6 Les SGBD relationnels SGBD relationnels : fondés sur le modèle relationnel Modèle relationnel : décrit une BD relationnelle (BDR) BDR : ensemble de relations (tables) Relation : ensemble d attributs (colonnes) Ligne : enregistrement (occurrence) de données Une relation est identifiée par une clé primaire Basé sur l algèbre relationnelle 02/05/2013 Manipulation d'informations 6

7 Clé primaire Clé étrangère (contraintes d intégrité référentielle) Clé primaire : identifie de façon unique chaque occurrence = attribut (ou ensemble d attributs) dont deux occurrences différentes ne prennent pas la même valeur Clé étrangère : attribut d une table permettant de la relier à une autre table via sa clé primaire => Utiliser une clé primaire d une table A dans une table B Employé(NumEmp, NomEmp, AdrEmp, NumSer) Service(NumSer, LibelléSer, LocalisationSer) 02/05/2013 Manipulation d'informations 7

8 Schéma d une Relation (table) PRODUIT(NUMERO PRODUIT, NOM PRODUIT, QUANTITE STOCKEE) Nom relation Attribut clé (souligné) Attributs non clé 02/05/2013 Manipulation d'informations 8

9 Opérateurs Relationnels L algèbre relationnel : 2 types d opérateurs les opérateurs unaires qui portent sur UNE relation binaires DEUX relations Les opérateurs binaires (sur deux tables) Les opérateurs unaires (sur une table) Sélection Projection Complément Union Intersection Différence Division Produits 02/05/2013 Manipulation d'informations 9

10 Opérateurs Relationnels Unaires Sélection (Select (R,E) ou σ(e)r) = supprimer des occurrences de la relation R qui ne satisfont pas l'expression de la sélection E Projection (Proj Y(R) ou πy(r)) = supprimer le sous-ensemble Y d'attributs d une relation 1/ Sélection des commandes passées après octobre 2/ Projection sur la colonne Date 02/05/2013 Manipulation d'informations 10

11 Opérateurs Relationnels Binaires Union = la fusion de 2 relations ayant les mêmes attributs Intersection = fournit les occurrences présentent dans les 2 relations ayant les mêmes attributs 02/05/2013 Manipulation d'informations 11

12 Langage de Requêtes SQL Langage standard pour les SGBD relationnels Un langage structuré de requêtes : définition, interrogation, manipulation de données Langage de définition de données LDD: création, modification ou suppression des objets (requêtes CREATE, ALTER, DROP) Langage de manipulation de données LMD: extraction, ajout, mise à jour, suppression d enregistrements (requêtes SELECT, INSERT, UPDATE, DELETE) 02/05/2013 Manipulation d'informations 12

13 SQL: Définition de Données Création d une table : CREATE TABLE nom(<col> <type>, <col> <type>primary KEY (<col>)); Modification de la table : ALTER TABLE nom [alter spécifications] - Ajouter une colonne : ADD <colonne> <type> ; La supprimer : DROP <colonne> ; La renommer : CHANGE <ancien_nom> <nouveau> <type> ; Changer son type de données : MODIFY <colonne>< nouveau_type>; Suppression d une table : DROP TABLE nom de table ; 02/05/2013 Manipulation d'informations 13

14 SQL: Manipulation de Données Sélection & projection : SELECT nom colonne FROM table Projection [WHERE condition]; Sélection Insertion d enregistrements : INSERT INTO table(col1, col2) VALUES (valeur1, valeur1) ; Suppression d enregistrements : DELETE FROM table WHERE condition; Mise à jour de la table : UPDATE table SET colonne = valeur WHERE condition ; 02/05/2013 Manipulation d'informations 14

15 SQL: conditions et fonctions arithmétiques Condition : <opérande><opérateur><opérande> Opérandes : colonne, valeur (num, alphanum, date), expression (arithmétique (+ - * /) ou fonctions numériques de comparaison spécifiques Opérateurs + - * /!=, >, >=, <, <= IN,NOT IN IS [NOT] NULL BETWEEN, LIKE (%) SUM(n): somme des valeurs de n AVG(n) : moyenne des valeurs de n (hors valeurs nulles) COUNT(*) : nombre d enregistrements renvoyés par la requête MAX(n) (MIN(n)): valeur maximum (ou minimum) de n 02/05/2013 Manipulation d'informations 15

16 Jointure Naturelle Les informations dont nous avons besoin se trouvent dans plusieurs tables? La jointure naturelle : met en relation deux (ou plus) tables => combiner les colonnes de plusieurs tables SELECT * FROM table1, table2 WHERE table1.colonne = table2.colonne; Employé(NumEmp, NomEmp, AdrEmp, NumSer) Service(NumSer, LibelléSer, LocalisationSer) 02/05/2013 Manipulation d'informations 16

17 Exemple de SGBD Relationnel: SQLite Bibliothèque logicielle implémentant un moteur de BDR accessible par SQL SQLite stocke les données dans des fichiers Les types supportés : Types SQLite NULL INTEGER REAL TEXT BLOB Types Python None int, long float str, unicode buffer 02/05/2013 Manipulation d'informations 17

18 Exercice: 4-SQLite_exo1.txt 02/05/2013 Manipulation d'informations 18

19 Exercice: 4-SQLite_exo1.txt 1. Lancer sqlite3 Precompiled Binaires > command-line shell $ sqlite3 SQLite version :52:41 2. Afficher le nom des tables présentes dans physics.db 3. Créer la table «Etudiant» ayant pour attributs : NumEtu, NomEtu, AdrEtu 4. Insérer des enregistrements 5. Afficher le contenu de la table 6. Interroger la base de données 7. Supprimer la table 02/05/2013 Manipulation d'informations 19

20 Python et Bases de Données: Architecture Créer, manipuler, interroger une BD à l'aide d'un programme écrit en python Exemple : Effectuer des calculs automatiques importants sur les données d'une BD et stocker les résultats dans la même BD Programme Python API / Driver SQL SGBD Base de Données 02/05/2013 Manipulation d'informations 20

21 SQLite et Python 1) Importer le module & se connecter à la BD import sqlite3 conn=sqlite3.connect('example.db') 2) Créer un curseur afin d'exécuter des requêtes SQL c = conn.cursor() 3) Passer en argument les requêtes à la méthode execute de l'objet cursor c.execute("requête SQL") c.executemany("requête SQL") 02/05/2013 Manipulation d'informations 21

22 Exercice: 5/SQLite_Python.py 02/05/2013 Manipulation d'informations 22

23 SQLite et Python 4) Afficher le résultats d'une requête SQL Fetchone() : résultat récupéré en une ligne unique (tuple) Fetchmany(n) : récupère les n prochains résultats (liste) Fetchall() : récupère toutes les lignes de résultat de la requete (liste) 5) Validation de modifications conn.commit() 6) Annulation des dernières modifications conn.rollback() 7) Fermer la connexion conn.close() 02/05/2013 Manipulation d'informations 23

24 Exercice: 5/SQLite_Python.py 02/05/2013 Manipulation d'informations 24

25 2. Objets Persistents Objets conservés entre deux exécutions Etape A Etape B stockage consultation Pickle 02/05/2013 Manipulation d'informations 26

26 Pickle objet live Sérialisation pickling (dump) Dé-sérialisation unpickling (load) pickle.dump(obj,file).load(file) flux de bytes (e.g., stocké dans un fichier) 02/05/2013 Manipulation d'informations 27

27 Pickle: Problèmes courants Dé-synchronisation: Attributs supplémentaires utilisés dans une méthode, mais non présents dans l objet sauvegardé! Limite de récursion: RuntimeError: maximum recursion depth exceeded Augmenter dynamiquement la profondeur maximale sys.setrecursionlimit() 02/05/2013 Manipulation d'informations 28

28 Exercice: Pickle 1. pickle_ex.py 02/05/2013 Manipulation d'informations 29

29 3. Copy vs Deepcopy copy. x: objet.copy(x) shallow copy p copie x et insère des références aux originaux, si possible.deepcopy( x) deep copy copie récursive de tous les sous-objets 02/05/2013 Manipulation d'informations 30

30 Deepcopy: problèmes potentiels? Self-Références (in)directes: Boucle récursives Duplication de structures qui devraient être partagées: État non cohérent Problèmes évités par: - mémo d objets déjà copiés - développeur peut définir ses propres fonction x. copy (self) et x. deepcopy (self) 02/05/2013 Manipulation d'informations 31

31 Exercice: DeepCopy 1. copy_vs_deepcopy.py 2. Supplémentaire : deepcopy_advanced.py 02/05/2013 Manipulation d'informations 32

32 8.Exercices supplémentaires 02/05/2013 Manipulation d'informations 34