algèbre requêtes relationnelles équivalentes méthodes de calculs équivalentes limites par les ressources : mémoire, disques, cpu...

Dimension: px
Commencer à balayer dès la page:

Download "algèbre requêtes relationnelles équivalentes méthodes de calculs équivalentes limites par les ressources : mémoire, disques, cpu..."

Transcription

1 Optimisation : un problème global MINES ParisTech interface client (GUI, web, mobile,... ) application (charge, requêtes, pooling, latence vs débit) caches applicatifs, pooling... base de données réseau reliant les éléments système d exploitation matériel (vitesses disques, bus, processeurs, mémoire disponible... ) Composé avec LAT E X, révision Optimisation des requêtes : motivation relationnel modèle élégant... mais efficace? 15 ans de R&D pour bonnes implémentations! requêtes avec des besoins différents transactionnel accès à quelques tuples seulement accès rapide : utilisation d index, cache mémoire décisionnel calcul systématique de statistiques toutes les données parcourues! recherche du meilleur plan de calcul... pas/peu d utilisation d index méthodes en mémoire vs accès disque Optimisation des requêtes : comment? algèbre requêtes relationnelles équivalentes jointures associatives, restriction éventuellement distributive... méthodes de calculs équivalentes e.g. parcours séquentiel filtré vs accès indexé limites par les ressources : mémoire, disques, cpu... choix? fonction de coûts approximative répétition? requêtes préparées, un seul plan! Objectif : meilleur... ou au moins éviter le pire! IIWDFI! IIABDFI! Mais TESTER! Cinq conseils préalables implique d avoir des données... volumétrie et charge procédures sauvegarde et rechargement plan de continuité d activité (PCA) mesures temporaires plan de reprise d activité (PRA) retour au fonctionnement nominal Connaître ses données et sa charge taille gros ou petit (vs mémoire disponible) usage principal : transactionnel vs décisionnel accès lectures (SELECT) vs écritures (INSERT, UPDATE, DELETE) modèle grosses tables et jointures? vs petites tables périphériques requêtes nombre, variabilité, criticité, distribution? besoin latence (interactif) ou débit (batch)? charge dans le temps : min (0?), max, périodes critiques? limite de performance : I/O? CPU? connexions (pool)? stats cache hits? qu espère-t-on? est-ce réaliste? 3. Configurations logicielles et matérielles PosgreSQL voir outil pgtune mémoire : postgresql.conf, en particulier : shared buffers = 128MB effective cache size = 4GB VACUUM FULL ANALYSE : récupère espace disque, stats normallement opération continue en tâche de fond Système et matériel machine : virtuelle/réelle? partagée/dédiée? plusieurs? CPU? mémoire (cache OS) : disponible? extension? stockage : type HDD/SSD? lents/rapides? nombre? write cache? RAID? 7 8

2 4. Analyse des requêtes lentes identifier : lesquelles? fréquence? criticité? extension pg stat statements CPU : requêtes préparées? usage des index? du cache mémoire? complexité du modèle de données? configuration logicielle et matérielle? 5. Sinon : autres solutions possibles réplication hot standby et pooling? distributions (applicative?) sur des bases indépendantes? sharding e.g. déclarations d impôts par régions... caches mémoire distribué? solutions NoSQL? uniquement si nécessaire : modèle dénormalisé/dynamique utilisation plus lourde, programmation vs algèbre pas nécessairement plus rapide, selon usage 9 10 Opérations élémentaires d une requête parcours+filtrage d une relation WHERE... recherche des tuples satisfaisant une condition tri d une relation ORDER BY... Comment ça marche? fixe l ordre des tuples jointure+condition de deux relations JOIN ON... mise en correspondance de tuples selon une condition aggrégation d une relation GROUP BY, DISTINCT, UNION... etc. regroupement des éléments selon un critère Plan de calcul d une requête choix d arbres d évaluation d une requête requêtes algébriquement équivalentes différentes opérations élémentaires (selon les index) évaluation du coût d un plan EXPLAIN... statisques sur les valeurs et tailles des données ANALYZE... comparaison avec exécution effective EXPLAIN ANALYZE... choix du meilleur : problème d optimisation difficile combinatoire ordre des jointures? placement des filtres? coûts non précisément connus... éviter le pire heuristiques, techniques IA... Coût des opérations élémentaires taille des données : nombre de tuples, d attributs, leurs tailles valeur des données! sélectivité d une conditions (proba. d être vrai) implique souvent la taille des résultats! WHERE id = 110; -- clef primaire (0-1) WHERE id > 0; % WHERE promo = 110; -- fraction des élèves... WHERE age <> 110; % WHERE année = 110; -- 0% ressources disponibles : mémoire, charge machine... statisques min/max, moyenne, distribution avec ANALYZE Stockage des données : la hiérarchie mémoire un processeur passe son temps à attendre les données! Type Taille Latence Débit max R registre n Ko 1 ns 50 GB/s cache 256 Ko-4 Mo 10 ns 16 GB/s RAM 512 Mo-16 Go 100 ns 6 GB/s SSD Go 100 µs MB/s HDD Go-2 To 10 ms MB/s **D RAID MB/s réseau 150 µs 100 MB/s IBM 350 Disk File 1956 HDD du 305 RAMAC ram account. syst. 24 disques capacité 4.4 MB! 5 M 7bit chars location $35,000 par an Latence : HDD/RAM = 100, 000 SSD/RAM = 1,

3 Technologie des disques magnétiques plateaux, faces, cylindres, secteurs, blocs... Mesure de coûts : I/O! unité d accès page PostgreSQL : 8 KB (Linux ext4 : 4 KB) accès séquentiel HDD/SSD typiquement X00 MB/s variation : bus IDE/SCSI, vitesse rotation, RAID, charge... accès aléatoire HDD typiquement 1 à 10 MB/s latence disque : déplacement du bras (3-15 ms) et rotations pérenne par rapport à la mémoire vive (panne courant) un ordre de grandeur du séquentiel attention aux options FS, HDD et montage BBU ou désactiver write cache (RAID et **D) ou disque particuliers entrées-sorties limitent les performances I/O bound si la base est petite, elle tient en mémoire! cache disque DB et système accès aléatoire SSD MB/s similaire à séquentiel si assez de requêtes calculs et accès mémoire simplement négligés! très rapide par rapport aux accès disques IOPS Évolutions des Solid-State Drive : SSD Paramètres de modélisation I/O HDD mémoire flash permanente (appareils photos, MP3) cache de disques magnétiques? disques complets? performances des SSD : R/W, débit/latence, aléa/séq lecture écriture ( MB/s) HDD aléatoire séquentiel HDD usure : si plein écriture aléatoire lente, nombre limité! cycle W page (4 KB) vs Erase block (512 KB) impact coûts 20, capacité 1 4 performances & optimisations? vitesse par tablespace... B taille d un bloc de la base en octet (vs bloc FS) k lecture séquentielle d un bloc en seconde K k lecture aléatoire d un bloc en seconde n R nombre de tuples d une relation R t R taille en octets d un tuple de R S R = n R t R taille de la relation s a taille en octet d un attribut particulier g probabilité de regroupement (coefficient d aggrégation) j probabilité de jointure selon une condition... M mémoire disponible (cache, données temporaires) sequential scan Parcours+Filtrage : parcours séquentiel lecture d une relation sur disque filtrage des tuples au cours du parcours SELECT * FROM oeuvres WHERE titre LIKE A% ; seq scan on oeuvres filter: titre LIKE A% k tn B index scan Parcours+Filtrage : parcours indexé K + K ln(ns/b) accès direct à quelques tuples... mais coût de l utilisation de l index! SELECT * FROM oeuvres WHERE id BETWEEN 12 AND 14 AND titre LIKE A% ; index scan using oeuvres_pkey on oeuvres index cond: id>=12 AND id<=14 filter: titre LIKE A% index scan using oeuvres_titre_idx on oeuvres index cond: titre LIKE A% filter: id>=12 AND id<= Parcours+Filtrage(S) : index bitmap bitmap index scan création de bitmaps combinables à partir d index 1 page = 1 bit, puis accès aux pages SELECT * FROM oeuvres WHERE oid < 100 AND cid < 10; bitmap heap scan on oeuvres bitmap and bitmap index scan on oeuvres_pk index cond: oid < 100 bitmap index scan on oeuvre_cid index cond: cid < 10 BM1 BM2 AND Indexation des attributs d une relation principes simples, détails compliqués et subtils... retrouver des tuples rapidement selon le critère indexé Hash sur disque partitionnement des données avec fonction de hashage permet uniquement des recherches = et <> B-tree (Balanced tree) relation d ordre! variantes : denses? partiels? unique? multi-niveau? équilibre? égalités = <>, intervalles < <= > >=, extrêmes MIN MAX R-tree (Region tree) données géométriques (géographiques?) GiST Generalized Search Tree texte, lossy GIN Generalized Inverted Index texte 23 24

4 B-tree arbre n-aire, séparation sur valeurs limites (<) feuilles référencent les tuples ou les pages contenant les tuples Création d un index unique (pour une clef) ou non précise la méthode d indexation attributs/expressions indexés ensembles (ordre lexicographique) options diverses (NULLS,... ) création automatique : UNIQUE, e.g. clefs primiaires CREATE [ UNIQUE ] INDEX idxname ON tablename USING [ hash btree rtree gist ] ( { column (expr) }[,...] ) [ WHERE predicat ]; Dessin : Br. David Carlson and Br. Isidore Minerd, Saint Vincent College Importance des index utilisation éventuelle par les requêtes! SELECT vérification des contraintes INSERT UPDATE DELETE existance de clefs étrangères, unicité d une clef... forcer l ordre de stockage CLUSTER... parcours séquentiel dans l ordre d un index particulier Index sur un attribut SELECT * FROM oeuvre WHERE titre = Triple Jeu ; Coût des index CREATE INDEX oeuvre titre ON oeuvre(titre); espace disque utilisé maintenance à chaque opération INSERT UPDATE DELETE Index avec prédicats indexation partielle : taille et coût réduits Index fonctionnels restreint à une recherche avec ce prédicat indexation de calculs sur les attributs utile pour contraintes partielles... restreint à une recherche avec cette fonction immutable si telle condition, tel attribut est unique... SELECT * FROM answer WHERE idusr=12 AND islast; SELECT titre FROM oeuvre WHERE UPPER(titre)= SLALOMS ; CREATE INDEX active user answer ON answer (idusr) WHERE islast; CREATE INDEX titre upper ON oeuvre USING BTREE ((UPPER(titre))); indexation de champs texte par défaut octets (plus rapide) Index texte mais ordre incompatible avec les caractères préciser une option, éventuellement la langue COLLATE indexation basée sur les caractères SELECT * FROM auteur WHERE nom LIKE Début% ; CREATE INDEX auteur nom fr ON auteur(nom text pattern ops); CREATE INDEX auteur nom fr ON auteur(nom COLLATE "fr FR" text pattern ops); Tri d une relation tri fusion merge sort de bloc triés espace mémoire et disque utilisable? meilleures techniques avec parcours séquentiels... nombreuses variantes... kxn ln(n) demandée par l utilisateur, ou techniques de calcul ORDER BY évidemment! GROUP BY et regroupement des données contiguës DISTINCT similaire au précédent JOIN ON jointure par fusion 31 32

5 Jointures de relations relation (= ou autre... ) entre attribut(s), clefs ou non... tables jointes de cardinalité n R et n P, résultat jn R n P évaluation de j selon les données? vnom dpt dpt dnom Avon Bouches du Rhône Briare Indre Cahors Loiret Figeac Lot Fontainebleau Paris Gien Savoie Héricy Seine et Marne Marseille 13 Jointure par fusion triée tri des relations selon le critère de jointure! puis parcours parallèle et fusion au vol des relations k B (t R(Xn R ln(n R ) + n R ) + t P (Y n P ln(n P ) + n P ) + t RP jn R n P ) écriture ou exploitation au vol du résultat? vnom dpt Marseille 13 Briare 45 Orléans 45 Gien 45 Cahors 46 Figeac 46 Paris 75 Vulaines 77 dpt dnom 13 Bouches du Rhône 36 Indre 45 Loiret 46 Lot 73 Savoie 75 Paris 77 Seine et Marne Jointure par hash relation mise en mémoire, indexée par critère de jointure puis parcours séquentiel de l autre relation k B (t Rn R + t P n P + t RP jn R n P ) la mémoire doit être suffisante... risque de swap? Agrégations regroupements si attributs égaux : GROUP BY, DISTINCT évaluation du taux de regroupement g? Département Ville Seine et Marne Avon Loiret Briare Autres techniques de calculs de jointure boucles différentes variantes, avec index... filtre produit cartésien, puis filtrage... Lot Lot Seine et Marne Loiret Seine et Marne Bouches du Rhône Cahors Figeac Fontainebleau Gien Héricy Marseille Agrégation par fusion triée tri de la relation selon le critère d agrégation groupement ou agrégation des éléments contigus k B (Xn ln(n) + tn + gtn) Agrégation par hash Département Bouches du Rhône Loiret Loiret Loiret Lot Lot Paris Ville Marseille Briare Orléans Gien Cahors Figeac Paris Département Nb villes Bouches du Rhône 1 Loiret 3 Lot 2 Paris 1 Seine et Marne 7 allocation en mémoire du résultat gtn! remplissage lors du parcours, puis écriture ou exploitation k B (tn + gtn) Seine et Marne Vulaines Exemples de EXPLAIN et EXPLAIN ANALYZE EXPLAIN plan de la requête méthode de calcul temps (sans unité) premier résultat et fin paramètres ajustables dans la configuration volumes nb tuples et tailles EXPLAIN ANALYZE plan et exécution ajoute le réalisé détection des erreurs d évaluation interprétation, voir Select simple SELECT titre FROM films WHERE fid=3; explain Seq Scan on films (cost= rows=1 width=12) Filter: (fid = 3) explain analyze Seq Scan on films (cost= rows=1 width=12) (actual time= rows=1 loops=1) Filter: (fid = 3) Rows Removed by Filter: 10 Total runtime: ms 39 40

6 explain analyze Select jointure SELECT titre FROM films JOIN personnes USING (pid) WHERE nom= Chaplin ; explain Hash Join (cost= rows=2 width=12) Hash Cond: (films.pid = personnes.pid) -> Seq Scan on films (cost= rows=11 width=16) -> Hash (cost= rows=1 width=4) -> Seq Scan on personnes (cost= rows=1 width=4) Filter: (nom = Chaplin ::text) Hash Join (cost= rows=2 width=12) (actual time= rows=6 loops=1) Hash Cond: (films.pid = personnes.pid) -> Seq Scan on films (cost= rows=11 width=16) (actual time= rows=11 loops=1) -> Hash (cost= rows=1 width=4) (actual time= rows=1 loops=1) Buckets: 1024 Batches: 1 Memory Usage: 1kB -> Seq Scan on personnes (cost= rows=1 width=4) (actual time= rows=1 loops=1) Filter: (nom = Chaplin ::text) Rows Removed by Filter: 5 Total runtime: ms Exemple de proposition d index Analyse d une requête pour proposer un INDEX 1. à partir de EXPLAIN (ANALYSE) index pour parcours séquentiels filtrés (coûteux)? 2. à partir de la requête partir des informations les plus sélectives WHERE en particulier sur les grosses tables vérifier que les index utiles existent propager le long des jointures vérifier que les index utiles existent SELECT titre FROM auteur AS a JOIN a ecrit AS e USING (aid) JOIN oeuvre AS o USING (oid) WHERE a.nom = Goscinny ; nom aid sur auteur : index auteur(nom) aid oid sur a ecrit : index a ecrit(aid) existe déjà en préfix car clef composite UNIQUE(aid,oid) oid titre sur oeuvre : index oeuvre(oid) existe déjà car oid est clef primaire Informations sur les volumes pg column size volume d une donnée pg database size volume d un catalogue pg relation size volume d une table, d un index Collecte d informations pg total relation size complet avec index et toasted pg tablespace size volume d un espace (partition?) pg size pretty interprétation avec unités (kb, M... ) SELECT pg size pretty(pg database size( test )); pg size pretty 9940 kb Informations statistiques Table pg statistic statistiques sur les valeurs de chaque colonne de chaque table 1. statistiques sur données pour optimisation analyze mise à jour par la commande ANALYZE (sinon, vague défaut) 2. historique requêtes et performances log utilisé par l optimiseur pour évaluer les tailles de relations 3. état courant (connexions, verrous, requêtes) système filtrage nombreux opérateurs WHERE opérations tables/indexes stat rel (row) regroupement GROUP BY comptages accès disque/cache stat io (block) jointure JOIN... ON informations sur les statements selon le type analysé : min, max, moyenne, distribution... problème de droits d accès : vue pg stats 47 48

7 Collecte d informations : requêtes, temps (attention au coût) log connection connexions à la base log statement requête exécutée log duration durée d exécution Configuration de la collection de statistiques stats start collector collecteur démarré processus séparé de collecte, pas temps-réel stats command string requête en cours [15611] LOG: query: SELECT DISTINCT domaine, libmin FROM thes, statel WHERE statel.code_dipl=thes.domaine AND domaine BETWEEN AND ORDER BY libmin [15611] LOG: duration: sec stats row level statistiques sur les tuples insert, update, fetch via indexes ou scans stats block level accès blocs cache ou disque Consultation des informations collectées nombreuses tables systèmes spéciales pg stat* niveau database, table et index, table, index... pg stat activity connexions et requêtes en cours (si longue) opération scan avec ou sans index, ins/upd/del... cache read (disque) vs hit (mémoire) obsolète fetch vs read datid datname procpid usename current query query start corrector 563 corrector SELECT COUNT(*) FROM answer; corrector 549 postgres <IDLE> comics 676 coelho <IDLE> informations différées... pas trop de charge de collecte détection des indexes inutilisés, des tables scannées pg stat database par base de données # connexions en cours # transactions confirmées (commit) vs annulées (rollback) blocks lus sur disque, lus dans le cache datid datname numbackends xact commit xact rollback blks read blks hit coelho corrector comics comtest pg stat user tables utilisation des tables all user sys nb parcours séquentiels et nb tuples lus (selon taille table) nb parcours indexés et nb tuples lus (comparables?) nb d insertions, mises à jour et effacement relname sq scan sq tup read idx scan idx tup fetch n tup ins n tup upd n tup del a ecrit collection langue exemplaire editeur auteur oeuvre pg stat io user tables disque/cache all user sys nombre de blocks table lus sur disque/cache index de blocks des indexes de la table lus sur disque/cache idem pour données toastées (attributs volumineux)... pg stat user indexes analyse par index nb parcours avec l index nb tuples lus par l index nb tuples récupérés par l index différent nb tuples lus pour tuples expirés all user sys relname heap read heap hit idx read idx hit oeuvre exemplaire editeur a ecrit auteur langue collection relname indexrelname idx scan idx tup read idx tup fetch auteur auteurs pkey collection collections nom key collection collections pkey exemplaire exemplaires pkey oeuvre oeuvres pkey oeuvre oeuvres titre key a ecrit a ecrit pkey

8 pg stat io user indexes disque/cache all user sys relname indexrelname idx blks read idx blks hit pg stat io user sequences disque/cache all user sys auteur auteurs pkey 2 73 collection collections nom key 2 5 collection collections pkey 2 3 editeur editeurs nom key 2 1 editeur editeurs pkey 2 1 exemplaire exemplaires pkey 2 1 langue langues nom key 2 1 langue langues pkey 2 1 oeuvre oeuvres pkey oeuvre oeuvres titre key 4 60 relid schemaname relname blks read blks hit public connection idcon seq public users idusr seq public class idcls seq public correctiontype idcor seq public question idque seq public exercice idexe seq public answer idans seq public session idses seq 1 3 a ecrit a ecrit pkey Extension pg stat statements extension standard à charger CREATE EXTENSION pg stat statements; -- and in postgresql.conf: -- shared preload library = pg stat statements statistiques par requêtes similaires Exemple d extraction des requêtes lentes requêtes les plus longues SELECT query, total time/calls AS avg FROM pg stat statements ORDER BY avg DESC LIMIT 10; le regroupement ignore les constantes SELECT * FROM films WHERE titre LIKE C% ; SELECT * FROM films WHERE titre LIKE A% ; SELECT * FROM films WHERE titre LIKE L% ; -- regroupés sous : SELECT * FROM films WHERE titre LIKE?; -- requêtes avec plus d accès disques SELECT query FROM pg stat statements ORDER BY shared blks read DESC LIMIT 10; Montée en charge d une base de donnée Montée en charge base 1.5 GB ( pages), hôte avec 4 GB et HDD 7200 tr/s pgbench -i -s 100 bench requêtes en lecture seule, ok si index et données en cache... pgbench -S -T progress=10 bench requête : SELECT stuff FROM somewhere WHERE id=?; Montée en charge performance database warmup 4000 Explication tps initialement données sur disque chargement progressif des pages, cache DB et OS performances bornées par les accès disques quand tout est en cache, performances bornées par le processeur minutes 63 64

9 Analyse nombre total de pages P probabilité d un accès cache à la i-ème requête p(i) initialement cache disque vide p(0) = 0 progression moyenne de p p(i + 1) = p(i) + (1 p(i)) 1 P soit en cache, soit chargement d une page si hors cache équation différentielle ordinaire homogène (passage au continu) temps transaction cache ou disque T C et T D durée de transaction δ(i) = T C p(i) + T D (1 p(i)) δ(i) = T C + (T D T C ) e i P date de la transaction i i t(i) = δ(j)dj = T C i + P (T D T C ) e i P 0 solution p(i + 1) p(i) = dp 1 = (1 p(i)) di P p(i) = 1 e i P performance (tps) τ(i) = 1 δ(i) inflexion des performances δ (i) = 0 ( ) TD T C i = P ln T C Application P = , T C = 0.22 ms, T D = 4.9 ms simple model table+index model database warmup formula Comment attendre un peu moins? forcer le chargement en accès séquentiels! (SQL) charger les fichiers sous jacents (OS) faster database warmup tps minutes tps performance minutes Quelques remarques accès parallèles : plus de lectures par tour réordonnancement des lectures par le disque chargement plus rapide si accès non uniforme distribution des accès souvent exponentielle SSD?! Monitoring système et base ps top htop processus avec requête en cours... iostat iotop df du charge et volume des partitions nagios, cactus surveillance et alertes pg watch interface web (PHP) de monitoring PostgreSQL pgtop commande top spécifique Conclusion sur les performances optimisation difficile : selon valeurs, statistiques nécessaires contrôle explicite? algorithme génétique si trop gros (10 tables?) forcer les jointures : join collapse limit=1 indexation accélère, mais coût en maintenance choix des index et types pour les requêtes fréquentes collecte statistiques, utilisation des logs... caches données souvent sollicitées gardées en mémoire... en particulier petites tables périphériques influence du matériel à l application matériel disponible, dédié ou partagé à l application, duplication ruptures technologiques : SSD vs HDD (vs Memristors?) séparation des flux (log, WAL, bgwriter) configuration de l OS, de la base de donnée... maintenance DB VACUUM FULL ANALYZE... application : requêtes inutiles, relations mal conçues... dénormalisation pour réduire les jointures? 71 72

10 List of Slides 1 2 Optimisation : un problème global 3 Optimisation des requêtes : motivation 4 Optimisation des requêtes : comment? 5 Cinq conseils préalables 6 1. IIWDFI! IIABDFI! 7 2. Connaître ses données et sa charge 8 3. Configurations logicielles et matérielles 9 4. Analyse des requêtes lentes Sinon : autres solutions possibles 11 Comment ça marche? 12 Opérations élémentaires d une requête 13 Plan de calcul d une requête 14 Coût des opérations élémentaires 15 Stockage des données : la hiérarchie mémoire 16 IBM 350 Disk File 17 Technologie des disques magnétiques 18 Mesure de coûts : I/O! 19 Évolutions des Solid-State Drive : SSD 20 Paramètres de modélisation I/O HDD 21 Parcours+Filtrage : parcours séquentiel 22 Parcours+Filtrage : parcours indexé 23 Parcours+Filtrage(S) : index bitmap 24 Indexation des attributs d une relation 25 B-tree 26 Création d un index 27 Importance des index 27 Coût des index 28 Index sur un attribut 29 Index avec prédicats 30 Index fonctionnels 31 Index texte 32 Tri d une relation 33 Jointures de relations 34 Jointure par fusion triée 35 Jointure par hash 35 Autres techniques de calculs de jointure 36 Agrégations 37 Agrégation par fusion triée 38 Agrégation par hash 39 Exemples de EXPLAIN et EXPLAIN ANALYZE 40 Select simple 41 Select jointure 43 Analyse d une requête pour proposer un INDEX 44 Exemple de proposition d index 45 Collecte d informations 46 Informations sur les volumes 47 Informations statistiques 48 Table pg statistic 49 Collecte d informations : requêtes, temps (attention au coût) 50 Configuration de la collection de statistiques 51 Consultation des informations collectées 59 Extension pg stat statements 60 Exemple d extraction des requêtes lentes 61 Montée en charge 62 Montée en charge d une base de donnée 63 Montée en charge 71 Conclusion sur les performances 64 Explication 65 Analyse 67 Application 68 Comment attendre un peu moins? 69 Quelques remarques 70 Monitoring système et base

Techniques de stockage. Techniques de stockage, P. Rigaux p.1/43

Techniques de stockage. Techniques de stockage, P. Rigaux p.1/43 Techniques de stockage Techniques de stockage, P. Rigaux p.1/43 Techniques de stockage Contenu de ce cours : 1. Stockage de données. Supports, fonctionnement d un disque, technologie RAID 2. Organisation

Plus en détail

ECR_DESCRIPTION CHAR(80), ECR_MONTANT NUMBER(10,2) NOT NULL, ECR_SENS CHAR(1) NOT NULL) ;

ECR_DESCRIPTION CHAR(80), ECR_MONTANT NUMBER(10,2) NOT NULL, ECR_SENS CHAR(1) NOT NULL) ; RÈGLES A SUIVRE POUR OPTIMISER LES REQUÊTES SQL Le but de ce rapport est d énumérer quelques règles pratiques à appliquer dans l élaboration des requêtes. Il permettra de comprendre pourquoi certaines

Plus en détail

Mise en oeuvre TSM 6.1

Mise en oeuvre TSM 6.1 Mise en oeuvre TSM 6.1 «Bonnes pratiques» pour la base de données TSM DB2 Powered by Qui sommes nous? Des spécialistes dans le domaine de la sauvegarde et de la protection des données 10 ans d expertise

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Session S12 Les bases de l optimisation SQL avec DB2 for i

Session S12 Les bases de l optimisation SQL avec DB2 for i Session S12 Les bases de l optimisation SQL avec DB2 for i C. GRIERE cgriere@fr.ibm.com STG Lab Services IBM i Avril 2012 Les fleurs et les requêtes SQL Lorsque l on veut planter de nouvelles fleurs dans

Plus en détail

Les bases de l optimisation SQL avec DB2 for i

Les bases de l optimisation SQL avec DB2 for i Les bases de l optimisation SQL avec DB2 for i Christian GRIERE cgriere@fr.ibm.com Common Romandie 3 mai 2011 Les fleurs et les requêtes Lorsque l on veut planter de nouvelles fleurs dans un jardin il

Plus en détail

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr

Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr 1- Structure d un disque 2- Ordonnancement des requêtes 3- Gestion du disque - formatage - bloc d amorçage - récupération

Plus en détail

TP Bases de données réparties

TP Bases de données réparties page 1 TP Bases de données réparties requêtes réparties Version corrigée Auteur : Hubert Naacke, révision 5 mars 2003 Mots-clés: bases de données réparties, fragmentation, schéma de placement, lien, jointure

Plus en détail

Structure fonctionnelle d un SGBD

Structure fonctionnelle d un SGBD Fichiers et Disques Structure fonctionnelle d un SGBD Requetes Optimiseur de requetes Operateurs relationnels Methodes d acces Gestion de tampon Gestion de disque BD 1 Fichiers et Disques Lecture : Transfert

Plus en détail

Tests de performance du matériel

Tests de performance du matériel 3 Tests de performance du matériel Après toute la théorie du dernier chapitre, vous vous demandez certainement quelles sont les performances réelles de votre propre système. En fait, il y a plusieurs raisons

Plus en détail

6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr

6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr 6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr Interface d un SGF Implémentation d un SGF Gestion de la correspondance entre la structure logique et la structure

Plus en détail

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013

NFA 008. Introduction à NoSQL et MongoDB 25/05/2013 NFA 008 Introduction à NoSQL et MongoDB 25/05/2013 1 NoSQL, c'est à dire? Les bases de données NoSQL restent des bases de données mais on met l'accent sur L'aspect NON-relationnel L'architecture distribuée

Plus en détail

Optimisations des SGBDR. Étude de cas : MySQL

Optimisations des SGBDR. Étude de cas : MySQL Optimisations des SGBDR Étude de cas : MySQL Introduction Pourquoi optimiser son application? Introduction Pourquoi optimiser son application? 1. Gestion de gros volumes de données 2. Application critique

Plus en détail

Langage SQL (1) 4 septembre 2007. IUT Orléans. Introduction Le langage SQL : données Le langage SQL : requêtes

Langage SQL (1) 4 septembre 2007. IUT Orléans. Introduction Le langage SQL : données Le langage SQL : requêtes Langage SQL (1) Sébastien Limet Denys Duchier IUT Orléans 4 septembre 2007 Notions de base qu est-ce qu une base de données? SGBD différents type de bases de données quelques systèmes existants Définition

Plus en détail

Les bases de données

Les bases de données Les bases de données Introduction aux fonctions de tableur et logiciels ou langages spécialisés (MS-Access, Base, SQL ) Yves Roggeman Boulevard du Triomphe CP 212 B-1050 Bruxelles (Belgium) Idée intuitive

Plus en détail

COMMANDES SQL... 2 COMMANDES DE DEFINITION DE DONNEES... 2

COMMANDES SQL... 2 COMMANDES DE DEFINITION DE DONNEES... 2 SQL Sommaire : COMMANDES SQL... 2 COMMANDES DE DEFINITION DE DONNEES... 2 COMMANDES DE MANIPULATION DE DONNEES... 2 COMMANDES DE CONTROLE TRANSACTIONNEL... 2 COMMANDES DE REQUETE DE DONNEES... 2 COMMANDES

Plus en détail

La présente publication est protégée par les droits d auteur. Tous droits réservés.

La présente publication est protégée par les droits d auteur. Tous droits réservés. Editeur (Medieninhaber/Verleger) : Markus Winand Maderspergerstasse 1-3/9/11 1160 Wien AUSTRIA Copyright 2013 Markus Winand La présente publication est protégée par les droits d auteur.

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

Oracle 11g Optimisez vos bases de données en production (ressources matérielles, stockage, mémoire, requêtes)

Oracle 11g Optimisez vos bases de données en production (ressources matérielles, stockage, mémoire, requêtes) Avant-propos 1. Lectorat 11 2. Pré-requis 12 3. Objectifs 12 4. Environnement technique 13 Choisir la bonne architecture matérielle 1. Introduction 15 2. Architecture disque 16 2.1 La problématique de

Plus en détail

Ora2Pg Performances. (C) 2013 Gilles Darold

Ora2Pg Performances. (C) 2013 Gilles Darold Ora2Pg Performances (C) 2013 Gilles Darold Gilles Darold Consultant @ Dalibo Auteur d'ora2pg Auteur de PgBadger Auteur de pgformatter Et autres => http://www.darold.net/ Cas pratique Migration d'une base

Plus en détail

<Insert Picture Here> Solaris pour la base de donnés Oracle

<Insert Picture Here> Solaris pour la base de donnés Oracle Solaris pour la base de donnés Oracle Alain Chéreau Oracle Solution Center Agenda Compilateurs Mémoire pour la SGA Parallélisme RAC Flash Cache Compilateurs

Plus en détail

TP11 - Administration/Tuning

TP11 - Administration/Tuning TP11 - Administration/Tuning MIAGE #3-2006/2007 January 9, 2007 1 Architecture physique d une base Oracle 1.1 La structure physique Une base de données Oracle est composé de fichiers (au sens du système

Plus en détail

Optimisation SQL. Quelques règles de bases

Optimisation SQL. Quelques règles de bases Optimisation SQL Quelques règles de bases Optimisation des ordres SQL Page 2 1. QUELQUES RÈGLES DE BASE POUR DES ORDRES SQL OPTIMISÉS...3 1.1 INTRODUCTION...3 1.2 L OPTIMISEUR ORACLE...3 1.3 OPTIMISEUR

Plus en détail

Cours Bases de données 2ème année IUT

Cours Bases de données 2ème année IUT Cours Bases de données 2ème année IUT Cours 13 : Organisation d une base de données, ou comment soulever (un peu) le voile Anne Vilnat http://www.limsi.fr/individu/anne/cours Plan 1 Les clusters de table

Plus en détail

Du 10 Fév. au 14 Mars 2014

Du 10 Fév. au 14 Mars 2014 Interconnexion des Sites - Design et Implémentation des Réseaux informatiques - Sécurité et Audit des systèmes - IT CATALOGUE DE FORMATION SIS 2014 1 FORMATION ORACLE 10G 11G 10 FEV 2014 DOUALA CAMEROUN

Plus en détail

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)

SGBDR. Systèmes de Gestion de Bases de Données (Relationnelles) SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients

Plus en détail

Performances. Gestion des serveurs (2/2) Clustering. Grid Computing

Performances. Gestion des serveurs (2/2) Clustering. Grid Computing Présentation d Oracle 10g Chapitre VII Présentation d ORACLE 10g 7.1 Nouvelles fonctionnalités 7.2 Architecture d Oracle 10g 7.3 Outils annexes 7.4 Conclusions 7.1 Nouvelles fonctionnalités Gestion des

Plus en détail

Le Langage De Description De Données(LDD)

Le Langage De Description De Données(LDD) Base de données Le Langage De Description De Données(LDD) Créer des tables Décrire les différents types de données utilisables pour les définitions de colonne Modifier la définition des tables Supprimer,

Plus en détail

Cours Bases de données

Cours Bases de données Informations sur le cours Cours Bases de données 9 (10) séances de 3h Polycopié (Cours + TD/TP) 3 année (MISI) Antoine Cornuéjols www.lri.fr/~antoine antoine.cornuejols@agroparistech.fr Transparents Disponibles

Plus en détail

Bases de données et sites WEB

Bases de données et sites WEB Bases de données et sites WEB Cours2 : Sécurité et contrôles d accès Anne Doucet 1 Authentification Autorisation Privilèges Rôles Profils Limitations de ressources Plan Audit Contrôle d accès via les vues

Plus en détail

Langage SQL : créer et interroger une base

Langage SQL : créer et interroger une base Langage SQL : créer et interroger une base Dans ce chapitre, nous revenons sur les principales requêtes de création de table et d accès aux données. Nous verrons aussi quelques fonctions d agrégation (MAX,

Plus en détail

1 Introduction et installation

1 Introduction et installation TP d introduction aux bases de données 1 TP d introduction aux bases de données Le but de ce TP est d apprendre à manipuler des bases de données. Dans le cadre du programme d informatique pour tous, on

Plus en détail

<Insert Picture Here> Exadata Storage Server et DB Machine V2

<Insert Picture Here> Exadata Storage Server et DB Machine V2 Exadata Storage Server et DB Machine V2 Croissance de la Volumétrie des Données Volumes multipliés par 3 tous les 2 ans Evolution des volumes de données 1000 Terabytes (Données) 800

Plus en détail

//////////////////////////////////////////////////////////////////// Administration bases de données

//////////////////////////////////////////////////////////////////// Administration bases de données ////////////////////// Administration bases de données / INTRODUCTION Système d informations Un système d'information (SI) est un ensemble organisé de ressources (matériels, logiciels, personnel, données

Plus en détail

Le langage SQL Rappels

Le langage SQL Rappels Le langage SQL Rappels Description du thème : Présentation des principales notions nécessaires pour réaliser des requêtes SQL Mots-clés : Niveau : Bases de données relationnelles, Open Office, champs,

Plus en détail

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste

SQL. Oracle. pour. 4 e édition. Christian Soutou Avec la participation d Olivier Teste Christian Soutou Avec la participation d Olivier Teste SQL pour Oracle 4 e édition Groupe eyrolles, 2004, 2005, 2008, 2010, is BN : 978-2-212-12794-2 Partie III SQL avancé La table suivante organisée en

Plus en détail

Master Exploration Informatique des données DataWareHouse

Master Exploration Informatique des données DataWareHouse Master Exploration Informatique des données DataWareHouse Binôme Ahmed BENSI Enseignant tahar ARIB SOMMAIRE I. Conception...1 1. Contexte des contrats...1 2. Contexte des factures...1 II. Modèle physique...2

Plus en détail

Audit et optimisation MySQL 5

Audit et optimisation MySQL 5 Audit et optimisation MySQL 5 Bonnes pratiques pour l administrateur Pascal Borghino Olivier Dasini Arnaud Gadal Groupe Eyrolles, 2010, ISBN : 978-2-212-12634-1 Table des matières CHAPITRE 1 Gérer une

Plus en détail

Gestion répartie de données - 1

Gestion répartie de données - 1 Gestion répartie de données - 1 Sacha Krakowiak Université Joseph Fourier Projet Sardes (INRIA et IMAG-LSR) http://sardes.inrialpes.fr/~krakowia Gestion répartie de données Plan de la présentation Introduction

Plus en détail

Administration de Bases de Données : Optimisation

Administration de Bases de Données : Optimisation Administration de Bases de Données : Optimisation FIP 2 année Exercices CNAM Paris Nicolas.Travers(at) cnam.fr Table des matières 1 Stockagedans unsgbd 3 1.1 Stockage.............................................

Plus en détail

Bases de données et sites WEB Licence d informatique LI345

Bases de données et sites WEB Licence d informatique LI345 Bases de données et sites WEB Licence d informatique LI345 Anne Doucet Anne.Doucet@lip6.fr http://www-bd.lip6.fr/ens/li345-2013/index.php/lescours 1 Contenu Transactions en pratique Modèle relationnel-objet

Plus en détail

Évaluation et optimisation de requêtes

Évaluation et optimisation de requêtes Évaluation et optimisation de requêtes Serge Abiteboul à partir de tranparents de Philippe Rigaux, Dauphine INRIA Saclay April 3, 2008 Serge (INRIA Saclay) Évaluation et optimisation de requêtes April

Plus en détail

Auto-évaluation Oracle: cours de base

Auto-évaluation Oracle: cours de base Auto-évaluation Oracle: cours de base Document: F0475Test.fm 14/01/2008 ABIS Training & Consulting P.O. Box 220 B-3000 Leuven Belgium TRAINING & CONSULTING INTRODUCTION AUTO-ÉVALUATION ORACLE: COURS DE

Plus en détail

Introduction aux SGBDR

Introduction aux SGBDR 1 Introduction aux SGBDR Pour optimiser une base Oracle, il est important d avoir une idée de la manière dont elle fonctionne. La connaissance des éléments sous-jacents à son fonctionnement permet de mieux

Plus en détail

Django et PostgreSQL sous la charge

Django et PostgreSQL sous la charge Django et PostgreSQL sous la charge Rodolphe Quiédeville Pourquoi couper la queue du poulet? RMLL - Beauvais 8 juillet 2015 Rodolphe Quiédeville (PeopleDoc) Django et PostgreSQL sous la charge 8 juillet

Plus en détail

La replication dans PostgreSQL

La replication dans PostgreSQL 10 mars 2011 Sommaire 1 Introduction 2 Les différents modes de réplication 3 La réplication par journaux Mise en place de la réplication en hot standby Limitations et critiques du hot standby Avenir du

Plus en détail

Gestion des utilisateurs et de leurs droits

Gestion des utilisateurs et de leurs droits Gestion des utilisateurs et de leurs droits Chap. 12, page 323 à 360 Lors de la création d'un utilisateur vous devez indiquer son nom, ses attributs, son profil, la méthode d'authentification (par le SE

Plus en détail

Cours 3. Développement d une application BD. DBA - Maîtrise ASR - Université Evry

Cours 3. Développement d une application BD. DBA - Maîtrise ASR - Université Evry Cours 3 Développement d une application BD 1 Plan du cours Gestion de la sécurité des données Optimisation des schémas de bases via la dénormalisation Utilisation de vues Placement du code applicatif dans

Plus en détail

Sur un ordinateur portable ou un All-in-One tactile, la plupart des éléments mentionnés précédemment sont regroupés. 10) 11)

Sur un ordinateur portable ou un All-in-One tactile, la plupart des éléments mentionnés précédemment sont regroupés. 10) 11) 1/ Généralités : Un ordinateur est un ensemble non exhaustif d éléments qui sert à traiter des informations (documents de bureautique, méls, sons, vidéos, programmes ) sous forme numérique. Il est en général

Plus en détail

Notes de cours : bases de données distribuées et repliquées

Notes de cours : bases de données distribuées et repliquées Notes de cours : bases de données distribuées et repliquées Loïc Paulevé, Nassim Hadj-Rabia (2009), Pierre Levasseur (2008) Licence professionnelle SIL de Nantes, 2009, version 1 Ces notes ont été élaborées

Plus en détail

Encryptions, compression et partitionnement des données

Encryptions, compression et partitionnement des données Encryptions, compression et partitionnement des données Version 1.0 Grégory CASANOVA 2 Compression, encryption et partitionnement des données Sommaire 1 Introduction... 3 2 Encryption transparente des

Plus en détail

EX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse

EX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse EX4C Systèmes d exploitation Séance 14 Structure des stockages de masse Sébastien Combéfis mardi 3 mars 2015 Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution

Plus en détail

TP Contraintes - Triggers

TP Contraintes - Triggers TP Contraintes - Triggers 1. Préambule Oracle est accessible sur le serveur Venus et vous êtes autorisés à accéder à une instance licence. Vous utiliserez l interface d accés SQL*Plus qui permet l exécution

Plus en détail

Le Langage SQL version Oracle

Le Langage SQL version Oracle Université de Manouba École Supérieure d Économie Numérique Département des Technologies des Systèmes d Information Le Langage SQL version Oracle Document version 1.1 Mohamed Anis BACH TOBJI anis.bach@isg.rnu.tn

Plus en détail

Cassandra et Spark pour gérer la musique On-line

Cassandra et Spark pour gérer la musique On-line Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani

Plus en détail

Optimisation de MySQL

Optimisation de MySQL Olivier DASINI Optimisation de MySQL http://dasini.net/blog/ 1 Votre conférencier Olivier DASINI Formateur certifié MySQL Consultant technologies Open Sources olivier@dasini.net 2 Au programme... Introduction

Plus en détail

Oracle Maximum Availability Architecture

Oracle Maximum Availability Architecture Oracle Maximum Availability Architecture Disponibilité des systèmes d informations Technologies et recommandations 1 Qu est-ce que Oracle Maximum Availability Architecture (MAA)? 1. Objectif : Disponibilité

Plus en détail

CHAPITRE 1 ARCHITECTURE

CHAPITRE 1 ARCHITECTURE 07/04/2014 Université des sciences et de la Technologie Houari Boumediene USTHB Alger Département d Informatique ADMINISTRATION ET TUNING DE BASES DE DONNÉES CHAPITRE 1 ARCHITECTURE RESPONSABLE DR K. BOUKHALFA

Plus en détail

Jean-François Boulicaut & Mohand-Saïd Hacid

Jean-François Boulicaut & Mohand-Saïd Hacid e siècle! Jean-François Boulicaut & Mohand-Saïd Hacid http://liris.cnrs.fr/~jboulica http://liris.cnrs.fr/mohand-said.hacid Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205

Plus en détail

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping

Chapitre V : La gestion de la mémoire. Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Chapitre V : La gestion de la mémoire Hiérarchie de mémoires Objectifs Méthodes d'allocation Simulation de mémoire virtuelle Le mapping Introduction Plusieurs dizaines de processus doivent se partager

Plus en détail

1. Qu'est-ce que SQL?... 2. 2. La maintenance des bases de données... 2. 3. Les manipulations des bases de données... 5

1. Qu'est-ce que SQL?... 2. 2. La maintenance des bases de données... 2. 3. Les manipulations des bases de données... 5 1. Qu'est-ce que SQL?... 2 2. La maintenance des bases de données... 2 2.1 La commande CREATE TABLE... 3 2.2 La commande ALTER TABLE... 4 2.3 La commande CREATE INDEX... 4 3. Les manipulations des bases

Plus en détail

Administration des bases de données relationnelles Part I

Administration des bases de données relationnelles Part I Administration des bases de données relationnelles Part I L administration des bases de données requiert une bonne connaissance - de l organisation et du fonctionnement interne du SGBDR : structures logiques

Plus en détail

OpenPaaS Le réseau social d'entreprise

OpenPaaS Le réseau social d'entreprise OpenPaaS Le réseau social d'entreprise Spécification des API datastore SP L2.3.1 Diffusion : Institut MinesTélécom, Télécom SudParis 1 / 12 1OpenPaaS DataBase API : ODBAPI...3 1.1Comparaison des concepts...3

Plus en détail

Serveurs. Catalogue de Supervision Zabbix 1.WINDOWS...2 2.1. VERSIONS SUPPORTÉES...2 1.2. SURVEILLANCE DE BASE...2 2.LINUX...2

Serveurs. Catalogue de Supervision Zabbix 1.WINDOWS...2 2.1. VERSIONS SUPPORTÉES...2 1.2. SURVEILLANCE DE BASE...2 2.LINUX...2 1.WINDOWS...2 1.1. VERSIONS SUPPORTÉES...2 1.2. SURVEILLANCE DE BASE...2 2.LINUX...2 2.1. VERSIONS SUPPORTÉES...2 2.2. SURVEILLANCE DE BASE...2 3.AIX...3 3.1. VERSIONS SUPPORTÉES...3 3.2. SURVEILLANCE

Plus en détail

SQL Historique 1982 1986 1992

SQL Historique 1982 1986 1992 SQL Historique 1950-1960: gestion par simple fichier texte 1960: COBOL (début de notion de base de données) 1968: premier produit de sgbdr structuré (IBM -> IDMS) 1970-74: élaboration de l'outil d'analyse

Plus en détail

Bases de données Cours 1 : Généralités sur les bases de données

Bases de données Cours 1 : Généralités sur les bases de données Cours 1 : Généralités sur les bases de données POLYTECH Université d Aix-Marseille odile.papini@univ-amu.fr http://odile.papini.perso.esil.univmed.fr/sources/bd.html Plan du cours 1 1 Qu est ce qu une

Plus en détail

Limitations of the Playstation 3 for High Performance Cluster Computing

Limitations of the Playstation 3 for High Performance Cluster Computing Introduction Plan Limitations of the Playstation 3 for High Performance Cluster Computing July 2007 Introduction Plan Introduction Intérêts de la PS3 : rapide et puissante bon marché L utiliser pour faire

Plus en détail

Systèmes de Gestion de Bases de Données (SGBD) relationnels Maude Manouvrier

Systèmes de Gestion de Bases de Données (SGBD) relationnels Maude Manouvrier ENSTA Mastère Spécialisé en Architecture des Systèmes d Information Cours C1-3 Systèmes de Gestion de Bases de Données (SGBD) relationnels Maude Manouvrier Partie II : les SGBD vus du coté Administrateur

Plus en détail

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS

Bases de Données. Stella MARC-ZWECKER. stella@unistra.u-strasbg.fr. Maître de conférences Dpt. Informatique - UdS Bases de Données Stella MARC-ZWECKER Maître de conférences Dpt. Informatique - UdS stella@unistra.u-strasbg.fr 1 Plan du cours 1. Introduction aux BD et aux SGBD Objectifs, fonctionnalités et évolutions

Plus en détail

Plan 1/9/2013. Génération et exploitation de données. CEP et applications. Flux de données et notifications. Traitement des flux Implémentation

Plan 1/9/2013. Génération et exploitation de données. CEP et applications. Flux de données et notifications. Traitement des flux Implémentation Complex Event Processing Traitement de flux de données en temps réel Romain Colle R&D Project Manager Quartet FS Plan Génération et exploitation de données CEP et applications Flux de données et notifications

Plus en détail

Vous êtes bien à la bonne présentation, c est juste que je trouvais que le titre de cette présentation étais un peu long,

Vous êtes bien à la bonne présentation, c est juste que je trouvais que le titre de cette présentation étais un peu long, Vous êtes bien à la bonne présentation, c est juste que je trouvais que le titre de cette présentation étais un peu long, en fait ça me faisait penser au nom d un certain projet gouvernemental je me suis

Plus en détail

Présentation du projet

Présentation du projet Présentation du projet PostgreSQL Sommaire Origine du projet Équipe principale et sponsors Principes fondateurs Fonctionnalités Versions La communauté Outils tiers Les origines... Années 1970 : Ingres

Plus en détail

Architectures d implémentation de Click&DECiDE NSI

Architectures d implémentation de Click&DECiDE NSI Architectures d implémentation de Click&DECiDE NSI de 1 à 300 millions de ligne de log par jour Dans ce document, nous allons étudier les différentes architectures à mettre en place pour Click&DECiDE NSI.

Plus en détail

Introduction à ElasticSearch

Introduction à ElasticSearch Introduction à ElasticSearch Présentée par : Romain Pignolet Lundi 7 Juillet 2014 Sommaire 1 Présentation de Elasticsearch 2 Installation et exemples simples 3 API Rest 4 Comment fonctionne Elasticsearch?

Plus en détail

On distingue deux grandes catégories de mémoires : mémoire centrale (appelée également mémoire interne)

On distingue deux grandes catégories de mémoires : mémoire centrale (appelée également mémoire interne) Mémoire - espace destiné a recevoir, conserver et restituer des informations à traiter - tout composant électronique capable de stocker temporairement des données On distingue deux grandes catégories de

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

Leçon 1 : Les principaux composants d un ordinateur

Leçon 1 : Les principaux composants d un ordinateur Chapitre 2 Architecture d un ordinateur Leçon 1 : Les principaux composants d un ordinateur Les objectifs : o Identifier les principaux composants d un micro-ordinateur. o Connaître les caractéristiques

Plus en détail

Bases de Données OLAP

Bases de Données OLAP Bases de Données OLAP Hiver 2013/2014 Melanie Herschel melanie.herschel@lri.fr Université Paris Sud, LRI Chapitre 1 Introduction Détails administratifs Entrepôts de Données Perspective sur le semestre

Plus en détail

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP)

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Définition (G. Gardarin) Entrepôt : ensemble de données historisées variant

Plus en détail

Bases de données réparties: Fragmentation et allocation

Bases de données réparties: Fragmentation et allocation Pourquoi une base de données distribuée? Bibliographie Patrick Valduriez, S. Ceri, Guiseppe Delagatti Bases de données réparties: Fragmentation et allocation 1 - Introduction inventés à la fin des années

Plus en détail

Sybase Adaptive Server Enterprise 15

Sybase Adaptive Server Enterprise 15 Sybase Adaptive Server Enterprise 15 Prêt pour Sybase Adaptive Server Enterprise 15? Novembre 2006 Documentation technique # 29 Introduction Cette présentation liste les fonctionnalités importantes de

Plus en détail

Partie 7 : Gestion de la mémoire

Partie 7 : Gestion de la mémoire INF3600+INF2610 Automne 2006 Partie 7 : Gestion de la mémoire Exercice 1 : Considérez un système disposant de 16 MO de mémoire physique réservée aux processus utilisateur. La mémoire est composée de cases

Plus en détail

Introduction aux Bases de Données 2004/2005

Introduction aux Bases de Données 2004/2005 Introduction aux Bases de Données 2004/2005 Chapitre 6: Le langage SQL Ecole Nationale Supérieur de Physique de Strasbourg Christian Wolf christian.wolf@ensps.u-strasbg.fr 6.1 Stockage physique Film numfil

Plus en détail

Evaluation des performances de programmes parallèles haut niveau à base de squelettes

Evaluation des performances de programmes parallèles haut niveau à base de squelettes Evaluation des performances de programmes parallèles haut niveau à base de squelettes Enhancing the Performance Predictability of Grid Applications with Patterns and Process Algebras A. Benoit, M. Cole,

Plus en détail

Cours Base de données relationnelles. M. Boughanem, IUP STRI

Cours Base de données relationnelles. M. Boughanem, IUP STRI Cours Base de données relationnelles 1 Plan 1. Notions de base 2. Modèle relationnel 3. SQL 2 Notions de base (1) Définition intuitive : une base de données est un ensemble d informations, (fichiers),

Plus en détail

CH.3 SYSTÈMES D'EXPLOITATION

CH.3 SYSTÈMES D'EXPLOITATION CH.3 SYSTÈMES D'EXPLOITATION 3.1 Un historique 3.2 Une vue générale 3.3 Les principaux aspects Info S4 ch3 1 3.1 Un historique Quatre générations. Préhistoire 1944 1950 ENIAC (1944) militaire : 20000 tubes,

Plus en détail

SQL Server 2008 et YourSqlDba

SQL Server 2008 et YourSqlDba SQL Server 2008 et YourSqlDba Le futur de la maintenance des bases de données et la haute-disponibilité Par : Maurice Pelchat Société GRICS Survol du sujet Haute disponibilité (HD) Assurer la disponibilité

Plus en détail

Java et les bases de données

Java et les bases de données Michel Bonjour http://cuiwww.unige.ch/~bonjour CENTRE UNIVERSITAIRE D INFORMATIQUE UNIVERSITE DE GENEVE Plan Introduction JDBC: API SQL pour Java - JDBC, Java, ODBC, SQL - Architecture, interfaces, exemples

Plus en détail

Nouveautés de PostgreSQL 9.2

Nouveautés de PostgreSQL 9.2 Table des matières Nouveautés de PostgreSQL 9.2...4 1 À propos de l'auteur...4 1.1 Licence Creative Commons CC-BY-NC-SA...4 2 Introduction...5 3 Au menu...5 4 Performances...6 4.1 Parcours d'index seul...6

Plus en détail

4D v11 SQL Release 5 (11.5) ADDENDUM

4D v11 SQL Release 5 (11.5) ADDENDUM ADDENDUM Bienvenue dans la release 5 de 4D v11 SQL. Ce document présente les nouveautés et modifications apportées à cette nouvelle version du programme. Prise en charge de nouvelles plates-formes La release

Plus en détail

COMPOSANTS DE L ARCHITECTURE D UN SGBD. Chapitre 1

COMPOSANTS DE L ARCHITECTURE D UN SGBD. Chapitre 1 1 COMPOSANTS DE L ARCHITECTURE D UN SGBD Chapitre 1 Généralité 2 Les composants principaux de l architecture d un SGBD Sont: Les processus Les structures mémoires Les fichiers P1 P2 Pn SGA Fichiers Oracle

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

16H Cours / 18H TD / 20H TP

16H Cours / 18H TD / 20H TP INTRODUCTION AUX BASES DE DONNEES 16H Cours / 18H TD / 20H TP 1. INTRODUCTION Des Fichiers aux Bases de Données 2. SYSTEME DE GESTION DE BASE DE DONNEES 2.1. INTRODUCTION AUX SYSTEMES DE GESTION DE BASES

Plus en détail

Informatique pour scientifiques hiver 2003-2004. Plan général Systèmes d exploitation

Informatique pour scientifiques hiver 2003-2004. Plan général Systèmes d exploitation Informatique pour scientifiques hiver 2003-2004 27 Janvier 2004 Systèmes d exploitation - partie 3 (=OS= Operating Systems) Dr. Dijana Petrovska-Delacrétaz DIVA group, DIUF 1 Plan général Systèmes d exploitation

Plus en détail

Comme chaque ligne de cache a 1024 bits. Le nombre de lignes de cache contenu dans chaque ensemble est:

Comme chaque ligne de cache a 1024 bits. Le nombre de lignes de cache contenu dans chaque ensemble est: Travaux Pratiques 3. IFT 1002/IFT 1005. Structure Interne des Ordinateurs. Département d'informatique et de génie logiciel. Université Laval. Hiver 2012. Prof : Bui Minh Duc. Tous les exercices sont indépendants.

Plus en détail

Audit activité base Oracle / SAP

Audit activité base Oracle / SAP Audit activité base Oracle / SAP Version : 1.0 Date : 04/02/2009 Auteur : xxxxxxxxxxx SOMMAIRE 1 OBJECTIFS DE CE DOCUMENT...3 2 Résultats de l étude...4 2.1. Bref exposé des constatations...4 2.1.1 Le

Plus en détail

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr

C-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr Emmanuel Cecchet INRIA, Projet Sardes http://sardes.inrialpes.fr Plan Motivations Idées principales Concepts Caching Perspectives /ObjectWeb 15 octobre 2002 Emmanuel.Cecchet@inrialpes.fr 2 - Motivations

Plus en détail

Une solution de stockage VDI unifiée, flexible et disponible pour vos utilisateurs

Une solution de stockage VDI unifiée, flexible et disponible pour vos utilisateurs Une solution de stockage VDI unifiée, flexible et disponible pour vos utilisateurs La structure d un FlexPod Cisco UnifiedComputing& NetAppUnifiedArchitecture Cisco Unified Computing System Architecture

Plus en détail

ISC21-1 --- Système d Information Architecture et Administration d un SGBD Compléments SQL

ISC21-1 --- Système d Information Architecture et Administration d un SGBD Compléments SQL ISC21-1 --- Système d Information Architecture et Administration d un SGBD Compléments SQL Jean-Marie Pécatte jean-marie.pecatte@iut-tlse3.fr 16 novembre 2006 ISIS - Jean-Marie PECATTE 1 Valeur de clé

Plus en détail

Avira System Speedup. Guide

Avira System Speedup. Guide Avira System Speedup Guide Table des Matières 1. Introduction... 3 1.1 En quoi consiste Avira System Speedup?...3 2. Installation... 4 2.1 Configuration requise...4 2.2 Installation...4 3. Utilisation

Plus en détail