Bases de données PostgreSQL

Transcription

1 Bases de données PostgreSQL Gestion des performances Gregory Smith Traduit de l anglais par Guillaume Lelarge et Thomas Reiss

2 Pearson Education France a apporté le plus grand soin à la réalisation de ce livre afin de vous fournir une information complète et fiable. Cependant, Pearson Education France n assume de responsabilités, ni pour son utilisation, ni pour les contrefaçons de brevets ou atteintes aux droits de tierces personnes qui pourraient résulter de cette utilisation. Les exemples ou les programmes présents dans cet ouvrage sont fournis pour illustrer les descriptions théoriques. Ils ne sont en aucun cas destinés à une utilisation commerciale ou professionnelle. Pearson Education France ne pourra en aucun cas être tenu pour responsable des préjudices ou dommages de quelque nature que ce soit pouvant résulter de l utilisation de ces exemples ou programmes. Tous les noms de produits ou marques cités dans ce livre sont des marques déposées par leurs propriétaires respectifs. Publié par Pearson Education France 47 bis, rue des Vinaigriers PARIS Tél. : Collaboration éditoriale : Hervé Guyader Mise en pages : Léa B. ISBN : Copyright 2011 Pearson Education France Tous droits réservés Titre original : PostgreSQL 9.0 High Performance Traduit de l anglais par Guillaume Lelarge et Thomas Reiss ISBN original : Copyright 2010 Packt Publishing All rights reserved Aucune représentation ou reproduction, même partielle, autre que celles prévues à l article L et 3 a) du code de la propriété intellectuelle ne peut être faite sans l autorisation expresse de Pearson Education France ou, le cas échéant, sans le respect des modalités prévues à l article L dudit code. All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from Pearson Education, Inc.

3 Table des matières à propos des auteurs... XVII à propos des traducteurs... XIX Préface... 1 Ce que ce livre couvre... 1 Ce dont vous avez besoin... 3 À qui s adresse ce livre... 3 Conventions PostgreSQL et ses versions... 5 Performances des versions de PostgreSQL... 6 Choix d une version à utiliser... 7 Mise à jour vers une version majeure PostgreSQL ou une autre base de données? Les outils autour de PostgreSQL Les contributions PostgreSQL pgfoundry Autres logiciels liés à PostgreSQL Montée en charge d une application PostgreSQL Pratique de l optimisation Résumé... 18

4 IV Bases de données PostgreSQL 2 Matériel pour la base de données Équilibrer les dépenses en matériel Processeurs Mémoire Disques Contrôleurs disque Amélioration de la fiabilité des contrôleurs et des disques Cache write-back Conséquences d un cache write-through sur les performances Résumé Tests de performance du matériel Tests des processeurs et de la mémoire memtest Tests mémoires STREAM Tests des processeurs Les sources de lenteur des processeurs et de la mémoire Tests des disques Accès aléatoire et entrées/sorties par seconde Accès séquentiel et ZCAV Taux de COMMIT Outils de test pour les disques hdtune dd bonnie sysbench Tests complexes des disques Exemples de résultats pour les disques Attentes sur les performances des disques Résumé... 70

5 Table des matières V 4 Configuration des disques Taille maximale des systèmes de fichiers Restauration suite à un crash du système de fichiers Systèmes de fichiers journalisés Systèmes de fichiers Linux ext ext ext XFS Autres systèmes de fichiers Linux Barrières d écriture Configuration générique des systèmes de fichiers Systèmes de fichiers Solaris et FreeBSD UFS sur Solaris UFS2 sur FreeBSD ZFS Systèmes de fichiers Windows FAT NTFS Topologie des disques pour PostgreSQL Liens symboliques Tablespaces Structure du répertoire des données Grappes de disques, RAID et répartition Résumé La mémoire comme cache pour la base de données Unités mémoire dans le fichier postgresql.conf Gestion des ressources du noyau Étude du cache de la base de données Installation de pg_buffercache dans une base de données Topologie de la base de données sur disque

6 VI Bases de données PostgreSQL Création d un nouveau bloc dans la base de données L écriture des blocs modifiés sur le disque Protection des données et cache de données Principes du traitement des checkpoints Restauration par les journaux de transactions Exécution des checkpoints Cycle de vie d un bloc de données Cache de données et cache du système d exploitation Données doublement cachées Surcharge due aux checkpoints Points de départ pour le dimensionnement Analyse du contenu du cache de données Requêtes pour inspecter le cache disque Résumé Configuration du serveur Modification de la configuration à la volée Valeurs par défaut et valeurs de réinitialisation Contextes de modification des paramètres Recharger le fichier de configuration Paramètres au niveau serveur Connexions aux bases de données max_connections Traces Nettoyage et collecte des statistiques Checkpoints Configuration des journaux de transactions PITR et réplication des journaux de transactions Paramètres clients Paramètres à éviter

7 Table des matières VII Configuration initiale d un serveur Les grandes lignes pour configurer un serveur dédié Les grandes lignes pour configurer un serveur mutualisé pgtune Résumé Maintenance Visibilité des transactions avec MVCC Calculs internes de visibilité Mises à jour Verrous de lignes et conflits de verrouillage Suppressions Avantages de MVCC Inconvénients de MVCC Rebouclage des identifiants de transactions VACUUM Implémentation de VACUUM Modèle de coût pour le VACUUM autovacuum Problèmes courants avec VACUUM et autovacuum Autoanalyze Dégénérescence des index Mesurer la dégénérescence des index Supervision détaillée des tables et index Supervision des traces d exécution des requêtes Configuration basique des traces de PostgreSQL Trace des requêtes lentes Analyse des journaux de traces Normalisation des requêtes pg_stat_statements

8 VIII Bases de données PostgreSQL pgfouine PQA pgsi mk-query-digest Résumé Tests de performances des bases de données Tests par défaut de pgbench Définition des tables Définition de l échelle Définition du script de requêtes Configuration du serveur de bases de données pour pgbench Exécuter pgbench manuellement Créer des graphes avec pgbench-tools Configuration de pgbench-tools Exemples de résultats avec pgbench Tests d extraction seule Tests du type TPC-B Analyse de la latence Sources de variation des performances et de mauvaises performances Version en développement de PostgreSQL Tests personnalisés avec pgbench Tests des performances en insertion Tests de performances du TPC Résumé Index Exemples d index Mesure statistique des blocs d index Exécution d un exemple Création du jeu de tests

9 Table des matières IX Recherche simple dans l index Parcours complet de table Création d un index Recherche avec un index inefficace Combiner des index Basculer d un parcours d index à un parcours complet Ordonner les valeurs de la table par rapport à un index Plan d exécution et compteur de blocs Création et maintenance des index Index uniques Création non bloquante d index Ordonner une table par rapport à un index Facteur de remplissage Ré-indexation Types d index B-tree Hash GIN GiST Utilisation avancée des index Index multicolonne Index pour le tri Index partiel Index fondé sur une expression Index pour la recherche plein texte Résumé Optimisation des requêtes Données pour les tests Pagila Dell Store

10 X Bases de données PostgreSQL Informations de bases sur EXPLAIN Surcharge du chronométrage Cache à froid et cache à chaud Structure d un nœud du plan d exécution Calcul du coût de base Outils d analyse de plan EXPLAIN visuel Affichage verbeux Affichage lisible par des programmes Outils d analyse de plan Assembler des ensembles de lignes Identifiant de ligne Parcours séquentiel Parcours d index Parcours d index bitmap Traitement des nœuds Tri Limite Agrégat HashAggregate Unique Result Append Group Parcours de sous-requêtes et de sous-plan Opérations sur des ensembles Materialize CTE Scan Jointures Jointure par boucle imbriquée (Nested Loop) Jointure d assemblage (Merge Join) Jointures de hachage (Hash Join)

11 Table des matières XI Statistiques Visualisation et estimation des statistiques Cibles statistiques Cas difficiles à estimer Autres paramètres du planificateur de requête effective_cache_size work_mem constraint_exclusion cursor_tuple_fraction Exécuter d autres types de requêtes Optimiser les requêtes Optimiser pour des données en cache Tester l équivalence des requêtes Désactiver les fonctionnalités du planificateur Contourner les bugs de l optimiseur Éviter un changement de plan avec OFFSET Problèmes externes Limitations du SQL Numéroter des lignes en SQL Utilisation des fonctions de fenêtrage pour la numérotation Utilisation des fonctions de fenêtrage pour calculer des cumuls Résumé Activité et statistiques de la base de données Vues statistiques Vues cumulatives et vues instantanées Statistiques sur les tables Entrées/sorties sur les tables Statistiques sur les index Entrées/sorties sur les index Cumuls par base

12 XII Bases de données PostgreSQL Connexions et activités Verrous Transactions virtuelles Interpréter les informations des verrous Attente des verrous de transactions Attente de verrous de table Tracer les informations sur les verrous Utilisation du disque Activités sur les tampons, le bgwriter et les checkpoints Sauvegarder des images de pg_stat_bgwriter Améliorer la configuration en utilisant les statistiques du bgwriter Résumé Supervision et tendances Outils de supervision Unix Configuration d exemple vmstat iostat top sysstat et sar Outils de supervision Windows Gestionnaire des tâches Windows System Monitor Logiciels d analyse de tendance Supervision et logiciels d analyse de tendance Nagios Cacti Munin Autres outils de tendance Résumé

13 Table des matières XIII 13 Pool de connexions et cache de données Le multiplexage de connexions Dimensionnement du pool de connexions pgpool-ii pgbouncer Cache externe de données memcached pgmemcache Résumé Montée en charge avec la réplication Hot Standby Terminologie Configurer l envoi des journaux de transactions Streaming Replication Configurer le Hot Standby Gestionnaires de file de réplication Slony Londiste Répartir les lectures Besoins spécifiques des applications Bucardo pgpool-ii Autres projets intéressants de réplication Résumé Partitionner des données Partitionner une table Déterminer la clé de partitionnement Dimensionner les partitions Créer les partitions

14 XIV Bases de données PostgreSQL Rediriger les instructions INSERT vers les partitions Plans d exécution de requêtes pour des partitions vides Trigger de mise à jour sur le changement de date Migration en directe d une table partitionnée Requêtes sur les tables partitionnées Créer des nouvelles partitions Avantages du partitionnement Erreurs habituelles avec le partitionnement Partitionnement horizontal avec PL/Proxy Génération de hachage PL/proxy GridSQL Résumé Éviter les problèmes courants Chargement en masse Méthodes de chargement Configuration pour les chargements en masse Éviter les écritures dans les journaux de transactions Récréer les index et ajouter les contraintes Restauration parallélisée Nettoyage post-chargement Problèmes courants de performance Compter les lignes Écritures inexpliquées Exécution lente des fonctions et requêtes préparées Tests de performances de PL/pgsql Surcharge importante causée par les clés étrangères Utilisation de la mémoire par les triggers Charge importante causée par le collecteur de statistiques Vues matérialisées

15 Table des matières XV Profiler la base de données gprof OProfile Visual Studio DTrace Fonctionnalités en relation avec les performances par version Mise à jour agressive d une version de PostgreSQL Résumé Index