MySQL 5.6. Performances et Tuning. MySQL Performances et Tuning. MySQL 5.6. Vincent TAHON

Transcription

1 Ce livre sur l exploitation des bases de données MySQL (versions 5.1 à 5.6) s adresse aux architectes et administrateurs de bases de données, aux chefs de projets techniques et bien entendu à tous les développeurs qui souhaitent utiliser de façon pertinente et efficace toutes les fonctionnalités de ce serveur et aussi écrire des requêtes optimisées. Le livre intègre les nouveautés de la version 5.6 et propose des solutions d analyses techniques pour permettre de tirer un maximum de performances de MySQL Server. L auteur décrit la méthodologie pour identifier les problèmes au niveau de l exécution de requêtes et décrit également comment analyser correctement le moteur de données pour le configurer de façon optimale (les besoins en mémoire / buffers et les besoins transactionnels, buffers logs / redo logs ) notamment avec le moteur InnoDB. Un autre aspect de l architecture MySQL repose sur l adéquation entre le besoin en données et le support physique adopté. L auteur propose donc au lecteur d apprendre à dimensionner correctement les mémoires nécessaires, à gérer le calibrage des I/O sur disques, par rapport à l architecture physique et au système d exploitation et enfin à configurer les exécutions en mode multi-thread en fonction du nombre de cores supportés par l environnement hôte. La haute performance est décrite avec la réplication bi-directionnelle ainsi que la haute disponibilité avec la mise en œuvre de solutions cluster système et du produit MySQL Cluster 7.3. Enfin, le besoin en données de type Big Data, de ressources dans un Cloud, sont autant de demandes auxquelles l auteur répond en présentant les solutions MySQL 5.6 existantes. Les scripts proposés en téléchargement sur le site sont des exemples de mises en œuvre des bonnes pratiques conseillées dans l ouvrage, notamment des scénarios d écriture de requêtes optimisées. Vincent TAHON est Architecte technique et applicatif, Expert en Bases de données. Il est certifié Oracle et MySQL et dispense tout le cursus officiel des cours MySQL auprès de professionnels en entreprise. En tant qu expert il réalise des audits de performances pour de grands comptes et des sites à haute valeur ajoutée sur des architectures MySQL complexes et hétérogènes. Cette double compétence, technique et pédagogique, lui permet de guider le lecteur sur des voies et solutions pour répondre aux enjeux de développetéléchargement ment des entreprises d aujourd hui. Sur : b Scripts d exemples. b Scénarios pour des requêtes optimisées. Pour plus d informations : 39 ISBN : Les chapitres du livre Avant-propos Introduction à MySQL Architecture MySQL Concept de performance Conception et analyse de performance Indexation Partitionnement Tuning des requêtes MySQL Cache et cache système Configuration de MySQL Server Caractéristiques avancées des objets MySQL Gestion d un moteur de stockage Moteur de stockage InnoDB Prise en compte de l environnement Haute performance MySQL (réplication) Haute disponibilité MySQL (cluster) MySQL et le Big Data - Performances et Tuning Performances et Tuning Performances et Tuning Vincent TAHON

2 Table des matières 1 Les éléments à télécharger sont disponibles à l'adresse suivante : Saisissez la référence ENI de l'ouvrage EI56MYS dans la zone de recherche et validez. Cliquez sur le titre du livre puis sur le bouton de téléchargement. Avant-propos Chapitre 1 Introduction à MySQL 1. Introduction Historique de MySQL Liste des produits MySQL Liste des environnements supportés Les certifications MySQL Documentation en ligne Chapitre 2 Architecture MySQL 1. Présentation de l'architecture MySQL Architecture client/serveur Programme client Programme non client Programme serveur Concept client/serveur Processus serveur Processus de connexion Couche de connexion Protocoles de communication

3 2 Performances et tuning 4. Concept de traitement d'information Processus SQL Couche SQL Concept des moteurs de stockage Présentation des moteurs de stockage Couche de stockage Concept des mémoires Présentation des mémoires dans MySQL Mémoire globale Mémoire de session Structure des mémoires Contrôle d'accès concurrentiel Explication du contrôle de cohérence Gestion des verrous Verrou de lecture et d'écriture Granularité des verrous Multiversion Concurrency Control Chapitre 3 Concept de performance 1. Terminologie Planification d'une analyse comparative Étudier les profils d'analyse Établir une tactique d'analyse Établir des résultats précis Étape de test de performances Définition des tests de performances Liste des tests de performances Diagnostiquer un problème Obtenir des informations Problème de tuning SQL Rôle de l'administrateur de données

4 Table des matières 3 5. Déployer des sessions de tests Capturer les performances du système d'exploitation Capturer les performances des applications Capturer les statuts du système de données MySQL Server Chapitre 4 Conception et analyse de performance 1. Liste des utilitaires de surveillance Utilitaires système Utilitaires MySQL Outils d'administration MySQL MySQL Administration MySQL Workbench Module de stress de base de données Présentation du stress de base Procédé système Utilitaire sysbench Utilitaire SAR Procédé MySQL Utilitaire MySQL sql-bench Utilitaire mysqlslap Savoir utiliser les types de données Déterminer le poids de stockage des lignes Évaluer le type de données dans une table Utiliser la procédure ANALYSE sur un jeu de données Commandes spécifiques de surveillance MySQL Surveiller les threads MySQL Surveiller les moteurs MySQL Surveiller l'activité des moteurs MySQL Surveiller le poids des moteurs MySQL Analyses des traces Traces de l'instance Traces des requêtes

5 4 Performances et tuning 7. Utilisation de MySQL Enterprise Monitor Description de MySQL Enterprise Monitor Fonctionnalités de MySQL Enterprise Monitor Fonctionnalités des systèmes Fonctionnalités des données Fonctionnalités de performances Fonctionnalités dans un Cloud Utilisation de Performance Schema Description de Performance Schema Installation de Performance Schema Relevé et analyse des captures Investigation de performances au niveau serveur Investigation de performances au niveau table Chapitre 5 Indexation 1. Qu'est-ce qu'un index? Présentation des types d'index Index B-Tree Index Hash Index R-Tree Index Bitmap Index FullText Stratégie de mise en œuvre d'un index Impact des index sur l'environnement base de données Stockage des index sur disque Mode de stockage des index sur moteur MyISAM Chargement des index en mémoire Coût de mise à jour des données Opérations sur les index Création d'un index Suppression d'un index Justification de mise en œuvre Principe de cardinalité Principe de sélectivité

6 Table des matières 5 4. Sélectivité d'un index Bonnes pratiques d'indexation Surveiller le Select_full_join Définir les clauses d'indexation Justification d'utilisation Utilisation d'un index Plan d'exécution Forcer l'utilisation d'un index Ignorer l'utilisation d'un index Modifier l'ordre du parseur SQL Coût de mise à jour des données Index et maintenance de table Prise en compte des buffers Reconstruction d'objet table Mise à jour des statistiques Vérification de mise à jour des statistiques Analyse des statistiques Mise à jour d un index Optimisation d'un index Justification d'un index Mise à jour en différé Désactiver la mise à jour automatique des statistiques Activer l'optimisation des index FullText Chapitre 6 Partitionnement 1. Qu'est-ce que le partitionnement? Quels sont les critères de mise en œuvre? Concept de partitionnement de données Augmenter les performances Description du partitionnement Fonctionnement Mécanisme Caractéristiques techniques du partitionnement Gestion des données partitionnées sur disque

7 6 Performances et tuning 3. Types de partitionnement Création d'un partitionnement vertical Création d'un partitionnement horizontal Méthodologie de création de partition Création de type Hash partition Création de type Key partition Création de type Range partition Création de type List partition Création de type Columns partition Création de type Linear partition Sous-partitionnement des données Partitionnement avancé et moteur de stockage Prise en charge des moteurs de stockage Partitionnement non applicable Manipulation des données partitionnées Sélection de données dans une partition spécifique Mécanisme de pruning partition Monitorer le partitionnement Informations sur le partitionnement Méthode Show Create Table Méthode Show Table Status Méthode Information_Schema Partition Méthode Explain Partition Surveiller la répartition des données Maintenance des tables partitionnées Activer le partitionnement de données Activer le partitionnement au niveau de l'instance Activer le partitionnement au niveau de la table Maintenance des partitions Ajout de partition Réorganisation de partition Reconstruction de partition Division (split) de partition Fusion (merge) de partitions Libération (coalesce) de partition

8 Table des matières Suppression de partition Supprimer le partitionnement des données Impact de performance des opérations de partition Chapitre 7 Tuning des requêtes 1. Qu'est-ce qu'une requête lente? Premiers pas dans l'optimisation SQL Collecter les requêtes de l'instance Analyse des requêtes journalisées Utilitaire d'analyse Analyse des requêtes collectées Contrôle des points d'optimisation Contrôler les paramètres clés Cacher les index Cacher les résultats des requêtes Surveiller la consommation mémoire Optimiser le modèle de requête Plan d'optimisation MySQL Query Optimizer Transformation des requêtes Exécution des requêtes Valoriser le coût des requêtes Contrôler les optimisations Paramètres système d'amélioration des requêtes Déterminer la valeur optimale du read_buffer_size Déterminer la valeur optimale du sort_buffer_size Paramètres hints d'amélioration des requêtes Statistiques Fonctionnement Échantillon des statistiques Mode de fonctionnement transitoire Mode de fonctionnement d'échantillonnage Mode de fonctionnement persistant

9 8 Performances et tuning 6.3 Mise à jour des statistiques Suivi des statistiques Analyse du plan d'exécution Optimisation des requêtes avec EXPLAIN Commande EXPLAIN au format traditionnel Commande EXPLAIN au format JSON Sous-requêtes Description des sous-requêtes Présentation des stratégies d'optimisation Optimisation traditionnelle Amélioration des sous-requêtes Paramètres d'optimisation des sous-requêtes Chapitre 8 MySQL Cache et cache système 1. Qu'est-ce que le cache et le Query Cache? Le cache des données système Les caches des données MySQL Le cache des requêtes MySQL Mécanisme de fonctionnement Gestion des données dans le Query Cache Configuration du Query Cache Le Query Cache est-il toujours nécessaire? Liste des paramètres Initialisation des paramètres Paramètre QUERY_CACHE_TYPE Paramètre QUERY_CACHE_SIZE Paramètre QUERY_CACHE_LIMIT Paramètre QUERY_CACHE_MIN_RES_UNIT Paramètre QUERY_CACHE_ALLOC_BLOCK_SIZE Paramètre QUERY_PREALLOC_SIZE Gestion et maintenance du Query Cache Activer le Query Cache Désactiver le Query Cache Vider le Query Cache

10 Table des matières Surveiller le Query Cache Surveiller le statut des variables du Query Cache Surveiller les performances Variables avancées du Query Cache Variable Qcache_free_blocks Variable Qcache_free_memory Variable Qcache_hits Variable Qcache_inserts Variable Qcache_lowmem_prunes Variable Qcache_not_cached Variable Qcache_queries_in_cache Variable Qcache_total_blocks Optimiseur et cache des données (SQL_CACHE) Prise en compte des limitations du Query Cache Monitorer la performance du Query Cache Déterminer le taux de remplissage du Query Cache Déterminer le taux de fragmentation du Query Cache Déterminer le pourcentage de requêtes en cache Déterminer le pourcentage de rotation du Query Cache Déterminer le pourcentage d'efficacité du Query Cache Chapitre 9 Configuration de MySQL Server 1. Configuration du serveur MySQL Initialisation des paramètres Démarrage de l'instance MySQL Prise en compte d'un chargement initial Configuration des paramètres de connexion Description du mode de connectivité Jeton de connectivité client Processus d arrière-plan : Listener Paramètres avancés de connexion Paramètre MAX_CONNECTIONS Paramètre MAX_USER_CONNECTIONS

11 10 Performances et tuning Paramètre MAX_CONNECT_ERRORS Paramètre SKIP_NAME_RESOLVE Paramètre MAX_ALLOWED_PACKET Paramètre SKIP_NETWORKING Surveiller les sessions de connectivité Surveiller les erreurs de connexion Configuration de l'utilisation mémoire Mémoire réservée pour le système d exploitation Mémoire nécessaire pour MySQL Cache des moteurs de stockage Cache des données MyISAM Cache des données InnoDB Mémoire nécessaire par connexion Description technique des buffers de sessions Calcul des buffers de sessions Allocation mémoire temporaire Mode de fonctionnement Caractéristiques techniques Calcul de l'efficacité du cache temporaire Gestion des I/O Files Prise en compte I/O de l'environnement Analyse des schémas de données MySQL Paramètre OPEN_FILES_LIMIT Vérifier la configuration de la description I/O Files utilisateur Paramètres du cache des tables Paramètre TABLE_OPEN_CACHE Paramètre DEFINITION_TABLE_CACHE Déterminer l efficacité du cache des tables Paramètres avancés sur les fichiers de structure InnoDB Configuration de la concurrence d'accès aux données Concurrence d'accès sur moteur MyISAM Concurrence d'accès sur moteur InnoDB Gestion des transactions Les transactions Niveaux d'isolation des transactions

12 Table des matières Phénomène de deadlock Journalisation des transactions Fonctionnement des transactions dans MySQL Paramètre AUTOCOMMIT Paramètre ISOLATION_LEVEL Verrouillage implicite et explicite Nouveautés Chapitre 10 Caractéristiques avancées des objets MySQL 1. Les objets pris en charge Les utilisateurs Description des utilisateurs Création des utilisateurs Fonctionnalités avancées de connectivité et d utilisation Gestion de la sécurité Paramétrages avancés d utilisation Les tables Stockage d une table Création avancée d une table compressée Prise en compte des clés étrangères Vues Fonctionnement Création de vue Création avancée d une vue Suppression de vue Requêtes préparées Pourquoi utiliser des requêtes préparées? Création d une requête préparée Exécuter une requête préparée Libérer une requête préparée Procédures stockées et fonctions Pourquoi utiliser des procédures stockées? Création d une procédure stockée

13 12 Performances et tuning 6.3 Création d une fonction Gestion des paramètres Exécuter une procédure stockée Supprimer une procédure stockée Triggers Pourquoi utiliser un trigger? Création d un trigger Gestion d événement Supprimer un trigger Prise en compte des limitations d un trigger Recherche fulltext Présentation du fulltext Création de colonne fulltext Création d index sur colonne fulltext Sélectionner des données fulltext Obtenir les métadonnées des objets Métadonnées des tables Métadonnées des procédures Métadonnées des triggers Métadonnées des vues Chapitre 11 Gestion d'un moteur de stockage 1. Définition d un moteur de stockage Liste des moteurs de stockage Principaux moteurs sous MySQL Liste des moteurs de stockage disponibles Moteurs de stockage disponibles en version Moteur de stockage MyISAM Description du moteur MyISAM Historique Caractéristiques techniques et fonctionnalités

14 Table des matières Fonctionnement Mécanisme de fonctionnement Gestion des données en mémoire Gestion des données sur disques Gestion des buffers MyISAM Paramètre KEY_BUFFER_SIZE Déterminer la taille optimale du Key buffer Déterminer le pourcentage d'occupation du Key buffer Déterminer de multiples Key Cache Surveiller le buffer MyISAM Surveiller la performance du buffer MyISAM Gestion des tables Création d'une table Déterminer la taille d'une table Maintenance et optimisation d'une table Compactage d'une table Informations détaillées d'une table Paramétrages avancés MyISAM Optimisation de la concurrence d'accès aux données Paramètre BULK_INSERT_BUFFER_SIZE Paramètre MYISAM_SORT_BUFFER_SIZE Paramètre MYISAM_STATS_METHOD Paramètre MYISAM-BLOCK-SIZE Paramètre KEY_CACHE_BLOCK_SIZE Paramètre TMP_TABLE_SIZE Moteur de stockage Memory Description du moteur Memory Présentation de Memory Caractéristiques techniques Principe d'utilisation Fonctionnement Mécanisme de fonctionnement Gestion des données en mémoire Gestion des données sur disque Gestion des buffers Memory Paramètre MAX_HEAP_TABLE_SIZE Surveiller le buffer Memory

15 14 Performances et tuning 4.4 Gestion des tables et index Création d'une table Déterminer la taille d'une table Maintenance et optimisation d'une table Persistance des données Memory sur disque Informations détaillées d'une table mémoire Utilisation d'un index Utilisation des moteurs de stockage secondaires Moteur de stockage Archive Présentation du moteur Archive Création d'une table Maintenance de la table Limites techniques du moteur Moteur de stockage CSV Présentation du moteur CSV Création d'une table Limites techniques du moteur Moteur de stockage Federated Présentation du moteur Federated Création d'une table Gestion des données Limites techniques du moteur Besoin d'un moteur transactionnel? Comparatif des moteurs de stockage MyISAM vs InnoDB Comparatif des fonctionnalités Comparatif des performances Quel avenir pour MyISAM? Chapitre 12 Moteur de stockage InnoDB 1. Description et utilisation du moteur InnoDB Description du moteur Historique Versions du moteur InnoDB Caractéristiques techniques du moteur

16 Table des matières Fonctionnement Mécanisme de fonctionnement Gestion des données en mémoire Gestion des données sur disque Configuration du moteur InnoDB Initialisation des paramètres Paramètre DEFAULT_STORAGE_ENGINE Paramètre INNODB_FILE_PER_TABLE Paramètre INNODB_FILE_FORMAT Paramètre INNODB_STRICT_MODE Prise en compte du plug-in InnoDB Installation du plug-in InnoDB Vérification du plug-in InnoDB Gestion des tables Création d'une table Maintenance et optimisation d'une table Compactage d'une table Gestion des buffers InnoDB Paramètre INNODB_BUFFER_POOL_SIZE Paramètre INNODB_ADDITIONAL_MEM_POOL_SIZE Paramètre INNODB_BUFFER_POOL_AWE_MEM_MB Déterminer l'efficacité du Buffer Pool Déterminer le pourcentage de pages libres Gestion des journaux InnoDB Fonctionnement de la journalisation Déterminer la taille optimale des journaux Déterminer le pourcentage d'occupation des fichiers Log Files Surveiller les Redo logs Paramètres InnoDB Log Paramètre INNODB_LOG_GROUP_HOME_DIR Paramètre INNODB_LOG_BUFFER_SIZE Paramètre INNODB_LOG_FILE_SIZE Paramètre INNODB_FLUSH_LOG_AT_TRX_COMMIT Paramètre INNODB_LOG_FILES_IN_GROUP

17 16 Performances et tuning 7. Gestion des segments d'annulation Le tablespace d'undo Paramètre INNODB_DATA_FILE_PATH Paramètre INNODB_UNDO_DIRECTORY Paramètre INNODB_UNDO_LOGS Paramètre INNODB_UNDO_TABLESPACES Surveiller les segments d'annulation Paramétrages avancés InnoDB Paramètre INNODB_BUFFER_POOL_INSTANCES Paramètre INNODB_CHANGE_BUFFER_MAX_SIZE Paramètre INNODB_IO_CAPACITY Paramètre INNODB_CHECKSUM_ALGORITHM Paramètre INNODB_DOUBLEWRITE Paramètre INNODB_FLUSH_METHOD Paramètre INNODB_USE_NATIVE_AIO Paramètre INNODB_XA_SUPPORTS Paramètre INNODB_THREAD_CONCURRENCY Paramètre INNODB_PURGE_THREADS Paramètre INNODB_READ_IO_THREADS Paramètre INNODB_WRITE_IO_THREADS Paramètre INNODB_MAX_DIRTY_PAGES_PCT Paramètre INNODB_OPEN_FILES Surveillance du moteur InnoDB Information InnoDB STATUS Informations sur les InnoDB MUTEX Surveillance de la journalisation Nouveautés du moteur InnoDB Nouveautés MySQL 5.7 du moteur InnoDB attendues

18 Table des matières 17 Chapitre 13 Prise en compte de l'environnement 1. Quelle architecture système? Prise en considération de l'environnement hôte Prise en compte du stockage (SAN, NAS, SSD, HDISK...) Présentation des systèmes de stockage Le SAN (Storage Area Network) Le NAS (Network-Attached Storage) Le SSD (Solid-State Drive) Description des types de RAID Prise en compte des processeurs (cores) Présentation des processeurs Architecture Threading Architecture SMP Architecture NUMA Prise en compte de la mémoire (RAM) Mémoire haute (RAM) Mémoire basse (SWAP) Mémoire disque (RAMDISK/RAMFS) Mémoire verrouillée (MEMLOCK) Configuration et optimisation du système d'exploitation Configuration de la couche réseau (Network) Performances du partitionnement système (filesystem) Présentation des systèmes de fichiers Caractéristiques techniques des systèmes de fichiers Configuration des systèmes de fichiers Performances des systèmes de fichiers Sauvegarde et restauration Sauvegarde MYSQLDUMP Restauration MYSQL

19 18 Performances et tuning 10. MySQL Enterprise Backup (MEB) Présentation de MEB Mise en œuvre Sauvegarde en ligne Sauvegarde complète Sauvegarde incrémentielle Restauration Chapitre 14 Haute performance MySQL (réplication) 1. Description de la réplication Présentation de la réplication des données Qu'est-ce qu'une réplication de données? Dans quels cas utiliser la réplication? Fonctionnement Mécanisme de fonctionnement Gestion des données en mémoire Gestion des données sur disques Conception d'architecture répliquée Prise en compte de l'environnement Architecture de réplication Concept de réplication Réplication maître/esclave Réplication maître/maître Mise en œuvre d'une réplication Configuration de la fonctionnalité MySQL Replication Préparation des environnements Configuration MySQL Server Préparation de l'environnement maître Préparation de l'environnement esclave Synchronisation des données à répliquer Relevé de position de l'environnement maître Sauvegarde des données de l'environnement maître Restauration des données de l'environnement esclave Positionner l'environnement esclave

20 Table des matières Démarrer la réplication Suivi des événements de réplication Paramétrages avancés de MySQL Replication Gestion des paramètres de réplication Paramètre SERVER-ID Paramètre AUTO_INCREMENT_INCREMENT Paramètre AUTO_INCREMENT_OFFSET Paramètre EXPIRE_LOG_DAYS Paramètre SLAVE_NET_TIMEOUT Gestion des paramètres des binlogs Paramètre SYNC_BINLOG Paramètre BINLOG_CACHE_SIZE Paramètre BINLOG_FORMAT Paramètre BINLOG-IGNORE-DB Gestion des paramètres des relaylogs Paramètre REPLICATE-IGNORE-DB Paramètre REPLICATE-DO-DB Optimisation des paramètres de réplication Présentation des points de contrôle de réplication Paramètre BINLOG_CHECKSUM Paramètre MASTER_VERIFY_CHECKSUM Paramètre SLAVE_SQL_VERIFY_CHECKSUM Amélioration de la réplication en mode ROW Gestion du parallélisme de réplication Augmenter la capacité avec la réplication multithread Paramètre SLAVE_PARALLEL_WORKERS Surveiller les serveurs de réplication Monitorer l'environnement maître Information du statut Master Surveiller les sessions de réplication Monitorer l'environnement esclave Information du statut Slave Surveiller les threads esclaves Surveiller le parallélisme du travail Informations basiques de réplication esclave Information de la réplication en provenance du maître Information de la réplication mise à jour esclave