Audit et optimisation MySQL 5

Transcription

1 Audit et optimisation MySQL 5 Bonnes pratiques pour l administrateur Pascal Borghino Olivier Dasini Arnaud Gadal Groupe Eyrolles, 2010, ISBN :

2 Table des matières CHAPITRE 1 Gérer une situation d urgence avec MySQL... 1 À chaque degré d urgence sa panoplie d outils Temps de résolution : dix minutes Étape 0 : informez et communiquez! Ne restez pas seul et discutez avec d autres administrateurs Consultez les informations système : journal d erreurs, activités disques et processeur Tentez de vous connecter à la base ATTENTION Précautions à prendre avec une table MyISAM corrompue ASTUCE Défilement page par page pour SHOW FULL PROCESSLIST À SAVOIR Éviter l empilement des requêtes et décrypter le SHOW PROCESSLIST REMARQUE Se référer aux chapitres concernés Supprimer les requêtes les plus lourdes PRATIQUE Supprimer des requêtes rapidement Éviter que l authentification des utilisateurs repose sur un DNS : l erreur unauthenticated user Consulter son système de surveillance Tranche de vie d une campagne marketing improvisée Temps de résolution : une heure La chasse aux requêtes lentes À LIRE Un chapitre consacré à l étude des journaux Réécrire les requêtes trop coûteuses ASTUCE Les tables statiques à la rescousse Les problèmes de réplication Temps de résolution : une journée LIRE Chapitre 8 consacré à la réplication PRATIQUE Un problème peut en cacher un autre Conseils généraux face à l urgence Tirer profit du passé Anticiper les problèmes ATTENTION Modifications à chaud, en production

3 XII MySQL 5 Audit et optimisation L entraînement à l urgence Enregistrer les données de l incident L état d esprit à adopter dans l urgence Trouver de l aide CHAPITRE 2 Choisir son serveur MySQL La mise à jour matérielle, une étape nécessaire? Les questions à se poser ASTUCE Identifier les goulets d étranglements ASTUCE Optimiser son serveur JARGON Scaling up, scaling out et scaling back Du 64 bits oui... mais partout! Limites des systèmes 32 bits ATTENTION Ne soyez pas trop gourmands! RESSOURCES EN LIGNE Davantage de détails sur l adressage mémoire Choisir ses processeurs État des lieux Les solutions face aux problèmes de montée en charge JARGON Architecture SMP vs NUMA REMARQUE La compétition omniprésente entre les différents acteurs À LIRE ÉGALEMENT Choisir son processeur : les critères de choix Quelle est l utilisation actuelle de vos processeurs? À SAVOIR MySQL et la gestion des threads Fréquence vs nombre de cœurs JARGON OLTP, OLAP : deux catégories de systèmes à gérer différemment Benchmarks, encore et toujours À LIRE ÉGALEMENT Mesurer les performances de son système RAPPEL Configurer son serveur MySQL ASTUCE Pour aller plus loin Choisir ses disques et son système RAID À SAVOIR Temps d accès mémoire vs temps d accès disques Temps d accès versus taux de transfert À RETENIR Lecture/écriture aléatoire ou séquentielle La technologie RAID ATTENTION La réplication et la montée en charge des écritures Les principaux niveaux de RAID REMARQUE Les opposants au RAID RESSOURCES EN LIGNE D autres niveaux de RAID existent Les deux implémentations du RAID : logicielle et matérielle REMARQUE Carte contrôleur RAID, force et faiblesse à la fois

4 Table des matières XIII Intérêt du cache sur une carte contrôleur RAID RAPPEL Le cache de requêtes en amont de la carte RAID BON À SAVOIR Les outils pour vérifier les réglages de sa carte contrôleur Indispensable batterie EN PRATIQUE Durée de vie de la batterie d une carte RAID Le cache interne des disques : une arme à double tranchant JARGON innodb_flush_method = O_DIRECT À LIRE ÉGALEMENT Les SSD : futur hit? MySQL et la mémoire Comment MySQL utilise-t-il la mémoire? CHAPITRE 3 Les moteurs de stockage Mécanismes d un moteur de stockage Installation et suppression d un moteur ATTENTION Suppression d un moteur de stockage utilisé par une table Les forces en présence : moteurs utilisé par l application B.A.-BA Créer ses tables à partir de l existant CONVENTIONS TERMINOLOGIQUES Base de données, serveur, instance, schéma Les critères de choix d un moteur Moteurs disponibles : InnoDB, MyISAM, Merge, Memory, Archive Le moteur InnoDB B.A-BA Les propriétés ACID BON À SAVOIR Le MVCC ASTUCE Sortir une table d un tablespace partagé POUR ALLER PLUS LOIN MyISAM Mécanismes internes de MyISAM et formats de stockage B.A.-BA Chaud, froid ou tiède? RAPPEL Mécanisme d une commande ALTER TABLE Le moteur MERGE pour agréger plusieurs tables MyISAM Le moteur MEMORY (anciennement HEAP) Le moteur ARCHIVE pour un archivage compressé Autres moteurs XtraDB Falcon Federated Example Blackhole CSV

5 XIV MySQL 5 Audit et optimisation IBMDB2I NDB (Network Database) Moteurs communautaires et autres Maria PBXT BLOB Streaming Engine (MyBS) Mdbtools Kickfire TokuDB Spider Rethinkdb CHAPITRE 4 Surveiller son serveur MySQL Où trouver les informations pertinentes? Variables système et variables de statut DÉFINITION Variables système ou de statut ALTERNATIVE Récupérer les variables système ou de statut Quels outils choisir? À SAVOIR Variables système et my.cnf ATTENTION Une valeur peut en cacher une autre À SAVOIR Différence entre un client et un outil MySQL Intérêt des outils de surveillance B.A.-BA key_buffer_size Outils et commandes fournis par MySQL ATTENTION Variables globales vs variables de session Catégorie General B.A.-BA MySQL vs mysqld ASTUCE Les jokers dans les commandes MySQL : % et _ LE SAVIEZ-VOUS Deux descripteurs de fichiers pour une table MyISAM Catégorie Performance À SAVOIR Le cache de requête (Query Cache ) RAPPEL Le cache MyISAM RAPPEL À SAVOIR Ajuster la taille du cache d index ATTENTION Sortir un serveur client de la liste noire d un serveur MySQL À SAVOIR Droits nécessaires aux commandes SHOW STATUS et SHOW VARIABLES.. 99 ASTUCE Optimiser et analyser une requête avec USE INDEX/IGNORE INDEX La commande SHOW ENGINE INNODB STATUS À SAVOIR Différence entre mutex et sémaphores ASTUCE Créer un deadlock délibéré À LIRE ÉGALEMENT Le MVCC

6 Table des matières XV INFORMATION_SCHEMA Connaître et savoir exploiter les outils de surveillance Qu est-ce que la performance? À LIRE Technologie du disque LVM : la gestion des volumes logiques JARGON Transactionnel et cohérence, quelles différences? B.A.-BA Les différents types de sauvegardes (backups) Étude de cas : analyse d un serveur MySQL RAPPEL write-through/write-back Mesurer l activité du serveur Les outils système La commande iostat La commande vmstat Les commandes netstat et mpstat ALTERNATIVE oprofile, dtrace, fincore et filefrag Outils d audit : MySQLTuner et mysqlreport ASTUCE Surveiller son serveur à distance Outils d analyse temsp réel : mytop, mtop, innotop et maatkit Évaluer les performances d un système JARGON Le smoke test, un test aux limites MÉTHODE Dimensionnement : les bons tests Bien dimensionner un système (capacity planning) À SAVOIR La notion de seuil À LIRE La montée en charge matérielle À LIRE Pour aller plus loin dans le domaine CHAPITRE 5 Exploiter les journaux de MySQL Le journal des erreurs ASTUCE Rotation des journaux avec logrotate Identifier et résoudre les problèmes Modifier le tablespace ou les journaux d InnoDB Paramètre incorrect dans le fichier de configuration Erreurs liées à la réplication Erreurs diverses ATTENTION Effets de bord de l option myisam_recover Le journal des requêtes lentes Principe de fonctionnement ATTENTION Effets de bord de l option log_queries_not_using_indexes ALTERNATIVE Autres outils d analyse Journaliser dans une table

7 XVI MySQL 5 Audit et optimisation Le journal général des connexions et requêtes Exemples d utilisations de la journalisation générale? La journalisation binaire REMARQUE L option sync_binlog peut avoir un impact sur les performances TRANCHE DE VIE La technique de Point In Time Recovery en pratique REMARQUE Taille du journal binaire en fonction du mode de journalisation Bonnes pratiques CHAPITRE 6 Optimiser sa base de données : du schéma aux requêtes Conception de la base de données Normalisation/dénormalisation BON À SAVOIR La normalisation OUTILS Logiciels de modélisation Ajouter des colonnes dans une table Création de tables d agrégation Création de schémas orientés Des types de données ajustés MÉTHODE Un type optimal à un moment donné Les jointures Les index Index B-tree B.A.-BA BON À SAVOIR Index Fulltext (Plaintext) Index B+tree BON À SAVOIR La table de hachage Index hash ALTERNATIVE Optimisation des requêtes Connaître l optimiseur pour mieux le comprendre B.A.-BA La sélectivité BON À SAVOIR Optimiseurs à base de règles ou de coût (cost based ou rules based) La commande EXPLAIN pour analyser l exécution des requêtes PRATIQUE Visualiser le plan d exécution d un DELETE ou d un UPDATE REMARQUE Attention à la fonction RAND() OUTILS Représentation graphique du plan d exécution avec Maatkit BON À SAVOIR Optimisation des index et réorganisation des tables avec ANALYSE TABLE et OPTIMIZE TABLE Exemple d optimisation d un plan d execution Indexer les premiers caractères d une colonne Index couvrant (covering index)

8 Table des matières XVII Préfixe d index (leftmost prefix indexes) BON À SAVOIR Pas de préfixes d index pour les index hash Taille des index Récapitulatif des bonnes pratiques d optimisation des requêtes Découper les requêtes complexes en plusieurs plus simples CHAPITRE 7 Optimiser son serveur mysql Tuning serveur : variables de session, variables globales, handlers VOCABULAIRE Cache et buffer (tampon) Les variables de session read_buffer_size read_rnd_buffer_size sort_buffer_size join_buffer_size tmp_table_size et max_heap_table_size Les variables globales au serveur Le cache de table Le cache de thread Table_locks_immediate et Table_locks_waited Aborted_clients Aborted_connects Les handlers Exemple d optimisation d une requête Les droits des utilisateurs Optimisations pour InnoDB, MyISAM et MEMORY Optimisation InnoDB Optimisation MyISAM Cache d index multiples Optimisation Memory ATTENTION Limiter la taille des tables RAPPEL Limitations du moteur Memory Le cache de requêtes (query cache) Gestion du cache de requêtes ATTENTION Taille du cache de requêtes Le partitionnement Le partitionnement par RANGE Le partitionnement par LIST Le partitionnement par HASH Le partitionnement par KEY Partitionner sur différents disques

9 XVIII MySQL 5 Audit et optimisation Partitionner sur différents disques avec MyISAM BON À SAVOIR Évolution du partitionnement CHAPITRE 8 La réplication MySQL Introduction à la réplication Intérêt de la réplication Le dimensionnement horizontal (scale out) La sauvegarde à chaud (hot backup) Le basculement automatique (Failover) Redondance géographique Le cas du décisionnel Tester une nouvelle version de MySQL À l intérieur de la réplication Mise en place de la réplication Configuration du maître ATTENTION Mot de passe en clair BON À SAVOIR Filtrage des données répliquées Configuration de l esclave REMARQUE Mettre à jour l esclave avant le maître ATTENTION Ancienne méthode de configuration Configuration avancée de l esclave Commandes de la réplication Sur l esclave ATTENTION Conséquences d un RESET SLAVE ASTUCE Comment savoir si le serveur esclave a du retard? La commande SHOW SLAVE STATUS Sur le maître ASTUCE Déconnexion d un serveur esclave ATTENTION RESET MASTER peut casser la réplication Problèmes liés à la réplication IO_THREAD stoppé SQL_THREAD stoppé DANGER Ignorer les erreurs peut provoquer des incohérences BON À SAVOIR Tables temporaires et réplication Architectures de réplication avancées REMARQUE MySQL Cluster Dual master en actif/passif DANGER Une réplique n est pas une sauvegarde Configuration OUTILS Supervision des serveurs

10 Table des matières XIX Exemple : switchover pour une mise à jour online des serveurs MySQL Récapitulatif ALTERNATIVE Commencer par le maître Dual master en actif/actif Récapitulatif Réplication circulaire (nombre de réplications > 2) Esclave relais Configuration Récapitulatif Partitionnement adapté au décisionnel Configuration Récapitulatif Bonnes pratiques À SAVOIR Le sharding CHAPITRE 9 Où trouver de l aide? Trouver de l aide en urgence Les ressources internes Les ressources externes Les moteurs de recherche Le support officiel MySQL Les organismes externes Trouver de l aide hors contexte d urgence Formations Où poser votre question? L association LeMug Les blogs Les forums et mailing-lists MySQL officiels Aller plus loin et enrichir ses connaissances La blogosphère de la communauté Les séminaires web Outils et sources de MySQL La conférence MySQL Les certifications Index