Tests de performance du matériel

Transcription

1 3 Tests de performance du matériel Après toute la théorie du dernier chapitre, vous vous demandez certainement quelles sont les performances réelles de votre propre système. En fait, il y a plusieurs raisons pour réaliser vos propres mesures. Soyez méthodique sur le traitement des performances en mesurant les performances vous-même, vous en tirerez une meilleure connaissance des bonnes et des mauvaises performances. Cela peut en plus vous aider à découvrir certains problèmes assez subtiles. Ensuite, les disques sont la cause de problèmes courants pour les performances des bases de données. Si vos disques sont lents, ce qui peut arriver pour de multiples raisons, votre base de données le sera aussi. Et lorsque cela arrive, il est important d avoir des données précises pour comprendre si le problème vient du matériel ou du logiciel. Le but d un test basique du matériel est de rechercher les erreurs grossières au niveau de sa configuration et non pas d analyser tous les paramètres possibles. Les vrais problèmes que vous devez régler sont vraiment les plus évidents. Ensuite, une optimisation plus fine est plutôt réalisée sur la base de données.

2 42 Bases de données PostgreSQL Tests des processeurs et de la mémoire Le premier matériel à tester sur un nouveau système est la mémoire car si la mémoire est lente, les processeurs et les disques vont en souffrir. C est un point essentiel car le travail du serveur de bases de données implique fortement ces deux composants. PostgreSQL utilise des pages de 8 ko pour les données. Il passe son temps à lire et écrire des pages en mémoire pour répondre aux requêtes. Et rechercher dans ces pages les lignes qui permettent de répondre à ces requêtes demande de la puissance de la part du processeur. Même sur les tests de performance qui ciblent une activité disque importante, la vitesse de la mémoire peut avoir un effet essentiel sur les résultats. memtest86+ memtest86+ est un outil que chaque testeur de matériel doit avoir dans sa trousse à outils. Ce programme a pour but principal de rechercher les erreurs intermittentes sur la mémoire des PC. C est d ailleurs un excellent programme pour tester un nouveau matériel et s assurer qu il fonctionne comme vous le souhaitez. Vous pouvez télécharger memtest86+ directement depuis son site web, memtest.org/, et créer un CD bootable pour exécuter ce programme. Notez qu il est maintenant inclus comme option de démarrage pour plusieurs distributions Linux, sur le média d installation et lors du démarrage du PC après installation. Par exemple, les CD d installation de la distribution Ubuntu incluent la dernière version de memtest86+ au moment de la sortie de version de la distribution. Et si le programme ne reconnaît pas complètement votre processeur, il existe probablement une nouvelle version plus satisfaisante. Une fois que vous avez démarré le programme à partir d un CD, memtest86+ affiche la vitesse des différentes mémoires, pour chacun des niveaux de cache qu il identifie. La plus utile est la valeur en Mo/seconde indiquée sur la ligne Memory:. Elle correspond à la vitesse maximale de la mémoire vive et permet de confirmer que les performances correspondent aux spécifications du matériel. C est donc un moyen rapide pour confirmer ses performances et sa stabilité si vous ajustez la fréquence de la mémoire ou des processeurs pour tenter une amélioration des performances. Le problème de ce programme est qu il réclame un accès physique au système en cours d exécution, ce qui n est pas toujours pratique. Comme memtest86+ n exécute qu un programme pour tester la mémoire, la vitesse totale rapportée n est pas réellement représentative des capacités des processeurs modernes. Pour cela, vous aurez besoin de STREAM. Ce dernier présente en plus l intérêt de pouvoir être exécuté à distance.

3 Chapitre 3 Tests de performance du matériel 43 Tests mémoires STREAM STREAM est un outil qui permet de tester la bande passante de la mémoire. Il a été créé pour tester les systèmes hautes performances dédiés au calcul scientifique. Le programme est hébergé sur et ce site propose également des exemples de rapports fournis par le programme. Le projet STREAM fournit des binaires pour plusieurs plates-formes, y compris Windows. Le binaire disponible pour Linux n a pas bien fonctionné sur mon système. De plus, STREAM teste seulement la bande passante maximale du système. Le programme vous permet de connaître la bande passante mémoire atteinte par un seul processus, ce qui est une information qui peut vous intéresser en tant qu utilisateur de PostgreSQL. Comme chaque requête n est exécutée que sur un seul processeur avec PostgreSQL, si le débit atteint est bas, vous pourriez être frustré en découvrant la lenteur de chaque requête, même sur un serveur peu, voire pas chargé. Pour travailler sur ces problèmes à partir de systèmes Linux, j ai écrit un script appelé stream-scaling qui est disponible sur Il télécharge le programme, mesure la quantité totale de mémoire cache sur tous les processeurs systèmes. Et il compile automatiquement STREAM pour utiliser une valeur plus importante à la quantité de mémoire cache disponible. Ensuite, il boucle en créant d abord un thread actif (donc exécuté sur un seul cœur a priori) puis il en crée d autres jusqu à ce que tous les processeurs du serveur soient utilisés. Même si vous aimez cette idée, il faudra du temps pour créer votre propre banque de données de référence sur ces performances. J ai mis à disposition sur le site une partie des données que j ai pu établir à partir des systèmes que j ai testés. Elles sont également accompagnées de quelques exemples. STREAM et Intel contre AMD Le Tableau 3.1 fournit les vitesses rapportées par STREAM par processeur/mémoire vive pour quelques serveurs testés, au fur et à mesure que le nombre de cœurs utilisés augmente. Tous les systèmes sont des systèmes Intel, sauf celui utilisant des processeurs Opteron (disposant de huit supports pour processeurs, avec six cœurs par processeur). La mémoire vive utilisée ici est de la DDR RAM (acronyme de Double data rate synchronous dynamic random access memory). Les deux principaux standards actuellement utilisés sont de la DDR2 et de la DDR3. La colonne DDR RAM indique le standard utilisé et la fréquence du bus mémoire.

4 44 Bases de données PostgreSQL Les mesures de débit affichées sont exprimées en méga-octets par seconde : Tableau 3.1 : Vitesse des couples processeur/mémoire collectés par STREAM Processeur Cœurs Fréquence (GHz) DDR RAM 1 cœur 2 cœurs 4 cœurs Tous les cœurs T / Q / Opteron 8431 (8 X 6) / Xeon E / i / Ce tableau montre clairement les limites de la bande passante disponible pour chaque cœur de tous les systèmes testés, par rapport à la bande passante totale du système. Ce problème en particulier se ressent plus sur AMD que sur Intel. Même si le système AMD arrive à obtenir un débit maximal de 27 Go/s en pleine charge, un seul processus arrive à peine à un débit de 4 Go/s. C est pour cette raison qu il n y a pas plus de processeurs AMD dans cette liste. De mi-2008 à mi-2010, AMD était considérablement en retard sur Intel concernant la techno logie de la mémoire pour les systèmes dotés d un nombre restreint de supports pour processeur. Ce qui m a poussé à les boycotter lors de mes récents achats. Notez le saut de performance important pour les résultats pour un seul cœur à partir des processeurs de la série Intel Ce saut correspond à l introduction de la série Nehalem qui est passée à de la RAM DDR3 plus rapide, parmi d autres améliorations majeures concernant la mémoire. C est ce qui a poussé Intel sur le devant de la scène pendant deux bonnes années. Un excellent graphe montrant l étendue de la fracture en termes de performances de la mémoire à la suite de ce changement est disponible sur Vous pouvez y voir des résultats complets, notamment le pas de géant qui est réalisé avec la série Intel 5500 comparé aux précédentes conceptions d Intel et à toutes les conceptions d AMD utilisant encore de la DDR2. Comme indiqué dans le chapitre précédent, la vitesse de la mémoire n est pas fondamentale si elle est extrêmement chère ou si la limite provient réellement de la vitesse de vos disques. Mais cela explique pourquoi les serveurs sur lesquels j ai le plus de données sont tous basés sur la technologie d Intel.

5 Chapitre 3 Tests de performance du matériel 45 Mais AMD a répliqué récemment. Les derniers processeurs AMD disponibles font partie de la série 6100 avec 8 ou 12 cœurs et s appuient sur leur nouvelle architecture Magnys-Cours. Ces processeurs atteignent pratiquement les performances des processeurs Intel, y compris dans l utilisation de la RAM DDR3. Comme les générations précédentes, l architecture d AMD est prévue pour supporter un grand nombre de processeurs et beaucoup de mémoire. Le matériel d Intel destiné aux serveurs est plus ciblé pour les systèmes composés d un ou deux sockets alors que les serveurs AMD avec quatre sockets ou plus sont plus faciles à trouver. Des tests préliminaires sur cette nouvelle architecture suggèrent que la bande passante de la mémoire pourrait être toujours légèrement inférieure à celle des processeurs Intel avec un nombre restreint de cœurs. Vérifiez le site de stream-scaling pour les dernières mises à jour sur les processeurs testés sur cet aspect particulier de leur performance. Mais vous devez également collecter vos propres statistiques! Tests des processeurs Il est assez complexe de trouver un test de performance des processeurs qui soit suffisamment représentatif des performances du serveur de bases de données, ce qui est bien plus utile qu un test des performances brutes des processeurs. Vous pouvez assez facilement créer des tests de performance des processeurs orientés pour PostgreSQL en utilisant l outil psql et sa fonctionnalité \timing qui vous indique la durée d exécution de chaque requête. Voici un test des processeurs et de la mémoire qui ajoute un million de nombres entiers grâce à la fonction generate_series() : \timing SELECT sum(generate_series) FROM generate_series(1, ); Voici ensuite un autre test, plus complexe, qui nécessite des accès disques, en plus de stresser les processeurs et la mémoire, en fonction évidemment de la quantité de mémoire vive qui équipe votre serveur : \timing CREATE TABLE test (id INTEGER PRIMARY KEY); INSERT INTO test VALUES (generate series(1,100000)); EXPLAIN ANALYZE SELECT COUNT(*) FROM test; La durée de l insertion et la durée du comptage sont deux informations intéressantes. Le comptage inclut aussi une charge assez intense pour le processeur et la mémoire pour mettre à jour les informations de statut des transactions (hint bits) qui sont utilisées pour calculer la visibilité des données. Reportez-vous au Chapitre 7 pour plus d informations sur ce dernier sujet. Mais rappelez-vous que le but de vos tests des performances des processeurs n a pas pour but d avoir une vision complète des performances dans tous les cas de figure.

6 46 Bases de données PostgreSQL Vous devez vous assurer que les performances obtenues correspondent aux performances d un matériel similaire. Dans le cas d une mise à jour matérielle, il faut s assurer que les performances du nouveau matériel dépassent celles de l ancien. Le Chapitre 8 fournit des exemples plus utiles sur les capacités des processeurs. L exécution d un test portant uniquement sur des ordres SELECT avec pgbench configuré pour simuler plus de connexions clientes que le serveur ne possède de cœurs est un bon moyen pour déterminer si vos processeurs fournissent les performances attendues. Pour ce test, faites en sorte que les données tiennent en mémoire pour ne pas être ralenti par des lectures sur disque. C est le meilleur moyen que je connaisse pour évaluer les performances d un nouveau processeur. Notez aussi que l outil pgbench, fourni avec les versions antérieures à la 9.0, pouvait être lui-même un point de contention majeur. Là encore, vous trouverez plus de détails au Chapitre 8. Les sources de lenteur des processeurs et de la mémoire Si votre mémoire ne semble pas aussi rapide qu elle le devrait ou si les résultats de vos tests sur les processeurs vous semblent suspects, différents points doivent être vérifiés pour en comprendre les raisons. La mémoire est généralement conçue pour travailler dans une configuration à double canal. Les barrettes mémoire doivent être placées par paire dans des emplacements spécifiques. Si cette configuration n est pas respectée, vous allez diviser la vitesse de la mémoire par deux. Memtest86+ arrive à détecter ce cas de figure. Le BIOS du serveur est aussi parfois capable de vous prévenir si vous recherchez cette information. La mémoire de mauvaise qualité peut être la cause d une perte de performances assez importante. Cependant, ce n est pas parce que la mémoire dans votre serveur est rapide que la carte mère en tire automatiquement avantage. La configuration par défaut de certains systèmes est parfois assez conservatrice. Actuellement, votre système doit rechercher les informations SPD (Serial Presence Detect) fournies par votre mémoire vive pour déterminer sa vitesse nominale. Là encore, par défaut, ce n est pas forcément configuré pour obtenir des performances optimales. Une configuration manuelle peut se révéler nécessaire. Les mémoires récentes de hautes performances destinées aux systèmes bureautiques utilisent un nouveau standard partageant le même but, le protocole XMP (pour Extreme Memory Profile) qui communique sa vitesse maximale au BIOS lors du démarrage. Si votre BIOS n est pas configuré pour vérifier et utiliser le standard XMP, votre mémoire ne sera pas utilisée au maximum. Vous devriez trouver la vitesse de votre mémoire, qui est exprimée sur la forme d une série de valeurs de synchronisation.

7 Chapitre 3 Tests de performance du matériel 47 Par exemple, le système Intel i7 860, dont nous avons déjà parlé, a les valeurs avec de la mémoire DDR La carte mère n utilisait pas ces valeurs avant que je ne les configure moi-même. Et ce n est pas parce que votre fournisseur devrait le faire pour vous que vous devez ignorer complètement ce problème. C est une étape qu il est facile d oublier et par conséquent de fournir un matériel avec des performances dégradées. Un autre problème fréquent est d utiliser une mémoire qui ne fonctionne pas bien avec la fréquence d horloge du processeur. La fréquence des processeurs est souvent verrouillée sur des multiplicateurs relatifs à la fréquence du bus système. La carte mère entre dans un jeu de négociation complexe entre le processeur et la mémoire pour trouver un dénominateur commun pour la fréquence. Par exemple, un de mes anciens systèmes supportait soit la mémoire DDR2-667 soit la mémoire DDR2-800, pour une horloge à 333 ou 400 MHz. Le processeur fonctionnait à 2,4 GHz et supportait une combinaison limitée de multiplicateurs. Il s est avéré que, si j utilisais de la mémoire DDR2-667, la fréquence commune trouvée par la carte mère correspondait à un bus mémoire à 300 MHz, avec un processeur utilisant un multiplicateur 6x. Donc la mémoire était utilisée à 10 % en dessous de sa capacité nominale. L utilisation d une mémoire DDR2-800 a permis le passage à une fréquence d horloge de 400 MHz, et un multiplicateur 6x pour le processeur. Ce gain représente un saut de 33 % dans la fréquence de la mémoire. Les performances globales du système ont augmenté de façon proportionnelle. En plus d une configuration correcte de la mémoire et des multiplicateurs, la gestion de la puissance du processeur est une source de problèmes en constante augmentation lors des tests de matériels. Actuellement, la plupart des systèmes sont configurés par défaut pour une utilisation modeste, voire agressive, de la gestion de la consommation électrique du processeur. C est un problème courant sous Linux par exemple. Le meilleur moyen de s en rendre compte est de regarder la vitesse du processeur dans /proc/cpuinfo. Une valeur de 1 GHz correspond généralement à des résultats lents sur certains tests de performances. En général, vous ajusterez plutôt la configuration du gouverneur CPU. Vous obtiendrez ainsi de meilleures performances plutôt que de baisser la consommation d énergie du système, tout du moins le temps des tests. Les détails exacts de cette configuration dépendent de votre distribution Linux. Vous pourrez ensuite revenir à une configuration qui optimise plutôt la consommation d énergie aux dépens des performances. Mais vous ne pourrez le faire qu après avoir confirmé que les performances de votre matériel sont bonnes lorsque vous aurez besoin d utiliser toute sa puissance.

8 48 Bases de données PostgreSQL Tests des disques Un grand nombre d informations essentielles ont déjà été mentionnées concernant les performances des disques. Cependant, si vous voulez récupérer des tests de performance intéressants pour les disques, vous devez en savoir plus sur leurs caractéristiques physiques. Nous allons donc dans un premier temps discuter de la théorie. Ensuite, nous montrerons des exemples de mesures réelles qui montrent certains comportements que vous pourrez observer plus tard. Accès aléatoire et entrées/sorties par seconde Les fournisseurs d équipement de stockage aiment parler en termes d entrées/sorties par seconde ou IOPS (Input/Output per Second). Si vous voulez acheter un SAN, attendez-vous à donner le nombre d IOPS que vous voulez au total et par disque (spindle). Le fournisseur vantera son matériel en donnant de nombreuses mesures en unité IOPS. Ce nombre représente la performance typique du disque pour une charge impliquant de nombreux déplacements des têtes de lecture. Malheureusement, ce type de mesure n a que peu d intérêt pour évaluer les performances du disque pour un serveur de bases de données. Habituellement, les bases de données mélangent de façon assez complexe les entrées et les sorties, par l intermédiaire éventuelle d un cache disque : des lectures séquentielles, déplacements de la tête de lectures et enregistrements se réalisent de manière concurrente ces accès sont loin du schéma d accès établi par les fournisseurs. Il est très simple de calculer l IOPS pour un disque unique. Il suffit de récupérer les spécifications techniques du constructeur pour votre disque. Elles donnent des informations détaillées. Par exemple, le disque Seagate Momentus utilisé dans les exemples de ce chapitre a les spécifications suivantes : Vitesse de rotation du disque : tours/min (RPM pour l acronyme anglais). Latence moyenne : 4,17 ms. Temps d accès pour une lecture aléatoire ou seek time : 11,0 ms. Ainsi, chaque accès disque nécessite : de rechercher la bonne piste sur le disque (c est le temps d accès pour une lecture aléatoire) ; d attendre que le secteur à lire se trouve sous la tête de lecture (c est la latence moyenne).

9 Chapitre 3 Tests de performance du matériel 49 La latence moyenne indiquée ici représente la latence due à la rotation. Elle sera toujours égale à la moitié du temps de rotation du disque. Dans le cas de ce disque, tours/min signifie qu une rotation a lieu tous les 1/120 de seconde. Autrement dit, une rotation toutes les 8,33 ms. Comme, en moyenne, vous n attendrez pas une rotation complète, la moyenne utilisée correspond à la moitié de cette valeur. Tous les disques tours/min ont le même temps de latence moyen. En revanche, les temps d accès varient suivant la taille du disque, sa qualité et d autres facteurs du même type. L IOPS est une mesure du temps moyen nécessaire pour ces deux opérations (le temps d accès et la latence due à la rotation). Elle est ensuite inversée pour représenter un taux au lieu d une durée. Pour ce disque, en particulier, ce taux est calculé de la manière suivante : Latence de rotation RL = 1 / RPM / 60 / 2 = 4,17 ms Temps d accès S=11,0 ms IOPS = 1/(RL + S) IOPS = 1/(4,17 ms + 11 ms) = 65,9 IOPS Voici quelques ressources traitant des IOPS, avec notamment un calculateur qui peut vous intéresser : measurement/ Rappelez-vous que l IOPS correspond au pire scénario. Il correspond à une performance garantie, même si le disque est bombardé de demandes. Généralement, il fera bien mieux, tout particulièrement sur les lectures et écritures séquentielles. Accès séquentiel et ZCAV Lorsque vous utilisez un serveur de bases de données, les performances obtenues dépendent aussi du taux de lecture et d écriture en accès séquentiel sur le disque. C està-dire que la tête du disque reste positionnée sur des surfaces contiguës et n a pas besoin de se déplacer. Le calcul de cette valeur est complexe à cause de la façon dont les disques sont construits. Il faut tout d abord réaliser que la vitesse des disques durs modernes dépend de la partie du disque à laquelle vous accédez. Les disques tournent tout le temps à la même vitesse : la vitesse angulaire constante ou Constant Angular Velocity (CAV). Un disque actuel tourne à une vitesse de tours par minute et ses plateaux sont circulaires.