WHATSUP GOLD GESTION DE LA BASE DE DONNEES VOTRE CONTACT TECHNIQUE JEAN-PHILIPPE SENCKEISEN LIGNE DIRECTE : 01 34 93 35 33 EMAIL : JPSENCKEISEN@ORSENNA.FR VOTRE CONTACT TECHNIQUE FABIEN TURQUOIS LIGNE DIRECTE : 01 34 93 35 33 EMAIL : FTURQUOIS@ORSENNA.FR Ce document contient des informations confidentielles qui sont la propriété de la société ORSENNA. Il ne peut être diffusé ou transféré en dehors de votre organisation sans l autorisation écrite d une personne habilitée par ORSENNA. Il ne peut être copié ou reproduit sous quelque forme que ce soit. ORSENNA se réserve le droit de modifier, sans préavis, certaines conditions prévues dans la présente offre, compte tenu de l évolution des services ORSENNA (services, équipements, programmes, documents, tarifs). Les renseignements contenus dans le présent document peuvent donc faire l objet de modifications. ORSENNA est un nom déposé. Cette proposition n est valable qu accompagnée du Visa technique. 1/20 SOCIETE 12/05/2009
Table des matières 1 Introduction... 3 1.1 Contexte... 3 1.2 Objectifs... 3 1.3 Audience... 3 2 Gestion de la base / Best Pratices... 4 2.1 Durée de conservation des données... 4 2.1.1 Performance Monitor... 4 2.1.2 Active Monitor... 5 2.1.3 Passive Monitor... 5 2.1.4 Valeurs recommandées... 5 2.2 Fréquence de polling... 6 2.2.1 Active Monitors... 6 2.2.2 Performance Monitors... 8 2.3 Passive Monitors... 9 2.4 Script mensuel de maintenance... 11 2.5 Script de sauvegarde... 11 3 Nettoyage de la base... 12 3.1 Sauvegarde de la base... 12 3.2 Liste de la taille des tables... 14 3.3 Détermination des tables à nettoyer... 15 3.4 Suppression des enregistrements de Passive Monitors... 18 3.5 Suppression des enregistrements de Performance Monitors... 18 3.6 Suppression des enregistrements de Log systèmes... 19 3.7 Shrink de la base... 19 3.8 Opérations basiques de maintenance/nettoyage de la base de données... 20 2/20 SOCIETE 12/05/2009
1 Introduction 1.1 Contexte La société SOCIETE à demandé à Orsenna une prestation de service afin de nettoyer la base de données de son logiciel, afin à terme de le mettre à jour en version 12.4 et d en faciliter l administration et la maintenance. 1.2 Objectifs Ce document présente les «best pratices» au niveau de la gestion de la base de données de. Il présente également les opérations à entreprendre pour nettoyer une base. 1.3 Audience Ce document s adresse à l équipe d administration système de SOCIETE. 3/20 SOCIETE 12/05/2009
2 Gestion de la base / Best Pratices 2.1 Durée de conservation des données Afin de conserver une base saine dans le temps, il est nécessaire de bien définir la durée de conservation des données pour chaque type d information. Cette configuration s effectue dans l onglet «Report Data», qui se trouve dans la fenêtre «Program Options», accessible depuis le menu «Configure» -> «Program Options» : 2.1.1 Performance Monitor La partie «Performance Monitor» gère la conservation des données liées aux graphes. On y trouve 3 sous sections : - «Rollup Raw Data after :» : temps de conservation des données brutes. Pour chaque polling effectué, une ligne est ajoutée dans la base de données. Lorsque l on dépasse la période définie dans cette section, les données brutes sont moyennées heure par heure. - «Rollup Hourly Data after :» temps de conservation des moyennes horaires. Lors de la moyenne réalisée précédemment, on ajoute une ligne par heure et on supprime les données brutes. Lorsque l on dépasse la période définie dans cette section, les données horaires sont moyennées jour par jour. 4/20 SOCIETE 12/05/2009
- «Expire daily data after :» : temps de conservation des moyennes quotidienne. Lors de la moyenne réalisée précédemment, on ajoute une ligne par jour et on supprime les données horaires. Lorsque l on dépasse la période définie dans cette section, les données quotidiennes sont marquées pour suppression dans la base. 2.1.2 Active Monitor La partie «Active Monitor» gère la conservation des informations de changement d état. Chaque fois qu un Device change d état (passage de «Down» à «Down 2min» par exemple, ou de «Down 20min» à «Up»), une ligne est insérée dans la base. Par conséquent, un équipement stable n ajoutera pas beaucoup de lignes dans la base de données. Au contraire, un équipement très instable pourra flooder la base de données de changements d états (la limite étant un changement d état par fréquence de polling, donc 1 ligne par polling). En général, ces informations sont moins susceptibles d engorger la base, on peut donc être un peu plus exigeant sur la durée de conservation de ces données. 2.1.3 Passive Monitor La partie «Passive Monitor» gère la conservation des informations de Traps snmp, Syslog et Evénements Windows. Chaque fois qu un de ces événements ponctuels est reçu par, une ligne est créée dans la base de données. Les Passive Monitors sont à utiliser avec précaution : en effet, il est très fréquent qu une base de données soit engorgée par l afflux massif de Passive Monitor dans la base. Pour cette raison, et comme par définition ces événements sont ponctuels et donc assez peu pertinents sur une durée longue, on conseille de ne pas les conserver très longtemps dans la base de données. 2.1.4 Valeurs recommandées Nous recommandons les valeurs suivantes (elles sont évidemment adaptables en cas de besoin spécifiques de votre part, mais permettent d avoir une base correcte de réflexion) : Performance Monitor : - «Rollup Raw Data» : 1 jour - «Rollup Hourly Data» : 30 jours - «Expire Daily Data» : 90 jours Active Monitor : - 90 jours Passive Monitor : - 7 jours 5/20 SOCIETE 12/05/2009
2.2 Fréquence de polling La fréquence de polling représente l intervalle de temps entre chaque série de requêtes de vers un Device. On distingue la fréquence de polling associée aux Active Monitors de celle associée aux Performance Monitors. 2.2.1 Active Monitors La fréquence de polling des Active Monitors est utilisée pour définir l intervalle de polling pour chaque Device, et éventuellement pour chaque monitor si le besoin s en fait sentir. En termes d occupation de base, elle définit la fréquence maximale à laquelle un Device peut changer d état, et par conséquent la fréquence maximale d ajout de lignes dans la base par Device (en supposant que le Device en question change d état à chaque polling, ce qui n est pas courant). La fréquence de polling d un Device se configure dans la fenêtre de configuration de ce Device, dans l onglet «Polling» : 6/20 SOCIETE 12/05/2009
Vous pouvez modifier le «Poll interval». Les valeurs à utiliser dépendent du nombre de Device et de leur criticité. Par défaut la fréquence de polling est de 60 secondes. C est une valeur acceptable dans la plupart des cas. Il est également possible de définir une fréquence de polling spécifique par Active Monitor. Pour cela, il suffit d aller dans l onglet «Active Monitors», puis d éditer le monitor concerné en cliquant sur le bouton «Edit» : On peut alors cliquer sur le bouton «Advanced» : 7/20 SOCIETE 12/05/2009
On peut alors cocher la case «Use independent poll frequency for this monitor» : L intervalle de polling défini ici sera appliqué pour ce monitor en particulier. 2.2.2 Performance Monitors De la même manière, les Performance Monitors collectent les données de graphes de manière régulière. Chaque type de graphe collecte les données suivant une fréquence spécifique. Par défaut, la fréquence de polling est de 10min. Pour modifier la fréquence de polling d un Performance Monitor, il suffit d aller dans la fenêtre de configuration du Device, dans l onglet «Performance Monitor» : * 8/20 SOCIETE 12/05/2009
On peut alors changer la valeur pour «Collection interval» : Pour certains Performance Monitor (notamment les «Disks Performance Monitors») il est conseillé d augmenter la fréquence de collecte des données (à 30min voir 1h pour les disques par exemple) afin d éviter de collecter trop souvent les données qui ne sont pas modifiées souvent. 2.3 Passive Monitors L écoute des Passive Monitors est à utiliser avec précaution. En effet, les Passive Monitors sont la première cause d engorgement de base. D abord, il ne faut activer les processus d écoute que si l on souhaite collecter des Passive Monitor. Ces processus d écoute se configurent dans «Configure» -> «Program Options», dans l onglet «Passive Monitors Listeners». Pour configurer un processus, il suffit de le sélectionner dans la liste puis de cliquer sur le bouton «Configure» : 9/20 SOCIETE 12/05/2009
Pour activer/désactiver le processus d écoute, il suffit de cocher ou de décocher la case «Listen for messages on port :» Dans un environnement en production, la case «Accept unsolicited SNMP traps» (ou Syslog, qui possède la même option) ne devrait jamais être cochée : cette option permet aux Passive Monitors non définis dans d être stockés dans la base. Elle n est utile qu a la mise en place du produit, et est très susceptible d engorger la base : 10/20 SOCIETE 12/05/2009
2.4 Script mensuel de maintenance La planification d un script mensuel de maintenance, qui réindexe les tables et réduit la taille de la base est conseillée. Le script à planifier est le suivant : osql -E -D -Q "DBCC SHRINKDATABASE ()" osql -E -D -Q "EXEC sp_msforeachtable 'DBCC DBREINDEX (''?'', '''', 0)'" osql -E -D -Q "EXEC sp_createstats" osql -E -D -Q "EXEC sp_updatestats" osql -E -D -Q "EXEC sp_msforeachtable 'sp_recompile ''?'''" osql -E -D -Q "DBCC UPDATEUSAGE ('')" osql -E -D -Q "EXEC sp_cycle_errorlog" Il suffit de copier ces lignes dans un fichier.bat, puis de planifier son exécution de manière régulière (au moins 1 fois par mois). On peut pour cela utiliser les tâches planifiées Windows. 2.5 Script de sauvegarde Il est conseillé de sauvegarder régulièrement la base de données pour parer à tout problème en cas de crash de cette dernière. Le script de sauvegarde est le suivant : OSQL -E -n -D -Q "BACKUP DATABASE TO DISK = 'drive:\path\.dat' WITH INIT" 11/20 SOCIETE 12/05/2009
Evidemment, la partie drive:\path\.dat est à personnaliser avec l emplacement et le nom de fichier désiré pour la sauvegarde. Il suffit de copier ces lignes dans un fichier.bat, puis de planifier son exécution de manière régulière (au moins 1 fois par jour). On peut pour cela utiliser les tâches planifiées Windows. ATTENTION : Si vous utilisez un server SQL déporté, ce script ne fonctionnera pas. Dans ce cas précis, merci d utiliser les fonctions de backup intégrées à SQL Server Agent pour automatiser les sauvegardes de la base. 3 Nettoyage de la base 3.1 Sauvegarde de la base En premier lieu, nous sauvegardons la base de données actuelle avant toute opération. Pour cela, on utilise le menu de : «Tools» -> «Database Utilities» -> «Backup SQL Database». On choisi ensuite l emplacement et le nom de la sauvegarde : 12/20 SOCIETE 12/05/2009
Cette sauvegarde permet d avoir un recours en cas de problème inattendu. 13/20 SOCIETE 12/05/2009
3.2 Liste de la taille des tables Grace à la requête SQL contenue dans Taille-all-tables.txt, on peut extraire dans SQL Management Studio l intégralité des tables dans la base de données de et ainsi conclure sur les tables qui sont trop volumineuses. Il ne reste plus qu à exporter les données sur un tableur excel pour trier et analyser les données. 14/20 SOCIETE 12/05/2009
3.3 Détermination des tables à nettoyer Avant de purger la base, il faut déterminer quelles tables sont responsables de la taille anormale de la base de données. On commence par vérifier le nombre de lignes via l outil de. Ce dernier se trouve dans «Tools» -> «Database Utilities» -> «Tools». On clique alors sur l onglet «Table Maintenance» : On obtient alors la liste des tables de la base, avec pour chaque table, le nombre de lignes total et le nombre de lignes expirées : L affichage de cette fenêtre peut prendre un certain temps, surtout si la base est grosse. 15/20 SOCIETE 12/05/2009
Dans cette fenêtre, on va déterminer les tables qui posent problème : en règle générale, une table ne doit pas contenir plus d un million de ligne. Cela est évidemment dépendant de nombreux paramètres, mais le seuil du million est un bon indicateur de table à problème. Si une table compte plusieurs millions de lignes, elle est engorgée à coup sûr. On admet (pour un nombre de Device standard et une période de polling raisonnable) qu une table est «inquiétante» à partir de 700 000 à 800 000 lignes et qu elle doit être analysée pour vérifier si cela est normal. Les tables les plus susceptibles de poser problème sont : - PassiveMonitorActivityLog - StatisticalInterface - StatisticalPing - StatisticalPingPacketLoss - StatisticalDisk - StatisticalCPU - StatisticalMemory - StatisticalNumeric Malheureusement, ne liste pas l ensemble des tables systèmes dans son outil. Par conséquent, il est nécessaire de vérifier la taille de ces tables via le manager SQL. On lance le manager SQL sur le serveur (ici, SQL Management Studio Express) et on déploie la base, puis les tables de cette base : On peut alors afficher la taille de chaque table, en effectuant un clic-droit -> «Properties» 16/20 SOCIETE 12/05/2009
On obtient alors la fenêtre suivante. L information concernant la taille des données de la table est en rouge sur la capture d écran qui suit : Les tables suivantes contiennent les logs systèmes et peuvent poser problème : - WebUserActivityLog - SystemActivityLog - GeneralErrorLog - ActionActivityLog Les tables supérieures à 500Mo sont probablement engorgées et doivent être purgées. 17/20 SOCIETE 12/05/2009
3.4 Suppression des enregistrements de Passive Monitors Pour purger la table des Passive Monitor, il suffit de lancer le SQL Server Management Studio, de créer une nouvelle requête SQL et de copier la requête suivante : USE ALTER TABLE PassiveMonitorActivityLog DROP CONSTRAINT FK_PassiveMonitorActivityLog_PivotPassiveMonitorToDevice ALTER TABLE PassiveMonitorSampleData DROP CONSTRAINT FK_PassiveMonitorSampleData_PassiveMonitorActivityLog TRUNCATE TABLE PassiveMonitorActivityLog TRUNCATE TABLE PassiveMonitorSampleData ALTER TABLE PassiveMonitorSampleData ADD CONSTRAINT FK_PassiveMonitorSampleData_PassiveMonitorActivityLog FOREIGN KEY (npassivemonitoractivitylogid) REFERENCES PassiveMonitorActivityLog (npassivemonitoractivitylogid) ALTER TABLE PassiveMonitorActivityLog ADD CONSTRAINT FK_PassiveMonitorActivityLog_PivotPassiveMonitorToDevice FOREIGN KEY (npivotpassivemonitortypetodeviceid) REFERENCES PivotPassiveMonitorTypeToDevice (npivotpassivemonitortypetodeviceid) Après exécution de ce script SQL, la table PassiveMonitorActivityLog sera purgée entièrement. 3.5 Suppression des enregistrements de Performance Monitors Pour purger les tables des Performances Monitor, il suffit d exécuter la commande : USE TRUNCATE TABLE nom_de_la_table Les tables concernées sont : - StatisticalInterface - StatisticalPing - StatisticalPingPacketLoss - StatisticalDisk - StatisticalCPU - StatisticalMemory - StatisticalNumeric Cette commande vide le contenu de la table. 18/20 SOCIETE 12/05/2009
3.6 Suppression des enregistrements de Log systèmes Pour purger les tables des Log systèmes, il suffit d exécuter la commande : USE TRUNCATE TABLE nom_de_la_table Les tables concernées sont : - WebUserActivityLog - SystemActivityLog - GeneralErrorLog - ActionActivityLog Cette commande vide le contenu de la table. 3.7 Shrink de la base Après avoir supprimé toutes les lignes des tables qui posaient problème, il reste à récupérer l espace alloué par la base de données. Pour cela, on exécute la commande suivante : DBCC SHRINKDATABASE() Cette opération défragmente la base en replaçant les données au début du fichier de DATA, puis récupère l espace libre dans la base. Tant que cette fonction n est pas exécutée la taille de la base ne changera pas. 19/20 SOCIETE 12/05/2009
3.8 Opérations basiques de maintenance/nettoyage de la base de données On commence par arrêter le service «IpSwitch Engine» car les opérations que nous allons effectuer requièrent toutes que le moteur soit arrêté. Nous effectuons ensuite les opérations suivantes : 1- On clique sur le bouton «Check for fragmented tables..» afin de rechercher les tables à optimiser. 2- On clique sur le bouton «Optimize selected tables..» pour effectuer l optimisation. 3- Enfin, on clique sur le bouton «Validate and compact database..» pour vérifier l état de la base Ces opérations vérifient que la base est opérationnelle. Une fois toutes ces opérations effectuées, la taille de la base devrait avoir fortement diminuée. 20/20 SOCIETE 12/05/2009