Surveillance de l'infrastructure Power. Thibaud Besson Support Technique avant vente Power Systems STG

Transcription

1 Surveillance de l'infrastructure Power Thibaud Besson Support Technique avant vente Power Systems STG 1

2 Agenda Quoi surveiller? Pourquoi surveiller Outils système Unix Nmon-topas Nmon to rrdtools Ganglia Systems Director Nagios / Cacti Sysload IBM Tivoli Monitoring Source: If applicable, describe source origin 2

3 Les domaines de surveillance sont variés CPU, mémoire, swap, débit interfaces, réseau Indicateurs de performance Sytème up/down, filesystems, démons Indicateurs vitaux Intrusion, login/logout, mots de passe Indicateurs de sécurité Temps de réponse, nombre de connexions Indicateurs des applications 3

4 La surveillance est vitale Garder une trace du passé Définir une ligne de base PerfPMR en particulier Suivre les changements dans la configuration du système Enregistrer les paramètres du système lors de l'incident Respecter les niveaux de service SLA Maintenir l'intégrité du système : intrusion, état des miroirs disques résoudre un problème avant l'effet avalanche Connaître son infrastructure : qui a besoin de quelles ressources et quand? Pour gérer les priorités d'attribution des ressources Pour planifier les arrêts Préparer le futur Extrapoler la croissance future planifier les besoins gérer le changement (de plateforme matérielle, d'os, d'application) 4

5 Le coût / ROI de la surveillance Prix de l'outil intégré au système d'exploitation Open Source Soumis à licence Prix de la mise en oeuvre Administrateur système Consultant(s) Durée du projet Capacité à intégrer de nouveaux serveurs Automatisation du déployement Services apportés Situations critiques évitées Niveau de service garanti Communication aux décideurs efficace Gestion de l'infrastructure plus efficace optimisation, planification, facturation 5

6 Outils système 6

7 Commandes sytème AIX CPU Memory I/O subsystem Network Processes & threads Status Commands vmstat iostat mpstat lparstat emstat/alstat sar ps time/timex topas nmon vmstat topas ps lsps ipcs vmstat iostat lvmstat lsps lspv/lsvg/lslv lsattr/lsdev topas nmon netstat atmstat entstat tokstat fddistat nfsstat ifconfig topas nmon ps pstat emstat/alstat topas nmon Monitor commands netpmon svmon netpmon filemon fileplace filemon netpmon tcpdump svmon,truss,kdb, dbx,gprof,fuser,prof Trace Level commands tprof curt splat trace trcrpt trace trcrpt trace trcrpt iptrace Ipreport trace trcrpt truss, trace, pprof, curt, splat, trcrpt 7

8 Focus sur quelques commandes système - filemon Most Active Logical Volumes util #rblk #wblk KB/s volume description /dev/rms09_lv /RMS/bormspr0/oradata /dev/rms06_lv /RMS/bormspr0/oradata04 Most Active Physical Volumes util #rblk #wblk KB/s volume description /dev/hdisk66 SAN Volume Controller Device /dev/hdisk59 SAN Volume Controller Device VOLUME: /dev/rms09_lv description: /RMS/bormspr0/oradata07 reads: (0 errs) read sizes (blks): avg min 16 max 2048 sdev read times (msec): avg min max sdev read sequences: read seq. lengths: avg min 16 max sdev writes: 350 (0 errs) write sizes (blks): avg 16.0 min 16 max 16 sdev 0.0 write times (msec): avg min max sdev write sequences: 348 write seq. lengths: avg 16.1 min 16 max 32 sdev 1.2 seeks: (81.4%) seek dist (blks): init , avg min 16 max sdev time to next req(msec): avg min max sdev throughput: KB/sec utilization:

9 Focus sur quelques commandes système sar -d AIX parva CD87BE4C00 05/18/09 System configuration: lcpu=10 drives=111 16:01:24 %usr device 16:01:26 7 %sys %wio %busy 9 %idle avque 6 mode=capped physc r+w/s 78 Kbs/s avwait avserv 5.03 hdisk hdisk Similaire à iostat D Sar peut enregistrer les mesures : System Activity Recorder 9

10 Signification des indicateurs de performance CPU %user For dedicated partitions, the entitled processing capacity is the number of physical processors. For shared pool when below CE, percentage of the entitled processing capacity used while executing at the user level (application). For shared pool and partition above CE (uncapped partitions with a current physical processor consumption above their entitled capacity), the percentage becomes relative to the number of physical processor consumed (physc) IO Wait Sys %IO wait n'est pas un bon indicateur des performances IO Idle IO Wait CE Sys physc CE user user 10

11 Commandes système : pour l'audit et le tuning Avantages liés à leur nature Toujours présentes car intégrées à AIX (nmon aussi!) Très proches du microcode / du matériel : outils pour le tuning Très complètes (trop?) Scriptables Inconvénients Vue locale de la partition, au mieux du serveur (CEC view dans certaines commandes) Pas de vue globale de plusieurs machines Nécessitent des compétences avancées pour les utiliser : options nombreuses Pour les interpréter : que représentent ces colonnes? Ont-elles toujours le même sens? Ent : entitlement %Entc : entitlement consumed physc : physical proc consumed Vue à un instant t, pas d'historique (ou presque... sar) 11

12 RMC Ressource Monitoring Control Elément de Reliable Scalable Cluster Technology (RSCT) Permet de surveiller l'état de ressource et de réagir à des seuils Complètement customisable et automatisable Interface graphique : WebSM GUI 12

13 RMC : pour le HPC Ligne de commande peu conviviale WebSM : ancienne interface Peu adapté à une production standard # lscondition "/var space used" Displaying condition information: To create an association between the condition and response: # mkcondresp "/var space used Informational notifications To start monitoring the resource: # startcondresp "/var space used Informational notifications condition 1: Name = "/var space used" Node = "masms1" MonitorStatus = "Not monitored" ResourceClass = "IBM.FileSystem" EventExpression = "PercentTotUsed > 90" EventDescription = "An event will be generated when more than 90 percent of the total space in the /var directory is in use." RearmExpression = "PercentTotUsed < 75" RearmDescription = "The event will be rearmed when the percent of the space used in the /var directory falls below 75 percent." SelectionString = "Name == \"/var\"" Severity = "i" NodeNames = {} MgtScope = "l" 13

14 Tester le monitoring : générer une charge nstress package : ncpu : hammers the CPUs (can be slowed down to use a percentage) ndisk : hammers the disks (can be slowed down to use a percentage) ndiskaio : same as ndisk but does Asynchronous I/O (AIO handling changed in AIX 5L so not currently available) ndiskmio : same as ndisk but uses Modular IO AIX Expansion pack library it is assumed this is installed (experimental not currently available) nmem : hammers or touches memory nipc : tests shared memory, semaphores and shared messages take 1 CPU nlog : generates output like error messages nfile : creates, writes and deletes files to push the JFS log hard Ipctest : Manually test IPC createfs.sh : Script to create the filesystems used by the below scripts you will need to edit this for your system dbstart.sh : Script to start a fake database RDBMS you will need to edit this for your system webstart.sh : Script to start a fake webserver you will need to edit this for your system 14

15 Tester le monitoring : générer une charge disque Random IO avec ndisk # dd if=/dev/zero of=tempfile_10mb bs=1m count=10 # ndisk -R -f./tempfile_10mb -r 50 -t 60 Command: ndisk -R -f./tempfile_10mb -r 50 -t 60 Synchronous Disk test (regular read/write) No. of processes = 1 I/O type = Random Block size = 4096 Read-Write = Equal read and write Sync type: none = just close the file Number of files = 1 File size = bytes = KB = 32 MB Run time = 60 seconds Sequential IO Test sequential read thruput from a device: # timex dd if=<device> of=/dev/null bs=1m count=100 Test sequential write thruput to a device: # timex dd if=/dev/zero of=<device> bs=1m count=100 Note that /dev/zero writes the null character, so writing this character to files in a file system will result in sparse files For file systems, either create a file, or use the lptest command to generate a file, e.g., # lptest > 4kfile Test multiple sequential IO streams use a script and monitor thruput with topas: dd if=<device1> of=/dev/null bs=1m count=100 & dd if=<device2> of=/dev/null bs=1m count=100 & Snooze % = 0 percent ----> Running test with block Size=4096 (4KB). Proc - <--Disk IO--> <--Throughput--> RunTime Num - TOTAL IO/sec MB/sec KB/sec Seconds

16 nmon / topas Solution simple, sûre, efficace AIX 4, 5, 6 Linux Power, x86, mainframe Pas d'installation Très complet beaucoup d'information à l'écran Affichage totalement paramétrable LPARs, VIOS, WPAR Conçu pour des serveurs puissants exécutable maintenant intégré à AIX 64 CPU, disques, processes Extensible & intégré à smitty 16

17 VIOS 2.1 monitoring via topas Hit E Virtual Enternet including SEA Topas Monitor for host: bronze_ivm Interval: 2 Fri Dec 5 08:08: =============================================================================== Network KBPS I-Pack O-Pack KB-In KB-Out ent10 (SEA) \--ent2 (VETH) \--ent0 (PHYS) lo Hit D and then d Virtual SCSI over the VIOS Topas Adapter View : bronze_ivm Interval: 2 Fri Dec 5 08:29: =============================================================================== Adapter KBPS TPS KB-R KB-W sissas0 9.9K K vhost vhost1 9.9K =============================================================================== Vtargets/Disks Busy% KBPS TPS KB-R ART MRT KB-W AWT MWT AQW AQD hdisk hdisk K K hdisk hdisk

18 nmon Online or Data Collector NMON nmon f c 400 s 1 Data Collection CSV file in nmon format Online 18

19 Screen nmon f or F option Others Federico s pgraph Bruce s nmon2web Perl nmon2rrd C filter nmon file Stephen s nmon Analyser Stephen s nmon Consolidator Java Dynamic Graphs Excel graphs Scripts rrdtool scripts + CPU & RAM aggregation nmon flow Scripts Create rrd Load rrd Graph rrd index.html Website +.jpg graphs rrdtool open source rrdtool open source

20 nmon Analyzer Feuille Excel alimentées par enregistrement nmon ou topas Génère des graphiques Excel & tableaux de données Benchmark, peu adapté à l'historisation CPU Disques Mémoire IO transferts IO interfaces Réseau Systèmes de fichier Paging Processes... 20

21 nmon Consolidator Feuille Excel alimentée par enregistrements nmon ou topas Génèrent des graphiques Excel Suivi d'infrastructure / Etude de consolidation / tendances CPU Capacity Utilisation by Time of Day (all nodes) 12,00 10,00 8,00 radio2 radio1 6,00 rac2 rac1 dataguard 4,00 2,00 16:00 14:20 12:40 11:00 09:20 07:40 13:10 13:08 13:05 13:03 13:00 12:58 12:55 12:53 12:50 12:48 12:45 12:43 12:40 12:38 12:35 12:33 12:30 12:28 12:25 0,00 21

22 RRDTool Round Robin Database Tool Spécialement conçue pour stocker & afficher des données temporelles Stockage très compact Taille de base fixe : Round-Robin. 12 ko par défaut Résolution variable : consolide les données pour limiter le volume et moyenner les données anciennes Le standard pour ce type d usage Fonctionnalités graphiques Ligne de commande rrdcreate / rrdfetch / rrdgraph / rrdtool update / Intégration à des scripts Perl, PHP, etc. 22

23 Screen nmon f or F option Others Federico s pgraph Bruce s nmon2web Perl nmon2rrd C filter nmon file Stephen s nmon Analyser Stephen s nmon Consolidator Java Dynamic Graphs Excel graphs Scripts rrdtool scripts + CPU & RAM aggregation nmon flow Scripts Create rrd Load rrd Graph rrd index.html Website +.jpg graphs rrdtool open source rrdtool open source

24 Nmon2rrdtool version basique Nmon Enregistrement Nmon2rrd nmon2rrd -f nmon_file -d output_dir -x output_dir/index.html output_dir/*.gif 24

25 Nmon2rrd - historisation Télécharger l'archive & lire le script nmon2rrd.v2 Upload sur le serveur web des fichiers nmon : cron Création des pages web correspondantes par le script Portail d'accès aux pages à personnaliser $WEB_DIR/server/year/month/day/index.htm $WEB_DIR/index.htm Mise à jour / archivage Un nouveau serveur est automatiquement pris en charge Les fichiers nmon traités sont zippés 25

26 nmon2web Télécharger l'archive & lire index.html & readme.hmtl nmon2web.pl alimente rrdtool crée les graphiques journaliers et historisés pour chaque partition nmon2web.cgi crée les graphiques de performances agrégés dynamiques 26

27 IBM developerworks : Performance Wiki Références aux outils présentés précédemment 27

28 Solution open source de monitoring 28

29 Un outil de surveillance de cluster

30 Les origines de Ganglia Né du projet Millenium en 1998 à l université de Berkeley Déploiement d une grille de nœuds de calcul à l échelle du campus Ses origines ont des conséquences sur son architecture Maintenant supporté par la communauté des utilisateurs et développeurs Wiki listes de distribution FAQ, How-to, etc.

31 Hiérarchie de Ganglia LPAR = nœud Serveur Physique = cluster Salle ou site = grid preproddb proddb as1 as2 sandbox VIOS1 VIOS2 Cluster2 Cluster1 GRID vio1 vio2

32 Propriétés remarquables Scalabilité : plus de 2000 noeuds Hiérarchie et fédération de clusters Robuste car appuyé sur des technologies éprouvées : XML, RRDTool Très économe en ressources système Code C Open Source, versions compilées disponibles pour de nombreuses plateformes Extensible pour surveiller d autres paramètres Utilisé pour plus de 500 clusters dans le monde les universités : Berkeley, Stanford, MIT, Yale, Le secteur public : US Air Force, NASA, CERN, Les entreprises : Motorola, HP, Dell, Microsoft, SUN, Boeing,

33 Composants de Ganglia Deux démons G MON D = Ganglia MONitoring Daemon sur chacun des nœuds, collecte les données G META D = Ganglia META Daemon rassemble les données des clients gmond dans une base de données Une base de données RRDTool Un frontal web basé sur PHP dans un serveur HTTP Apache Quelques autres petits utilitaires

34 Ganglia MONitoring Daemon GMOND Tourne sur chacun des nœuds du cluster (LPARs) Simple à installer : le démon et un fichier de configuration gmond.conf Responsabilités : Deux manières de transmettre des informations Surveiller les changements dans l état de son hôte Annoncer les changements Ecouter l état des autres nodes par unicast ou multicast Répondre aux demandes de description XML du cluster Unicast ou multicast de l état de son hôte en format XDR par UDP Envoi de XML par connexion TCP

35 Ganglia META Daemon GMETAD Tourne sur un seul nœud du cluster Simple à installer : le démon et un fichier de configuration gmetad.conf Rassemblement de clusters = grid, par interconnexion des gmetad Responsabilités de gmetad Interroge ses sources de données : gmond ou gmetad Traite les fichiers XML reçus Sauvegarde les données dans une base de données Round-Robin Exporte du XML sur connexion TCP

36 Schéma de principe

37 Frontal web Affiche les informations collectées forme graphique dynamique avec historique Basé sur PHP 4.1 et Apache

38 Intervalles d échantillonnage Example d intervalles d échantillonnage : 15 secondes pendant 1 jour, 1 minute pendant 2 mois, 10 minutes pendant 1 an RRAs "RRA:AVERAGE:0.5:1:5760" \ "RRA:AVERAGE:0.5:4:86400" \ "RRA:AVERAGE:0.5:40:52560" Traduction : Prendre 5760 échantillons chaque 1 15 secondes 5760 = 4 (échantillons/minute) 60 (échantillons/heure) 24 (heures) Prendre échantillons chaque 4 15 secondes (= 1 minute) = 60 (échantillons/heure) 24 (heures) 30 (jours) 2 (mois) Prendre échantillons chaque secondes (= 10 minutes) = 6 (échantillons/heure) 24 (heures) 365 (jours) 1 (an)

39 Les métriques Une propriété du système qui est observée par gmond : Gmetric permet d ajouter de nouveaux métriques Variables : cpu_user, disk_free, mem_free, etc Plus statiques : os_release, boottime, MTU_size, etc Généraux : 34 métriques définis sur toutes les plateformes Spécifiques : 8 métriques Solaris, 4 métriques HP-UX, 18 métriques AIX Coder les métriques Recompiler gmond pour les intégrer Travail réalisé par Michael Perzl pour les serveurs Power Cappé, CPU entitlement, weight, etc.

40 Métriques standard 1/2 boottime percent CPU nice not defined on AIX, Linux yes number of CPUs cpu_intr number of interrupts (??) not defined on AIX, Linux yes load average over 1 minute load_five total available disk space in GB load_one total free disk space in GB disk_total CPU time spent waiting for I/O disk_free percent CPU user cpu_wio percent CPU system cpu_user speed of CPUs in MHz cpu_system number of system interrupts (??) not defined on AIX, Linux yes cpu_speed cpu_num percent CPU idle time cpu_nice percent of time since boot idle CPU not defined on AIX, Linux yes cpu_idle number of network bytes sent out per second cpu_aidle cpu_sintr number of network bytes received per second bytes_out system boot timestamp bytes_in load average over 5 minutes load_fifteen load average over 15 minutes

41 Métriques standard 2/2 machine_type amount of shared memory not defined on AIX, Linux yes mem_buffers amount of memory used for buffers not defined on AIX, Linux yes amount of memory used for cache AIX: numpermmemory pages os_name name of OS most filled disk partition not defined on AIX, Linux yes pkts_in number of network packets sent out proc_run total number of running processes proc_total number of network packets received pkts_out mtu MTU size reported in bytes OS release version (on AIX: level of filesetbos.mp) part_max_used mem_cached mem_shared total available memory in kb amount of free memory in kb os_release mem_free type of machine (e.g., POWER5) mem_total total number of processes swap_free free swap space in kb AIX: paging space free swap_total total available swap space in kb AIX: paging space

42 18 métriques spécifiques Power (AIX et Linux) kernel64bit capped lpar cpu_entitlement lpar_name cpu_in_lpar lpar_num cpu_in_machine oslevel cpu_in_pool serial_num cpu_pool_idle smt cpu_used splpar disk_read weight disk_write

43 Prérequis recommandés Hostnames Un nouveau hostname est une nouvelle machine Utiliser DNS pour résoudre les adresses IP Adresses IP stables Date et heure fiables à l échelle du cluster : NTP Ces prérequis sont habituels pour des machines de production

44 Démo Ganglia file:///media/cruzer%2016gb/projets/journ%c3%a9es %20Techniques/ %20TJ/Ganglia%20%20Host %20Report.htm

45 Critiques Ce n est pas un outil officiel IBM Pas de support officiel d IBM Uniquement un outil de monitoring, ne déclenche pas d actions

46 Avantages Utilisation Configuration Une vision globale (cluster/grid) et détaillée (node) Un accès facile par interface web, une navigation aisée Facile à installer, sans risque et gratuit Disponible pour de nombreuses plateformes donc global Adapté aux serveurs Power Très paramétrable, de nombreux exemples d utilisation très divers Extensibilité Données stockées extractibles vers un outil d accounting Facilement extensible à de nouveaux métriques exemple pour le temps de réponse d'une base de données : cron de gmetric --name tpm --value `/usr/local/bin/transactions` --type double

47 Références Le Wiki IBM sur Ganglia : Le wiki IBM Ganglia sur Linux on Power : La page de Michael Perzl : La liste de distribution de Ganglia : La documentation officielle de Ganglia : Un «quickstart» : Un exemple : la grille Wikipedia :

48 IBM Systems Director

49 Managing physical & virtual end to end IBM Tivoli (and selected other enterprise management tools) IBM Systems Director Physical and virtual platforms Server, Storage, Networking Foundation Deployment Health Virtualization Optimization Configuration Maintain Advanced Monitoring Replication Platform-specific capabilities Managed Extension Groups Operating systems Virtualization environments software Hardware System x, i, z, p System Storage Other 3rd Party, Custom

50 IBM Systems Director simplifie l'administration Découvre les serveurs et les ressources virtuelles Surveille la santé des systèmes Informe des défaillances et prend des actions Déploie, optimise et met à jour les serveurs S'intègre avec les services de gestion de l'entreprise 50

51 Architecture Systems Director IBM Systems Director Agents IBM Systems Director Server Application Logic + Database Management Console(s) Web Interface 51

52 Découverte des relations entre ressources virtuelles et physiques Automated discovery Discovers hardware and virtual resources via the Hardware Management Console LPAR LPAR LPAR LPAR LPAR LPAR LPAR VIO Discovers physical and shared I/O VIO

53 Statut d'un coup d'oeil Résumé de l'état de santé personnalisable Systèmes favoris Indicateurs critiques Groupes de systèmes Surveillance Surveillances des ressources avec ou sans agents (AIX, i, VIOS, LPARs, etc) Seuils Évènements Plans d'automatisation Notifications Exécution de commandes Déclenchement de tâches 53

54 La vue topologie facilite la résolution d'incidents Topologie des ressources Relations Dépendances Physiques et virtuelles Tâches contextuelles Lancement de tâches Création de serveurs virtuels Relocalisation de serveurs virtuels Gestion de l'os État de santé des ressources Exploration des ressources Propriétés détaillées Logs des évènements Résolution d'incidents 54

55 Récapitulatif de la santé Etat de santé Tableau de bord personnalisable Ressources avec incidents

56 Graphique de performances

57 Personnalisation de la page d'accueil

58 Détail des incidents Serveur éteint

59 Journal des évènements L'agent sur la ressource signale un événement Le serveur Director signale qu'un agent a un problème

60 Contrôleurs (Monitors) Compteurs sur une ressource succeptible d'être : Observé en temps réel Enregistré pour historisation Soumis à un seuil, pour déclencher une alerte ou une action automatisée Dépendant du type de la ressource et de l'os (de l'agent) Peuvent être regroupés en vues

61 Cibler les contrôleurs Définir les contrôleurs sur les systèmes à observer Les groupes de contrôleurs facilitent l'affectation Ne pas confondre avec les évènements (arrêt serveur par exemple), toujours observés Pour le moment, pas de mise en graphiques mais export : CSV HTML TXT XML "Machine Name = ws2k3isdv02.hatteras.lab","","" "Attribute Path = [[Director Agent][CPU Monitors][CPU Utilization]]","","" "Description = ISD CPU Utilization","","" "Start Time = November 4, 2008 at 9:45:53 AM","","" "Stop Time = November 4, 2008 at 10:26:24 AM","","" "Sampling Rate = 5000 msecs","","" "","","" "Date","Time","Data" "November 4, 2008","9:45:57 AM"," " "November 4, 2008","9:46:02 AM"," " "November 4, 2008","9:46:07 AM"," " "November 4, 2008","9:46:12 AM"," "

62 Seuil d'un contrôleur Lorsqu'un contrôleur atteint une valeur trop haute trop basse dans un état particulier Valeur numérique (90%) ou textuelle (STOPPED, PAUSED) Valeur d'alerte & de seuil critique, durée minimum Géré par l'agent, peut déclencher un événement et donc une action sur le serveur Systems Director Wizard pour la création d'un seuil

63 Création d'un événement CPU

64 Plan d'automatisation Evènement système Contrôleur Seuil Problème matériel Alerte Action Serveur Systems Director Etc. Agent Évènement Tâche Director

65 Evènements, filtres, actions Les sources d'évènements sont multiples Information venant du matériel (défaillance, etc.) Information venant du système d'exploitation (CPU, espace disque, etc) Information venant de l'agent Director (contrôleur, mises à jour en cours, etc) Information venant du serveur Director (arrêt d'une ressource) SNMP, CIM (Common Information Model), RSA System x Nombreux événements préconfigurés Plan d'automatisation Choix des ressources cibles Choix de l'évènement par filtre (prédéfini ou personnalisé) Choix de l'action (prédéfinie ou personnalisée) : , Tivoli Console, exec,...

66 Choix des systèmes sujets au plan

67 Filtre d'évènement

68

69 Action personnalisée envoi d'un courriel

70 Action personnalisée envoi d'un courriel

71 Systems Director surveille efficacement l'infrastructure Solution gratuite S'interface avec tout le matériel IBM S'interface également avec du matériel tiers Support des futures évolutions du management d'infrastructure IBM Interface conviviale et puissante

72

73 Nagios Système de surveillance open-source à large spectre Applications Services Systèmes d'exploitation Réseau Performances Hautement scalable Capable de prendre des actions correctives Extensible pour répondre aux besoins spécifiques Environ utilisateurs dans le monde Communauté active 73

74 Architecture Scheduler serveur Nagios Gère l'ordonnancement des vérifications Exécute les actions à prendre suite aux incidents (alerte, escalade, action corrective) Interface web Vue de l'infrastructure supervisée par Nagios Production de rapport Addons Extensions des fonctionnalités du serveur Nagios Plugins (greffons, sondes) Scripts ou programmes qui effectuent les vérifications Retourne un code 0, 1 ou 2 état remonté à Nagios En local sur la machine supervisée ou sur le serveur (test de protocole réseau ou exécution via ssh) 74

75 Vue des groupes de serveurs Une des nombreuses vue de la console Nagios 75

76 Détail des services par host 76

77 Addons Nagios NRPE exécute des plugins sur des machines Unix distantes par SSL Plus léger pour le serveur Nagios NCSA Modifie le mode de vérification de Nagios d'actif à passif L'agent distant envoie son état au démon Nagios Utilisé dans les configurations distribuées, redondantes, ou pour des services par nature irréguliers 77

78 Ajouter des plugins 78

79 Installation Nagios Sur Ubuntu x86, quelques minutes pour compiler et installer Sous AIX Projet Open source : recompilation des sources En cours de compilation par M. Perzl : 79

80 Historisation des performances Ce n'est pas l'objectif d'origine de Nagios Des addons développés en Open Source Basés sur RRDTool NagiosGrapher Cacti 80

81 Architecture de Cacti Frontend écrit en PHP pour RRDTool Utilise MySQL pour stocker les informations administratives Séquences Récupération des données par SNMP Origine monitoring réseau Stockage des données dans RRDTool Création des graphiques RRDTool et presentation HTML par PHP A tester... 81

82 Solution de gestion des performances du datacenter 82

83 Architecture produit Agents sur les machines Différents types Données stockées par les agents Console client lourd Windows Requêtes TCP/IP vers management server, qui interroge les agents < 1% CPU utilisé 83

84 Les agents SP Analyst Code binaire natif Pas de scripts métriques selon la plateforme Echantillonnage toutes les 5s Combinaisons de métriques en temps réel Production d évènements en temps réel Moins de 1% CPU Historique +/- 20Mo par mois en local par agent Historique long terme local (minute, jour, semaine, mois, année) pas de problème de volumétrie centralisée Gestion de workloads : utilisateur, application, WPAR 84

85 SP Analyst - Fonctionnalités solution de monitoring et diagnostic de performances des systèmes et applications Surveillance des ressources et des applications en temps réel et sur le long terme Agents diversifiés : Système, Base de données, Exchange, SNMP, simulation d'utilisateur, etc. Détection des incidents de production et analyse du contexte d occurrence Analyse de tendance, détermination des profils de journée type, semaine type Validation des scénarios de consolidation 85

86 Sysload pour Power6 Sysload offre une métrologie dédiée aux environnements Power6 AIX Linux i Support du SMT (purr, spurr) Support des LPAR (Server virtualization) Support des WPAR (OS virtualization)

87 Partition dédiée / Micro-partition Physical server Physical server Agent Agent tourne dans le serveur Architecture classique "1 serveur, 1 agent" VIOS LPAR LPAR Agent Agent Agent Vision à l'intérieur d'un LPAR Agent dédié à l'os du LPAR Architecture de monitoring homogène avec les serveurs dédiés et les autres OS. Métriques LPAR (ent, entc, physc )

88 Vision serveur physique SP Analyst console Physical server LPAR AIX Agent for AIX LPAR Linux Agent for Linux LPAR OS/400 Agent for i Consolidation des informations des agents au niveau de la console SP Analyst

89 89

90 Contexte d'une alerte Graphique interractif 90

91 Tendances long terme 91

92 Journée typique Moyenne du mois heure par heure 92

93 Bilan de santé d'un groupe 93

94 Etude de Consolidation Groupe d'agents 94

95 SP Portal : tableaux de bord Client léger web publication automatique Synthétise l'état de santé de l'infrastructure 95

96 IBM Tivoli Monitoring 96

97 IBM Tivoli Monitoring : Architecture générale Excellente scalabilité Plusieurs serveurs ITM peuvent être rassemblés dans un seul OS Une seule DB peut être utilisée 97

98 Fonctionnalités d'itm Surveillance transversale des ressources Interface personnalisable et dynamique Automatisation d'actions Historisation des mesures 98

99 ITM AIX/ Power Architecture: Internals TEP Client Console Server TEPS ITM Server Console Database Management Server TEMS Warehouse Topology Availability Performance VIOS Availability Health Performance HMC OS HMC/IVM HMC Agent CEC Agent CEC LPARs AIX AIX VIOS Premium or Base Agent VIOs AIX Availability Health Performance AIX Base Agent AIX AIX Premium Agent AIX AIX Premium Agent WPAR AIX

100 TEP Workspaces Navigation Enterprise UNIX Systems Supplemental Workspaces Performance Object Status Resources Summary Graph System Inventory <hostname> AIX Premium Top Resource Views System Memory Process Storage Networking User WPAR Status VIOS Premium Virtual IO Mappings Security Top Resources System Memory Process Storage Networking User Status HMC Base System Managed Systems CEC Base CEC Resources CEC Utilization Resource Summary Performance Object Status System Inventory File System Logical Volume Details Physical Volume Details System Storage Information Volume Groups and Logical Volume MPIO Storage Information WPAR Summary CPU Information CPU Utilization LPAR Information * NIM Resources Print Queue Workload Manager Network Adapter Utilization Network Interfaces * Network Protocol Views Device Status Storage Mappings * Network Mappings NPIV Mappings Performance Object Status Resources Summary Graph System Inventory File System Logical Volume Details Physical Volume Details * System Storage Information Volume Groups and Logical Volume MPIO Storage Information Device Status Network Adapter Details Network Adapter Utilization Network Interfaces * Network Protocol Views Shared Ethernet Shared Ethernet Adapter High Availability Details Shared Ethernet Bridging Details Performance Object Status HMC Summary Managed Systems List CEC View Monitored Partitions * CEC Utilization * LPAR Utilization* LPAR Summary

101 Agent AIX Premium Top Ressources 101

102 Agent AIX Premium System view 102

103 VIOS Agent Disk mapping 103

104 VIOS Agent : NPIV 104

105 CEC Agent : Frame utilization 105