Tout le monde parle du Cloud Computing, Mais qui offre une solution complète? Copyright IBM Corporation, 2009 All Rights Reserved
Blade Power i Journée technique du 21 octobre 2009 BOUCHOT Jean-Marie jm_bouchot@fr.ibm.com Copyright IBM Corporation, 2009 All Rights Reserved
Agenda Lames Power et IBM i Les lames Les nouvelles lames Power JS23 et JS43 Les nouvelles cartes d expansion Les cartes d expansion supportées pour IBM Les châssis Les switchs SAS RAID Le châssis BladeCenter S et ses connexions Le châssis BladeCenter H et ses connexions La virtualisation Les scenarii Le support du stockage Le support des unités de bandes Proposition commerciale Considérations diverses Le service Documentation 3
Les lames 4
IBM BladeCenter JS23 Express 2 chips, 4 cœurs POWER6 4.2 GHz Lithographie à 65 nm Cache de niveau 2 de 4 Mo par cœur Cache niveau 3 de 32 Mo par chip 8 slots mémoire VLP DIMM Jusqu à 64 Go de mémoire Processeur de service FSP-1 Ports Ethernet intégrés 2 x 1Gb (HEA) 2 Connecteurs PCIe (PCI express) CIOv et CFFh 1 Contrôleur SAS intégré Pour 1 disque SAS ou SSD Gestion d énergie EnergyScale Virtualisation avec PowerVM 5
IBM BladeCenter JS23 Express 6
IBM BladeCenter JS43 Express 4 chips, 8 cœurs POWER6 4.2 GHz Lithographie à 65 nm Cache de niveau 2 de 4 Mo par cœur Cache niveau 3 de 32 Mo par chip 16 slots mémoire VLP DIMM Jusqu à 128 Go de mémoire + Processeur de service FSP-1 Ports Ethernet intégrés 4 x 1Gb (HEA) 4 Connecteurs PCIe (PCI express) CIOv et CFFh 1 Contrôleur SAS intégré Pour 2 disques SAS ou SSD Gestion d énergie EnergyScale Virtualisation avec PowerVM 7
IBM BladeCenter JS43 Express unité SMP 8
Les cartes d expansion CFFv et CFFh Lames JS12 et JS22 Combination Form Factor (CFF) autorise 2 cartes d expansion différentes sur la même lame. CFFv (Combo Form Factor vertical) Bus PCI-X fournissant un accès aux modules switchs des slots 3 et 4 Switchs verticaux Supporté pour IBM i : SAS (#8250) CFFh (Combo Form Factor horizontal) Bus PCIe fournissant un accès aux modules switchs des slots 7 à 10 Switchs horizontaux ou MSIM Supporté pour IBM i : Fibre Channel et Ethernet (#8252) Note : Voir le document IBM i on Power Blade Supported Environments pour le matériel supporté par IBM i 9
Les cartes d expansion CIOv et CFFh Lames JS23 et JS43 La combinaison I/O Form Factor vertical (CIOv) n est disponible que sur les lames JS23 et JS43 CIOv Bus PCIe fournissant un accès aux modules switchs des slots 3 et 4 Switchs verticaux Supportés pour IBM i : SAS (#8246), Fibre Channel (#8240, #8241, #8242) Redondance possible avec les cartes FC CFFh CFFh Bus PCIe fournissant un accès aux modules switchs des slots 7 à 10 Switchs horizontaux ou MSIM Supporté pour IBM i : Fibre Channel and Ethernet (#8252) Note : Voir le document IBM i on Power Blade Supported Environments pour le matériel supporté par IBM i 10
Cartes d expansion pour IBM i #8252 QLogic Ethernet and 4Gb Fibre Channel Expansion Card (CFFh) Carte PCIe supportée sur toutes les lames #8246 3Gb SAS Pass through Expansion Card (CIOv) #8250 LSI 3Gb SAS Dual Port Expansion Card (CFFv) Carte PCIx supportée sur les JS12 et JS22 #8240 Emulex 8Gb #8242 QLogic 8Gb #8241 QLogic 4Gb Fibre Channel Fibre Channel Fibre Channel Expansion Card (CIOv) Expansion Card (CIOv) Expansion Card (CIOv) Cartes PCIe supportées sur les JS23 et JS43 Note : Voir le document IBM i on Power Blade Supported Environments pour le matériel supporté par IBM i 11
Les châssis 12
Modules I/O SAS pour BladeCenter S et H SAS RAID Controller Switch Module and BBU (Dispositif 3734) Supporté seulement dans les châssis BCS Support RAID des disques SAS du châssis Pas de disques SATA! Il existe des disques spécifiques SAS de grande capacité Permet la connexion de la TS2240 Pas de support de la DS3200 2 modules systématiquement IBM BladeCenter SAS Connectivity Module (Dispositif 3267) Supporté dans les BladeCenter S et H Pas de support du RAID Permet la connexion de la TS2240 Permet la connexion de la DS3200 1 nécessaire, 2 recommandés si disques Note : Voir le document IBM i on Power Blade Supported Environments pour le matériel supporté par IBM i 13
SAS RAID Controller Switch Module Le contrôleur RAID fournit des fonctions de protection au stockage du BladeCenter S SAS RAID Controller Switch Module Haute performance, full duplex, 3Gbps Support du RAID 0, 1, 5, et10 Support des 2 cages disque (12 disques) Support des unités de bande externes Compatible avec les cartes CFFv SAS #8250 Compatible avec les nouvelles cartes CIOv SAS #8246 1Go de cache en écriture protégé par batterie Il faut deux SAS RAID Controller Switch Modules (#3734) sur le châssis Maximum 8 Luns par lames Support des lames Power et x86 Il est recommandé d avoir des grappes RAID séparées Pour chaque partition IBM i Pour les environnements Windows Prérequis Mise à jour du Firmware des SAS RAID Controller Switch Modules VIOS 2.1.1 Firmware efw 3.4.2 14
Le châssis BladeCenter S Face avant Guide de référence rapide pour châssis BladeCenter S Disques SAS et/ou SATA Les disques SAS sont recommandés pour la production IBM i 7U Les protections RAID 0, 1, 5, 0+1 sont supportées avec les switchs RSSM (RAID SAS Switch Module) Des grappes RAID séparées sont recommandées pour les partitions IBM i Ports USB et lecteur CD-RW / DVD-ROM partageable Jusqu à 6 serveurs lame Batteries de secours pour les composants RAID SAS Switch Module 15
Le châssis BladeCenter S vue arrière Les alimentations Hot-swap 3 & 4 sont requises si il y a plus d une lame Auto-sensing 950W / 1450W Les alimentations Hot-swap 1 & 2 sont fournies en standard Auto-sensing 950W / 1450W 7U 4 ventilateurs en standard En haut : AMM en standard En bas : Serial Pass-thru Module optionnel Modules 1 et 2 (gauche) : Ethernet Modules 3 et 4 (droite) : SAS 16
BladeCenter S Correspondance lames / slot I/O AMM A Blade #1 Slot I/O 1 B Blade #2 Blade #3 Blade #4 Blade #5 Blade #6 Switch Ethernet A Slot I/O 3 Slot I/O 4 Ethernet Fibre SAS Ethernet Fibre SAS Batterie RAID Batterie RAID B PCI-X (CFFv) ou PCIe (CIOv) Cartes fille Ethernet, Fibre, SAS et SAS RAID D.C. Blade #1 D.C. Blade #2 D.C. Blade #3 D.C. Blade #4 Switchs SAS D.C. Blade #5 D.C. Blade #6 A B PCIe (CFFh) Carte fille C.C. Blade #1 C.C. Blade #2 Slot I/O 2 C.C. Blade #3 C.C. Blade #4 C.C. Blade #5 C.C. Blade #6 Switch optionnel 17
Le châssis BladeCenter H face avant Alimentation 3 Alimentation 1 et ventilation Lame 1 9U Emplacement lame disponible Alimentation 2 Panneau système frontal Unité de CD / DVD ports USB Alimentation 4 et ventilation 18
IBM BladeCenter H Vue arrière Multi-Switch Interconnect Module Baies pour modules I/O 7 et 8 Connecteur alimentation 2 Switch Ethernet Switch Ethernet (7 côté gauche) Switch Fibre Channel (8 côté droit) Connecteur alimentation 1 Module I/O 3 Module I/O 1 Module I/O 5 AMM 1 Ventilateurs 1 et 2 Switch Ethernet AMM 2 Module I/O 2 Module I/O 4 Module I/O 6 Panneau LED arrière et connecteur série Module SAS ou Fibre Channel Baies pour module I/O 9 et 10 Multi-Switch Interconnect Module Switch Ethernet (9 côté gauche) Switch Fibre Channel (10 côté droit) 19
BladeCenter H Correspondance lames / slot I/O A Blade #1 AMM AMM Slot I/O 1 Slot I/O 2 B Blade #2 Blade #3 Blade #4 Blade #5 Blade #6 Switchs Ethernet A Slot I/O 3 Slot I/O 4 Ethernet Fibre SAS Ethernet Fibre SAS B PCI-X (CFFv) ou PCIe (CIOv) Cartes fille Ethernet, Fibre, SAS et SAS RAID D.C. Blade #1 D.C. Blade #2 D.C. Blade #3 D.C. Blade #4 Switchs SAS D.C. Blade #5 D.C. Blade #6 Slot I/O 7 Slot I/O 8 Slot I/O 9 Slot I/O 10 A B PCIe (CFFh) Carte fille C.C. Blade #1 C.C. Blade #2 C.C. Blade #3 C.C. Blade #4 C.C. Blade #5 C.C. Blade #6 Switchs Ethernet Fibre 20
Configuration type d un BladeCenter H Connexion SAN + TS2240 1 module de gestion AMM 2 Modules réseau 1 modules SAS 2 MSIM + modules SAN 1 carte SAS (CFFv ou CIOv) 1 carte SAN (CFFh) BladeCenter H Lame JSxx 21
La virtualisation 22
Partitions IBM i client et hôte Client IBM i Hôte IBM i DDxx 5294 client Matériel associé à la partition NWSSTGs Connexion SCSI virtuel DVD DVD IVE Connexion LAN virtuel CMNxx hôte par la HMC Les disques peuvent être en internes ou dans une baie Les disques virtuels sont des objets espace de stockage (NWSSTG) Unités optique OPTxx OPTxx DS8000 Système POWER6 IBM i 6.1 pour l hôte et le Disques DDxx EXP24 Prérequis Les unités optique de la partitions hôte sont accessibles dans la partition client Réseau Routage entre une carte Ethernet et une carte virtuelle côté hôte, carte virtuelle côté client Carte IVE 23
VIOS, IBM i 6.1 et DSxxxx Disques Hôte VIOS Client IBM i hdiskx LUNs DDxx DS3400 DS4700 DS4800 Matériel affecté à la partition VIOS Chaque unité logique est virtualisé directement Les LUNs sont au format 512 octets open Unités optiques Le lecteur DVD du VIOS est Connexion SCSI virtuel DS5100 DS5300 virtualisé directement Réseau DS8100 DS8300 DVD SVC SEA IVE OPTxx Connexion LAN virtuel DVD CMNxx Le client IBM i dispose d une carte Ethernet virtuelle Le VIOS utilise les fonctions de bridge virtuel pour interconnecter le réseau virtuel et le réseau physique 24
Stockage, bande et DVD sur JS12/JS22 dans un BCH MSIM with Fibre Channel I/O module inside Fibre Channel Storage SAS Storage and/or tape DS3200 TS2240 SAS I/O module CFFh BladeCenter midplane Fibre Channel I/ O module i Client VIOS Host hdiskx LUNs DDxx Virtual SCSI connection CFFv Virtual SCSI connection OPTxx USB /dev/cd0 Media tray DVD DVD Power Blade Dans cet environnement, IBM i peut utiliser : Stockage Fibre Channel (MSIM, module FC et adaptateur CFFh) Stockage SAS (module SAS et adaptateur CFFh) Bande SAS (module SAS et adaptateur CFFh) USB DVD du BladeCenter Les ressources I/O physiques sont attachées au Virtual I/O Server et assignées à IBM i par IVM Les unités physiques (LUNs) seront assignées directement on évitera l utilisation des pools de stockage du VIOS 25
Stockage, bande et DVD sur JS23/JS43 dans un BCH MSIM with Fibre Channel I/O module inside Fibre Channel Storage SAS Storage and/or tape DS3200 TS2240 SAS I/O module CFFh BladeCenter midplane Fibre Channel I/ O module hdiskx LUNs DDxx Virtual SCSI connection CIOv OR CIOv Virtual SCSI connection OPTxx USB /dev/cd0 Media tray i Client VIOS Host DVD DVD Power Blade Dans cet environnement, IBM i peut utiliser : Stockage Fibre Channel (MSIM, module FC et adaptateur CFFh ou module FC module et adaptateur CIOv) Stockage SAS (module SAS et adaptateur CIOv) Bande SAS (module SAS et adaptateur CIOv) USB DVD du BladeCenter Les ressources I/O physiques sont attachées au Virtual I/O Server et assignées à IBM i par IVM Les unités physiques (LUNs) seront assignées directement on évitera l utilisation des pools de stockage du VIOS 26
Stockage, bande et DVD sur JS12/JS22 dans un BCS SAS drives in BCS VIOS Host Non-RAID SAS module in I/O Bay 3/4 IBM i Client hdiskx LUNs RAID SAS module in I/O Bay 3 & 4 DS3200 BladeCenter midplane TS2240 Virtual SCSI connection SAS CFFv Virtual SCSI connection USB /dev/cd0 Media tray OPTxx DVD DVD Power Blade Dans cet environnement, IBM i peut utiliser : DDxx Stockage SAS (module SAS module et adaptateur CFFv) Bande SAS (module SAS et adaptateur CFFv) USB DVD du BladeCenter La DS3200 n est supportée qu avec les Non-RAID SAS Switch Module (NSSM) Les ressources I/O physiques sont attachées au Virtual I/O Server et assignées à IBM i par IVM Les unités physiques (LUNs) seront assignées directement on évitera l utilisation des pools de stockage du VIOS 27
Stockage, bande et DVD sur JS23/JS43 dans un BCS SAS drives in BCS VIOS Host Non-RAID SAS module in I/O Bay 3/4 IBM i Client hdiskx LUNs RAID SAS module in I/O Bay 3 & 4 DS3200 BladeCenter midplane TS2240 DDxx Virtual SCSI connection SAS CIOv Virtual SCSI connection USB /dev/cd0 Media tray OPTxx DVD DVD Power Blade Dans cet environnement, IBM i peut utiliser : Stockage SAS (module SAS module et adaptateur CIOV) Bande SAS (module SAS et adaptateur CIOV) USB DVD du BladeCenter La DS3200 n est supportée qu avec les Non-RAID SAS Switch Module (NSSM) Les ressources I/O physiques sont attachées au Virtual I/O Server et assignées à IBM i par IVM Les unités physiques (LUNs) seront assignées directement on évitera l utilisation des pools de stockage du VIOS 28
Support de l environnement IBM i 3Q 2009 Châssis BladeCenter S Lames JS12, JS22, JS23 et JS43 Disques internes et/ou baie SAS DS3200 avec SAS switchs modules Disques internes seulement avec RAID SAS switchs modules Bande TS2230 ou TS2240 Châssis BladeCenter H Lames JS12, JS22, JS23 et JS43 Baie SAS DS3200 Baie FC (DS3400, DS4700, DS4800, DS5100, DS5300, DS8100, DS8300, SVC, XIV) Bande TS2230 ou TS2240 29
Support des unités de bande 3Q 2009 SAS I/O module ou RAID SAS I/O module BladeCenter midplane Unité de bande Hôte VIOS Client IBM i CFFv SAS ou CIOv SAS /dev/rmt0 Connexion Virtuelle SCSI séparée TAP01 3580 004 Power Blade Support des unités de bande BladeCenter H et BladeCenter S : TS2240 LTO4 SAS supportée par les sauvegardes VIOS et supportée par les sauvegardes IBM i (virtualisation de l unité de bandes) TS2230 LTO3 SAS supportée par les sauvegardes VIOS, non supportée par les sauvegardes IBM i IBM prévoit le support des bandothèques (Fibre Channel) au 4Q 2009 30
Proposition commerciale 31
Objet Objectif premier L objet des lames Power, dans un premier temps, n est pas de remplacer toutes les petites machines, mais de remplacer les anciennes machines qui ne sont pas passées en Power5 (150, 170, 250, 270, 800, 810, 820). Petites configurations à base de lames JS12, de châssis BladeCenter S et de switchs SAS de base (IBM BladeCenter SAS Connectivity Module). Evolution de l offre La possibilité de disposer de Raid SAS switchs modules ou de connecter des petites baies SAS (DS3200) sur le châssis BladeCenter S permet d envisager de proposer des configurations plus accessibles et plus performantes. Autres configurations Pour les configurations plus importantes, on partira avec des lames JS12 et JS23 (plutôt que JS22 pour la mémoire disponible), un châssis BladeCenter H et des baies de disque FC (DS3400, DS4xxx, DS5xxx) 32
Recommandations mémoire Recommandation générale en Power 6 Pour l environnement IBM i fonctionnant sur des machines à base de processeurs Power6, la recommandation est de prévoir 16 Go de mémoire par processeur. Si le besoin est précisé (existant ou autre), on pourra descendre à 8 Go. Pour les petites machines 8203 (1 processeur, quelques utilisateurs), on pourra avoir moins (remplacement de 170 / 270, etc.) Recommandation pour les lames La recommandation devrait être la même, mais comme on dispose de beaucoup de puissance par rapport aux I/O qui pourront être fournies (dues aux limitations du nombre de carte sur les lames), on pourra considérer 8 Go de mémoire par processeur actif pour l environnement IBM i comme base de travail. On devrait avoir au moins (suivant le nombre de processeurs pour IBM i) JS12 : de 8 à 16 Go JS22 et JS23 : de 8 à 32 Go (on voit la limite de la JS22 : préférer la JS23) JS43 : de 8 à 64 Go (cette lame sera en général trop puissante pour IBM i) 33
Recommandations I/O Ne pas se tromper sur les besoins I/O disque! Les tests faits l an dernier à Montpellier ont permis d établir un nombre d I/O type pour les baies supportées à l époque : DS4700 1500 I/O par seconde DS4800 1800 I/O par seconde DS8100 2100 I/O par seconde Ceci pour 16 luns de définis pour l environnement IBM i (16 disques vu de IBM i) On peut considérer avoir pour les DS3200/DS3400 des possibilités I/O comparables aux DS4700/DS4800 Avec l utilisation des disques internes du BladeCenter S et les modules Raid, on a une limitation à 8 luns par lame : pas plus de 1000 I/O par seconde pour une lame aucun intérêt à mettre dans ce cas une JS22, JS23 ou JS43 pour IBM i dans un BladeCenter S (peut être envisageable avec une DS3200) Des tests permettront de confirmer ou non cette estimation. Il est possible avec la dernière version du Virtual I/O Server de doubler, de tripler ou plus les données ci-dessus en mettant ce qu il faut côté baie (32, 48 Luns et plus) En cas de doute sur le besoin, faire une collecte des données de performance 34
Proposition d un châssis BladeCenter S Caractéristiques limitées Le châssis BCS n est pas totalement redondant, même si ce n est pas un problème Un seul module de gestion du châssis (mémoire de sauvegarde dans le châssis permettant un restauration automatique) Un seul switch réseau supporté en environnement i (en utilisant un intelligent passthru module, on s affranchit de ce point, attention switch Gbit dans ce cas) Avantages Pas besoin de salle machine Alimentation électrique standard Besoin limité en climatisation ( pas de placard tout de même!) Pas besoin d un grand rack Le Kit office enablement dispose de 11u (profondeur d un rack standard) Inconvénients Nombre de lames limitées 6 lames seulement Connectivité réduite SAS seulement donc locale 35
Disques et châssis BladeCenter S BCS avec les Switchs SAS et les disques intégrés Pas de protections matérielle des disques (mirroring par l OS) Pas de cache en écriture Solution adaptée si peu d I/O BCS avec les Raid SAS switch modules et les disques intégrés 12 disques maximum Protection Raid et cache en écriture de 1 Go Limitations à 8 luns par lames Solution adaptée si I/O moyennes BCS avec les Switch SAS et une baie DS3200 48 disques maximum Protection Raid et cache gérés par la baie Solution plus souple que la précédente Solution adaptée si I/O moyennes 36
Proposition d un châssis BladeCenter H Caractéristiques étendues Le châssis BladeCenter H est totalement redondant Il dispose d une connectivité étendues Connectique v (SAS ou FC pour l environnement IBM i) Connectique h (FC pour l environnement IBM i) Avantages Nombre de lames importants Jusqu à 14 lames Connectivités variées SAS, FC, Infiniband (non utilisé en environnement i) Inconvénients Environnement bruyant Salle machine nécessaire (alimentation électrique, climatisation) 37
Disques et châssis BladeCenter H BladeCenter H avec Switchs SAS et une baie DS3200 48 disques maximum Protection Raid et cache gérés par la baie Connexion point à point locale (3 connexions maximum par baie) Solution pas chère pour un environnement PME Solution adaptée si I/O moyennes BladeCenter H avec Switchs FC et baies DSxxxx fibre Nb disques maximum dépendant de la baie Protection Raid et cache en écriture gérés par la baie Solution plus souple que la précédente Pas de limitations pour les connexions (nombres, distance) Solution adaptée si I/O conséquentes L environnement fibre doit évoluer Accès aux bandothèques à plus ou moins longue échéance 38
Service 39
Service Service d installation Mise à niveau des firmwares Module de gestion (AMM) Switchs (Ethernet, SAS, FC) Lame (carte SAS, carte FC, FSP) Configuration Module de gestion (AMM) : @IP Switchs (Ethernet, SAS, FC) : @IP + paramétrage Disques : configuration de la baie ou des disques du BCS Lame : mirroring disque SAS si besoin, installation VIOS et paramétrage du partitionnement Installation de l environnement i installation de IBM i, migration de l environnement client 40
Service Documentation Un document devra comporter : Les différents paramètres définis pour l environnement @IP des différents composants Utilisateurs et mot de passe associé AMM, switchs, lame (VIOS) Les procédures d arrêt et de démarrage Le châssis si besoin et le module de gestion (AMM) La lame (VIOS) et accès à IVM L environnement i + accès à la console Les sauvegardes Utilisation de la bande si plusieurs partitions Transfert de compétence Le client doit être capable d utiliser les procédures et les sauvegardes (utilisation basique de l accès au module de gestion et d IVM) 41
Service Contrat de mise à jour On pourra prévoir un contrat de mise à niveau périodique Le client i n aura pas forcément envie de s en occuper ou n aura pas les compétences! Pour les différents firmwares Pour le Virtual I/O Server Prévoir 2 ou 3 fois par an Qui? Si vous ne savez pas faire ou ne voulez pas faire Pour des points spécifiques ou pour la totalité Partenaires Grossistes IBM 42
Documentation 43
IBM i sur lames Power : Informations Disponible sur http://www.ibm.com/systems/power/hardware/blades/ibmi.html 44
Documentations IBM BladeCenter Products and Technology SG24-7523 Implementing BladeCenter S Redp-4357 45
Quelques URLs IBM i on Blade Read-me First : http://www.ibm.com/systems/power/hardware/blades/ibmi.html IBM i on Blade Supported Environments : http://www.ibm.com/systems/power/hardware/blades/ibmi.html IBM i on Blade Performance Information : http://www.ibm.com/systems/i/advantages/perfmgmt/resource.html Service vouchers : http://www.ibm.com/systems/i/hardware/editions/services.html IBM i on Blade Training : http://www.ibm.com/systems/i/support/itc/educ.html 46
Questions 47