Expérience d implémentation d ASM avec CRS sur un environnement AIX COMMON Romandie 27 mai 2009 Marian Agape (Givaudan), Marie-Lorraine Bontron (IBM)
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 2 ASM/CRM implementation under AIX OS
Infrastructure UNIX Provider R R DataCenter 1 DataCenter 2 CISCO 6500 CISCO 6500 DS8300 Magstar 3594 DS8100 Test 13 Kilometers CISCO MDS 9509 pseries P690 power5 P590 SAP CISCO MDS 9509 power5 P570 power5 p595 CISCO 6500 CISCO MDS 9509 Multiplexe r ADVA CISCO MDS 9509 Multiplexe r ADVA power5 p590 SAP CISCO 6500 Same VLAN ASM/CRM implementation under AIX OS Magstar 3594 pseries P690 ESS 3 DS8300 power5 p595 power5 p570
Infrastructure pour Oracle Manual Manual PROD D prodname D prodname R 27 Rprod1 27 GB GB 1.2 CPU 26 GB 1.2 CPU 350 GB 1.2 data CPU 350 GB data 350 GB data TEST devname devname 10 test1 GB 10 GB 1.6 10 CPU GB 1.6 CPU 350 GB 0.4 data CPU 350 GB data 200 GB data DEV devname devname 6 devname GB 6 GB dev1 1.2 CPU 6 1.2 CPU 14 GB GB 250 GB 1.2 250 GB 1.6 data CPU data CPU 250 250 GB GB data data VIOS VIOS LPARs Oracle Instances (10g) RAM ( GB ) CPU (EC) DISK ( TB ) DRP PROD 7 58 84 6.6 3.6 (M) Manual TEST 6 57 41 2.4 1.8 No DEV 7 77 52 5.6 2 No Total 19 192 177 14.6 7.4 4 ASM/CRM implementation under AIX OS
Terminologie LPAR: Logical Partition (AIX OS, node) DLPAR: Dynamic LPAR VIOS: Virtual I/O Server CPUs: Virtual Processor, Entitled Capacity ASM: Automated Storage Management ( Oracle ) CRS: Oracle Clusterware ( Oracle ) FRA: Flash Recovery Area ( Oracle ) LVM: Logical Volume Manager ( AIX, IBM) 5 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 6 ASM/CRM implementation under AIX OS
Pourquoi ASM? Premier tests d ASM en 2005, pour résoudre un problème de performance. Abandon de la solution: ASM semblait très orienté «RAC». «Lesson learned» amélioration des perfs sans tuning dans ASM administration simple (interface grid control) 7 ASM/CRM implementation under AIX OS
Pourquoi ASM? Début 2008, nouvelle évaluation de ASM Suivi du training organisé par COMMON ASM permettrait de répondre à plusieurs problématiques "Backup Online» difficile à implémenter dans l environnement actuel Modèle d architecture avec 2 filesystems par DB peu adapté à l évolution rapide du nombre de bases oracle Difficulté à maintenir les miroirs LVM «cross-site» Demande de disponibilité accrue au niveau des bases 8 ASM/CRM implementation under AIX OS
Pourquoi ASM? Concept de cluster permet la consolidation des DBs sur un nombre réduit de LPARs. Consolidation de l espace disque => gain substantiel espéré. Augmentation de la disponibilité apportée par CRS Licence incluse dans Oracle Enterprise. 9 ASM/CRM implementation under AIX OS
Support de la virtualisation sur p5 Power Hypervisor LPAR 1 VIO Server 1 VSCSI VSCSI LPAR 2 MPIO failover hdisk MPIO hdisk hdisk HBA1 HBA2 Oracle Node 1 ASM Votin OCR AIX, Oracle Clusterware, ASM and RAC softwares are supported on virtual disks Supported With ASM 10g AIX /oracle/crs /oracle/asm /oracle/rdbms Storage VIO Server 2 MPIO HBA1 HBA2 For OCR and Voting disks : Use of virtual disks supported OCR Disks Voting Disks VSCSI Virtual HBA Adapters HBA Physical HBA Adapters Data access thru virtual disks using ASM supported ASM Disks 10 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 11 ASM/CRM implementation under AIX OS
Validation technique: Objectifs Vérifier que la solution basée sur ASM/CRS soit équivalente voire meilleure en terme de Disponibilité Performance Tester le comportement du miroir ASM avec 100km de distance Valider que la migration des données soit possible sur 1 week-end 12 ASM/CRM implementation under AIX OS
Validation technique: environnement de test LVM Setup ASM Setup prodname1 27 GB 1.2 CPU 350 GB data devname1 10 GB 1.6 CPU 350 GB data devname2 6 GB 1.2 CPU 250 GB data devname3 8 GB 1 CPU 400 GB data prodname2 6 GB 2 CPU 300 GB data VIO DS8300 4Gbps SAN switch 4Gbps Tape devnode1 20 GB 1.4 CPU 400 GB data ASM / CRS devnode2 20 GB 1.4 CPU 400 GB data ASM / CRS VIO DS8300 4Gbps SAN switch 4Gbps Tape DS8300 DS8300 13 ASM/CRM implementation under AIX OS
Validation technique: test de disponibilité AIX VG on Same LPAR devnode1 20 GB 1.4 CPU 400GB ORA data ASM instance VIOS O V LUN LUN LUN LUN devnode2 20 GB 1.4 CPU 400GB ORA data ASM instance O V VIOS Impact sur DBs Perte data LVM : : : Non Non N/A (Impossible d ecrire sur disk) V DESCRIPTION RESULTAT Un disque utilisé par ASM est accidentellement configuré - Sur la LPAR, tentative d ajout dans un volume group - Sur la LPAR, tentative d écriture d un pvid sur le disque Si ASM est en fonctionnement Impossible de configurer le disque ASM (msg d erreur d AIX) 14 ASM/CRM implementation under AIX OS
Validation technique: test de disponibilité devnode1 20 GB 1.4 CPU 400GB ORA data ASM instance VIOS O V LUN LUN V devnode2 20 GB 1.4 CPU 400GB ORA data O V VIOS ASM instance VIOS LPAR Impact sur DBs Perte data LVM Oui Stop des DBs Oui Restore Moins d impact Restore moins de données DESCRIPTION RESULTAT Un disque utilisé par ASM est accidentellement alloué à un autre VIOS et mappé sur une autre LPAR. Le disque est configuré dans le VIOS. Un PVID est écrit sur le disque. Les bases sont arrêtées Le disque prend le statut «UNKNOWN» dans ASM 15 ASM/CRM implementation under AIX OS
Validation technique: test de performance Répartition des I/O sur les disques ASM Disk Read KB/s devnode1 19.05.2009 Avg. WAvg. Max. Disk Write KB/s devnode1 19.05.2009 Avg. WAvg. Max. Thousands 14 12 10 8 2500 2000 1500 6 4 2 1000 500 0 0 hdisk5 hdisk11 hdisk15 hdisk2 hdisk7 hdisk17 hdisk21 hdisk19 hdisk20 hdisk23 hdisk16 hdisk22 hdisk6 hdisk12 hdisk10 hdisk14 hdisk0 hdisk25 hdisk24 hdisk4 hdisk18 hdisk3 hdisk9 hdisk13 hdisk8 hdisk1 hdisk15 hdisk22 hdisk23 hdisk16 hdisk17 hdisk19 hdisk11 hdisk2 hdisk20 hdisk21 hdisk6 hdisk7 hdisk12 hdisk10 hdisk25 hdisk14 hdisk5 hdisk0 hdisk24 hdisk3 hdisk9 hdisk13 hdisk4 hdisk8 hdisk1 hdisk18 LVM Disk Read kb/s devname1 / LVM Avg. WAvg. Max. Disk Write kb/s devname1 / LVM Avg. WAvg. Max. Thousands 8 7 6 5 Thousands 6 5 4 4 3 3 2 1 2 1 0 0 hdisk4 hdisk10 hdisk1 hdisk11 hdisk8 hdisk9 hdisk0 hdisk5 hdisk13 hdisk12 hdisk14 hdisk15 hdisk6 hdisk3 hdisk2 hdisk7 hdisk4 hdisk1 hdisk0 hdisk3 hdisk5 hdisk13 hdisk7 hdisk2 hdisk8 hdisk6 hdisk9 hdisk15 hdisk12 hdisk14 hdisk10 hdisk11 16 ASM/CRM implementation under AIX OS
Test de performance à distance DESCRIPTION Record time to establish mirror @ different distance RESULTS ASM gives good performance Priority can be changed ( from 1 to 11) The response time for any operation stays, as same as when it s locally mirrored. LVM ASM result Average Result Average 70 km 255 GB in 1h12 3.5 GBp/min 529 GB in 2h40 Priority 6 3.3 GBp/min 100 km 185 GB in 1h20 1.3 GBp/min 514 GB in 52m Priority 11 9.8 GBp/min 17
Validation technique: résumé des tests ASM/CRS versus LVM Mirror No Mirror Comments AVAILABILITY Disk failure Node down Storage down PERFORMANCE Cluster solution with automatic failover ASM: Impact on more DBs than LVM solution LVM: Less data to restore from backup ASM/CRS is better because of cluster (automatic restart) LVM: PROD: manual 4h, DEV and TEST: No DR Test and DEV: Data are lost in both cases PROD: no impact in both cases ASM better in all tests Backup/Restore Storage @10 km N/A Storage @100 km N/A MIGRATION Possible in 1 week-end per environment 18 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 19 ASM/CRM implementation under AIX OS
Architecture pour ASM / CRS Cluster à 2 nodes Simple à maintenir 2 sites, 2 baies, 2 p595 2 clusters pour les environnements de DEV et PROD Environ 50 bases par cluster Limitation du temps de bascule (relocation de 25 bases ~ 15 min) Diminution de l impact en cas de problème (moins de DBs à restaurer) Au moment de la décision : Max 64 DBs par node ASM (problème résolu depuis) Fonctionnement Actif / Actif Environ la moitié des bases par node Pas de failback automatique Utilisation du DLPAR pour ajouter MEM et CPU 20 ASM/CRM implementation under AIX OS
Architecture pour ASM / CRS ASM Miroir ASM pour la PROD (sur 2 DSs / 2 sites) Disk Group séparés pour datafile et archivelog Volume Group spécifique à ASM dans les DS8000 (TAG) CRS OCR en Miroir 3 x voting disks Support des applications hors Oracle - 1 VG qui bascule entre les 2 nodes (varyon sur 1 seul node) 2 resource groups dépendants - deps: VG partagé, filesystems, ASM, Ressources DLPAR - resgrp: Oracle DBs et applications 21 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 22 ASM/CRM implementation under AIX OS
Installation du cluster / OS et binaires management public node1 node2 interconnect R S B 2 GB 0.2 CPU 2 GB 0.2 CPU R S B VIOS VIOS 23 ASM/CRM implementation under AIX OS
Installation du cluster / Préparation des disques Correspondance hdisk oracle device Dans /dev/oracle Convention de nommage des devices typ_<nom du DS>_LUN ex: asm_shd_0329-3 car: type de device oracle (asm, ocr ou vot) - 4 car: nom du DS8k - 4 car: numéro de LUN dans le DS8k Script pour créer les devices oracle prepare_oracle_disk.pl --ds 75P9801 --lun 0329 --type asm --name asm_shd_0329 24 ASM/CRM implementation under AIX OS
Installation du cluster / Configuration des disques root@devnode1:/usr/local/scripts/>lsdsk -s VOL_GROUP -s ORA_DEVICE DISK TYPE STORAGE LUN_ID SIZE PVID VOL_GROUP ORA_DEVICE ----------- ------- --------- ------ ------- ---------------- --------- ---------------- hdisk17 VSCSI 75P9801 0507 1.00 00c56c1cbdcf0cd9 hdisk14 VSCSI 75P9801 0029 50.00 asm_shd_0029 hdisk4 VSCSI 75P9801 0129 50.00 asm_shd_0129 hdisk16 VSCSI 75P9801 0229 50.00 asm_shd_0229 hdisk6 VSCSI 75P9801 0329 50.00 asm_shd_0329 hdisk22 VSCSI 75P9801 042A 50.00 asm_shd_042a hdisk1 VSCSI 75P9801 042B 50.00 asm_shd_042b hdisk20 VSCSI 75P9801 052A 50.00 asm_shd_052a hdisk2 VSCSI 75P9801 052B 50.00 asm_shd_052b hdisk21 VSCSI 75P9801 062B 50.00 asm_shd_062b hdisk19 VSCSI 75P9801 072B 50.00 asm_shd_072b hdisk13 VSCSI 75P9801 1029 50.00 asm_shd_1029 hdisk3 VSCSI 75P9801 1129 50.00 asm_shd_1129 hdisk18 VSCSI 75P9801 080A 1.00 ocr_shd_080a hdisk8 VSCSI 75P9801 090A 1.00 ocr_shd_090a hdisk7 VSCSI 75P9801 0508 1.00 vot_shd_0508 hdisk15 VSCSI 75P9801 0609 1.00 vot_shd_0609 hdisk10 VSCSI 75P9801 070A 1.00 vot_shd_070a hdisk11 VSCSI 75P9801 041B 20.00 00c56c1cbdcc8742 binvg hdisk12 VSCSI 75P9801 051B 20.00 00c56c1cbdd195e9 binvg hdisk5 VSCSI 75P9801 061E 20.00 00c56c1cd54d4535 datavg_n1 hdisk0 VSCSI 75P9801 071F 20.00 00c56c1cbdd7f988 datavg_n2 hdisk9 VSCSI 75P9801 031B 20.00 00c56c1cbd864594 rootvg hdisk23 VSCSI 75P9801 1523 10.00 00c56c1c356229a8 swapvg 25 ASM/CRM implementation under AIX OS
Installation du cluster / Configuration des disques management public node1 node2 interconnect R S B 2 GB 0.2 CPU 2 GB 0.2 CPU R S B VIOS V VIOS O LUN V LUN V O 26 ASM/CRM implementation under AIX OS
Installation de ASM et CRS / tips and tricks Modification du script racgvip En AIX 6.1: netstat i retourne 1 colonne de plus DLPAR: pour éviter le reboot en cas de retrait de mémoire. Modifier init.cssd - OPROCD_DEFAULT_TIMEOUT=3000 (default 1000) - OPROCD_DEFAULT_MARGIN=1500 (default 500) Problème avec aixpert en mode «médium» Impossibilité de créer l instance ASM Penser à rebooter le serveur après la configuration réseau avant l install de CRS suivre le cookbook!!! 27 ASM/CRM implementation under AIX OS
Configuration CRS - ressources nodeaps - ressources créées à l'installation du clusterware vip ons gsd asm pas de spfile asm_diskgroups à modifier manuellement lsnr utilisé juste pour se connecter à ASM avec TOAD 28 ASM/CRM implementation under AIX OS
Configuration des ressources spécifiques vip - c'est l adresse IP virtuelle pour toutes les bases de données création d une vip applicative pour ne pas utiliser celle créée à l'installation du clusterware deps - trois fonctionnalités dlpar gérer la mémoire et le CPU asm vérifier si ASM tourne lvm gérer le volume group qui bascule resgrp - gère toutes les bases de données et applications bases de données grid agent autres applications qui doivent basculer 29 ASM/CRM implementation under AIX OS
Vérification des ressources: crsstat oracle@devnode1: :/usr/local/scripts/oracle$ home cr ### Environment variables set for ORACLE_HOME /oracrs/home/crs11g oracle@devnode1: :/logs/perllogs$ crsstat CATEGORY RESOURCE_NAME TARGET STATE --------------- -------------------------------------------------- ---------- -------------------- GIVAUDAN giv.devnode1.deps ONLINE ONLINE on devnode1 giv.devnode1.resgrp ONLINE ONLINE on devnode1 giv.devnode1.vip ONLINE ONLINE on devnode1 giv.devnode2.deps ONLINE ONLINE on devnode2 giv.devnode2.resgrp ONLINE ONLINE on devnode2 giv.devnode2.vip ONLINE ONLINE on devnode2 ORACLE ora.devnode1.asm1.asm ONLINE ONLINE on devnode1 ora.devnode1.cl_listener_devnode1.lsnr ONLINE ONLINE on devnode1 ora.devnode2.asm2.asm ONLINE ONLINE on devnode2 ora.devnode2.cl_listener_devnode2.lsnr ONLINE ONLINE on devnode2 CLUSTERWARE ora.devnode1.gsd ONLINE ONLINE on devnode1 ora.devnode1.ons ONLINE ONLINE on devnode1 ora.devnode1.vip ONLINE ONLINE on devnode1 ora.devnode2.gsd ONLINE ONLINE on devnode2 ora.devnode2.ons ONLINE ONLINE on devnode2 ora.devnode2.vip ONLINE ONLINE on devnode2 30 ASM/CRM implementation under AIX OS
Démarrage du cluster management public resg DB DBDBDB node1 node2 DB DBDBDB resg deps VG1 ASM1 interconnect ASM2 VG2 deps VIP R S B 202 GB 0.2 1.4 CPU 202 GB GB 0.2 1.4 CPU R S B VIP VIOS V VIOS O LUN V LUN V O 31 ASM/CRM implementation under AIX OS
Fonctionnement en cas de crash d un node resg node1 node2 resg deps VIP DB DBDBDB VG1 ASM1 20 GB 1.4 CPU DB DBDBDB ASM2 VG2 DB DBDBDB 20 GB 38 GB 1.4 CPU 2.8 CPU deps VIP VIOS V VIOS O LUN V LUN V O 32 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 33 ASM/CRM implementation under AIX OS
Méthode de migration Création du cluster / Configuration ASM et CRS Validation et tests de bascules Test de coupure de l interconnect Backup / Restore avec RMAN Création d alias DNS sur les anciens noms de machines Démarrage des bases sur les LPARs du cluster 34 ASM/CRM implementation under AIX OS
Migration de l environnement de DEV VIOS devname devname 6 devname GB 6 devname1 GB 1.2 CPU 6 1.2 CPU 14 GB GB 250 250 GB 1.2 GB 1.2 data CPU 250 GB data CPU 250 GB data data LUN VIOS LUN devnode3 devnode4 Cluster DEV 2 16 GB 12 GB 1.6 CPU 1.4 CPU 500GB devnode1 data 500GB devnode2 Cluster DEV 1 data ASM / CRS 20 GB ASM / CRS 20 GB 1.4 CPU 1.4 CPU LUN VIOS V 400GB data VIOS 400GB LUN data ASM / CRS ASM / CRS LUN V LUN LUN VIOS O VIOS LUN O V O DNS O V devname1 = devnode4 devname2 = devnode1 V V devname6 = devnode1 Environnement de DEV migré avec succés le 11 mai 2009 35 ASM/CRM implementation under AIX OS
Modification après migration ORACLE BACKUP AVAILABILITY DRP DEV - LVM 77 DBs 7 LPARs Oracle 10gR2 Oracle Binary on JFS2 Oracle Data/Redo on JFS2 Daily export on FS Weekly Full Cold Backup No mirror No DEV - ASM 2 clusters 77 DBs 4 LPARs Oracle 10gR2, ASM/CRS 11g Oracle Binary on JFS2 Oracle Data/Redo on ASM Archive log on ASM Daily online Backup No export No mirror Yes, Automatic (does not protect from DS8000 failure) Env CPU MEM GB DBs LVM DEV 5.6 52 2064 77 ASM DEV 5.6 68 1210 77 36 ASM/CRM implementation under AIX OS
Consolidation : ressources CPU 37 ASM/CRM implementation under AIX OS
Consolidation : ressources CPU 38 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 39 ASM/CRM implementation under AIX OS
Changement et amélioration Disponibilité Fonctionnalité de cluster, redémarrage automatique des DBs - En DEV et TEST également - En cas de maintenance ou de panne «RAC ready» Consolidation Meilleure utilisation de l espace disque - Pas d espace tampon au niveau VG, FS and datafiles - DEV : 1.2 TB au lieu de 2 TB (850GB dans ASM) Backup Uniformisation de la méthode de backup (RMAN) Archivelog pour toutes les bases 40 ASM/CRM implementation under AIX OS
Changement et amélioration Management Solution évolutive pour besoins futurs - Création de nouvelles DBs facilitée Ajout d espace disque simplifié - Necéssité d ajouter le nouveau disque seulement dans ASM Tuning simplifié - optimisation automatique par ASM Pas de gestion de filesystems - Réduction du travail des admins systèmes - Simplification du mirroring Réduction du nombre de serveurs Oracle - Limitation du travail pour les DBAs 41 ASM/CRM implementation under AIX OS
Inconvénients Charge de travail non négligeable pour la transformation La documentation est trop liée à RAC Surtout dans metalink Amélioration perceptible dans la doc 11g ASM: Impossible de changer le mode de redondance d un disk dynamiquement ASM: asmcmd (command line) n est pas toujours fiable CRS: Les logs de CRS sont confus et peu documentés Rend le troubleshooting difficile et long CRS: Impossible de capturer l output des scripts de gestion des ressources 42 ASM/CRM implementation under AIX OS
Agenda Infrastructure UNIX Pourquoi ASM et CRS Validation technique Choix de l architecture Configuration du cluster Migration par environnement Avantages et inconvénients Conclusion 43 ASM/CRM implementation under AIX OS
Conclusion Changement technologique important sans impact pour les utilisateurs Projet à l initiative des DBAs et Admin Systèmes réussi grâce à une collaboration étroite et une complémentarité du team répond aux préoccupations actuelles d économie ou de meilleure utilisation des ressources Suite à l expérience réussie avec l environnement de DEV, les 2 autres environnements seront migrés prochainement et pourquoi pas SAP s il supporte ASM un jour La partie CRS mérite des améliorations Les tests à Montpellier ont été très bénéfiques pour mettre en évidence des problèmes difficiles à identifier sur site pour nous conforter dans le choix de cette nouvelle technologie Merci à IBM pour la mise à disposition de l environnement de benchmark et à Oracle pour leur support technique 44
45 ASM/CRM implementation under AIX OS