JRES 2005 Marseille Retour d expérience SAN multi site: de problèmes en solutions Bernard Debord UFR/IMA Université Joseph Fourier Sigrun Fredenucci DSI de Grenoble Universités DSI de Grenoble Universités Didier Mathian DSI de Grenoble Universités
Plan de l exposé Contexte Technologies Fiber Channel (FC) Retours d expériences Réseau de stockage expérimental multi-site Solutions opérationnelles à l UFR/IMA de l UJF à la DSI de G.U. Bilan et perspectives 12/12/2005 SAN multi-site JRES 2005 2
Contexte Quatre universités grenobloises sont implantées sur un même campus Université Joseph Fourier Université Pierre Mendès France Université Stendhal Institut National Polytechnique de Grenoble L université de Savoie fait aussi partie de l Académie de Grenoble. Les applications de gestion (Apogée, Nabuco, ) des 5 établissements de l académie de Grenoble sont mutualisées à la DSI de Grenoble Universités (ex CICG) 12/12/2005 SAN multi-site JRES 2005 3
Problématique de départ Les CRI et DSI qui assurent la gestion des données sont confrontés à deux demandes antagonistes : des volumes de données toujours plus importants et plus sensibles nécessitant des sauvegardes journalières qui prennent de plus en plus de temps; un temps d indisponibilité des applications qui manipulent ces données toujours plus réduit. La criticité des données manipulées pose aussi le problème de sinistres éventuels et de la mise en place d un véritable Plan de reprise d activité (PRA). 12/12/2005 SAN multi-site JRES 2005 4
Solution choisie Utiliser les technologies de réseau de stockage (SAN) basées sur le protocole Fiber Channel (FC) pour l indépendance du stockage des serveurs les performances (baies FC, données sur réseau FC et non IP) la sécurité de l espace disque les fonctionnalités des baies FC 12/12/2005 SAN multi-site JRES 2005 5
Mise en commun de nos efforts Création d un groupe de travail interuniversitaire pour s approprier les technologies de réseau de stockage (SAN) Mise en place d un réseau de stockage expérimental multi-site Évolution des environnements de production en s appuyant sur le stockage en réseau. 12/12/2005 SAN multi-site JRES 2005 6
Les étapes 2003 Premier réseau de stockage (SAN) à l UJF, en production à l UFR/IMA Juin 2004 Installation d un deuxième SAN à la DSI-GU, en test et en production Nov 2004 Acceptation du projet de stockage à finalité opérationnelle par le Ministère lors de son appel à projet Fév 2005 Évolution du matériel SAN à l UFR/IMA (nouvelle baie, nouveau switch) 2004-2005 Interconnexion des deux sites pour constituer un réseau SAN multi-site distant de 200m environ 2005 Mise en place d une infrastructure de stockage FC avec copie instantanée à la DSI-GU Nov 2005 Acquisition d un switch FC d interconnexion pour offrir des accès iscsi au stockage FC multi-site 12/12/2005 SAN multi-site JRES 2005 7
Plan de l exposé Contexte Technologies Fiber Channel (FC) Retours d expériences Réseau de stockage expérimental multi-site Solutions opérationnelles à l UFR/IMA de l UJF à la DSI de G.U. Bilan et perspectives 12/12/2005 SAN multi-site JRES 2005 8
Le protocole FC c est une encapsulation de SCSI FCP pour palier les limitations du protocole SCSI : Distance, nombre de périphériques, vitesse, insertion dynamique de périphériques Garde ses avantages (pas de surcharge processeur, efficacité) FC Trame (2148 octets maximum): SOF FC Header SCSI Data CRC EOF 12/12/2005 SAN multi-site JRES 2005 9
Les différentes topologies SAN Point-à point N_PORT N_PORT bande passante dédiée Arbitrated loop NL_PORT NL_PORT une boucle orientée (partage de la bande passante) NL_PORT NL_PORT 126 stations maximum processus d initialisation de boucle (ajout/retrait de périphériques) NL_PORT Mode fabric N_PORT N_PORT routage de trames entre stations selon le plus court chemin, connexion point à point N_PORT FABRIC N_PORT communication isolées les unes des autres (agrégation de bande passante) N_PORT 12/12/2005 SAN multi-site JRES 2005 10
Mécanismes de sécurité...entre les serveurs connectés sur le SAN et les espaces de stockage présentés par les contrôleurs des baies FC Zoning LUN masking A B Serveurs Baies FC et LUNs 1 Switch FC ou Fabric 12/12/2005 SAN multi-site JRES 2005 11 2
Fonctionnalités des baies FC Copie instantanée mécanisme intégrée dans le code de la baie, qui travaille en mode bloc permettant de créer des images d un LUN en quelques secondes par recopie de la table des indexes Réplication synchrone ou asynchrone mécanisme intégré dans le code de deux baies FC identiques permettant de mirrorer des LUNs d une baie vers la deuxième avec ou sans acquittement. 12/12/2005 SAN multi-site JRES 2005 12
Copie instantanée Copie On First Write 0000 1111 -. 1111 -. -. 0000 -. -. -. -. 1111 -. 0000 -. 1111 -. 0000 -. 0110 -. 0101 LUN 1 -. -. -. -. -. -. LUN 1 Snap 12/12/2005 SAN multi-site JRES 2005 13
Plan de l exposé Contexte Technologies Fiber Channel (FC) Retours d expériences Réseau de stockage expérimental multi-site Solutions opérationnelles à l UFR/IMA de l UJF à la DSI de G.U. Bilan et perspectives 12/12/2005 SAN multi-site JRES 2005 14
Réseau expérimental DSI-GU UFR-IMA Serveur AIX hba1 Serveur Sauvegarde hba1 Robot LTO Serveur Win2000 hba1 Serveur Win2003 hba1 Serveur LINUX hba1 Serveur Solaris hba1 ctrl1 ctrl2 ctrl1 200m, mono 50µ + 62,5µ ctrl1 50 Sessions iscsi 12/12/2005 SAN multi-site JRES 2005 15
Retour d expérience Nous avons rencontré des problèmes techniques semblables à ceux du réseau Ethernet à ses débuts. Pb de jeunesse de technologie Désillusion concernant l interopérabilité et la facilité d interconnexion Importance de la matrice de compatibilité Depuis les équipements ont bien évolués et présentent maintenant un meilleur niveau d interopérabilité et d administration. Une fois le SAN stabilisé nous avons pu distribuer de l espace disque aux serveurs connectés au SAN (serveurs AIX, Linux, Windows et Solaris) avec une bonne flexibilité. 12/12/2005 SAN multi-site JRES 2005 16
Solution opérationnelle à l UFR/IMA UJF Serveur Solaris hba1 hba2 Serveur Windows hba1 Switch FC DSI-GU UFRIMA BAIE disque HDS BAIE disque ELA 1400 01010101 01011010 10101010 LUN 1 LUN 2 LUN 3 12/12/2005 SAN multi-site JRES 2005 17
Solution opérationnelle à la DSI de Grenoble Universités Apogee Nœud 1 hba1 hba2 Apogee Nœud 2 hba1 hba2 Serveur Sauvegarde hba1 Robot LTO Robot LTO Robot LTO2 Switch FC Salle 2 SPA SPB SPA SPB BAIE disque CX1 BAIE disque CX2 Salle 1 LUN 1 LUN 2 LUN 1 LUN 2 12/12/2005 SAN multi-site JRES 2005 18
Processus de duplication Apogee Nœud 1 Apogee Nœud 2 Serveur Sauvegarde Robot LTO Robot LTO Robot LTO2 BAIE disque CX1 Raid 5 160Go 200Go 160Go 200Go BAIE disque CX2 Raid 5 01010101 Espace 01011010 de 10101010 snapshot 12/12/2005 SAN multi-site JRES 2005 19
Plan de l exposé Contexte Technologies Fiber Channel (FC) Retours d expériences Réseau de stockage expérimental multi-site Solutions opérationnelles à l UFR/IMA de l UJF à la DSI de G.U. Bilan et perspectives 12/12/2005 SAN multi-site JRES 2005 20
Pour un campus: Bilan et perspectives Nécessité d une expression précise des besoins. A chaque groupe d applications son stockage FC centralisé dans un centre de données sécurisé. La consolidation de ce stockage en réseau multi-site à faire avec précaution après analyse. Pour les productions dans les deux sites La copie instantanée (par la baie FC ou l OS), mise en œuvre pour diminuer la fenêtre de sauvegardes en assurant la cohérence des données, est magique. Les débits sur des baies FC récentes (2Gb) sont excellents. 12/12/2005 SAN multi-site JRES 2005 21
Perspectives En cas de très gros sinistre d être capable de faire repartir la production avec la baie FC qui contient les données dupliquées Donner un accès en iscsi à l espace de stockage FC expérimental via un switch d interconnexion Déporter la baie FC de backup qui contient toutes les données Apogée de l académie dans un site distant de 5km et au 4 ième étage en utilisant le réseau IP et des switch FC d interconnexion (protocole ifcp) 12/12/2005 SAN multi-site JRES 2005 22
Questions? 12/12/2005 SAN multi-site JRES 2005 23