1 ViSaGe Virtualisation du Stockage dans les Grilles Informatiques RenPar 16, 6-8 Avril 2005 Thiebolt François thiebolt@irit.fr IRIT Projet RNTL labellisé pré-compétitif
Solution ViSaGe ViSaGe Accès transparent et performant aux ressources de stockage hétérogènes au travers des trois couches de services ViSaGe Virtualisation, Système de fichiers et Administration / Monitoring. Espaces Virtuels Couche services ViSaGe users QoS tmp QoS Volumes Logiques Différents types d accès home directory POSIX Users OpenPlast DBMS calcul hautes performances MPI-I/O Et différentes qualités de services 2
Espaces ViSaGe de Stockage Les espaces de stockage physiques hétérogènes sont agrégés en espaces de stockage virtuels, selon les caractéristiques du sous-système I/O : capacité, débit, latence Ces espaces virtuels sont découpés en volumes logiques auxquels sont associées des qualités de services (QoS) définies selon la combinaison : Espaces Virtuels Organisation Virtuelle Modèle de cohérence séquentielle (POSIX), relâchée (NFS) Performance stripping, chained declustering [Petal], mutation des rôles Tolérance aux fautes réplication, mirroring Couche services ViSaGe users QoS tmp QoS Volumes Logiques 3
4 Organisations ViSaGeVirtuelles Une organisation virtuelle est une entité comprenant des utilisateurs et un ensemble de ressources disque, processeur et réseaux, réparties en différents sites sur le WAN. Organisation hiérarchique multi rangs avec délégation de pouvoirs. Le site de rang-0 définit une organisation virtuelle OV1, il en est le site maître. Un site peut appartenir à une ou plusieurs organisations virtuelles et/ou définir sa propre OV. OV1 rang-0 rang-1 rang-n OV2
5 Organisation ViSaGe Virtuelle (suite) Enregistrement du site Ressources stockage Ressources réseau rang-1 rang-0 Héritage Utilisateurs grille Espace de noms Droits Lors de l enregistrement d un site auprès d une OV, ce dernier va partager tout ou partie des ressources le constituant et hériter d utilisateurs et de droits. Les services ViSaGe disposent alors d une vision consistante des utilisateurs à l échelle de la grille.
6 Services ViSaGe ViSaGe L architecture est composée des trois services Virtualisation, Système de fichiers et Administration / Monitoring. transparence d utilisation espace de noms persistant Système de Fichiers méta-données fichiers droits d accès verrous gros grain mutation des rôles hétérogénéité stockage des objets Virtualisation performance verrous grain fin espaces virtuels volumes logiques qualités de services mesure efficacité GUI Administrateur Administration & Monitoring Tous possèdent une architecture ouverte plug-ins
7 Architecture ViSaGede Site Tous les nœuds du site collaborant à une organisation virtuelle sont banalisés. Fichiers concaténation d objets, induit une séparation entre fonctions MDS distribués mon/adm G.users management des fichiers (MDS) stockage des objets (OST) et permet une meilleure répartition de charge entre MDS et OSTs. OSTs Rôles des nœuds, Monitoring / Administration MDS ou OST fonction du plug-ins mutation du FS
Architecture ViSaGe Logicielle Trois interfaces d accès aux données : Système de fichiers (FS), API de type MPI-I/O et accès en mode Bloc (raw). File SGBD MPI-I/O Objets Client FS Virtualiseur Bloc Echanges de Pair à Pair Virtualiseur ext3/raw Verrous NFS NFS OST 8
9 Architecture ViSaGe Logicielle (suite) Exemple d accès au système de fichier par une application. Open( /irit/sample.dat ) Application Lookup MDS Métadonnées Verrous Référentiel d objets obj_id3 obj_id4 obj_id5 Client FS Virtualiseur Objets Accès objets Requête Virtualiseur Verrous OBFS OST
10 Virtualiseur ViSaGe L originalité de la virtualisation vient de la connaissance très fine qu elle a du sous-système I/O propre à chaque OST. Couche d abstraction située coté clients et OSTs : masque l hétérogénéité des ressources physiques sous jacentes met en application les définitions de volumes logiques, quotas et QoS* API orientée objets et une API orientée blocs collecte les caractéristiques du sous-système I/O vers Administration & Monitoring gestion de répliqua* lors d accès à un objet (Client) * fonctionnalités implémentées sous forme de plug-ins. Virtualiseur API OSTs Verrous grains fins OBFS NFS DBMS
Système ViSaGe de Fichiers Les plug-ins du FS permettent de couvrir des domaines d utilisation tels que les espaces utilisateurs ou le calcul hautes performances. espace de noms persistant transmis par le site maître de l OV résolution lookup, par référentiel plutôt que par délégation le MDS et les méta-données fichiers établissent le lien entre le global name space et les objets authentification et autorisations (ACL) grâce à la vision consistante des utilisateurs à l échelle de la grille verrous à gros grain maintenus dans les MDS au niveau fichier verrous à grains fins maintenus dans les OST au niveau objet mutation des rôles OST vs MDS mutation le clustering des MDS apporte redondance des métadonnées et répartition de charge Métadonnées Verrous MDS OST Virtualiseur Verrous ext3 11
Administration ViSaGe & Monitoring Création des OV, mise en œuvre des politiques décidées à l échelle de la grille ou d un site et mesure de performances. création des espaces virtuels sur la base des informations obtenues à l enregistrement des sites ou par les outils d administration sur sites, euxmêmes actualisés via le service virtualiseur des OST création, re-dimensionnement des volumes logiques avec QoS modèle de cohérence, performance, tolérance aux fautes définition et diffusion de l espace des noms global name space, avec lookup dynamique pour certains nœuds (répertoires) monitoring du taux d utilisation des volumes et mesures des performances associées, disque et réseau (NWS) GUI Administrateur et propagation des choix via SNMP? métrique de mesure d efficacité à définir 12
Conclusion ViSaGe L objectif du projet ViSaGe est d apporter aux Computational Grid les caractéristiques propres aux Data Grid. Le placement des données dans les OST se basant sur la connaissance des caractéristiques du sous-système I/O est une des originalités de ViSaGe. La mise en œuvre d un système de fichiers à l échelle de la grille permet une souplesse incomparable dans le déploiement d applications et de données. Les services ViSaGe ont la possibilité d accroître les performances globales au travers par exemple de politiques innovantes de placement des données et de gestion de la réplication plug-ins. Les expérimentations seront menées sur les clusters de l IRIT, SeanodeS, GridMIP, EADS et CS représentant des milliers de machines sur des sites géographiquement distincts, et une grande hétérogénéité de matériels. 13
Questions ViSaGe ViSaGe Virtualisation du Stockage dans les Grilles Informatiques Roadmap Avril 05 Juin 06 Mars 07 Architecture logicielle des services, Gridification des services, Fin du projet Thiebolt François, Ivan Frain, Abdelaziz M zoughi {thiebolt,frain,mzoughi}@irit.fr 14
Grilles ViSaGe Informatiques Le propre d une grille est de pouvoir faire le lien entre des domaines administratifs distincts. M. Daydé Les middlewares ou intergiciels de grille Globus*, Unicore, Légion, Corba, Application Service Provider (Diet) Convergence Grid Services & Web Services stateful avec adressage et notification. WSRF Web Services ViSaGe solution de stockage à l échelle de la grille : Indépendante, ouverte, performante, transparente et sûre. Prise en compte de l hétérogénéité disque & network I/O. *Attendu Avril 2005, GT4 utilisera WSRF. 15
CERN ViSaGe Workflow 16
17 CERN ViSaGe Workflow (suite) / VOL1 EV1 Corée France USA Russie fic Organisation Virtuelle OV1 Utilisateurs Grille. Espaces Virtuels. Volumes logiques. Labo1 VOL2.1 EV2.1 Propriétés associées aux EV, VOL, répertoires et fichiers. Héritage de ces propriétés. Labo2 dm3-1 DonneesDM4 dm1-1 dm1-2 dm1-3 dm1-4 EV2.2 VOL2.2 dm3-2 dm3-3 dm3-4 VOL3.4 EV3.4... dm3-1 dm3-2 dm3-3 dm3-4