VisageFS - Système de fichiers pour Grilles à QoS intégrées

Transcription

1 RenPar 17 / SympA 2006 / CFSE 5 / JC 2006 Canet en Roussillon, 4 au 6 octobre 2006 VisageFS - Système de fichiers pour Grilles à QoS intégrées François Thiebolt, Abdelaziz M zoughi, Jacques Jorda Université Paul Sabatier Toulouse III Institut de Recherche en Informatique de Toulouse - Irit 118 route de narbonne Toulouse Cedex - France {thiebolt, mzoughi, jorda}@irit.fr Résumé L accroissement continu des performances du sous-système disque des nœuds constituant les clusters a conduit ces derniers à une situation inédite : le cumul des caractéristiques de ces espaces de stockage inutilisés surpasse celui des baies traditionnellement employées dans ces environnements, tant du point de vue capacité que du point de vue performance. De plus, la grille met en exergue toute la problématique de la mobilisation et de la fédération de ces ressources de stockage disséminées. Dans cette perspective, nous introduisons un nouveau système de management et d accès aux ressources de stockage à l échelle de la grille : le projet Visage 1 (Virtualisation du Stockage Appliquée aux Grilles informatiques). Ce dernier propose un ensemble de fonctionnalités inédites pour cette échelle, comprenant virtualisation des ressources de stockage, capacités d auto-management, sémantique dynamique pluggable, monitoring et transparence d accès. La flexibilité et la capacité de mise à l échelle de ce système proviennent à la fois de ses multiples qualités de service en tant que caractéristiques intrinsèques et de son architecture résolument ouverte à base de plug-ins. La capacité de franchissement des pare-feux et l abstraction de la communication au moyen de plug-ins, permet à VisageFS d emprunter différentes topologies de réseaux (SCI, Myrinet, Gigabit Ethernet...) et le WAN. Mots-clés : Virtualisation du stockage, Qualités de service, Système de fichiers grille, Services de grille. 1. Introduction Les systèmes de fichiers du monde des clusters tels que Lustre [2], Pvfs [4], Gpfs [12] ou encore GFS [13], exploitent les ressources de stockage locales à un site mais ne peuvent s étendre au delà des frontières du domaine administratif. NFSv4 [8] s appuie sur l utilisation d un port de communication dédié (2049) et l aggrégation de requêtes pour aborder la grille mais souffre de son modèle centralisé. Le système de stockage sur grille IBP [9] diffuse les données au sein du réseau mais s appuie sur une sémantique propre incompatible avec les applications existantes. Oceanstore [5] vise au support des environnements de type peer-to-peer et impose le protocole de cohérence Rowa. Dans la prespective des grilles au sens méta-clusters, nous avons introduit Visage [15] dont l objectif est de mobiliser et fédérer toutes les ressources de stockage physique mobilisables à l échelle de la grille. Avec une architecture basée sur les plug-ins, Visage dispose de la capacité à adresser un large spectre de charges de travail allant des répertoires utilisateurs aux applications parallèles. En son sein, le système de fichiers VisageFS dispose de multiples sémantiques à la demande dont la mise en application est fonction de la QoS de la donnée accédée mais également de son contexte d utilisation. 1 Projet Rntl labellisé pré-compétitif par le ministère de la recherche et de l industrie sous le contrat n 04K459. Les partenaires du projet sont l Irit, Seanodes, Eads et C&S.

2 Notre approche est composée de trois fonctionnalités qui sont la Virtualisation du stockage, le Système de fichiers, l Administration et le Monitoring. Celles-ci sont mises en œuvre au moyen des composants logiciels suivants (fig.1) : le composant de virtualisation du stockage (VRT), responsable des accès et du stockage effectif des objets du système de fichiers. Il prend également en charge la gestion des méta-données physiques correspondant au placement effectif sur les ressources de stockage. le composant système de fichiers (VisageFS) établit le lien avec les autres services lors d accès aux données. Responsable de la QoS du niveau système de fichiers, il présente également une API Posix. la fonctionnalité d indexation et de management des méta-données logiques est assurée par le composant VLS. Le management des méta-données physiques a été confié au virtualiseur. l agent d Administration (AA) est en charge de l application des règles de gestion définies à l échelle du site et de la grille. L agent de Monitoring (AM) met en œuvre le mécanisme d introspection et fournit une synthèse pertinente sur l état des ressources. le composant Vcom représente l abstraction de la communication et la capacité de franchissement des pare-feux au moyen de services grilles (Globus Toolkit 4) GT4. le composant Vccc prend en charge les différents protocoles de réplication. Il présente également de multiples sémantiques pluggable. La mise en œuvre des protocoles de cohérence et conccurence sont fonction de la qualité de service spécifée par VisageFS. Fig. 1 Client et Serveur Visage. Dans cet article, nous nous focalisons principalement sur les composants VRT, Vcom et VisageFS. En section 2 nous présentons la virtualisation du stockage. Le système de fichiers est présenté en section 3 et la couche d abstraction de la communication en section 4. En section 5 nous présentons des résultats de tests préliminaires relatifs au composant Vcom. La section 6 présente les travaux relatifs. 2. Virtualisation Le service de virtualisation VRT apporte une abstraction du stockage masquant à la fois l hétérogénéité des ressources sous-jacentes et des topologies d interconnexions. Ces espaces physiques hétérogènes sont alors agrégés en espaces de stockage virtuels et découpés en volumes logiques selon les besoins utilisateurs exprimés en terme de qualité de stockage type d espace, performance, disponibilité... Cependant, la QoS propre à un espace de stockage et celle attachée aux objets du système de fichiers sont deux caractéristiques distinctes. La mise en adéquation de ces deux QoS passe par la notion de conteneur qui traduit un niveau de stockage intermédiaire au volume logique et vise au regroupement d objets en fonction de leur QoS. Les conteneurs représentent également l unité de base de la réplication.

3 L originalité de la virtualisation vient de la connaissance très fine qu elle a du sous-système de stockage propre à chaque nœud. Ainsi, le virtualiseur présente la capacité à déterminer dynamiquement le choix du modèle d accès (objets ou blocs) selon les caractéristiques du réseau 2 sous-jacent (NAS ou SAN) QoS au niveau du virtualiseur Situé de part et d autre des nœuds clients et serveurs, le virtualiseur remplit une double fonction : Extraction des caractéristiques du sous-système disque propre à chaque VSN et classification selon des critères de latence, performance, etc, Mise en application des définitions des volumes logiques, quotas et qualité de stockage définis par les outils d administration. Le respect de la qualité de stockage propre à un volume logique est assuré par les modules du virtualiseur. Ces plug-ins mettent ainsi en œuvre différents modèles d entrelacement et de placement de données (unité d entrelacement de taille fixe ou variable, chained declustering [6]...) à partir des informations détaillées de chaque sous-système disque. 3. VisageFS Une organisation virtuelle (VO) comprend un ensemble d utilisateurs grille et un espace de nom global. Celui-ci est composé d une arborescence de volumes logiques reliés à un volume racine. La résolution des points de montage au sein de l arborescence peut être effectuée soit de manière autonome par le nœud client [2], soit en contraignant ce dernier à contacter un serveur [7]. Dans le cas de volumes logiques chiffrés, le nœud client contacte les outils d administration afin d obtenir la clé. Le management des méta-données logiques et physiques a été dissocié. Il est pris en charge respectivement par les composants VLS et VRT. De même, l accès aux données est pris en charge par le composant Vccc. Il est responsable du maintien de la cohérence et de la mise en œuvre du protocole de réplication en accord avec la qualité de service spécifiée par VisageFS Expression de la QoS La définition d une qualité de service consiste à établir un contrat entre une application et le système de fichiers. Cette capacité d interaction avec VisageFS passe par l exécution d attributs étendus de l API Posix : ce sont les attributs étendus dynamiques. Certaines paires (clé, valeur) des attributs étendus sont ainsi utilisées pour interagir avec le système de fichiers. VisageFS offre ainsi la possibilité de définir des proprietés et attributs avec une granularité très fine pouvant aller jusqu aux objets de données ofsd, (fig.2) structurant les fichiers. Cela permet par exemple de définir le modèle de cohérence (Posix, MPI, autre) ou bien encore d impacter le management des meta-données (optimiste, pessimiste). Le mécanisme de pré-chargement pourra également être influencé au travers de la définition de dépendances sémantiques entre objets. Fig. 2 Structuration en objets d un fichier QoS au niveau du système de fichiers Un fichier (fig.2) est composé d un objet méta-données logiques (ofs0) et d un ou plusieurs objets de données (ofsd), stockés dans des conteneurs (cf. section 2) présentant une qualité de stockage adaptée. Les différents aspects de la QoS attachée à un fichier sont stockés dans les attributs étendus de l ofs0. 2 En 2001, Icluster1 était composé de 225 PC desktop HP Vectra d entrée de gamme interconnectés avec un réseau Ethernet 100Mbps. Il fut classé 330ème au Top500.

4 L expression de cette qualité de service permet d influer sur la décomposition en objets d un fichier. La popularité observée 3 est l autre facteur influant cette décomposition. La forte popularité des premières minutes d une vidéo va par exemple contraindre VisageFS à scinder celle-ci. La création de ce nouvel objet populaire entrainera son placement dans un container présentant une QoS adaptée (i.e haute disponibilité et réplication). La qualité de service dynamique représente la possibilité pour une application à définir elle-même la QoS propre à un objet, par opposition à l héritage implicite. Cependant la mise en œuvre stricto sensu de la QoS ne représente pas toujours un optimum : le respect des contraintes de lecture d un flux vidéo est sans objet lorsqu il s agit d une opération de copie / réplication. VisageFS définit ainsi dynamiquement la QoS résultante associée à un objet selon son contexte d utilisation. Lorsqu une application accède à une donnée, VisageFS est apte à la renseigner sur l identité du nœud potentiellement le mieux placé pour effectuer l accès, compte tenu des informations sur la charge et le positionnement géographique des données accédées. Les classes d applications accédant à d importants volumes de données (i.e. parcours d une base génomique), qui sont capables de migrer leur code [3], sont à même de réduire significativement leur temps d exécution. Dans l exemple (fig.3), le client établit une requête (1) propagée au gestionnaire de méta-données logiques (VLS). Ce dernier renvoie (2) un référentiel d objets. Le client transmet alors ce référentiel (3) à sa couche virtualiseur. Celle-ci initie (4) le transfert avec le nœud de stockage (VSN) le mieux adapté compte tenu des QoS et des modules installés au niveau du virtualiseur. Client et serveur de stockage sont alors directement connectés (5) pour une efficacité optimale des transferts (blocs ou objets selon SAN ou NAS). Fig. 3 Relations entre fichiers et objets. La mise en œuvre d un cluster de serveurs de méta-données (VLS) sur la base d une définition statique du rôle propre à chaque nœud ne permet pas de prendre en compte la latence des accès clients. Cela est d autant plus dommageable lorsque ceux-ci se trouvent sur des sites distincts. A partir des informations collectées par le monitoring auprès des divers VLS, un algorithme d élection va provoquer une mutation du rôle d un des nœuds en serveur de méta-données. Cette fonctionnalité, en accord avec la gestion définie par l administrateur, sera implémentée à l aide de modules (plug-in). Le modèle dit de << open delegation >> consiste à rendre un nœud client responsable de certaines opérations relatives à un fichier (i.e. open et close). Mis en œuvre dans NFSv4 [8] sous certaines conditions (pas d écrivain), ce modèle a été étendu à la délégation des verrous par zfs [10]. VisageFS ajoute à ce modèle la possibilité de migrer cette delegation vers d autres nœuds. En partant de l hypothèse selon laquelle un nœud ayant ouvert un fichier n est pas nécessairement le plus adapté au management des accès concurrents à ce dernier, la migration de la délégation rend possible une gestion plus souple et performante des accès. Elle contribue également au respect des contraintes d utilisation des ressources du nœud. Tout ceci est rendu possible par la capacité que possède tout nœud à assumer toutes les fonctionalités [1]. 3 Le monitoring, présent au sein de chaque nœud, est en charge du mécanisme d introspection.

5 4. Communications Le système de fichiers pour cluster, Lustre, s appuie sur une abstraction des réseaux et protocoles de communication au travers de l utilisation du composant logiciel NAL 4. Le composant Vcom apporte cette même abstraction aux différents services de Visage mais étend ce modèle à des communications inter-sites transparentes via le déploiement de services de grille globus (GT4) spécifiques. Les composants de Visage sont ainsi à même de s affranchir des frontières du domaine administratif. Fig. 4 Services de Grille et pare-feux. Le composant Vcom est une entité comprenant : le service Vcomd en charge des communications au sein d un site, le service Vcomg responsable des communications entre sites. Ce service de grille globus assure la transparence des accès inter-sites, des modules (plug-ins) optionnels de chiffrement des communications (i.e tunnels SSL), de sélection automatique de réseaux et protocoles. L accès direct à une fonctionnalité ou un service Visage sur la grille requiert une unicité dans l identification des nœuds. Cet adressage logique est nécessaire lorsqu il s agit par exemple d atteindre un nœud particulier au sein d un cluster utilisant un adressage IP local. A cette fin, le composant Vcom dispose d une capacité de routage des communications. La figure 4 décrit le cheminement d une requête d un nœud client (VCN du site A) à une ressource de stockage située sur un site distant (VSN du site B). Le cheminement des données (voie retour) est identique à celui employé par la requête. 5. Evaluations L ensemble des composants et services de grille ont été développés en espace utilisateur (en C sous Linux). VisageFS s appuie sur le projet Fuse 5, qui lui permet d être également développé en espace utilisateur. Ces résultats préliminaires sont destinés a mettre en évidence les performances du service responsable des communications intra-site, Vcomd. VisageFS effectue un ensemble d opérations en lecture seule au travers de l utilisation de tunnels SSL Vcom. Les nœuds mis en œuvre font état de deux processeurs Opteron 2.0Ghz, 4Go de mémoire, un noyau Linux standard et un réseau Ethernet Gigabit avec commutateur. Le sous-système disque propre à chaque nœud est apte à saturer 6 ce lien réseau. 4 Acronyme de Network Abstraction Layer développé au Sandia National Laboratory. 5 Disponible sur diverses plateformes (Intel, ARM, PowerPC) et systèmes (Linux, BSD, autres), il permet l implémentation de systèmes de fichiers en espace utilisateur (i.e. SSHfs, GmailFS...). 6 Chaque nœud est équipé de 4 disques connectés à un contrôleur Raid Sata. Le débit crête est de 250Mo/s hdparm.

6 Cette première version de VisageFS est caractérisée par des accès à un serveur centralisé au travers d un unique tunnel SSL dont le chiffrement a été désactivé (md5sum uniquement). La figure 5a présente la performance observée du point de vue applicatif et du point de vue du système de fichiers. Ce distinguo provient du fait que VisageFS exprime un comportement identique à celui d une application accédant à un système de fichiers en espace noyau. Ces informations ont été acquises par le biais des attributs étendus dynamiques de VisageFS (cf. section 3.1). La figure 5b présente le gain en performance induit par le passage à des requêtes système de 512Ko par rapport aux 128Ko standard. Nous présentons également la pénalité que l utilisation de Fuse induit sur les applications (requêtes système standard de 128Ko). Fig. 5 Tunnel SSL Vcom intra-site. VisageFS reçoit des requêtes de lecture (fig.5a) segmentées en blocs de 128Ko 7. Le débit atteint 66Mo/s au sein de VisageFS et 56Mo/s pour l application sur des transferts de 512Mo. La performances brute d un tunnel SSL Vcomd (md5sum uniquement) est de 101Mo/s. La copie d un fichier de 700Mo établit la performance de NFSv3 à 115Mo/s. La performance crête de VisageFS est de 79Mo/s avec des requêtes systèmes de 512Ko. Le différentiel entre la performance observée au sein de VisageFS et celle relevée au niveau de l application trouve son origine dans la commutation de contexte de VisageFS et les multiples recopies mémoire. Cette pénalité atteint un maximum de 15% (fig.5b). L utilisation de requêtes système de 512Ko montre (fig.5b) que l accroissement de la performances coté application ne suit pas linéairement celle de VisageFS. De même, un accroissement notable des performances est atteint lors de transferts d une taille optimale vis à vis des requêtes système. La dégradation qui s en suit trouve son origine dans l adaptation automatique qu exerce le noyau sur la taille des requêtes au vu des données restantes. Les autres facteurs influant la latence et la bande passante sont l implémentation en espace utilisateur du service Vcomd (commutation de contexte) et le paramétrage de Fuse (no kernel cache, direct-io et la segmentation). L utilisation de multiples tunnels SSL lors d accès parallèles à plusieurs VRT permettront une amélioration notable des performances. Nous effectuerons prochainement les mesures relatives aux communications inter-sites mettant en évidence le franchissement des pare-feux au moyen de service de grille. 7 Selon la valeur définie par vm max readahead dans include/linux/mm.h des sources du noyau linux. Fuse dépend également du paramétrage de fuse max pages per req dans kernel/fuse i.h

7 6. Travaux Relatifs Au sein du Global Grid Forum (GGF), le groupe de travail GFS-WG 8 a débuté en 2004 l élaboration d un système de fichiers basé sur Wsrf. Il s agit d un méta-système de fichiers présentant une vue logique persistante dissociée de l aspect physique des ressources. L accès à ces dernières s effectue sur la base du protocole propre à la ressource, complété de protocoles additionels tels que Grid-FTP et Http. La première version du systeme de fichiers GFarm [14] du projet DataGrid a été conçue pour manipuler chaque année des pétas octets de données issues d accélérateurs de particules. La cohérence est maintenue par le biais d une librairie linkée avec l applicatif. La seconde version met en œuvre la sémantique Posix. Le système de fichiers Lustre [2] dispose du composant NAL (cf. section 4), similaire à Vcom. En revanche, seul ce dernier étend ce modèle à des communications inter-sites transparentes. Les librairies des cartes de communications hautes performances tendent à proposer une interface de type socket, concomittante au traditionnel Rdma, ce qui uniformise le management des transferts. Lustre implémente une sémantique Posix pouvant être débrayée alors que VisageFS, à l instar de Pvfs2, propose le choix de la sémantique basée sur les plug-in. Cependant, avec une unité d entrelacement dont la taille peut dépendre des caractéristiques du sous-système de stockage, VisageFS exhibe une souplesse accrue vis à vis de Pvfs2 [4] et Gpfs [12]. Coda [11] utilise un modèle RPC étendu : unicité des paquets UDP reçus, vrai multicast IP et tunnels dédiés. Il dispose d une sémantique de session et d une capacité à travailler en mode déconnecté. La synchronisation avec le serveur s adapte aux performances du réseau. Visage offre également cette possibilité au travers de plug-ins du Vccc. La nouveauté la plus marquante du protocole NFSv4 [8] est son passage à un modèle stateful. Il intègre également les transactions groupées, le protocole de cohérence et communique désormais via un port unique (2049) là où Visage fait usage de services de grille. Le modèle dit de << open delegation >> employé dans NFSv4 [8], a été étendu à la délégation des verrous par zfs [10]. VisageFS apporte la qualité de service s exprimant au travers de la migration du management de cette délégation. 7. Conclusion La mise en œuvre d un système de stockage à l échelle d une grille introduit une souplesse sans commune mesure dans des tâches telles que le déploiement d applications, librairies et données. L objectif du projet Visage est de permettre aux grilles de calcul d exploiter simplement et efficacement les ressources de stockage propres à chacun des nœuds composant la grille : en d autres termes, apporter aux grilles de calcul les caractéristiques propres aux grilles de données. VisageFS est doté de la capacité à étendre ses propres fonctionnalités au travers de plug-ins. Cela le rend apte à traiter différents types de charges de travail. L autre caractéristique majeure est l intégration de qualités de service présentes dès le niveau du système de fichiers et transversales à tous les composants. Elles ouvrent un nouveau paradigme dans le management et l accès aux données. Ainsi, les plug-ins et les multiples qualités de services représentent les clés de la capacité de mise à l échelle des services Visage. Ils ont le potentiel d accroître l efficacité globale des applications grâce à des politiques de placement de données innovantes (plug-ins du virtualiseur). Les services Visage mettent à disposition d organisations virtuelles des volumes logiques dotés de qualité de service propre et facilitent le déploiement et l administration de données dans la grille. De nombreuses classes d application peuvent tirer partie à la fois d une QoS de niveau système de fichiers et de multiples qualités de stockage. Les workflows bénéficient ainsi d espaces de stockage temporaires positionnant les données intermédiaires à proximité optimale des producteurs et consommateurs. 8 Acronyme de Grid File System - Working Group, travaux disponibles sur https ://forge.gridforum.org/projects/gfs-wg/

8 La migration de la << open delegation >>, afin de satisfaire des contraintes de réactivité vis à vis de la concurrence des accès, corrrespond à l expression d une qualité de service de niveau système de fichiers. Les expérimentations seront menées sur les clusters de l Irit, Seanodes, Grid5000, Eads et C&S. Cela représente un potentiel de milliers de machines réparties sur plusieurs sites géographiquement distincts. Hétérogénéité des interconnexions inter et intra-sites, mais également du matériel et plus précisément du sous-système de stockage (disques Raid, IDE, Scsi, Fibre Channel), permettront la mise à l épreuve de notre solution. Bibliographie 1. Anderson (Thomas), Dahlin (Michael), Neefe (Jeanna), Pattterson (David), Roselli (Drew) et Wang (Randolph). xfs - serverless network file systems. In : In Proceedings of the 15th Symposium on Operating System Principles. ACM, pp Copper Mountain Resort, Colorado, December Braam (Peter J.). Lustre : A scalable, high-performance file system, November Cluster File System Inc Team. 3. Broto (Laurent), Bahsoun (Jean-Paul) et Basmadjian (Robert). Sharing of variables among threads in heterogeneous grid systems with aspect-oriented programming. In : Proceedings of the Fifth AOSD Workshop on Aspects, Components, and Patterns for Infrastructure Software, pp Carns (Philip H.), Ligon III (Walter B.), Ross (Robert B.) et Thakur (Rajeev). PVFS : A parallel file system for linux clusters. In : Proceedings of the 4th Annual Linux Showcase and Conference. pp Atlanta, GA, Kubiatowicz (John), Bindel (David), Chen (Yan), Eaton (Patrick), Geels (Dennis), Gummadi (Ramakrishna), Rhea (Sean), Weatherspoon (Hakim), Weimer (Westly), Wells (Christopher) et Zhao (Ben). Oceanstore : An architecture for global-scale persistent storage. In : Proceedings of ACM ASPLOS. ACM. November Lee (Edward K.) et Thekkath (Chandramohan A.). Petal : Distributed virtual disks. In : Proceedings of the Seventh International Conference on Architectural Support for Programming Languages and Operating Systems, pp Cambridge, MA, Morris (James H.), Satyanarayanan (Mahadev), Conner (Michael H.), Howard (John H.), Rosenthal (David S. H.) et Donel (F.). Andrew : a distributed personal computing environment. Communications of the ACM, vol. 29, n 3, March 1986, pp Pawlowski (Brian), Shepler (Spencer), Beame (Carl), Callaghan (Brent), Eisler (Michael), Noveck (David), Robinson (David) et Thurlow (Robert). The NFS version 4 protocol. Proceedings of the 2nd international system administration and networking conference (SANE2000), 2000, p Plank (J.), Beck (M.), Elwasif (W.), Moore (T.), Swany (M.) et Wolski (R.). The internet backplane protocol : Storage in the network Rodeh (Ohad) et Teperman (Avi). zfs - a scalable distributed file system using object disks. In : IEEE Symposium on Mass Storage Systems, pp Satyanarayanan (M.), Kistler (James J.), Kumar (Puneet), Okasaki (Maria E.), Siegel (Ellen H.) et Steere (David C.). Coda : A highly available file system for a distributed workstation environment. IEEE Transactions on Computers, vol. 39, n 4, 1990, pp Schmuck (Frank) et Haskin (Roger). GPFS : A shared-disk file system for large computing clusters. In : Proc. of the First Conference on File and Storage Technologies (FAST), pp Soltis (Steven R.), Ruwart (Thomas M.) et O Keefe (Matthew T.). The Global File System. In : Proceedings of the Fifth NASA Goddard Conference on Mass Storage Systems. pp College Park, MD, Tatebe (O.). O. tatebe et al., grid data farm for petascale data intensive computing, technical report etltr2001, Thiebolt (François), Frain (Ivan) et M zoughi (Abdelaziz). Visage - virtualisation du stockage dans les grilles informatiques. In : 16ème Rencontres Francophones en Parallélisme Architecture Système et Composant, pp