INSTITUT NATIONAL POLYTECHNIQUE DE GRENOBLE THÈSE

Transcription

1 INSTITUT NATIONAL POLYTECHNIQUE DE GRENOBLE N attribué par la bibliothèque THÈSE pour obtenir le grade de DOCTEUR DE l INPG Spécialité : «Informatique : Systèmes et Communications» préparée au laboratoire LSR-IMAG, projet SARDES, dans le cadre de l Ecole Doctorale «Mathématiques Sciences et Technologies de l Information» présentée et soutenue publiquement par Renaud LACHAIZE le 14 Septembre 2005 Un canevas logiciel pour la construction de systèmes de stockage reconfigurables pour grappes de machines Directeur de thèse : Jacques MOSSIÈRE JURY M. Roger MOHR Président Mme. Christine MORIN Rapporteur M. Raymond NAMYST Rapporteur M. Yves DENNEULIN Examinateur M. Jørgen Sværke HANSEN Examinateur M. Jacques MOSSIÈRE Directeur de thèse

2

3 À mes parents À mes grands-parents

4

5 Résumé Cette thèse s intéresse aux systèmes de stockage répartis pour grappes de serveurs. Les solutions existantes sont généralement monolithiques et peu (re)configurables. Elles limitent la réutilisation de code, compliquent l administration et le développement de systèmes robustes et autonomes. Nous proposons un canevas logiciel visant à lever ces contraintes. Un service de stockage est construit à partir d un assemblage de composants et fournit une représentation explicite des flux de contrôle et de données. L architecture permet un paramétrage fin des propriétés du système, y compris au niveau des protocoles de communication et des stratégies de transfert des données. L infrastructure d exécution offre, de plus, des mécanismes de reconfiguration dynamique du code, des paramètres et de la structure du système. Un prototype, implémenté au niveau bloc, montre qu une approche modulaire est conciliable avec de bonnes performances et permet de construire des services flexibles et spécialisés. i

6 ii

7 Abstract This thesis focuses on distributed storage systems for clusters of servers. Existing solutions are generally monolithic and hardly (re)configurable. As a consequence, code reuse is limited, administration of such services is complex, and developing robust and autonomic systems is difficult. We propose a software framework to alleviate these constraints. A storage service is constructed from a set of components and provides an explicit representation of control and data streams. The architecture allows a fine-grained tuning of the system properties, including networking protocols and strategies for data transfers. In addition, the execution infrastructure provides mechanisms for dynamic reconfiguration of the code, the parameters and the structure of the system. A prototype was implemented at the block level. It shows that a modular approach can help building flexible and custom systems and is compatible with good performance. iii

8 iv

9 Remerciements Mes premiers remerciements sont adressés à Roger Mohr, Professeur à l Institut National Polytechnique de Grenoble, pour m avoir fait l honneur de présider ce jury. Je remercie Christine Morin, Directrice de recherches à l Inria et Raymond Namyst, Professeur à l Université de Bordeaux 1, d avoir accepté le rôle de rapporteur de cette thèse et évalué mon travail de manière approfondie et constructive. Merci également à Yves Denneulin, Maître de Conférences à l Institut National Polytechnique de Grenoble pour sa participation à ce jury et les échanges que nous avons eus au cours des dernières années. Je souhaite bien sûr remercier chaleureusement Jørgen Sværke Hansen, Associate Professor à l Université de Copenhague, à l initiative du projet Proboscis, pour m avoir pris sous son aile et accompagné tout au long de cette thèse. Les idées et les résultats exposés dans ce document lui doivent beaucoup. J exprime ma gratitude à Jacques Mossière, Professeur à l Institut National Polytechnique de Grenoble, mon directeur de thèse, pour son encadrement, ses nombreux conseils, sa disponibilité, son soutien et sa patience à mon égard. Son influence sur mon parcours universitaire a été décisive : il fut à l origine de ma découverte de l algorithmique, des systèmes d exploitation, et de l activité d enseignant chercheur. Au delà du jury, je tiens à remercier tous ceux qui ont permis à ces travaux d aboutir, par leurs conseils, leurs contributions et leurs encouragements. Merci à tous les enseignants chercheurs qui ont su, par leurs qualités pédagogiques et techniques, attiser mon intérêt pour l informatique et les systèmes répartis. J exprime, en particulier, mon profond respect à Sacha Krakowiak et à Xavier Rousset de Pina. Merci à ce dernier et à Luc Bellissard de m avoir aidé à m orienter vers un DEA et une thèse. Merci à Roland Balter et à Jean-Bernard Stefani de m avoir accueilli au sein des projets Sirac et Sardes. Merci à Emmanuel Cecchet pour ses nombreux coups de mains, sa bienveillance et son énergie communicative. Merci à Sébastien Jean pour ses conseils, son indéfectible bonne humeur et son aide précieuse en des moments clés. Merci à Christophe, Simon et Aurélien, qui furent mes principaux compagnons lors de mes deux premières années de thèse, pour tout ce qu ils m ont appris, leur aide et les bons moments partagés. v

10 Merci à Takoua et Oussama, mes camarades de bureau, d avoir supporté mes humeurs variables et mes petites manies. Merci à Valérie Gardès, Catherine Magnin et Élodie Toihein, assistantes du projet Sardes, pour leur gentillesse et la redoutable efficacité avec laquelle elles sont toujours parvenues à démêler de nombreuses tracasseries administratives. Merci à toutes les personnes sympathiques et intéressantes que j ai eu l occasion de côtoyer aux cours de ces dernières années (au sein de Sardes, de l Inria, des laboratoires LSR et ID, de l Ensimag, de l IUT de Valence ou ailleurs) et qui voudront bien m excuser de ne pas les citer nommément. Je commence doucement à prendre conscience de la chance insolente qui m a permis d évoluer dans des conditions matérielles et un environnement humain plus qu agréables. Enfin, je garde un place toute particulière pour ma famille et mes proches, pour tout ce qu ils ont pu (et continuent à) m apporter, en dépit de mon caractère difficile, et notamment à Cécile, pour sa présence inestimable à mes côtés. vi

11

12 viii

13 Table des matières Résumé i Abstract iii Remerciements v Table des matières viii Table des figures xiv Introduction 1 1 Grappes de machines et technologies d interconnexion Introduction Principales caractéristiques des grappes Composants matériels Profils d utilisation Applications scientifiques Serveurs de données Usages mixtes et dynamiques Technologies d interconnexion de machines Réseaux Ethernet Réseaux spécialisés Accès direct à une mémoire distante (RDMA) Scalable Coherent Interface (SCI) Myrinet Infiniband Perspectives Bilan Technologies de stockage de données Introduction Supports physiques pour la persistance Différentes interfaces ix

14 Niveau «contrôleur» Niveau «blocs» Niveau «fichiers» Système de gestion de bases de données Interface de stockage à objets Intégration des E/S dans les systèmes d exploitation Niveau contrôleur (Storage Area Network) Niveau «blocs» Techniques d exportation d un organe de stockage Principes de base Bénéfices des interfaces spécialisées Disque virtuel Réparti / RAID sur grappe Architectures pour client unique Architectures pour clients multiples Gestionnaires de volumes logiques pour grappes Bilan Niveau «fichiers» Introduction Systèmes clients-serveur Network File System (NFS) Common Internet File System (CIFS) Serveurs multiprotocoles spécialisés (NAS) Systèmes clients-serveur optimisés Bilan sur les systèmes clients-serveur Systèmes de fichiers parallèles Parallel Virtual File System (PVFS) Google File System xfs Bilan sur les systèmes de fichiers parallèles Systèmes de fichiers partagés Introduction Systèmes de fichiers partagés «symétriques» Systèmes de fichiers partagés «asymétriques» Systèmes de fichiers partagés basés sur un disque virtuel réparti Bilan sur les systèmes de fichiers partagés SGF répartis pour interfaces de stockage à objets Systèmes de gestion de bases de données Perspectives Evolution des matrices de disques (briques de stockage) Orientations générales Un exemple : Federated Array of Bricks Systèmes de stockage autonomes Conclusion x

15 3 Positionnement de la contribution Introduction Configuration flexible Reconfiguration dynamique Simplicité d administration Contraintes Systèmes de stockage flexibles, reconfigurables et autonomes Systèmes de stockage configurables Systèmes de fichiers empilables Swarm Systèmes adaptables Abacus Outils de reconfiguration non intrusifs Systèmes autonomes Bilan et proposition Organisation de la contribution Un canevas logiciel flexible pour la construction de systèmes de stockage répartis Introduction Modèle de composition Concept de «chemin» Granularité d un composant Interfaces d un composant Types de composants Extensions d extrémité Extensions asymétriques Extensions d interposition Autre axe de classification Règles complémentaires pour la programmation d extensions Liaison Modèle d exécution Programmation d un composant Commandes et événements Interface de programmation Modèle de communication Modes de routage Gestion des problèmes de transmission Infrastructure d exécution Introduction Exemple dans un contexte centralisé Mécanismes complémentaires pour les configurations réparties et les tâches annexes Processus de déploiement d un chemin Enregistrement de types d extensions et de commandes Création et destruction d un chemin Création Destruction Service de noms xi

16 4.5 Mécanismes avancés de routage réseau Discussion Modèle de composition Chemins Granularité d un composant Modèle d exécution Modèle de programmation Ressources d exécution Sécurité et sûreté de fonctionnement Bilan Gestion configurable et optimisée des transferts intensifs de données au sein d une grappe Introduction Principes de base Assemblage de tampons Espace d adressage global et mécanismes de transfert Principes généraux Mise en œuvre pour une plate-forme particulière Vue d ensemble de l architecture Exemples complets Service de stockage réparti Service de caches coopératifs Stratégies de transfert de données Stratégies de transfert pour réseaux spécialisés : l exemple de SCI Stratégies basées sur des couplages directs Stratégies basées sur les capacités de RDMA Stratégie hybride Stratégies de transfert pour réseaux banalisés : l exemple de TCP/IP Application à Proboscis Travaux connexes Bilan Infrastructure d administration et mécanismes de reconfiguration dynamique Infrastructure d administration Ajout d extension et mise à jour de code Déploiement de nouveaux types d extensions Mise à jour du code d une extension Modification des paramètres du système Modification de la structure du système Mécanismes de base Insertion d extensions Retrait d extensions Utilisation des mécanismes de base Interposition Reconstruction d un chemin Migration d extensions Protocoles de reconfiguration Modification dynamique du réseau employé xii

17 6.5.2 Tolérance aux pannes pour disques dupliqués Remarques Vers un système de stockage autonome Bilan Evaluation Introduction Implémentation prototype Environnement expérimental Plan du chapitre Impact de l architecture du canevas Performance d accès à un disque distant Introduction SCI Gigabit Ethernet Charge sur un nœud serveur Gestion configurable des transferts de données Impact d une infrastructure de transfert flexible Découplage des messages de contrôle et des transferts de données Reconfiguration dynamique Mécanismes de base Protocoles de reconfiguration Modification du réseau Tolérance aux pannes pour disques dupliqués Développement de services de stockage optimisés Pagination à distance Caches coopératifs Synthèse Conclusion Bilan Perspectives proches Implémentation à différents niveaux d interface Optimisations plus avancées Support plus fin pour outils de virtualisation de l espace de stockage Intégration avec les machines virtuelles Système de clonage pour grappes Champs d investigation complémentaires Cible de déploiement Gestion globale du contrôle de flux et de la qualité de service Support optimisé pour architecture multiprocesseurs Aide au développement Systèmes autonomes xiii

18 Liste des abréviations 199 Bibliographie 201 xiv

19 Table des figures 2.1 Principaux schémas de répartition de données sur disques (RAID) Récapitulatif des principales couches et interfaces utilisées pour la gestion des entréessorties dans un système d exploitation centralisé Principales piles de protocoles pour Storage Area Networks Lecture de données sur un serveur via Myrinet Architecture de stockage autonome proposée par le projet Self-* (schéma extrait de [78]) Exemples de systèmes de gestion de fichiers construits par empilement de modules Exemples de systèmes de stockage construits avec Swarm : Sting et ext2fs/swarm Exemple de système de stockage déployé au sein de l environnement Abacus Représentation des différents types d extensions du canevas Proboscis Représentation des différents modes de routage possibles pour une commande Exemple de flot d exécution dans un contexte centralisé Découplage entre le contexte d execution appelant et celui de l infrastructure Proboscis Découplage entre les différents contextes d execution d un serveur de fichiers construit avec Proboscis Utilisation de canaux de communication hétérogènes par un client ou un serveur Utilisation de plusieurs canaux de communication parallèles entre un client et un serveur Utilisation de différents protocoles pour une même carte réseau Illustration du rôle des principales primitives d un IAS pour le partage de données entre deux nœuds Architecture de l infrastructure IODSM Séquence de pseudo-code associée au flot de contrôle d une requête Transfert direct de données entre un contrôleur de disque et un tampon distant via une interface réseau SCI (cas d une lecture sur disque) Communication directe entre les extrémités d un chemin Proboscis grâce à l infrastructure IODSM Modes d insertion d un chemin Migration d une instance au sein d un chemin Premières étapes du protocole de reconfiguration dynamique du réseau Principales étapes du protocole de reconstruction d un disque dupliqué Latence d une requête de lecture sur pour les configurations locales Consommation CPU associée à une requête de lecture sur pour les configurations locales xv

20 7.3 Latence d une requête d écriture sur pour les configurations locales Consommation CPU associée à une requête d écriture sur pour les configurations locales Latence d une requête de lecture sur SCI Consommation processeur associée à une requête de lecture sur SCI Latence d une requête de lecture sur Gigabit Ethernet Consommation processeur associée à une requête de lecture sur Gigabit Ethernet Ralentissement de l application calc sur un nœud serveur par la charge d E/S avec Gigabit Ethernet Ralentissement de l application bt sur un nœud serveur par la charge d E/S avec Gigabit Ethernet Ralentissement de l application calc sur un nœud serveur par la charge d E/S avec SCI Ralentissement de l application bt sur un nœud serveur par la charge d E/S avec SCI Ralentissement des transferts de données du à l infrastructure IODSM Mise en œuvre d un système de cache coopératif avec Proboscis Performance du système de cache coopératif avec Proboscis sur Gigabit Ethernet xvi

21 Introduction Motivation et objectifs Le recours massif à la gestion de données numérisées, principalement à des fins de manipulation automatisée et d archivage, ne se dément pas. Cette tendance est à la source de nombreux défis technologiques à différents niveaux : acquisition, acheminement, analyse/traitement et stockage. Ce dernier aspect est crucial pour au moins deux raisons majeures. D une part, pour son rôle intrinsèque : assurer la permanence des informations pour un usage futur. D autre part, car les technologies actuelles de stockage, limitées par des paramètres mécaniques, constituent l un des principaux goulots d étranglement d un système informatique. Pour faire face aux volumes de données à traiter, les architectures monolithiques ont progressivement été abandonnées au profit d infrastructures réparties interconnectant un grand nombre de serveurs coopératifs. La première étape de cette transition majeure s est concrétisée par une mise en œuvre dans un environnement local, fortement couplé et a abouti au concept de grappes de machines. Des efforts significatifs, regroupés sous l étiquette de Grid computing 1, visent maintenant à agréger des ressources dans un cadre plus global, à la fois en termes de répartition géographique (échelle d un pays, voire de la planète) et d hétérogénéité des plates-formes (de l ordinateur de poche à un ensemble de grappes). Si le chantier des «grilles de calcul» est déjà bien avancé, cela ne signifie pas pour autant que le contexte plus restreint des grappes est parfaitement maîtrisé et n offre plus de défis, bien au contraire. L augmentation régulière du nombre de nœuds 2 (avec pour buts une vitesse de calcul/traitement accrue, une meilleure résistance aux pics de charge et davantage de tolérance aux pannes) accentue les difficultés de développement et d optimisation des applications réparties. Il en va de même pour l administration globale du système permettant de détecter d éventuelles pannes ou problèmes de performance et d y réagir. En conséquence, les coûts humains nécessaires au bon fonctionnement d une grappe deviennent préoccupants. Pire, de nombreuses études industrielles établissent qu une majorité des problèmes critiques sont en fait imputables à des erreurs d administrateurs humains, bénéficiant pourtant d une formation spécialisée. Il devient donc nécessaire d envisager la construction de systèmes capables, au moins partiellement, d auto-administration. Cette thèse s intéresse au thème des systèmes logiciels de stockage pour grappes de machines. Ce sujet a été abondamment étudié au cours des quinze dernières années, en particulier sous trois angles principaux : augmentation de la robustesse par rapport aux pertes de données, amélioration des performances d accès aux données et enfin, conséquence des deux axes précédents, gestion répartie du service de stockage. 1 L expression découle d une analogie avec le réseau de production électrique, pris comme modèle de simplicité (du point de vue des utilisateurs), d ubiquité et de montée en charge. 2 L ordre de grandeur du millier de nœuds est désormais courant. 1

22 En revanche, beaucoup moins de travaux ont cherché à faciliter la construction de systèmes de stockage flexibles, notion que nous tentons d expliciter par les trois dimensions ci-dessous : Configurabilité : possibilité de configurer finement les paramètres du système pour optimiser son fonctionnement dans un contexte opérationnel particulier ; Modularité : assemblage du système de stockage à partir d une bibliothèque de modules logiciels spécialisés afin de simplifier la mise en œuvre d un système de stockage spécialisé ; Reconfiguration dynamique : possibilité d influer sur le comportement et la composition du système en cours de fonctionnement. Ces aspects sont pourtant cruciaux car (1) les besoins des utilisateurs sont très variés, (2) la mise au point d un service de stockage de bas niveau, dont la fiabilité et les performances sont critiques, est généralement fastidieuse, et (3) les capacités de reconfiguration dynamique constituent un pré-requis important pour bâtir des systèmes hautement disponibles. L objectif des travaux présentés dans cette thèse est de contribuer à l émergence de systèmes de stockage flexibles, qui nous semblent constituer une étape nécessaire vers la réalisation de systèmes auto-administrables. Nos recherches se sont focalisées sur les couches basses (échanges de données entre machines et périphériques de stockage) afin de démontrer que l introduction de souplesse aux sein de fonctions critiques n est pas incompatible avec des critères élevés de performance. De manière plus précise, nous nous sommes intéressés à trois axes principaux : la définition d un modèle à composants spécialisé pour les systèmes de stockage réparti, afin de mieux structurer les interactions entre les différents modules fonctionnels qui composent le système, de permettre la réutilisation de code et de simplifier le déploiement de services optimisés au sein d une grappe ; l élaboration d un modèle de programmation pour l échange de données entre nœuds permettant de configurer le protocole et la stratégie de communication de façon dynamique, sans modifier le code du service de stockage, pour accroître l adaptabilité du système ; le développement de techniques de reconfiguration dynamique autorisant des modifications profondes du système en cours de fonctionnement (code, paramètres, structure) et de capacités élémentaires d introspection. Cadre du travail Cette thèse a été effectuée dans le cadre du projet Sardes (System Architecture for Reflexive Distributed EnvironmentS) dont le principal objectif est l étude d architectures et de méthodes de construction d environnements informatiques répartis au sens large (grande diversité de ressources, d échelles et de mécanismes de communication). L approche adoptée pour l élaboration de telles infrastructures repose sur l emploi systématique de techniques de programmation par composants et de réflexivité (capacité d un système à s introspecter et à opérer sur lui-même). Les recherches sur les systèmes de stockage flexibles pour grappes ont débuté dans le contexte du séjour post-doctoral de Jørgen Hansen au sein de Sardes. Le travail présenté dans ce manuscrit a largement bénéficié des jalons tant bibliographiques que pratiques déjà posés par ce dernier avant notre arrivée, ainsi que de son suivi tout au long de cette thèse. 2

23 Démarche suivie Nous avons commencé par poursuivre les pistes existantes sur l emploi de ressources banalisées pour la construction de systèmes de stockage efficaces en travaillant sur deux fronts principaux. Nous avons, tout d abord, étudié la viabilité d une approche où chaque nœud agit comme entité de calcul/- traitement «classique» tout en mutualisant une partie des ses ressources pour participer à la mise en œuvre d un service de stockage global. Par ailleurs, nous avons cherché à définir une approche plus structurée et systématique pour la construction et le déploiement d un tel service. Une première évaluation dans un contexte réaliste (réseau de stockage «virtuel» déployé en dessous d un système de fichiers partagé) nous a permis de conclure à la compatibilité de notre approche avec des exigences fortes en termes de performances [90]. Par la suite, nous avons cherché à étendre la flexibilité de notre modèle au niveau des stratégies de transfert de données employées [129] et ajouté le support d une nouvelle interface de communication (TCP/IP) à notre prototype qui ne supportait au départ qu une interface de bas niveau pour réseaux SCI. Dans une troisième phase, nos efforts ont porté sur l introduction de mécanismes de reconfiguration dynamique [128]. Nous avons enfin développé différents services de stockage réparti pour compléter notre évaluation. Plan du document Ce manuscrit est organisé en sept chapitres. Les trois premiers correspondent à l état de l art ; un lecteur familier avec les domaines abordés (et relativement en phase avec notre terminologie) devrait pouvoir ignorer les deux premiers sans grand préjudice pour la compréhension de la suite. Le premier chapitre résume l évolution des grappes de machines depuis une dizaine d années. Il met à la fois l accent sur les applications déployées sur ce type d environnement mais également sur l état actuel des technologies relatives aux principaux composants matériels d une telle plate-forme : les microprocesseurs et les interfaces de communication. Le second chapitre est axé sur les techniques de stockage de données, principalement au niveau logiciel. Il commence par introduire les notions majeures dans le contexte d un système centralisé. Dans un second temps, il décrit les solutions développées dans le contexte des grappes de serveurs, en fonction des différents niveaux d interface considérés. Le troisième chapitre achève notre examen de l état de l art en présentant les systèmes de stockage flexibles développés jusqu à présent et en identifiant leurs lacunes. Il nous permet d expliciter le positionnement ainsi que les principaux objectifs de notre proposition. Le quatrième chapitre présente le modèle à composants que nous avons défini. Celui-ci permet de développer des systèmes de stockage répartis de bas niveau par assemblage de composants, selon l abstraction de «chemin d entrées/sorties». Les modèles de composition, de programmation et d exécution y sont notamment détaillés. Le cinquième chapitre introduit un modèle de programmation (et l infrastructure logicielle associée) visant à découpler l implémentation d un serveur réparti de données et les stratégies de transfert qui lui sont associées afin de pouvoir adapter une telle application à des contraintes aussi bien statiques (contexte de déploiement particulier) que dynamiques (évolution des conditions de charge). 3