Systèmes de fichiers distribués : comparaison de GlusterFS, MooseFS et Ceph avec déploiement sur la grille de calcul Grid 5000.

Transcription

1 : comparaison de, et avec déploiement sur la grille de calcul Grid JF. Garcia, F. Lévigne, M. Douheret, V. Claudel 30 mars /34

2 Table des Matières /34

3 Présentation du sujet Présentation du sujet Le Grid 5000 de systèmes de fichiers distribués : Système de fichiers (FS) : façon de stocker, organiser des informations dans des fichiers sur une mémoire secondaire (CD-ROM, disque dur,...) Système de fichiers distribué : éclaté sur plusieurs serveurs disponible depuis plusieurs clients 2/34

4 Le Grid 5000 Présentation du sujet Le Grid 5000 Infrastructure distribuée dédiée à la recherche 11 sites, dont 9 en France Figure: Les sites français du Grid /34

5 Travailler sur le Grid 5000 Présentation du sujet Le Grid 5000 Astuce : Connexion au «frontend» par SSH Réservation de nœuds, pour un certain temps Déploiement d image (OS) Possibilité d effectuer une réservation à l avance, suivit par l exécution d un script 4/34

6 Présentation de Présentation de Aspect technique Mise en place Network File System Développé par Sun Microsystem en 1984 Partager des données par le réseau Méthode standard de partage entre machines Unix 5/34

7 Aspect technique Présentation de Aspect technique Mise en place et le protocole non connecté UDP Depuis la version 3, possibilité d utiliser TCP Versions définies dans différentes RFC Ensemble du protocole repensé pour v4 : meilleur gestion de la sécurité meilleur gestion de la montée en charge système de maintenance simplifié support des protocoles TCP (par défaut) et RDMA 6/34

8 Mise en place Présentation de Aspect technique Mise en place Installation des paquets nfs-common et nfs-kernel-server Implémentation d un fichier exports dans /etc Montage du partage sur les clients à l aide de «mount» Pour v4 : Des options supplémentaires sont à définir dans /etc/exports et le type de protocole doit être spécifié lors du montage sur les clients. 7/34

9 Présentation de Présentation de Mise en place Difficultés rencontrées Licence GPLv3 Se base sur FUSE (Filesystem in UserSpacE) Capacité pouvant atteindre plusieurs petabytes (1000 To) Structure simple, deux éléments logiciels : serveur et client Supporte plusieurs protocoles de communications (TCP/IP, InfiniBand) 8/34

10 Mise en place Présentation de Mise en place Difficultés rencontrées Un serveur maitre : paquet glusterfs-server x serveurs «normaux» x clients : glusterfs-client Note : Les serveurs doivent avoir un répertoire dédié au partage 9/34

11 Mise en place (2) Présentation de Mise en place Difficultés rencontrées A partir du serveur maitre : génération des fichiers de configurations (commande prévue) envoie de fichiers aux serveurs, et aux clients Démarrage des serveurs Montage du volume par les clients 10/34

12 Difficultés rencontrées Présentation de Mise en place Difficultés rencontrées Droit d écriture des clients Utilisation d InfiniBand 11/34

13 Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture 12/34

14 Présentation de Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture (Moose File System) est un système de fichiers répartis à tolérance de panne, développé par Gemius SA. Licence GPLv3. Disponible pour Linux, FreeBSD, OpenSolaris et MacOS X. Respect de la norme Posix et l utilisation de Fuse en espace client. Sa simplicité d administration, de mise en œuvre et d utilisation. Poubelle par défaut. scalable 13/34

15 Architecture Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture est constitué de trois types de serveurs : Le Master Serveur Le Metalogger Serveur Le Chunck Serveur 14/34

16 Fonctionnalités Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture Tolérance aux pannes Le système est réparti Répartition de charge Sécurité 15/34

17 Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture 16/34

18 Présentation de Architecture Fonctionnalités Processus de lecture Processus d écriture 17/34

19 Présentation de Présentation Caractéristique Fonctionnement Difficultés Licence LGPL Créé par Sage Weill en 2007 Destiné aux très grands clusters But principal : compatible POSIX complètement distribué sans point de défaillance 18/34

20 Caractéristiques Présentation Caractéristique Fonctionnement Difficultés Robustesse Évolutivité transparente Déconseillé en production 19/34

21 Fonctionnement Présentation Caractéristique Fonctionnement Difficultés Trois types distincts de démons : Moniteur de cluster Serveurs de métadonnées Serveurs de données 20/34

22 Moniteur Présentation Caractéristique Fonctionnement Difficultés Configuration État du cluster Gestion des clients 21/34

23 Serveurs de métadonnées Présentation Caractéristique Fonctionnement Difficultés Cache cohérent et distribué Plusieurs serveurs = équilibrage de charge 22/34

24 Serveurs de données Présentation Caractéristique Fonctionnement Difficultés Découpage des données Réplication = tolérance aux pannes 23/34

25 Echanges de données Présentation Caractéristique Fonctionnement Difficultés 24/34

26 Difficultés rencontrées Présentation Caractéristique Fonctionnement Difficultés Documentation minimaliste Fichier authentification 25/34

27 Benchmark Benchmark Graphiques Tableau comparatif Actions simultanées sur plusieurs clients : Écriture de petits fichiers Écriture de gros fichiers Lecture de petits fichiers Lecture de gros fichiers 26/34

28 Benchmark Graphiques Tableau comparatif 27/34

29 Benchmark Graphiques Tableau comparatif 28/34

30 Benchmark Graphiques Tableau comparatif 29/34

31 Benchmark Graphiques Tableau comparatif 30/34

32 Tableau comparatif Benchmark Graphiques Tableau comparatif Gluster Moose Facilité de mise en place Fiabilité Sécurité, disponibilité des données Évolutivité Économe en taille disque /34

33 Difficultés rencontrées Difficultés rencontrées Travail accompli Expérience enrichissante Prise en main du Grid 5000 Partage du cluster Erreurs ponctuelles lors de déploiements Scripts de déploiements, benchmark : automatisation totale 32/34

34 Travail accompli Difficultés rencontrées Travail accompli Expérience enrichissante Mise en place de systèmes de fichiers distribués Création de scripts de déploiements, et de benchmark de ces systèmes 33/34

35 Expérience enrichissante Difficultés rencontrées Travail accompli Expérience enrichissante Travail sur un cluster Niveau de technique important Documentations en anglais 34/34