Systèmes de fichiers distribués et persistance des données. Cyril SÉGUIN

Transcription

1 Systèmes de fichiers distribués et persistance des données Cyril SÉGUIN

2 Systèmes de fichiers distribués et persistance des données Travaux de thèse Introduire l élasticité dans les systèmes de fichiers distribués : Les systèmes de fichiers distribués répondent aux besoins des applications «data intensive» : Grands espaces de stockage Disponibilité des données Accès rapide aux données Les plates-formes de cloud computing (infrastructures en tant que service) de plus en plus utilisées par ces applications : Élasticité Paiement à l utilisation cyril.seguin@u-picardie.fr 2/20

3 Systèmes de fichiers distribués et persistance des données Travaux de thèse Dimensionner dynamiquement l espace de stockage en fonction de l activité de la plate-forme : Stratégies de placement des données orientées «équilibre de la charge de traitement des ressources» Popularités des données (fréquences d accès) comme critère de placement des données cyril.seguin@u-picardie.fr 3/20

4 Systèmes de fichiers distribués et persistance des données Travaux de thèse Étude de systèmes de fichiers distribués : Qualitative : Passage à l échelle Transparence Accès concurrents Quantitative : Performances : Méta données I/O petits/gros fichiers Tolérance aux pannes cyril.seguin@u-picardie.fr 4/20

5 Systèmes de fichiers distribués et persistance des données Plan Les systèmes de fichiers distribués : Définition Fonctionnalités Architecture Persistance des données : Pannes (disparition) de serveurs de données et disponibilité des données Pannes (disparition) de serveurs de méta données et accès aux données cyril.seguin@u-picardie.fr 5/20

6 Systèmes de fichiers distribués et persistance des données Systèmes de fichiers distribués 6/20

7 Les systèmes de fichiers distribués Définition Réunion de plusieurs ressources de stockage, dispersées dans un réseau, en une seule entité. 7/20

8 Les systèmes de fichiers distribués Définition Point de vue de l utilisateur : cyril.seguin@u-picardie.fr 8/20

9 Les systèmes de fichiers distribués Serveur(s) de méta données : Centralisée ou décentralisée Informations sur les fichiers Requêtes clientes Aperçu d architecture Serveurs de données : Stocker les fichiers Striping cyril.seguin@u-picardie.fr 9/20

10 Les systèmes de fichiers distribués Fonctionnalités Passage à l'échelle : Gestion de milliers de ressources Quantité et taille des fichiers Traitement des requêtes Accès concurrents : Lecture/Écriture Écriture/Écriture Transparence : Accès au système Accès aux fichiers (API, POSIX) Détection des pannes Tolérance aux pannes : Réplication & placement Maintien du facteur de réplication cyril.seguin@u-picardie.fr 10/20

11 Les systèmes de fichiers distribués Exemple de systèmes de fichiers distribués Étudiés : Ceph Gluster HDFS irods Lustre Plusieurs autres solutions intéressantes : BlobSeer The Google File System MooseFS RozoFS Panasas GPFS PvFS BeeGFS... C.Séguin, G. Le Mahec, B. Depardon, Analysis of Six Distributed File Systems, cyril.seguin@u-picardie.fr 11/20

12 Systèmes de fichiers distribués et persistance des données Persistance des données 12/20

13 Persistance des données Stocker des fichiers Aperçu d un serveur de données Striping : En cas de pannes : Moins de perte de blocs d une même donnée Plus de perte de blocs de données différentes cyril.seguin@u-picardie.fr 13/20

14 Persistance des données Pannes des serveurs de données Redondance des données (blocs de fichiers) pour maintenir leur disponibilité en cas de pannes Création de copies : les réplicas, répartis sur l ensemble des serveurs, code à effacement cyril.seguin@u-picardie.fr 14/20

15 Persistance des données Round robin : stockage de serveur en serveur. Exemple MooseFS. Placement des réplicas Baie de serveurs : même alimentation, même commutateur. Exemple : Ceph, HDFS. Orientée performance : ajout de serveurs supplémentaires pour gérer une forte demande. Exemple ERMS. cyril.seguin@u-picardie.fr 15/20

16 Persistance des données Aperçu d un serveur de méta données Point d entrée au système Gestion centralisée ou décentralisée Traiter les requêtes clientes Rôle central : Informations sur les fichiers : Identification des blocs Localisation des blocs cyril.seguin@u-picardie.fr 16/20

17 Persistance des données Pannes des serveurs de méta données Architecture décentralisée : Réplication des méta données Architecture centralisée : Utilisation de serveurs secondaires : Backup (sauvegarde des méta données) Failover (prendre la main en cas de pannes du serveur principal) cyril.seguin@u-picardie.fr 17/20

18 Systèmes de fichiers distribués et persistance des données Comparatif de différents systèmes Disponibilité des données : + Réplication (Ceph, HDFS, Gluster) - Pas de réplication par défaut (irods, Lustre) Maintien du facteur de réplication : + Ceph, HDFS - Gluster, irods, Lustre Disponibilité des méta données : + Serveurs secondaires (HDFS, Lustre, irods) + Réplication (Gluster, Ceph) Persistance Ceph +++ Gluster ++ HDFS +++ irods + Lustre + cyril.seguin@u-picardie.fr 18/20

19 Systèmes de fichiers distribués et persistance des données Conclusion Systèmes de fichiers distribués = solution pour la persistance des données mais : Récupération des données doit être possible : Réplication des données Sauvegarde des méta données Faire attention : Au striping À la transparence (accès aux données) cyril.seguin@u-picardie.fr 19/20

20 Merci Questions?