Système de backup distribué

Transcription

1 Système de backup distribué Alexandre Decan Directeur: Luc Onana Alima Rapporteurs:AlainBuys&TomMens Service des Systèmes Distribués, Faculté des Sciences Université de Mons-Hainaut,

2 Résumé L hommeapprenddeseserreurs.c estsûrementsuiteàundésastreouà une catastrophe qu il a appris à sauvegarder régulièrement ses données. Puisque les méthodes traditionnelles montrent rapidement leurs faiblesses et leurs exigences, nous abordons une voie alternative dans la réalisation de backups. S il est un domaine qui a reçu beaucoup d attention ces dernières années, c est bien celui des applications distribuées. Bénéficiant des capacités mises en commun par les participants d un réseau peer-to-peer, ces applications- ce n est pas un hasard- s avèrent souvent d excellentes solutions pour profiter des ressources inexploitées des nombreux participants. Nous allons décrire et développer pas à pas les éléments d une application classique de backup distribué, tout en nous intéressant tout particulièrement, au travers de l utilisation de codes correcteurs, à l amélioration de la disponibilité des données face aux solutions de backup existantes.

3 Table des matières 1 Introduction Méthodetraditionnelledebackup Réseauxpeer-to-peer Tabledehachagedistribuée LaDHTsurunOverlayNetwork DistributedK-ArySystem Systèmedebackupdistribué Système de backup distribué Présentationdel application Pré-requis Conceptdeméta-donnée Chiffrementsymétrique&asymétrique Signaturenumérique Codescorrecteurs Identificationdesdonnées Confidentialité&Intégrité Haute-disponibilité Mécanismederéplication Codescorrecteurs SauvegardeauniveaudelaDHT Déterminationdescandidats Choixaveugle Interrogationparbroadcast Maintiendynamiqued uneliste LimitedScopeFlooding Expérimentations Implémentations ImplémentationdeRSEC ImplémentationdeDBS Vued ensemblededbs Présentationdesapplications ApplicationRSEC ApplicationDBS

4 TABLE DES MATIÈRES 2 4 Discussions Conclusion Perspectives Contrôledeversions Quota,confianceetmonitoring Remerciements Bibliographie 60 A CD-Rom 62 A.1 Introduction A.2 Contenu A.3 Utilisation... 63

5 Table des figures 1.1 Anneauvirtuel DHT&Key-BasedRouting Typesdeméta-données Chiffrementasymétrique Signaturenumérique Transmissionutilisantuncodecorrecteur Graphesbipartitespourl encodagedetornado Lestroisméta-données Disponibilitéd unedonnéeenfonctiondesnoeuds Nombrederéplicationsenfonctiondelafragmentation Comparaison entre la réplication et les codes correcteurs Gainducodecorrecteurparrapportàlaréplication Influencedelafragmentationsurladisponibilité Débitmoyen Déterminationdescandidats Vued ensemblededbs RSEC-Encodage RSEC-Décodage DBS-Options Diagramme:créationd unbackup Diagramme:récupérationd unbackup Diagramme:connexiond unnoeud Diagramme:déconnexiond unnoeud

6 CHAPITRE 1 INTRODUCTION 1.1 Méthode traditionnelle de backup Effectuer un backup est une approche bien connue pour tenter de conserver et de protéger physiquement des données. La plupart des compagnies et des organisations ainsi que les particuliers effectuent régulièrement des backupsdansl optiquedenepasêtrepénalisésencasdepertesoudedégâts occasionnées aux données originales. Les méthodes de backup traditionnelles impliquent de copier les données sur des média amovibles tels quedescdetdvd,etensuitedelestransférerdansunendroitsûroù ils pourront être récupérés en cas de désastre. Ces opérations nécessitent d être réalisées suffisamment fréquemment. Cependant, certains inconvénients et certaines insuffisances persistent: Lesmédiaamoviblestelsquelescassettes,lesCD,lesDVD,...nesont pasconçuspourêtreéternels:ilssedétériorentavecletempsetsont susceptibles d entraîner des pertes de données. Leprocessusdebackupnécessitedutempspourêtrecomplet.Les cassettes, qui constituent le médium le plus courant pour effectuer des sauvegardes massives, sont très lentes en lecture et en écriture. Des coûts supplémentaires sont à envisager: engagement de personnel pour effectuer et déplacer les backups sur les sites appropriés ainsi que pour garantir la sécurité du site. Une bonne organisation des données et des média est impérative pour prévenir des pertes accidentelles et faciliter la récupération de ces données. Idéalement, la réalisation d un backup devrait être aussi transparente que possible pour l utilisateur, sans l impliquer dans de nombreux détails parfois complexes et/ou laborieux. En réalité, l intervention de l utilisateur ne devrait être requise que pour un minimum de tâches. Les applications peerto-peer(p2p) sont apparues comme une approche intéressante dans le domaine des backups. Ces applications utilisent l espace disque libre des différentes machines du réseau pour sauvegarder les données. C est un processus transparent aux yeux de l utilisateur, puisque ce dernier ne doit avoir aucune connaissance sur la façon dont le processus est effectué. Seuls les besoins en terme de disponibilité et de sécurité sont importants aux yeux

7 1.2 Réseaux peer-to-peer 5 de l utilisateur. Les applications P2P garantissent ces exigences, tout en gardant les performances à un niveau hautement appréciable. Un autre avantage de cette gamme d applications est qu elle ne nécessite aucun matériel particulier: peu de ressources, peu de puissance matérielle. Nous décrirons comment allier les caractéristiques d un réseau peerto-peer décentralisé avec les exigences de haute-disponibilité d un backup, particulièrement au travers de l utilisation de codes correcteurs[24], afin de proposer une application de backup distribuée efficace, transparente, bon-marché et sûre. 1.2 Réseauxpeer-to-peer Un réseau peer-to-peer est un réseau dans lequel tous les participants, appelés noeuds, fonctionnent sur un même pied d égalité. Un réseau P2P est dit décentralisé s il fonctionne sans avoir un(ou plusieurs) serveur(s) dédié(s) responsable(s) de la prise en charge des requêtes. Chaque noeud a unrôledual:tantôtclient,tantôtserveur,dépendantducontexteetdela requête. Le principal avantage d une telle architecture par rapport au traditionnel client-serveur est qu aucun serveur dédié ne s avère être un goulot d étranglement, ou un single point of failure, c est-à-dire que le réseau ne peutêtredégradéoudétruitenunseulendroit. Une caractéristique importante des réseaux peer-to-peer est qu ils peuvent être hétérogènes: il n y a aucune restriction au niveau des noeuds, et un ensemble de participants peut être composé de nombreuses architectures différentes, que ce soit au niveau logiciel ou matériel. Cependant, si ces réseaux sont potentiellement hétérogènes, la bande passante disponible, la vitesse du CPU, la capacité de stockage ou encore le degré de confiance en chaque noeud sont des caractéristiques fort différentes des systèmes traditionnels client-serveur: aucune information à ce sujetnepeut,apriori,êtreconnue,etilestnécessairedefonctionnersans cette information dans un premier temps, rendant ainsi la conception d applications peer-to-peer délicate et difficile. Les réseaux peer-to-peer peuvent être catalogués en deux classes[30]: les réseaux structurés et les réseaux non-structurés. La topologie logique d un réseau non-structuré est aléatoire. Quand un noeud effectue une requête pour une certaine donnée, cette requête est propagée saut après saut surbased unprincipedeflooding,jusqu àcequelenoeudcapablederépondre à cette requête soit atteint ou que la requête expire. Ceci implique qu au sein d un réseau non-structuré, il est possible qu une requête n aboutisse pas même si la donnée concernée est présente. Gnutella est un exemple typique de réseau non-structuré. Paradoxalement, la qualité du réseau décroît avec le nombre de noeuds. Dans un réseau structuré, la topologie logique présente certains aspects structurés:lesnoeudsd untelréseaupeuventformeruncercleouune chaîne et sont identifiables d une manière unique, souvent liée à leur positionauseinducercleoudelachaîne.dansunréseaustructuré,ilest

8 1.2 Réseaux peer-to-peer 6 FIG. 1.1 Anneau virtuel (a)lesnoeuds1,4,8,10,11et14sontprésents. systématiquement possible d atteindre tout noeud du réseau en un nombre desautsdéterminé.larecherched unedonnéeauseind unteltypede réseau est garantie après un nombre déterminé d étapes si la donnée est présente. Dès lors, la localisation de données dans le réseau structuré est clairement plus efficiente que dans un réseau non-structuré Table de hachage distribuée Etant donnée l efficacité du mécanisme de lookup au sein d un réseau structuré, il est envisageable de concevoir une structure de données adéquate pour le développement d applications peer-to-peer. Un des mécanismes de base pouvant être développé au-dessus d un réseau structuré consiste en une table de hachage distribuée, ou Distributed Hash Table(DHT)[12]. UneDHTestunservicequipermetdemainteniretd utiliserunetable de données dispersée sur chacun des noeuds du réseau. Les sections suivantes décrivent une DHT au sein d un réseau structuré basé sur une topologie en anneau. Une topologie en anneau[22] au sein d un réseau structuré est réalisée en assignant un identifiant à chaque noeud du réseau. Chaque noeudsevoitattribuéunidentifiantuniquequiestchoisiparmiunespace d identification préalablement défini. Avec ces identifiants, les noeuds forment un anneau virtuel respectant l ordre des identifiants. La figure 1.1 présente l attribution de différentes valeurs au sein du réseau. L utilisation d une topologie en anneau facilite les mécanismes de base du routage et de la recherche d informations entre les noeuds. Cette façon de mettre les noeuds en relations, ou encore réseau virtuel est souvent appelée Overlay Network La DHT sur un Overlay Network La DHT fournit une abstraction dans l utilisation d une table de hachage permettant simplement d ajouter et de récupérer des informations au sein

9 1.2 Réseaux peer-to-peer 7 FIG.1.2 DHT&Key-BasedRouting decettetable.ladhtpeutêtreconsidéréecommeunetabledehachage classique, pour laquelle les données sont distribuées parmi les noeuds du réseau.unetabledehachageestunestructurededonnéesquipermetune association clé-valeur. Chaque couple de la table de hachage est identifié demanièreuniqueparsaclé.cecipermetunaccèsdirectàunedonnée, puisqu il suffit d en connaître la clé et, par extension, sa valeur de hachage, pourendéduiresonemplacementauseindelatable. Il est simple d envisager l intégration d une table de hachage au sein d un réseau peer-to-peer structuré. Puisque chaque noeud est identifié de manière unique au sein du réseau, il suffit d employer une fonction de hachage partageant le même espace d arrivée que l espace d identification des noeuds. Ainsi, toute valeur obtenue par cette fonction désigne un noeud responsable de la donnée associée au sein du couple clé-valeur. En utilisant une DHT, les données peuvent être insérées dans l Overlay Network en spécifiant la clé associée à chaque donnée, comme si celles-ci étaient insérées dans une table de hachage classique. Les clés sont choisies depuis un même espace d identification, celui des identifiants des noeuds. Récupérer une donnée ne nécessite alors que la connaissance de la clé associée à cette donnée. Quand une donnée doit être ajoutée dans la DHT, le noeud responsable de son stockage est déterminé par la clé associée. Cette technique de routage est appelée key-based routing(figure 1.2). Lors de la récupération de la donnée, le mécanisme de key-based routing est utilisé pour déterminer le noeud responsable de la donnée. Dans le cas d une topologie en anneau, silenuméroainsiobtenun estpasoccupéparunnoeud,c estlepremier noeudsuccesseurdecenuméroquiestresponsabledeladonnée.unefois l adressedunoeudobtenue,ladhtcontactecedernieretluidemandela donnée.

10 1.3 Système de backup distribué 8 Garantir la disponibilité physique d une donnée au sein de la DHT impliquedetenircompteducaractèredynamiqueduréseau.c estàladht d effectuer ce travail en tenant compte du départ et de l arrivée des différentsnoeudsetendéplaçantladonnéedemanièreadéquateauseindu réseau. Une solution simple et élégante pour garantir cela est d utiliser un mécanisme de réplication sur plusieurs noeuds. Quand un noeud disparaît du réseau(déconnexion involontaire), les données dont il était responsable peuvent être obtenues via d autres noeuds qui maintenaient une copie de ces données. De même, de nouvelles copies sont effectuées et stockées sur d autres noeuds afin de disposer en permanence d un nombre de copies suffisant. Généralement, les caractéristiques souhaitées d une DHT sont: Décentralisation: les données sont dispersées au sein du réseau en l absence de toute centralisation. Scalability: la DHT doit pouvoir fonctionner quelque soit la taille du réseauetlenombredenoeuds. Toléranceauxerreurs:laDHTdoitêtreàmêmedegérerleserreurs dues aux noeuds Distributed K-Ary System Le Distributed K-Ary System(DKS)[11, 21, 22] est un middleware qui fournit différents services facilitant la création d un réseau peer-to-peer décentralisé et structuré. DKS propose en outre un service de table de hachage distribuée, un service de communication directe ainsi qu un service de communication de groupe. Les noeuds participants au sein de DKS sont assemblés suivant une topologie en anneau, et les propriétés et avantages cités ci-avant sont respectés. La DHT de DKS joue un rôle fondamental dans la conception de notre application. L ajout ou la suppression d un noeud repose sur un mécanisme appelé Local Atomic Actions, qui garantit l unicité dans l attribution des responsabilités au sein du réseau. LesprincipauxservicesoffertsparlaDHTdeDKSsontl ajoutetla recherche de valeurs dans la table distribuée. put(key,value) va mémoriser lecouple(key,value)surlenoeuddésignéparlavaleurdehachagedekey. get(key[,value]) va demander les couples associés à key(ou à(key,value) si valueestprécisé)aunoeuddésignéparlavaleurdehachagedekey. Par ailleurs, DKS propose un service de Bulk Lookup, permettant la recherche de plusieurs milliers d identifiants sans pour autant créer plusieurs milliers de requêtes. Ceci s avèrera extrêmement important, dans le sens où notre application nécessitera parfois la recherche de plusieurs centaines voire milliers de fichiers. 1.3 Système de backup distribué Nous allons nous intéresser à une application qui permet d effectuer un backup sur un réseau P2P décentralisé tel que nous l avons décrit ci-avant, en profitant des avantages d une DHT[26]. Idéalement, cette application présenterait les caractéristiques[3, 10] suivantes:

11 1.3 Système de backup distribué 9 Transparente pour l utilisateur: Seules les informations essentielles (choix des fichiers, cryptage, compression,...) doivent être fournies par l utilisateur. Il emploie ainsi l application sans avoir à se préoccuper de la façon dont le système réalise l opération. Bon-marché: Il n est pas nécessaire d engager du personnel supplémentaire pour s occuper du backup, transférer les média et garantir sa sécurité physique. Par ailleurs, la nature distribuée de l application n engendre aucun coût lié au matériel nécessaire(pas de CD, cassettes, machines spécifiques,...). Facilement accessible: Le backup est accessible quelque soit le moment et le lieu souhaité. Bienorganisée:Lesbackupssontindépendantslesunsdesautres,ce qui permet une récupération précise des données. Sécurisée: Divers mécanismes garantissant l intégrité et la confidentialité des données fournissent un certain degré de sécurité. Haute-disponibilité:DeparlanatureduréseauP2Petgrâceauxmécanismes utilisés, l application garantit une haute disponibilité, permettantlaperteoul absenced ungrandnombredemorceauxdela donnée sans pour autant rendre celle-ci irrécupérable.

12 CHAPITRE 2 SYSTÈME DE BACKUP DISTRIBUÉ 2.1 Présentation de l application Nous allons développer une application permettant d effectuer un backup sur un réseau P2P décentralisé. Cette application sera bâtie au-dessus du middleware DKS utilisé pour la création et le maintien d un réseau peerto-peer décentralisé. Nous tâcherons de répondre de notre mieux aux objectifs énoncés en section 1.3. La nature décentralisée et distribuée de l application permet de répondre intrinsèquement aux objectifs d accessibilité, d organisation, de ressources matérielles nécessaires et par extension, des ressources financières nécessaires. Nous allons orienter le développement de l application selon les objectifs de transparence, de confidentialité& d intégrité des données et tout particulièrement de haute-disponibilité. Nous découvrirons et emploierons divers mécanismes et outils parfois complexes afin d y parvenir. Ainsi, l usage de méta-données nous permettra d offrir une abstraction suffisante et confortable au niveau des structures de données et rendra possible l adoption de conventions de nommage simples pour l utilisateur tout en restant performantes d un point de vue d identification des données au sein du réseau et plus particulièrement de la table de hachage distribuée. La confidentialité et l intégrité des données seront assurées par divers mécanismes de chiffrement reposant sur les architectures à clé secrète et à clé publique [18, 25]. Finalement, l utilisation de codes correcteurs[9, 24] nous permettra de subdiviser les différents fichiers en blocs plus concis, plus simples à traiter tout en garantissant une haute-disponibilité pour un surcoût acceptable en terme de stockage. Nous débuterons ce chapitre en introduisant quelques concepts fondamentaux. Nous aborderons ensuite en détail les différents mécanismes nous permettant de remplir les objectifs énoncés ci-dessus, les choix que nous avons effectués ainsi que les solutions développées. Le chapitre suivant sera l occasion de présenter un prototype d une telle application, son implémentation et son fonctionnement. Finalement, nous discuterons des perfor-

13 2.2 Pré-requis 11 FIG. 2.1 Types de méta-données mances et des résultats de cette application à partir desquels nous conclurons et proposerons quelques perspectives supplémentaires. 2.2 Pré-requis Concept de méta-donnée De nombreuses définitions d une méta-donnée existent. La plus simple et la plus courante est qu une méta-donnée est une donnée à propos d une donnée [29]. Généralement, une méta-donnée peut être vue comme une certaine quantité d informations venant décrire ou compléter une autre information, centrale. Par exemple, une méta-donnée associée à une image peut décrire le contenu de cette image ou encore les valeurs de correction d exposition, de date, etc. s y rapportant. Plus formellement, on considère une méta-donnée comme une information facultative pour l existence même de la donnée centrale, mais néanmoins essentielle pour la bonne utilisation de cette dernière. Ainsi, par exemple, estunedonnéedetypenumériquequi,endehorsdetout contexte, n a pas réellement de sens. Dès que cette donnée est associée à uneméta-donnéequiladécritcommeétantuncodepostal,uneadresseou une quantité, son sens devient explicite et il est possible de l utiliser à bon escient. La notion de méta-donnée est largement utilisée dans le domaine de l informatique moderne[29]. En général, les méta-données sont utilisées en complément des données centrales pour rendre l utilisation de processus de recherche ou de filtrage praticables, ou tout simplement dans les (nombreuses) situations dans lesquelles il est nécessaire de faire la distinction entre le contenu et le contenant(tcp, en-têtes http, images,...). Plus proches de nos préoccupations, les méta-données sont également utiliséesdanslessystèmesdefichiersetdebackupafindefournirunedescription précise et concise du fichier concerné. Nous allons considérer des méta-données de deux types(figure 2.1): Séparées de l information à laquelle elles se rapportent. C est le cas, par exemple, d une feuille de style CSS[16] décrivant l affichage d un fichier de données XML[14] ou des images disques au format cue/iso. Associées à l information à laquelle elles se rapportent. Typiquement plus répandue, cette disposition est utilisée notamment pour les tags

14 2.2 Pré-requis 12 ID3 d un fichier MP3, le conteneur vidéo avi. Le principal avantage d une méta-donnée est qu elle permet de séparer distinctement le contenu de sa description. Ceci permet de lire ou de modifier la description(ou toute information) d une donnée sans l altérer, voire sans même y avoir accès directement. La méta-donnée permet en outre d identifierunedonnéedefaçonsimple,mêmesilenomdecettedernières avère très compliqué, elle agit alors comme une sorte de pointeur vers la donnée concernée Chiffrement symétrique& asymétrique La cryptographie symétrique est régulièrement appelée cryptographie à clé secrète. La cryptographie symétrique repose fondamentalement sur la notion de clé. Il s agit d une information permettant de chiffrer et de déchiffrerunmessage,àlabasedetoutelasécuritédelacommunication. Un algorithme de chiffrement(resp. de déchiffrement) est une fonction f prenant en paramètre le message m à chiffrer(resp. à déchiffrer) et la clé secrète k:f(m, k).lasécuritédelacryptographiesymétriquedépendessentiellement du choix de l algorithme: ce type de cryptographie ne satisfait pas les utilisateurs de chiffrement parce que la conception d un bon algorithme est très difficile et qu une fois découvert, il n offre plus de sécurité. Tous les messages ayant été chiffrés avec cet algorithme deviennent alors accessibles. Actuellement, nous savons qu au moins le chiffrement de GILBERTVERNAM[25],quiconsisteàajouteraumessageenclairuneclé de même longueur que le message, est parfaitement sûr. C est le seul pour lequel il a été possible de prouver une telle chose. L inconvénient est que chiffrerunmessagede nbitsnécessited échangerunecléde nbitsavecle destinataire du message et ce, de manière parfaitement sûre. La cryptographie asymétrique ou cryptographie à clé publique[8, 18], par opposition, repose sur des fonctions à sens unique, c est-à-dire des fonctionsappliquéesàunmessagedesorteàcequ ilsoittrèsdifficilederetrouver ce message dès lors qu il a été transformé. En réalité, ces fonctions sontàsensuniqueetàbrèchesecrète:ellessonttrèsdifficilesàinverser,à moins d en connaître la brèche, autrement appelée clé privée. Nous pouvons voir le chiffrement asymétrique comme un chiffrement quiutilisedeuxdecesfonctions:unefonction PrKetunefonction PuKpermettant chacune le chiffrement et le déchiffrement d un message m. Ainsi, si Alice souhaite pouvoir recevoir des messages chiffrés, elle publie sa fonction PuK. Quand quelqu un souhaite lui envoyer un message m, il calcule m = PuK(m)etenvoie m àalice.celle-ciutilisealorssacléprivéepour retrouverlemessaged origine mtelque m = PrK(m ). La cryptographie asymétrique vient combler une lacune majeure de la cryptographie symétrique: le partage sécurisé d une clé entre les correspondants. Les mécanismes de chiffrement symétrique étant moins coûteux en temps de calcul, ceux-ci sont privilégiés aux mécanismes de chiffrement asymétrique pour le reste de la communication. Cependant, toute utilisation de la clé de chiffrement symétrique nécessite que les correspondants se

15 2.2 Pré-requis 13 FIG. 2.2 Chiffrement asymétrique partagent cette clé. Le mécanisme de chiffrement asymétrique entre dans laréalisationdecepartage:ilestutilisépourlaphased échangedelaclé symétrique et cette dernière est employée pour le reste de la communication.lafigure2.2illustrecemécanisme:laclésecrèteestutiliséepour chiffrer le message à transmettre, et cette clé secrète est chiffrée à l aide de lacléprivée.cetteclésecrètechiffréeetlemessagechiffrésonttousdeux envoyés. Le message original est alors obtenu par déchiffrement à l aide de la clé secrète, elle-même déchiffrée à l aide de la clé publique de l expéditeur Signaturenumérique Il est possible de signer numériquement un document sur base des principes du chiffrement asymétrique. Signer numériquement un document permet de certifier au destinataire que le message n a pas été altéré. Par ailleurs, il est possible de s assurer de l identité de l expéditeur via un mécanisme de certificats reposant sur des organismes dits de confiance. Ce concept de signature numérique est actuellement relativement simple à mettre en place et de plus en plus répandu. Idéalement, la signature numérique doit être: Authentique L identité du signataire doit pouvoir être retrouvée de manière certaine. Infalsifiable La signature ne peut être falsifiée. Il n est pas possible d usurper l identité de l expéditeur. Non réutilisable La signature n est pas réutilisable. Elle fait partie du document signé et ne peut être déplacée sur un autre document. Inaltérable Un document signé est inaltérable. Une fois signé, il n est plus modifiable. IrrévocableLapersonnequiasignénepeutlenier. Notons PuK la fonction de chiffrement(connue de tous) et PrK la fonction de déchiffrement. Quand Alice désire signer numérique un message m, elle calcule s = PrK(m).Ilestalorssimplepourunepersonnedisposantdu message metdelasignature sdes assurerqu Aliceestàl originedela signatureetdumessageencalculant PuK(s).Pourquelemessageaitpu être altéré, il faudrait que la signature soit altérée de manière cohérente, ce qui est pratiquement impossible en pratique, à moins de disposer de PrK. Plus précisément, la signature concerne une partie de ce message, son empreinte, et non le message en entier. Cette empreinte est calculée grâce

16 2.2 Pré-requis 14 FIG. 2.3 Signature numérique àunefonctiondehachage.lechoixdelafonctiondehachageinfluencela sécuritédelasignaturenumérique:étantdonnéunmessageetsonempreinte, il faut qu il soit très difficile de fabriquer un message différent ayant une empreinte identique. L intérêt dans l utilisation de l empreinte plutôtquedelatotalitédumessageestqu ilnefautsignerqu unepetite quantité de données comparativement au message. La figure 2.3 illustre un scénario classique: une empreinte du message est calculée par l expéditeur et cette empreinte est chiffrée. Le message ainsi que l empreinte chiffrée sontenvoyés.vérifierquelemessagen apasétéaltérésefaitencomparant une empreinte nouvellement calculée avec l empreinte reçue, préalablement déchiffrée à l aide de la clé publique de l expéditeur Codescorrecteurs [9] définit un code correcteur comme étant une technique de codage de l information basée sur la redondance d une partie ou de la totalité de l informationdanslebutdefournirunmoyendecorrigerouderécupérercette information suite à une erreur lors de sa transmission. La théorie des codes correcteurs ne sert pas seulement pas aux communications classiques, mais également aux supports pour le stockage comme les CD, la mémoire et d autres applications où l intégrité des données est importante. Nous sommes partis du constat suivant: si un code correcteurpeutêtreutilisépourrécupérerdesdonnéessuiteàuneerreurde transmission, de tels codes peuvent être également utilisés pour combler un problème de récupération de données. Une situation classique: l information concernée est stockée sur plusieurs supports différents et l un de ces supports est manquant. Dans une situation normale, en l absence de code correcteur, il n est pas trivial de récupérer ou de reconstituer la partie manquante de ces données. Nettement moins courante, l utilisation de codes correcteurs dans le cadre de la sauvegarde distribuée de données n en est pourtant pas moins

17 2.2 Pré-requis 15 FIG. 2.4 Transmission utilisant un code correcteur intéressante: l objectif d un tel environnement est de fournir un moyen simple de sauvegarder une donnée en la subdivisant en blocs répartis sur plusieurs machines. Bien que ces machines soient probablement destinées àoeuvrerdansunbutbienprécis-resterdisponible-iln estpasexcluque l uned entreellenesoitplusdisponibleounedisposeplusdeladonnéetelle qu elle avait été confiée initialement. L usage d un code correcteur nous permet de pallier à ces éventualités. L ajout de redondance offre une certaine tolérance à l absence d un ou de plusieurs blocs lors de la reconstruction de la donnée. Formellement, un code correcteur transforme un message(ou une donnée) m composé(e) de n blocs(paquets, fragments, bits,...) en un message (oudonnée) m ayantunnombre n > ndeblocstelque mpuisseêtreretrouvédepuisunefraction rdecesblocs,c est-à-diredepuis n.r nblocs (figure 2.4, inspirée du document accompagnant[24]). Uncodecorrecteuroptimalproduit n = n r blocsoùseuls nsontnécessaires pour retrouver le message original. Le code procède en ajoutant de la redondance au niveau des blocs. Malheureusement, ce genre de codes est souventcoûteuxentermedemémoireetdetempscpuquand ndevient important. En pratique, un code correcteur presque optimal, code pour lequel (1 + ε)nblocssontrequispourrecomposerlemessage,estutilisédans la majorité des applications temps-réel nécessitant un temps d encodage et de décodage le plus court possible. Réduire ε, l overhead, peut être fait au prix d une augmentation du temps CPU. Les paragraphes suivants décrivent plus précisément les bases du fonctionnement des codes Reed-Solomon[5, 24] et Tornado[1, 6, 20], les principaux codes de leur catégorie, respectivement code optimal et code presque optimal.entantquecodepresqueoptimal,letornadocodeinduitunléger overhead ǫ mais est significativement plus rapide lors de l encodage et du décodage que le code Reed-Solomon. Le tableau 2.1[2] reprend les principales caractéristiques des deux codes mentionnés(p étant la taille d un fragment).

18 2.2 Pré-requis 16 TAB. 2.1 Propriétés de Tornado et Reed-Solomon Tornado Codes Reed-Solomon Codes Overhead ǫ > 0( 0.05) 0 Tempsd encodage nk. ln( 1 ǫ )P k2 ( 1 k + n 1)P Tempsdedécodage nk. ln( 1 ǫ )P k2 ( 1 k + n 1)P Opération de base XOR Résolution d équations Code optimal Reed-Solomon Inventé en 1960 par IRVING S. REED et GUSTAVE SOLOMON, le code Reed-Solomon est un code correcteur optimal. L idéederrièrececodeestquelesdonnéespeuventêtrevuescommeun polynôme. Le code se base sur un théorème d algèbre linéaire qui stipule que k points distincts déterminent de façon unique un polynôme de degré aumoins k 1. Le polynôme est ensuite encodé par l évaluation successive de plusieurs points, et ces valeurs sont ensuite envoyées comme message. A la réception, il est possible de déduire le polynôme initial sur base d une fraction despointsinitiaux.formellement,pourunchampfini Fetunanneaupolynomial F[x][7],nouschoisissons net ktelque 1 k n F. néléments distinctssontchoisisdans Fetnotés {x 1, x 2,..., x n }.Ensuite,lecode Cest crééàpartirdesvecteursobtenusenévaluantchaquepolynôme(sur F)de degré< kpourchaque x i,c est-à-dire: C = {(f(x 1 ), f(x 2 ),..., f(x n )), f F[x], deg(f) < k} Cestun [n, k, n k + 1]code,end autresmots,c estuncodelinéairede taille n,dedimension ketdedistanceminimale n k + 1. Code presque optimal Tornado Le code Tornado a été introduit dans les travaux[19, 20] comme un code correcteur presque optimal permettant l encodage et le décodage d un message en un temps suffisamment court que pour être utilisé dans des applications temps-réel, comme la diffusion audio/vidéo en streaming. Le code permet la diffusion d informations avec un débit proche de la capacité du canal utilisé. Le code Tornado est construit par une succession d opérations élémentaires sur des graphes bipartites aléatoires.uncode C(b)avec kbits 1 et bkbitsredondants(0 < b < 1)est définienluiassociantungraphebipartite B.Cegraphe B(figure2.5[20])a k noeuds à gauche et bk noeuds à droite, correspondant respectivement aux bits du message et aux bits de redondance, ou encore check-bits. L encodage C est déterminé en définissant chaque check-bits comme étant le résultat del opération XORdesvoisinsdegauche(ex.:x 1 et x 2 pour c 1 )dansle graphe B. Cette opération est alors répétée en cascade sur les check-bits jusqu à un degré fixé, produisant alors l encodage désiré. La qualité du code dépendévidemmentdelaconstructiondugraphe Bainsiquedelamanière dont les check-bits sont associés aux bits du message. 1 Plusgénéralement,avec ksymboles

19 2.3 Identification des données 17 FIG. 2.5 Graphes bipartites pour l encodage de Tornado Puisque nous connaissons maintenant les concepts fondamentaux sur lesquels reposera notre application, nous allons envisager une façon de les réuniretdelesexploiteraumieuxafinderemplirlesobjectifsd unesolution de backup distribuée répondant aux exigences énoncées dans la section 1.3. Tout d abord, nous présenterons en section 2.3 un mécanisme simple reposant sur l usage des méta-données comme structures élémentaires pour l identification et la manipulation de données quelconques, les raisons pour lesquelles il est nécessaire de les identifier de façon unique au sein d un réseau décentralisé et les moyens mis en oeuvre pour garantir une facilité d utilisation malgré ces subtilités. En second lieu, nous reparlerons d architectures à clé publique et à clé secrète dans le contexte de la confidentialité. La vérification de l intégrité des données sera l occasion, en section 2.4, d utiliser la notion de signature numérique et de présenter une façon élégante de l employer en l absence d organisme de certification. Ensuite, nous discuterons plus en détail des solutions classiques permettant d offrir une haute-disponibilité par le biais de la réplication et nous envisagerons l utilisation de codes correcteurs d erreurs pour assurer une très haute-disponibilité à moindre coût(section 2.5). Finalement, nous analyserons en section 2.6 les différentes façons d obtenir du réseau une liste de noeuds potentiellement candidats pour la sauvegarde d une partie de nos données en nous concentrant sur l exhaustivité, la cohérence et la souplesse de cette liste tout en minimisant les ressources nécessaires à son obtention. 2.3 Identification des données Dans l optique de fournir une application simple d utilisation, il n est pas désirable que l utilisateur ait besoin de connaissances particulières dans le domaine ni qu il doive mémoriser d importantes informations d une utilisationàl autreafindeprofiterdenotreapplication.pourcefaire,ilestnéces-

20 2.3 Identification des données 18 FIG. 2.6 Les trois méta-données saire de concevoir et de fournir des outils abstrayant ces connaissances et ces informations. Les méta-données nous permettent d associer des informations descriptives à une autre information. Plus spécifiquement, il nous estpossibled identifierunedonnéeparunmoyensimple-sonnompar exemple- sans pour autant devoir utiliser directement ce nom au sein des mécanismes sous-jacents. En d autres termes, nous pouvons profiter d un nom canonique facilement mémorisable et manipulable du point de vue de l utilisateur, tout en employant des conventions complexes en arrière-plan, rendant envisageables certains mécanismes exigeants, comme l unicité nominale des données. Ainsi, l usage de méta-données nous permet-il de récolter des informations précises et ciblées concernant les données présentes dans notre application, tout en évitant de devoir récupérer l ensemble de celles-ci. La figure 2.6 reprend les trois types de méta-données définis dans le cadre de notre application: BackupID Il s agit d une sorte de carte d identité du backup décrivant le contenu de ce dernier. Nous retrouvons dans cette méta-donnée des informations telles que le nom du backup, son auteur(identifié nominativement ou via sa clé publique), la clé publique permettant de vérifier l intégrité de la donnée ainsi que sa signature numérique, diverses informations plus techniques, comme le préfixe unique des fragments ainsi que leur nombre. La BackupID est une méta-donnée créée par l auteur d un backup et soigneusement insérée dans la DHT lors de la création du backup. C est cette carte d identité qui garantit l existence(d un point de vue fonctionnel) même du backup au sein du réseau. Remarquons que le nom de cette méta-donnée est identique aunomdubackupetnedoitpasspécifiquementêtreunique.comme nous le verrons juste après, seul le couple(nom, auteur) doit l être. FragmentID Il s agit d une méta-donnée insérée et maintenue à jour par tout noeud possédant un fragment d un backup donné. Par conséquent, chaque méta-donnée de ce type ne concerne que chaque fragment actuellement disponible dans le réseau. Le FragmentID contient l information de localisation physique du fragment auquel il se rap-