Logiciel de sauvegarde libre AMANDA

Transcription

1 -1-0

2 Logiciel de sauvegarde libre Ronan Keryell Ö Ò Ø ºÓÖ École Nationale Supérieure des Télécommunications de Bretagne, Plouzané 23 mars 2006

3 Développement intensif de l informatique Numérisation des contenus Données, connaissances, savoir faire : tout numérique 2 ans après la perte de leur informatique, la majorité des entreprises n existent plus Cyniquement : une donnée non sauvegardée n a aucune valeur Faire de bonnes sauvegardes Introduction

4 Être à la hauteur des richesses contenues dans les données Vérifier régulièrement le contenu des bandes Stocker les sauvegardes le plus loin possible de ce qui doit être sauvegardé (réseaux hauts débits, voitures,...) Répartir les sauvegardes sur plusieurs lieux Maximum de sauvegardes dans le temps Garder le plus longtemps possible Sauvegarder le maximum de données Données stockées par erreur ou par nécessité dans un endroit non sauvegardé Logiciel de piratage caché dont on veut récupérer les traces Introduction

5 N empêche pas de prêcher l usage des systèmes de contrôle de version (SubVersion, CVS, RCS...) Introduction

6 Distribution des ressources optimise l usage du matériel Processeurs distribués sur un réseau Disques durs : des To et bientôt des Po «gratuits» sur le réseau Distribution des comptes des utilisateurs Augmente la tolérance aux pannes et performances si localité Chiffrement des communications et des fichiers pour la sécurité Réseau avec qualité de service pour assurer les performances sauvegardes ou serveurs de fichiers Essayer de tout sauvegarder

7 Pas simple à organiser et entretenir

8 Ça se complique encore... Beaucoup de disques... Mais en général peu de modifications quotidiennes Compression de l information : sauvegarder seulement Faire une sauvegarde complète t 0 0 de «niveau 0» Faire une sauvegarde de «niveau 1» t 1 1 = t 1 0 t 0 0 On généralise t n n = t n n 1 t n 1 n 1

9 Si n Taux de compression ր Nombre de cassettes (n + 1) pour une restauration Temps de restauration Probabilité d avoir toutes les cassettes nécessaires en bon état 0 Faire des sauvegardes de niveau 0 régulièrement Quand décider d une sauvegarde de niveau n de la partition p? Que faire si une partition évolue beaucoup? Continuer en incrémental ou bien en niveau 0?

10 Qui fait de la planification statique des sauvegardes (sauvegarde la partition truc de niveau 0 le lundi, de niveau 3 le vendredi...)? Qui fait de la planification dynamique des sauvegardes (le logiciel se débrouille à partir de contraintes)? Qui utilise? Qui ne fait pas de sauvegarde?

11 the Advanced Maryland Automatic Network Disk Archiver Né au début des années 1990 Besoin de simplifier sauvegardes réseaux d ordinateurs Automatiser tâches complexes de planification Éviter trop de compromission Fournir une solution satisfaisante à la problématique des sauvegardes distribuées

12 Livre «UNIX Backup and Recovery» W. Curtis Preston, O Reilly, 2000 ØØÔ»»ÛÛÛº ÙÔ ÒØÖ ÐºÓÑ» Ñ Ò º ØÑÐ : chapitre sur ØØÔ»»ÛÛÛº Ñ Ò ºÓÖ Documentation Faq-O-Matic (foires aux questions) Listes de discussion Ñ Ò ¹Ù Ö Ñ Ò ºÓÖ et Ñ Ò ¹ Ö Ñ Ò ºÓÖ IRC Ñ Ò sur ØØÔ»» Ö ÆÓ ºÒ Ø ØØÔ»» Ò Ø ºÓÖ» ÖÝ ÐÐ»ÔÙ Ð Ø ÓÒ» ÜÔÓ»¾¼¼» Ñ Ò cet exposé

13 ØØÔ»» Ò Ø ºÓÖ» ÖÝ ÐÐ»ÔÙ Ð Ø ÓÒ»ÓÒ»¾¼¼½»ÂÊ Ë¾¼¼½» Ñ Ò plus long mais plus vieux...

14 Machine maître Contrôle typiquement un dérouleur de bande Supervise un ensemble de clients à sauvegarder Machines clientes Envoient à la demande du maître taille ou contenu des sauvegardes

15 LISA

16 Sauvegarde en réseau : débit non constant ou insuffisant Obligé d arrêter la bande et de réaligner au début d un enregistrement =: performances ցց, usure Sauvegarde sur des disques tampons sur le serveur Quand un disque est suffisament plein : écriture rapide sur la bande Prix des disques tampons négligeables Permet la parallélisation sur les clients Évite l entrelacement sur bande facile à relire Problème de bande? Sauvegarde en mode dégradé sur disque!

17 Sauvegardes incrémentales trop compliquées à planifier et à optimiser Automatisation à partir d un cahier des charges basé sur Cycle de sauvegarde : nombre de jours maximal entre les sauvegardes complètes des partitions Nombre de cassettes : utilisées pour faire les sauvegardes Débit réseau : ce qui est autorisé Nombre de sauvegardeurs maximal à faire tourner sur chaque client Priorités (importances) entre différentes partitions

18 Optimisation à partir de Performances des sauvegardes passées Interrogation des clients sur les données à sauvegarder Plus souple : s adapte à de forts changements de contenu en retardant certaines sauvegardes totales superflues Changements de consigne possibles Forcer une sauvegarde complète d une partition Ne faire que des sauvegardes complètes Ne faire que des sauvegardes incrémentales (on a une référence ailleurs) Antidatage...

19 optimise le remplissage Le plus de données fraîches sur la bande : optimise la tolérance aux pannes Use au maximum le dérouleur de bande par rapport à une planification statique intrinsèquement pessimiste Recyclage automatique des cassettes Protection par un label pour empêcher un recyclage anticipé par erreur Marquage des cassettes par ÑÐ Ð Vérification dans la journée que la cassette est la bonne avec Ñ

20 Dérouleurs modernes : compression intégrée possible mais déconseillée... Compression logicielle sur chaque client Compression souvent meilleure que celle du dérouleur Souvent plus lente ( Þ Ô, Þ Ô¾) mais parallélisée sur tous les clients! Seules les données comprimées passent sur le réseau : ց pression Compression directement mesurée sur chaque client, utilisable dans la planification

21 utilise les outils disponibles sur les clients Portabilité Restauration avec outils des clients Hook pour déclencher des instantannés (bases de données, systèmes de fichiers)

22 Un seul dérouleur par serveur mais possibilité chargement automatique Automatisation complète de la sauvegarde Possibilité de remplir plusieurs bandes par sauvegarde Quasi disparition des problèmes d écriture et donc de l usage d Ñ ÐÙ Si la pièce contenant le chargeur brûle, on perd tout... Si pas de chargeur, on peut très bien entreposer les cassettes loin... 4 systèmes de contrôle de changeurs de bande (dont 1 assisté par humain)

23 Version «bande» des RAID Fait du RAIT sur des périphériques Pas besoin d avoir du matériel spécifique, juste plusieurs dérouleurs ou autre : RAIT sur 1 bande + 1 disque : permet aux utilisateurs de récupérer dernières sauvegardes en ligne!

24 Courriel de fin de sauvegardes ( Ñ ÙÑÔ) Courriel de vérification ( Ñ ) Informations sur une sauvegarde en cours ou passée ( Ñ Ø ØÙ, ÑÔÐÓØ) Restaurations avec ÑÖ ÓÚ Ö et ÑÖ ØÓÖ

25 ÓÖ ÒÓÝ¹ÖÓÓØ ÑÖ ÓÚ Ö ÐÐÝ ÓÙÖ ¹ ÐÐÝ ¹Ø ÐÐÝ ÅÊ ÇÎ Ê Î Ö ÓÒ ¾º º½Ô½º ÓÒØ Ø Ò ÖÚ Ö ÓÒ ÐÐÝ ººº ¾¾¼ ÐÐÝ Å Æ Ò Ü ÖÚ Ö ¾º º½Ô½µ Ö Ýº ¾¼¼ ÇÃ Ë ØØ Ò Ö ØÓÖ Ø ØÓ ØÓ Ý ¾¼¼½¹½¼¹¼¾µ ¾¼¼ ÏÓÖ Ò Ø Ø ØÓ ¾¼¼½¹½¼¹¼¾º ¾¼¼ ÓÒ Ø ØÓ ÐÐÝ ÓÙÖº ¾¼¼ ÙÑÔ Ó Ø Ø ØÓ ÓÖ ÒÓÝº Ï ³» ÜÔÓÖØ» ÒØ ÖÒ ³ ÓÒ ³¼Ø¼ ¼ ³ ÑÓÙÒØ Ø ³» ÜÔÓÖ ¾¼¼ Ø ØÓ ¼Ø¼ ¼ º» ÜÔÓÖØ» ÒØ ÖÒ ÑÖ ÓÚ Ö Ð ¾¼¼½¹½¼¹¼½ º ¾¼¼½¹¼ ¹¾ ÐÓ Ø ÓÙÒ»

26 ¾¼¼½¹½¼¹¼½ Ú Ý Ø Ñ» ÑÖ ÓÚ Ö Ú Ý Ø Ñ»» ÜÔÓÖØ» ÒØ ÖÒ» Ú Ý Ø Ñ ÑÖ ÓÚ Ö Ð ¾¼¼½¹½¼¹¼½ º ¾¼¼½¹½¼¹¼½ ÙÑÔ Ø ÖØ» ¾¼¼½¹¼ ¹¾ ÑÓ Ð» ¾¼¼½¹¼ ¹¾ ÖÓÓØ» ÑÖ ÓÚ Ö ÙÑÔ Ø ÖØ» Ö» Ú Ý Ø Ñ» ÙÑÔ Ø ÖØ Ø Ø ¾¼¼½¹½¼¹¼½ Ö» Ú Ý Ø Ñ» ÙÑÔ Ø ÖØ Ø Ø ¾¼¼½¹¼ ¹¾ ÑÖ ÓÚ Ö ÜØÖ Ø ÜØÖ Ø Ò Ð Ù Ò Ø Ô Ö Ú» Ú»ÒÙÐÐ ÓÒ Ó Ø ÐÐÝ º

27 Ì ÓÐÐÓÛ Ò Ø Ô Ö Ò À ÁÄÄ ¹Â¹¾ ½ ¹½½¹¾¼¼¼ À ÁÄÄ ¹Â¹¾ ¼¹¼ ¹¾¼¼¼ Ê ØÓÖ Ò Ð ÒØÓ Ö ØÓÖÝ» ÜÔÓÖØ» ÒØ ÖÒ ÓÒØ ÒÙ»Ò Demande d insérer à tour de rôle cassettes pour niveaux incrémentaux si nécessaire

28 Trouver la bonne bande Ñ Ñ Ò ÐÐÝ ÓÙÖ Ò ÑÔ ÙÜ Ë ÒÒ Ò» ÓÑ» ÐÐÝ» Ò ÙÑ» Ñ Ò»ÛÓÖ» ÐÐÝ ÓÙÖºº Ø Ó Ø ÐÚ Ø Ô ÓÖ Ð Ð ¾¼¼½¹¼ ¹¼ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ½ ¹¼ ¹¾¼¼¼ ½ ¾¼¼½¹¼ ¹¼ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ½¹¼ ¹¾¼¼¼ ¾ ººº ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ¼ À ÁÄÄ ¹Â¹¾ ¾ ¹¼ ¹¾¼¼¼ ¾ ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ¾ ¹¼ ¹¾¼¼¼ ½ ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ½ ¹½½¹¾¼¼¼ ½ ¾¼¼½¹½¼¹¼½ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ¼¹¼ ¹¾¼¼¼ ½¼ ¾¼¼½¹¼ ¹¼ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ½ ¹¼ ¹¾¼¼¼ ½¾

29 ººº ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ¼ À ÁÄÄ ¹Â¹¾ ½¼¹¼ ¹¾¼¼¼ ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ¾ ¹¼ ¹¾¼¼¼ ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ¾ ¹¼ ¹¾¼¼¼ ½¾ ¾¼¼½¹¼ ¹¾ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ½ ¹½½¹¾¼¼¼ ¾ ¾¼¼½¹½¼¹¼½ ÑÔ ÙÜ ¼Ø¼ ¼ ½ À ÁÄÄ ¹Â¹¾ ¼¹¼ ¹¾¼¼¼ ½ on insère la bonne bande et on récupère depuis la machine ÑÔ ÙÜ par exemple avec ÐÐÝ ÑÖ ØÓÖ ¹Ô» Ú»ÖÑØ»¼ Ò ÑÔ ÙÜ ¼Ø¼ ¼ Ù

30 Pas de restauration automatique bootable (non portable...) Si on a au moins 2 serveurs d installation : pas de problème Lancer une installation automatique Si serveur encore en vie ou index récupérables : restauration luxueuse Peut être intéressant de répliquer les index... Sinon, travailler à la main avec un format de bande simple : Premier fichier donne nom bande et date sauvegarde Å Æ Ì È ËÌ ÊÌ Ì ¾¼¼½¼ ¼ Ì È ÊÁ¹¾½¾¼¹¼ ¹½ Autres fichiers commencent par 32 Ko de mode d emploi!

31 Å Æ ÁÄ ¾¼¼½¼ ¼ ÙÚ ÐÐ ¼Ø¾ ¼ Ð Ú ½ ÓÑÔ Æ ÔÖÓ ÌÓ Ö ØÓÖ ÔÓ Ø ÓÒ Ø Ô Ø Ø ÖØ Ó Ð Ò ÖÙÒ Ø Ô ¾ Ô ½»Ù Ö» Ò»Ù Ö ØÓÖ ou Å Æ ÁÄ ¾¼¼½¼ ¼ ÓÖ ÒÓÝ ¼Ø¼ ¼ Ð Ú ½ ÓÑÔ º Þ ÔÖÓ ÌÓ Ö ØÓÖ ÔÓ Ø ÓÒ Ø Ô Ø Ø ÖØ Ó Ð Ò ÖÙÒ Ø Ô ¾ Ô ½»Ù Ö»ÐÓ Ð» Ò» Þ Ô Extraction de la table des matières facile : ÑØ ¹» Ú»ÖÑØ»¼ Ò Ö Û Ò Û Ð ¾ ÓÙÒØ ½» Ú»ÖÑØ»¼ Ò Ó Ó ÓÒ

32 Serveur de fichier (propriétaires, non programmables,...) Monter fichiers depuis un client qui fera la sauvegarde Ordinateur sous Windows Client qui monte automatiquement les fichiers avec SAMBA sur CYGWIN -WIN32 en cours de développement

33 Réseau Informatique de Recherche Expérimentale de l ENSTB pour utilisateurs «avancés» (place disque, vrai accès à Internet, projets dangereux...) Besoins en stockage incompatibles avec critères standard de l ENSTB et prix de licences Choix de tout sauvegarder sauf le swap ZHUANGZI, taoïste du 4ème siècle avant notre ère, dans Le monde des hommes, chapitre 4 : «Tout le monde connaît l utilité de l utile mais rares sont ceux qui savent l utilité de l inutile» Compte sur l incrémental pour la compression Matériel 21 machines

34 59 partitions 342 Go sauvegardé chaque nuit Dérouleur DDS 4 de 20 Go natif (non comprimé) sans changeur Quelqu un change la cassette tous les jours Boîtes de cassettes distribuées de manière cyclique chez plusieurs personnes ր tolérance aux pertes (incendies...) Problème : toutes ogives nucléaires françaises stockées à 10 km de l autre côté de la rade... Autre exemple : au CRI/ENSMP : sauvegarde de partitions

35 Projet très ancien robustesse en production Communauté importante Logiciel libre et formats simples : non captif, même sans Adapté à la culture UNIX (configurations textuelles) Optimise les ressources : permet sauvegardes réseau hétérogène distribué Planification automatique : utilise bandes au maximum Conclusion

36 1 Titre Introduction Introduction Politique de sauvegarde Dure réalité de la vraie vie Concepts Sauvegardes incrémentales Petit sondage dans la salle Ressources & Bibliographie Bibliographie Architecture clients-serveur Architecture Disques tampons Planification automatique Bandes Compression des données Formats de sauvegarde Changeur de bande RAIT Suivi des opérations Restauration avec index Restauration sans index Restauration dans le néant Sauvegardes sans clients Unix Exemple du RIRE Conclusion Conclusion Table des matières Conclusion