Système d archivage Exabuilder. Matinée de veille technologique Argos 22 novembre 2012

Transcription

1 Système d archivage Exabuilder Matinée de veille technologique Argos 22 novembre 2012

2 Exabuilder Qui sommes-nous? Vocabulaire du stockage des données Pourquoi archiver? Les besoins induits Les approches fréquentes Comment archiver?

3 Qui sommes-nous? Editeur de logiciels spécialisé dans l archivage de contenus numériques Solide expérience stockage et archivage Origine du projet Réflexion sur les nouvelles générations de solutions de stockage Beaucoup de besoins d archivage Fonction souvent assurée par des produits dérivés Produits dédiés existants complexes Projet accompagné par Oséo Quelques références

4 Vocabulaire du stockage des données Stockage Enregistrement de données sur un support physique pour lecture / écriture : bases de données systèmes de fichiers Stockage hiérarchique (HSM) Extension «transparente» du stockage gérant la hiérarchisation des systèmes de fichiers : vers des étages disque et/ou des étages bande sur une base LRU (less recently used) Sauvegarde Protection des données actives contre les accidents Processus court terme Archivage Conservation de certaines données à des fins patrimoniales ou légales Processus moyen et long terme voire très long terme

5 Pourquoi archiver? Conserver des données Pour des raisons : patrimoniales : données précieuses non régénérables économiques : données précieuses régénérables (si régénération coûteuse) de précaution : données pouvant s avérer précieuses ultérieurement légales : données que la loi impose de conserver Alléger le stockage de production Le stockage primaire coûte cher : matériel, backup, PRA, électricité, 80% des données inchangées après 3 mois

6 Les besoins induits Augmenter la sécurité des données Intégrité : non-perte (copies multiples), non-modification des données (WORM) Pérennité : possibilité de supports hautement pérennes (bandes en format TAR) Contrôle fin des droits d accès et traçabilité des accès Augmenter la réutilisabilité des données Relogeabilité Organiser les données Pour mieux les administrer Pour exploiter au mieux leur valeur Pour optimiser les coûts d infrastructure

7 Les approches fréquentes Système de fichiers tout disque ou HSM Le modèle «système de fichiers» n est pas adapté Absence de WORM Sécurité standard insuffisante et sécurité par ACL difficile à gérer Schémas d organisation souvent pas clairs Moteur de recherche non intégré Potentiellement coûteux et complexe à administrer Système de sauvegarde Inadapté car orienté protection contre les accidents

8 Comment archiver? Produit spécialisé Conservation d ensembles de données sous forme d archives Classement structuré des archives Sécurité du stockage des archives Sécurité de l intégrité des archives (WORM) Sécurité de l accès aux archives Moteur de recherche intégré

9 Le système Exabuilder Architecture générale Mode autonome Mode embarqué Architecture détaillée

10 Architecture générale Postes de travail Scripts Applications Archivage Indexation Guichet CLIENT SERVEUR Consultation Extraction Entrepôts d archives RAID, NAS, SAN Bande Cloud

11 Mode autonome Les opérations d archivage, de consultation et d extraction se font grâce à une interface graphique depuis le poste de travail Postes de travail Archivage Exabuilder Stockage RAID, NAS, SAN Bande Cloud

12 Mode embarqué Exabuilder est intégré à une application métier via l API Les utilisateurs peuvent archiver, consulter et extraire les archives directement depuis leur environnement métier Postes de travail Application métier Archivage Exabuilder Stockage RAID, NAS, SAN Bande Cloud

13 Architecture détaillée Postes de travail Scripts Applications GUI CLI App Java App C Modèle MVC API Java API C IPI Java CLIENT IPI C SERVEUR IPI Java Entrepôts d archives RAID, NAS, SAN Bande Cloud

14 Démonstration Console d administration Navigateur utilisateurs Console d administration

15 Console d administration Simulation d une mini-entreprise Utilisateurs ingénieurs aéronautique et naval Visualisation des périphériques Repose sur l utilisation du simulateur de disques, bandes et robotiques Disques virtuels (NFS ou Shares Windows) Disques physiques simulés (cache disque Exabuilder) Lecteurs amovibles et robotique(s) simulée(s) Visualisation des espaces de stockage Large espace de type «File-System» reposant sur un disque virtuel Pools de médias amovibles alimentés par la ou les robotiques Visualisation des entrepôts définis par les administrateurs Entrepôts dédiés à une population d utilisateurs Gestion des stratégies de stockage (réplications et indexation)

16 Navigateur utilisateurs Archivage par un ingénieur aéronautique Liste des entrepôts disponibles Navigation sur un disque local pour choisir le contenu à archiver Archivage Navigation dans l archive créée Recherche et extraction par un nouvel ingénieur naval Sélection d un ou de plusieurs entrepôts Recherche d un mot Ouverture d une des archives identifiées par le moteur de recherche Navigation parmi les fichiers résultats de la recherche Extraction d un ou plusieurs de ces fichiers

17 Console d administration Visualisation des travaux Ouverture du détail d un ou plusieurs travaux Détail des copies, indexations en tâche de fond Visualisation des médias amovibles Gestion des utilisateurs et détail de leurs autorisations 2 types d administrateurs supportés (système / données) Edition de l autorisation d un ingénieur sur un entrepôt spécifique Ajout d une nouvelle autorisation sur le service des entrepôt (pour un utilisateur de type administrateur) Visualisation d un certificat X509 dans le service de sécurité

18 Console d administration Service des périphériques Service du stockage Service des travaux Service des entrepôts Service des utilisateurs

19 Service des périphériques Périphériques actifs pendant archivage (espace cache et file-system)

20 Service du stockage Liste des pools de médias et détail du remplissage de l un d entre eux

21 Service des travaux Liste des travaux (détail des copies et déplacements de médias)

22 Service des entrepôts Création des entrepôts (et définition des politiques d archivage) Politiques de nombre d exemplaire Paramètres d indexation Plein texte

23 Service des entrepôts Création des entrepôts (et définition des politiques d archivage) Politiques de durée de rétention

24 Service des utilisateurs Création de l utilisateur (et définition des profils)

25 Service des utilisateurs Création de l utilisateur (et définition des autorisations)

26 Navigateur utilisateurs Service d archivage et d extraction Vue utilisateur Archivage Navigation dans une archive Recherche plein texte Extraction d une archive

27 Service d archivage et d extraction Gestion des conteneurs des archives appelés entrepôts Vue de gauche Liste des entrepôts visibles par l utilisateur Actions sur la liste des entrepôts Ouverture (double-click) d un entrepôt pour en visualiser les archives Rechercher (click-droit) du texte identifié à l archivage par le moteur d indexation Vue du centre Liste des archives contenues dans un entrepôt Actions sur la liste des archives Ouverture (double-click) d un navigateur d archive Renommer/Supprimer (click-droit) Vue de droite Navigateur sur disque local ou dans une archive Sélection des fichiers/dossiers à archiver dans le navigateur disque Sélection des fichiers/dossiers à extraire dans le navigateur d archive

28 Vue utilisateur Liste des entrepôts Liste des archives Navigateur disque local ou réseau

29 Archivage Archivage (caractéristiques de l archive)

30 Navigation dans une archive Liste des entrepôts Liste des archives Navigateur d archives

31 Recherche plein texte Recherche d un mot (Hélice) dans métadonnées et contenus archivés

32 Recherche plein texte Recherche d un mot (Hélice) dans métadonnées et contenus archivés Archives avec mot recherché Fichiers contenants mot recherché dans métadonnées ou contenu

33 Extraction d une archive Extraction (click-droit sur sélection(s) dans le navigateur d archive)

34 Extraction d une archive Extraction (choix de la destination de l extraction)

35 Les avantages Structure générale Sécurité des archives Intégrabilité Pérennité des archives Performances Evolutivité Simplicité d utilisation et d exploitation Optimisation des coûts En résumé

36 Structure générale Système de fichiers Système Exabuilder Entrepôts Archives Contenus des archives Mode WORM Relogeabilité Durée de rétention Contrôle d accès Traçabilité

37 Sécurité des archives Les archives sont WORM Intégrité garantie par «checksums» Redondance du stockage Gestion automatique de copies multiples Authentification des utilisateurs par certificats X509 Possibilité de «classifier» les archives Possibilité de tracer les activités Qui a fait quoi et à quelle date En fonction des niveaux de classification

38 Intégrabilité Intégrabilité dans l infrastructure Archivage depuis et vers tout système de fichier Virtualisation des espaces de stockage disponibles DAS, SAN, NAS, bandes, Cloud, Matériels et systèmes d exploitation standards Intégrabilité dans une application métier API complète Java et C++ Intégration «en deux semaines» Accompagnement technique lors de l intégration

39 Pérennité des archives Format de l archive TAR (PAX IEEE POSIX.2) sans limitation, non compressé Indépendance vis-à-vis des technologies de stockage Possibilité d utiliser des technologies très pérennes (30 ans) Gestion de la durée de rétention Migrations technologiques automatiques Technologies de référence :

40 Performances > 100 Mo /sec par disque et par lecteur, sauf limitation externe Performance sur petits fichiers et grands fichiers Segmentation des très grandes archives Placement optimisé des données Possibilité d extraction au niveau fichier Extraction depuis le support le plus performant

41 Evolutivité Forte scalabilité : de 10 To à >> Po Redimensionnement des ressources Sans interruption de service Transparent pour les utilisateurs Gestion automatique des sauts de technologies

42 Simplicité d utilisation et d exploitation Ergonomie Modes opératoires intuitifs Navigateur spécialisé Facilité d archivage, de consultation et d extraction Aide à la navigation Moteur de recherche plein texte multilingue Indexation des noms de fichiers, des métadonnées et des contenus Granularité fichier Aide à l exploitation Suivi temps réel très détaillé (ressources, activité des périphériques, ) Contrôle des travaux (checkpoint / restart) Mode commande

43 Optimisation des coûts Faible coût de licence Coûts d administration réduits Choix du média le plus adapté Stockage rapide / stockage capacitif Réduction de la facture énergétique Bandes magnétiques Alternative au «tout disque»

44 En résumé Véritable produit d archivage Conservation / classement basé sur des entrepôts et des archives WORM Sécurité du stockage, de l intégrité et de l accès aux archives Navigation assistée par moteur de recherche Scalabilité et performances Produit conçu pour aller vers des très grands volumes Débits élevés en lecture / écriture Facilité d exploitation Suivi en temps réel et contrôle de l activité (travaux, périphériques, ) Suivi de la consommation des ressources de stockage

45 Prérequis

46 Prérequis matériel et logiciel Prérequis matériel DOCUMENT EDITION BIG DATA EDITION Caractéristiques Minimum Usage intensif Minimum Usage intensif Mémoire 16 Go 32 Go 16 Go 32 Go Cœurs Carte Réseau 100 Mbit 1 Gbit 1 Gbit 10 Gbit Cache SATA (ou SSD) / RAID 512 Go 1 To 2 To 10 To (ou 1% si >1 Po) Stockage Disque : économique / non RAID Bande : LTO3 à LTO6 Volumétrie physique des archives (répliquées) N/A Volumétrie physique des archives (répliquées) N/A Prérequis logiciel Red Hat - CentOS 6.1 Ubuntu PostgreSQL 9.1 ou MySQL 5

47 Quelques réflexions Constat Notre proposition

48 Constat Les données (mesures, calculs, imagerie, etc.) ont de la valeur et leur volume augmente rapidement Dans le même temps, les budgets stagnent Des solutions centralisées (cloud) apportant économies d échelle et sécurité sont à l étude mais pas encore opérationnelles Il est urgent de rationnaliser le stockage de ces données, notamment les données peu accédées qui doivent néanmoins être conservées Ces données représentent en règle générale 80% du volume total Il est déraisonnable de les conserver sur du stockage primaire La supervision de ces données ne doit pas consommer de temps Le coût total de possession sur 3 ou 5 ans devrait être de 5 à 10 fois inférieur à celui du stockage primaire

49 Notre proposition Mettre en place une politique d archivage efficace et économique Utilisation d un produit spécialement adapté à l organisation et à la conservation de volumes en forte croissance Déploiement simple et rapide Mise en œuvre de medias économiques : disques capacitifs, bandes Possibilité de recycler et revaloriser des matériels existants Mettre en œuvre l indexation des données stockées, avec indexation plein texte pour les documents Utiliser les fonctions de coffre-fort électronique pour protéger les travaux de recherche (preuves d antériorité)

50 Merci de votre attention