L archivage pérenne du document numérique au CINES Marion MASSOL (CINES) Formation STAR 25 septembre 2012

Transcription

1 L archivage pérenne du document numérique au CINES Marion MASSOL (CINES) Formation STAR 25 septembre 2012

2 Sommaire La mission d archivage du CINES Le contexte, la problématique et les constats Les défis, orientations et choix pour l archivage au CINES Les types de documents à archiver Le cycle de vie des documents La structure du document à archiver Les acteurs L architecture logique de la plateforme Les échanges Les principes de fonctionnement Les étapes des différents échanges L état des lieux 2

3 Le CINES Centre Informatique National de l Enseignement Supérieur Basé à Montpellier (Hérault, France) EPA créé en 1999, succédant au CNUSC (Centre National Universitaire Sud de Calcul) créé en 1980 Placé sous la tutelle de la DGRI (Direction Générale de la Recherche et de l Innovation) et de la DGESIP (Direction Générale pour l Enseignement Supérieur et l Insertion Professionnelle) du Ministère de l Enseignement Supérieur et de la Recherche Missions : Calcul numérique intensif (14ème machine mondiale) Archivage pérenne de documents électroniques Activité transversale : hébergement d'environnements informatiques Plus d information : 3

4 La mission d archivage du CINES Depuis 2004, le CINES a une mission nationale d archivage du patrimoine scientifique. Arrêté du 7 août 2006 relatif aux modalités de dépôt, de signalement, de reproduction, de diffusion et de conservation des thèses ou des travaux présentés en soutenance en vue d un doctorat Convention du 2 mai 2007 (faisant suite à celle du 15 octobre 2003) relative à la mise en ligne et l archivage pérenne de données numérisées dans le cadre du programme Persée Lettre de cadrage du 12 février 2008 recentrant les activités du CINES autour de deux missions stratégiques : le calcul intensif et l archivage pérenne Pour la remplir, le CINES a mis en place le projet PAC, qui a doté le CINES d une plate-forme et d un service d archivage numérique pérenne L équipe : 1 chef de projet, 8 ingénieurs, 1 archiviste, 2 techniciens (11 ETP) 4

5 Le service d archivage pérenne du CINES Objectifs : la mise en place d une solution Performante pour la conservation à moyen et long terme du patrimoine numérique des établissements Mise en place d une réplication croisée des données avec la BnF. Economique et sécurisée Obtention d un agrément SIAF pour la conservation d archives publiques intermédiaires Mise en place d une démarche de certification du service en 2013/2014 (ISO 16363) Contraintes Besoin d une solution générique, basée sur les normes du domaine ; Adoption de standards facilite la démarche qualité pour la conservation ; Facilité de veille technologique et de migration. Les données concernées sont : Les données scientifiques résultats d observations ou de calcul Les données patrimoniales pédagogiques, publications, etc. Les données administratives archives intermédiaires Dans le respect du contexte législatif archivistique français 5

6 Le contexte, la problématique et les constats L archivage pérenne des documents électroniques consiste à conserver le document et l information qu il contient : Dans son aspect physique comme dans son aspect intellectuel, Sur le très long terme soit 30 ans et au-delà, De manière à pouvoir le rendre accessible et compréhensible. Or, la plupart des fichiers informatiques de plus de 10 ans sont aujourd hui illisibles : Connaissance perdue du contenu des fichiers, Format de fichier inconnu, Support physique détérioré, Logiciel ou matériel de lecture disparu 6

7 Les défis, orientations et choix pour l archivage au CINES Besoin d une solution générique, basée sur les standards émergents en matière d archivage, d où l adhésion : au modèle OAIS, aux normes ISO, etc. Contrainte Connaissance du contenu Format de fichier inconnu Support physique détérioré Logiciel ou matériel de lecture disparu Solutions Utilisation de métadonnées Identification unique et pérenne des documents archivés Privilégier les formats durables Identification, validation des formats Migration logique Gestion du vieillissement des médias Migration physique Veille technologique et anticipation 7

8 Les défis, orientations et choix pour l archivage au CINES Voici un document que j ai créé en 1998 De quoi s agit-il déjà? Est-ce bien ce qui est indiqué sur la disquette? La disquette estelle toujours en bon état? Ça marche! Mais j ai perdu toute ma mise en forme J ai trouvé le logiciel, mais puisje l installer et l utiliser sous Windows XP? Mon portable, acheté en 2006, n a pas de lecteur de disquette J ai créé ce document avec Claris Works. Comment retrouver ce logiciel? Quel est le format du document? 8

9 Les normes et standards utilisés OAIS - ISO : Reference model for an Open Archival Information System Modèle purement conceptuel, ne fait aucune recommandation technique P2A Politique et pratiques d archivage (sphère publique) Recommandations en termes d architecture, moyens, sécurité, etc. Standard d échanges de données pour l archivage électronique, versement, communication, élimination DAF, DGME, version 0.2, janvier Normes internationales de description archivistique ISAD-G international standard for archival description, general ISAAR-CPF international standard archival authority record, corporate bodies, persons & families Métadonnées descriptives de l archive DCMI Dublin Core Metadata Initiative Identifiant unique et pérenne Interne, séquentiel, basé sur le principe URI Couplé à un identifiant persistant externe de type ARK Empreintes numériques Hashing MD5, SHA-256 9

10 Le cycle de vie des documents Archives courantes TEMPS Archives intermédiaires Archives définitives ou destruction Création Gestion Diffusion Conservation Cadre d application des outils de diffusion du CINES Cadre d application de la plateforme d archivage du CINES 10

11 Les types de documents à archiver de façon pérenne Présentant une valeur patrimoniale scientifique ou technique De préférence des objets dits «primaires» Documents originaux, Bruts de scan, etc. Dans un format identifié et vérifiable : Format publié Format largement utilisé (ou promis à l être) Format normalisé si possible Type Texte Image Audio Vidéo Format HTML, PDF, TXT, XML, ODT GIF, JPEG, TIFF, PNG, SVG WAV, AIFF, AAC, VORBIS MJPEG2000, MPEG4, THEORA Le système PAC est interfacé avec les outils Jhove, ImageMagick, DROID, ODF Validator, MPlayer pour Identifier, Valider, Caractériser le format des fichiers transférés 11

12 Un outil en ligne pour valider les formats de fichier FACILE validation du Format d Archivage du CInes par analyse et Expertise Outil en ligne permettant de valider les fichiers par rapport aux spécifications de leur format Les contrôles effectués sont les mêmes que ceux effectués lors d un dépôt de document Intègre les mêmes outils (Jhove, Imagemagick, DROID, Mplayer) que la plateforme d archivage PAC Permet une validation des fichiers avant dépôt de la part du producteur 12

13 Document à archiver composé de deux pièces : La structure du document à archiver 1. La description de l archive Fichier sip.xml (schéma 3 sections décrivant : Le document dans son projet d archives Le document proprement dit Les fichiers du document 2. Le dossier contenant les documents électroniques à archiver Répertoire «DEPOT» Sous-arborescence autorisée Tout fichier présent doit être décrit dans le fichier sip.xml 13

14 Les acteurs Le producteur Personne physique ou morale, publique ou privée, qui a produit, reçu et conservé des archives dans l exercice de son activité. Le service versant Organisation qui transfère une archive à un service d archives Le service de contrôle Personne physique ou morale qui effectue le contrôle scientifique, juridique et technique des documents archivés, et éventuellement valide les demandes de communication d archives Le service d archives Organisation recevant le document à archiver transféré et chargée de la conserver pour permettre à une communauté d utilisateurs/un service demandeur d y accéder et de l utiliser L utilisateur Toute personne ou système client en relation avec le service d archives pour trouver les informations archivées présentant un intérêt, et pour accéder au détail de ces informations, dans le respect de la législation applicable en matière de communication des archives. 14

15 Le modèle fonctionnel OAIS 15

16 L architecture logique de la plateforme PAC Service de Contrôle PAC : Plateforme d archivage du CINES Producteur Service Versant Serveur de Transfert Serveur de Stockage Serveur d Accès Utilisateur Administrateur 16

17 Les échanges Transfert d archives Transmission physique d une archive ou d un ensemble d archives par un service versant à un service d archives Modification d archives Modification des métadonnées et/ou du document pour en assurer la préservation Elimination d archives Elimination des métadonnées et/ou du document à la demande du services d archives, du service versant ou du service de contrôle Restitution d archives Transmission de documents par le service d archives au service versant ou au producteur afin de leur en restituer la garde Communication d archives Transmission de copie de document à un utilisateur ayant l autorisation du service versant et /ou du service de contrôle 17

18 Les principes de fonctionnement Serveurs Fonctions Transfert réception des SIP détection d un nouveau transfert envoi d un accusé de réception contrôle des SIP création des AIP structure informatique conformité des métadonnées sip.xml par rapport au schéma sip.xsd correspondance entre la description sip.xml et les fichiers qui composent le document contrôle et validation du format des fichiers calcul de l empreinte numérique de chaque fichier création de l identifiant du document archivé mise à jour des métadonnées : sip.xml > aip.xml transfert de l AIP au serveur de stockage Stockage archivage des AIP copie multiple de l AIP sur les différents médias ou supports envoi du certificat d archivage Accès vérification périodique de l intégrité des AIP archivés migration technologique fourniture d états et de statistiques contrôle de l authentification de l utilisateur consultation du catalogue des AIP archivés communication d une copie d un document archivé 18

19 Les étapes du versement d archives PAC Versement de document(s) Service Versant Document(s) Accusé de Réception Notification de Rejet Certificat d archivage NON Serveur de Versement Soumission Contrôle de validité technique Valide? OUI Serveur de Stockage Archivage 19

20 Les supports de stockage pour l archivage pérenne au CINES La stratégie de stockage sur la plateforme d archivage de documents électroniques : Double copie disque au moment de l archivage Deux baies de stockage en ligne Sauvegarde quotidienne sur cartouche d un des deux espaces de stockage en ligne Deux exemplaires cartouche dont un externe Pas de péremption / suppression des documents, durée de conservation illimitée Projet de réplication vers un site distant à l étude Etude de faisabilité avec la BnF terminée Tests techniques en cours 20

21 La stratégie de préservation des documents La stratégie de préservation des documents archivés repose sur la migration (pas d émulation) Migration physique Changement du support de stockage Effectué en tâche de fond par l application d archivage, pas d arrêt de service Migration logique Conversion de formats Expertise et veille technologique pour la détection de l obsolescence d un format de fichier pris en charge sur la plateforme Identification d un format offrant de meilleures garanties de pérennité Migration après accord des services versants concernés Pas de modification pour le service versant de l identifiant unique attribué lors de l archivage Conservation des versions 1 (initiale), n-1 et n d un document migré 21

22 L état des lieux (Septembre 2012) PAC - Plateforme d Archivage au CINES capable de gérer de larges volumes (40To) PAC v To archivés Basée sur les standards du domaine Modèle OAIS, protocole standard d échange de données pour l archivage, métadonnées Dublin Core Liste des formats de fichier acceptés volontairement limitée Formats publiés, largement utilisés, normalisés si possible Architecture basée sur du matériel SUN, le logiciel Arcsys et des logiciels libres Java, MySQL, Jhove, ImageMagick, DROID, ODF Validator Début de l exploitation en production Mai 2008 Après migration des documents archivés sur PAC v1.0 Volumétrie archivée : 5 To en septembre 2010, 25 To en septembre 2012 Tous les projets d archives partagent la même plateforme Mutualisation de l infrastructure matérielle d archivage Protocole de versement générique Diminution des coûts de mise en place et d exploitation 22

23 Les utilisateurs de PAC 11/07/

24 Les perspectives Le CINES est maintenant un acteur reconnu du domaine de la préservation à long terme des documents numériques. Fort de la mission nationale que lui a confiée le MESR (centre officiel d archivage des thèses électroniques) Il est appelé à jouer un rôle clé dans la réussite au niveau national d une stratégie pour l archivage pérenne des documents électroniques produits par la communauté Université-Recherche (Bibliothèque Scientifique Numérique). Objectifs : La poursuite et le développement de tous ces projets, La consolidation et la professionnalisation du service Obtention de l agrément SIAF pour la conservation d archives publiques intermédiaires (10/2010) Obtention de l accréditation DSA Data Seal of Approval (03/2011) Démarche de certification du service d archives en 2012 ou 2013 ISO

25 Questions & Réponses Plus d information à l adresse : marion.massol@cines.fr 25

26 Annexes

27 Les coopérations et groupes de travail Au niveau national : Groupe de travail PIN (pérennisation de l information numérique) au sein de l association Aristote Lieu de rencontre et d échanges entre informaticiens, archivistes et bibliothécaires, animé par le CINES, la BnF, le SIAF et le CNES Réunions trimestrielles (environ 30 participants réguliers) Un site web : Une formation spécialisée (1 session par an) Sous-groupe de travail «archivage pérenne» de la BSN (bibliothèque scientifique numérique) au sein du MESR Lieu de rencontre d experts et d acteurs de la conservation de documents numériques Les recommandations du sous-groupe permettront au Comité de pilotage de définir les modalités d organisation et de gouvernance de la BSN et de ses opérateurs, des indicateurs d activité et des critères d évaluation de l activité. 27

28 Les coopérations et groupes de travail Au niveau international : wepreserve ( Synergie de plusieurs projets européens (DPE, CASPAR, PLANETS) Alliance for Permanent Access ( Coordination de la mise en place d une infrastructure européenne pour l archivage pérenne des données scientifiques Groupe de travail pour le test de la certification de systèmes d archivage électronique (ISO 16363) Le consortium IIPC ( ) Acquisition, préservation et accès à l information venant de l Internet pour les générations futures La conférence ipres ( De nouvelles communautés? 28

29 Pour en savoir plus : le groupe de travail PIN PIN (pérennisation de l information numérique) groupe de travail de l association Aristote Lieu de rencontre et d échanges entre informaticiens, archivistes et bibliothécaires Principalement animé par le CINES, le CNES, la BnF et le SIAF Réunions trimestrielles (environ 30 participants réguliers) Un site web : Une formation spécialisée (2 sessions par an) 29