La préservation numérique dans les institutions Françaises du savoir

Transcription

1 La préservation numérique dans les institutions Françaises du savoir Olivier Rouchon (CINES) Journée RERO Mai 2012

2 Objectifs et Plan I. La problématique ; l environnement institutionnel et les missions de conservation numérique du CINES II. III. Les données actuelles et leurs usages Les infrastructures, supports et moyens IV. La méthodologie et les normes mises en œuvre ; les fonctionnalités ; les procédures d assurance qualité et la gestion des risques V. Les modèles économiques et les coûts ; le tiers-archivage : quelle offre, pour quelle demande? VI. Les partenariats VII. Les perspectives ; les enjeux de coopération stratégique 10/05/2012 Journée RERO Lausanne 2

3 I. Le Centre Informatique National de l Enseignement Supérieur Centre Informatique National de l Enseignement Supérieur Basé à Montpellier (Hérault, France) EPA créé en 1999, succédant au CNUSC (Centre National Universitaire Sud de Calcul) créé en 1980 Placé sous la tutelle de la DGRI (Direction Générale de la Recherche et de l Innovation) et de la DGESIP (Direction Générale pour l Enseignement Supérieur et l Insertion Professionnelle) du Ministère de l Enseignement Supérieur et de la Recherche Missions Calcul numérique intensif (30 ème machine mondiale, 6 ème européenne) Archivage pérenne de documents électroniques Activité transverse : hébergement d'environnements informatiques Plus d information : 10/05/2012 Journée RERO Lausanne 3

4 I. La problématique de l archivage numérique pérenne L objectif : conserver le document et l information qu il contient : Dans le fond et la forme ; Sur le très long terme ; En le rendant accessible. Les risques inéluctables : Connaissance perdue du contenu des fichiers ; Format de fichier inconnu ; Support physique détérioré ; Logiciel ou matériel de lecture disparu. 10/05/2012 Journée RERO Lausanne 4

5 I. Les défis de la préservation numérique à long-terme Mise en place de procédures d assurance qualité pour atténuer l impact des risques lorsqu ils se réalisent Contrainte Connaissance du contenu Format de fichier inconnu Support physique détérioré Logiciel ou matériel de lecture disparu Solutions Utilisation de métadonnées Identification unique et pérenne des documents archivés Privilégier les formats durables Identification, validation des formats Migration logique (conversion de formats) Gestion du vieillissement des médias Migration physique (changement de support) Veille technologique et anticipation 10/05/2012 Journée RERO Lausanne 5

6 I. Le contexte légal pour l archivage électronique Français Différentes institutions interviennent au bout de la chaîne fonctionnelle d archivage selon l origine et la nature des documents électroniques Archives départementales (Universités) Archives Nationales (EPA Education Nationale/Enseignement Supérieur) BnF (Dépôt légal : publications, web) INA (Dépôt légal : productions radiophoniques et télévisuelles) CNC (Dépôt légal : production du cinéma et de l image animée) CINES (Thèses) Les projets de numérisation/valorisation de documents papier échappent à ce contexte L original papier sera conservé dans le service d archives compétent Possibilité de choisir l institution archivant la version électronique du document 10/05/2012 Journée RERO Lausanne 6

7 I. Les autres acteurs publics Français de l archivage numérique BnF Bibliothèque Nationale de France Projet SPAR (Système de Préservation et d Archivage Réparti) Objets numériques (imprimés, manuscrits, images) issus des filières Numérisation de conservation et de reproduction dans un premier temps ; Archivage du web et des publications électroniques (intégration progressive d ici 3 ans) ; Documents internes issus du Record Management (intégration progressive d ici 3 ans). SPAR n'a pas vocation à être uniquement un outil interne à la BnF. Dans une volonté de mutualisation des expertises et des coûts, la BnF ouvrira son système à d'autres partenaires et institutions offrant ainsi un service de "tiers-archiveur " du patrimoine numérique CNES Centre National d Etudes Spatiales Projet SIPAD (Système d Information de Préservation et d Accès aux Données) Données scientifiques principalement du CDPP (Centre de Données de la Physique des Plasmas) produites dans le cadre de projets d études spatiales (missions), de satellites et de grands observatoires depuis plus de 30 ans : Données numériques (nombres) produites par des logiciels spécifiques : mesures de champs magnétique/électrique et de particules, mesures continues ; 10/05/2012 Journée RERO Lausanne 7

8 I. La mission d archivage du CINES Depuis 2004, le CINES a une mission nationale d archivage du patrimoine scientifique. Arrêté du 7 août 2006 relatif aux modalités de dépôt, de signalement, de reproduction, de diffusion et de conservation des thèses ou des travaux présentés en soutenance en vue d un doctorat ; Lettre de cadrage du 12 février 2008 recentrant les activités du CINES autour de deux missions stratégiques : le calcul intensif et l archivage pérenne. Pour la remplir, le CINES a mis en place le projet PAC : Une équipe dédiée de 11 personnes dont une archiviste ; Une infrastructure d archivage numérique pérenne en exploitation. Les données concernées sont : Les données scientifiques résultats d observations ou de calcul ; Les données pédagogiques, publications, etc. ; Les données administratives, archives intermédiaires. 10/05/2012 Journée RERO Lausanne 8

9 I. La mission d archivage du CINES les dates clés 2004 Démarrage du projet, constitution de l équipe Etude des normes, participation au groupe de travail PIN 2005 Etude du cabinet Ourouk pour l aide au choix d une solution logicielle Développement interne, aucune solution existante n étant satisfaisante 2006 Documentation des spécifications fonctionnelles pour la solution souhaitée Développement en interne d une première plateforme 2007 Premier tests d intégration avec l outil STAR de l ABES pour le versement de thèses électroniques Déploiement de PAC v1.0 en production et démarrage de l exploitation 2008 Appel d offre pour une plateforme PAC v2.0 notifié à la société SUN Déploiement au deuxième trimestre Premier Téraoctet archivé 10/05/2012 Journée RERO Lausanne 9

10 I. La Bibliothèque scientifique numérique Initiative du Ministère de l Enseignement Supérieur et de la Recherche, dans le cadre de la Stratégie Nationale de Recherche et d Innovation pour Répondre aux besoins des chercheurs et enseignants-chercheurs en portant l offre qui leur est fournie en IST à un niveau d excellence mondiale Améliorer la visibilité de la recherche française Mettre en place un pilotage politique partagé par les grands acteurs de l ESR Décomposition en huit segments parmi lesquels l archivage pérenne, piloté par le CINES (en collaboration avec la BnF) Groupe de travail BSN6 Plusieurs réunions de travail depuis Avril 2011 Propositions d organisation rédigées en Octobre 2011 pour l actualisation de la feuille de route des infrastructures de recherche - TGIR 10/05/2012 Journée RERO Lausanne 10

11 I. La Bibliothèque scientifique numérique Les propositions du groupe BSN6 «archivage pérenne» : Extension de la mission de conservation du CINES à l ensemble de la production numérique susceptible d intégrer la BSN ; Mise en place d un label BSN validant l intérêt scientifique et la qualité technique d un corpus numérique en contrepartie duquel les services d archivage et d accès seraient proposés, semblable au modèle en place pour l attribution d heures de calcul intensif ; Mise en place d un financement direct par l Etat des services proposés dans le cadre du label BSN ; Soutien du MESR et participation de la BSN pour représenter la communauté ESR au sein d un groupement indépendant regroupant les acteurs publics nationaux de l archivage pérenne tel que préconisé dans le rapport Racine, le rapport Quenet. Promouvoir les collaborations entre acteurs lorsque les corpus impliquent plusieurs communautés Exemple de l IRHT (BU/BM). 10/05/2012 Journée RERO Lausanne 11

12 II. Les données et leurs usages 1. Des projets en exploitation Archivage des thèses électroniques, documents nativement électroniques versés par l ABES Archivage des revues SHS du portail Persée, documents issus de la numérisation dans le cadre du programme Persée Archivage des documents déposés dans les archives ouvertes, HAL Hyper Article en Ligne du CCSD Archivage de documents sonores issus de la recherche dans le domaine de l oral, projet pilote CRDO dans le cadre du programme SHS du TGE-Adonis Archivage des ouvrages numérisés en histoire de la médecine de la BU PMC Archivage des ouvrages numérisés en histoire du droit de la bibliothèque CUJAS Archivage des ouvrages numérisés en histoire de la médecine de la BIU-Santé Archivage des ouvrages numérisés de la bibliothèque Ste Geneviève 2. Plusieurs projets en cours de réalisation Archivage intermédiaire de données primaires scientifiques ISAAC (06/2012) Archivage intermédiaire pour l INSERM, le CNRS, la Cour des Comptes 10/05/2012 Journée RERO Lausanne 12

13 II. La nature des données, les services et la volumétrie Type Texte Image Audio Vidéo Format HTML, PDF, TXT, XML, ODT GIF, JPEG, TIFF, PNG, SVG WAV, AIFF, AAC, VORBIS MPEG4, THEORA, MKV Plusieurs classes de service possibles : Préservation maîtrisée (contrôles au versement et migration) Préservation contrôlée (contrôles au versement) Préservation du train de bits (stockage) Copie multiple (4) des documents archivés, soit 80To Projet d externalisation d une copie en cours Prévision du doublement de la volumétrie à échéance 2013 Volumétrie archivée 20To (au 1 er Mars 2012) 10/05/2012 Journée RERO Lausanne 13

14 III. Les infrastructures, supports et moyens La Plateforme d archivage pérenne au CINES PAC v2.0 Capacité actuelle 40 To En exploitation depuis Mai 2008 Logiciel d archivage Arcsys (Infotel) Serveurs applicatifs et baie de stockage SUN Oracle Librairie de bandes IBM (2 x 1Po) Tous les projets d archives à long terme partagent la même plateforme Mutualisation de l infrastructure matérielle d archivage ; Protocole de versement générique ; Diminution des coûts de mise en place et d exploitation. Le service d archivage bénéficie des infrastructure et de l équipe d experts d un Centre Informatique National 4 salles machine (820 m2), 1 salle 500m2 en construction Alimentation électrique (lignes 2,6 MW et 10MW) secourue (groupe électrogène 1,5MW) Réseau RENATER (lien 10Gbits) 10/05/2012 Journée RERO Lausanne 14

15 IV. La méthodologie et les normes mises en œuvre OAIS - ISO : Reference model for an Open Archival Information System P2A Politique et pratiques d archivage (sphère publique) Politique d archivage disponible en ligne c /cines-dad-pa.pdf Standard d échanges de données pour l archivage électronique Implémenté pour la restitution, en cours d implémentation pour le transfert. Normes internationales de description archivistique (ISAD-G, ISAAR-CPF) Métadonnées descriptives de l archive (DCMI Dublin Core Metadata Initiative) Schéma publié : Identifiant unique et pérenne interne, séquentiel, couplé à un identifiant persistant externe ARK Empreintes numériques (algorithmes MD5, SHA-256) 10/05/2012 Journée RERO Lausanne 15

16 IV. L architecture logique de la plateforme PAC Service de Contrôle PAC : Plateforme d archivage du CINES Producteur Service Versant Serveur de Transfert Serveur de Stockage Serveur d Accès Utilisateur Administrateur 10/05/2012 Journée RERO Lausanne 16

17 IV. L architecture fonctionnelle Planification de la pérennisation Gestion de Données SERVICE VERSANT SIP Entrées AIP Stockage AIP Accès DIP UTILISATEUR Administration MANAGEMENT 10/05/2012 Journée RERO Lausanne 17

18 IV. Les étapes du versement d archives PAC Versement de document(s) Service Versant Document(s) Accusé de Réception Notification de Rejet NON Certificat d archivage Serveur de Versement Soumission Contrôle de validité technique Valide? OUI Serveur de Stockage Archivage 10/05/2012 Journée RERO Lausanne 18

19 IV. Les principes de fonctionnement Trois serveurs logiques : transfert, stockage, accès Serveur Fonctions Transfert réception des SIP détection d un nouveau transfert envoi d un accusé de réception contrôle des SIP création des AIP structure informatique conformité des métadonnées sip.xml par rapport au schéma sip.xsd correspondance entre la description sip.xml et les fichiers qui composent le document contrôle et validation du format des fichiers calcul de l empreinte numérique de chaque fichier création de l identifiant du document archivé mise à jour des métadonnées : sip.xml > aip.xml transfert de l AIP au serveur de stockage Stockage archivage des AIP copie multiple de l AIP sur les différents médias ou supports envoi du certificat d archivage Accès vérification périodique de l intégrité des AIP archivés migration technologique fourniture d états et de statistiques contrôle de l authentification de l utilisateur consultation du catalogue des AIP archivés communication d une copie d un document archivé 10/05/2012 Journée RERO Lausanne 19

20 IV. Les procédures d assurance qualité La qualité recouvre deux domaines : 1. La qualité technique Qualité des métadonnées = capacité à garder la connaissance des contenus ; Qualité des formats de fichiers = capacité à convertir à de nouveaux formats ; Qualité du stockage = capacité à conserver le train de bits constituant les fichiers. Tous ces points sont contrôlés au moment du versement et à intervalles réguliers 2. La qualité organisationnelle Documentation des processus métiers = répétabilité, autoévaluation et amélioration des mécanismes de conservation, publication ; Gestion des risques = maintient d un niveau de qualité acceptable en identifiant de façon proactive les évènements pouvant impacter la conservation et les plans d actions à mettre en place ; Démarche de certification = validation des actions entreprises, confiance des utilisateurs et des tutelles. 10/05/2012 Journée RERO Lausanne 20

21 IV. La stratégie de préservation des documents La stratégie de préservation des documents archivés repose sur la migration (pas d émulation) Migration physique Changement du support de stockage Effectué en tâche de fond par l application d archivage, pas d arrêt de service Migration logique Conversion de formats Expertise et veille technologique pour la détection de l obsolescence d un format de fichier pris en charge sur la plateforme Identification d un format offrant de meilleures garanties de pérennité Migration après accord des services versants concernés Pas de modification pour le service versant de l identifiant unique attribué lors de l archivage Conservation des versions 1 (initiale), n-1 et n d un document migré 10/05/2012 Journée RERO Lausanne 21

22 IV. La certification Le CINES a une démarche de certification pour valider, mettre en avant les procédures d assurance qualité mises en œuvre : Plusieurs audits internes/externes depuis 2009 en collaboration avec le cabinet de consultants Ourouk Agrément du SIAF pour la conservation d archives publiques intermédiaires (Arrêté du 14 décembre 2010) Accréditation Data Seal of Approval - attribuée aux centres de préservation numérique ayant mis en place des procédures d assurance qualité afin de garantir l accessibilité et l intelligibilité des informations (15 Mars 2011) Test audit ISO pour la certification de systèmes d archivage électronique dans le cadre du projet européen APARSEN (7 Juin 2011) dont le CINES est partenaire Objectif de certification du service à l horizon /05/2012 Journée RERO Lausanne 22

23 V. Les modèles économiques Les services de conservation du CINES s assimilent à du «tiers archivage» Le CINES n est pas le producteur des données archivées Le service de est facturé selon un modèle à trois niveaux, selon la nature de l établissement déposant : Tarifs internes : pour les établissements publics dépendant du MESR Tarifs partenaires : pour les autres établissements publics de la communauté de l enseignement ou de la recherche Tarifs externes : pour les autres établissements (publics, privés) applications de coûts complets D autres acteurs publics existent pour l archivage patrimonial existent (BnF, INA, CNES, DGFIP, etc.) mais sans concurrence Yalta de la préservation numérique Les acteurs privés sont concentrés sur l archivage intermédiaire ou moyen terme à valeur probante, à destination des entreprises. 10/05/2012 Journée RERO Lausanne 23

24 V. Les coûts Le Département «archivage et diffusion» du CINES 11 personnes dont 1 archiviste Investissement initial pour l acquisition de la plateforme Doublement de la capacité de stockage (40To) Licence d utilisation du logiciel Mutualisation des équipements (réseau, librairie bandes) avec les services de calcul intensif et d hébergement La répartition des coûts de l archivage au CINES par fonction (source : rapport SNB, 2009) pour la 1 ère année Administration (ressources humaines) et Conservation (stockage) 10/05/2012 Journée RERO Lausanne 24

25 VI. Les partenariats Plusieurs partenariats : Avec le TGE-Adonis (et le CC-IN2P3) : mise en place d une infrastructure mutualisée pour l archivage et la diffusion de données en Sciences Humaines et Sociales Avec le Service Interministériel des Archives de France (SIAF) : études sur les formats de fichiers (PDF, multimédia), rédaction de guides méthodologiques, développements d outils de contrôle pour la communauté open source (SIARD) Avec la BnF : étude et mise en place d une réplication croisée des données archivées Dans le cadre de projets européens : EUDAT (infrastructure européenne de conservation/diffusion de données scientifiques) Les coopérations entre les acteurs nationaux de la préservation numérique existent déjà Nécessité de les inscrire dans la durée en leur donnant un cadre formel Passage à l échelon européen / international. 10/05/2012 Journée RERO Lausanne 25

26 VII. Le bilan et les perspectives Le CINES est un acteur reconnu du domaine de la préservation numérique Mission nationale confiée par le MESR (centre officiel d archivage des thèses électroniques) ; Rôle clé dans la réussite au niveau national d une stratégie pour l archivage pérenne des documents électroniques produits par la communauté Université- Recherche ; Nombreuses sollicitations émanant d universités, de bibliothèques ou de laboratoires, pour divers services dans ce domaine. Objectifs : La poursuite et le développement de tous ces projets, avec un focus sur les données administratives et scientifiques ; La consolidation et la professionnalisation du service, des relations de confiance avec les institutions ; La poursuite de la démarche de certification du service d archives ; La participation à des projets européens pour la mise en place d infrastructures de préservation et d accès aux données. 10/05/2012 Journée RERO Lausanne 26

27 VII. Les enjeux de coopération stratégique au niveau national Mise en place d un groupement interministériel, indépendant, missionné, fédérant les acteurs nationaux pour La coordination de l expression et l analyse des besoins des communautés ; Les activités normatives nationale et internationale ; Des activités de veille technologie pour l ensemble du réseau ; La rédaction et la publication de guides de bonnes pratiques ; La capacité à mener ou financer des études ou des projets ; La coordination et la gestion de la mutualisation de certains services ou compétences. Nécessité d une prise en charge par l Etat La mission de préservation du patrimoine numérique incombe à l Etat La répercussion des coûts sur les producteurs est clairement un frein Nécessité de respecter le contexte archivistique légal (dépôt légal, code du patrimoine, etc.) 10/05/2012 Journée RERO Lausanne 27

28 Questions & Réponses 10/05/2012 Journée RERO Lausanne 28

29 Annexes

30 La qualité des métadonnées Les métadonnées permettent de préserver les informations décrivant les objets numériques : Métadonnées / informations de pérennisation (descriptives, source, historique) ; Métadonnées / informations de représentation (techniques, structure). Plusieurs contrôles de la qualité peuvent être effectués : Contrôle du format de la métadonnée par l adoption d un standard Métadonnées génériques pour la description des ressources numériques : ex. Dublin Core (ISO 15836) ; Métadonnées spécifiques à un domaine : ex. commerce électronique ebxml (ISO 15000), données géographiques (ISO 19115) ; Métadonnées techniques : préservation (PREMIS, METS), propriété intellectuelle (indecs, MPEG-21). Contrôle de la valeur des métadonnées par une logique applicative métier Liste de valeurs autorisées, etc. Mise en place d une bibliothèque d informations de représentation 10/05/2012 Journée RERO Lausanne 30

31 La qualité des formats de fichier Pour permettre le contrôle de la qualité d un fichier, celui-ci doit être dans un format identifié et vérifiable : Format publié ; ex. WAVE, SVG ; Format largement utilisé ; ex. XML, MPEG4 ; Format normalisé si possible ; ex. PDF (ISO :2008), PNG (ISO 15948:2004). Pour pouvoir être lisibles dans le temps, et convertibles, les fichiers doivent respecter à la lettre les spécifications de leur format. Les outils libres Jhove, ImageMagick, DROID, ODF Validator permettent une identification, validation et caractérisation des formats. 10/05/2012 Journée RERO Lausanne 31

32 Un outil pour contrôler la qualité des formats de fichier FACILE validation du Format d Archivage du CInes par analyse et Expertise Outil en ligne permettant de valider les fichiers par rapport aux spécifications de leur format ; Les contrôles effectués sont les mêmes que ceux effectués lors d un dépôt de document ; Intègre les mêmes outils (Jhove, Imagemagick, DROID) que la plateforme d archivage du CINES; Permet une validation des fichiers avant dépôt de la part du producteur. 10/05/2012 Journée RERO Lausanne 32

33 La qualité du stockage La qualité du stockage garantit la conservation du train de bits composant les fichiers de données Copies multiples (>2), réplication vers un site distant (BnF, CC-IN2P3) ; Indépendance des supports de copies (mélange disques/bandes, localisation géographique) ; Audit fréquent de l intégrité des copies. Le contrôle de l intégrité des fichiers permet d anticiper la corruption de l information. Au niveau matériel : vérification CRC par les contrôleurs de disques, contrôleurs réseau etc. Au niveau logiciel : vérification des sommes de contrôle (en anglais checksum) Calcul des empreintes numériques par échantillonnage et comparaison avec l empreinte initiale Utilisation d algorithme de hachage (MD5, SHA-256), etc. 10/05/2012 Journée RERO Lausanne 33

34 La formalisation des processus métiers 1.Décomposition des fonctions métier de l archivage en processus, sous-processus, activités 2.Etablissement d une cartographie générale des processus 3.Détail de chaque processus identifié, à rapprocher des groupes fonctionnels OAIS Début INTERVIEWER LES EXPERTS DESSINER LA CARTOGRAPHIE Non Approbation expert? Oui 4. Mise à jour régulière des processus par les experts 5. Publication en ligne Non Approbation hiérarchie? CONSULTER HIERARCHIE POUR AVIS COMPLETER LA BD DES FICHES CARACTERISTIQUES Validation équipe PAC? Oui PUBLICATION CARTOGRAPHIE Oui FIN Transparence Auto-évaluation, amélioration 10/05/2012 Journée RERO Lausanne 34

35 La gestion des risques 1. Définition du contexte Fixer les objectifs de la gestion des risques 1 Identification Liste des Risques Evaluation 2 2. Identification et catégorisation des risques Risques éliminés 5 Itération Plan de gestion des risques TOP 10 Prise de Décision 3 3. Evaluation des risques Analyser la probabilité et l impact de chaque risque dans le temps Maîtrise Le délivrable de ce processus est le plan de gestion des risques actualisé en permanence 4 4. Prise de décision Identifier les risques prioritaires, les moyens de leur traitement et le plan d action 5. Maîtrise des risques Mettre en place les actions nécessaires pour diminuer le niveau de risques 6. Itération 10/05/2012 Journée RERO Lausanne 35

36 Les coopérations et groupes de travail Au niveau national : Groupe de travail PIN (pérennisation de l information numérique) au sein de l association Aristote Lieu de rencontre et d échanges entre informaticiens, archivistes et bibliothécaires, animé par le CINES, la BnF, le SIAF et le CNES Réunions trimestrielles (environ 30 participants réguliers) Un site web : Une formation spécialisée (1 session par an) 10/05/2012 Journée RERO Lausanne 36

37 Les coopérations et groupes de travail Au niveau international : Open Planets Foundation ( Une communauté pour la préservation numérique Organisation de workshops Alliance for Permanent Access ( Coordination de la mise en place d une infrastructure européenne pour l archivage pérenne des données scientifiques Groupe de travail pour le test de la certification de systèmes d archivage électronique (ISO 16363) Les conférences ipres et PASIG De nouvelles communautés? 10/05/2012 Journée RERO Lausanne 37

38 L infrastructure CINES/TGE-Adonis pour l archivage/diffusion Synchronisation Transfert Plateforme d Archivage Synchronisation Infrastructure Mutualisée (Grille de Données) Conversions Formats Système de diffusion / communication 10/05/2012 Journée RERO Lausanne 38