Présentation de l OAI-PMH : historique, objectifs, règles de fonctionnement

Transcription

1 Présentation de l OAI-PMH : historique, objectifs, règles de fonctionnement Journée de formation pour les Pôles associés : Le protocole OAI-PMH Guillaume Godet Bibliothèque nationale de France Direction des services et des réseaux Département de la Coopération / service Pôles associés / Gallica

2 Plan Rappel historique Structure du protocole Mise en œuvre à la BnF

3 Rappel historique Oct : rencontre à Santa Fé autour du web et du développement des systèmes de publication électronique les bibliothèques et les musées cherchent à rendre visibles leurs collections les archives ouvertes de publications scientifiques ont du succès mais sont indépendantes les unes des autres Objectif : mettre en place un cadre général pour la fédération de contenus sur le web «la convention de Santa Fé»

4 Rappel historique Deux alternatives : interroger simultanément des bases hétérogènes et réparties (Z39.50) collecter massivement les métadonnées dans un ou plusieurs services centraux Août/sept. 2000, l OAI s organise : création d un comité scientifique et d un comité technique se donne pour mission «de faciliter les échanges, l interopérabilité et l'extensibilité des archives contenant tout type de contenu numérique»

5 Le protocole L OAI met au point un protocole de collecte des métadonnées Open Archive Initiative Protocol for Metadata Harvesting (OAI- PMH) actuellement dans sa version 2 (juin 2002) considérée comme la version définitive spécifications : Protocole basé sur HTTP et XML (standards du Web) Objectif découvrir, présenter et analyser le contenu d une archive échanges de données asynchrones

6 Le protocole OAI-PMH Un protocole simple et ouvert qui favorise l interopérabilité et le signalement complémentaire des ressources culturelles sans duplication ni déchargement des documents numériques primaires accroît la visibilité sur le web de l offre documentaire en abattant certaines barrières du web invisible en rendant possible le signalement de ressources non accessibles aux moteurs de recherche permet une gestion simple et automatisable des mises à jour par le fournisseur de service mécanisme asynchrone prévoit l actualisation des liens, en répercutant les dernières modifications des réservoirs sources, sans copier à nouveau l intégralité des données (la charge n en étant que plus légère pour les serveurs) s appuie sur un format de description générique (Dublin Core simple) pour les besoins transdisciplinaires Dublin Core simple : format obligatoire sans interdire des formats adaptés à des besoins plus spécialisés

7 Le protocole : modèle de données Ressource (resource) un objet physique ou numérique pour lequel il existe une description documentaire Item (item) un objet documentaire qui décrit et identifie de manière unique une ressource toutes les métadonnées dont on dispose, stockées dans un entrepôt (repository) et décrites selon des schémas XML Enregistrement (record) Un groupe de métadonnées : une description dans un format spécifique Il a 3 parties : l en-tête (header), la section des métadonnées (metadata), une section facultative comportant des déclarations (de droit, de provenance) header (obligatoire) identifier (obligatoire, non répétable) datestamp (obligatoire, non répétable) setspec (facultatif, répétable) attribut de statut pour les items supprimés metadata (obligatoire) métadonnées encodées en XML avec leur élément racine et leur espace de nom les entrepôts doivent fournir leurs métadonnées en Dublin Core simple ; ils peuvent proposer en plus d autres formats about (facultatif) déclarations de droits déclarations de provenance

8 Le protocole : modèle de données Ensemble (set) un regroupement d items suivant des critères thématiques ou autres Permet une structuration logique de l entrepôt Peut être hiérarchisé Un item peu appartenir à plusieurs ensembles Facultatif La structuration en ensembles ne couvre pas forcément tout le contenu de la base Permet l échange sélectif de métadonnées Applications : portails thématiques, moteur de recherche sur des travaux universitaires, etc. Exemples Par types de publication (thèses, articles,?) Par types de document (textes, documents sonores, images,?) Par thèmes, selon CDD (médecine, biologie,?)

9 Exemple de notice OAI

10 Exemple de notice OAI

11 Les requêtes OAI-PMH Communication de client à serveur Le client envoie des requêtes en HTTP Il existe 6 requêtes et des paramètres (Identify ; ListIdentifiers ; ListMetadataFormats ; ListSets ; ListRecords ; GetRecord) Les requêtes précédées de «?verb=» Les requêtes commencent par une majuscule Les paramètres sont introduits par «&» Les paramètres commencent par une minuscule Le nom du set est celui spécifié dans <setspec> et non celui de <setname> Le serveur répond par un flux de données encodées en XML Un moissonneur n est pas obligé d utiliser tous les types de requêtes. Tous les entrepôts OAI doivent pouvoir répondre à toutes les requêtes A la volée / Base de données dédiée Spécification possible d entrepôt «statique» répondant aux requêtes, mais structuré sur document non dynamique Il y a des paramètres obligatoires et optionnels pour chaque requête

12 Les requêtes OAI-PMH Identify Pas de paramètre ListIdentifiers metadataprefix (obligatoire) from (optionnel) until (optionnel) set (optionnel) resumptiontoken (exclusif des autres) ListMetadataFormats identifier (optionnel) ListSets resumptiontoken (paramètre unique) ListRecords metadataprefix (obligatoire) from (optionnel) until (optionnel) set (optionnel) resumptiontoken (exclusif des autres) GetRecord identifier (obligatoire) metadataprefix (obligatoire)

13 Les requêtes OAI-PMH Communication de client à serveur Le client envoie des requêtes en HTTP Le serveur répond par un flux de données encodées en XML Utilisateur du service Fournisseur de services (Service provider) Moissonneur indexant des métadonnées et construisant des services de consultation Requête fondée sur le protocole HTTP Réponse en XML Fournisseur de données (Data provider) Entrepôt OAI contenant des métadonnées

14 Les requêtes et les réponses Moissonneur Fournisseur de services (Service provider) Qui êtes-vous? Quelles sont vos spécialités documentaires? Je suis l entrepôt des documents numérisés de la BnF, à vocation encyclopédique. Si vous avez un problème, contactez N. Comment sont organisés vos documents? J ai 192 collections : des images, des livres imprimés, des périodiques, des cartes, des manuscrits Entrepôt OAI Fournisseur de données (Data provider) Et comment vos documents sont-ils décrits? Il y a deux formats : oai_dc et didl Donnez-moi toutes les descriptions des cartes géographiques, dans le format oai_dc Voici les 100 premiers, il y en a 3000, pour avoir la suite, utilisez le code ID1 Donnez-moi la suite. Voici les enregistrements 101 à 200, il y en a 3000, pour avoir la suite, utilisez le code ID2

15 Les requêtes et les réponses Moissonneur Fournisseur de services (Service provider) Qui êtes-vous? Quelles sont vos spécialités documentaires??verb=identify Je suis l entrepôt des documents numérisés de la BnF, à vocation encyclopédique. Si vous avez un problème, contactez N. Comment sont organisés vos documents??verb=listsets J ai 192 collections : des images, des livres imprimés, des périodiques, des cartes, des manuscrits Entrepôt OAI Fournisseur de données (Data provider) Et comment vos documents sont-ils décrits??verb=listmetadataformats Il y a deux formats : oai_dc et didl Donnez-moi toutes les descriptions des cartes géographiques, dans le format oai_dc?verb=listrecords&metadataprefix=oai_dc&set=cartes Voici les 100 premiers, il y en a 3000, pour avoir la suite, utilisez le code ID1 Donnez-moi la suite.?verb=listrecords&resumptiontoken=id1 Voici les enregistrements 101 à 200, il y en a 3000, pour avoir la suite, utilisez le code ID2

16 Les requêtes et les réponses Moissonneur Fournisseur de services (Service provider) Combien avez-vous de nouvelles cartes, ajoutées dans l entrepôt depuis le mois dernier? Il y en a 45, dont voici les identifiants Entrepôt OAI Fournisseur de données (Data provider) Je veux ajouter à mon catalogue le document N Le voici!

17 Les requêtes et les réponses Moissonneur Fournisseur de services (Service provider) Combien avez-vous de nouvelles cartes, ajoutées dans l entrepôt depuis le mois dernier??verb=listidentifiers&metadataprefix=didl&set=cartes Entrepôt OAI &from= Il y en a 45, dont voici les identifiants Fournisseur de données (Data provider) Je veux ajouter à mon catalogue le document N?verb=GetRecord&metadataPrefix=didl&identifier=i Le voici! dentifiant:bnf:123456

18 OAI-PMH : les acteurs Fournisseurs de données (DP) Archives sources Agrégateurs Fournisseurs de services (SP)

19 Le protocole : deux acteurs Les DP mettent en place une application informatique compatible OAI-PMH identifiants Métadonnées en DC Métadonnées autres formats Organisation de la collection (sets) Gestion des droits, contrôle d accès une base de données accessible via un serveur web Data Provider? ListRecords ListSets ListMetadataFormatsc GetRecord Identify <record><dc:title>titr e du livre</<dc:title><dc:cr eator>paul Pierre</dc:creator> une application capable de répondre aux 6 requêtes OAI- PMH (verbs) et de renvoyer des documents XML valides

20 Les service providers (SP)... Le protocole : deux acteurs Localisent les DP enregistrés Collectent les métadonnées des DP avec un harvester (moissonneuse ) de manière automatique et incrémentale Traitent les métadonnées en ajoutant des informations de <provenance> Service Provider Et ajoutent de la valeur sous la forme de services recherche bibliographique rapprochement, comptage de citations et de références personnalisation, alerte

21 Protocoles d échange de données Base A Base B Entrepôt A Entrepôt B xml xml OAI-PMH http http Programme moissonneur Index Requête utilisateur Résultats

22 Fournisseurs de données (en anglais data providers, «DP») Les métadonnées sont exposées au minimum en Dublin Core non qualifié (15 éléments) mais d autres formats sont possibles MARCXML, EAD, MODS, METS, pas de contrainte sur : le stockage physique des données, leur forme, l éventuelle mise en place d un contrôle d accès, leur coût Ils mettent en place une application informatique compatible OAI-PMH une base de données accessible via un serveur web une application capable de répondre aux 6 requêtes OAI-PMH (verbs) et de renvoyer des documents XML valides

23 Les fournisseurs de données Ce dont ont besoin les fournisseurs de données : Des métadonnées sur des ressources. Elles doivent être stockées dans une base de données (par ex. SQL). Un serveur web accessible via Internet, comme Apache ou II2 Une interface de programmation (API) par ex. Perl, PHP, Java-Servlet une extension web server L accès à la base de données ou au système de fichiers (pas besoin de gestion de session) L identifiant de l archive / URL de base Un identifiant unique pour chaque item Un format de métadonnées (ou plusieurs; au moins : Dublin Core non qualifié) des «datestamps» pour les métadonnées (création / dernière modification) Une organisation logique en sets (facultatif) Un contrôle du flux par l implémentation du «resumption token» (facultatif, mais très recommandé pour les «gros» entrepôts )

24 En 2006

25 En 2009 Nombre d entrepôts : au moins 2200 entrepôts Nombre d enregistrements moissonnables : plus de 20,2 millions d enregistrements France : plus de 1 million d enregistrements ALADIN (Accès Libre aux Archives du Dépôt Institutionnel Numérique), Maison des Sciences de l'homme-alpes (373 records) Animal Physiology and Livestock Systems Archive, Institut National de la Recherche Agronomique (INRA) (340 records) Archimer, Institutional Archive of Ifremer (French Research Institute for Exploitation of the Sea) (4466 records) Archive EduTice (1643 records) L'Archive Lyon 2, L'Université Lumière Lyon 2 (281 records) Archive Ouverte en Sciences de l'information et de la Communication (1000 records) ArtXiker@HAL (268 records) Les Bibliothèques Virtuelles Humanistes (BVH) (287 records) Centre de Recherche en Histoire des Sciences et des Techniques (2702 records) Centre de Ressources pour la Description de l'oral (CRDO) (2311 records) CITHER (Consultation en texte Intégral des THèses en Réseau) (769 records) Conservatoire Numérique des Arts et Métiers (CNAM) (197 records) Correspondances Scientifiques (2659 records) CyberTheses, l'université Lumière Lyon 2 (1175 records) DSpace INRA (l'institut National de la Recherche Agronomique) Avignon (118 records)

26 En 2009 France (suite) Gallica: La Bibliothèque Numérique de la Bibliothèque Nationale de France (BnF) ( records) HAL (Hyper Article on Line) ( records) HAL-IN2P3: Institut National de Physique Nucleaire et de Physique des Particules (3831 records) Horizon/Pleins Textes: Fonds Documentaire de l'ird (33712 records) I-Revues (17331 records) (1834 records) L'Institut Jean Nicod, Articles en Ligne (638 records) LARA (Libre Accés aux Rapports Scientifiques et Techniques) (935 records) Médiathèques de l'agglomération Troyenne (11686 records) Collection de Rééditions de Textes Anciens (5553 records) mémsic: Mémoires en Sciences de l'information et de la Communication (144 records) Multidisciplinary Theses Server / Serveur de Thèses Multidisciplinaire (12681 records) OATAO: Open Archive Toulouse Archive Ouverte (1607 records) Persée: Périodiques Scientifiques en Édition Électronique ( records) Presses Universitaires de Lyon, Service Général des Publications (23 records)

27 En 2009 France (suite) Savoirs Partagés (52 records) SCD ULP: Documents Numérisés (819 records) THELEME: Techniques pour l'historien en Ligne: Études, Manuels, Exercices (306 records) Thèses de l'université Toulouse III Paul Sabatier (286 records) Les Thèses en Ligne de l'inpt (l'institut National Polytechnique de Toulouse) (477 records) Université de Reims Champagne-Ardenne (URCA) Publications (281 records) Université Louis Pasteur (ULP) EPrints Repository (791 records) Université Paris X (UPX) Nanterre Eprints (17 records) VizieR (16739 records)

28 Fournisseurs de services : Service providers (SP) localisent les fournisseurs de données => rôle des annuaires d entrepôts OAI collectent les métadonnées des fournisseurs de données avec un harvester de manière automatique et incrémentale traitent les métadonnées en dédoublonnant les enregistrements et en les normalisant en ajoutant, au besoin, des informations de provenance ajoutent de la valeur sous la forme de services recherche bibliographique rapprochement, comptage de citations et de références personnalisation, alerte

29 Exemples de fournisseurs de services WorldCat (par intégration de OAIster) BASE (Bielefeld Academic Search Engine) : Bielefeld University Library Sheet Music Consortium (UCLA) Isidore (moteur SHS) The European Library Entrepôts utilisant ORI-OAI, catalogues de bibliothèque PMB, Gallica

30 Les entrepôts de la BnF OAI-NUM: collections numériques URL de base : Actuellement (Gallica) Organisation en 126 sets serveur OAI Collections numériques OAI-CAT: tous les documents conservés à la BnF URL de base: plus de 10,8 millions de notices bibliographiques serveur OAI Catalogues

31 Gallica, la BnF et l OAI-PMH Portails extérieurs Portails extérieurs Europeana TEL Index Gallica OAI CAT OAI GAL OAI NUM OAI AGR Catalogue général BAM OAI partenaires

32 OAI à la BnF La création des métadonnées récupération des notices du catalogue extraction des notices du catalogue général de la BnF et de BnF archives et manuscrits tri des notices pour le respect des droits (documents pour lesquels la BnF a tous les droits d usage uniquement) Utilisation d un format pivot basé sur XML interxmarc transformation en Dublin Core Automatisée (XSL) avec des tables de conversion (mapping)

33 Traitement des métadonnées Bases de données Export XML des notices Notices OAI Feuilles de style XSL-T Mappings

34 Métadonnées pour l OAI mapping Intermarc -> DC pour les monographies avant d aborder les documents plus complexes (MPV, périodiques) en tenant compte de ce que font d autres bibliothèques (LC) concertation avec les partenaires pour harmoniser le contenu des notices en DC

35 Exemple de mapping Etc...

36 Quel format de métadonnées? La notice d un document dans Gallica n est pas la même que la notice du même document dans le Catalogue général ou dans BAM Notice en Intermarc Notice en Dublin Core 36

37 Quel format de métadonnées? Notice en Dublin Core Notice en EAD 37

38 Métadonnées pour l OAI Organisation de la collection dans l entrepôt pour faciliter le moissonnage sélectif Création d ensembles (sets) pour trier les notices par type de documents monographies, manuscrits, cartes et plans par corpus (dossiers, fonds) Voyage en France, Voyages en Italie... Collection Jean-Baptiste Bourguignon d Anville, dessins de Boullée, dessins de Lequeu, Atget par classes de la Dewey pour permettre une sélection par thèmes : 510 = mathématiques, 190 = philosophie occidentale moderne Possibilité d organiser la collection de manière hiérarchique

39 Un SP collectant les notices Gallica

40 Référencement des notices OAI dans un moteur de recherche

41 Conclusion : l OAI, pour quoi faire? Un protocole simple et ouvert : utilise des technologies ouvertes qui sont des standards reconnus sur le Web protocole HTTP langage XML offre une grande liberté d application indépendant des logiciels et des plateformes développement simple et rapide ou approfondi et complexe et une grande simplicité de mise en œuvre pas de modification des structures existantes, ce n est qu une «couche» rajoutée au dessus de l architecture de l archive

42 Conclusion : l OAI, pour quoi faire? Un protocole largement répandu... les archives ouvertes sont de plus en plus nombreuses institutions patrimoniales et culturelles en s appuyant sur des acteurs fédérateurs et internationaux comme RLG, DLF, OCLC dans le domaine de la recherche d information sur le Web utilisé par les moteurs de recherche et par les portails documentaires dans les systèmes de publication et de gestion de contenu

43 Conclusion : l OAI, pour quoi faire? Un protocole qui répond aux questions que se posent aujourd hui les institutions... comment diffuser largement et de manière ouverte, tout en gardant le contrôle sur mes données? Si je travaille en partenariat et en complémentarité avec d autres acteurs, comment maintenir mon image et mes flux d utilisateurs? Comment donner accès de manière simple (et transparente pour mes utilisateurs) à un nombre croissant de ressources, néanmoins choisies et validées? Comment gérer l évolution rapide de mes ressources, et de celles de mes partenaires, sans bouleverser sans cesse mon architecture et mes données?

44 Conclusion : l OAI, pour quoi faire? Simple et ouvert + largement répandu + répondant aux besoins = plus de visibilité pour les ressources sur le Web plus de transparence et de cohérence dans l accès aux ressources plus de simplicité à la fois dans le contenu et dans la technique donc plus d échanges possibles plus d échanges de métadonnées donc plus de consultation et d utilisation des ressources plus d échanges avec plus de types d acteurs différents donc de nouveaux publics

45 Comparaison des protocoles Z39.50 Interrogation synchrone Parfaitement adapté à l information des catalogues de bibliothèques Très répandu et intégré dans la plupart des SIGB Mais : Technologiquement dépassé Faible interopérabilité entre les différents métiers, y compris au sein du domaine patrimonial et culturel Très lourd à mettre en place et à maintenir Interrogation multiple ; l interrogation synchrone impose la stabilité et la disponibilité permanente des serveurs dédiés SRU Interrogation synchrone Adapté à l information des catalogues de bibliothèques Fondé sur les protocoles et les normes standard du web Peut être adapté pour répondre aux requêtes de l OAI-PMH Mais : Encore assez peu répandu Intégré dans PMB et RefBase comme connecteur Une dizaine de serveurs connus recensés sur le site de la Bibl. du Congrès Lourd à mettre en place et à maintenir Interrogation multiple ; l interrogation synchrone impose la stabilité et la disponibilité permanente des serveurs dédiés

46 Comparaison des protocoles OAI-PMH La requête de l utilisateur final porte sur l index du fournisseur de service, et non sur la base du fournisseur de données => meilleures performances Modèle asynchrone (pas d interrogation en temps réel de la base source), problèmes de mises à jour Fondé sur les normes, protocoles et standards du web Très répandu Facile à mettre en œuvre Favorise l interopérabilité entre les différents métiers Format de base + formats métier Repose sur la présence d un tiers-acteur : le fournisseur de service

47 Des questions à se poser Avant de mettre en œuvre l OAI-PMH, il faut prendre en compte un certain nombre de choix organisationnels Du côté du fournisseur de données : Quels types de données je souhaite diffuser et sur quels types de ressources A quels fournisseurs de service je désire fournir des données Du côté du fournisseur de service : Quel(s) service(s) fournir, et à qui? Je collecte les métadonnées de quel(s) fournisseur(s) de données? Quels sont les traitements éventuels que je dois faire sur les métadonnées collectées pour fournir le service que je souhaite? Entre le fournisseur de données et le fournisseur de service : Sur quels aspects doit-on se mettre d accord : Périodicité de mise à jour des données? Choix des formats de métadonnées? Sets? Vocabulaires contrôlés? Indexation matière? Usage acceptable (acceptable use)

48

49

50 Des questions? Guillaume Godet - guillaume.godet@bnf.fr Chef de projet «services numériques aux bibliothèques et éditeurs» Département de la Coopération Service Pôles associés-gallica