Projet ORI-OAI Outil de Référencement et d Indexation Réseau de portails OAI

Transcription

1 Projet ORI-OAI Outil de Référencement et d Indexation Réseau de portails OAI Université Ibn Zohr Agadir, 12 mai 2008

2 12 mai 2008 ORI-OAI 2 Sommaire Introduction Contour fonctionnel Concepts Mise en oeuvre Évolutions et projets connexes Bilan

3 12 mai 2008 ORI-OAI 3 Projet ORI-OAI Introduction

4 12 mai 2008 ORI-OAI 4 Contexte Les établissements universitaires Croissance de la création numérique institutionnelle (scientifiques, pédagogiques, administratifs, documentaires) Accessibilité aux ressources dans divers contextes Référentiel unique de documents, indexation professionnelle «Système Global d Information» La structuration initiée par les projets nationaux (UNT, UNR, SI d établissement)

5 12 mai 2008 ORI-OAI 5 Contexte Les UNT (Universités Numériques Thématiques) Réflexion UNIT : évolution du portail et choix d une organisation en «réseau de portails OAI-PMH» Convergence sur les besoins de référencement et d indexation avec l UNT UVED Nécessité de mutualiser les outils et les moyens d accompagnement pour favoriser la démarche avec l ensemble des UNT ORI-OAI : projet Open Source inter-unt soutenu par la SD/TICE

6 Conduite du projet ORI-OAI Un groupe projet (établissements: Insa de Lyon, Université de Rennes 1, INPT, Université de Valenciennes) Un pilotage inter-unt Une démarche d ouverture et d échange Site Web et listes de diffusion Groupes de travail (ressources pédagogiques, thèses, archives ouvertes) 12 mai 2008 ORI-OAI 6

7 12 mai 2008 ORI-OAI 7 Les acteurs du projet Établissements UNT Avec le soutien du MENESR

8 12 mai 2008 ORI-OAI 8 Projet ORI-OAI Insertion de ORI-OAI dans l établissement

9 Insertion de ORI-OAI dans l'établissement Pourquoi intégrer ORI-OAI dans un établissement? La réponse est fonction de l'utilisation que l'on a de l'outil : ORI-OAI comme portail de ressources numériques Diffusion et partage des ressources Publication des productions de l'établissement ORI-OAI comme archive institutionnelle Diffusion et partage des ressources Publication des productions de l'établissement Conservation du patrimoine documentaire 12 mai 2008 ORI-OAI 9

10 Insertion de ORI-OAI dans l'établissement Mise en place de ORI-OAI dans l'établissement Deux modes de mise en place qui dépendent du contexte de l'établissement : ORI-OAI doit répondre a un besoin global Une réflexion transversale à mener Découpage du projet en plusieurs sous-projets Prise en compte des spécificités de chaque sous-projet ORI-OAI doit répondre a un besoin précis Action rapide inscrite dans une démarche à plus long terme Peut constituer un test pour un projet de plus grande envergure 12 mai 2008 ORI-OAI 10

11 Insertion de ORI-OAI dans l'établissement Éléments d'une démarche de projet de gestion des documents numériques : Une volonté politique en appui du projet Une communication autour du projet Auprès des utilisateurs tout au long du projet Auprès de la communauté Auprès des instances internes concernées Mise en place d'un groupe de travail transversal impliquant tout les acteurs Bibliothécaires Cellule TICE Informaticiens 12 mai 2008 ORI-OAI 11

12 12 mai 2008 ORI-OAI 12 Insertion de ORI-OAI dans l'établissement Insertion de ORI-OAI dans le Système d'information: Principe de complémentarité avec les applications déjà existantes : Utilisation des référentiels de l'établissement (LDAP...) Système d'authentification / contrôle des accès (CAS, Shibboleth,...) Intégration à l'ent Interopérabilité avec l'ensemble des briques du SI (Moodle, GRAAL, HAL, application de la scolarite,...) Référentiel des documents numériques pour le SI (plateforme pédagogique, moteur documentaire, sites web de communication,...)

13 12 mai 2008 ORI-OAI 13 Projet ORI-OAI Contour fonctionnel

14 ORI-OAI Points clés Gérer et publier les ressources numériques de l établissement Référentiel unique de ressources connecté au SI Production de métadonnées et diffusion des ressources produites par l établissement Valoriser la production de l établissement par une indexation de qualité Indexation avec des normes et standards Utilisation de classifications paramétrables articulés sur des standards comme Dewey 12 mai 2008 ORI-OAI 14

15 ORI-OAI Points clés Partager les ressources numériques avec d autres établissements Exposition des fiches de métadonnées de l établissement Agrégation de fiches de métadonnées Accéder aux ressources numériques à distance en fonction des droits d accès Système de recherche avancée et thématique Définition des droits 12 mai 2008 ORI-OAI 15

16 12 mai 2008 ORI-OAI 16 ORI-OAI Intégration au SI Référentiels partagés Système d identification et d authentification de l établissement Intégration dans l ENT

17 12 mai 2008 ORI-OAI 17 ORI-OAI les fonctions recherche diffusion publication web archivage partage référencement sur les métadonnées, texte intégral en respectant le droit d auteur, les licences et les droits d accès versions de publication, workflows, plusieurs schémas de métadonnées documents natifs toujours disponibles pour les auteurs protocole OAI/PMH, fédération d identités indexation de qualité adaptée aux divers types de documents, classification pivot

18 12 mai 2008 ORI-OAI 18 Ressources d enseignement Types de documents ressources pédagogiques multimédia, QCM, exercices, polycopiés numériques, Travaux d étudiants rapports de stage synthèses bibliographiques Travaux de recherche publications, pré-publications, rapports techniques Thèses, mémoires de Master Ressources documentaires éditoriales revues, livres électroniques

19 Travail fonctionnel Groupes de travail par types de ressources Ressources pédagogiques numériques Thèses Archives ouvertes Documents administratifs? Financement coopératif par les établissements 12 mai 2008 ORI-OAI 19

20 Synthèse Outil de Référencement et d Indexation mettre en réseau des ressources numériques + Protocole OAI/PMH échanger des données +.ORG développé en logiciel libre pour les UNT, UNR, les établissements universitaires, = ORI-OAI.ORG 12 mai 2008 ORI-OAI 20

21 12 mai 2008 ORI-OAI 21 Projet ORI-OAI Concepts

22 12 mai 2008 ORI-OAI 22 Projet ORI-OAI Concept de métadonnées

23 Concept de métadonnées Données liées à une ressource Attributs communs à un ensemble de ressources Titre Auteur Mot-clé Ressource Description Taxon 12 mai 2008 ORI-OAI 23

24 Concept de métadonnées Données liées à un contexte d utilisation Format générique (Dublin Core) Format spécifique Pédagogique : LOM, LOMFR, SupLOMFR Offre de formation : CDM Thèse : TEF Bibliographique : MARC 12 mai 2008 ORI-OAI 24

25 12 mai 2008 ORI-OAI 25 Exemple du Dublin Core Créé en 1995 à Dublin (Ohio, USA) à l'initiative de l'oclc Objectif : décrire les ressources numériques Définit une liste de 15 éléments «de base» permettant de décrire n'importe quelle ressource Possibilité de raffiner certains éléments (Dublin Core qualifié) Existence d'un schéma XML

26 12 mai 2008 ORI-OAI 26 Exemple du Dublin Core Dublin Core simple 15 éléments DC : R esso u rce T i tre Su jet D escri p ti o n D ate L an g u e T y p e C o u v ertu re C o n tributo r C reato r Pu b l i sh er F o rm at I d en ti f i er So u rce R el ati o n R i g h ts descriptives agents techniques structurelles

27 Concept de métadonnées Formats de métadonnées génériques ou spécifiques LOM Dublin Core Titre Taxon Auteur Description Durée d apprentissage Mot-clé Niveau de difficulté 12 mai 2008 ORI-OAI 27

28 Concept de métadonnées Format de métadonnées semi-structuré basé sur un schéma XML structure imbriquée, récursive éléments répétables Rôle des métadonnées dans un entrepôt de données mise en commun d attributs, constitution d ensembles qualité de référencement vocabulaires fermés, saisie contrôlée gestion de la cohérence des données et des redondances 12 mai 2008 ORI-OAI 28

29 12 mai 2008 ORI-OAI 29 Projet ORI-OAI Classification

30 12 mai 2008 ORI-OAI 30 Classification Décimale Dewey (CDD) Quoi? Langage documentaire Organisation des connaissances en domaines Structure arborescente: des notions générales aux détails Représentation d un domaine par un indice numérique

31 12 mai 2008 ORI-OAI 31 Classification Décimale Dewey (CDD) Un exemple : Classe 5 Science 53 Physique Division 54 Chimie 547 Chimie organique Section

32 Classification Décimale Dewey (CDD) Application? Classement physique des documents dans la bibliothèque Comment? Traduction du contenu de documents en indice(s) (indexation systématique) Distinction des indexations systématique accès thématique (par domaine, point de vue) analytique accès par sujet 12 mai 2008 ORI-OAI 32

33 Classification pivot Objectif? construction d'un «plan de classement» (autrement dit d'une classification simplifiée) Comment? définition de domaines spécifiques aux besoins de la bibliothèque caractérisation de ces domaines, par des indices Dewey ou leur combinaison exploitation de l'indexation Dewey des documents 12 mai 2008 ORI-OAI 33

34 12 mai 2008 ORI-OAI 34 Classification pivot classification Dewey = pivot pour la constitution de classifications spécifiques Approche transposable aux ressources numériques (avantages : "bibliothèque" virtuelle ; classement possible d'une ressource dans plusieurs domaines ; réorganisation rapide et souple ; )

35 12 mai 2008 ORI-OAI 35 Exemple Mon cours.pdf Métadonnées LOM Titre = Technologies énergétique Classification Dewey = (Aéromoteurs, éoliennes) etc.

36 12 mai 2008 ORI-OAI 36 Exemple: classification UNIT Classification UNIT Energétique, énergie Technologies de l énergie éolienne * * * Electricité et électrotechnique Systèmes pour énergie renouvelable * * * * *

37 12 mai 2008 ORI-OAI 37 Exemple: classification Valenciennes Classification Valenciennes Sciences, techniques, sport Génie mécanique et énergétique 621*

38 12 mai 2008 ORI-OAI 38 Projet ORI-OAI Principe du référencement et de la diffusion

39 12 mai 2008 ORI-OAI 39 Procédure de publication (étape auteur) Doc Étape de saisie auteur Auteur Document Titre Description Upload Metadonnées Auteur Demander la la publication Entrepôt de ressources ORI-OAI À publier

40 12 mai 2008 ORI-OAI 40 Procédure de publication (étape bibliothécaire) Étape de saisie bibliothécaire Bibliothécaire Document Titre Description Metadonnées Auteur Classification Publier Rejeter Entrepôt de ressources ORI-OAI Publié Metadonnées Doc

41 12 mai 2008 ORI-OAI 41 Notion de workflow: chaîne de publication Privé créer [tous] Positionner permissions Schématisation du processus : diagramme Etats / Transitions retirer [propriétaire, modérateur] Envoi mail propriétaire rejeter désindexer En attente de publication Demander à publier [propriétaire] Envoi mail modérateur publier [modérateur] indexer Etats (empruntables par la fiche) Transitions (changements d états) Conditions (pour les transitions) Actions (lors de transitions) Publié

42 12 mai 2008 ORI-OAI 42 Notion de workflow: chaîne de publication Privé créer [tous] Positionner permissions Déroulement (demande de publication de la fiche acceptée) En attente de publication Demander à publier [auteur] Envoi mail modérateur publier [bibliothécaire] indexer Etats Transitions Conditions Actions Publié

43 12 mai 2008 ORI-OAI 43 Projet ORI-OAI Principe des échanges

44 Entrepôt ORI-OAI Qu est-ce qu un entrepôt ORI-OAI? Stockage des ressources numériques Métadonnées sur les documents LOM Dublin Core Etc. Document Document Document Métadonnées 12 mai 2008 ORI-OAI 44

45 OAI-PMH Protocole informatique d'échange de données Permet la collecte et le partage de références Fait intervenir deux types d'acteurs: Fournisseur de données (data provider) : met en forme les métadonnées (au moins en DC) les stocke dans un entrepôt (repository) définit éventuellement des ensembles (sets) Fournisseur de services (service provider) : envoie des requêtes aux entrepôts (grâce à un moissonneur) récupère les métadonnées exposées correspondantes les exploite en fournissant des services à valeur ajoutée 12 mai 2008 ORI-OAI 45

46 12 mai 2008 ORI-OAI 46 Open Archive Initiative (OAI) Entrepôt Etablissement A OAI Entrepôt Etablissement B OAI OAI Moissonneur UNT, UNR,

47 12 mai 2008 ORI-OAI 47 OAI pour l utilisateur internaute Entrepôt Entrepôt Site Web UNT Recherche Moissonneur OAI UNT Accès au site Lancement de la recherche Résultat de la recherche Accès au 1 er document Accès au 2 ème document

48 12 mai 2008 ORI-OAI 48 OAI pour l utilisateur d un établissement Entrepôt Entrepôt? ENT Recherche Moissonneur OAI Etablissement Accès à l ENT Lancement de la recherche Résultat de la recherche Accès au 1 er document Accès au 2 ème document

49 12 mai 2008 ORI-OAI 49 Fédération d identités (Shibboleth) Shib Entrepôt Qui est-ce? Un étudiant en médecine 2 ème année Tentative d accès au document Requête à l établissement «fournisseur d identités» Réponse à l établissement «fournisseur de services» Accès au document

50 12 mai 2008 ORI-OAI 50 Vue Consortium UNIT UVED Etc Moissonneur Moissonneur Site Web UNIT Site Web UVED

51 12 mai 2008 ORI-OAI 51 Vue établissement UNR UVED Shib Entrepôt UNIT OAI Moissonneur ENT.eu

52 12 mai 2008 ORI-OAI 52 Projet ORI-OAI Mise en oeuvre

53 12 mai 2008 ORI-OAI 53 Projet ORI-OAI Architecture

54 12 mai 2008 ORI-OAI 54 Fondations 7 modules Indépendants Ayant chacun un rôle précis Tous interopérables Dialoguent entre eux par Web Services Chaque module est très configurable Plusieurs configurations sont proposées par défaut pour s adapter au mieux aux besoins des différents établissements Possibilité de faire évoluer ou d intégrer d autres configurations

55 12 mai 2008 ORI-OAI 55 Architecture complète ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt d exposition des métadonnées ORI-OAI-harvesting moissonneur de métadonnées ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-indexing moteur d indexation ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-search moteur de recherche 7 modules interopérables

56 12 mai 2008 ORI-OAI 56 Cas 1: producteur de données ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt d exposition des métadonnées ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-indexing moteur d indexation Référencement du lien vers le(s) document(s) SSO Utilisateurs ORI-OAI-vocabulary gestionnaire de vocabulaires Indexation des métadonnées Saisie des métadonnées via vocabulaires Vocabulaires dynamiques basés sur l index Exposition OAI (optionnelle) Exposition des fiches par requêtes sur l index Génération de sets OAI via le vocabulaire

57 12 mai 2008 ORI-OAI 57 Cas 2: Agrégateur de données ORI-OAI-repository entrepôt d exposition des métadonnées ORI-OAI-harvesting moissonneur de métadonnées ORI-OAI-indexing moteur d indexation Internet ORI-OAI-vocabulary gestionnaire de vocabulaires Moissonnage des fiches de métadonnées via OAI Indexation des métadonnées Exposition OAI (optionnelle) Exposition des fiches par requêtes sur l index Génération de sets OAI via le vocabulaire

58 12 mai 2008 ORI-OAI 58 Recherche de documents Génération des interfaces à partir du vocabulaire Recherche dans l index Traduction de certains résultats via vocabulaire ORI-OAI-indexing moteur d indexation ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-search moteur de recherche

59 12 mai 2008 ORI-OAI 59 Projet ORI-OAI Développement

60 12 mai 2008 ORI-OAI 60 Architecture technique Développement Java Technologies et standards Dublin Core LOM / LOMFR XML Lucene/Lius OAI-PMH Shibboleth Spring JSR-168 (intégration dans ENT, CMS, etc.) Etc. Licence GPL

61 12 mai 2008 ORI-OAI 61 Les distributions ORI-OAI Version Disponible depuis le 15 octobre 2007 Supporte différents types de documents Édition de métadonnées Ressources pédagogiques (LOM) Ressources «génériques» (Dublin Core) Moissonnage par OAI de ressources extérieures Tout format de métadonnées Pré-configuré pour Dublin Core, LOM et CDM Types d installation De production Configuration avancée De démonstration Auto-install d une application Windows

62 12 mai 2008 ORI-OAI 62 Les distributions ORI-OAI ORI-OAI version est mis en place (ou en cours) par : UNIT UNR Nord-pas-de-Calais Université de Rennes 1 Université de Valenciennes INP de Toulouse / ENSEEIHT Université de Nancy 2 Université de Paris 5 Université de Paris 10 Université de Paris Sud Université de Bretagne Sud Université de Limoges INSA de Lyon IUFM de Bretagne Université de Brest Université de Bordeaux 1 Université du Mans Université de Versailles St-Cyr Educagri Etc.

63 12 mai 2008 ORI-OAI 63 Projet ORI-OAI Évolutions et projets connexes

64 12 mai 2008 ORI-OAI 64 Évolutions Version (juin 2008) Workflow Dépôt des documents depuis le workflow Gestion des droits d accès aux documents depuis le dépôt Utilisateurs locaux, groupes locaux et distants (shibboleth) Mise en place d un protocole de communication avec d autres plates-formes Moteur d indexation Indexation en texte intégral Crawler web pour les documents distants Moteur de recherche Flux RSS Personnalisation des interfaces suivant le profil utilisateur Nouveaux modes de recherche

65 12 mai 2008 ORI-OAI 65 Évolutions Gestionnaire de vocabulaires Gérer des vocabulaires distants et centralisés Système de stockage Refonte du système Évolutions générales du projet Identifiants et URL d accès des ressources uniques et pérennes Statistiques De recherche D accès aux documents

66 12 mai 2008 ORI-OAI 66 Évolutions et autres projets Version beta 1.6 (juillet 2008) Référencement et publication dans l archive de l établissements des thèses avec le format TEF des publications de la recherche Version (octobre 2008) ORI-OAI / STAR Export de métadonnées TEF vers l archive nationale STAR ORI-OAI / HAL Échange des métadonnées et des ressources de l archive de l établissement avec l archive nationale HAL CEPIA Référencement dans ORI-OAI depuis une plate-forme LMS et un outil de chaîne éditoriale

67 12 mai 2008 ORI-OAI 67 Projet ORI-OAI Bilan

68 12 mai 2008 ORI-OAI 68 Bilan Fruit d un travail collaboratif efficace Analyse des besoins multi-métiers enseignants/chercheurs cellule TICE bibliothécaires informaticiens etc. Rédaction des spécifications par les groupes de travail inter-établissements inter-unt Paramétrage avancé pour répondre aux caractéristiques de chaque établissement Logiciel évolutif et libre

69 12 mai 2008 ORI-OAI 69 Repères Site du projet Contacts Liste de discussion ori-oai-utilisateurs Liste d information ori-oai-info

70 12 mai 2008 ORI-OAI 70 Licence Ce travail est mis à disposition sous une licence Creative Commons Vous êtes libres De reproduire, distribuer et communiquer cette création au public De modifier cette création Cette création est mise à disposition selon le Contrat Paternité-NonCommercial- ShareAlike 2.5 disponible en ligne Remarque : Les transparents présentés ici ont été réalisés par : Rosa-Maria Gomez (INSA de Lyon) Yohan Colmant (Université de Valenciennes) Raymond Bourges (Université de Rennes 1) Monique Joly (INSA de Lyon) Alain Mayeur (Université de Valenciennes) François Jannin (EINSEEIHT INP de Toulouse) Nolwen Huet (INSA de Lyon)