Charte technique Gallica / e-distributeurs

Transcription

1 Charte technique Gallica / e-distributeurs Ce document décrit l architecture logicielle nécessaire à l intégration d un fonds d éditeurs au sein du site Gallica. Ces travaux sont le fruit d un groupe technique tripartite composé d interlocuteurs techniques provenant d éditeurs (Gallimard, Editis), de la BnF et de la société Numilog. 1. Rappel du contexte Depuis le Salon du Livre 2008, Gallica, la bibliothèque numérique de la Bibliothèque nationale de France (BnF), signale des ouvrages de l'édition contemporaine soumis au droit d'auteur en complément de ses collections patrimoniales numérisées. L'accès en ligne, depuis un point d'entrée unique, à des documents patrimoniaux libres de droit consultables dans leur intégralité, et à des ouvrages de l'édition contemporaine dont le feuilletage d'extraits respecte strictement le droit des auteurs et des ayants-droits, constitue une première mondiale. L intention première des organisateurs de l expérimentation était que les ouvrages sous droits proposés par les éditeurs s inscrivent dans une continuité et une complémentarité avec les choix documentaires opérés par les responsables de Gallica. Le cadre juridique, technique et économique a été défini conjointement par la BnF, le Syndicat national de l'edition (SNE), le Service du Livre et de la Lecture (SLL) et le Centre national du Livre (CNL). 2. Cinématique prévue pour l accès aux documents sous droits L hypothèse fonctionnelle retenue pour définir l architecture technique est la suivante : 1. L internaute recherche, à partir de Gallica, dans l intégralité du fonds, libre de droits et sous droits. 2. Le résultat de sa recherche est présenté de façon homogène, que les documents trouvés soient sous droits ou libre de droits 3. A partir de la sélection dans la liste de résultats d un document sous droits, une page de description du document est présentée à l Internaute. Page de présentation d un livre sous droits Cette page présente les données descriptives du document: titre, auteur, éditeur, collection, description du document, table des matières, première de couverture, quatrième de couverture, lien vers un site de feuilletage, lien vers l acquisition du document.

2 4. S il clique sur le lien «Feuilleter l ouvrage», l internaute est renvoyé sur l outil de feuilletage offert par le e- distributeur. Feuilletage sur le site du e-distributeur Le haut de page de cette interface de feuilletage est personnalisé avec un bandeau de 100 px de hauteur contenant le logo de Gallica et le logo de l éditeur ou du e-distributeur. 3. Récupération des documents des éditeurs Pour permettre à un utilisateur de rechercher en utilisant le moteur de recherche de Gallica dans des fonds libres de droits et sous droits, le choix de la centralisation de l index a été retenu. Ce choix implique que les documents soient rapatriés vers le serveur d indexation du site. Le rapatriement des documents sera fait en deux temps : d une part la récupération des métadonnées descriptives du document en utilisant le protocole standardisé OAI- PMH et de l autre, en récupérant le contenu des documents. En aucun cas ce contenu, sous droits, n est utilisé en dehors de son indexation et de la visualisation, dans les listes de résultats, d un extrait court pour que l utilisateur puisse bénéficier du contexte de la réponse offerte à sa requête. Affichage d'un extrait de contenu sous droits La transmission du contenu des documents est facultative et les éditeurs ne souhaitant pas voir divulguer à la BnF ce contenu, ne voient leurs documents apparaître dans les résultats de recherche que lorsque le terme recherché est trouvé dans les métadonnées du document.

3 Le contenu des documents est transmis dans un formalisme XML extrêmement simplifié. Un seul fichier est transmis contenant l identifiant du document (permettant de faire le lien avec le dc :identifier des métadonnées) et un flux de mots. La seule information de mise en page transmise est l information de numéro de page. Le dépôt est fait sur serveur FTP. Exemple <?xml version="1.0" encoding="utf-8"?> <document xmlns:xsi=" xsi:nonamespaceschemalocation="sne_contenu.xsd"> <identifier> </identifier> <page numero="1">sacred Stone</page> <page numero="2">c'est l'histoire de...</page> <page numero="3">et puis de...</page> </document> 4. Métadonnées Description Les métadonnées des éditeurs, récupérées au format OAI-PMH possèderont trois parties : 1- Une première partie présentant les métadonnées descriptives au format Dublin Core simplifié (pour en savoir plus, voir le Guide d utilisation du Dublin Core à la BnF). 2- Une deuxième partie fournissant des données supplémentaires et descriptives des documents au format Onix. Cette partie permettra, en particulier de préciser : le résumé, la table des matières, un lien vers une image présentant la couverture, une présentation de l ouvrage. 3- Une zone contenant un lien vers l adresse URL du feuilletage. 4- Une zone contenant un lien vers l adresse URL permettant l acquisition du document. Récupération des métadonnées en utilisant le protocole OAI-PMH

4 4.1.2 Exemples de document xml moissonné par le serveur centralisé Préfixe oai_dc Le premier exemple concerne la partie «obligatoire» pour un entrepôt OAI-PMH : metadataprefix oai_dc. <OAI-PMH xsi:schemalocation=" <responsedate> t11:24:18z</responsedate> <request verb="getrecord" metadataprefix="oai_dc" identifier="oai:editions-bleues.com: "> <GetRecord> <record> <header> <identifier>oai:edition-toto.com: </identifier> </header> <metadata> <oai_dc:dc xsi:schemalocation=" <dc:title>sacred Stone</dc:title> <dc:creator>cussler, clive<:dc:creator> <dc:subject>saudi Arabia, United States, Free Enterprise, Abraham's Stone, Dome of the Rock, Las Vegas, Mount Forel, Red Sea, Range Rover, Faeroe Islands, Michelle Hunt, Prophet's Mosque, Smart Car, Elton John, Global Air Cargo, Halifax Hickman, Loch Ness, Advance Three, Buckingham Palace, Magic Shop, New Year's Eve, Eric the Red, Great Mosque, Hammadi Group, Isle of Sheppey </dc:subject> <dc:description> Eric the Red's A.D discovery of a radioactive meteorite has present-day life-or-death ramifications in Cussler and Dirgo's second novel (after Golden Buddha) featuring the Oregon, a state-of-the-art warship disguised as a rusty tramp steamer and manned by some of the world's finest ex-military and intelligence operatives. Known collectively as the Corporation, the men and women of the Oregon "mercenaries with a conscience" offer their services to various countries and individuals with specialized security and military needs. The Corporation's chairman, series hero Juan Cabrillo, has several pressing concerns: supply security for the emir of Qatar, who is attending a conference in Iceland; track down a nuclear bomb that has gone astray; and pick up the aforementioned meteorite, which has just been found ensconced in a mysterious shrine. These jobs become dangerously complicated when industrialist Halifax Hickman, a man fueled by revenge and hatred, enters the picture. The meteorite, the atomic bomb and a vial of plague are to be used in attacks on holy sites Israel's Dome of the Rock and Saudi Arabia's al-haram mosque and at an Elton John concert. It's a deadly game, but the brilliant Cabrillo is a master player, moving his pieces at lightning speed on several boards until he outmaneuvers his opposition in this action-packed page-turner. </dc:description> <dc:rights> copyrighted </dc:rights> <dc:identifier> </dc:identifier> </oai_dc:dc> </metadata> </record> </GetRecord> </OAI-PMH> Préfixe onix_dc En plus de la version standard et obligatoire dans le protocole OAI-PMH, on se propose de créer un format de métadonnées spécifique à nos besoins, dans cet exemple, le préfixe est onix_dc. Le schéma utilisé s appelle par exemple onix_dc.xsd, dans lequel on fait référence pour la partie «dc» (Dublin Core) au schéma oai_dc.xsd (il s agit de la même notice que celle fournit en standard par l entrepôt OAI). On ajoute alors la partie lien «link» et «onix» dont les schémas sont soit à définir si on souhaite alléger l onix soit reprendre tel quel. <?xml version="1.0"?> <OAI-PMH xmlns=" xmlns:xsi=" xsi:schemalocation=" <responsedate> t11:24:18z</responsedate> <request verb="getrecord" metadataprefix="oai_dc" identifier="oai:editions-bleues.com: "> <GetRecord> <record> <header> <identifier>oai:edition-bleues.com: </identifier> <datestamp> t11:24:18z</datestamp> </header> <metadata> <onix_dc:dc xmlns:onix_dc=" xmlns:dc=" xmlns:onix=" xsi:schemalocation=" <dc:title>sacred Stone</dc:title> <dc:coverage /> <dc:creator>cussler, clive</dc:creator> <dc:subject>saudi Arabia, United States, Free Enterprise...</dc:subject> <dc:description> Eric the Red's A.D discovery of a radioactive meteorite has present-day life-or-death ramifications in Cussler and Dirgo's second novel (after Golden Buddha) featuring the Oregon, a state-of-the-art warship disguised as a rusty tramp steamer and manned by some of the world's finest ex-military and intelligence operatives. Known collectively as the

5 Corporation, the men and women of the Oregon "mercenaries with a conscience" offer their services to various countries and individuals with specialized security and military needs. The Corporation's chairman, series hero Juan Cabrillo, has several pressing concerns: supply security for the emir of Qatar, who is attending a conference in Iceland; track down a nuclear bomb that has gone astray; and pick up the aforementioned meteorite, which has just been found ensconced in a mysterious shrine. These jobs become dangerously complicated when industrialist Halifax Hickman, a man fueled by revenge and hatred, enters the picture. The meteorite, the atomic bomb and a vial of plague are to be used in attacks on holy sites Israel's Dome of the Rock and Saudi Arabia's al-haram mosque and at an Elton John concert. It's a deadly game, but the brilliant Cabrillo is a master player, moving his pieces at lightning speed on several boards until he outmaneuvers his opposition in this action-packed page-turner. </dc:description> <dc:rights>copyrighted</dc:rights> <dc:identifier> </dc:identifier> <onix:product> <onix:recordreference> </onix:recordreference> <onix:notificationtype>03</onix:notificationtype> <!-- List1 : Update (partial) <onix:productidentifier> <onix:productidtype>02</onix:productidtype> <!-- List5 : ISBN-10 <onix:idvalue> </onix:idvalue> </onix:productidentifier> <onix:productform>ba</onix:productform> <!-- List7 : Book - detail unspecified <!-- COLLECTION <onix:series> <onix:titleofseries>collection Vikings</onix:TitleOfSeries> </onix:series> <!-- Titre <onix:title> <onix:titletype>03</onix:titletype> <!-- List15 : Title in original language <onix:titletext>sacred Stone</onix:TitleText> </onix:title> <!-- RESUME <onix:othertext> <onix:texttypecode>01</onix:texttypecode> <!-- List33 : Main description <onix:text>ca parle d'eric le Rouge...</onix:Text> </onix:othertext> <!-- TDM (sans mise en forme) <onix:othertext> <onix:texttypecode>04</onix:texttypecode> <!-- List33 : Table of contents <onix:text>1. Naissance 2. Vie 3. Mort</onix:Text> </onix:othertext> <!-- DESCRIPTION <onix:othertext> <onix:texttypecode>09</onix:texttypecode> <!-- List33 : Promotional headline <onix:text>c'est un livre très bien</onix:text> </onix:othertext> <!-- IMAGE DE COUVERTURE <onix:mediafile> <onix:mediafiletypecode>04</onix:mediafiletypecode> <!-- List38 : Front cover image <onix:mediafileformatcode>03</onix:mediafileformatcode> <!-- List39 :JPG <onix:mediafilelinktypecode>05</onix:mediafilelinktypecode> <!-- List40 : FTP address <onix:mediafilelink>ftp://ftp.editions-bleues.com/ /front.jpg</onix:mediafilelink> </onix:mediafile> <!-- 4ème DE COUVERTURE <onix:mediafile> <onix:mediafiletypecode>24</onix:mediafiletypecode> <!-- List38 : Image Back cover <onix:mediafileformatcode>03</onix:mediafileformatcode> <!-- List39 :JPG <onix:mediafilelinktypecode>01</onix:mediafilelinktypecode> <!-- List40 : URL <onix:mediafilelink> </onix:mediafile> <onix:publisher> <onix:publishername>editions Bleues</onix:PublisherName> </onix:publisher> <!-- Lien vers le feuilletage <onix:productwebsite> <onix:websiterole>28</onix:websiterole> <!-- List73 : sample Content

6 <onix:productwebsitelink> </onix:productwebsite> <!-- Lien vers l acquisition <onix:productwebsite> <onix:websiterole>29</onix:websiterole> <!-- List73 : full Content <onix:productwebsitelink> </onix:productwebsite> </onix:product> <onix_dc:link> <onix_dc:target_url> <onix_dc:picture_url> </onix_dc:link> <onix_dc:freebrowse>true</onix_dc:freebrowser> <! feuilletable true / false <onix_dc:freeaccess>true</onix_dc:freeaccess> <! acces libre au document ou sous condition si false <onix_dc:printedversion><! indique si une version «papier» est disponible <onix_dc:value>true</onix_dc:value> <! indique si une version «papier» est disponible true / false <onix_dc:isbn> </onix_dc:isbn> <! indique l isbn 10 / 13 de la version papier si elle est disponible </onix_dc: printedversion> </onix_dc:dc> </metadata> </record> </GetRecord> </OAI-PMH> 4.2 Gestion des contenus Eléments Dublin Core et mapping Onix-DC La fourniture des données s effectuera en ONIX, dont sera extraite par programme la partie DC (selon OAI-PMH ; c.a.d. non qualifié) plus quelques données complémentaires en XML. La «moulinette» d extraction du DC pourrait être gérée par la BnF et fournie aux partenaires. Le tableau suivant précise les règles de transformation des éléments Onix en éléments du dublin core. Eléments Dublin Core Obligatoire/ Facultatif Eléments Onix 2.1 rev. 03 Contributor Facultatif Contributor/PersonName Coverage Non applicable Non applicable Remarques Exemple : illustrateur, Uniquement si Contributor/ContributorRole est différent de A01 (By (author)), (liste à compléter) Creator Obligatoire Uniquement si Contributor/PersonName Contributor/ContributorRole vaut A01, (liste à compléter) Date Obligatoire PublicationDate Année sur 4 digits Description Facultatif OtherText/Text Format Obligatoire EpubType Langue Obligatoire Language/LanguageCode Publisher Obligatoire Publisher/PublisherName Uniquement si OtherText/TextTypeCode=01 (Main Description) Type mime de l exemplaire numérique disponible Si la valeur est 001, alors text/html Si 002 ou 003, alors text/pdf Etc. Uniquement si Language/ LanguageRole vaut 01 (Language of text)

7 Rights Obligatoire SalesRights/SalesRightsTyp e Source Facultatif Si la valeur est 01, alors copyrighted en Anglais et sous droits en Français. Si la valeur est 02, alors public domain et domaine public. utilisation de l EN13 de l ouvrage original pour le champ source du DC dans le cas d une traduction et utilisation de l EN13 de l ouvrage numérisé pour le champ identifier. Subject Facultatif Subject/SubjectCode Ou Subject/SubjectHeadingText Uniquement si SubjectSchemeIdentifier vaut 01 (code dewey) ou 20 (texte mots clés) Title Obligatoire Title/ TitleText Identifier Obligatoire ProductIdentifier/ IDValue Uniquement si Title/TitleType vaut 03 (Title in original language) Uniquement si ProductIDType vaut 02 (ISBN-10) ou 03 (EAN.UCC-13) Par ailleurs, les informations complémentaires à fournir, qui ne trouveraient pas place dans le format DC sont : - Résumé - Table des matières - Couverture et 4 ème de couverture - Collection (au sens éditorial) - Présentation de l ouvrage (potentiellement supérieure en nombre de signes à la description contenue dans le champ description du dublin core). - Lien vers le feuilletage - Lien vers l acquisition du document Trois autres champs non obligatoires, mais conseillés sont rajoutés afin d offrir des informations supplémentaires aux internautes : - Statut «feuilletable» du document : la valeur par défaut est non feuilletable - Statut accès libre ou sous condition aux documents. La valeur par défaut est sous condition - Version imprimée du document numérique : la valeur par défaut est vrai. Il sera possible de fournir l isbn de cette version papier. Pour la définition du type Mime, se reporter à la norme IANA (cf. Le lien à l image correspondant à la première de couverture sera fourni dans la partie ONIX «MediaFile». La largeur des images (format png ou jpg) doit être comprise entre 300 et 600 px. 5. Annexe 2 : schéma XML des documents échangés en OAI-PMH Le schéma suivant sera accessible depuis le lien <?xml version="1.0" encoding="utf-8"?> <schema targetnamespace=" xmlns:onix_dc=" xmlns:dc=" xmlns:onix=" xmlns=" elementformdefault="qualified" attributeformdefault="unqualified" version="2.0">

8 <annotation> <documentation> <![CDATA[Schema XML regroupant les metadonnees d'un document a fournir via un entrepot OAI. Ce format melange des elements du format Dublin Core, Onix auquels s'ajoutent des elements propres.]]> </documentation> </annotation> <import namespace=" schemalocation=" <import namespace=" schemalocation=" <element name="dc" type="onix_dc:onix_dctype"/> <complextype name="onix_dctype"> <sequence> <choice minoccurs="0" maxoccurs="unbounded"> <element ref="dc:title"/> <element ref="dc:creator"/> <element ref="dc:subject"/> <element ref="dc:description"/> <element ref="dc:publisher"/> <element ref="dc:contributor"/> <element ref="dc:date"/> <element ref="dc:type"/> <element ref="dc:format"/> <element ref="dc:identifier"/> <element ref="dc:source"/> <element ref="dc:language"/> <element ref="dc:relation"/> <element ref="dc:coverage"/> <element ref="dc:rights"/> </choice> <element ref="onix:product"/> <element name="link" type="onix_dc:linktype"/> <element name="freebrowse" type="boolean" default="false" minoccurs="0" /> <element name="freeaccess" type="boolean" default="false" minoccurs="0" /> <element name="printedversion" type="onix_dc:printedversiontype" minoccurs="0" /> </sequence> </complextype> <complextype name="linktype"> <sequence> <element name="target_url" type="string"/> <element name="picture_url" type="string" minoccurs="0"/> </sequence> </complextype> <complextype name="printedversiontype"> <sequence> <element name="value" type="boolean" default="true"/> <element name="isbn" type="string" minoccurs="0"/> </sequence> </complextype> </schema> 6. Annexe 3 : schéma XML du contenu des documents <?xml version="1.0" encoding="utf-8"?> <xs:schema xmlns:xs=" elementformdefault="qualified" attributeformdefault="unqualified"> <xs:element name="document"> <xs:annotation> <xs:documentation>contenu d'un livre à indexer</xs:documentation> </xs:annotation> <xs:complextype> <xs:sequence> <xs:element ref="identifier"/> <xs:element ref="page" maxoccurs="unbounded"/> </xs:sequence> </xs:complextype> </xs:element> <xs:element name="identifier"> <xs:annotation> <xs:documentation>identifiant unique d'un livre</xs:documentation>

9 </xs:annotation> <xs:simpletype> <xs:restriction base="xs:string"> <xs:minlength value="1"/> </xs:restriction> </xs:simpletype> </xs:element> <xs:element name="page"> <xs:complextype> <xs:simplecontent> <xs:extension base="xs:string"> <xs:attribute name="numero" type="xs:decimal"/> </xs:extension> </xs:simplecontent> </xs:complextype> </xs:element> </xs:schema> 7. Annexe 4 : feuille de de style pour la transformation XLST ONIX vers DC <?xml version="1.0" encoding="utf-8"?> <xsl:stylesheet version="1.0" xmlns:xsl=" xmlns:onix_dc=" xmlns:onix=" xmlns:dc=" <xsl:output method="xml" omit-xml-declaration="yes" encoding="utf-8" /> <xsl:template match="/onix:product"> <xsl:element name="onix_dc:dc"> <!-- TITRE List15-03 = Title in original language <xsl:for-each select="onix:title[onix:titletype='03']"> <xsl:element name="dc:title"> <xsl:value-of select="onix:titletext" /> <!-- AUTEUR List17 - A01 = By (author) <xsl:for-each select="onix:contributor[onix:contributorrole='a01']"> <xsl:element name="dc:creator"> <xsl:value-of select="onix:personname" /> <!-- SUJET List27-01 = Dewey, 20 = KeyWord <xsl:for-each select="onix:subject[onix:subjectschemeidentifier='01']"> <xsl:element name="dc:subject"> <xsl:value-of select="onix:subjectcode" /> <xsl:for-each select="onix:subject[onix:subjectschemeidentifier='20']"> <xsl:element name="dc:subject"> <xsl:value-of select="onix:subjectheadingtext" /> <!-- DESCRIPTION List33-01 = Main Description <xsl:for-each select="onix:othertext[onix:texttypecode='01']"> <xsl:element name="dc:description"> <xsl:value-of select="onix:text" /> <!-- EDITEUR <xsl:for-each select="onix:publisher/onix:publishername"> <xsl:element name="dc:publisher"> <xsl:value-of select="." /> <!-- CONTRIBUTEURS

10 exclusion des auteurs <xsl:for-each select="onix:contributor[onix:contributorrole!='a01']"> <xsl:element name="dc:creator"> <xsl:value-of select="onix:personname" /> <!-- DATE <xsl:for-each select="onix:publicationdate"> <xsl:element name="dc:date"> <xsl:value-of select="." /> <!-- FORMAT <xsl:for-each select="onix:epubtype"> <xsl:element name="dc:format"> <xsl:choose> <xsl:when test=". = '001'"> <xsl:text>text/html</xsl:text> </xsl:when> <xsl:when test=". = '002' or. = '003'"> <xsl:text>text/pdf</xsl:text> </xsl:when> <!-- TODO traiter les autres cas <xsl:otherwise>text/plain</xsl:otherwise> </xsl:choose> <!-- IDENTIFIANT List5-02 = ISBN-10, 03 = EAN.UCC-13 <xsl:for-each select="onix:productidentifier[onix:productidtype='02' or onix:productidtype='03']"> <xsl:element name="dc:identifier"> <xsl:value-of select="onix:idvalue" /> <!-- SOURCE <!-- TODO a completer <!-- LANGUE List22-01 = Language of text <xsl:for-each select="onix:language[onix:languagerole='01']"> <xsl:element name="dc:language"> <xsl:value-of select="onix:languagecode" /> <!-- DROITS <xsl:for-each select="onix:salesrights"> <xsl:choose> <xsl:when test="onix:salesrightstype='01'"> <!-- List46 : droits exclusifs <xsl:element name="dc:rights"> <xsl:text>sous droits</xsl:text> <xsl:element name="dc:rights"> <xsl:text>copyrighted</xsl:text> </xsl:when> <xsl:when test="onix:salesrightstype='02'"> <!-- List46 : droits non-exclusifs <xsl:element name="dc:rights"> <xsl:text>domaine public</xsl:text> <xsl:element name="dc:rights">

11 <xsl:text>public domain</xsl:text> </xsl:when> <!-- TODO traiter le cas 03 : interdit </xsl:choose> <!-- IMPORTATION DE L'ELEMENT PRODUITS (mise à dispositions d'information non disponibles dans la structure Dublin Core comme le résumé, la tdm,...) <xsl:copy-of select="." /> <!-- LIEN VERS SITE COMMERCIAL TypeCode : List38-17 = Publisher Logo LinkTypeCode : List40-01 = URL <xsl:element name="onix_dc:link"> <xsl:element name="onix_dc:target_url"> <xsl:value-of select="onix:marketrepresentation/onix:website/onix:websitelink" /> <xsl:element name="onix_dc:picture_url"> <xsl:value-of select="onix:mediafile[onix:mediafiletypecode='17' and onix:mediafilelinktypecode='01']/onix:mediafilelink" /> </xsl:template> </xsl:stylesheet> Contact : Guillaume Godet Chef de projet Services numériques aux bibliothèques et éditeurs guillaume.godet@bnf.fr