Virtuoso. 10 octobre CHUV et UNIGE. Virtuoso. Pablo Iriarte et Jan Krause. Introduction SPARQL. Travaux pratiques.

Transcription

1 CHUV et UNIGE 10 octobre 2013

2 Programme (20min) (20min) (40min) (10min)

3 Le Définition Le Web des données (Linked Data, en anglais) est une initiative du W3C (Consortium World Wide Web) visant à favoriser la publication de données structurées sur le Web, non pas sous la forme de silos de données isolés les uns des autres, mais en les reliant entre elles pour constituer un réseau global d informations. Il s appuie sur les standards du Web, tels que HTTP et URI - mais plutôt qu utiliser ces standards uniquement pour faciliter la navigation par les êtres humains, le Web des données les étend pour partager l information également entre machines. Cela permet d interroger automatiquement les données, quels que soient leurs lieux de stockage, et sans avoir à les dupliquer Wikipedia, Web des données, cette semaine.

4 Une vision futuriste Chaque orateur disposait de quatre minutes pour exposer ses thèses, ce qui n était déjà pas mal, si l on considère que 198 exposés de 64 pays étaient annoncés. Afin d accélérer le rythme des débats, chaque participant devait en prendre connaissance tout seul avant le début de la séance. Quant à l orateur, il s exprimait exclusivement en chiffres, désignant de la sorte les passages essentiels de son ouvrage. Pour faciliter l assimilation de sujets si riches, chaque auditeur faisait marcher son magnétophone portatif et son mini-ordinateur (ces derniers devant ensuite mener systématiquement les débats). Stanley Hazelton, de la délégation américaine, choqua d emblée la salle en répétant avec insistance : 4, 6, 11, ce qui fait 22 ; 5, 9, donc 22 ; 3, 7, 2, 11, ce qui donne encore 22! Quelqu un se leva, criant qu il y avait tout de même 5, éventuellement 6, 18 et 4. Hazelton repoussa instantanément cette objection en expliquant que de toute façon, c était 22. Je cherchai la clé numérique dans son exposé et m avisai que le chiffre 22 désignait la catastrophe définitive. Stanislas Lem, le congrès de futurologie, 1971

5 Historique du Le concept d hypertexte, inventé par Vannevar Bush en 1945, dans l article As We May Think décrit le Memex, un bureau électromécanique. Le concept de réseau sémantique se développe dès les années Cependant, en 1909, Charles Pierce avait déjà proposé une repésentation graphique avec noeuds, les graphes existentiels. Le Web date de 1989 et l expression a été inventée au cours des années 1990 : I have a dream for the Web [in which computers] become capable of analyzing all the data on the Web - the content, links, and transactions between people and computers. A Semantic Web, which should make this possible, has yet to emerge, but when it does, the day-to-day mechanisms of trade, bureaucracy and our daily lives will be handled by machines talking to machines. The intelligent agents [...] will finally materialize. Tim Berners-Lee, Weaving the Web Source : Wikipédia.

6 Le Briques

7 Le From data to wisdom

8 Le Rôle du W3C

9 : le grand repertoire des données libérées

10 The Linked Open Data Cloud La the orie... Web se mantique

11 The Linked Open Data Cloud La pratique!

12 Triplets = Ressource Description Framework, standard qui définit les triplets de la forme : En d autres termes :

13 Il existe plusieurs façons d encoder le : XML Formats <rdf: xmlns:rdf=" xmlns:dc=" <rdf:description rdf:about="urn:isbn: x" dc:title="weaving the Web"> <dc:creator> <rdf:description rdf:about=" </rdf:description> </dc:creator> </rdf:description> </rdf:> N-Triples <urn:isbn: x> < < <urn:isbn: x> < "Weaving the Web". Turtle et dc: < <urn:isbn: x> dc:creator < ; dc:title "Weaving the Web". Dans nos exemples, on utilisera Turtle à cause de sa lisibilité et clarté

14 Identifiants URIs (Uniforme Ressource Identifiers) URL (Uniforme Ressource Locator) local, instable, ex. http :// URN (uniform Resource Name) indépendant de la localisation, universel, permanent, ex. urn :isbn : Hybrides (redirections) : PURL (Persistent Uniform Resource Locator) pratique, stable si bien mantenu, actionable, ex. http ://purl.org/net/saphir/59430 DOI (Digital Object Identifier) Hybride entre URN et PURL, permanent, théoriquement actionable mais ne l est toujours pas, ex. doi : /182 et http ://dx.doi.org/ /182

15 Dublin Core Metadata Initiative Le vocabulaire concernant les métadonnées le plus utilisé au monde. Avec ses 15 élements il permet la connexion et l interopérabilité entre les différents sets de données en.

16 Exemple de Liens entre BNF, VIAF, DBpedia Un exemple de linked data bibliographique s obtient sur le site de la BNF david_tissot/ : L URI correspondante de VIAF D où on obtient les URI associées de DBpedia et en français et par exemple de RERO vtls Reprenant la page BNF on trouve les URI des oeuvres de Tissot, comme Avis au peuple sur sa santé : associée au sujet médecine naturelle et

17 Exemple de En Turle (fictif mais avec identifiants bnf: bnfcat: dbp: dbpfr: dc: owl: rero: < viaf: < bnf: owl:sameas viaf: , dbp:samuel-auguste_tissot, dbpfr:samuel_auguste_tissot, rero:vtls bnfcat:cb d dc:creator bnf: bnfcat:cb d dc:subject bnfcat:cb t, dbpfr:médecine_naturelle.

18 (Turtle) fictif : Exemple de bnf: bnfcat: dc: < bnfcat:cb d dc:creator bnf: bnfcat:cb d dc:creator bnf: bnfcat:cb d dc:creator bnf: Requêtes et résultats : PREFIX bnf: < PREFIX bnf: < PREFIX bnfcat:< PREFIX bnfcat:< PREFIX dc: < PREFIX dc: < SELECT?documents WHERE {?documents dc:creator bnf: } bnfcat:cb d bnfcat:cb d bnfcat:cb d SELECT?documents?creator WHERE {?documents dc:creator?creator} bnfcat:cb d bnf: bnfcat:cb d bnf: bnfcat:cb d bnf:

19 Un triple-store ( est entre autres un dépot de triplets. Il existe d autres logiciels proposant des fonctionnalités similaires, par exemple 4store.org ou encore Jena. Bien que ce tutorial concerne, les requêtes discutées sont aussi compatibles avec ces autres logiciels. C est la grande force du et de. Ici nous utiliseront deux fonctionnalités principalement : charger des triplets sous forme de (cf. slide suivante) interroger le serveur via des requêtes HTTP (depuis le formulaire Web, ou directement via un script)

20 Types de requêtes SELECT : sélectionner (lister) des informations. ASK : comme select, mais répond Vrai/Faux en fonction de la présence ou l absence de résultats. DESCRIBE : comme sélect mais renvoie un graphe décrivant les résultats. CONSTRUCT : permet d assembler un graphe selon un modèle (template) : utile pour conversion et importation.. INSERT : Ajouter des données. DELETE : Supprimer des domnées. INSERT DELETE : Mettre à jour des données.

21 Structure d une requête SELECT # déclaration des prefixes PREFIX foo: < # choix de graphes/datasets (optionnel) FROM... # champs à retourner SELECT... # coeur de la requ^ete WHERE {... } # tri des résultats (optionnel) ORDER BY / GROUB BY / LIMIT...

22 Exemple de chargement des données Certains sets de données ne possèdent pas de point d accès. Nous allons télécharger le catalogue du projet Gutemberg en et tester les requêtes en local : 1. Chercher les données sur le datahub 2. Télécharger le set en sur le poste dans le dossier C :/temp 3. Importer les données sur : Ouvrir : et cliquer sur Conductor Se loguer (login=dba, password=dba) Cliquer sur Database puis Interactive SQL Effectuer la commande : DB.DBA._LOAD_XML_MT ( file_to_string_output ( C:/temp/catalog.rdf ),, );

23 Exemple 01 Le Nil est il plus long que l Amazone? Endpoint ou ou PREFIX prop: < ASK { < prop:length?lengthamazon. < prop:length?lengthnile. FILTER(?lengthamazon >?lengthnile). }

24 Exemple 02 Personnes nées à Paris dont le nom et prénom commencent les deux par A? Endpoint ou PREFIX dbp: < PREFIX dbpprop: < SELECT?name WHERE{?p dbp:birthplace < dbpprop:name?name. FILTER regex(?name, "^A.* A.*") }

25 Exemple 03 Personnes nées à Paris en 1978? Endpoint ou PREFIX dbp: < PREFIX dbpprop: < SELECT?name?bday WHERE{?p dbp:birthplace < dbpprop:dateofbirth?bday; dbpprop:name?name. FILTER(?bday <= " "^^xsd:date). FILTER(?bday >= " "^^xsd:date). }

26 Exemple 04 Nombre moyen des effectifs des populations des Pays n ayant pas accès à la mer, pour lesquels il existe un nom en français ou en anlais dans DBpedia, et dont la populaiton est supérieure à 15 millons? Endpoint ou PREFIX rdfs: < PREFIX type: < PREFIX prop: < SELECT AVG(?population) WHERE {?country a type:landlockedcountries ; rdfs:label?country_name ; prop:populationestimate?population. FILTER (?population > 1.5e7). FILTER (lang(?country_name)= en lang(?country_name)= fr ). }

27 Exemple 05 Episodes de Game of Thrones triés par saison et épisode? Endpoint ou PREFIX dbpo: < SELECT * WHERE {?e dbpo:series < dbpo:releasedate?date.?e dbpo:episodenumber?number.?e dbpo:seasonnumber?season } ORDER BY?season?number

28 Exemple 06 - Gutenberg Lister auteurs, titres, et sujets de la Bibliothèque Gutenberg avec un filtre sur le sujet (conteanant le mot fiction, indépendamment de la casse)? Endpoint PREFIX rdf: < PREFIX rdfs: < PREFIX dc: < PREFIX dcterms: < PREFIX dcmitype: < PREFIX cc: < PREFIX pgterms: < PREFIX dcmitype: < SELECT?author?titre?sujet WHERE {?book dc:title?titre.?book dc:creator?author.?book dc:subject?su.?su rdfs:label?sujet. FILTER regex(?sujet, "^.*fiction.*$", "i"). } ORDER BY?author

29 Example 07 - recherche fédérée Endpoint utiliser votre enpoint local : Dans Conductor, aller dans System admin / Users / / Edit et activer SPONGE, puis sauver. Sur la page de la requête, choisir Sponging : Retrieve all missing remote data that might be usefull. Attention, souvent assez lent! Une alternative est d utiliser l endpoint : préparé pour cet atelier (et rapide car les données nécessaires sont en cache). Endpoint PREFIX gp: < SELECT?dbpProperty?dbpValue?gutenProperty?gutenValue WHERE { SERVICE < { < } } SERVICE < { gp:hocking_joseph?gutenproperty?gutenvalue. }

30 - federated query

31 - fererated query results

32 Exemple 08 - Europeana Exemple d utilisation du concept de coverage ( pour lister des document sur la ville Hamburg : Endpoint PREFIX foaf: < PREFIX dc: < SELECT?book?who?id?lang?date WHERE {?book dc:creator?who.?book dc:identifier?id.?book dc:language?lang.?book dc:date?date.?book dc:coverage "Hamburg". } LIMIT 50

33 Exemple 09 - PubMed Recherche dans PubMed les articles par les auteurs dont le nom de famile est Krause. Endpoint SELECT * WHERE {?Pubmed < < < < < < FILTER regex(?last_name, "^Krause$", "i") } LIMIT 20

34 I à vous de jouer... 1 Trouvez les documents référencés par Europeana sur Berlin en 1945? 2 Quelles personnes ont joué le rôle de Darth Vader selon DBpedia? 3 Quels sont les articles publiés dans PubMed par Karl-Heinz Krause en 2010 et référencés dans PubMed? 4 Les auteurs de science fiction les plus prolifiques du projet Gutenberg? 5 Quel est l auteur le plus prolifique en langue anglaise selon DBpedia?

35 II à vous de jouer... 6 Produire une bibliographie de Stephen King avec les données de DBpedia : ses livres, les films dérivés, les films qu il a produits et qu il a dirigé. Dans toutes les langues, puis limité au français. 7 Trouver les albums (ainsi que les artistes) produits par la maison de production du rappeur Timbaland. Donner les rdfs :labels, c est-à-dire les appellations, liés à ces concepts. 8 Interrogez Wikipedia et déterminez les pays dont la densité de population est la plus faible au monde? Et en Europe? 9 Lister la postion des capitales au fil de l histoire de la planète (nom en français).

36 III à vous de jouer Qui étiaent les parents de Marie-Antoinette (une piste : utliser les property path)? Comment obtenir l ascendence masculine complète de Marie-Antoinette? Comment obtenir l ascendence généalogique complète de Marie-Antoinette? Comment obtenire la décendence de Marie-Antoinette?

37 Difficultés? Surprises? Maux de tête? Questions?