Évaluation des systèmes de recherche d information

Transcription

1 Évaluation des systèmes de recherche d information Michel Beigbeder michel.beigbeder@emse.fr 23 octobre 2006 Typeset by FoilTEX Modèle de RI txt d 1 ps d2 pdf d 3 doc dn indexation δ 1 δ 2 δ 3 corpus δn base d index U? requête q f(q, δ i r(q,3) utilisateur évaluation mise en correspondance M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 1

2 Modèle TREC de RI (1/2) Collection de test : documents, besoins d informations, jugements de pertinence txt d 1 doc file txt d 2 txt d3 filtre ➋ indexation δ 1 δ 2 δ 3 ➑ jugements de pertinence ➊ corpus δn ➌ base d index ➍ besoins d informations ➎ requêtes q ➏ f(q, δ i ) mise en correspondance ➐ r(q,3) évaluation ➒ précision rappel M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 2 Modèle TREC de RI (2/2) ➊ documents originaux ➋ les fichier(s) de la collection ➌ l index des documents ➍ les besoins d informations ➎ les requêtes ➏ l index des requêtes ➐ les listes de réponses retournées par le système de recherche d informations (run) ➑ ➒ les ensembles de documents jugés pertinents l évaluation précision-rappel M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 3

3 Un document de la collection adi Extrait du fichier ➊ adi/adi.all : Extrait de son index ➌ selon smart : [...].I 17.T document recovery.a R. L. BIRCG.W the naming of journals and organizations : implications for names are chosen for technical journals for societies often incorporating factors which needlessly complicate filing and recovery. changes of name also appear to often ignore the effect on commonplace information retrieval procedures. factors considered include ease of memory retention, compatibility of wording and of layout of title pages with filing systems used in offices, libraries, and bibliographies..i 18.T state-of-the-art : remote interrogation of stored documentary material.a H. OHLMAN [...] # docid concept_type concept_id weight term the implications offices effect chosen name layout information changes pages organizations also incorporating title in retention filing recovery ease technical [...] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 4 Le premier besoin d information de adi Le début du fichier ➍ adi/query.text :.I 1.W What problems and concerns are there in making up descriptive titles? What difficulties are involved in automatically retrieving articles from approximate titles? What is the usual relevance of the content of articles to their titles? [...] Jugements de pertinence Un extrait du fichier ➑ adi/qrels.text : # qid docid [...] Les mêmes informations à une syntaxe correcte pour trec eval : # qid docid relevance level [...] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 5

4 Trois expériences sur la collection adi Trois runs : ➐ smart.nnn.nnn # qid docid score run name nnn.nnn nnn.nnn nnn.nnn nnn.nnn nnn.nnn nnn.nnn nnn.nnn nnn.nnn nnn.nnn... ➐ smart.lic.ann # qid docid score run name lic.ann lic.ann lic.ann lic.ann lic.ann lic.ann lic.ann lic.ann lic.ann... ➐ zettair # qid docid score run name zettair zettair zettair zettair zettair zettair zettair zettair zettair... M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 6 Évaluation des SRI En supposant une pertinence binaire et que le SRI est un système entrée-sortie (pas d interaction), on évalue sa capacité : à retrouver les documents pertinents ; à ne pas retourner les documents non pertinents. Précision et rappel Pert Retr Rappel = Pert Pert Retr P recision = Retr Un système retrouve des documents ➐. Les jugements de pertinence indiquent les documents pertinents ➑. Dans la liste triée, Rappel et P recision sont évalués à chaque rang en considérant l ensemble des documents retournés avant ce rang. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 7

5 Query relevant documents 66 retrieved documents sorted by decreasing score 65 R= 0/33= 0.0% P= 0/1 = 0.0% + 48 R= 1/33= 3.0% P= 1/2 =50.0% + 30 R= 2/33= 6.1% P= 2/3 =66.7% 58 R= 2/33= 6.1% P= 2/4 =50.0% 67 R= 2/33= 6.1% P= 2/5 =40.0% + 22 R= 3/33= 9.1% P= 3/6 =50.0% 28 R= 3/33= 9.1% P= 3/7 =42.9% + 61 R= 4/33=12.1% P= 4/8 =50.0% + 11 R= 5/33=15.2% P= 5/9 =55.6% + 2 R= 6/33=18.2% P= 6/10=60.0% 52 R= 6/33=18.2% P= 6/11=54.5% 43 R= 6/33=18.2% P= 6/12=50.0% + 20 R= 7/33=21.2% P= 7/13=53.8% 50 R= 7/33=21.2% P= 7/14=50.0% + 8 R= 8/33=24.2% P= 8/15=53.3% + 41 R= 9/33=27.3% P= 9/16=56.2% 17 R= 9/33=27.3% P= 9/17=52.9% + 70 R=10/33=30.3% P=10/18=55.6% + 66 R=11/33=33.3% P=11/19=57.9% + 57 R=12/33=36.4% P=12/20=60.0% + 6 R=13/33=39.4% P=13/21=61.9%... COLL=adi.qrels RUN=zettair.adi.Q1.run precision (P) precision (P) recall (R) COLL=adi.qrels RUN=zettair.adi.Q1.run recall (R) M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 8 Interpolation - Extrapolation On veut une précision pour tout point de rappel (autrement dit une application) : interpolation entre 2 points extrapolation vers R=0% Les 11 points de rappel standard : de 0% à 100% par pas de 10%. COLL=adi.qrels RUN=zettair.adi.Q1.run recall (R) precision (P) COLL=adi.qrels RUN=zettair.adi.Q1.run recall (R) precision (P) M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 9

6 COLL=adi.qrels precision (P) COLL=adi.qrels precision (P) 100 RUN=zettair.adi.Q1.run recall (R) RUN=zettair.adi.Q1.run recall (R) Tous les topics tr.nnn.nnn tr.lic.ann zettair.adi.q M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 10 L outil trec eval L outil standard pour la construction des courbes rappel-précision est trec eval : En outre il fournit de nombreuses autres mesures : précision à 5, 10,..., 1000 documents ; R-Precision : précision à R (le nombre de documents pertinents pour le topic) bpref Reciprocal rank... M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 11

7 Quelques collections de test historiques (1/2) Disponibles sur ftp://ftp.cs.cornell.edu/pub/smart/. adi.all, 82 résumés d articles présentés à une rencontre de l American Documentation Institute en 1963, domaine des sciences de l information. cacm.all.z, documents avec le titre et les liens de citations bibliographiques, domaine de l informatique. cisi.all.z, domaine des sciences de l information. med.all.z, domaine médical. npl.dat.z, électronique, informatique et physique. time/doc.text.z, dépêches. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 12 Quelques collections de test historiques (2/2) adi 36 K 82 docs titre auteurs résumé 35 requ. cacm 2.1 M 3204 docs titre auteurs citations 64 requ. cisi 2.3 M 1460 docs titre auteurs résumé citations 112 requ. cran 1.6 M 1400 docs titre auteurs résumé 225 requ. med 1.0 M 1033 docs résumé 30 requ. npl 3.1 M docs titre long 93 requ. time 1.5 M 425 docs dépêche 83 requ. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 13

8 Quelques outils Cf. smart ftp://ftp.cs.cornell.edu/pub/smart/ mg (version 1.3g) lucy/zettair cheshire dataparksearch engine lemur lucene terrier wumpus xapian M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 14 La conférence TREC Trec est «la» campagne d évaluation annuelle de RI depuis ème édition en Le cycle : le NIST propose des tâches et fournit des documents et des «topics» aux participants ; chaque participant fait tourner son système sur ces données et fournit une liste de résultat pour chaque topic (1 000 premiers documents) (RUN ); évaluation des RUN au NIST, envoi des performances obtenues par chaque RUN. atelier en novembre au NIST. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 15

9 Les pistes (tracks) de TREC Adhoc, Robust X X X X X X X X X X X Routing X X X X X X Filtering X X X X X X X X Interactive, HARD X X X X X X X X X X X X X Spanish X X X Chinese X X X (X,Y,Z) X X X X X X OCR X X Speech X X X X Video X X Now VidTREC VLC X X X X Web X X X X X X Terabyte X X X Enterprise X X Blog New Q&A X X X X X X X X Novelty X X X Genome X X X X X Legal New Spam detection X X M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 16 Questions sur les collections de test Critères sur le choix des documents? Représentativité par rapport à la tâche Diversité des sujets, du vocabulaire Texte intégral vs. résumé... Quels et combien de topics? Comment identifier les documents pertinents pour chaque topic? M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 17

10 Caractéristiques des documents de TREC Chaque piste a ses documents et ses propres topics (généralement 50). Documents issus de journaux et dépêches WSJ Wall Street Journal ( ) 550 M docs AP Associate Press Newswire ( ) 514 M docs ZIFF Ziff-Davis Publishing 493 M docs FR Federal Register ( ) 469 M docs DOE abstracts from Dept. Energy reports 190 M docs Documents issus du Web VLC 1997 HTML 100 G WT2G extrait de VLC HTML 2 G WT10G extrait de VLC HTML 10 G.GOV extrait des sites.gov (2003) HTML, PDF, etc. 500 G W3C le site du W3C (2004) HTML, PDF, etc.? G Medline M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 18 Exemple de document <DOC> <DOCNO> WSJ </DOCNO> <HL> John Blair Is Near Accord To Sell Unit, Sources Say </HL> <DD> 03/24/87</DD> <SO> WALL STREET JOURNAL (J) </SO> <IN> REL TENDER OFFERS, MERGERS, ACQUISITIONS (TNM) MARKETING, ADVERTISING (MKT) TELECOMMUNICATIONS, BROADCASTING, TELEPHONE, TELEGRAPH (TEL) </IN> <DATELINE> NEW YORK </DATELINE> <TEXT> John Blair & Co. is close to an agreement to sell its TV station advertising representation operation and program production unit to an investor group led by James H. Rosenfield, a former CBS Inc. executive, industry sources said. Industry sources put the value of the proposed acquisition at more than $100 million.... </TEXT> </DOC> M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 19

11 Quelques statistiques sur les collections mots/doc mots/doc médiane moyenne CACM 2 M docs 40.1 CISI 2 M docs WSJ M docs AP M docs ZIFF M docs FR M docs DOE 184 M docs WSJ M docs AP M docs ZIFF M docs FR M docs WT10G M docs M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 20 Thème (Topic) Description d un besoin d information Donne des indications sur la pertinence Construit par un assesseur L assesseur qui crée le «topic» identifie(ra) les documents pertinents pour ce topic M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 21

12 Exempledetopic <top> <num> Number: 451 <title> What is a Bengals cat? <desc> Description: Provide information on the Bengal cat breed. <narr> Narrative: Item should include any information on the Bengal cat breed, including description, origin, characteristics, breeding program, names of breeders and catteries carrying bengals. References which discuss bengal clubs only are not relevant. Discussions of bengal tigers are not relevant. </top> Remarque : La requête doit être construite à partir du topic. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 22 Questions sur les topics Quelles et combien de topics? Impactdunombredetopics (C. Buckley et E. Voorhees [SIGIR 2000]) le nombre de topics doit être supérieur à semble un bon compromis M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 23

13 Jugement de pertinence Comment identifier les documents pertinents pour chaque topic?pour juger documents, il faut 6500 heures par topic, si un document est jugé en 30 secondes... TREC utilise la technique de pooling. Questions sur les jugements de pertinence Consistance La pertinence est subjective et change selon la personne. Que se passe-t-il si l on change les assesseurs? Etude d E. Voorhees [IPM 2000] Complétude Il existe des documents pertinents mais pas jugés Ces documents sont considérés NON pertinents Les systèmes qui n ont pas contribué aux jugements sont-ils pénalisés? Etude de Zobel [SIGIR 1998] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 24 D autres initiatives NTCIR depuis 1997 sur documents en langues asiatiques (NII-NACSIS Test Collection for IR Systems) CLEFhttp://clef.iei.pi.cnr.it:2002/, créé en 2000, et destiné à l évaluation de RI multilingue (fr, en, es, it, de, g, sw, fi, etc.) Les documents ne sont accessibles qu aux participants. INEXhttp:// lancée en 2002 pour la RI sur des documents structurés en XML. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 25

14 Retour sur la méthodologie Qu est-ce qu un document pertinent? Traditionnellement, celui qui est jugé tel (par un expert) Plus proprement, celui qui aide l utilisateur à résoudre son problème La pertinence est-elle : binaire? indépendante du contexte? équivalente à l utilité? M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 26