Évaluation des systèmes de recherche d information

Évaluation des systèmes de recherche d information Michel Beigbeder michel.beigbeder@emse.fr 23 octobre 2006 Typeset by FoilTEX Modèle de RI txt d 1 ps d2 pdf d 3 doc dn indexation δ 1 δ 2 δ 3 corpus δn base d index U? requête q f(q, δ i ) @d r(q,1) @d r(q,2) @d r(q,3) utilisateur évaluation mise en correspondance M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 1

Modèle TREC de RI (1/2) Collection de test : documents, besoins d informations, jugements de pertinence txt d 1 doc file txt d 2 txt d3 filtre ➋ indexation δ 1 δ 2 δ 3 ➑ jugements de pertinence ➊ corpus δn ➌ base d index ➍ besoins d informations ➎ requêtes q ➏ f(q, δ i ) mise en correspondance ➐ runq @d r(q,1) @d r(q,2) @d r(q,3) évaluation ➒ précision rappel M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 2 Modèle TREC de RI (2/2) ➊ documents originaux ➋ les fichier(s) de la collection ➌ l index des documents ➍ les besoins d informations ➎ les requêtes ➏ l index des requêtes ➐ les listes de réponses retournées par le système de recherche d informations (run) ➑ ➒ les ensembles de documents jugés pertinents l évaluation précision-rappel M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 3

Un document de la collection adi Extrait du fichier ➊ adi/adi.all : Extrait de son index ➌ selon smart : [...].I 17.T document recovery.a R. L. BIRCG.W the naming of journals and organizations : implications for names are chosen for technical journals for societies often incorporating factors which needlessly complicate filing and recovery. changes of name also appear to often ignore the effect on commonplace information retrieval procedures. factors considered include ease of memory retention, compatibility of wording and of layout of title pages with filing systems used in offices, libraries, and bibliographies..i 18.T state-of-the-art : remote interrogation of stored documentary material.a H. OHLMAN [...] # docid concept_type concept_id weight term 17 0 887 2.00000 the 17 0 1061 1.00000 implications 17 0 1763 1.00000 offices 17 0 1877 1.00000 effect 17 0 2802 1.00000 chosen 17 0 4112 1.00000 name 17 0 5991 1.00000 layout 17 0 8143 1.00000 information 17 0 9309 1.00000 changes 17 0 9654 1.00000 pages 17 0 10370 1.00000 organizations 17 0 12640 1.00000 also 17 0 13631 1.00000 incorporating 17 0 17726 1.00000 title 17 0 18494 1.00000 in 17 0 18943 1.00000 retention 17 0 19520 2.00000 filing 17 0 19903 2.00000 recovery 17 0 19911 1.00000 ease 17 0 20443 1.00000 technical [...] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 4 Le premier besoin d information de adi Le début du fichier ➍ adi/query.text :.I 1.W What problems and concerns are there in making up descriptive titles? What difficulties are involved in automatically retrieving articles from approximate titles? What is the usual relevance of the content of articles to their titles? [...] Jugements de pertinence Un extrait du fichier ➑ adi/qrels.text : # qid docid 1 17 0 0.000000 1 46 0 0.000000 1 62 0 0.000000 2 12 0 0.000000 2 71 0 0.000000 [...] Les mêmes informations à une syntaxe correcte pour trec eval : # qid docid relevance level 1 0 17 1 1 0 46 1 1 0 62 1 2 0 12 1 2 0 71 1 [...] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 5

Trois expériences sur la collection adi Trois runs : ➐ smart.nnn.nnn # qid docid score run name 1 0 16 0 56.0000 nnn.nnn 1 0 36 0 41.0000 nnn.nnn 1 0 1 0 39.0000 nnn.nnn 1 0 28 0 39.0000 nnn.nnn 1 0 58 0 39.0000 nnn.nnn 1 0 9 0 38.0000 nnn.nnn 1 0 24 0 37.0000 nnn.nnn 1 0 46 0 37.0000 nnn.nnn 1 0 15 0 34.0000 nnn.nnn... ➐ smart.lic.ann # qid docid score run name 1 0 69 0 0.4780 lic.ann 1 0 27 0 0.4526 lic.ann 1 0 47 0 0.3195 lic.ann 1 0 30 0 0.2820 lic.ann 1 0 19 0 0.2744 lic.ann 1 0 25 0 0.2508 lic.ann 1 0 37 0 0.2406 lic.ann 1 0 22 0 0.2305 lic.ann 1 0 46 0 0.2239 lic.ann... ➐ zettair # qid docid score run name 1 0 69 0 4.658154 zettair 1 0 46 0 3.451871 zettair 2 0 71 0 5.410110 zettair 2 0 69 0 4.658154 zettair 2 0 68 0 4.365011 zettair 2 0 35 0 3.736974 zettair 2 0 75 0 3.701425 zettair 2 0 64 0 3.615445 zettair 2 0 23 0 3.478283 zettair... M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 6 Évaluation des SRI En supposant une pertinence binaire et que le SRI est un système entrée-sortie (pas d interaction), on évalue sa capacité : à retrouver les documents pertinents ; à ne pas retourner les documents non pertinents. Précision et rappel Pert Retr Rappel = Pert Pert Retr P recision = Retr Un système retrouve des documents ➐. Les jugements de pertinence indiquent les documents pertinents ➑. Dans la liste triée, Rappel et P recision sont évalués à chaque rang en considérant l ensemble des documents retournés avant ce rang. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 7

Query 27 33 relevant documents 66 retrieved documents sorted by decreasing score 65 R= 0/33= 0.0% P= 0/1 = 0.0% + 48 R= 1/33= 3.0% P= 1/2 =50.0% + 30 R= 2/33= 6.1% P= 2/3 =66.7% 58 R= 2/33= 6.1% P= 2/4 =50.0% 67 R= 2/33= 6.1% P= 2/5 =40.0% + 22 R= 3/33= 9.1% P= 3/6 =50.0% 28 R= 3/33= 9.1% P= 3/7 =42.9% + 61 R= 4/33=12.1% P= 4/8 =50.0% + 11 R= 5/33=15.2% P= 5/9 =55.6% + 2 R= 6/33=18.2% P= 6/10=60.0% 52 R= 6/33=18.2% P= 6/11=54.5% 43 R= 6/33=18.2% P= 6/12=50.0% + 20 R= 7/33=21.2% P= 7/13=53.8% 50 R= 7/33=21.2% P= 7/14=50.0% + 8 R= 8/33=24.2% P= 8/15=53.3% + 41 R= 9/33=27.3% P= 9/16=56.2% 17 R= 9/33=27.3% P= 9/17=52.9% + 70 R=10/33=30.3% P=10/18=55.6% + 66 R=11/33=33.3% P=11/19=57.9% + 57 R=12/33=36.4% P=12/20=60.0% + 6 R=13/33=39.4% P=13/21=61.9%... COLL=adi.qrels RUN=zettair.adi.Q1.run precision (P) precision (P) 100 27 80 60 40 20 0 0 20 40 60 80 100 recall (R) COLL=adi.qrels RUN=zettair.adi.Q1.run 100 22 80 60 40 20 0 0 20 40 60 80 100 recall (R) M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 8 Interpolation - Extrapolation On veut une précision pour tout point de rappel (autrement dit une application) : interpolation entre 2 points extrapolation vers R=0% Les 11 points de rappel standard : de 0% à 100% par pas de 10%. COLL=adi.qrels RUN=zettair.adi.Q1.run 100 27 80 60 40 20 0 0 20 40 60 80 100 recall (R) precision (P) COLL=adi.qrels RUN=zettair.adi.Q1.run 100 22 80 60 40 20 0 0 20 40 60 80 100 recall (R) precision (P) M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 9

COLL=adi.qrels precision (P) 100 80 60 40 20 COLL=adi.qrels precision (P) 100 RUN=zettair.adi.Q1.run 0 0 20 40 60 80 100 80 60 40 20 recall (R) RUN=zettair.adi.Q1.run 0 0 20 40 60 80 100 recall (R) Tous les topics 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 tr.nnn.nnn tr.lic.ann zettair.adi.q1 0 0.2 0.4 0.6 0.8 1 M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 10 L outil trec eval L outil standard pour la construction des courbes rappel-précision est trec eval : http://trec.nist.gov/trec_eval/trec_eval.8.1.tar.gz En outre il fournit de nombreuses autres mesures : précision à 5, 10,..., 1000 documents ; R-Precision : précision à R (le nombre de documents pertinents pour le topic) bpref Reciprocal rank... M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 11

Quelques collections de test historiques (1/2) Disponibles sur ftp://ftp.cs.cornell.edu/pub/smart/. adi.all, 82 résumés d articles présentés à une rencontre de l American Documentation Institute en 1963, domaine des sciences de l information. cacm.all.z, 3 204 documents avec le titre et les liens de citations bibliographiques, domaine de l informatique. cisi.all.z, domaine des sciences de l information. med.all.z, domaine médical. npl.dat.z, électronique, informatique et physique. time/doc.text.z, dépêches. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 12 Quelques collections de test historiques (2/2) adi 36 K 82 docs titre auteurs résumé 35 requ. cacm 2.1 M 3204 docs titre auteurs citations 64 requ. cisi 2.3 M 1460 docs titre auteurs résumé citations 112 requ. cran 1.6 M 1400 docs titre auteurs résumé 225 requ. med 1.0 M 1033 docs résumé 30 requ. npl 3.1 M 11429 docs titre long 93 requ. time 1.5 M 425 docs dépêche 83 requ. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 13

Quelques outils Cf. http://www.emse.fr/~mbeig/ir/tools.html smart ftp://ftp.cs.cornell.edu/pub/smart/ mg (version 1.3g) http://www.nzdl.org/html/mg.html lucy/zettair http://www.seg.rmit.edu.au/zettair/ cheshire http://cheshire.lib.berkeley.edu/ dataparksearch engine http://www.dataparksearch.org/ lemur http://www.lemurproject.org/ lucene http://jakarta.apache.org/lucene/docs/index.html terrier http://ir.dcs.gla.ac.uk/terrier/ wumpus http://www.wumpus-search.org/ xapian http://www.xapian.org/ M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 14 La conférence TREC Trec est «la» campagne d évaluation annuelle de RI depuis 1992. 15ème édition en 2006. Le cycle : le NIST propose des tâches et fournit des documents et des «topics» aux participants ; chaque participant fait tourner son système sur ces données et fournit une liste de résultat pour chaque topic (1 000 premiers documents) (RUN ); évaluation des RUN au NIST, envoi des performances obtenues par chaque RUN. atelier en novembre au NIST. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 15

Les pistes (tracks) de TREC 1992 1993 1994 1995 1996 1997 Adhoc, Robust X X X X X X X X X X X Routing X X X X X X Filtering X X X X X X X X Interactive, HARD X X X X X X X X X X X X X Spanish X X X Chinese X X X (X,Y,Z) X X X X X X OCR X X Speech X X X X Video X X Now VidTREC VLC X X X X Web X X X X X X Terabyte X X X Enterprise X X Blog New Q&A X X X X X X X X Novelty X X X Genome X X X X X Legal New Spam detection X X 1998 1999 2000 2001 2002 2003 2004 2005 2006 M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 16 Questions sur les collections de test Critères sur le choix des documents? Représentativité par rapport à la tâche Diversité des sujets, du vocabulaire Texte intégral vs. résumé... Quels et combien de topics? Comment identifier les documents pertinents pour chaque topic? M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 17

Caractéristiques des documents de TREC Chaque piste a ses documents et ses propres topics (généralement 50). Documents issus de journaux et dépêches WSJ Wall Street Journal (1986 1992) 550 M 173252 docs AP Associate Press Newswire (1988 1989) 514 M 164597 docs ZIFF Ziff-Davis Publishing 493 M 132100 docs FR Federal Register (1988 1989) 469 M 45820 docs DOE abstracts from Dept. Energy reports 190 M 226087 docs Documents issus du Web VLC 1997 HTML 100 G WT2G extrait de VLC HTML 2 G WT10G extrait de VLC HTML 10 G.GOV extrait des sites.gov (2003) HTML, PDF, etc. 500 G W3C le site du W3C (2004) HTML, PDF, etc.? G Medline M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 18 Exemple de document <DOC> <DOCNO> WSJ870324-0001 </DOCNO> <HL> John Blair Is Near Accord To Sell Unit, Sources Say </HL> <DD> 03/24/87</DD> <SO> WALL STREET JOURNAL (J) </SO> <IN> REL TENDER OFFERS, MERGERS, ACQUISITIONS (TNM) MARKETING, ADVERTISING (MKT) TELECOMMUNICATIONS, BROADCASTING, TELEPHONE, TELEGRAPH (TEL) </IN> <DATELINE> NEW YORK </DATELINE> <TEXT> John Blair & Co. is close to an agreement to sell its TV station advertising representation operation and program production unit to an investor group led by James H. Rosenfield, a former CBS Inc. executive, industry sources said. Industry sources put the value of the proposed acquisition at more than $100 million.... </TEXT> </DOC> M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 19

Quelques statistiques sur les collections mots/doc mots/doc médiane moyenne CACM 2 M 3 204 docs 40.1 CISI 2 M 1 460 docs 104.9 WSJ-1 267 M 98 732 docs 245 434.0 AP-1 254 M 84 678 docs 446 473.9 ZIFF-1 242 M 75 180 docs 200 473.0 FR-1 260 M 25 960 docs 391 1315.9 DOE 184 M 226 087 docs 111 120.4 WSJ-2 242 M 74 520 docs 301 508.4 AP-2 237 M 79 919 docs 438 468.7 ZIFF-2 175 M 56 920 docs 182 451.9 FR-2 209 M 19 860 docs 396 1378.1 WT10G 10000 M 1 692 096 docs M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 20 Thème (Topic) Description d un besoin d information Donne des indications sur la pertinence Construit par un assesseur L assesseur qui crée le «topic» identifie(ra) les documents pertinents pour ce topic M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 21

Exempledetopic <top> <num> Number: 451 <title> What is a Bengals cat? <desc> Description: Provide information on the Bengal cat breed. <narr> Narrative: Item should include any information on the Bengal cat breed, including description, origin, characteristics, breeding program, names of breeders and catteries carrying bengals. References which discuss bengal clubs only are not relevant. Discussions of bengal tigers are not relevant. </top> Remarque : La requête doit être construite à partir du topic. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 22 Questions sur les topics Quelles et combien de topics? Impactdunombredetopics (C. Buckley et E. Voorhees [SIGIR 2000]) le nombre de topics doit être supérieur à 25 50 semble un bon compromis M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 23

Jugement de pertinence Comment identifier les documents pertinents pour chaque topic?pour juger 800 000 documents, il faut 6500 heures par topic, si un document est jugé en 30 secondes... TREC utilise la technique de pooling. Questions sur les jugements de pertinence Consistance La pertinence est subjective et change selon la personne. Que se passe-t-il si l on change les assesseurs? Etude d E. Voorhees [IPM 2000] Complétude Il existe des documents pertinents mais pas jugés Ces documents sont considérés NON pertinents Les systèmes qui n ont pas contribué aux jugements sont-ils pénalisés? Etude de Zobel [SIGIR 1998] M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 24 D autres initiatives NTCIR depuis 1997 sur documents en langues asiatiques (NII-NACSIS Test Collection for IR Systems) CLEFhttp://clef.iei.pi.cnr.it:2002/, créé en 2000, et destiné à l évaluation de RI multilingue (fr, en, es, it, de, g, sw, fi, etc.) Les documents ne sont accessibles qu aux participants. INEXhttp://www.is.informatik.uni-duisburg.de/projets/INEX03 lancée en 2002 pour la RI sur des documents structurés en XML. M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 25

Retour sur la méthodologie Qu est-ce qu un document pertinent? Traditionnellement, celui qui est jugé tel (par un expert) Plus proprement, celui qui aide l utilisateur à résoudre son problème La pertinence est-elle : binaire? indépendante du contexte? équivalente à l utilité? M. Beigbeder 2006/10/23 EARIA (Autrans) Évaluation des systèmes de recherche d information 26