Recherche d information textuelle

Dimension: px

Commencer à balayer dès la page:

Download "Recherche d information textuelle"

Floriane Guertin
il y a 8 ans
Total affichages :

1 Recherche d information textuelle Evaluation B. Piwowarski CNRS / LIP6 Université Paris 6 benjamin@bpiwowar.net Master IP Cours et travaux pratiques basés sur les documents de P. Gallinari et S. Lamprier (LIP6)

2 Evaluation en RI Problème difficile, pas de mesure absolue Critères de qualité d un système de RD efficacité de la recherche possibilités de formuler des requêtes riches outils de navigation dans la collection mise à jour et richesse du corpus Nombreuses mesures qui donnent des renseignements partiels sur le comportement du système 2

riches outils de navigation dans la collection mise à jour et richesse du corpus

3 Hypothèses Expériences type Cranfield un corpus (documents) un ensemble de requêtes Texte Description en langue naturelle des jugements sur les documents pour une requête. 3

4 Pooling Dans la pratique, il est impossible de juger tout Pooling Rang 10 = 50 documents Système 1 Système 2 Système n Rang 20 = 120 documents Rang 30 = 200 documents 4

5 Evaluation en IR : mesures de rappel - précision Rappel à r: r ( q) = # documents pertinents découverts # documents pertinents dans la collection ) ( = q p r Précision à r: # documents pertinents découverts # documents decouverts r : nombre de documents inspectés par l utilisateur parmi les doc. fournis par le système, i.e. les r premiers de la liste Valeurs typiques, 5, 10, 20, 25, 100,

pertinents découverts # documents decouverts r : nombre de documents inspectés par l utilisateur

6 Précision - exemple + : pertinent Liste 1 Liste 2 Liste 3 - Non pertinent d1 (+) d4 (-) d4 (-) d2 (+) d5 (-) d1 (+) d3 (+) d6 (-) d2 (+) d4 (-) d1 (+) d5 (-) d5 (-) d2 (+) d6 (-) d6 (-) d3 (+) d3 (+) p /3 p Precision moyenne non interpolée Precision moyenne interpôléee 11 points

(-) d5 (-) d2 (+) d6 (-) d6 (-) d3 (+) d3 (+) p 3 1 0 2/3 p 6 0.5 0.

7 Précision - exemple Précision moyenne non interpolée Moyenne de la precision pour l ensemble des docs pertinents de la liste Précision moyenne interpolée La précision est calculée à différents niveaux de rappel (0%; 10%, 20%, 100%) Si la précision remonte après le point de rappel i, on prend la valeur de précision la plus forte rencontrée après le point i (interpolation) 7

différents niveaux de rappel (0%; 10%, 20%, 100%) Si la précision remonte après le point de

8 Evaluation en RI Autres mesures d évaluation MAP = 1 NX r k precision(k) N F mesure F = k=1 1 1 R +(1 ) 1 P 8

9 Gain cumulé normalisé Utilisé dans le cadre de la recherche Web Utilise une information de pertinence graduée (5 niveaux) Mesure le gain d information apporté par un document en fonction de sa position dans la liste des résultats Pour la RI Web seules les premières informations présentées sont importantes Hypothèses Les documents pertinents sont plus utiles quand ils apparaissent à un rang élevé. Les documents très pertinents sont plus utiles que les peu pertinents qui sont plus utiles que les non pertinents. 9

premières informations présentées sont importantes Hypothèses Les documents pertinents sont plus utiles quand ils apparaissent à

10 Gain cumulé Cumulative Gain (CG) (Ancêtre de DCG) CG au rang p p CG p = rel i i= 1 Où rel i est la pertinence graduée du doc i Ne tient pas compte de l ordre des documents Discounted Cumulative Gain (DCG) Prise en compte de l ordre des documents par une fonction décroissante du rang DCG Autres formulations possibles p = rel 1 + p reli log ( i) i=

Discounted Cumulative Gain (DCG) Prise en compte de l ordre des documents par une

11 DCG normalisé Pour moyenner DCG sur un ensemble de requête, on calcule une version normalisée NDCG On suppose que l on dispose d une liste idéale de résultats dont le DCG p vaut IDCG p ndcg = p DCG IDCG p p On moyenne ensuite sur l ensemble des requêtes Liste idéale = liste ordonnée par gain décroissant 11

résultats dont le DCG p vaut IDCG p ndcg = p DCG IDCG p p On moyenne ensuite

12 Conclusion Beaucoup d autres mesures existent : Temps Modèles utilisateurs Autres types de recherche (ex. semi-structurée) 12

Documents pareils

Recherche d information textuelle

Recherche d information textuelle Recherche Web B. Piwowarski CNRS / LIP6 Université Paris 6 benjamin@bpiwowar.net http://www.bpiwowar.net Master IP - 2014-15 Cours et travaux pratiques basés sur les documents