Recherche - Évaluation

Transcription

1 Recherche - Évaluation Rappels des épisodes précédents Extraction d Information dans les textes I xavier.tannier@limsi.fr Les acteurs de la Recherche d'information Recherche d'information Collection : un ensemble de documents Collections dynamiques vs. statiques Indexation (modèle de document) Utilisateur : un besoin d'information et/ou une tâche à accomplir Les systèmes de RI doivent pouvoir traiter : De grandes masses d'information En langage naturel (et créée pour des humains) De façon rapide et pertinente Requête Modèle de recherche Évaluation 4

2 Rien ne sert de courir; il faut partir à point : Le lièvre et la tortue en sont un témoignage. «Gageons, dit celle-ci, que vous n'atteindrez point Sitôt que moi ce but. - Sitôt? Êtes-vous sage? Repartit l'animal léger : Ma commère, il vous faut purger Avec quatre grains d'ellébore.) - Sage ou non, je parie encore." Ainsi fut fait; et de tous deux On mit près du but les enjeux : Savoir quoi, ce n'est pas l'affaire, Ni de quel juge l'on convint. Notre lièvre n'avait que quatre pas à faire, J'entends de ceux qu'il fait lorsque, prêt d'être atteint, Il s'éloigne des chiens, les renvoie aux calendes, Et leur fait arpenter les landes. Ayant, dis-je, du temps de reste pour brouter, Pour dormir et pour écouter D'où vient le vent, il laisse la tortue Aller son train de sénateur. Elle part, elle s'évertue, Elle se hâte avec lenteur. Lui cependant méprise une telle victoire, Tient la gageure à peu de gloire, Croit qu'il y a de son honneur De partir tard. Il broute, il se repose, Il s'amuse à toute autre chose Qu'à la gageure. A la fin, quand il vit Que l'autre touchait presque au bout de la carrière, Il partit comme un trait; mais les élans qu'il fit Furent vains : la tortue arriva la première. "Eh bien! lui cria-t-elle, avais-je pas raison? De quoi vous sert votre vitesse? Moi l'emporter! et que serait-ce Si vous portiez une maison?" Construction de l index : vue générale Fichier inverse DOCUMENTS TERMES Rien ne sert de courir il faut partir à point INDEX TEXTE TERMES NORMALISÉS rien courir partir sert faut point 5 6 Sac de mots tf.idf Modèles «sac de mots» pour l indexation et la recherche : On oublie l ordre des mots On raisonne en termes de présence / absence des termes dans un document, ou en terme de fréquence de ces termes Intuition # : plus un document contient d'occurrences d'un terme, plus il est "à propos" de ce terme Intuition #2 : des termes très fréquents dans tous les documents ne sont pas si importants (ils sont moins discriminants) Le poids d un terme (tf.idf) est la combinaison de ces deux intuitions pour rendre compte du caractère discriminant d un terme dans un document, =, =, (ou sa variante) 7 8

3 Proposition temporaire de similarité Proposition pour le score de similarité d un document D en fonction d une requête Q, =, On ne la conservera pas! Du modèle booléen aux modèles à listes de résultats ordonnés 9 Modèles de recherche : les trois courants Modèles fondés sur la théorie des ensembles Modèle booléen Modèles algébriques Modèle vectoriel Modèles probabilistes Modélisation de la notion de "pertinence" Courants fondés à l'aube de la discipline (années 60, 70) Passage à l'échelle : des bases documentaires "jouets" au téraoctet de TREC et au Web Modèle booléen Le premier et le plus simple des modèles Basé sur la théorie des ensembles et l'algèbre de Boole Les termes de la requête sont soit présents soit absents Poids binaire des termes, 0 ou Un document est soit pertinent soit non pertinent Pertinence binaire, et jamais partielle (modèle exact) La requête s'exprime avec des opérateurs logiques AND, OR, NOT (cyclisme OR natation) AND NOT dopage le document est pertinent si et seulement si son contenu respecte la formule logique demandée 2

4 Modèle booléen : exemple Requête Q : (cyclisme OR natation) AND NOT dopage Le document contient cyclisme natation cyclisme OR natation dopage NOT dopage Pertinence du document Modèle booléen : avantages et inconvénients Avantages : Le modèle est transparent et simple à comprendre pour l'utilisateur : Pas de paramètres "cachés" Raison de sélection d'un document claire : il répond à une formule logique Adapté pour les spécialistes (vocabulaire contraint) Inconvénients : Il est difficile d'exprimer des requêtes longues sous forme booléenne Le critère binaire peu efficace Il est admis que la pondération des termes améliore les résultats cf. modèle booléen étendu Il est impossible d'ordonner les résultats Tous les documents retournés sont sur le même plan L'utilisateur préfère un classement lorsque la liste est grande 3 4 Extensions possibles Opérateurs d'adjacence ou de proximité : «base NEAR données» Nécessite la conservation des positions des mots dans les documents Pondération des mots-clés «JO AND Pékin AND (natation:3 OR cyclisme:4 OR athlétisme:2)» Permet un classement des résultats, mais selon des préférences exprimées par l'utilisateur Voir aussi plus loin le modèle booléen étendu Vers des listes ordonnées de résultats La plupart des utilisateurs : ont du mal à écrire des requêtes booléennes ne veulent pas parcourir trop de résultats (des milliers, voire des millions) On préfère donc des listes ordonnées Du plus utile à l utilisateur (pertinent) au moins utile Le nombre de résultats n est plus un problème L utilisateur en parcourt autant qu il le souhaite La condition : avoir un algorithme d ordonnancement efficace Modèle statistique : Aspect quantitatif des termes et des documents Degré de similarité entre une requête et un document 5 6

5 Modèle vectoriel Modèle vectoriel Mesure de similarité : Plus deux représentations contiennent les mêmes éléments, plus la probabilité qu elles représentent la même information est élevée. Documents et requête sont représentés par un vecteur Les coordonnées du vecteur sont exprimées dans un espace euclidien à n dimensions (n : nombre de termes) La longueur du vecteur (i.e. de sa projection sur chacun des axes/termes) est proportionnelle au poids des termes. La pertinence du document correspond au degré de similarité entre le vecteur de la requête et celui du document On ordonne les documents du plus similaire à la requête au moins similaire 8 Modèle vectoriel Quelle mesure de similarité? t 3 Distance euclidienne? Produit scalaire? Requête Q : t t 2 t 3 Document D : t t D Q t 2 D Q t 2 D Q Poids w D,t = 0.45 Poids w D,t3 = 0.80 t t D 3 D 2 D 4 t D 3 D 2 sim, D 4 = =,, t Une mauvaise idée Pourquoi? 9 20

6 Quelle mesure de similarité? La solution : travailler avec l angle entre les vecteurs t 2 D Q D 3 D 2 D 4 Cosinus sim, = =,, ², ², Autres mesures : Dice Jaccard Quelle mesure de similarité? Q, D = Q, D = + t (Le produit scalaire avec normalisation de la longueur des vecteurs) Quelle est la contribution d un terme isolé? Overlap Q, D =,, 2 22 Modèle vectoriel résumé Modèle vectoriel : avantages et inconvénients Avantages : Le langage de requête est plus simple (liste de mot-clés) Les performances sont meilleures grâce à la pondération des termes Le renvoi de documents à pertinence partielle est possible La fonction d'appariement permet de trier les documents Inconvénients : Le modèle considère que tous les termes sont indépendants (inconvénient théorique) Le langage de requête est moins expressif L'utilisateur voit moins pourquoi un document lui est renvoyé À retenir pour le 23 projet! Le modèle vectoriel est le plus populaire en RI 24

7 Modèle probabiliste (/4) Autres modèles Estimation de la probabilité de pertinence d'un document par rapport à une requête Probability Ranking Principle (Robertson 77) R : D est pertinent pour Q R : D n'est pas pertinent pour Q Le but : estimer variables indépendantes, deux ensembles de documents séparés P(R/D) : probabilité que le document D soit contienne de l'information pertinente pour Q P( R/D) si D D > ou si log D D > 0 alors D est pertinent 26 Rappel du théorème de Bayes : Modèle probabiliste Modèle probabiliste En utilisant l'hypothèse d'indépendance des termes : P( A/ B) P( B / A) P( A) P( B) P( D / R) n i P( t D / R) i On ne sait pas calculer P(R/D), mais on peut calculer P(D /R) Probabilité d'obtenir D en connaissant les pertinents Pour estimer les probabilités sur les termes, on peut utiliser des requêtes déjà résolues (apprentissage) puis des pondérations P( R / D) P( D / R) P( R) P( D) Probabilité d'obtenir un document pertinent en piochant au hasard Probabilité de piocher D au hasard Exemple (système Okapi) : le tf.idf la longueur du document la longueur moyenne des documents 27 28

8 Modèle probabiliste : conclusion Deux modèles phares : 2-poisson Okapi Autres modèles de type probabiliste : Réseaux bayésiens Modèle de langage Conclusion : Problème des probabilités initiales Termes indépendants Résultats comparables à ceux du modèle vectoriel Modèle booléen étendu Idée : permettre l'utilisation des opérateurs logiques tout en proposant une pertinence graduée Combinaison des modèles booléen et vectoriel Utilisation de la pondération des termes dans un document (tf.idf) Comme dans le modèle vectoriel, positionnement des documents dans un espace euclidien dont les axes sont les termes de la requête Calcul de la distance entre les coordonnées du document et : les coordonnées idéales (requête ET) les coordonnées nulles (requête OU) Modèle booléen étendu : exemple (/2) Modèle booléen étendu : exemple (2/2) t OR t 2 t AND t 2 Requête Q : t AND/OR t 2 Document D :... t... t 2... t 2 (,) t 2 (,) t 2 (,) poids w D,t = 0.75 poids w D,t2 = 0.65 y y 2 0,65 0,5 D2 D y y 2 0,65 0,5 D2 D y y 2 0,65 0,5 D2 D Document D2 :... t... t 2... poids w D2,t = 0.25 poids w D2,t2 = 0.50 (0,0) 0,25 0,75 x 2 x t (0,0) 0,25 D,Q OR x 2 x 0,75 = + 2 t (0,0) D,Q AND x 2 x 0,25 0,75 = + 2 t 3 32

9 Modèle booléen étendu : formule finale D,Q OR =.. D,Q AND = avec : c les coordonnées des mots m le nombre de termes de la requête p.. p = modèle booléen classique p = 2 exemple précédent Autres modèles algébriques Modèle vectoriel généralisé Représente les dépendances entre termes Théoriquement intéressant, mais efficacité non démontrée Latent Semantic Indexing Propose d'étudier les "concepts" plutôt que les termes, car ce sont eux qui relaient les idées d'un texte. Lie les documents entre eux et avec la requête Permet de renvoyer des documents ne contenant aucun mot de la requête Moins de dimensions Réseaux de neurones Pour aller plus loin... Quelques outils lucy/zettair cheshire dataparksearch engine lemur lucene (et solr) terrier wumpus xapian (Dominik Kuropka 04) liste et liens sur

10 Relevance feedback (/2) Relevance feedback "Réinjection de la pertinence" Hypothèse : la requête initiale de l'utilisateur n'est pas la requête idéale pour obtenir les documents qu'il cherche But : déplacer le vecteur de la requête pour la rapprocher des documents pertinents documents non pertinents documents pertinents Q Q' 38 Relevance feedback (2/2) Relevance feedback : formule de Rocchio "Manuel explicite" : L'utilisateur visualise les n premiers résultats Il estime la pertinence de chacun (0 ou ) Nouvelle requête obtenue à partir des documents jugés pertinents et non pertinents =α+β+γ moyenne des vecteurs des documents non pertinents valeur négative (ex : -0,25) Automatique (blind relevance feedback) : Les n premiers résultats du premier run sont supposés pertinents Même processus que pour le relevance feedback manuel (sans les documents non pertinents) moyenne des vecteurs des documents pertinents valeur positive (ex : 0.5) vecteur requête initial valeur positive supérieure aux autres (ex : ) nouveau vecteur requête 39 40

11 Formule de Rocchio : exemple =α+β+γ = 5,0,3,0, = 2,,2,0,0 =D Divers =,0,0,0,2 =D =+ cosinus D D2 = 5.75,0.5,4,0,0.5 Q 0,90 0,53 Q2 0,95 0, Recherche multimédia Texte et/ou image et/ou audio et/ou vidéo... Des collections très volumineuses : ex : collection Wikipédia pour INEX 4.6 Go en texte seul, 60 Go avec les images Documents structurés (MPEG-7...) Utilisation : des métadonnées du texte "environnant" les images (légende, point de référence...) des caractéristiques propres des documents autres que le texte : Analyse d'image Speech-to-text... Quels résultats présenter? Il est inutile et coûteux de présenter trop de résultats Où s'arrêter? Un seuil : Fixe Difficile à trouver Risque de ne rien présenter Fonction du meilleur score Quelle signification? Comportement variable Augmentation brutale de la pente La méthode du «coude» cosinus rang 43 44

12 Expansion de la requête Ajouter des mots pertinents à la requête initiale et les pondérer efficacement Les thesaurus «manuels» Expansion de la requête Méthodes pour palier les problèmes liés au langage naturel «bateau» ne ramène pas le mot «navire» «thermodynamique» ne ramène pas «chaleur» «félin» ne ramène pas «chat» Le relevance feedback sert aussi à ça (en partie) Pourquoi? Les thesaurus automatiques (voir page suivante) L analyse des logs de requêtes Génération automatique de thesaurus Fondée sur la similarité entre deux mots Co-occurrence de deux mots : deux mots qui apparaissent fréquemment ensemble possèdent une relation sémantique entre eux Ex: «location» et «appartement» Conduit à des relations sémantiques non spécifiées Co-occurrence des contextes : deux mots sont similaires s ils cooccurrent avec des mots similaires Ex: «bateau» et «navire», «chat» et «félin», mais aussi «chat» et «chien», «PS» et «UMP», etc. Conduit plutôt à des relations lexicales de synonymie ou hyperonymie, mais peut également être plus large Possibilité d utiliser les relations syntaxiques également Génération automatique de thesaurus chat animal de compagnie, siamois, client IRC, persan, chien, télévision TV, séries, programme, radio, images, Expansion de requêtes à base de thesaurus : Ajouter les mots jugés similaires à la requête Éventuellement, donner des pondérations en fonction du niveau de similarité Quand s arrête-t-on d étendre la requête? Quels sont les effets de ces expansions de requêtes sur la précision et le rappel? 47 48

13 Recherche d'information Évaluation Collections dynamiques vs. statiques Indexation (modèle de document) Modèle de recherche Évaluation Requête 50 Qu est-ce qu un bon moteur de recherche? Il est rapide! Une analyse rapide de la requête Une recherche rapide dans l index Un tri rapide des résultats Il est complet et à jour! Tous les (ou de nombreux) documents de la collection sont traités Les nouveaux documents sont incorporés rapidement aux résultats Une construction rapide de l index (sur le Web) Une découverte permanente, efficace et rapide des nouveaux documents Qu est-ce qu un bon moteur de recherche? Son langage de requêtes est simple et expressif Ces notions dépendent des types d utilisateurs Un modèle de recherche et d indexation approprié Son interface est sympa De nombreuses recherches dans ce domaine Il est gratuit ou pas cher Les moteurs de recherche (sur le Web mais pas seulement) sont un enjeu économique très important (et il faut trouver des recettes) 5 52

14 Qu est-ce qu un bon moteur de recherche? Mais surtout il est pertinent! Ses résultats doivent satisfaire le besoin d information de l utilisateur Mais ce point est plus difficile à mesurer Il n est pas indépendant des autres points (la satisfaction de l utilisateur dépend de l ensemble des critères) Ce point dépend des utilisateurs Les humains sont subjectifs Ils ont leurs propres connaissances Ils ont des besoins différents qui n apparaissent pas toujours dans leur expression de ces besoins Comment mesurer la pertinence? Un moteur sur le Web L utilisateur clique sur certains liens et pas sur d autres L utilisateur retourne sur le moteur L utilisateur effectue une certaine tâche Un site de e-commerce L utilisateur achète (mais alors de qui mesure-t-on la satisfaction?) Il achète vite Une forte proportion de visiteurs achètent Un site d entreprise L utilisateur gagne-t-il en productivité? L accès est-il sécurisé? Etc Qu est-ce qu une bonne évaluation? Évaluer un système sert à : Savoir s il remplit la tâche assignée Savoir s il est meilleur que la concurrence Savoir où on peut l améliorer Il faut donc une évaluation : Reproductible Pour évaluer plusieurs systèmes de la même façon Pour estimer les progrès accomplis Interprétable Pour identifier les zones de progrès possible Rapide Pour pouvoir évaluer chaque modification du système indépendamment Objective Comment rendre la pertinence objective? Rappel : Le besoin de l utilisateur est d abord transformé en requête, ce qui comporte déjà une perte d information. On mesure la pertinence des résultats par rapport au besoin d information initial, pas par rapport à la requête! (ex: «java») Des résultats peuvent être «très pertinents», «pas du tout pertinent», mais aussi «un peu pertinents», «moui» ou «je le savais déjà» Pour rendre la pertinence objective : On en simplifie la définition Les documents sont traités indépendamment les uns des autres La pertinence est transformée en notion binaire On utilise des «collections de test» 55 56

15 Collections de test Évaluation : précision et rappel La collection de test rend les expériences reproductibles Documents renvoyés ET pertinents On met au point un protocole On juge manuellement un nombre significatif d exemples «Gold standard» Une partie peut également servir d ensemble de «développement» et/ou d «apprentissage» On calcule un accord inter-annotateurs Pour valider le caractère objectif On compare les résultats du système aux résultats attendus On définit des mesures imparfaites mais précises Précision Rappel silence PS S PS P Documents pertinents P Silence - Rappel Bruit - Précision Retour du système S bruit Précision et rappel Courbe rappel/précision Pourquoi pas juste la précision? La précision évalue la capacité d un système à renvoyer SURTOUT des documents pertinents Renvoyer un seul document pertinent suffit à obtenir 00 % de précision Ce n est pas compatible avec la satisfaction de l utilisateur! Le rappel augmente bien sûr avec le nombre de réponses La précision diminue (en général) On utilise la courbe rappel/précision pour caractériser les systèmes de recherche d'information Pourquoi pas juste le rappel? Le rappel évalue la capacité d un système à renvoyer TOUS les documents pertinents Renvoyer tous les documents de la collection permet d obtenir 00 % de rappel Ce n est pas compatible avec la satisfaction de l utilisateur! 0,8 0,6 0,4 0,2 0,,2,3,4,5,6,7,8,

16 Évaluation : F-mesure Pour obtenir une valeur unique entre 0 et, on utilise la F-mesure (moyenne harmonique) F 2 ( ) P R avec ( ) P R 2 p R 2 Pour donner autant d'importance à la précision qu'au rappel, on choisit = F 2P. R P R < favorise la précision, > favorise le rappel Évaluation : autres mesures MAP (Mean Average Precision) : aire sous la courbe R/P P@5, P@0 : précision après 0 documents retrouvés favorise la haute/très haute précision P@00,... Taux d'erreur = (faux positifs + faux négatifs) / pertinents et de nombreuses autres... MAP 6 62 Le pooling (/3) Le pooling (2/3) Problème du rappel dans les collections importantes Le rappel impose en théorie de connaître tous les documents pertinents Impossible en pratique Le pooling : Une fusion "intelligente" des résultats Les n premiers documents produits par les systèmes sont fusionnés (n = 00 ou plus) Seuls ces documents sont jugés par les experts humains Les documents non jugés sont considérés comme non pertinents Le calcul du rappel fait comme si tout avait été jugé L accord inter-annotateurs est d'environ 80% Au mieux 50 à 70 % des documents pertinents seraient retrouvés par cette méthode (Zobel 98) Le biais qui en résulte : Le rappel est surévalué La précision est sous-évaluée Les systèmes "originaux" qui s'entraînent sur ces collections peuvent être pénalisés Mais : Le biais est faible s'il y a suffisamment de requêtes et de systèmes L'évaluation "relative" (comparaison entre systèmes) reste valable On n'a pas le choix 63 64

17 Le pooling (3/3) Campagnes d'évaluation TREC (Text REtrieval Conference) : Documents pertinents Documents pertinents pooling Précision perdue Retour du Système Événement phare du domaine, tous les ans depuis 992 Sponsorisée par la DARPA De nombreux axes de recherche : Multimédia : image, vidéo, Web Types de recherche spécifiques : questions-réponses, interactif, filtrage, "cross-language", "home page«domaines spécifiques : génomique, légal Modes d'expression spécifiques : blogs, spams... CLEF (Cross-Language Evaluation Forum), spécialisée dans les langages européens NTCIR, spécialisée dans les langages asiatiques Influence de la normalisation Quelle est l influence des techniques de normalisation sur la précision et le rappel? Retour sur la normalisation Utilisation des mots vides Lemmatisation Racinisation Quelle peut être l influence d autres techniques sur la précision et le rappel? Ajout de synonymes? Utilisation de la syntaxe des phrases? Requête 68