Recherche d informa/ons. Par/e 2

Transcription

1 Recherche d informa/ons Par/e 2

2 Plan Modèles (suite) Vectoriel (Rappel) Probabiliste (Rappel) Relevance Feedback Evalua/on des SRI

3 Modèle vectoriel (rappel) Idée de base : Représenter les documents et les requêtes sous forme de vecteurs dans l espace vectoriel engendré par tous les termes de la collec/on de documents : T = {t 1, t 2, t i,, t M } (un terme = une dimension) Document : d j = (w 1j, w 2j,, w Mj ) Requête : q= (w 1q, w 2q,, w Mq )

4 Exemple: D1= 2T1+ 3T2+ 5T3 D2= 3T1+ 7T2+ T3 Q = 0T1+ 0T2+ 3T3 Modèle vectoriel (rappel) La per/nence est traduite en une similarité vectorielle : un document est d autant plus per/nent pour une requête que le vecteur associé est similaire à celui de la requête.

5 Modèle probabiliste Pourquoi les probabilités? La RI est un processus incertain et imprécis Incer/tude dans la représenta/on des informa/ons Imprécision dans l expression des besoins La théorie de la probabilité semble adéquate pour quan/fier (pour mesurer) l incer/tude et l imprécision

6 Modèle probabiliste Suppose que la recherche se déroule lors d une «session de recherche» (plusieurs itéra/ons) Consiste à «es/mer» la per/nence d'un document en fonc/on de per/nences connues pour d'autres documents. Ce calcul se fait en es/mant la per/nence de chaque index pour un document et en u/lisant le Théorème de Bayes et une règle de décision 6

7 Modèle probabiliste Processus de classifica/on : Pour un requête q Documents pertinents rel CORPUS avec Corpus = rel nonrel rel nonrel = Documents non pertinents nonrel P(pertinence q document D j ) notée Prob(rel D j ) Probabilité pour que le document j fasse partie de l ensemble des documents pertinents pour la requête q

8 Modèle probabiliste Fonc/on de correspondance : On ne sait pas calculer P(rel d), mais on peut calculer P(d rel) U/lisa/on du théorème de Bayes Probabilité d obtenir d j en connaissant les pertinents Probabilité d'obtenir un document per/nent en piochant au hasard P(rel d j ) = P(d j rel) P(rel) P(d j ) Probabilité pour que le document i soit pertinent pour la requête q Probabilité que le document soit choisi au hasard 8

9 Modèle probabiliste Fonc/on de correspondance Calcul de P(d rel) Hypothèse d indépendance des termes P(d j rel) = N i=1 P(t i d j rel) Pour es/mer les probabilités sur les termes, on u/lise des requêtes déjà résolues (appren/ssage) et des pondéra/ons Décision : document retourné si P(rel d j ) / P(nonrel d j ) > 1 9

10 Modèle probabiliste : avantages et Avantages : inconvénients Appren/ssage du besoin d informa/on La fonc/on d'appariement permet de trier les documents Inconvénients : Le modèle considère que tous les termes sont indépendants (inconvénient théorique) Pas de langage de requête! Problème des probabilités ini/ales Résultats comparables à ceux du modèle vectoriel

11 Plan Modèles (suite) Vectoriel (Rappel) Probabiliste (Rappel) Relevance Feedback Evalua/on des SRI

12 Relevance feedback «Bouclage de per/nence» Idée : l u/lisateur peut montrer ce qui est per/nent pour lui même s il ne peut pas l exprimer explicitement But : modifier la représenta/on de la requête pour la rapprocher des documents per/nents

13 Relevance Feedback Processus itéra/f visant à apprendre le besoin d informa/on (ie : modèle probabiliste) Mise en œuvre : L'u/lisateur visualise les n premiers résultats Il es/me la per/nence de chacun (0 ou 1) Nouvelle requête obtenue à par/r des documents jugés per/nents et non per/nents

14 Relevance Feedback Adapta/on au modèle vectoriel : formule de Rocchio

15 Exemple Relevance Feedback

16 Plan Modèles (suite) Vectoriel (Rappel) Probabiliste (Rappel) Relevance Feedback Evalua9on des SRI

17 Evalua/on des SRI Comparer les systèmes de manière théorique (via leur modèle) est un problème non- résolu, on passe donc par des évalua/ons empiriques en testant les résultats d un système par rapport aux réponses idéales ajendues. 17

18 Evalua/on des SRI Objec/f de la RI : Rapprocher per/nence système et u/lisateur Ensemble des documents trouvés, pertinents pour le système : R Ensemble des documents convenant à l utilisateur: P Ensemble des documents du corpus : C Ensemble des documents retrouvés et convenant à l utilisateur, pertinents pour le système et l utilisateur : P R

19 Evalua/on des SRI Les critères essen/els sont : Le rappel : capacité du système à fournir en réponse tous les documents per/nents La précision : capacité du système à ne fournir que des documents per/nents en réponse. Ces deux critères sont antagonistes dans la réalité 19

20 Evalua/on des SRI Rappel Le rappel est le rapport du nombre de documents trouvés par le système et convenant à l u/lisateur au nombre total de documents convenant à l u/lisateur R P R P C 20

21 Evalua/on des SRI Précision La précision est le rapport du nombre de documents trouvés par le système et convenant à l u/lisateur au nombre de documents retrouvés par le système R P R P C 21

22 Evalua/on des SRI Pour une requête et un système : 2 valeurs réelles Exemple : un système retourne 5 documents, parmi lesquels 3 sont per/nents, sachant qu il y a 10 documents per/nents dans le corpus : Rappel = 3 / 10 Précision = 3 / 5 Il faut des analyses plus fines des résultats Courbes de rappel/précision 22

23 Evalua/on des SRI Courbes de rappel/précision Comparaison de 2 systèmes S1 et S2 Précision 1 S 1 S 2 - S 1 est meilleur que S 2 en précision et en rappel 0 1 Rappel 23

24 Evalua/on des SRI Courbes de rappel/précision Représente l évolu/on de la précision et du rappel avec des résultats triés Méthode : Pour chaque document retrouvé, on calcule la précision et le rappel obtenus en considérant seulement le premier document comme réponse, puis les deux premiers, puis les trois premiers etc., jusqu'à la réponse totale du système. 24