Faculté des sciences. DEA d'informatique. Coopération dans les sciences de traitement de l'information. Année universitaire 2005/2006

Transcription

1 No : / 2006 Unversté lbanase Faculté des scences Unversté Paul Sabater I.R.I.T. DEA d'informatque Coopératon dans les scences de tratement de l'nformaton Année unverstare 2005/2006 Reformulaton de requêtes dans un modèle de réseau possblste pour la recherche d nformaton Préparé par Hassan CHOUAIB Responsable(s) Mohand BOUGHANEM Jury Dr. Blal Chbaro Dr. Al Awada Dr. Kabalan Barbar

2 REMERCIEMENTS Je tens à remercer très sncèrement Monseur Mohand BOUGHANEM Professeur à l unversté Paul Sabater de Toulouse, pour m avor encadré, pour ses consels udceux et sa dsponblté. Qu l sot assuré de ma profonde grattude. Je tens à adresser mes remercements à : Monseur Jean-Paul Bahsoun, Professeur à l Unversté Paul Sabater à Toulouse et drecteur de l UFR MIG de Toulouse. Monseur Blal Chebaro, Docteur à l Unversté Lbanase, pour son encadrement durant mon stage au Lban, sa patence, ses remarques et ses consels. Tous les membres de l équpe SIG de l IRIT, pour leur sympathe, leur gentllesse, leur compétence et leurs qualtés humanes. Enfn, adresse mes remercements à mes parents pour leur souten moral, leur encouragement et leur sacrfce.

3 Résumé Mots clés : système de recherche d nformaton, rénecton de pertnence(relevance Feedback), théore de possblté, modèle possblste pour la recherche d nformaton,modèle de Roccho. Résumé : Ce traval s nscrt dans le cadre de la reformulaton de requêtes pour les systèmes de recherche d nformaton. En effet nous avons aouté un processus de reformulaton de requête au modèle de réseaux possblstes. Ce modèle modélse la pertnence en défnssant deux aspects de la pertnence d un document étant donnée une requête : la pertnence nécessare et la pertnence possble. Les documents préfères et resttués en haut de lste sont les documents nécessarement pertnents. Alors nous avons profté de la double valeur de pertnence et des ugements de l utlsateur pour trouver les melleurs termes à aouter dans la requête ntale. Des expérmentatons sur la collecton de test WT0g montrent l ntérêt de notre approche.

4 Abstract Key Words: Informaton Retreval System, relevance feedback, theory of possblty, possblstc model for nformaton retreval, Roccho model Abstract: Ths work les wthn the scope of the reformulaton of requests for nformaton retreval system. We added a process of reformulaton of request to the possblstc network model. Ths model defnes two aspects of the relevance of a document beng gven a request: relevance necessary and possble relevance. Then we benefted from the double value of relevance and the udgments of the user to fnd the best terms to be added n the ntal request. Experments on the collecton of WT0g test show the nterest of our approach.

5 TABLE DE MATIERES TUINTRODUCTION GENERALEUT... T CHAPITRE PRINCIPE DE LA RECHERCHE D'INFORMATION U.- IntroductonU... 4 U.2- Notons de baseu... 4 U.3- Concepts clés de la recherche d nformaton (RI):U... 4 U.4 - Prncpaux modèles de recherche d nformaton :U... 5 U.4.- Le modèle booléenu... 5 U.4.2-Modèle Booléen basé sur des ensembles flousu... 6 U.4.3-Le modèle vectorel (Vector Space Model)U... 8 U.4.4- Le modèle probablste :U... 9 U PrncpeU... 0 U Hypothèse d ndépendance et le modèle de recherche ndépendantu... U.4.5- Le modèle BNR (modèle RI basé sur les réseaux Bayésens)U... 3 U.4.5.-Archtecture générale du modèleu... 3 U Estmaton des dstrbutons de probabltéu... 4 U.4.6- Le modèle possblsteu... 5 U.4.6.-Archtecture générale du modèleu... 6 U Evaluaton de la requêteu... 6 U Agrégaton des termes de la requêteu... 8 U Pondératon des termes d ndexatonu... 9 U possblté a pror des documentsu U.5- ConclusonU... 2 CHAPITRE 2 LES TECHNIQUE DU "RELEVANCE FEEDBACK", ETAT DE L'ART U2.- IntroductonU U2..- Motvaton de la technque du RFU U2.2- PrncpesU... 24

6 U2.3- Les prncpales technques du RF.U Ua- La technque du RF sem-automatqueu Ub- La technque de RF automatqueu U2.4- RF et modèles de rechercheu U2.4.- La procédure de RFU U Les technques de RF basées sur le modèle vectorelu U Le modèle RocchoU U Le modèle IdeU U Les technques de RF dans le modèle probablste :U U Les technques de RF dans le modèle BNRU... 3 U2.5- ConclusonU CHAPITRE 3 CONTRIBUTION ET REALISATION U3. IntroductonU U3.2- MotvatonU U3.3- Relevance feedback possblsteu U3.3.- Défnton de la foncton FU U Formules basées sur la nécessté de termes ( U N T / D ) U)U ( U Formules basées sur la possblté de termes ( U Π T / D ) U)U ( U Formule basée sur la possblté et la nécesstéu U3.4- ExempleU U3.4.-Tableau de pertnences pour chaque termeu U3.4.2 Chox des nouveaux termesu U3.5- ConclusonU CHAPITRE 4 EXPERIMENTATIONS ET RESULTATS U4.- IntroductonU U4.2- Collecton de testu U4.3-Evaluaton des SRIsU U4.3.- Evaluaton résduelleu... 48

7 U4.3.2-Protocole d évaluatonu U4.4- Expérmentatons et résultatsu U4.4.- Apport des cnq formules pour n=0 k=20u U Apport des cnq formules pour n=5 k=20u U Apport des cnq formules pour n=20 k=20u U Dscusson de résultatsu U4.5 Reformulaton AveugleU U4.6 ConclusonU UCONCLUSION GENERALE ETU UPERSPECTIVESU UREFERENCESU... 58

8 INTRODUCTION GENERALE Une quantté touours crossante d nformaton électronque (Internet, CD ROM ) est dsponble et mse à la dsposton du grand publc. Le domane de la recherche d nformaton (RI) aspre à fournr des méthodes rapdes et effcaces de représentaton, de geston et de présentaton de ces nformatons. Dans ce contexte, les systèmes de recherche d nformaton (SRI) sont conçus pour chercher et resttuer des documents pertnents à des besons utlsateurs exprmés au moyen d une requête. Cependant, l est dffcle de chosr les termes adéquats à l expresson des besons. La complexté de verbalser un beson en nformaton peut augmenter lorsque le beson est vague, lorsque la collecton d nformatons est peu famlère à l utlsateur ou lorsqu l est nexpérmenté avec les SRIs. Par contre, l est plus facle pour un utlsateur de savor s les documents resttués répondent à ses besons c est-à-dre qu l peut évaluer la pertnence des documents. Les technques de reformulaton de requête tennent compte de ce derner pont. En effet, ces technques tentent de construre automatquement une représentaton de requête en se basant sur les documents ugés pertnents par l utlsateur. La reformulaton de requête est un cycle d actvté : le système resttue, sute à une requête, des documents que l utlsateur uge. Cette nformaton (ugement) est utlsée par le système pour produre une nouvelle requête et resttuer d autres documents. Cette actvté peut être tératve. La reformulaton de requête a fat ses preuves pour amélorer l effcacté des SRIs pour certans types de recherche. Notre but dans le cadre de ce mémore est de proposer une nouvelle méthode de reformulaton de requête dans le modèle des réseaux possblstes pour la recherche d nformaton. Ce modèle proposé en 2005 par Asma BRINI [BRI 05c], donne une nouvelle approche pour modélser la pertnence de documents étant donnée une requête. En effet la pertnence est mesurée selon deux dmensons : la pertnence possble et la pertnence nécessare. Notre obectf est de --

9 proposer un processus de reformulaton de requête permettant de manpuler de manère effcace ces deux notons. Nous avons structuré ce mémore de la manère suvante : nous commencerons dans le premer chaptre par présenter la problématque de la recherche d nformatons ans que les dfférents modèles proposés dans la lttérature. Le deuxème chaptre est consacré aux méthodes classques de reformulaton de requête dans les dfférents modèles proposées. Le trosème chaptre présente la méthode de reformulaton que nous avons proposée. Enfn le quatrème chaptre présente les prncpaux résultats obtenus. En concluson, nous présenterons le blan de notre traval. -2-

10 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION -3-

11 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION.- Introducton Les systèmes de recherche d nformaton (SRI), servent d nterface entre une collecton contenant des quanttés consdérables de documents et des utlsateurs cherchant des nformatons susceptbles de se trouver dans cette collecton, en utlsant des requêtes. Ces systèmes ntègrent un ensemble de technques pouvant être résumées en quatre fonctons, qu sont : Stockage des nformatons Organsaton de ces nformatons (processus d ndexaton) Recherche d nformatons : en réponse à des requêtes utlsateurs Resttuton des nformatons pertnentes pour ces requêtes..2- Notons de base Un système de recherche d'nformaton (SRI) est un système qu permet de retrouver dans une collecton de documents ceux qu sont pertnents à une requête d'utlsateur. Un SRI ntègre un ensemble de modèles et de processus permettant de représenter, d organser, de questonner ce volume d nformatons et de resttuer l nformaton qu correspond le meux au beson de l utlsateur, exprmé va une requête..3- Concepts clés de la recherche d nformaton (RI): Le processus de recherche d nformaton pertnente que le SRI est sensé resttuer à un utlsateur, consste en la mse en correspondance des représentatons des nformatons contenues dans un fond documentare et des besons de cet utlsateur exprmés par une requête. Dans la défnton de SRI, l y a tros notons clés: documents, requête, pertnence. - Document: Un document peut être un texte, un morceau de texte, une page Web, une mage, une bande vdéo, etc. On appelle document toute unté qu peut consttuer une réponse à une requête d'utlsateur. Dans notre cas, nous tratons seulement des documents textuels. - Requête ou beson: Une requête exprme une nterprétaton du beson d'nformaton d'un utlsateur. Elle est en général de la forme suvante: "Trouvez les documents qu ". -4-

12 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION - Pertnence: Le but de la RI est de trouver seulement les documents pertnents. La noton de pertnence est très complexe. De façon générale, dans document pertnent, l'utlsateur dot pouvor trouver les nformatons dont l a beson. C'est sur cette noton de pertnence que le système dot uger s un document dot être donné à l'utlsateur comme réponse. Cette noton de pertnence peut être appréhendée à deux nveaux : Le nveau utlsateur : A ce nveau, l'utlsateur a un beson d'nformaton dans sa tête, et l espère obtenr les documents pertnents pour répondre à ce beson. La relaton entre le beson d'nformaton et les documents attendus est la relaton de pertnence (déale, absolue, ). -Le nveau système : A ce nveau, le système répond à la requête formulée par l'utlsateur par un ensemble de documents trouvés dans la base de documents qu'l possède. Remarquez que la requête formulée par l'utlsateur n'est qu'une descrpton partelle de son beson d'nformaton. Beaucoup d'études ont montré qu'l est très dffcle, vore mpossble, de formuler une requête qu décrt complètement et précsément un beson d'nformaton. Du côté de document, l y a auss un changement entre les deux nveaux: les documents que l'on peut retrouver sont seulement les documents nclus dans la collecton de documents. On ne peut souvent pas trouver des documents parfatement pertnents à un beson. Il arrve souvent qu'aucun document pertnent n'exste dans la collecton..4 - Prncpaux modèles de recherche d nformaton : Dfférents modèles de recherche d nformaton ont été proposés. Le présent paragraphe a pour obectf d en présenter les prncpaux..4.- Le modèle booléen Pour ce type de modèle, un document est représenté comme un ensemble de termes, et une requête comme une expresson logque de termes. La correspondance entre une requête et un document (notée par RSV(D, q) ) est détermnée de la façon suvante: -5-

13 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION RSV (D, t ) = s t D 0 snon RSV (D, q q 2 ) = RSV (D, q q 2 ) = RSV (D, q ) = s RSV (D, q) = et RSV (D, q 2 ) =. 0 snon s RSV (D, q) = ou RSV (D, q 2 ) = 0 snon s RSV (D, q) = 0 0 snon Les avantage du modèle booléen : Le modèle est plus facle à mplémenter et nécesste relatvement peu de ressources [S ALT90]. Le langage de requête booléen est plus expressf que celu des autres modèles [CROF87]. Ce modèle convent aux utlsateurs sachant exactement leurs besons et en mesure de les formuler précsément avec le vocabulare qu'ls maîtrsent parfatement. Les nconvénents du modèle booléen Il est dffcle aux novces de formuler une requête combnant pluseurs opérateurs logques, notamment pour les questons complexes. L'mportance relatve des mots clés ne peut pas être exprmée. Le classement des documents extrats par ordre de pertnence est dffcle. La reformulaton automatque des requêtes par la technque du RF est plus ardue..4.2-modèle Booléen basé sur des ensembles flous Cette extenson au modèle booléen standard vse à tenr compte de la pondératon des termes dans les documents. Du côté requête, elle reste touours une expresson booléenne classque. Avec cette extenson, un document est représenté comme un ensemble de termes pondérés comme sut: DB B= {, (t, a ), } où : a est le degrés d appartenance du terme t au document D. L'évaluaton d'une requête peut prendre pluseurs formes. Une d'elles est la suvante: -6-

14 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION RSV(D, t ) = a RSV(D, q q 2 ) = mn(rsv(d, q ), RSV(D, q 2 )). RSV(D, q q 2 ) = max(rsv(d, q ), RSV(D, q 2 )). RSV(D, q ) = - RSV(D, q ). Dans cette évaluaton, les opérateurs logques et sont évalués par mn et max respectvement. C'est une des évaluatons classques proposées par L. Zadeh [Zadeh 65] dans le cadre des ensembles flous. Cependant, cette évaluaton n'est pas parfate. Par exemple, on n'a pas RSV(D, q q) 0 et RSV(D, q q). Du pont de vue théorque, c'est gênant. Du pont de vue pratque, quand on évalue une requête en forme de cononcton, on ne s'ntéresse qu'à la parte la plus dffcle, et quand on évalue une requête en forme de dsoncton, c'est la parte la plus facle qu domne. Intutvement, on amerat plutôt que les deux partes ouent toutes les deux un rôle dans l'évaluaton. Ans, beaucoup d'autres formes dévaluaton ont été proposées. Une des formes est l'évaluaton Lukaswcz [Loseau 04] qu est la suvante: RSV(D, tb ) = ab B B RSV(D, qb qb ) = RSV (D, qb ) * RSV (D, qb ). B 2B B 2B RSV(D, qb qb ) = RSV (D, qb ) + RSV (D, qb ) - RSV (D, qb ) * RSV (D, qb ). B 2B B 2B B 2B RSV(D, qb ) = - RSV (D, qb ). B B Dans cette évaluaton, on vot que les deux partes d'une cononcton ou d'une dsoncton contrbuent en même temps, contrarement à celle de Zadeh. Cependant, elle a le même problème qu est RSV (D, q q) 0 et RSV (d, q q). En plus, RSV (D, qq) RSV (D, q) RSV (D, qq). S on compare ces extensons avec le modèle standard, l est assez facle de vor les avantages. Le plus mportant est qu'on peut mesurer le degré de correspondance entre un document et une requête dans [0, ]. Ans, on peut ordonner les documents dans l'ordre décrossant de leur correspondance avec la requête. L'usager peut parcourr cette lste ordonnée et décder où s'arrêter. Au nveau de la représentaton, on a également une représentaton plus raffnée. On peut exprmer dans quelle mesure un terme est mportant dans un document. -7-

15 dans (resp. CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Ces évaluatons ont été proposées à la fn des années 970 et au début des années 980. Mantenant, ces extensons sont devenues standard: la plupart des systèmes booléens utlsent un des ces modèles étendus..4.3-le modèle vectorel (Vector Space Model) Après le modèle booléen, le modèle qu a le plus nfluencé la recherche d nformaton est le modèle vectorel qu a été créé au début des années 970 par Gérard Salton et son équpe [SAL 7], [SAL 83] dans le système de recherche d nformaton SMART. Dans ce type de modèle, les requêtes et les documents sont consdérés de la même façon et représentés sous forme de vecteurs. Le processus de recherche utlse le calcul de dstances entre ces vecteurs. Formellement, dans un modèle vectorel, on suppose que le pods wdb B(resp. wqbkb) assocé au terme tbb le document DBB la requête QBkB) est postf. Les documents et requêtes sont des vecteurs dans un espace vectorel de dmenson N et défns comme sut : D = ( wd Q = ( wq k, wd..., wd N, wq..., wq k 2k N k Le modèle vectorel estme le degré de pertnence entre un document et la requête par un degré de corrélaton entre leurs vecteurs assocés. Cette corrélaton peut être spécfée par le calcul de smlarté entre vecteurs, et qu peut être exprmée par le produt scalare suvant : Sm( D, Q ) = k N = ( wd * wq Pluseurs fonctons de smlarté ont été proposées dans la lttérature. En voc quelques-unes des fonctons les plus répandues : les mesures de Cosnus, Jaccard et Dce. k ) ) ) Mesure de cosnus : Sm( D, Q ) = k N = N = ( wd wd 2 * wq * N k = ) wq 2 k Mesure de Jaccard : -8-

16 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Sm( D, Q ) = k N = wd 2 + N = ( wd N = wq * wq 2 k k N = ) ( wd * wq k ) Mesure de Dce : Sm( D, Q ) = 2 * k N = N = ( wd ( wd * wq 2 k + wq ) 2 k ) Les avantage du modèle vectorel : Il est possble d'assgner une pondératon aux termes d'une requête. Le coeffcent de smlarté permet de : - de classer les documents par ordre de pertnence, - de détermner le degré de smlarté requête - document, document - document, phrase - phrase, etc.. Certans résultats de recherche tendent à prouver que les systèmes de recherche vectorels sont plus performants que les systèmes de recherche booléens [TURT94]. Les nconvénents du modèle vectorel : Part des hypothèses suvantes : Les termes sont ndépendants; ce n'est pas touours le cas, Requêtes et documents sont essentellement smlares alors que certans résultats produts par le calcul de smlarté requête - document ne reflètent pas la réalté Le modèle probablste : La théore des probabltés est utlsée comme un moyen de modélser le processus d'extracton de l'nformaton. Dans les systèmes de recherche d'nformatons conventonnels, les documents sont extrats en réponse à une requête quand l'ensemble des termes clés d'un document -9-

17 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION s'apparente dans une certane mesure aux termes d'une requête. Dans de tels cas, les documents sont dts pertnents par rapport à cette requête Prncpe Sot R et NR représentent respectvement la pertnence et la non-pertnence (ou de façon équvalente, l ensemble de document pertnents et l ensemble non-pertnent). L dée de base dans un modèle probablste est de tenter de détermner les probabltés P(R D) et P(NR D) pour une requête donnée. Ces deux probabltés sgnfent respectvement : s on retrouve le document D, quelle est la probablté qu on obtent l nformaton pertnente et nonpertnente. Dans un premer temps, travallons dans le contexte suvant : On ne consdère que la présence et l absence de termes dans les documents et dans les requêtes comme des caractérstques observables. Autrement dt, les termes ne sont pas pondérés, mas prennent seulement les valeurs 0 (absent) ou (présent). On suppose qu on a une requête fxe. On tente de détermner les caractérstques de R et NR pour cette requête donnée. Donc, mplctement, P(R D) et P(NR D) correspondent plutôt à P(RB D) et P(NRB D) pour la QB QB requête Q, mas cet ndex peut être gnoré pour l nstant. S on peut calculer ces deux probabltés, alors on pourra classer les documents selon ces deux probabltés, ou selon la foncton (odd) suvant qu compare les deux probabltés : O(D) = P(R D) / P(NR D) Plus O(D) est élevée pour un document, plus ce document dot être classé en haut. Cependant, les deux probabltés nécessares ne sont pas drectement calculables. Ans, on utlse le théorème de Bayes: P(R D) = P(D R) P(R) / P(D) P(NR D) = P(D NR) P(NR) / P(D) Où P(D R) = la probablté que D fat parte de l ensemble pertnent, P(R) = la probablté de pertnence, c est-à-dre, s on chost un document au hasard dans le corpus, la chance de tomber sur un document pertnent ; -0-

18 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION P(D) = la probablté que le document sot chos (s on prend au hasard un document dans le corpus, la chance de tomber sur D). Applquons dans O(D),nous avons : O(D) = P(R D) / P(NR D) = [P(D R) P(R)] / [P(D NR) P(NR)] Comme pour la même requête, P(R) et P(NR) sont des constantes. Ans, nous pouvons réexprmer O(D) comme sut : O(D) P(D R) / P(D NR) (O(D) est proportonnelle à P(D R) / P(D NR)). Étant donné que l obectf de la RI est de détermner le rang des documents, on peut très ben utlser P(D R) / P(D NR) à la place de O(D) exacte. Donc, défnssons O(D) comme P(D R) / P(D NR) Hypothèse d ndépendance et le modèle de recherche ndépendant Comment estmer P(D R) et P(D NR)? En général, on décompose le document en un ensemble d "événements". Un événement dénote sot la présence ou l'absence d'un terme dans ce document, c est-à-dre une sére de (t = x ) où xb Best 0 ou qu représentent l absence et la présence du terme. Ans : où tb B P(D R) = P(t = x, t 2 = x 2, t 3 = x 3, D) P(D R) = P(t = x, t 2 = x 2, t 3 = x 3, NR) =xb correspond à la présence ou l absence du terme tb dans le document D. B Dans la théore de probablté, on sat que la probablté de la combnason de pluseurs événements ensemble dot être détermnée comme sut : B P(a, b, c, d R) = P(a R) * P(b a, R) * P(c a, b, R) * P(d a, b, c, R) * C est-à-dre qu l faut tenr compte des dépendances entre les événements, représentées dans cette formule par des probabltés condtonnelles. Il est vra que dans le contexte de RI, les présences et les absences de termes sont dépendants. Par exemple, s le terme «nformatque» --

19 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION apparaît dans un document, l y a plus de chance que le terme «ordnateur» apparaît auss. Ans, nous avons : P(ordnate ur = nformatque = ) > P(ordnateur = ) Seulement, s on dot tenr compte de toutes les dépendances, le calcul de P(D R) et de P(D NR) sera très complexe, car l faut tenr compte des dépendances suvantes : P(t 2 = x 2 t = x, R), P(t 3 = x 3 t = x, t 2 = x 2, R), etc. S on veut estmer ces probabltés, on aura beson d un grand ensemble de documents ugés pertnents pour l entraînement, ce qu n est pas dsponble. Ans, l hypothèse d ndépendance est supposée pour smplfer le calcul : Hypothèse d'ndépendance: on suppose que les événements lés à dfférents termes sont ndépendants. Ans: et Avec (r : nombre de documents pertnents contenat t P(D R) = Π B P(tB = xb R), B B B (t=x)d P(D NR) = Π B P(tB = xb NR). B B B (t=x)d P(t R) = r R et R : nombre de documents pertnents total) et (m : nombre de documents non m - r P(t NR) = M - R pertnents contenat t et M : nombre de documents de la collecton ) Les avantage du modèle probablste : Selon Savoy [SAV094], le modèle de recherche probablste est plus effcace que le modèle de recherche booléen, mas mons performant que le modèle de recherche vectorel Les nconvénents du modèle probablste : -2-

20 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Il n'exste pas de méthode d'estmaton de la pertnence des termes avant toute extracton de document pertnent. Cette estmaton se fat à posteror Le modèle BNR (modèle RI basé sur les réseaux Bayésens) Les modèles probablstes consttuent un outl pussant pour les modèles de RI, car ls permettent de trater d une manère effcace l ncerttude ntrnsèque au processus de RI. Plus récemment, des travaux ont essayé d exploter l apport des Réseaux Bayésens (RBs) pour défnr des modèles de RI. L avantage apporté par l utlsaton des réseaux a été prncpalement de pouvor combner des nformatons provenant de dfférentes sources pour resttuer les documents qu seraent les plus pertnents étant donnée une requête archtecture générale du modèle Fgure Structure du réseau dans un modèle BNR Les nœuds du réseau dans un modèle BNR ont décomposés en deux ensembles de varables T et D : L'ensemble des termes de la collecton T = (TBB, TB2B,, TBMB), où M est le nombre de termes dans la collecton -3-

21 P P probabltés. CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION L'ensemble des documents de la collecton D = (DBB, DB2B,, DBNB), où N est le nombre de documents dans la collecton Les domanes des nœuds sont bnares {vra, faux} sgnfant que le nœud est nstancé ou non. T est l ensemble des nœuds termes; une varable T assocée à un terme prend ses valeurs dans le domane dom(t ) { t, t } =, t désgne que le terme T est non pertnent et t désgne qu l est pertnent. Un terme est consdéré pertnent s tous les documents qu contennent sont ugés pertnent par l utlsateur et non pertnent s non. D est l ensemble des nœuds documents, une varable D prend ses valeurs dans le domane le domane dom(d) { d, d } =, où d sgnfe «le document D n est pas pertnent» et d sgnfe «le document D est pertnent». Un document est pertnent s l répond au beson utlsateur Estmaton des dstrbutons de probablté a) Estmaton des dstrbutons de probablté - Nœud terme racne: les probabltés a pror de ces nœuds sont données par P( t ) = et P( t ) = M M où M est le nombre de termes dans la collecton -Nœud terme qu a des parents: Pour les termes ayant des parents qu sont eux auss des nœuds termes, la quantfcaton des arcs les relant est calculée par l ndce de Jaccard : la smlarté entre deux ensembles de termes est donnée par le rato entre le nombre d éléments de l ntersecton et l unon de ces deux ensembles. -Nœud Document : le nombre de probablté condtonnelle que nous avons beson de calculer augmente exponentellement par rapport aux nombre de parents ce qu pose un problème car s par exemple un document est ndexé par n termes alors l faut calculer 2P n Pour résoudre ce problème on consdère θbdb l ensemble des confguratons possbles des parents de D. Une confguraton est non pertnente lorsque les nstancatons des varables qu elle content ne sont pas conformes à la présence des termes dans le document. -4-

22 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Pour calculer la probablté, on peut utlser une foncton de probablté basée sur la mesure de cosnus [Salton 83]: Pour chacun de confguraton θbd, Bla probablté qu un document sot pertnent est donnée par: P( D θ D ) = α tf T D t θ D où tf correspond au nombre d occurrences du terme t dans le document D et fréquence nverse dans le document. et α est donné par: α = α tf T D df 2 df 2 df est et α est une constante normalsée. b) Calcul de la pertnence: Les termes présents dans la requête propagent l nformaton à travers le réseau pour calculer la pertnence d un document étant donnée la requête. La probablté P(d/Q) de la pertnence d un document étant donnée la requête est donné par: 2 P ( d Q) = α tf df P( t Q) T D on a P( t Q) = T Q alors l'équaton devent: P( d Q) = α ( tf T D Q df 2 + tf T D \ Q df 2 + P( t Q).4.6- Le modèle possblste Ce modèle est proposé dans [BRI 05], l est basé sur les réseaux possblstes. La théore des possbltés propose des mesures duales permettant le tratement de l nformaton ncertane. La pertnence possble d un document évalue le degré auquel un document peut être élmné de la lste des réponses (documents resttués). La pertnence nécessare mesure la certtude lée à la pertnence du document. -5-

23 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION.4.6.-Archtecture générale du modèle Fgure Archtecture générale du modèle La topologe du réseau est représentée dans la fgure c-dessus. D un pont de vue qualtatf, le graphe permet de représenter les nœuds documents, requête, termes d ndexaton et permet d exprmer les relatons de dépendance exstant entre ces nœuds. Un document (D) est nstancé ou non, prenant ses valeurs dans le domane dom(d) { d, d } L actvaton (ou = nstancaton) d un nœud document D = d (resp. d ) Sgnfe que le document est pertnent ou non étant donnée une requête. Une requête, Q, prend ses valeurs dans le domane dom(q) = { q, q}. Dans ce modèle est ntéressé par l nstancaton de la requête, et a consdéré que le cas Q = q, et on le note Q. Le domane d un nœud terme d ndexaton, T, est dom(t ) = { t, t }. (T = t) sgnfe que le terme t est présent dans l obet (document ou requête) et donc représentatf de l obet. Un terme non-representatf, t, est un terme absent de la représentaton de l obet. Sot T ( D ) (resp. T (Q) ) l ensemble des termes ndexant le document D (resp. la requête Q) Evaluaton de la requête L'évaluaton de la requête dans ce modèle est effectuée par la propagaton de l'nformaton de la requête à travers le réseau dans ce modèle le processus de propagaton est smlare à la propagaton probablste bayesénne. Le processus d évaluaton consste à propager l nformaton nectée par la requête. Dans ce modèle, la pertnence est calculée par une double mesure: -6-

24 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION - La pertnence nécessare. - La pertnence possble. La pertnence nécessare mesure à quel pont un document dot fare parte de la lste des documents resttués sachant que la pertnence possble mesure à quel pont un document consttue éventuellement une réponse à une requête donnée. Ce modèle devrat être capable d nférer des propostons de type : - Il est plausble à un certan degré que le document est pertnent étant donnée la requête, (d Q) ; - Il est auss certan (dans le sens possblste) que le document est pertnent à la requête, N (d Q). Le processus de propagaton évalue les degrés de possblté, (d Q), et de nécessté, N (d Q), par : (Q d) (d Q) = (Q) N (d Q) = (d Q) avec (Q d) (d Q) = (Q) la possblté de Q est : (Q) = max( (Q d), (Q d) ) Pour calculer (d Q) l faut défnr (Q d). Etant donnée la topologe du graphe, elle est de la forme : (Q d) = max ( ( Q θ ). θ l θ l l T T ( D ) T ( Q) ( θ D ). ( D avec : θ : Les confguratons possbles de l ensemble des parents de Q, l l θ : L nstancaton de T dans la confguraton l θ ; l k Tk T ( Q)\ T ( D ) ). ( θ )) θ : Une confguraton possble deθ. T T ( Q) T ( D ) : Les termes de la requête qu ndexent les documents, ces termes sont évalués dans le contexte de leurs parents par (T D ). -7-

25 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION T T ( Q) \ T ( D ) : Les termes de la requête absents des documents pour ces termes une possblté margnale est calculée, (T k ) A l ssue du processus de propagaton, Les documents sont resttués par ordre décrossant de pertnence nécessare pus de pertnence possble. Les documents qu ont une valeur de nécessté supéreure à 0 sont classés en premer et les documents possblement pertnents sont classés après les documents nécessares ou se retrouvent en haut de la lste lorsque le système ne trouve pas de documents nécessarement pertnents Agrégaton des termes de la requête La possblté de la requête étant donnée les termes d ndexaton, (Q θ), dépend de l nterprétaton de la requête. Pluseurs nterprétatons sont possbles. Les termes de la requête peuvent être connectés par une cononcton, une dsoncton, ou par une somme probablste, ou encore une somme probablste pondérée. - cononcton : Pour une requête booléenne, ET, le processus d évaluaton resttue les documents contenant tous les termes de la requête. La possblté de la requête Q étant donnée une confguraton possble, parents est donnée par : l θ, de θ de tous ses l Q l s T PAR, = = Q θ θ (Q θ ) 0 s non -Dsoncton : Pour une requête booléenne, OU, le document est plus ou mons pertnent s l content au mons un terme d ndexaton de la requête. La possblté de la requête Q étant donnée une confguraton possble, parents est donnée par : l l s T PAR, = = Q θ θ (Q θ ) 0 s non Q l θ, de θ de tous ses -8-

26 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION -Négaton : La requête peut contenr la négaton d un terme, sgnfant que l utlsateur ne veut pas vor ce terme dans le document resttué. Lorsque le document content ce terme alors la pertnence est nulle. La négaton d un terme est une opératon unare. Ans: l l sθ = t (Q θ ) = 0 s non Pondératon des termes d ndexaton Pour évaluer la pertnence plausble et la pertnence nécessare d un document étant donnée une requête, l faut défnr les arcs du réseau. Un arc relant un nœud terme à un nœud document quantfe à quel pont le terme est représentatf de ce document une absence d arcs absence d arc entre terme et document tradut l absence du terme en queston du document. La pondératon des arcs du réseau relant les nœuds termes aux nœuds documents est donnée par les quatre formule suvantes : a) (t d ) = ntf Avec ntf = max tf t k d ( tf k ) b) t d ) = ( c) (t d ) : Un terme dscrmnant dans la collecton est un terme qu apparaît dans peu de documents de la collecton. Dans ce modèle un terme dscrmnant est un terme qu est nécessarement représentatf d un document et donc contrbue certanement à le sélectonner parm d autres documents. Un degré de nécessare pertnence, φ, d un terme t pour représenter un document d comme un pods est défne par : où * : opérateur produt ; µ, µ 2 : Fonctons de normalsaton. N φ = µ ) * µ ( ntf n ( 2 ) -9-

27 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Par exemple s on prend µ comme foncton logarthmque et µ 2 comme foncton d'dentté alors: N Log( ) n φ = * ntf Log( N) Ce degré de nécessare pertnence montre la nécessté qu un terme mplque un document et donc ade à resttuer ce document : N (t d ) = φ On a (d t ) (t d ) = et pusque la possblté a pror ( d ) = alors: ( d ) (t d ) = (d t ) = N (t d ) = φ d) t d ) = ( Enfn le tableau c-dessous résume les possbltés condtonnelles des termes d ndexaton étant donnée l nstancaton du nœud document parent. t d ntf d φ t Tableau Table de possbltés condtonnelles (T D ) possblté a pror des documents En absence d'nformaton sur les documents, la possblté a pror d'un document est unforme c.-à-d.: (d ) = (d ) =. S on utlse des nformatons comme l'mportance des termes et la longueur des documents etc. alors la possblté a pror d'un document peut calculer comme sut : (d ) = l max k =..., N -20- l k

28 CHAPITRE PRINCIPE DE LA RECHERCHE D INFORMATION Avec: l : est la longueur du document d en terme de fréquence et Plus les documents sont courts plus leur pertnences dmnuent. De plus ( d ) =. l = tf.5- Concluson Nous avons commencé dans ce chaptre par postonner le contexte de la RI en donnant ses concepts fondamentaux ans que le fonctonnement global de tout SRI. Nous avons auss détallé les modèles les plus connus (booléen, vectorel et les modèles probablste) de la RI et nous avons décrt plus en détal le modèle possblste car la reformulaton que nous proposons est basée sur ce modèle. -2-

29 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK" ETAT DE L ART -22-

30 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART 2.- Introducton Le RF (Relevance Feedback) ou technque de modfcaton des requêtes par analyse et ncorporaton des retours, est un processus de reformulaton automatque de requêtes dont le but est de générer des requêtes optmales proches des besons des utlsateurs. Cette reformulaton qu se fat par nteracton entre l'utlsateur et le système consste en générale à modfer la pondératon des termes de la requête ntale ou à leur substtuer d'autres termes choss pour leur caractère, notamment assocatf, générque ou spécfque. Ces opératons de reformulaton s'effectuent sur la base des ndces fourns par l'utlsateur à travers, d'une part, la requête ntale et, d'autre part, les documents pertnents et non pertnents sélectonnés. Ce processus de recherche, de sélecton de documents pertnents et non pertnents pus de génératon automatque de requête se fat de façon tératve usqu'à l'attente des obectfs à la satsfacton de l'utlsateur Motvaton de la technque du RF La technque du RF est utlsée en vue d'amélorer le repérage de documents, notamment: Pour les utlsateurs non averts et peu famlers avec les technques de formulaton de requête en général et d'une nterface de système de recherche en partculer. De tels utlsateurs auront à leur dsposton un outl à même de les ader à reformuler effcacement leurs requêtes. Pour ceux-c, la premère requête soumse au système de recherche aura valeur de test. quand l'utlsateur, même chevronné, a une connassance approxmatve ou très lmtée du domane d'applcaton et des caractérstques de la collecton qu fat l'obet de sa recherche. Dans de tels cas, l'utlsateur n'est pas touours en mesure de fournr les termes approprés lu permettant de spécfer de façon adéquate sa requête. La technque du RF supplée à sa connassance lmtée du domane en enrchssant requête de termes susceptbles de l'amélorer substantellement. Cela peut être utle dans les domanes en constante mutaton où l'emplo de nouveaux termes argotques est courant. dans les envronnements de recherche où le taux de rappel est crtque tel que le domane médcal ou encore dans le cadre de l'exécuton d'arrêts udcares où l est souvent nécessare d'explorer tout ndce potentel. -23-

31 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART L'emplo de RF procure des avantages réels [SALT90] : Le RF lbère l'utlsateur des contrantes lées à la reformulaton de requête dans un envronnement plus ou mons connu, Permet de mener des opératons de recherche par étapes successves, favorsant ans une approche graduelle et ratonnelle du champ d'ntérêt. Procure un outl appropré de recherche permettant de pondérer les termes suvant leur mportance relatve et d'adapter les recherches aux caractérstques de La collecton sur laquelle elle s'applque Prncpes L'applcaton de la technque du RF part du prncpe que tous les documents pertnents dépstés par un moteur de recherche sute à une requête ont des caractérstques communes. Dans un modèle de recherche à base d'espace vectorel, cela sgnfe que les vecteurs représentant les documents extrats et le vecteur de requête ont une smlarté notable. Cela mplque, par voe de conséquence, que les vecteurs de termes des documents non pertnents par rapport à la requête et les vecteurs de termes des documents pertnents sont dssemblables. Ces consdératons ont condut à la concepton d'approches de reformulaton automatque de requête. En effet, le premer prototype mplémentant la technque du RF état basé sur le modèle de recherche vectorelle et consstat en un ensemble de termes, éventuellement pondérés, utlsés sans opérateurs booléens. Ans, les requêtes étaent exprmées sous forme de vecteurs : Q 0 = ( r0, r, r2..., rt ) où Q 0 est la requête ntale; r représente la pondératon du terme pouvant prendre les valeurs 0 ou suvant l'absence ou la présence de ce terme dans la requête. Les ternes de la requête ntale peuvent être des mots choss dans un thesaurus, un dctonnare de termes contrôlés, ou choss lbrement parm les mots du domane. À partr des documents pertnents produts par la requête Q 0, le processus du RF générat automatquement une nouvelle requête : Q ' = ( r' 0, r', r' 2..., r' t ) -24-

32 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART où r' représente la pondératon du terme de la premère requête Q 0 modfée dans la requête Q ' Les prncpales technques du RF. Carol [CAR097 dstngue deux technques prncpales du RF : la technque sem-automatque basée sur le modèle Roccho et la technque automatque. a- La technque du RF sem-automatque La technque sem-automatque nécesste l'nterventon de t'utlsateur qu dot dentfer et sélectonner les documents pertnents et les documents non pertnents. Les travaux sur cette technque ont été menés par Roccho à la fn des années 970. Ces travaux ont été publés en 97 [ROCC 7] et ont été suvs de ceux de Ide [IDE 7]. Plus tard, les travaux sur le RF sem-automatque ont été enrchs par l'apport de la méthode probablste. Cette approche a été mplémentée par Harper, Haman, Croft, Spark Jones et Van Rsbergen [CARO 97]. b- La technque de RF automatque Selon Carol [CARO 97], dans les envronnements où la technque du RF automatque est mplémentée, un nombre prédéfn de documents extrats par la requête ntale sont réputés pertnents. Les procédures et formules utlsées dans l'approche du RF automatque sont des varantes des formules Roccho et Ide qu permettent de fare abstracton des documents non pertnents RF et modèles de recherche La technque du RF peut être applquée aux prncpaux modèles de recherche que sont le modèle vectorel, le modèle booléen et le modèle probablste. Nous étudons c le modèle vectorel qu est le plus connu et l'un des plus utlsés à ce our -25-

33 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART La procédure de RF La procédure du RF peut se résumer dans la fgure c-dessous : Fgure 2.4. Processus de fonctonnement du RF - Soumsson d'une requête ntale formulée par l'utlsateur au système de repérage et d'extracton de documents, 2 - Tratement de la requête ntale par Le système de repérage, 3 - Sélecton par l'utlsateur documents pertnents et non pertnents et cela, à partr de son pont de vue, 4 - Composton automatque d'une nouvelle requête à partr des données ssues de la requête ntale et des nformatons fournes par les documents pertnentes et non pertnentes sélectonnées, 5 - Tratement avec la nouvelle requête reformulée automatquement et transmse au moteur de recherche, 6 - Génératon des documents détectés avec la nouvelle requête reformulée. -26-

34 comme qu CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART Les technques de RF basées sur le modèle vectorel Les technques du RF applquées au modèle de recherche vectorel ont été domnées par les travaux de Roccho [ROCC 7] pus de Ide [IDE 7]. Comme son nom l'ndque, le RF dans le cadre de ce modèle part du prncpe que la requête ntale formulée par l'utlsateur sert au système à dentfer une zone ou régon de l'espace d'ndex de termes qu content des documents pertnents. N'ayant pas d'autres nformatons sur les caractérstques des documents enregstrés, la requête ntale consttue l'unque ndce de départ. En ntrodusant dans le cycle la requête ntale et les documents pertnents et non pertnents courants sélectonnés, l'utlsateur, ce fasant, fournt des nformatons au système qu lu permettent de reformuler automatquement le profl de la requête de sorte que les documents générés au fur et à mesure des tératons tendent de plus en plus à se rapprocher des besons de l'utlsateur. Nous présenterons dans un premer temps le modèle Roccho, pus le modèle Ide, une varante de modèle Roccho et enfn le RF ncrémental qu alle les deux premers modèles Le modèle Roccho Le modèle de Roccho se résume comme sut [ROCC 7l] : Sot une sére d'opératons de recherche et d'extracton d'nformatons ntées par une requête ntale QB0B modfée en foncton des sortes produtes par le système (utlsant QB0B est par la sute entrée).sot Q' la requête modfée obtenue et la plus proche de la requête optmale de l'utlsateur. En tenant compte du fat que l'utlsateur a la possblté de sélectonner parm les documents extrats celles qu sont pertnentes et celles qu ne le sont pas, on peut assmler cette acton à un sgnal envoyé par l'utlsateur au système pour lu sgnfer un renforcement postf ou négatf sur la réponse obtenue. Sur la base de ces ndces et de la requête ntale, l est possble de construre tératvement une requête modfée de plus en plus optmale dont les résultats tendent à refléter les besons de l'utlsateur. L'effcacté de ce processus dépendra de la qualté de la requête ntale et du degré de convergence des tératons successves vers une requête optmale. Cette convergence est touours exprmée par rapport au chox de l'usager. La formule de base Roccho est de la forme : Q = Q 0 + n n = P n 2 n2 = NP avec : -27-

35 ou CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART Q : est le vecteur de la nouvelle requête Q 0 : Est le vecteur de la requête ntale P : Vecteur de documents pertnent resttués et évalués NP : Vecteur de documents non-pertnent resttués et évalués n : est le nombre de documents pertnent resttués et évalués n 2 : est le nombre de documents non-pertnent resttués et évalués Roccho a par la sute développé ce modèle pour le formalser par ce qu'l est convenu d'appeler le Standard Roccho [ROCC7 ]. Standard Roccho : Q = Q 0 + β n P n = γ n 2 NP n = 2 Cette formule appelée "Standard Roccho" ntrodut deux nouveaux paramètres, β et γ qu sont fxés arbtrarement et qu permettent de pondérer globalement la valeur moyenne des vecteurs des termes des documents pertnents et non pertnents. À partr de cette formule, Roccho a ntrodut des contrantes supplémentares telles que la pondératon des termes du vecteur orgnal, ou une lmte fxée au nombre de documents pertnents à consdérer. Il a par la sute testé des varantes de sa formule de base sur des collectons de talles relatvement rédutes en aoutant d'autres contrantes. L'une des contrantes étant de n'autorser dans QB Bque les termes préalablement présents dans QB0B les termes présents au mons dans la moté des documents pertnents, s ce nombre représentant cette moté est supéreur au nombre de documents non pertnents contenant ces termes. En postonnant les paramètres β et γ à 0.75 et 0.25 respectvement, la formule standard Roccho a donné les melleurs résultats en lmtant l'effet produt par l'ncorporaton des documents non pertnents ou "feedback négatf" [SALT90]. Ans ces valeurs c-dessus ont perms d'attendre une améloraton de la précson de 9% à 56% suvant les collectons avec une moyenne de 70% Le modèle Ide Le modèle Ide de l'auteur du même nom est une varante du modèle de Roccho [IDE 7]. Du modèle de Roccho elle dédut la formule suvante qu lu sert de base à ses travaux : -28-

36 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART mn( na, n' p) Q + = π Q + ωq0 + α p + µ mn( nb, n' s) NP où n' + n' N le nombre de document extrats et servant au processus du " feedback ". Les p S = varables expérmentales étant : a, ω, µ, π, n, n et N. a Le paramètre α est postf et permet de pondérer tous les documents ugés pertnents par rapport à tous les éléments contrbuant à la formaton de ta requête (requête précédente, requête ntale R0 et documents non pertnents). Le paramètre π permet d'augmenter la pondératon de la requête précédente en foncton des documents du feedback. R0 est la requête ntale, R est la requête de la précédente tératon, ω permet d'utlser la requête ntale comme parte ntégrante de la nouvelle requête, µ dot être théorquement négatf pour tenr compte des documents non pertnents extrats. Les paramètres a b b n, n permettent d'utlser un nombre spécfque de documents pertnents et non pertnents dans la requête même quand les valeurs des paramètres (utlsaton de la foncton mn( ) ) n, n sont plus grands La flexblté de cette formule a perms à Ide non seulement de confrmer les résultats postfs obtenus par Roccho, mas auss d'étuder tros varantes de ce modèle [IDE7]: Modèle basé sur l'utlsaton exclusve de documents pertnents. Modèle basé sur le nombre de documents N à extrare et à réntégrer dans le système à chaque tératon du RF. Modèle basé sur l'ntégraton d'un ou de deux documents non pertnents aux documents pertnents et à la requête ntale Les technques de RF dans le modèle probablste : Robertson et Sparck-Jones [ROBE 76] ont développé une formule de pondératon des termes basée sur la dstrbuton des termes de la requête dans les documents ugés pertnents et les documents ugés non-pertnents par l utlsateur : r R r w = log n r ( N n ) ( R r ) a b

37 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART Avec: w : pods d un terme t de la requête; r : nombre de documents pertnents contenant le terme t ; R : nombre de documents n pertnents pour la requête; : nombre de documents contenant le terme t ; N : nombre de documents dans la collecton; Une varaton de cette formule de base a été défne dans le but de calculer les nouveaux pods pour les termes de la nouvelle requête lors du processus de rénecton de pertnence [ROBE 76]: p ( u ) w = log u ( p ) p : probablt é (d = / D est pertnent) = (r + 0.5) /(R + ); u : probablt é (d 0/ D est pertnent) = (n - r + 0.5) /(N R + ); D = = ( d, d 2,..., d n ), d = s le terme t ndexe le document D, d = 0 snon; 0,5 est un facteur d austement Harman [HARM 92] a montré que l utlsaton de la formule de 0,5 est un facteur d austement permet une augmentaton de la précson de l ordre de 25% sur la base Cranfeld. Croft [CROFT 83] a défn une méthodologe de repondératon en utlsant une verson révsée de la formule de pondératon de Sparck-Jones : Recherche ntale : w k = (C + df ) f Feedback: w k = p ( q ) C + log q ( p ) f k Avec : w k : le pods du terme t dans la requête et le document k. df : fréquence absolue du terme t dans la collecton, p k : probablté que le terme t sot assgné à un ensemble de documents pertnents pour une requête, p r + 0,5 = s r > 0, p = 0, 0 s r + r = 0, -30-

38 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART q : probablté que le terme t apparasse dans un ensemble de document non pertnent n r + 0,5 q =, N R + f k où : freq k freqk = K + ( K), max(freq ) k : la fréquence du terme t dans le document k, max ( freq k ):la fréquence max d un terme dans le document k, C,K: constantes Les technques de RF dans le modèle BNR Sot b le nombre de documents ugé par l'utlsateur : l'ensemble { D = d,..., D = d } content les documents pertnents et l'ensemble k k k h k h { D = d,..., D = d sera: kh+ k h + k b k b } content les documents non pertnents alors la nouvelle requête Q = Q [{ Dk = d,...,,,..., ] k D k h = d k h Dk h = d k h D k b = d k. + + b Chaque nœud X non-nstancé reçot de tous ses nœuds parents un message sous forme de vecteur (Z ), l reçot encore de tous ses nœuds fls Y un message sous forme X vecteur λ (X ). Y Chaque nœud nstancé X reçot un message λ ( ) d'un nœud fls magnare avec" 0 X λ0 ( X ) = (,0) s X = x λ0 ( X ) = (0,) s X = x s l'évdence de X est partelle par rapport à une observaton alors : λ 0 ( X ) = ( P( Obs x), P( Obs x)) Dans ce cas le plus mportant est le rapport P( Obs x) P( Obs x) et on peut dre que P( Obs x) λ0 ( X ) = ( P( Obs x), P( Obs x)) et λ0 ( X ) = (,) sont équvalentes et en plus, le rapport P( Obs x) -3-

39 CHAPITRE 2 LES TECHNIQUES DU "RELEVANCE FEEDBACK", ETAT DE L ART Pour que tous les nœuds reçovent λ 0, on utlse le vecteur λ0 ( X ) = (, ) pour les nœuds non nstancé. Défnton de quelques notatons utlsées dans la sute: RBQB: l ensemble des documents resttués et évalués pour une requête Q RBQB : cardnale de RBQB n r : Nombre de documents pertnents n r : Nombre de documents non-pertnents n t n t n rt n rt n rt n rt : Nombre de documents resttués qu contennent t : Nombre de documents resttués qu ne contennent pas t : Nombre de documents pertnent qu contennent t : Nombre de documents non-pertnent qu contennent t : Nombre de documents pertnent qu ne contennent pas t : Nombre de documents non-pertnent ne contennent pas t Les notons défnes c-dessus sont résumées dans le tableau c-dessous suvant : T = t t T = Total Non-pertnent Pertnent n rt n rt n t n rt n r n rt n r n R t Q Tableau Table de contngence des termes On classe les termes ndexant les documents resttués en tros catégores : - Terme qu se trouve dans des documents pertnents seulement (termes postfs I ). - Terme qu se trouve dans des documents non-pertnents seulement (termes négatfs I ). - Terme qu se trouve dans des documents pertnents et non-pertnents (termes neutres I ). Il faut dstnguer entre les termes ndexant les documents trouvés et la requête et entre les autres qu ndexent les documents trouvés et absents de la requête. + ± -32-