Chapitre 5 : Modèles probabilistes pour la recherche d information. - Modèle tri probabiliste (BIR et BM25) - Modèle de Langue

Transcription

1 Chaptre 5 : Modèles probablstes pour la recherche d formato - Modèle tr probablste BI et BM25 - Modèle de Lague

2 Itroducto ourquo les probabltés? La I est u processus certa et mprécs Imprécso das l expresso des besos Icerttude das la représetato des formatos La théore des probabltés semble adéquate pour predre e compte cette certtude et mprécso 2

3 Modèle probablste Le modèle probablste tete d estmer la probablté d observer des évéemets lés au documet et à la requête luseurs modèles probablstes, se dfférecet selo Les évéemets qu ls cosdèret pert/d, q : probablté de pertece de d vs à vs de q q,d qd dq Les dstrbutos los qu ls utlset 3

4 I et probablté Modèle probablste classque Modèle féretel Modèle de lague BI 2-osso Iquery Modèle de croyaces Ugram Ngram Tree Deped. BM25. DF 4

5 la Chaptre 5. : appel théore des probabltés Modèle de tr probablste robablstc ag rcple Modèle BI Modèle BM25 2-osso Chaptre 6 : Modèle féretel Chaptre 5.2 Itroducto au modèle de lague Modèle de lague et I 5

6 appel probabltés 6

7 appel probabltés robablté d u évéemet s probablté d u évéemet ple face /2 Σ s tous les évéemets possbles o s s A BA+B-A B robablté codtoelle sm probablté d u évéemet s sachat M retreval formato > retreval poltc 7

8 Dstrbuto de probabltés Ue dstrbuto de probabltés doe la probablté de chaque éveemet ED probablté de trer ue boule rouge BLUE probablté de trer ue boule bleur OANGE Jame Arguello 8

9 Estmato de la dstrbuto de probabltés L estmato de ces probabltés compter le ombre de cas favorable sur le ombre de cas total ouge? Bleu? Orage? Deux codtos robablté etre 0 et La somme des probabltés de tous les évéemets est égale à Jame Arguello 9

10 0 appel probabltés, B A A B B A A A B B B A B A B A robablté codtoelle Evéemets dépedats A,B A.B Evéemets dépedats A,B,C A.BA.CA,B Formule des probabltés totales B, B est u système complet ègle de Bayes B B * A A

11 Qu est ce que l o peut fare avec ces dstrbutos de probabltés O peut assger des probabltés à dfféretes stuatos robablté de trer 3 boules orage robablté de trer ue orage, ue bleue pus ue orage

12 Varable aléatore Ue focto qu assoce à chaque résultat d'ue expérece aléatore u ombre u réel X : Ωà ω à Xω Exemple Jet de deux dés bleu, rouge, Ω{b,r, b,r2,. b6,r6}, la somme S des deux dés est ue varable aléatore dscrète à valeurs etre 2 et 2 ω est u couple b, r, Xω b+r valeurs possbles, 2, 3,..2 Ce qu ous téresse : X X2 /36, X32/36, Ue VA peut être dscrète esemble des valeurs est déombrable ou cotue 2

13 appel probabltés Lo de probablté d ue varable aléatore dscrète Décrt la probablté de chaque valeur x d'ue V.A, o ote : p rxx avec 0 p et Σp Lo uforme : v.a pred ses valeurs X{,2,,} Lo de Beroull : X{0,} X X p X 0 p X x p x p x 3

14 appel probabltés Lo bomale : ue v.a. obteue par le ombre de fos où o a obteu e répétat fos, dépedammet, ue même v.a. de Beroull de paramètre p, X{0,, 2,, eut être réécrte Lo multomale : gééralsato de la bomale à m résultats possbles au leu de 2 4 p q q p 0,...,, -!!! X r m 2 2 m !!...!...X X X r m m m p p p p et p!!! X X r p p

15 appel probabltés Lo de osso : λ. e t λ x λ x.e λ! x! For example, the probablty that 4 suy days occur a wee; the average s 80/ suy days per wee e 3.5 4!

16 Chaptre 5. : Modèle 6

17 robablty ag rcple prcpe du tr probablste robablty ag rcple obertso 977 ag documets decreasg order of probablty of relevace to the user who submtted the query, where probabltes are estmated usg all avalable evdece, produces the best possble effectveess Effectveess : l éffcacté est défe e termes de précso 7

18 robablty ag rcple L dée prcpale das ag documets decreasg order of probablty of relevace pertet documet à d ou d O peut auss estmer de la même faço la probablté de o pertece No pertece documet à Nd ou 0d U documet est sélectoé s : d> Nd Les documets peuvet être trés selo SV q, d ra d N d 8

19 9 robablstc ag rcple ègle de Bayes : Ordoer les documets selo d N N d d N d d d *, N d d N N d d d q SV ra

20 Commet estmer ces probabltés? Optos Commet représeter le documet d? Quelle dstrbuto pour d et dn? luseurs solutos BI Bary Idepedace etreval model Two posso model 20

21 Bary Idepedace etreval BI Hypothèses U documet est représeté comme u esemble d évéemets t d t,, t U évéemet t déote la présece ou l absece d u terme das le documet 2 Les termes apparasset das les documets de maère dépedate 2

22 Bary Idepedece etreval BI Cosdéros u documet comme ue lste de termes SV q, d d d N t, t2,..., t t, t,..., t N 2 E s appuyat sur l hypothèse d dépedace des termes d d N t t N 22

23 23 Bary Idepedece etreval BI t peut être vu comme, ue varable aléatore Beroull dt x t 2 x 2 t x p t - p t 0 q t N - q t 0N x x x x q q N x t N d p p x t d terme abset preset terme x 0

24 24 Bary Idepedece etreval BI log log log log log, : : x x x x x x p q q p q p p q q p x q q p p N d d q d SV + Commet estmer p ad q? Costate quelque sot le documet

25 Estmato avec des doées d appretssage E cosdérat pour chaque terme t Documets ertet No-ertet N Total t r -r t 0 -r N--+r N- Total N- N r : ombre de documets pertets coteat t : ombre de documets coteat t : ombre total de documets pertets N : ombre de documets das la collecto p r q N r 25

26 26 Estmato par maxmu de vrasemblace et Estmato des p et q + + log * * log log, r N r r r r N r N r N r p q q p d q SV r p N r q

27 Modèle probablste BI Lsser les probabltés pour évter 0 SV q, d log N r r r r

28 Estmato sas doées d appretssage Estmato de p Costate Croft & Harper 79 roportoel à la probablté d occurrece du terme das la collecto /N Estmato de q predre tous les documets e comportat pas t SV Q, D a log, d N N IDF ' log 28

29 Avatages et covéets du modèle BI Avatages Formalsato pussate Modélsato explcte de la oto de pertece Icovéets La fréquece des termes est pas prse e compte Dffculté d estmer les probabltés sas doées d appretssage Hypothèse d dépedace etre termes souvet crtquée mas pas d amélorato sgfcatve pour les modèles qu cosdèret cette dépedace 29

30 Modélser la fréquece des termes ot de départ Hypothèse la v.a t pred des valeurs etères x qu représetet la fréquece du terme. à Estmer t x : probablté que t apparasse x fos das les documets pertets Estmato ave d t x N Calculer t x pour tous les x potetels x, x 2, x 3, à pluseurs paramètres à estmer. Modèle paramétrque : O suppose que la v.a t sut ue certae lo de probablté ra t x 30

31 Modèle 2-osso [Harter] Idée de base les occurreces d'u mot das u documet sot dstrbuées de faço aléatore: la probablté qu'u mot apparasse fos das u documet sut ue lo de osso λ. e t λ! λ Moyee des fréqueces des termes das le documet W 3

32 Modèle 2-osso [Harter] Les termes mots e sot pas dstrbués selo ue lo de osso das tous les documets Les mots qu tratet le sujet du documet ot ue dstrbuto dfférete de ceux apparasset de maère margale das le documet O dstgue alors Les documets éltes qu tratet du sujet représeté par le terme Les documets o éltes qu e tratet pas du sujet du terme 32

33 33 Modèle 2-osso [Harter] La dstrbuto des termes das les documets sut ue dstrbuto mxte 2-osso E : probablté à pror que le documet sot élte λ, λ 0 Moyees des fréqueces des termes das les documets éltes et o éltes respectvemet!! 0 0 e E e E t λ λ λ λ +

34 Modèle BM25 Itégrer la oto d élte das le calcul des probabltés de pertece d u terme p E q EN t Eλ e λ! + Eλ 0 e λ 0! t N ENλ e λ! + ENλ 0 e λ 0! 34

35 Modèle BM25 Modèle probablste de de base d Avec les fréqueces d ra ra t d N* t d t tf N* t 0 t t d tf * t * t d N 0 N t tf λ λ tf e tf e pλ + p λ 0 tf! tf! 0 t tf N λ λ tf e tf e qλ + q λ 0 tf! tf! 0 35

36 Modèle BM25 éécrture de la focto de tr e passe au log d log pλ tf e λ + pλ tf e λ 0 qe λ + qeλ 0 0 qλ tf e λ + qλ tf e λ 0 pe λ + peλ 0 0 Quatre paramètres à estmer S. Waler et S. obertso ot estmé ces paramètres selo la formule : BM25 obersto et. al sgr

37 Approxmato de la focto de pods La focto de pods dot respecter les caractérstques suvates : a 0 s tf0 b mootoe crossate avec tf c a u maxmum asymptotque d approxmé par le pods du modèle de base 37

38 Approxmato.. sute O réarrage la focto p + p λ 0 tf e λ λ 0 qe λ 0λ + q λ w log q + q λ 0 tf e λ λ 0 pe λ 0λ + p λ λ 0 <<λ et tf à à w log p q q p 38

39 Approxmato.. sute K est ue costate w +tf K + tf w Cette octo respecte les 4 cotrates 39

40 La forme fale de BM25 SV BM 25 q log N df cotrôle term frequecy 0 à modèle BI; b cotrole la ormalsato de la logueur b 0 à pas de ormalsato; b fréquece relatve est etre.2 2 et b autour de tf b+ b dl avdl + tf

41 Modèle BM25 BM25 est u des modèles les plus mportats das le domae de la I sur les deux plas théorque et performace rappel précso 4