Démonter)le)moteur) ) de)recherche. Jian%Yun(Nie DIRO h0p:// nie@iro.umontreal.ca

Transcription

1 Démonter)le)moteur) ) de)recherche Jian%Yun(Nie DIRO h0p:// nie@iro.umontreal.ca

2 Moteur(de(recherche( ( Search(Engine(journal(h"p:// seo7sta:s:cs/42665/ 93%@d expériences@en@ligne@commencent@par@un@engin@de@ recherche Plus@100@milliards@de@recherches@globales@/@mois Marke:ngCharts@montre@que@plus@de@39%@de@consomateurs@sont@ amenés@par@les@engins@de@recherche Recherche@(Search)@est@responsable@de@25%@d achats@d appareils@en@ ligne@aux@e.s.@en@ @milliard@de@visiteurs@en@ligne@en@Q2@2012@(comScore) 70%@de@liens@que@les@u:lisateurs@cliquent@sont@des@résultats@

3 Résultats(organiques

4 Les(faces(visibles(des(moteurs(de(

5 Ranking in Search Engines Query User Interface Query time computing Caching Ranking Inverted Index Index Builder Page Authority Link Analysis Cached Pages Web Page Parser Pages Links & Anchors Link Map Link Graph Builder Link Graph Page & Site Statistics Crawler Offline computing Web Web 8/12/2012 Tie Yan KDD 2012 Learning to Rank 10

6 seeds d Stratégies Largeur%d abord((couverture( équilibre) Prioriser(des(sites(importants Taille:((Google) 1(billion(de(pages((2008) Indexe(~1(peta%octet((2012)

8 TokenisaZon Filtrage(de(mots(ouZls StandardisaZon(des(mots Créer(index informat!

10 @ recherch@! informat@! navig! 5,@6 recherch@and@informat@! 1,@8 recherch@and@informat@or@navig! 1,5,6,8

11 @ <t 1,@@@t 2,@@@t 3,@,@t n D@=@ <@a 1,@a 2,@a 3,@,@a @@ a i( =@poids@de@t i( Q@=@ <@b 1,@b 2,@b 3,@,@b @@ b i( =@poids@de@t i( dansq R(D,Q)@=@Sim@(D,Q) 11

12 IllustraZon Exemple: ( (((recherch((inform(((navig D 1 (=((((((((.2(((((((((((.3(((((((((((.5 D 2 (=((((((((.3(((((((((((.7((((((((((((1 Q(=((((((((((0((((((((((((0((((((((((((.2.5 navig Sim(D,D)@=@cos(α) D 1 (=(.2T 1 +(.3T 2 (+(.5T 3 Q(=(0T 1 (+(0T 2 (+(.2T recherch D 2( =(.3T 1 (+(.7T 2 (+((T 3 navig.7 12

13 PondéraZon(des(termes( <@ Intui:on: Plus@<(t,D)@est@élevée,@plus@t@est@important Plus@t@est@distribué@uniformément@dans@différents@ documents,@moins@il@est@important 13

14 Modèle(de(langue(staZsZque 0,4" 0,6" 0,4" 0,2" Requête? 0,3" 0,2" 0,1" 0" 1" 2" 3" 4" 5" 6" 7" D1 0" 1" 2" 3" 4" 5" 6" 7" 0,6" 0,4" 0,2" D2 0" 1" 2" 3" 4" 5" 6" 7" Modèle(de(requête Modèle(de(document 14

16 PageRank pages autorité. d importance wikipedia.com

17 annota:on) (moteur(de(recherche( (engin(de(recherche( (voir(sur(wikipedia( (recherche(d informazon (dépistage( (cliquer(ici(

18

19 Extraire(des((milliers(de)(caractérisZques((features)( pour(q%d Poids(<*idf((dans(le(Ztre,(corps,(anchor(text,( ) Score(SIM(D,Q),(Score(modèle(de(langue,(score(BM25( PageRank,(popularité Nombre(de(cliques (heuriszques Apprendre(une(foncZon(de(ranking(sur(un( ensemble(d exemples({(q i(,d j,(score ij }(afin( d ordonner(les(résultats(le(mieux(possible

20 Requête ranking insuffisantes?

21 Évalua:on l u:lisateur Évalua:on@de@la@qualité@par@des@évaluateurs@humains Précision@=@documents@per:nents@retrouvé@/@retrouvés Rappel@=@documents@per:nents@retrouvés@/@per:nents Mean@Average@Precision@(MAP)@~@Moyenne@des@précisions@ v i (=(valeur(du(résultat(i (((5((parfait)( (((4((excellent) (((3((très(bon) (((2((bon)( (((1((correct) (((0((mauvais)

22 Premier(problème( ( Mot(comme(index(de(base système(d informazque(! système,(informazque pomme(de(terre(! pomme,(terre((?) Les(mots(ne(sont(pas(indépendants(dans(une(phrase( (requête) Des(idées Regrouper(des(syntagmes(( pomme_de_terre ) DicZonnaire séquences(de(mots((n%grammes) Proximité(pour(une(plus(grande(flexibilité

23 Proximité favorisés

26 @ u:liser@une@mesure@de@proximité@comme@feature@ addi:onelle@(learningetoerank)

27 Dépendances(variables (Shi(et(Nie,(CIKM(2010,(AIRS(2010) Regrouper(des(mots:(uZle(pour(certains,(mais( inuzle(voire(nuisible(pour(d autres Black(Monday Pomme(de(terre Université(de(Montréal Prolog(input(? death(due(to(cancer(? Types(de(dépendance Syntagme((côte%à%côte(dans(l ordre) Co%occurrence((dans(proximité)

28 @séparer MAP Mots(à(proximité Mots(côte%à%côte 26

29 MAP Mots(à(proximité Mots(côte%à%côte 27

30 Black(Monday( (côte%à%côte(et(dans( l ordre MAP Mots(à(proximité Mots(côte%à%côte 28

31 Deuxième(problème( ( synonymes(ou(mots(reliés On(peut(décrire(une(chose(de(mulZples(façons ( Requête( ( ( Document recherche(d informazon(((( ~(( recherche(documentaire computer(( (((((((((((( ( ~(( PC Comment(retrouver(des(documents(perZnents(avec( des(mots(différents? ((((" Expansion:(ajouter(des(mots(reliés Dans(le(document:(Expansion(de(document

32 Expansion

33 Thésaurus? Is%a beverage,(drink,( drinkable,(potable Is%a Is%a Java( (island()( coffee,(java( Part%of tea Part%of beer Java( (language) caffeine,( caffein machine Is%a computer,(compuzng( machine,(compuzng(device,( data(processor,(electronic( computer,(informazon( processing(system expert Is%a calculator,( reckoner,(figurer,( eszmator,( computer

34 Analyse(de(co%ocurrences Si(deux(mots(apparaissent(ensemble(souvent,(ils(sont( sémanzquement(reliés. L'escouade) Marteau,( bras( armé( de( l'unité) permanente) an6corrup6on) (UPAC),(a(procédé(à(l'arresta6on)de)11)personnes,(jeudi,(au(terme(d'une( opérazon( qui( visait( à( démanteler( un( vaste( stratagème(de( collusion(qui( aurait(été(échafaudé(par(neuf)entreprises)de)construc6on(de(saint%jean% sur%richelieu(et(des(environs. Escouade(Marteau((! anzcorrupzon! construczon Méthode(prouvée(uZle Mais(grande(ambiguïté Java(! coffee Java(! île Java(! langage

35 Déterminer(les(mots(reliés(selon(contexte 07)

36 Un(mot(n

37 Troisième(problème( Les(uZlisateurs Casse%tête(des(moteurs(de(recherche:( des(intenzons/expressions(de(recherche( variées,(imprévues(et(imprévisibles Amis(des(moteurs(de(recherche:(Ils( enseignent(aux(moteurs(de(recherche( comment(faire((requête%cliques) Logs(d uzlisateurs((query(logs) Stockage(de(toutes(les(interacZons(des( uzlisateurs

38

39 Que(cherchent(les(uZlisateurs(((? Une(simples(staZsZque? Les(requêtes(les(plus(populaires Les(expressions(très(variées(dans(les( requêtes Synonymes Acronymes,( Erreurs((>600(épellaZons(différentes(pour(

40

41 Exploiter(les(logs(pour(connaître(les( chose? " "

42 Espace(de(requêtes( Espace(de(documents Java Java Java Java)(island) Java)(computer) Java)(coffee) Atomic)bomb Nagasaki ManhaAan)project Nuclear)weapon Atomic)bomb US)history):) ManhaAan)Project

47 Aller(plus(loin(avec(les(logs( (apprendre(à(relier(les(mots UZliser(les(relaZons(créées(pour(faire(l expansion( de(requête(et(de(documents

48 art

49 art D autres@u:lisa:ons Sugges:on@/@reformula:on@/@correc:on@de@ requêtes

50 Surmonter(la(barrière(de(langue( recherche(d informazon(tranalinguiszque

51

52

53 La(traducZon(est(difficile,(très(difficile! Exit 46

54

55 Oeufs(de(canard(confis(

56

57

58

59

60

61 érable

62 érable

63 La(traducZon(de(requête( %(plus(difficile(que(la(ta,(et(différente traduc:on fraud illégal food Combiner(la(traducZon(et(la(suggesZon(d une(meilleure(requête

64 Plus(de(détails(sur(la(RI( translinguiszque

65 Google 7 ) 2000:@1@milliard@(10 9 ) 2008:@1@billion@(10 12 ) 2012:@Index@de@100@peta7octets@de@données@(10 ½@des@documents@imprimés@de@toute@l humanité)

68 l électricité@consommée)

72 Vaut%il(la(peine(de(conZnuer(à(invesZr( La(valeur(de(l industry(de(moteur(de(recherche(est( eszmée(à((16(milliard($. Google: Revenue(2011:(37.9(milliard($ Profit:(9.7(milliard($ 96%(du(revenue:(publicités

73 Vaut%il(la(peine(de(conZnuer(à(invesZr( La(valeur(de(l industry(de(moteur(de(recherche(est( eszmée(à((16(milliard($. Google: Revenue(2011:(37.9(milliard($ Profit:(9.7(milliard($ 96%(du(revenue:(publicités Q2(2012: Pub(on(ligne:(8.4(milliard($((InteracZve(AdverZsing(Bureau) (encore(95%(de(budgets(pour(les(pub.(pour(les(média( tradizonnels Recherche((search)(a(un(taux(de(conclusion((close(rate)( 14.6%,(tandis(que(les(méthodes(outbound(( (ou(pub(

76 Vaut%il(la(peine(de(conZnuer(à(invesZr( Encore(beaucoup(de( La(valeur(de(l industry(de(moteur(de(recherche(est( eszmée(à((16(milliard($. Google: chemin(à(faire(pour( Revenue(2011:(37.9(milliard($ sazsfaire(les(uzlisateurs Profit:(9.7(milliard($ 96%(du(revenue:(publicités Q2(2012: Pub(on(ligne:(8.4(milliard($((InteracZve(AdverZsing(Bureau) (encore(95%(de(budgets(pour(les(pub.(pour(les(média( tradizonnels Recherche((search)(a(un(taux(de(conclusion((close(rate)( 14.6%,(tandis(que(les(méthodes(outbound(( (ou(pub(

77 Vaut%il(la(peine(de(conZnuer(à(invesZr( La(valeur(de(l industry(de(moteur(de(recherche(est( eszmée(à((16(milliard($. Google: Revenue(2011:(37.9(milliard($ Profit:(9.7(milliard($ 96%(du(revenue:(publicités Q2(2012: Encore(beaucoup(de( chemin(à(faire(pour( sazsfaire(les(uzlisateurs L avenir(est(devant(nous! Pub(on(ligne:(8.4(milliard($((InteracZve(AdverZsing(Bureau) (encore(95%(de(budgets(pour(les(pub.(pour(les(média( tradizonnels Recherche((search)(a(un(taux(de(conclusion((close(rate)( 14.6%,(tandis(que(les(méthodes(outbound(( (ou(pub(

78 Remerciement