Recherche d information textuelle

Dimension: px

Commencer à balayer dès la page:

Download "Recherche d information textuelle"

Raymonde Lessard
il y a 6 ans
Total affichages :

1 Recherche d information textuelle Recherche Web B. Piwowarski CNRS / LIP6 Université Paris 6 benjamin@bpiwowar.net Master IP

2 Plan Spécificité du Web Crawlers Besoins d information Analyse de traces (Web Log Mining) Spam Publicité Analyse de liens 2

3 Le Web - en bref Lycos (Crawler) Ask Jeeves (Langage naturel?) Yahoo (portail) Overture (Placement payant) Web Google Publicité en ligne Facebook Début du Web 3

4 Spécificité du Web Corpus : Taille, diversité, graphe, ouverture & dynamique Individus : grande variabilité des usages Problème du spam Financement par la publicité 4

5 Le Web Croissance désordonnée Pas de coordination Nature des informations Contient des informations obsoletes, mensongères, etc Texte, html, images, structuré (XML), BD, Statique vs dynamique Le web dynamique n est pas indexé Web caché Multilingue Difficulté des analyses lexicales 5

6 Le Web Forte croissance La taille du web réel n est pas connue Qu est ce qui est mesuré Nombre d hôtes Nombres de pages statiques Etudes sur l estimation du nombre de pages Plusieurs méthodes : marches aléatoires, etc Via les moteurs de recherche / index (cf. Netcraft) Nombre de pages indexées 6

7 Le Web en

8 Robot d indexation (Crawler) Un programme qui Suit les hyperliens entre les documents Recharge les pages à intervalles réguliers Source: Wikipedia 8

9 Crawler : Problématiques Minimiser les resources : la bande passante utilisée Interrogation des mêmes sites Maximiser des critères de qualité La couverture La fraîcheur Information structurée / dynamique (Web 2.0) 9

10 Besoins d information Requêtes Loi de puissance peu de requêtes populaires Beaucoup de requêtes rares Taille moyenne requêtes < 3 mots 1998, moyenne moyenne 2.54 Besoins d information dynamiques Utilisation pauvre du langage de requête 10

11 Besoins d information Différents types de besoins Navigation Joindre une page donnée Transactionnel Achats en ligne Accéder à une ressource Musique, livre, réservation avions hotels, Météo, Google-Maps, downloads, Informationnel Consultation Se renseigner sur un sujet Interaction Rappel souvent peu important, précision mise en avant 11

12 Web Log Mining Les traces utilisateurs questions clics (sites web visités) Utilisation Personnalisation Prédiction Suite de la question Détection d entités (représentation de XXX, etc.) Cache Détection de tendances 12

13 Une source d information 13

14 qui peut être utile 14

15 Spam sur le Web Référencement - Search Engine Optimization (SEO) Mettre en avant ses pages / son site dans les résultats des moteurs de recherche Motivations: commerciales, politiques, etc Le SEO = source de spam Guerre entre les spammers et les moteurs de recherche Adversial information retrieval 15

16 Bestiaire du Spam Modification du contenu Keyword stuffing Répétition de termes pour augmenter le tf-idf générateurs de texte : pipotrons, patchworks, générateurs markoviens Visait les 1ers moteurs de recherche (tf-idf), facilement détecté actuellement Camouflage = informations différentes suivant l utilisateur (robot vs personne) Si la requête http provient d un crawler : servir un faux contenu (fausse indexation) Si la requête http provient du browser d un utilisateur servir du spam 16

17 Bestiaire du Spam Référencement Référencement mutuel de sites Honey pot : réplication de sites Blog ou wiki spam Clic spam 17

18 Bestiaire du Spam Parasitage Divers recyclage de domaines expirés, cybersquatting pollution ou piratage de sites réputés fiables : blogs, forums, petites annonces Botnets, clickbots (ClickBot.A) Variantes Phishing (cf mesure 2009 verification transactions par les banques - sms de confirmation) Social spam : générateurs d'amis 18

19 Spamdexing : ferme à liens (Projet Madspam, T. Urvoy, Orange Labs) Orange Labs - R&D méthodes automatiques pour la détection du spamdexing mars

20 Spamdexing : ferme à liens 20

21 Spamdexing : ferme à liens Plus de 5000 pages ventilées sur des centaines de sites 21

22 Spam blogs 22

23 Incidence % de Web spam dans les 8 domaines les plus populaires sur le Web % de Web spam dans les 5 langues les plus populaires sur le Web Sur 100 millions de pages, globalement représentatives du Web [Ntoulas et al. 2006] 23

24 La lutte contre le Spam Editorial Blacklists, dénonciation (Google), Usage Préférer les pages très utilisées, bien référencées Analyse de liens Guilt by association Algos robustes de référencement Machine learning Cf Adversial retrieval initiative : Airweb 24

25 Publicité sur le Web Trois niveaux Cost per Mil (CPM) : nombre de fois où la bannière est affichée Ce que les moteurs de recherche aimerait faire payer Cost per Clic (CPC) : nombre de fois où la bannière est cliquée Ce que les moteurs de recherche font payer Cost Per Engagement (CPE) : nombre de fois où une Ce transaction que les clients de a moteurs été engagé de recherche aimeraient payer 25

26 Revenus générés 26

27 Revenus générés 27

28 Problématique Économique : Modèle = mises (par clic) Comment facturer les clients de façon à ce qu ils maximisent leurs mises? Recherche d information Trouver les publicités les plus pertinentes mais qui génèrent le plus de clic Estimation de l intérêt d une publicité 28

29 Principes Espace 1 Espace 2? p(clic question, annonceur) Annonceur 1: - mots clefs - budget / clic - budget restant Espace 3 Annonceur 2: - mots clefs - budget / clic - budget restant Requête + contexte 29

30 Analyse de liens - PageRank et Hits PageRank et Hits ou comment utiliser les liens pour améliorer la RI Recherche d'information textuelle

Documents pareils

Recherche d information textuelle

Recherche d information textuelle Recherche Web B. Piwowarski CNRS / LIP6 Université Paris 6 benjamin@bpiwowar.net http://www.bpiwowar.net Master IP - 2014-15 Cours et travaux pratiques basés sur les documents