N.B. Cette thèse a été financée par France Télécom Division R&D et préparée au sein de France Télécom Division R&D en collaboration avec le LRI.

Transcription

1 ORSAY N attribué par la bibliothèque N D ORDRE : / / / / / / / / / / / UNIVERSITÉ DE PARIS-SUD U.F.R. SCIENTIFIQUE D ORSAY T H È S E présentée pour obtenir le grade de DOCTEUR EN SCIENCES DE L UNIVERSITÉ PARIS 11, ORSAY Discipline : Informatique par Frédéric DANG NGOC Soutenue le 17 février 2006 Titre : MOTEUR DE RECHERCHE PERSONNALISÉ ET DÉCENTRALISÉ Directeurs de thèse : Pierre FRAIGNIAUD (CNRS) Joaquín KELLER (France Télécom R&D) JURY M. Karl ABERER, Professeur, EPFL, rapporteur M. Ernst W. BIERSACK, Professeur, U. de Nice et Telecom Paris, Eurecom examinateur M. Pierre FRAIGNIAUD, Directeur de Recherche CNRS, LRI, U. Paris-Sud.... directeur de thèse M. Joaquín KELLER, France Télécom R&D co-directeur de thèse Mme. Anne-Marie KERMARREC, Directeur de Recherche INRIA, IRISA rapporteur Mme. Marie-Christine ROUSSET, Professeur, U. d Orsay et U. de Grenoble examinateur

2 2

3 3 Résumé : La recherche d information est devenue plus que jamais un problème d actualité. Le problème ne se situe pas dans la pénurie d information mais au contraire sur sa surabondance. Nous décrirons dans cette thèse le moteur de recherche personnalisé et décentralisé MAAY que nous avons conçu. La motivation étant de proposer une alternative aux moteurs de recherche de la Toile (Google, Yahoo!, etc.) que le manque de transparence risque de rendre de moins en moins crédibles (biais des résultats, censure, confidentialité, etc.). Nous proposons dans MAAY d utiliser les utilisateurs, plus particulièrement leurs actions dans le système, pour personnaliser les résultats. Dans MAAY, la publication, l indexation et la recherche de données sont décentralisées sur les machines des utilisateurs. Chaque machine (pair) apprend les profils sémantiques des autres pairs et des documents à partir de l observation de messages de recherche et de téléchargements. En interrogeant préférentiellement les pairs ayant des profils sémantiques similaires, et en classant les documents en fonction du profil du demandeur, les utilisateurs devraient trouver des documents qui leur soient pertinents. C est ce que nous avons montré au travers de simulations. Pour ces simulations, nous avons proposé un modèle des utilisateurs et des documents ainsi qu un ensemble de mesures pour évaluer l efficacité d un système de recherche à retourner des réponses personnalisées à ses utilisateurs. Les résultats obtenus par simulation montrent que MAAY arrive à s adapter aux utilisateurs en leur fournissant des réponses qui leur sont personnalisées. Enfin, nous avons implémenté un prototype de MAAY afin de tester sa faisabilité et les différentes fonctionnalités qui seront implémentées dans la version finale du système. Title : A Decentralized Personalized Search Engine Abstract : Nowadays, information retrieval is still a hard problem. The issue does not lie on information scarcity but rather on its overabundance. In this thesis, we will describe the search engine MAAY that we have conceived. The motivation is to propose an alternative to web search engines (Google, Yahoo!, etc.) whose lack of transparency makes less credible (skewed results, censorship, privacy, etc.). In this system, we propose to use the users, more particularly, their actions in the system, to personalize results. In MAAY, publications, indexations and searches are decentralized on user s computers. Each computer (peer) learns semantic profiles of other peers and of documents from observations of search and download messages. By preferentially querying peers with similar semantic profiles, and by ranking documents according to the requester profile, users may find documents which are relevant for them. That is what we show through simulations. To do so, we propose a user and document model, and several measures to evaluate the efficiency of a search system to provide personalized answers to its users. The results that we have obtained show that MAAY succeeds in adapting to its users by providing them personalized answers. Finally, we have implemented a prototype of our system to test its feasibility and the functionalities that will be implemented in the final version of our system. Discipline (Orsay) : Informatique Specialité : Systèmes distribués Mots clés : Moteur de recherche, Système pair-à-pair Intitulé et adresse de l U.F.R. ou du laboratoire : Laboratoire de Recherche en Informatique (LRI) Université Paris-Sud Orsay Cedex N.B. Cette thèse a été financée par France Télécom Division R&D et préparée au sein de France Télécom Division R&D en collaboration avec le LRI.

4 4 Remerciements

5 5

6 Table des matières Table des matières 6 1 Introduction Contexte Axe de recherche Plan de la thèse Les systèmes de recherche Moteurs de recherche de la Toile Terminologie Architecture et fonctionnement Classement des pages TFIDF et VSM PageRank HITS Conclusion Défauts des moteurs de recherche Systèmes de recherche décentralisés non structurés Principes Le système centralisé Napster Gnutella v Hiérarchie à deux niveaux Retransmission itérative Routage sémantique Règles de routage de requête indépendant de la requête Règles de routage par identifiant de document Règles de routage par mot Bilan Systèmes de recherche décentralisés structurés Les tables de hachage distribuées CHORD CAN Pastry Conclusion Recherche de documents par mot Recherche par coordonnée sémantique Bilan Conclusion

7 7 3 Maay Modèle Présentation générale Structure des messages Déroulement d une recherche Profils sémantiques des voisins Apprentissage du profil des voisins Critères de routage Routage des requêtes de recherche Vieillissement Profils sémantiques des documents Apprentissage du profil des documents Critères de classement Classement des documents Mise en cache des résultats Vieillissement Protocole Protocole de recherche Propagation de la requête de recherche Réception d une requête de recherche Réception d une réponse de recherche Protocole de téléchargement Description détaillée des messages Conclusion Modèles des utilisateurs Terminologie Coefficient de clustering Graphes aléatoires d Erdös et Rényi Graphes petit monde Graphes sans échelle Lois de puissance Modèles des utilisateurs de systèmes d échanges de fichiers Modèles basés sur les propriétés observées Modèles utilisant des données réelles Mesures d évaluation Mesures quantitatives Mesures qualitatives Conclusion Modèle des utilisateurs proposé Modèle statique Propriétés des distributions Propriétés des réseaux Mesure de pertinence personnalisée Définition Test de la mesure de pertinence personnalisée Modèle dynamique Les requêtes de recherche Les téléchargements Arrivées des utilisateurs

8 8 TABLE DES MATIÈRES Modèle réduit Mesures d évaluation personnalisées Conclusion Simulation Instanciation du modèle des utilisateurs Simulation Paramètres de la simulation Paramètres du modèle des utilisateurs Paramètres des nœuds MAAY Résultats Qualité du voisinage Pertinence des réponses de recherche Influences des paramètres de recherche Nombre maximal de résultats par réponse de recherche (ehc) Nombre de retransmissions de la requête (ttl) Nombre de voisins vers lesquels un nœud retransmet la requête (fnc) Taille du cache des documents Bilan Modèle basé sur le graphe des articles DBLP Conclusion Mise en oeuvre Fonctionnalités Systèmes approchés Recherche collaborative Recherche de ressources locales Bilan Architecture du nœud MAAY Terminologie Crawler Indexeur Gestionnaire d indexation Convertisseur Analyseur textuel Base de données Moteur de requêtes Gestionnaire de téléchargement Gestionnaire de profils Gestionnaire de communications Interface utilisateur Interface de recherche Annotation / Tagging Indexation d une page web Version d une page web Interface de configuration Méthodes pour faciliter le déploiement de MAAY Installeur Bootstrap Conclusion

9 9 7 Conclusion et perspectives Contributions Perspectives Amélioration des algorithmes de recherche de MAAY Critères de classement des documents Critères de sélections de voisins Fonctionnalités supplémentaires Gestion des droits Indexation d autres sources Fonctionnalité web Statistiques Bibliographie 117 A Test de la valeur de pertinence personnalisée 127 Table des figures 130 Liste des tableaux 131

10

11 Chapitre 1 Introduction La recherche et l acquisition du savoir ont toujours été un moteur dans l évolution de l humanité. Les méthodes de transmission ont évolué au cours des siècles, passant de l oral à l écriture, puis au numérique. Le numérique a permis d accélérer considérablement le transfert d information en permettant la réplication d une donnée en un instant. Mais c est surtout grâce au développement du réseau Internet qu une information peut maintenant être propagée à des milliers voire des milliards de personnes en quelques secondes. Les méthodes de recherche, qui traditionnellement se faisaient en explorant les informations classées par catégorie, se font maintenant en tapant quelques mots clés dans un moteur de recherche. Cependant, avec le développement de nouveaux médias de communication, l information disponible ne cesse de croître et augmente de manière exponentielle. Tout d abord avec le web et les groupes de discussion qui ont permis à tout anonyme d être lu par des millions de lecteurs. Puis maintenant avec les blogs qui permettent à tout un chacun de s exprimer via un journal qu il met régulièrement à jour. Avec des milliards de documents disponibles, il est très difficile de concevoir un système de recherche qui puisse répondre à des centaines de millions de requêtes quotidiennes. Les moteurs de recherche actuels comme Google, Yahoo et MSN Search sont confrontés à plusieurs problèmes : le fonctionnement de ces moteurs de recherche est tenu secret. Les utilisateurs sont donc impuissants face à la politique de confidentialité de ces moteurs de recherche et des biais qu ils introduisent pour le classement des résultats. le système demande une infrastructure lourde et coûteuse. les moteurs de recherche ne cherchent pas à s adapter à la personnalité de chaque utilisateur et fournissent des résultats impersonnels. Ainsi, par exemple, pour une requête sur le mot java, les moteurs de recherche fournissent des réponses sur le langage de programmation Java, que l utilisateur soit amateur d informatique, de géographie (île de Java) ou encore de danses françaises. la masse d informations à analyser est dynamique et gigantesque. L analyser entièrement et de manière régulière avec une périodicité courte est difficilement réalisable. Par conséquent, des documents peuvent être absents ou apparaître de manière erronée dans les résultats. Une étude réalisée en 2003 [77] montre que les moteurs actuels fournissent des résultats provenant d une version du web datant d un mois en moyenne. Avec l augmentation exponentielle des documents disponibles sur le web, ces problèmes vont devenir de plus en plus aigus et de nouvelles techniques seront nécessaires pour y faire face. Dans cette thèse, nous tenterons de résoudre ces problèmes en proposant un système de recherche décentralisé où l analyse des documents et les recherches sont gérées par les machines des utilisateurs. 11

12 12 CHAPITRE 1. INTRODUCTION 1.1 Contexte Un espace d information est un ensemble de données. Ces données peuvent être textuelles, sonores ou visuelles, et sont souvent décrites par des mots. L espace d information peut être dynamique, c est-à-dire que des données apparaissent, disparaissent ou se modifient continuellement. On appelle système de recherche ou moteur de recherche, une application permettant aux utilisateurs de rechercher des données dans un espace d information. Typiquement, les utilisateurs effectuent une requête de recherche composée d un ensemble de mots clés, et reçoivent en réponse une liste des descriptions de donnée (titre, extrait, URL). Les moteurs de recherche traditionnels se basent sur une architecture centralisée. Ces serveurs parcourent et indexent le web, et répondent aux requêtes des utilisateurs. Une alternative possible aux systèmes centralisés est le paradigme pair-à-pair (peer-to-peer en anglais, ou P2P). Un système pair-à-pair est un système où chaque machine est à la fois client (elle peut effectuer des requêtes) et serveur (elle répond aux requêtes). Un tel système n est composé que des machines des utilisateurs du système et n implique pas de coûteux serveurs dédiés. Une caractéristique commune des systèmes pair-à-pair est leur autonomie et leur résistance aux défaillances. Les machines s interconnectent automatiquement entre elles, et l arrivée de participants ou leur départ ne dégrade pas significativement le fonctionnement du système. 1.2 Axe de recherche Un système d échanges de fichiers pair-à-pair est un système où les utilisateurs peuvent rechercher et s échanger des fichiers. Chaque utilisateur gère un moteur de recherche local sur son espace d information correspondant à ses fichiers partagés. Une recherche s effectue en interrogeant le moteur de recherche de plusieurs utilisateurs. Ces systèmes ont plusieurs avantages. Premièrement, les réponses sont à jour puisque la recherche s effectue localement sur le contenu des machines interrogées. Deuxièmement, le système ne demande pas d infrastructures coûteuses. Cependant cette architecture n est pas exempte de défauts. Premièrement, la recherche n est pas exhaustive car elle est limitée aux contenus des quelques machines interrogées. Seules les fichiers populaires et largement répliqués peuvent donc être trouvés. Deuxièmement, la recherche est coûteuse en bande passante et le temps pour trouver une réponse peut être élevé. Troisièmement ce type de système n est pas bien adapté pour rechercher des documents sur leur contenu textuelle et pour les classer par pertinence. L idée d utiliser une architecture pair-à-pair pour implémenter un système de recherche a émergé en 1999 avec les systèmes d échanges de fichiers Napster et Gnutella, mais elle n a été que peu exploitée pour la recherche de documents avec classement par pertinence. Actuellement, seuls les systèmes pair-à-pair d échanges de fichiers ont été déployés et utilisés. Cependant, plusieurs systèmes de recherche pair-à-pair ont été proposés et permettent de résoudre partiellement ces problèmes. Un système de recherche doit pouvoir assurer les fonctionnalités suivantes : parcours exhaustif de l espace d information : le système vise à référencer l ensemble de l espace d information et à l analyser ; indexation à jour : les connaissances du système sur le contenu des documents présents dans l espace d information doivent être les plus à jour possible ; réponses exhaustives aux requêtes des utilisateurs : le système doit pouvoir fournir tous les résultats susceptibles d intéresser l utilisateur ; classement par pertinence des résultats : le système doit présenter à l utilisateur les résultats qui lui sont les plus pertinents en premières positions. Ce sont ces fonctions que nous allons essayer de décentraliser dans notre système de recherche proposé dans cette thèse.

13 1.3. PLAN DE LA THÈSE Plan de la thèse Cette thèse est découpée en plusieurs chapitres. Dans le chapitre 2, nous étudions les moteurs de recherche de la Toile et les systèmes de recherche décentralisés. Les moteurs de recherche de la Toile sont composés d un ensemble de machines dédiées qui parcourent et analysent l espace d information. Les données extraites lors de l analyse de l espace d information sont stockées dans des bases de données. Ces bases de données contiennent des descriptions des documents visités et les index inversés associant à chaque mot, la liste des documents dans lesquels il apparaît. Comme le nombre de documents convenant à une requête peut atteindre plusieurs millions dans le cas où des mots populaires sont utilisés (par exemple Java, Linux, etc.), des algorithmes de classement ont été proposés afin de présenter aux utilisateurs, les résultats les plus pertinents en première position. Nous présentons dans le chapitre 2 quelques uns de ces critères se basant sur la fréquence des mots et/ou sur les liens hypertextes entre les documents. Ensuite nous décrivons les problèmes auxquels sont confrontés les moteurs de recherche : censure et biais des résultats, absence de personnalisation des résultats, résultats non complets et non à jour, etc. Les systèmes de recherche décentralisés se basent uniquement sur les machines de ses utilisateurs pour analyser l espace d information et y effectuer des recherches. Dans ce type de systèmes, les machines ont les mêmes fonctionnalités et sont appelées pairs. Les utilisateurs des systèmes de recherche décentralisés peuvent rechercher, publier et télécharger des documents se trouvant sur les autres pairs. Les index des documents, qui comprend notamment les documents publiés par les utilisateurs, sont répartis sur les machine des utilisateurs. Ces systèmes possèdent plusieurs avantages : les résultats sont à jour et le coût financier du déploiement est pratiquement nul. Deux approches sont employées pour implémenter ces systèmes : Dans l approche non structurée, les pairs sont autonomes et les connexions inter-utilisateur ne leur sont pas contraintes de satisfaire une topologie particulière. Dans les systèmes non structurés chaque pairs est connectés à un ensemble d autres pairs appelés voisins. Les pairs agissent comme des moteurs de recherche sur leurs données locales. Un utilisateur effectue une recherche en interrogeant plusieurs pairs voisins qui interrogent à leur tour plusieurs pairs voisins et ainsi de suite. Cependant, cette approche est toutefois relativement coûteuse en bande passante, et la recherche n est pas exhaustive puisque seule une partie de l espace d information est explorée. Pour augmenter l exhaustivité de la recherche tout en diminuant la bande passante utilisée, plusieurs solutions ont été proposées. Parmi ces solutions, le routage sémantique nous semble la plus prometteuse. Dans cette approche, les pairs choisissent des pairs spécifiques vers lesquels retransmettre les requêtes de recherche afin d augmenter la probabilité qu une requête de recherche atteigne un pair susceptible de fournir des réponses pertinentes. Dans l approche structurée, chaque machine est responsable d un certain nombre de mots clés et doit connaître la liste des documents dans lesquels chacun de ces mots apparaît (index inversés). Le réseau est structuré de telle sorte qu une requête sur un mot peut facilement être routée vers le pair qui est responsable du mot clé de la requête. Pour effectuer une recherche, un pair n a qu à interroger les machines responsables des mots de la requête pour récupérer les listes des documents qui contiennent ces mots puis effectuer leurs intersections. Cette approche permet d obtenir des réponses exhaustives. Cependant, elle a plusieurs défauts. Tout d abord, une recherche multi-mots est coûteuse en bande passante puisqu elle implique l envoie de longues listes de documents vers l initiateur de la requête. L arrivée et le départ de pairs entraînent un transfert de responsabilité des mots (donc des index inversés) coûteuse en bande passante. Enfin, les publications de documents sont coûteuses en messages envoyés pour mettre à jour les index inversés.

14 14 CHAPITRE 1. INTRODUCTION Les systèmes de recherche décentralisés non structurés nous paraissent une solution viable pour permettre aux utilisateurs de rechercher, publier et télécharger des documents entre eux. Cependant, ces systèmes ne gèrent pas encore la personnalisation des résultats. C est ce que nous allons proposer dans notre système de recherche. Dans le chapitre 3, nous présentons le système de recherche personnalisé et décentralisé que nous avons conçu appelé MAAY. Les utilisateurs de MAAY peuvent publier, rechercher et télécharger des documents. MAAY ne repose que sur les machines de ses utilisateurs et n utilise pas de serveurs dédiés. Ce système personnalise les résultats en fonction des utilisateurs en utilisant les relations existant entre les utilisateurs, les documents et les mots. MAAY utilise un routage sémantique personnalisé et un classement de document personnalisé afin que les utilisateurs puissent trouver des résultats qui leur soient pertinents. Le routage sémantique personnalisé vise à diriger les requêtes de recherche de l initiateur vers les pairs partageant des intérêts en communs. Nous avons pour cela défini un mécanisme d apprentissage permettant à chaque pair d établir localement le profil sémantique de ses voisins par l observation des messages de recherche et de téléchargement reçus. Nous avons ensuite utilisé ces profils sémantiques pour définir plusieurs critères de routage qui tiennent compte des mots de la requête et de la similarité de profils entre le pair demandeur et le pair interrogé. Le classement personnalisé des résultats a pour but de filtrer les résultats de manière à ne retourner que des documents présentant un profil susceptible d intéresser le pair demandeur. Nous avons pour cela proposé un mécanisme d apprentissage où chaque pair apprend les mots caractéristiques des documents (profil du document) à partir des requêtes de téléchargement. En utilisant les profils des documents et les profils des pairs, nous avons défini plusieurs critères de classements qui tiennent compte à la fois de la requête de recherche et du profil du pair demandeur. Nous avons ensuite décrit le protocole de recherche et de téléchargement dans MAAY ainsi que les algorithmes utilisés. Pour tester la pertinence de notre approche, nous avons soumis notre système à des simulations. Dans le chapitre 4, nous avons défini un nouveau modèle des utilisateurs. Les modèles des utilisateurs de système d échanges de fichiers se révèlent incomplets pour simuler notre système car, d une part, ils ne permettent pas de mesurer la pertinence personnalisée des résultats, et d autre part, les recherches se font souvent par l identifiant du document (nom du fichier, titre de la chanson, etc.) et non par mot clé. Pour concevoir notre modèle, nous nous sommes basés sur des études de traces de moteurs de recherche actuels, bibliométriques et sémantiques pour définir les relations entre les utilisateurs et leurs documents, et entre les documents et leurs mots. Nous avons également défini le comportement des utilisateurs, c est-à-dire l émission de requêtes de recherche et le téléchargement de documents. Les mots de la requête et les documents téléchargés sont choisis en fonction des relations existantes entre les utilisateurs et les documents, et entre les documents et les mots. Nous avons introduit une mesure de pertinence personnalisée pour évaluer la pertinence d un résultat par rapport à un mot et à un utilisateur donné. Nous avons ensuite apporté une validation expérimentale de cette mesure en la testant sur des données de la base bibiliographique DBLP. Cette pertinence personnalisée nous a permis, d une part, de simuler les choix des utilisateurs envers les documents (apparaissant dans les réponses de recherche) qu ils vont télécharger, et d autre part, de définir un ensemble de mesures pour évaluer l efficacité d un système de recherche à fournir des réponses personnalisées à ses utilisateurs. Dans le chapitre 5, nous évaluons notre système de recherche MAAY en simulant des utilisateurs de notre système au moyen du modèle défini dans le chapitre 4. Nous avons proposé une méthode pour instancier ce modèle. Nous avons ensuite, grâce à un programme que nous avons implémenté, simulé des milliers d utilisateurs effectuant des milliers de requêtes de recherche. Les résultats nous

15 1.3. PLAN DE LA THÈSE 15 montrent que les utilisateurs s agrègent par intérêts communs et que les critères de routage et de classement que nous avons définis permettent aux requêtes d atteindre des documents qui soient pertinents du point de vue de l initiateur de la requête. Nous avons étudié l influence des paramètres de propagation de requêtes sur la qualité des résultats, et avons ainsi pu observer qu une recherche pouvait être satisfaite en interrogeant peu de pairs. En désactivant le routage sémantique et le classement des résultats, nous avons pu montrer que le choix des voisins interrogés jouaient un rôle plus important que le classement des résultats. Enfin, nous avons effectué une simulation plus réaliste en simulant des utilisateurs construits à partir de la base bibliographique DBLP. Les résultats obtenus sont comparables à ceux obtenus avec les utilisateurs générés à partir de notre modèle. Dans le chapitre 6 nous montrons comment implémenter un prototype de MAAY plus complet avec plus de fonctionnalités qui nous servira de base pour la conception du système final. Le prototype implémente un système permettant aux utilisateurs d effectuer des recherches locales (fichiers présents sur le disque dur de l utilisateur) et collaboratives (fichiers partagés par les autres utilisateurs). Les utilisateurs de MAAY peuvent aussi annoter les documents qu ils téléchargent et indexer les pages du web qu ils visitent. Nous présentons les différentes fonctionnalités du prototype, l architecture interne du programme (crawler, indexeur, moteur de requêtes, etc.) et les structures de données qui sont utilisées pour stoquer les différentes données. Nous décrivons enfin comment l utilisateur interagit avec le programme pour effectuer ses recherches et utiliser ses différentes fonctionnalités. La mise en place de ce système nous a permis de montrer la faisabilité du système et de tester les différentes fonctionnalités qui pourront être implémentées dans le système final. Enfin, dans le chapitre 7 nous concluons en réfléchissant aux améliorations futures possibles du système MAAY. Nous décrivons quelques critères de routage et de classement qui pourraient être utilisés afin d améliorer le système. Nous présentons également de nouvelles fonctionnalités qui pourraient être implémentés pour rendre le système plus riche. Enfin, nous finissons en décrivant la possibilité de récupérer des statistiques pour, d une part, améliorer le modèle que nous avons proposé, et d autre part, proposer des batteries de tests pour de futures simulations de MAAY ou d autres systèmes.