On the Recommending of Citations for Research Papers

Transcription

1 On the Recommending of Citations for Research Papers McNee et al. Émile Ducrocq Michel Desmarais École polytechnique de Montréal

2 Problématique Quantité astronomique d articles de recherche sur Internet Comment trouver des sources pertinentes? Filtrage collaboratif Émile Ducrocq 2/28

3 Problématique Ce qu il se fait : Researchindex Base de données d articles avec leurs citations sans filtrage collaboratif Google et autres moteurs de recherches Recherche de texte pertinent sans prendre en compte la sémantique Émile Ducrocq 3/28

4 Problématique Processus d automatisation? Traitement sémantique Un crawler qui parcourt les articles ResearchIndex le faisait Émile Ducrocq 4/28

5 Problématique But : Ajouter du filtrage collaboratif Permet de suivre les développements importants Information importante plus facile à trouver Quel algorithme choisir? Émile Ducrocq 5/28

6 Plan 1.Travail en relation 2.Contribution de l article Définitions utilisées Représentation du système Choix des algorithmes 3.Expériences Hors ligne Résultat de l expérience hors ligne En ligne 4.Conclusion Résultat de l expérience en ligne Émile Ducrocq 6/28

7 Travail relié à l article Filtrage collaboratif Plein de domaines Nouvelles Usenet Blagues Films Plein de méthodes Algorithme sur les relations des objets Groupement des voisins Réseaux bayésiens Émile Ducrocq 7/28

8 Travail relié à l article Indexation des citations ResearchIndex Citations dans un même livre (sorte d index) Réseaux professionnels de chercheurs Études précédentes qui relient chercheurs et articles Émile Ducrocq 8/28

9 Plan 1.Travail en relation 2.Contribution de l article Définitions utilisées Représentation du système Choix des algorithmes 3.Expériences Hors ligne Résultat de l expérience hors ligne En ligne 4.Conclusion Résultat de l expérience en ligne Émile Ducrocq 9/28

10 Définitions Citation : Référence à un article de recherche Titre Auteurs Date de parution... Article (de recherche) : On a accès au contenu. Mais on ne sait pas tout récupérer. Mais on a normalement accès aux citations Émile Ducrocq 10/28

11 Représentation Création de la matrice utilisateur-objet Proposition de construction U : chercheurs qui votent O : citations V : vote manuel U : auteurs d articles O : citations V : citation dans un article U : articles O : citations V : citation dans un article U : citations O : citations V : nombre de co-citation dans un article Avantages/inconvénients Problème de démarrage des votes Les chercheurs peuvent changer de carrière en cours de route On est sûr que chaque «utilisateur» vote A déjà été très performant dans le passé Émile Ducrocq 11/28

12 Représentation Remarques : Utilisateur Personne Objets et votes peuvent avoir des définitions changeantes Dépend du sujet sur lequel on se focalise Algorithme recherché : f(article) = liste(citations) avec peu de citations pré-renseignés dans l article Émile Ducrocq 12/28

13 Choix des algorithmes Filtrage collaboratif Compte du nombre de co-citations Les citations les plus co-citées sont renvoyées Matrice Utilisateur-Objet Récupère les articles k-voisins (similarité cosinus), puis renvoie les citations les plus retrouvées Matrice Item-Item Renvoie les citations k-voisines (similarité cosinus) Classificateur bayésien naïf Renvoie les citations qui maximisent P(citation article citations fournies) Émile Ducrocq 13/28

14 Choix des algorithmes Filtrage non-collaboratif Recherche «locale» de citation Fait un TF-IDF sur les mots des citations et ceux des abstracts/titres des articles. Donne les résultats par pertinence et uniquement dans les articles en relation avec l article étudié. (partie locale du graphe des voisins) Recherche de mots-clefs Recherche le titre de l article dans le moteur de recherche Google et renvoie dans l ordre d apparition Besoin de l Internet Émile Ducrocq 14/28

15 Plan 1.Travail en relation 2.Contribution de l article Définitions utilisées Représentation du système Choix des algorithmes 3.Expériences Hors ligne Résultat de l expérience hors ligne En ligne 4.Conclusion Résultat de l expérience en ligne Émile Ducrocq 15/28

16 Hors ligne ResearchIndex articles < 2 citations Écrémages des articles < 2 articles articles citations Moyenne de 16 connections/articles Émile Ducrocq 16/28

17 Hors ligne 90 % des données pour l entraînement 10 % pour la validation 1 citation retirée de l article 10 validations croisées répétées rotation des données d entraînement Émile Ducrocq 17/28

18 Hors ligne Les métriques du critère de performance Le rang Position de la recommandation recherchée La couverture (c.a.d le rappel) Pourcentage de recommandations correctes si un élément est choisi Le rang effectif Sorte de F-mesure : mélange entre la mesure du rang et de la couverture. Émile Ducrocq 18/28

19 Hors ligne Limitations de l évaluation de la performance: Proposition peut être plus pertinente Les recommandations peuvent être ultérieures Filtrage postérieur des citations datant de plus d un an Émile Ducrocq 19/28

20 Résultat du hors ligne Graphe avec différents seuil pour le rang Léger biais : un article souvent cité avait plus de chance d être un test L algorithme de recherche «locale» de citations fonctionne mieux Émile Ducrocq 20/28

21 Résultat du hors ligne Graphe avec différents seuil pour la couverture Émile Ducrocq 21/28

22 En ligne Motivations : Si la suggestion était meilleure, on veut le voir jugeons par le contenu Fonctionnement Étude statistique par retour des auteurs d articles Choix aléatoire de l algorithme Si il ne trouve pas 5 recommandations (moins celles de l auteur), on change Demande : une échelle sur la pertinence des articles si l auteur connaissait l article Pertinent si obtient les meilleurs notes dans l étude Émile Ducrocq 22/28

23 Résultat du en ligne Émile Ducrocq 23/28

24 Résultat du en ligne Pertinence des recommandations Découverte des articles par les recommandations Émile Ducrocq 24/28

25 Résultat du en ligne Utilité des recommandations pour ajouter des références d après les sondés Utilité des recommandations pour découvrir des articles d après les sondés Émile Ducrocq 25/28

26 Conclusion Plusieurs algorithmes pertinents Dépend des préférences des utilisateurs Remarque de performance Algorithmes de filtrages collaboratifs : pertinent pour découvrir de nouveaux articles Algorithmes plus axés contenus : pertinent pour ajouter des références Émile Ducrocq 26/28

27 Conclusion Algorithmes Objets-objets ou Utilisateurs-Utilisateurs sont performant en hors ligne mais pas en ligne Est-ce parce que les articles de l auteur, privilégiés dans le filtrage collaboratif, sont supprimés? Mélange des algorithmes? Recommandation des utilisateurs? Émile Ducrocq 27/28

28 Merci pour votre attention Avez-vous des questions? Émile Ducrocq 28/28