TRAITEMENT AUTOMATIQUE DES LANGUES. Licence d'informatique 2ème Année Semestre 1. Département d'informatique Université de Caen Basse-Normandie

Dimension: px

Commencer à balayer dès la page:

Download "TRAITEMENT AUTOMATIQUE DES LANGUES. Licence d'informatique 2ème Année Semestre 1. Département d'informatique Université de Caen Basse-Normandie"

Claude Paquin
il y a 8 ans
Total affichages :

1 TRAITEMENT AUTOMATIQUE DES LANGUES Licence d'informatique 2ème Année Semestre 1 Département d'informatique Université de Caen Basse-Normandie

2 Plan Définition Modèle Booléen Modèle d'espace Vectoriel Evaluation Résumé

3 Définition Un moteur de recherche a pour but de récupérer l'ensemble des documents pertinents pour une requête donnée dans une collection de textes de grande taille et ceci en un temps acceptable

4 Définition Alors que cette tâche paraît simple, elle est loin d'être résolue! Un document parle-t-il d'un seul sujet? Bernard Tapie ancien ministre de la ville a aussi été président de l'om Est-il pertinent dans le temps? Le Benfica Lisbonne et le PSG ont fait match nul Oui, mais en 2011

5 Définition Quelle est la crédibilité d'un document? François Hollande est un bon Président Libération, Le Figaro, Wikipédia, Facebook... Que recherche vraiment l'utilisateur? Jaguar

6 Définition Comment visualiser les résultats?

7 Définition Comment visualiser les résultats?

8 Définition Comment visualiser les résultats?

9 Définition Comment visualiser les résultats? GREYC

10 Définition En fait, un système plus complexe qu'il n'y paraît

11 Définition Il existe des solutions à source libre qui implémentent toutes ou parties des fonctionnalités des moteurs de recherche Lucene : Terrier : Solr : Nutch : Lemur :

12 Modèle Booléen Un document est un ensemble d'unités lexicales Une requête est une expression logique du premier ordre formée d'unités lexicales [[Rio Brésil] [Maui & Hawai]] & Hotel &!Hilton Les documents pertinents sont ceux qui satisfont la requête

13 Modèle Booléen Quelles sont les limitations? Requêtes difficiles à exprimer Comment augmenter la requête? Le résulat est binaire: pertinent ou non Probléme de la liste vide pour des requêtes complexes Problème de visualisation des documents: quel est le plus pertinent?

14 Modèle d'espace Vectoriel Le modèle d'espace vectoriel est un modèle géométrique Il se base sur la similarité dans un espace de représentation à N dimensions entre un vecteur requête et un vecteur document Il faut donc définir les dimensions des vecteurs et leurs valeurs respectives Le vocabulaire représente les dimensions Chaque dimension est pondérée en fonction de la pertinence du mot pour le document ou la requête

15 Modèle d'espace Vectoriel Illustration

16 Modèle d'espace Vectoriel Représentation de la collection Comment donner un poids à un mot?

17 Modèle d'espace Vectoriel Plus une unité lexicale est fréquente dans un texte, plus elle est pertinente pour celui-ci: TF Plus une unité lexicale est spécifique à un ensemble de textes, plus elle est pertinente pour la collection: IDF (Inverse Document Frequency)

18 Modèle d'espace Vectoriel Chaque dimension d'un vecteur est donc pondérée par le fameux TF.IDF Exemple: TF.IDF ( qui,d1) =? TF.IDF ( qui,d1) = (2/3) log2(3/2)

19 Modèle d'espace Vectoriel Comment calculer la similarité entre un document et une requête? Un document est un vecteur à N dimensions Une requête peut être représentée par un vecteur à N dimensions où N est la taille du vocabulaire Il suffit de calculer le cosinus entre le vecteur requête (v) et le vecteur document (w)

20 Modèle d'espace Vectoriel Exemple Pertinence + D1 - D2

21 Modèle d'espace Vectoriel Comment implémenter le vecteur d'espace vectoriel? Indice inversé

22 Modèle d'espace Vectoriel Indice inversé et liste de mots vides: Pourquoi?

23 Modèle d'espace Vectoriel Indice inversé et positions: Comment?

24 Evaluation Afin de déterminer la qualité d'un système, il est nécessaire de développer des mesures d'évaluation Dans le cadre des moteurs de recherche, les mesures classiques sont la Précision, le Rappel et la F-mesure D'autres métriques existent et c'est un domaine de recherche très actif En effet, nous avons vu que la pertinence d'un document est une notion subjective

25 Evaluation Précision et Rappel Collection bruit Documents pertinents silence Documents retournés Documents retournés pertinents

26 Evaluation Précision et Rappel: Situation actuelle

27 Evaluation F-mesure Cette mesure permet de combiner Précision et Rappel en une seule métrique Plus de poids peut être attribué à la Précision ou au Rappel Que est le rôle de β? Si β>1, favorise-t-on la Précision ou le Rappel?

28 Evaluation Comment évaluer la pertinence d'un document? Plusieurs compétitions internationales existent TREC (Amérique) NTCIR (Asie) CLEF (Europe)

29 Résumé Définition Modèle Booléen Modèle d'espace Vectoriel Evaluation

30 Prochains Cours CM: Applications du TAL TP: Réalisation d'un Nuage de Mots

Documents pareils

Recherche d Information(RI): Fondements et illustration avec Apache Lucene. par Majirus Fansi @majirus

1 Recherche d Information(RI): Fondements et illustration avec Apache Lucene par Majirus Fansi @majirus Résumé Fondements de la Recherche d Information (RI) Noyau de toute application de RI Éléments à