RECHERCHE DOCUMENTAIRE Indexer

Transcription

1 Projet Indexer Documentation développeur RECHERCHE DOCUMENTAIRE Indexer Destinataires : Rémi FORAX, Sylvain CHERRIER, Stéphane LOHIER Rendu le : Dimanche 8 Juin 2008 Nombres de pages : 13 Rédacteurs : Aurélien OLIVIER Michael THOUN Logins UMLV aolivi02 mthoun Filière : Informatique et Réseau 1 ère année Année : 2007/2008

2 Table des matières Introduction... 2 I. Description de l algorithme/structure de donnée... 3 II. Description basique du fonctionnement de chaque classe... 5 Class Indexer... 5 Class DirectoryScanning... 5 Class ParserClass... 5 Class IndexFile... 5 Class Statist... 5 Class IndexManagement... 5 Class Serialize... 6 Class GetEnvIndexer... 6 III. Description détaillée des classes... 6 Class Indexer... 6 Class DirectoryScanning... 7 Interface Parser... 8 Class ParserClass... 8 Class IndexFile Class Statist Class IndexManagement Class Serialize Class GetEnvIndexer Class MyComparator IV. Comment ajouter le support d un format de fichier Créer votre parser Modifier le module statistique V. Conclusion Introduction Le but de ce projet est de fournir un outil de recherche documentaire capable d indexer des mots dans des fichiers de natures différentes : Texte, XML, ZIP, Cet outil fournit différents modules : indexation d une arborescence, export de l index dans un format normalisé, statistique sur les mots et fichiers indexés, recherche de documents. Cette documentation à pour objectif de décrire le fonctionnement de l application «Indexer», ainsi que l ajout de nouveaux modules (PDF par exemple). 2

3 I. Description de l algorithme/structure de donnée Afin de développer ce projet, nous avons mis en place différentes classes, différents modules. Ces modules s organise pour former l Indexer. L état actuel de l application permet de répondre à la quasi-totalité des actions suivantes : Indexation de fichiers au format TXT, XML, ZIP Recherche de fichiers par mot-clé Affichage des fichiers indexés, de l index Obtention de statistique sur les données indexées. Cependant certaine partie peuvent être plus ou moins stables. Notamment l affichage de l index peut provoquer une erreur s il y a trop de fichiers à afficher. Voici les différentes classes représentées sous forme de diagramme UML : 3

4 Explications sur le schéma UML : Sur le schéma précédent on peut voir la relation existante entre nos différentes classes. On voit donc la présence d une interface Parsor, que les 2 parseurs implémentent. On note également que les parseurs héritent de la classe ParsorClass. Une seconde interface, permettant la gestion des options et le déroulement du main s appelle Execute. Nous avons crée 5 classes Search, Print, Help, Stat et Build correspondant aux différents arguments du programme. Explication de la structure de donnée : Afin de pouvoir stocker l index, c'est-à-dire les informations nécessaires à l indexation des fichiers (mot-clés du fichier, nombre d occurrence, chemin du fichier, langue, type ), il fallait un objet adéquat. La structure est donc composée principalement de TreeMaps. Ces objets permettant d associer une clé à une valeur, et de récupérer facilement ces valeurs. Tous les mots d un fichier sont donc stockés avec leurs nombre d occurrences dans une TreeMap de type : TreeMap<String,Integer> Chaque fichier indexé est représenté par un objet de la classe IndexFile. Cette classe comporte en donnée membre la TreeMap précédente permettant de stocker les mots clés et leur nombre d occurrence. Une indexation d arborescence comporte plusieurs fichiers, une seconde structure de donnée à donc été employée afin de collecter toutes les informations des fichiers. Pour ce faire, une seconde TreeMap est utilisée. Cette fois ci de la façon suivante : TreeMap<String,IndexFile>. En effet, l objectif de cette dernière est d associer un chemin (fullpath) aux informations d un fichier (objet IndexFile). Le module statistique est indépendant, géré par la classe Stat, et comporte en donnée membre divers objets Integer et Long permettant le stockage d informations sur les fichiers au cours de l indexation. La limite de taille mémoire allouée à la JVM (64 Mo de base) nous a conduit à la sauvegarde le l index morceau par morceau. Le programme sérialise donc l objet TreeMap<String,IndexFile> régulièrement afin de ne pas dépasser la taille mémoire autorisée. Ces étapes de sauvegarde et de sérialisation donnent lieue à plusieurs classes. Tout d abord IndexManagement, qui à pour but de gérer la sauvegarde de l index (création des répertoires dans INDEXER_HOME, nombre de fichiers sérialisés, récupération d informations lors de la restauration ). Ensuite la classe Serialize, qui effectue physiquement la sérialisation de l objet TreeMap dans des fichiers du disque dur. 4

5 II. Description basique du fonctionnement de chaque classe Class Indexer La classe Indexer est la classe contenant la méthode main(). C est cette classe qui va, selon les options spécifiées par la ligne de commande, gérer le fonctionnement global de notre programme. Selon le mode (--build pour la création de l index, --search pour la recherche de fichiers, --stat pour l affichage des statistique, --print pour l affichage de l index) différents objets sont alors instanciés grâce à une TreeMap<String,Interface>. Class DirectoryScanning La classe DirectoryScanning est la classe qui gère l indexation d une arborescence donnée. Cette classe instancie un objet TreeMap<String,IndexFile> qui va représenter l indexation. Elle va ensuite procéder à un scan récursif du répertoire spécifié par ligne de commande, et selon le type de fichier rencontré, instancier tel ou tel parseur. Les parseur sont aux nombre de 3 : TextParser, XmlParser, ZipParser. Il est cependant possible de rajouter un module parseur pour pouvoir supporter un nouveau format de fichier comme le PDF. Pour cela référez vous à la partie IV. Class ParserClass Cette classe est la classe générique de laquelle dérive les parsers (TextParser, XmlParser, ZipParser). C est dans cette classe que se situe réellement l ajout de chaque mot dans la TreeMap<String,Integer>, et de chaque objet IndexFile dans la TreeMap<String,IndexFile>. Cette classe réalise également la gestion de la langue (Français ou Anglais). Class IndexFile La classe IndexFile a pour objectif de représenter un fichier quel qu il soit. Elle comporte donc en donné membre la TreeMap<String,Integer> adéquat permettant de stocker les mots-clés pour un fichier. Elle dispose également de deux variables «lang» et «type» servant aux statistiques. Class Statist La classe Stat est utilisée comme objet pour le stockage des statistiques. L objet en question est instancié par la classe DirectoryScanning, et au cours de l indexation il va être rempli avec les informations nécessaires (Nombre de fichiers, taille des fichiers, types des fichiers ). Class IndexManagement IndexManagement est la classe qui va servir à la gestion des Index. Lors de l indexation des objets sont remplis d informations, et c est cette classe qui va indiquer au programme où stocker les données sur disque dur. IndexManagement utilise la classe Serialize pour sauvegarder les objets dans des fichiers d indexation dans le répertoire INDEXER_HOME. Cette classe permet aussi la gestion de l arborescence de sauvegarde ou encore la restauration des index en mémoire. 5

6 Class Serialize Serialize est une classe servant uniquement à la sauvegarde d objet sur disque dur lorsque la mémoire est trop petite pour pouvoir stocker toutes les informations. Elle implémente donc l interface Serializable, tout comme les objets IndexFile qui sont sérialisés. Class GetEnvIndexer GetEnvIndexer est la classe qui va permettre la récupération de la variable d environnement INDEXER_HOME. Par défaut lors d une indexation, les index sont stockés dans le répertoire pointé par la variable d environnement INDEXER_HOME. Si la variable d environnement n est pas définie, le stockage s effectuera dans le répertoire HOME de l utilisateur, dans un sous répertoire nommé «.indexer». La classe en question récupère donc différentes variables d environnement afin de déterminer si l on est sur une machine de type Windows ou de type Linux. Le programme peut indexer plusieurs arborescences différentes à la suite, il est donc commode de stocker chaque indexation à des endroits différents afin de ne rien écraser. C est un des objectifs de la classe GetEnvIndexer, qui pour une arborescence donnée va la recréer dans le répertoire INDEXER_HOME. III. Description détaillée des classes Class Indexer La classe Indexer comporte la méthode main(). C est la classe principale du programme qui selon l argument de la ligne de commande va effectuer une action spécifique. Vous pouvez donc rajouter des options si vous le désirez. Chaque option est gérée de la façon suivante : Voici le code de la méthode main() : public static void main(string[] args) throws Exception { HashMap<String, Execute> main = new HashMap<String, Execute>(); main.put("--build", new Build(args)); main.put("--search", new Search(args)); main.put("--print", new Print(args)); main.put("--stat", new Stat(args)); main.put("--help", new Help()); main.get(args[0]).execute(); Chaque argument est inséré dans une TreeMap avec comme valeur un objet de la classe Execute. Lorsque l objet est instancié, cela provoque l appelle d une méthode exécutant le code désiré. 6

7 Que ce soit pour la création de l index, sa restauration, la recherche de mot ou toute autre action, un objet de la classe IndexManagement doit être instancié ici. Il permettra selon le cas de créer l arborescence de stockage, de récupérer le nombre de fichiers d index à désérialiser, etc. Class DirectoryScanning La classe DirectoryScanning est instancié uniquement lors d une création d index. C'est-à-dire en mode - build. En effet cette classe est responsable du déroulement de l indexation des différents fichiers. C est elle qui, selon le type du fichier, va instancier le parseur correspondant. Elle comporte une méthode récursive scan(string directory) qui va permettre de démarrer l indexation, et de récupérer tous les fichiers pour une arborescence donné. Voici l algorithme de cette méthode : /* Si le File courant est un répertoire on rappelle récursivement scan() sinon on traite le fichier */ if (filelist.isdirectory()) { try{ arrayfiles = filelist.list(); Arrays.sort(arrayFiles); catch (Exception e){ if (arrayfiles == null) { return; for (int i = 0; i < arrayfiles.length; i++){ scan(directory + File.separatorChar + arrayfiles[i]); RECURSIVITE else { APPEL DES DIFFERENTS PARSEUR L appel des différents parsers est similaire. Voici un exemple pour le TextParser : if (filelist.getname().endswith(".txt")) { System.out.println(fileList.toString()); TextParser txtparsor = new TextParser(fileList.getParent(), filelist.getname(), parsermap,scanstat); txtparsor.parse(indexmanage); totalcharcounter += txtparsor.charcounter; Il suffit donc d instancier le parseur : TextParser txtparsor = new TextParser(PARENT,FICHIER,TREEMAP,MODULE STATISTIQUE); et de lancer le parsage du fichier : txtparsor.parse(); 7

8 Interface Parser Chaque parser implémente l interface Parser. Cela est simple et permet de modulariser le code et les méthodes. Si l on souhaite rajouter un module de parseur, il suffit de créer une classe implémentant cette interface. L interface comporte simplement une méthode : public void parse() Class ParserClass Chaque parser de fichier hérite de cette classe ParserClass mère. En effet, TextParser, XmlParser et ZipParser sont en «extends» de ParserClass. Cela permet d avoir des données communes rassemblées dans la classe ParserClass. Ainsi, les données membre des Parsers sont les mêmes : protected Integer charcounter = null; protected String langage=null; protected String type=null; De même, une fois le parsage des mots des fichiers réalisé, il convient d ajouter les informations dans les TreeMap correspondantes. On a donc des méthodes qui sont implémentés ici et qui servent à tous les parsers : - Ajout des mots / nombre d occurrence dans la TreeMap<String,Integer> : protected void AddWordIndex(String word, TreeMap<String, Integer> parsermap) - Ajout la TreeMap<String,Integer> dans l objet IndexFile et ajout dans la TreeMap<String,IndexFile> : protected void AddCollection(String directory,string file,treemap<string, IndexFile> parsorindex,treemap<string, Integer> myindexfile) TextParser La classe TextParser est destinée à parser un fichier texte. Afin de récupérer tous les mots du fichier nous utilisons un Scanner : txtscanner = new Scanner(new FileInputStream(txtFile)); Le reste du code fonctionne sur le même principe et est quasi-identique pour chaque parseur : - Récupération des mots - Vérification de Match avec Regex (en utilisant la classe Tool) - Ajout dans la TreeMap<String,Integer> - A la fin, ajout dans la collection TreeMap<String,IndexFile> Une description détaillée est développée dans la partie concernant l ajout d un module. 8

9 XmlParser La classe XmlParser est celle qui va parser les fichiers de type XML. On utilise pour ce faire le parseur SAX XML. Les méthodes et objets principaux sont les suivants : XMLReader saxreader = XMLReaderFactory.createXMLReader(); DefaultHandler XMLhandler = new DefaultHandler() { DONNEE MEMBRE DE LA METHODES CHARACTERS public void characters(char[] ch, int start, int length) throws SAXException { String myline = null; String myword = null; myline = new String(ch, start, length); Scanner wordscan = new Scanner(myLine); while (wordscan.hasnext()) { myword = wordscan.next(); if (Tool.Matcher(myWord)) { if(lang=="en"){ lang=searchlangage(myword); myword = Tool.Replace(myWord); AddWordIndex(myWord, myindexfile); charcounter += myword.length(); ; saxreader.setcontenthandler(xmlhandler); DEFINITION DU HANDLER POUR LE PARSAGE saxreader.parse(new InputSource(XMLfile)); DEBUT PARSAGE On utilise donc les objets XMLReader et DefaultHandler. Dès qu un flux XML est détecté, le Handler est appelé. C est donc pour cette raison que l ajout des mots ce fait à cet endroit. Le Handler est une Inner Class, c'est-à-dire une classe interne à la classe XmlParser. ZipParser Afin de gérer les fichiers ZIP, la classe ZipParser utilise des objets spécifiques : ZipInputStream myzipstream = new ZipInputStream(myInputStream); ZipEntry e = myzipstream.getnextentry(); La méthode est récursive afin de gérer les fichiers présent dans un second ZIP, voir à l infini. Pour la gestion des fichiers textes ou xml présent dans les fichiers ZIP, il a fallu définir de nouvelle méthode de parsage. En effet, la classe ZipInputStream ne pouvait pas fournir le même type d objet que sans le ZIP. 9

10 Class IndexFile La classe IndexFile représente une indexation d un fichier. On y stocke une TreeMap contenant tous les mots du fichier ainsi que leur nombre d occurrence : private TreeMap<String, Integer> Cette classe implémente Serializable puisqu on a besoin de sauvegarder les objets indexés. Class Statist La classe Statist représente l objet Statistique, qui permet de sauvegarder un certain nombre d information sur les fichiers indexés. Taille en octet de chaque type de fichier, dans chaque langue, ainsi que les totaux sont stocké dans cette classe. Au début du programme, une désérialisation du fichier INDEXER_HOME/.indexer/.stat est effectué afin de récupérer les dernière statistique et de concaténer les nouvelles valeurs. Cette classe implémente donc naturellement Serializable. Class IndexManagement IndexManagement est la classe servant à gérer : - la création du répertoire INDEXER_HOME/.indexer/ > - la sérialisation de la TreeMap et du module de Stat module - la mise a jour de la variable du fichier.indexnumbers indiquant le nombre de fichier à désérialiser. Class Serialize La classe Serialize comporte des méthodes statiques. C'est-à-dire que l on n a pas besoin d instancier d objet pour appeler ses méthodes. Par exemple lors d une restauration de la TreeMap d index <String,IndexFile>, il suffit de faire : Serialize.restoreScan(«String path vers fichier à désérialiser») afin de désérialiser l objet. Il ne reste plus ensuite qu a récupérer l objet TreeMap par la méthode getmap() : TreeMap=Serialize.getMap(). Les statistiques, l objet Stat, est également sérialisé lors d une indexation, et désérialisé lors d un affichage des statistiques. Le fichier contenant les statistiques est écrit dans INDEXER_HOME/.stat. La classe Serialize comporte donc des méthodes pour sauvegarder et restaurer ce module statistique : void savescan(string name,treemap<string, IndexFile> parsormap) void savestat(string name,stat mystat) void restorescan(string name) Stat restorestat(string name) TreeMap<String, IndexFile> getmap() Sauvegarde la TreeMap Sauvegarde les Stat Restaure la TreeMap Restaure les Stat Récupère la TreeMap Afin de procéder à la sérialisation des objets quels qu ils soient, le programme utilise les objets suivants : ObjectInputStream / ObjectOutputStream Il applique ensuite les méthodes correspondantes writeobject(object o) et readobject(). 10

11 Class GetEnvIndexer La classe GetEnvIndexer est celle qui va lire les valeurs des variables d environnement afin de récupérer, si elle existe, la variable INDEXER_HOME. Pour ce faire elle utilise la méthode suivante : System.getenv("INDEXER_HOME") Cette classe est également en charge de déterminer sur quel OS le programme est lancé. Ceci est réalisé par les méthodes getproperty: System.getProperty("os.name"); Une dernière chose que fait cette classe est la création de l arborescence de répertoires dans le sous répertoire «.indexer» de INDEXER_HOME. On utilise donc la méthode mkdir(). Class MyComparator MyComparator est une classe toute simple qui a pour but de fournir un comparateur de TreeMap. La classe implémente l interface Comparator, et va permettre de trier la TreeMap en ordre inverse. Ce procédé est utilisé dans le mode -search du programme, afin d afficher la liste en ordre décroissant de fichiers. IV. Comment ajouter le support d un format de fichier Cette partie à pour but d'expliquer comment rajouter rapidement et facilement de nouvelles fonctionnalités à l'application Indexer. En effet, il est possible de rajouter un module PDF pour prendre en charge le parsage et donc l indexation de ce type de fichier par exemple. Il y a donc 2 principales étapes plus ou moins complexes: - créer une classe qui hérite de ParserClass et qui implémente Parser, cette classe devra effectuer le parsage des mots de votre type de fichier. - modifié le module statistique afin qu il intègre de nouvelle donnée membre comme le nombre de fichier de votre type, leur taille, leur langue Créer votre parser Prenons l exemple de l ajout du support des fichiers PDF. Avec un peu de recherche, on trouve le gestionnaire de fichier PDF en JAVA : itext. 11

12 Voici un exemple de ce à quoi pourrait ressemblé votre parseur PDF : package fr.umlv.indexer; import java.io.*; import java.util.hashmap; import java.util.treemap; import com.lowagie.text.*; import com.lowagie.text.pdf.*; public class pdfparser extends ParserClass implements Parser { private File PdfFile = null; private TreeMap<String, IndexFile> parsorindex = null; private Statist pdfstat=null; public pdfparser(string pathdirectory, String pathfile,treemap<string, IndexFile> parsorindex, Statist pdfstat) throws FileNotFoundException { super(pathdirectory, pathfile); this.pdffile = PdfFile; this.parsorindex = parsorindex; this.pdfstat = pdfstat; this.type="text"; this.langage="en"; this.pdffile= new File(pathDirectory + File.separatorChar + pathfile); public void parse() { PdfReader pdfreader; HashMap pdfinfos = null; try { pdfreader = new PdfReader(PdfFile.getPath()); RECUPERATION DES MOTS, APPELS DES FONCTIONS DE MATCHAGE AJOUT DANS LES TREEMAPS pdfinfos = pdfreader.getinfo(); pdfreader.close(); catch (IOException ie) { ie.printstacktrace(); Votre parseur pourrait ressembler au code ci-dessus. Votre classe héritera donc de ParserClass et implémentera Parsor. Le code de la fonction parse() est libre, du moment que vous arriver à récupérer les différents mots du fichier. 12

13 Il ne resterait plus maintenant qu à appeler votre parseur dans le cas ou le scannage des répertoires rencontrerait des fichiers.pdf. Cela ce fait par l ajout de lignes similaires à celles qui suivent dans la classe DirectoryScanning :... (filelist.getname().tolowercase().endswith(".pdf")) { System.out.println(fileList.toString()); pdfparser pdfparsor = new pdfparser(filelist.getparent(),filelist.getname(), parsermap,scanstat); pdfparsor.parse(); totalcharcounter += pdfparsor.charcounter;... Modifier le module statistique Enfin, il ne reste plus qu à ajouter au module statistique vos informations. Les variables seraient par exemple : filenumberpdf, filesizepdf Les méthodes Getteurs et Setteurs à rajouter seraient : getfilenumberpdf(),getfilesizepdf(), setfilesizepdf(long filesizepdf), setfilenumberpdf(long filenumberpdf) V. Conclusion Indexer à été un projet très intéressant, qui nous a permit d'apprendre de nouvelles connaissances en JAVA. En effet, au cours de ce projet nous avons implémenté la majeure partie des notions acquises. Cependant, disposants de peu de temps pour réaliser ce projet, nous avons rencontré quelques difficultés, notamment sur la gestion mémoire. Nous avons donc tenté de les éviter au maximum en utilisant un procédé appelé sérialisation et permettant de sauvegarder des objets sur disque dur. A l heure actuelle certaines fonctionnalités du projet sont instables voire inachevées. 13