INF431 Projets pour la promo X2005 Correction orthographique

Transcription

1 INF431 Projets pour la promo X2005 Correction orthographique Page de suivi du projet : informatique/laurent.mauborgne/x2005/projet/ Sujet proposé par Laurent Mauborgne Laurent.Mauborgne@ens.fr Difficulté : moyenne (**). Le but de ce projet est de proposer pour chaque mot mal orthographié (indépendamment du contexte) d un texte, une liste de mots bien orthographiés classés selon leur similitude avec le mot mal orthographié. 1 Trouver les erreurs d orthographe Trouver les erreurs d orthographes indépendantes du contexte n est pas un exercice très difficile : il suffit de prendre les mots un par un et de voir si il apparaissent dans un dictionnaire contenant tous les mots de la langue du texte, déclinaisons et conjugaisons comprises. Ce dictionnaire vous sera fourni sur la page de suivi du projet. La seule difficulté consiste à être efficace : il vaut mieux d une part que le dictionnaire ne prenne pas trop de place en mémoire, et d autre part que la recherche soit assez rapide. On peut réunir ces deux contraintes en utilisant un trie [Fredkin, 1960] ou mieux encore un automate déterministe minimal. Vous êtes libres de choisir la représentation qui vous semble la plus adaptée. 1.1 Trie (ou arbre des préfixes) Cette structure de données consiste en un arbre étiqueté par des lettres (sauf pour la racine), plus une lettre particulière ( \0 ) pour la fin de mot. Tous les fils d un nœud de l arbre ont une étiquette différente. Un mot est dans le dictionnaire si il existe un chemin de la racine vers une feuille étiquetée \0 tel qu en mettant bout à bout les lettres rencontrée sur ce chemin, on forme le mot. Ainsi, le trie encode un partage de tous les préfixes des mots du dictionnaire Exemple Si le dictionnaire se compose des mots cas, ce, ces, ci, de des et do, l arborescence sera la suivante : 1

2 1.1.2 Représentation Pour une représentation efficace, on a principalement deux méthodes : soit on utilise en chaque nœud de l arbre un tableau de taille 27, chaque indice du tableau correspondant à une lettre de l alphabet (plus la lettre de fin de mot), soit on utilise un arbre binaire. Dans un arbre binaire (généralement moins gourmand en mémoire), le fils gauche correspond à la suite du mot, et le fils droit à une alternative pour le suffixe du mot. Pour le dictionnaire précédent, cela donnerait : 1.2 Automate minimal Un dictionnaire étant un ensemble de mots, il se représente naturellement par un automate. Et l automate déterministe minimal sera la représentation la plus compacte et la plus efficace pour déterminer si un mot appartient au dictionnaire. Un trie peut d ailleurs être vu comme un automate déterministe, surtout quand on le représente avec un tableau en chaque nœud, ce tableau correspondant à la table de transition en ce point. Pour obtenir un automate minimal, il suffit donc de minimiser le trie. Et comme le trie ne comporte pas de boucle, l algorithme de minimisation peut être beaucoup plus simple et efficace que dans le cas général. Il suffit en fait de partager les sousarbres communs, en utilisant une méthode appelée hash-consing. Cela consiste à parcourir l arbre en partant des feuilles, et pour chaque nœud, on associe une valeur de hash entière construite à partir de l étiquette du nœud et des valeurs de hash de ses fils. On cherche ensuite dans une table si on a déjà stocké un nœud avec la même étiquette et les mêmes fils (égalité physique, c est-à-dire même objet). Si ce n est pas le cas, on rajoute le nœud à la table, et si c est le cas, on remplace le nœud dans l arbre par celui de la table. Dans l exemple précédent, cela donne 2

3 Il ne reste plus ensuite qu à déclarer finaux les états qui pointent sur un \0 et à supprimer l état \0. 2 Les deux types d erreurs Il est bien plus difficile de trouver quel était le mot correct que l utilisateur voulait écrire que de trouver les erreurs. Pour s y retrouver, on distingue deux grandes catégories d erreurs : Les erreurs de faute de frappe. Les erreurs dues à une méconnaissance de l orthographe. Bien entendue, ces deux types d erreur ne s excluent pas l une l autre, et il faudra trouver quelles erreurs mettre en avant selon leur vraisemblance. Cette vraisemblance pourra être estimée par une distance entre le mot écrit et le mot correct candidat. Quel que soit le type d erreur recherchée, on utilisera une variante de la distance de Levenshtein. 3 Distance de Levenshtein La distance de Levenshtein entre deux mots, aussi appelée distance d édition, est le nombre minimal d opérations élémentaires à effectuer pour passer d un mot à l autre. Les opérations considérées sont la substitution d une lettre du mot par une autre lettre, l ajout d une lettre et la suppression d une lettre. D un point de vue algorithmique, il existe deux approches efficaces, et vous choisirez celle qui vous semble la plus adaptée. Quel que soit votre choix, n oubliez pas de faire des tests sur de petits exemples pour valider votre implémentation. 3.1 Première approche : chemin minimal dans un graphe Soient deux mots m 1 et m 2 de longueur l 1 et l 2. On considère le graphe dont les points sont les couples (i, j) avec 0 i l 1 et 0 j l 2. Les arêtes de ce graphe sont les (i, j) vers (i + 1, j), (i, j + 1) et (i + 1, j + 1) quand ces sommets existent. Un parcours sur ce graphe partant du point (0, 0) est interprété comme : Si on va de (i, j) à (i + 1, j), on ajoute la lettre i + 1 de m 1 en position j. Si on va de (i, j) à (i, j + 1), on enlève la lettre j + 1 de m 2 en position j. Si on va de (i, j) à (i + 1, j + 1), on enlève la lettre j + 1 de m 2 pour la remplacer par la lettre i + 1 de m 1. Si on part du mot m 2, un chemin de (0, 0) à (l 1, l 2 ) va donc produire le mot m 1 (puisqu on aura enlevé toutes les lettres de m 2 et ajouté toutes celles de m 1 ) en ne faisant que des opérations élémentaires. Pour trouver la distance entre m 1 3

4 et m 2, il suffit donc de trouver le chemin de poids minimal (par un parcours en largeur) entre (0, 0) et (l 1, l 2 ) et mettant le poids 1 à toutes les arêtes, sauf les arêtes (i, j) (i + 1, j + 1) telles que la lettre i + 1 de m 1 soit égale à la lettre j + 1 de m 2 qui auront un poids Deuxième approche : programmation dynamique Cette deuxième approche est très semblable au parcours de graphe, mais elle permet de mieux contrôler l usage de la mémoire. On calcule la longueur du chemin le plus court pour arriver en (i, j) comme le minimum de la longueur du chemin le plus court pour (i 1, j) ou (i, j 1) ou (i 1, j 1), plus le poids de l arête qui mène à (i, j). Cela oblige à visiter tous les sommets du graphe (ce que ne fait pas forcément le parcours en largeur qui s arrête dès qu il atteint (l 1, l 2 )), mais on peut faire le calcul ligne par ligne, ce qui permet de ne garder en mémoire que 2 lignes à la fois. 4 Fautes de frappe Quand on fait une faute de frappe, on appuie sur la mauvaise touche, ou on oublie une touche ou on appuie sur une touche sans le vouloir. Retrouver le mot le plus vraisemblable sur lequel on aurait fait une faute de frappe revient donc à rechercher le mot du dictionnaire le plus proche du mot erroné pour la distance de Levenshtein. 4.1 Une meilleure distance En fait,une faute de frappe très répandue consiste à échanger deux lettres, un doigt allant plus vite que l autre. Il faut donc rajouter dans les opérations élémentaires l interversion de deux lettres du mot. Le problème devient assez difficile car deux lettres peuvent devenir successive après avoir retiré une lettre entre les deux. Toutefois on remarque en pratique qu il est très rare de combiner ainsi deux fautes de frappe. Vous pourrez donc vous contenter d adapter les algorithmes classiques pour la distance de Levenshtein. De manière optionnelle (augmentant la difficulté du projet), vous pouvez implémenter la véritable distance (appelée distance de Damerau-Levenshtein). Enfin, les erreurs qui consistent à remplacer une lettre par une autre ne se produisent en général que pour des lettres proches du clavier. Vous pouvez donc faire une analyse qui dépend du clavier en associant aux échanges de lettres un poids égal à leur distance sur le clavier. Votre analyse peut aussi prendre le type de clavier en paramètre. 4.2 Problème d efficacité Mais calculer la distance de Levenshtein avec tous les mots du dictionnaire serait bien trop coûteux. Si on se limite à une distance de 1, il est possible de générer tous les mots obtenus en faisant une seule opération élémentaire et de regarder si ils sont dans le dictionnaire. Si on se limite à une distance de 2, il est encore possible de calculer la distance avec chaque mot du dictionnaire en s arrêtant dès que la distance minimale trouvée (par le parcours en largeur ou la programmation dynamique) dépasse 2. Pour aller plus loin, il faut utiliser une technique plus élaborée 4

5 4.3 Automates de Levenshtein (option difficile ***) L automate de Levenshtein de degré n associé au mot w accepte exactement tous les mots à distance de Levenshtein n ou moins de w. Naïvement, chaque état de l automate correspond à une table de distances minimales (telle que construite en programmation dynamique). En lisant une lettre, on passe d une table à une table avec une ligne de plus correspondant à la lettre rajoutée en fin du mot. Un état est final si la case en bas et à droite à une valeur inférieure ou égale à n. Elle n a pas de transition (elle est bloquante) si en dernière ligne, les distances d édition sont à n + 1, sauf le coin en bas à droite qui est à n. Muni de cet automate, il suffit ensuite de parcourir l automate du dictionnaire en parcourant en même temps l automate de Levenshtein. Pour plus d efficacité, il est recommandé de ne pas construire directement cet automate (encore que cela soit possible, regardez [Schulz and Mihov, 2002]) mais de construire ses états au fur et à mesure. Seuls les mots qui arrivent dans un état final de l automate de Levenshtein sont à considérer. On pourra fixer une limite n au nombre de fautes de frappes qui dépend de la taille du mot. 5 Fotes par iniorance de l ortografe Quand les fautes sont dues à une méconnaissance de l orthographe, on peut considérer que l utilisateur a écrit un mot qui se prononce pas de la même façon que le mot correct. Pour retrouver le mot correct, il faut donc passer par une représentation phonétique, de préférence assez lâche. On a plusieurs choix : Ne garder que les consonnes en simplifiant les consonnes dédoublées non séparées par une voyelle. On peut aussi ignorer les consonnes finales qui ne se prononcent pas comme les R, X ou S. Utiliser aussi des phonèmes simplifiés pour les voyelles. Par exemple, on peut garder un seul phonème simplifié pour les sons [é], [en] et [eu]. Un fichier indiquant les traductions possibles pour cette option sera fourni sur la page de suivi du projet. Il est possible d être plus précis, mais il faut alors utiliser des ensembles de phonèmes possibles en fonction de prononciations. Un mot incorrect sera alors traduit en une suite d ensembles de phonèmes. Une fois le mot incorrect traduit en suite de pseudo phonèmes, la difficulté consiste à retrouver les mots corrects qui aboutissent à la même traduction. Pour ce faire, on pourra utiliser un trie de pseudo phonèmes, dont les feuilles contiennent des ensembles de mots. Pour évaluer la pertinence des mots trouvés (s il y en a), on pourra utiliser la distance de Levenshtein classique. 6 Combinaison des deux types de fautes Lorsqu on cherche à combiner les deux méthodes de recherches de mots corrects, il faut faire face à deux problèmes. D abord savoir si on peut faire les deux types de fautes à la fois sur le même mot (la réponse est oui bien sûr) et ensuite si on arrive à deux mots par deux méthodes comment évaluer leurs pertinences relatives. Pour ce qui est de combiner les deux types de faute, il est logique de commencer par trouver les fautes de frappe, puis les fautes d orthographe. Le problème, c est qu il n est pas raisonnable d engendrer tous les mots à une distance supérieure à 1 du mot de départ. Il faut donc d une part considérer tous les mots de toutes les suites de pseudo phonèmes des mots à une distance d édition de 0 ou 1, puis si 5

6 on ne trouve rien, chercher les suites de pseudo phonèmes les plus proches pour la distance de Levenshtein de la suite de pseudo phonèmes associé au mot incorrect. Finalement, pour évaluer la pertinence des mots trouvés, il faut d une part utiliser la distance de Levenshtein avec le mot incorrect et d autre part la distance phonétique (savoir si on est passé par une traduction phonétique puis par une certaine distance de Levenshtein de la traduction phonétique). Le poids à mettre à chacun de ces deux éléments doit être basé sur l expérience. On peut aussi choisir des poids en fonction de la qualité de l orthographe de l utilisateur ou de sa propension à faire des fautes de frappe. Références [Fredkin, 1960] Fredkin, E. (1960). Trie memory. Communications of the ACM, 3(9) : [Philipps, 2000] Philipps, L. (2000). C/C++ Users Journal. The double metaphone search algorithm. [Schulz and Mihov, 2002] Schulz, K. and Mihov, S. (2002). Fast string correction with levenshtein-automata. International Journal of Document Analysis and Recognition, 5(1) :