RdF Reconnaissance des Formes Semaine 11 : RDF sur les chaînes

Transcription

1 RdF Reconnaissance des Formes Semaine 11 : RDF sur les chaînes Master ASE : Master Informatique : Spécialité IVI :

2 Plan du cours 1 correspondance, recherche de sous-chaînes 2 Distances de chaînes distance edit 2

3 Reconnaissance de chaînes : introduction Définition une chaîne est une séquence ordonnée de symboles discrets tirés d'un alphabet 0,1, 0,1,2,...,9, a,b,c,..., z, A,G,C,T Exemple x =AGCTTCGAATC où chaque lettre représente un acide nucléique de l'adn (adénine, guanine, cytosine et thymine) en raison du caractère nominal des éléments, pas de notion évidente/intuitive de distance entre les chaînes les chaînes ne sont pas des vecteurs longueurs éventuellement différentes 3

4 Problème (probablement le plus important en RdF chaînes) étant donnés une chaîne x et un texte t, déterminer si x est une sous-chaîne de t (string-matching existence problem ou SME) Généralisation déterminer toutes les occurrence de x dans t, et leurs positions (string-matching computation problem ou SMC) = lister tous les shifts valides (shift : décalage s requis pour aligner le 1er caractère de x avec le s+1ème caractère de t) 4

5 Exemples chaînes d'adn en bio-informatique t Aa Ga Ca Ta T C G A A T C A C A G T x s=5 C G A A de manière réaliste, la taille de x peut être et la taille de t peut être la taille du Diccionario de la RAE (diccionnaire officiel espagnol) a entrées, qui sont basées sur une base de données de 270 Mentrées une recherche de «Obama» sur Google produit de pages in 0.20 secondes 5

6 Autre exemple musical Fugue no2 de Bach en Do - (composition où les différentes voix s'imitent les unes les autres) ouverture avec un thème principal (le sujet), qui se répète ensuite en imitation dans les autres voix thème : 2nde mineure descandante, 2nde mineure montante, descente plus grande qu'une 4rte problème : reconnaître les occurrences du thème dans un fichier MIDI 6

7 Préfixes et suffixes on dit que y est un préfixe de x, noté y [ x si x = yw, avec w une chaîne quelconque (note : ⅼyⅼ ⅼxⅼ) de la même manière, y est un suffixe de x, noté y ] x si x = wy, avec w une chaîne quelconque (ici encore : ⅼyⅼ ⅼxⅼ) par convention, la chaîne vide est préfixe et suffixe de toute chaîne Exemple soit la chaîne S1 = {abca}, S2 = {cbac} et S3 = {abcaabccbacbac} S1 est un préfixe de S3 puisqu'il existe une chaîne w1 = {abccbacbac} telle que S3 = S1w1 de manière analogue, S2 est suffixe de S3 parce que S3 = w2s2, où w2 = {abcaabccba} Petit excercice montrer que [ et ] sont des relations d'ordre 7

8 Algorithme naïf n = longueur(t), m = longueur(x) for s in 0..n-m if (x[1,m] = t[s+1,s+m]) print s return Algorithme de Boyer-Moore efficace, implémenté dans la plupart des éditeurs de texte 8

9 Puissance de l'algorithme de Boyer-Moore après un mismatch, deux heuristiques indépendantes et parallèles proposent des shifts sûrs, le plus grand est choisi - tous deux opèrent de droite à gauche à chaque position 1. Heuristique du «bon suffixe» aligne le suffixe courant de t avec le plus grand préfixe de x qui correspond, le cas échéant ==> construire la table des 1ères occurrences de tous les suffixes de x à l'exception des suffixes eux-mêmes ex : «estimates» = s,2 ; es,1 ; tes,0 ; 0 pour tous les autres 9

10 Puissance de l'algorithme de Boyer-Moore après un mismatch, deux heuristiques indépendantes et parallèles proposent des shifts sûrs, le plus grand est choisi - tous deux opèrent de droite à gauche à chaque position 2. Heuristique du «mauvais caractère» utilise le caractère le plus à droite de t qui ne correspond pas avec le caractère aligné de x propose d'aligner ce mauvais caractère avec l'occurrence la plus à droite de ce caractère dans x s'il existe ==> construire la table des caractères de x contenant le rang de leur dernière occurrence (0 pour les autres) ex : «estimates» = a,6 ; e,8 ; i,4 ; m,5 ; s,9 ; t,7 ; 0 pour les autres 10

11 Exemple d'exécution de l'algorithme de Boyer-Moore 11

12 Autres algorithmes Algorithme de Knuth-Morris-Pratt variante de Boyer-Moore - table de correspondances partielles Algorithme de Rabin-Karp utilise une fonction de hachage - on recalcule la fonction de hachage pour chaque sous-chaîne du texte dont la longueur est celle du motif - gain de performance important si l'on utilise une fonction de hachage qui a la propriété que l'on puisse facilement calculer t[i+1..j+1] en fonction de t[i..j] 12

13 Distances de chaînes Problème étant données deux chaînes x et y, combien d'opérations fondamentales permettent de passer de l'une à l'autre? Opérations Substitution: un caractère de x est remplacé par un autre dans y Insertion: un caractère est inséré dans x (longueur: +1) Suppression: un caractère est supprimé dans x (longueur: -1) Algorithme de Levenshtein (une «Edit Distance») for i in 0..m : c[i,0] = i for j in 0..n : c[0,j] = j for i in 0..m for j in 0..n c[i,j] = min(c[i-1,j]+1, // insertion c[i,j-1]+1, // suppression c[i-1,j-1]+1 (x[i]=y[j]?1:0) // substitution ou même car return c[m,n] 13

14 Alternatives de correspondance Correspondance avec erreurs étant donnée une chaîne x et un texte t, déterminer le shift s pour lequel la distance edit entre x et la sous-chaîne de t à la position s+1 est minimale algorithme similaire à la distance edit ==> minimiser distance(x,y), avec y une sous-chaîne de t Correspondance avec le symbole «don't-care» on a en plus le caractère ø, qui peut correspondre à tous formellement, pas de différence dans les algorithmes - mais ils deviennent moins efficaces 14

15 Pour approfondir Duda, Hart, Stork, «Pattern Classification», 2ème édition, Wiley-Interscience, Boyer, Moore, «A fast string searching algorithm», Communications of the ACM. 20: ,