Arbre des suffixes - Recherche de répétitions

Transcription

1 Arre des suffixes - Reherhe de répétitions Arre des suffixes: Struture de données reflétnt les rtéristiques internes des séquenes Applition nturelle: Reherhe exte dns un texte Phse de prétritement: Constrution de l rre des suffixes; O(n) en temps et en espe pour un texte de tille n Phse de reherhe: temps O(m) pour un mot de tille m Autre pplition: Reherhe de répétitions, reherhe de plindromes 1

2 Définition Arre T des suffixes de T, rre orienté tq: n feuilles numérotées de 1 à n Chque nœud interne u moins deux fils Chque r est étiquetté pr un fteur de T Deux rs sortnt d un même nœud ont des étiquettes déutnt pr des rtères différents Chemin de l rine à une feuille i étiquetté pr le suffixe T [i..n] Prolème: Si un suffixe oïnide ve un fteur de T, uune feuille ne orrespondr u suffixe. Rjouter un rtère rtifiiel à l fin de T. Pr exemple, # ou $ 2

3 T = Pour réduire l espe, représenter hque étiquette pr deux positions plutôt que pr un fteur Tille de T en O(m) 3

4 Reherhe exte de P dns T Construire l rre des suffixes T de T en temps O(n). Mther les rtères de P en suivnt un hemin unique dns T Si les rtères de P ne sont ps épuisés, il n y uune ourrene de P dns T O(m). Si non, les feuilles du sous-rre déterminé pr P donnent toutes les positions de P dns T Temps O(m + k) où k nomre d ourrenes de P dns T T = 2 5 P = P =

5 Constrution nïve Insertion suessive des suffixes, du plus long u plus ourt Exemple: Pour P =, insérer suessivement #, #, #, Complexité O(n 2 ) Construtions en temps linéire Weiner 1973: Premier lgorithme linéire. MCreight 1976: Algorithme linéire utilisnt moins d espe. Ukkonen 1995: Algorithme linéire, plus simple. 5

6 Algorithme d Ukkonen Arre des suffixes impliite: Arre pour T et non ps pour T #. Contient moins d informtion que l rre des suffixes. I i : Arre impliite pour T [1..i] Méthode générle: m phses. Phse i + 1: Constrution de I i+1 à prtir de I i, en rjoutnt T [i + 1] Pour hque phse i + 1, i + 1 extensions, une pour hque suffixe de T [1..i + 1]: T [1..i + 1], T [2..i + 1], T [3..i + 1] Extension T[j..i+1]: Règle 1: Le hemin étiquetté pr T [j..i] se termine à une feuille. Alors, rjouter T [i + 1] à l fin de ette étiquette 6

7 Règle 2: Ps une feuille et uun hemin n pour étiquette T [j..i]t [i + 1]. Alors, réer une ifurtion supplémentire à l fin de T [j..i] Règle 3: Il existe un hemin d étiquette T [j..i + 1]. Alors, rien à fire T = Une fois le hemin étiquetté T [i..j] trouvé, extension en temps onstnt. Approhe nïve: Extension j de l phse i + 1 O(i + 1 j); Constrution de I i+1 O(i 2 ); I n O(n 3 )!! 7

8 Liens suffixe v nœud interne d étiquette xα (x: rtère; α: mot). Si nœud s(v) d étiquette α, lors lien suffixe de v à s(v). Un nœud interne d étiquette x un lien suffixe vers l rine. L rine n ps de lien suffixe α x α γ noeud v d e f g Fin de T[j 1..i] noeud s(v) d e f g y h z 8

9 Phse i + 1: Pour j = 1 f feuille d étiquette T [1..i]; Prolonger l étiquette de f pr T [i + 1]; Pour j > 1 v nœud d étiquette T [j 1..i] ou juste vnt l fin de T [j 1..i] qui soit l rine ou qui possède un lien suffixe; γ mot entre v et l fin de T [j 1..i]; Si v ps l rine, suivre le lien suffixe de v à s(v), et ontinuer dns l rre en suivnt les rtères de γ; Si v est l rine, prourir l rre en suivnt les rtères de T [j..i]; Utiliser les règles d extensions pour le rtère T [i + 1]; w nœud réé (s il y lieu) à l extension j 1; Créer le lien suffixe (w, s(w)). 9

10 Constrution des liens suffixe Lemme : Si un nouveu nœud v étiquetté xα est jouté à l rre à l extension j 1 d un phse i + 1, lors soit un nœud interne étiquetté α existe déj, soit il est réé à l extension j. Corollire: Un nœud nouvellement rée à l extension j 1 possèder un lien suffixe dès l fin de l extension j. e d v α y e x u y α s(v) d p q α s(s(v)) e d p s(u) q 10

11 Complexité Remrque: Pour mther γ, suter de nœud en nœud en onsidérnt l tille des étiquettes. Théorème: Chque phse de l lgorithme prend un temps O(n). Algorithme omplet en O(n 2 ) Optimistion À hque phse de l lgorithme, effetuer un nomre réduit d extensions Oservtion 1: Lorsque l règle 3 est ppliquée à une extension j, lors elle est ppliquée à toutes les extensions suivntes j + 1,, i + 1 Oservtion 2: Une feuille réée à une étpe reste une feuille jusqu à l fin de l lgorithme 11

12 Algorithme simplifié pour l phse i + 1: Rjouter T [i + 1] à l fin des étiquettes des j i feuilles de T i ; Cluler expliitement les extensions pour j = j i + 1 à j, où j est l première extension pour lquelle l règle 3 est ppliquée, ou i + 1; j i+1 = j 1; Théorème: L onstrution des rres T 1 à T n prend un temps O(n) Finlement, l rre des suffixes impliite est trnsformé en l rre des suffixe en rjoutnt le rtère # à l fin de T, et en ppliqunt une dernière fois l lgorithme d Ukkonen. 12

13 Arre des suffixes générlisé Arre des suffixes pour un ensemle de séquenes {T 1, T 2,, T l }. Simple extension de l lgorithme d Ukkonen. Deux sutilités: Étiquette d un r représenté pr trois entiers plutôt que 2. Chque feuille doit ontenir les positions des suffixes dns les séquenes onernées. T1 = x x T2 = x 2,4 2,1 # # x x # x # # 2,5 x # x # 2,2 # # # 1,5 1,3 2,3 2,6 1,2 1,1 1,4 13

14 Différentes utilistions de l rre des suffixes Reherhe exte d un mot dns un texte: Constrution de l rre O(n) Reherhe de P O(m + k). Reherhe multiple: O(n + m + k) Comprle à Aho-Corsik. Si les mots rentrés une fois pour toute et reherhe dns des textes, utiliser Aho-Corsik. Si texte onstnt et mots vriles, utiliser l rre des suffixes. Plus long fteur ommun à deux séquenes: Exemple: et n = S 1 + S 2. Construire l rre des suffixe générlisé T pour {S 1, S 2 } 14

15 Mrquer hque nœud interne v: 1 (respe. 2) si il existe une feuille dns le sous-rre de rine v qui orresponde à un suffixe de S 1 (respe. S 2 ), et mrquer (1, 2) un nœud vérifint les deux onditions à l fois Trouver le nœud mrqué (1, 2) de profondeur en rtères mximle Le mrquge et le lul de l profondeur en rtères peuvent être effetués pr un lgorithme stndrd de prours d rre = Temps totl en O(n) En 1970 Knuth vit onjeturé: impossile de résoudre e prolème en temps linéire. 15

16 Reherhe de répétitions mximles Répétition mximle α: deux positions de α dns T, et à es deux positions, si on prolonge à droite ou à guhe, plus une répétition. Si α répétition mximle de T, lors α étiquette d un nœud de l rre des suffixe de T. Mis tout nœud interne ne représente ps une répétition mximle Au plus n répétitions mximles r u plus n nœuds internes. f: Feuille représentnt T [i..n] T [i 1]: Crtère guhe de f Nœud interne v left diverse si u moins deux feuilles du sous-rre de rine v ont des rtères guhes différents. Si v left diverse lors tous les nêtres de v sont left diverse. Théorème: Un mot α étiquette de v est une répétition mximle ssi v est left diverse. 16

17 T = x y q y z repetitions mximles LD LD z y z 14 y 15 y LD 10 q z y q z q y z 6 2 y x q y z 11 z 7 q y z 3 17

18 Reherhe des nœuds left diverse: Pour hque feuille, onserver son rtère guhe Exminer les nœuds internes de s en hut (des feuilles à l rine) Si u moins un fils de v left diverse lors v left-diverse Sinon, onsidérer les rtères guhes des fils de v Si un même rtère x, lors x rtère guhe de v Si u moins deux rtères différents, lors v est left diverse Théorème: Les répétitions mximles d une séquene T peuvent être trouvées en temps O(n) 18

19 Répétitions supermximles Répétition supermximle: Répétition mximle qui n est fteur d uune utre répétition mximle Répétition presque supermximle: Répétition mximle qui pprît à u moins une position dns T où elle n est ps fteur d une utre répétition mximle: position témoin. Exemple x y d q d y z y d: Répétition supermximle; : Répétition presque sm. Position témoin pour : 2 eme position. 19

20 Figure suivnte: v nœud left diverse, i.e. α répétition mx., et w fils de v qui n est ps une feuille. pos1 r α v γ w pos2 L(w): Ensemle des positions de α dns T identifiées pr le sous-rre de rine w. Lemme: Auune position de L(w) n est une position témoin pour v. 20

21 Si w feuille, lors étiquette de w: β = αγ. Soit i position de w dns T, et x rtère guhe de w r α v γ w i Lemme: i position témoin pour α ssi x n est le rtère guhe d uune utre feuille du sous-rre de v. Preuve: Si une utre ourrene de α préédée de x, lors xα pprît deux fois, et i ne peut ps être une position témoin. Sinon, uune utre uurrene de α n est préédée de x = l ourrene de α à l pos. i n est ontenue dns uune répétition mx. 21

22 Théorème: Un nœud v left diverse représente une répétition presque supermximle α ssi l un des fils de v est une feuille i et T [i 1] n est le rtère guhe d uune utre feuille du sous-rre de v Un nœud left diverse représente une répétition supermximle ssi tous les fils de v sont des feuilles, et tous les rtères guhes de es feuilles sont différents Toutes les répétitions presque supermximles et supermximles peuvent être trouvées en un temps linéire 22

23 Plus longue extension ommune S 1, S 2 : Deux séquenes Lowest ommon extension (le) pour (i, j): Plus long préfixe ommun de S[i..n 1 ] et S 2 [j..n 2 ] S = S = 1 2 Construire l rre des suffixes générlisé pour S 1, S 2. Conserver l profondeur en rtère de hque nœud. Pour tout (i, j), trouver le dernier nêtre ommun (lowest ommon nestor: l) v des feuilles i, j. Profondeur en rtère de v = le pour (i, j) 23

24 T1 = x x T2 = x # 4 l de (1, 4 ) l de (4, 4 ) 1 # x x x # # # 1 5 x 1 # x # 2 2 # 3 # # profondeur en rteres

25 Dernier nêtre ommun: Après un prétritement de l rre des suffixes, le l de deux nœuds quelonques peut être trouvé en temps onstnt. Résultt otenu pr Hrel & Trjn, 1984 et simplifié pr Shierer & Vishkin, Idée: Numéroter les nœuds pr des nomres représentés sur log(n) its n onstnt de omprisons, dditions et opértions logiques AND, OR, XOR. 25

26 Reherhe de plindromes Plindrome S de ryon k de S: Sous séquene de S tq, en déutnt l leture u milieu (en exlunt le r. du milieu si S impir), l leture des k rtères vers l droite ou vers l guhe donne le même mot. Plindrme mximl s il ne peut ps être étendu. S = t g t plindrome mx de ryon 3 plindrome mx de ryon 1 Plindrome sépré pr l rtères: Les deux prties du plindrome sont séprées de l rtères g t : plindrome de ryon 4, sépré pr 3 rtères Prolème: Trouver tous les plindromes mximux de S séprés pr l rtères. 26

27 S de tille m S r : Séquene inverse de S. S = g t g t t q l k+1 q l l q q+1 q+k Algorithme: Arre des suffixe générlisé pour S et S r, et prétritement de fçon à trouver l le de deux suffixes de S et S r en temps onstnt Pour tout q de 1 à m 1, trouver l le de l pire (q + 1, m q + l 1) (q + 1 dns S et m q + l 1 dns S r ) Si extension de tille non nulle k, lors un plindrome est troouvé, dont l deuxième moitié déute à l pos. q + 1 Complexité O(m) 27

28 Plindromes u sens iologique: g t t g t t t plutôt que g t Même lgorithme mis en onsidérnt (S r ) plutôt que S r S = g t g t g S r = g t g t g (S r ) = t g g t t t Reherhe de tous les plindromes séprés (pour l quelonque): Se rmène à l reherhe de toutes les répétitions mximles inverses Temps O(m + o) où o = n d ourrenes. Si orne fixe pour l, lors extension de l lgorithme préédent, toujours O(n) 28

29 Arre des suffixes pour l reherhe ve mismthes Reherhe de P de tille m dns T de tille n à k mismthes près Idée: À hque position j dns T, exéuter u plus k reherhes de le A C G A G T A T T A G C T A A C k=3 A C C A T T A * * A C C A T T A * * * A C C A T T A * * * A C C A T T A * * 29

30 Algorithme: (1) Pour tout j fire (2) i 1; j j; ount 0; (3) Tnt que ount k et i m fire (3) l tille de l plus longue extension des positions i dns P et j dns T ; (4) i i + l; (5) Si i > m, ourrene de P à l position i; (6) Si non ount ount + 1; j j + l + 1; Complexité en temps: Pour hque position j dns T, O(k) reherhes de plus longues extensions = O(kn) 30