COMPOSITION D INFORMATIQUE Arbre des suffixes

Transcription

1 COMPOSITION D INFORMATIQUE Arre des suffixes Jen Berstel février Avertissement On tther une grnde importne à l lrté, à l préision, à l onision de l rédtion. L mnipultion des grndes ses de données textuelles que onstituent les ditionnires, les génomes, ou les textes irulnt sur le World Wide We fit ppel à des strutures de données élorées et à des lgorithmes effies. L rre des suffixes est utilisé dns es ontextes pour l onstitution d index, r il permet une reherhe rpide. Soit A un ensemle fini ppelé lphet dont les éléments sont ppelés des lettres. Un mot sur A est une suite finie d éléments de A, que l on note pr simple juxtposition. L longueur d un mot u est le nomre de lettres figurnt dns u. Ainsi, est un mot de longueur sur A = {,. L unique mot de longueur est le mot vide, noté ε. Si u et v sont deux mots, leur produit, noté uv, est le mot otenu en mettnt u et v out à out. Ainsi, si u = n et v = nes, uv = nnes. Un mot u est préfixe (resp. suffixe) d un mot v s il existe un mot x tel que ux = v (resp. xu = v). Un mot de longueur n possède n + préfixes (y ompris le mot vide et lui-même). Un mot u est fteur d un mot v s il existe deux mots x, y tels que xuy = v. Ainsi, le mot nn est fteur de nnes. Un préfixe (resp. suffixe) est toujours un fteur. Arres littérux Un rre littérl est un rre dont les rs sont étiquetés pr des lettres. Deux rs issus d un même sommet portent des étiquettes différentes. L étiquette d un hemin dns l rre est le mot formé des étiquettes des rs qui le omposent. Les mots représentés pr un rre littérl sont les étiquettes des hemins issus de l rine. On dir qu un sommet p et un mot x se orrespondent si x est l étiquette du hemin de l rine à p. Les mots mximux d un rre littérl sont les mots qui orrespondent ux feuilles. Dns l exemple i-dessus, les mots représentés sont ε (le mot vide) et les mots,,,,,,. Les mots mximux de l rre sont, et. Question Trer l rre littérl (sns numéroter les sommets) dont les mots mximux sont,,,,. ve les prtiiptions de Georges Gonthier et de Jen-Jques Lévy

2 Un rre littérl est représenté omme un grphe. Les sommets sont des entiers, numérotés à prtir de. Le numéro de l rine est. Les rs issus d un sommet sont représentés pr une liste dont l définition est lss Liste { hr etiq; // étiquette int sommet; // sommet d rrivée de l r Liste suivnt; // suivnt dns l liste Liste(hr e, int s, Liste x) { etiq = e; sommet = s; suivnt = x; L représenttion d un rre littérl est omposée d un tleu su de listes de suesseurs et de son nomre de sommets n : lss Arre { stti finl int nmx =...; Liste[ ] su; // listes de suesseurs int n; // tille Arre () { n = ; su = new Liste[nMx]; L onstnte nmx est supposée ssez grnde pour qu il n y it jmis de déordement dns le tleu su. Un rre littérl toujours u moins un sommet (s rine, numérotée ). Pour l rre orrespondnt à l exemple i-dessus, on, près onstrution,.n = 8, et l liste.su[] deux élements, dont les hmps etiq et sommet vlent, et, respetivement. On ussi.su[] = null pr exemple. Un mot w est représenté pr un ojet w de type String. Les seules opértions à utiliser sur le type String sont w.length() qui retourne s longueur, et w.hrat(i) qui retourne l lettre en position i dns w. Les positions sont numérotées à prtir de. Question Erire une fontion stti int filsde(int p, hr, Arre ) qui retourne le sommet qui est l extrémité de l r d étiquette issu de p ( p <.n), si et r existe, et sinon. Question Erire une fontion stti int desendntde(int p, String w, Arre ) qui retourne le sommet qui est l extrémité du hemin d étiquette w issu de p ( p <.n), si un tel hemin existe dns l rre, et sinon. Insérer un mot w dns un rre littérl revient à réer les sommets et les rs néessires pour que l rre ontienne ussi le hemin issu de l rine dont l étiquette est w. Ainsi, près insertion de, l rre de l exemple initil devient 8 Question Erire une fontion stti void inserer(string w, Arre ) qui insère le mot w dns l rre. (Rppel: on suppose que l rre ontient u moins un sommet). Question Erire une fontion stti Arre nouvelarre(string[ ] x) qui retourne un rre littérl otenu pr les insertions suessives des mots du tleu x.

3 Arre des suffixes Etnt donné un mot w, l rre des suffixes de w est l rre littérl otenu pr insertion de tous les suffixes du mot w. Il est file de voir qu il représente extement l ensemle des fteurs de w. Pr exemple, l rre des suffixes du mot w = est 8 9 On rppelle qu un sommet p et un mot x se orrespondent si x est l étiquette du hemin de l rine à p. Un sommet est terminl s il orrespond à un suffixe de w. Dns l figure i-dessus, on doulement enerlé les sommets terminux de l rre des suffixes du mot w =. Question Trer l rre des suffixes du mot. On ugmente l définition de l lsse Arre en joutnt un tleu ooléen terminl de tille nmx ve l propriété que.terminl[p] vut true si et seulement si p est un sommet terminl dns l rre. Question Indiquer omment modifier les fontions des questions et pour otenir: ) une fontion stti void inserersuffixe(int i, String w, Arre ) qui insère le suffixe du mot w ommençnt en position i dns l rre (le suffixe ommençnt en position i de w = N, où,,..., N sont des lettres, est le mot i i+ N ). ) une fontion stti Arre nouvelarresuffixe(string w) qui retourne l rre des suffixes du mot w. Etnt donné un mot w de longueur N, on note C w (k) le nomre de fteurs distints de longueur k de w. On C w () = C w (N) =, et C w () est le nomre de lettres distintes pprissnt u moins une fois dns w. Pr exemple, si w =, on C w () =. On note F (w) le nomre totl de fteurs distints du mot w. Question 8 On suppose que l rre des suffixes du mot w de longueur N est lulé. Erire une fontion stti int [ ] nomredefteurs(int N, Arre ) qui retourne un tleu w tel que w[i] = C w (i) pour tout i ( i N). Votre fontion devr être en temps proportionnel à F (w). Question 9 ) Donner une orne inférieure et une orne supérieure pour F (w) en fontion de l longueur de w, et des exemples où es ornes sont tteintes. ) Cluler F ( n n ) pour n, où, sont des lettres et n est défini pr = ε et n+ = n. Le degré d un sommet p est le nomre de ses suesseurs. Si le fteur x de w orrespond à p, le degré de x est le degré de p. C est ussi le nomre de lettres telles que x est fteur de w. Pr exemple, le mot est de degré dns. On note d(x) le degré d un fteur x de w.

4 Question ) Montrer que pour tout k ( k N), il existe u plus un fteur de w de longueur k et de degré. ) Montrer que si y est suffixe de x, et x est un fteur de w, lors d(y) d(x). ) Démontrer que si C w (k) > C w (k + ) pour un k < N, lors C w (k) = + C w (k + ). d) Démontrer que si C w (k) = C w (k + ) pour un k < N, lors C w (k + ) C w (k + ). Compter l rre des suffixes L inonvénient mjeur de l rre des suffixes d un mot est s tille. On v le ompter en supprimnt les sommets internes inutiles. L rre ompt des suffixes d un mot w est otenu à prtir de l rre des suffixes en supprimnt les sommets de degré qui ne sont ps terminux. Plus préisément, si (s,s,...,s n,t) est un hemin d étiquette x dns l rre des suffixes, ve s, s,... s n de degré non terminux, et s,t de degré ou terminux, lors e hemin est remplé, dns l rre ompt, pr l r (s,t), dont l étiquette est le mot x. Pr exemple, l rre ompt des suffixes du mot w = est donné dns l prtie guhe de l figure i-dessous (on onservé les numéros des sommets dns l rre du déut de l setion préédente). 9 (,) 9 (,) (,) (,) (,) Soit w = N un mot, ve,,..., N des lettres. On représente l rre ompt des suffixes de w de fçon éonomique en remplçnt l étiquette x d un r pr un ouple (i,j) tel que x = i i+ j omme dns l rre i-dessus à droite. Question Cluler l rre ompt des suffixes du mot w =. Question Démontrer que l rre ompt des suffixes d un mot de longueur N u plus N sommets. Pour représenter un rre des suffixes ompt, à hque r est mintennt ssoié un intervlle semi-ouvert dérivnt l étiquette. Les nouvelles lsses pour les listes et rres sont don lss ListeA { int deut, fin; // intervlle semi-ouvert [déut, près-l-fin[ int sommet; // sommet d rrivée de l r ListeA suivnt; // suivnt dns l liste ListeA(int d, int, int s, ListeA x) { deut = d; fin = ; sommet = s; suivnt = x; lss ArreA { stti finl int nmx =...; ListeA[ ] su; // listes de suesseurs oolen[ ] terminl; // mrques des sommets terminux int n; // tille ArreA () { n = ; su = new ListeA[nMx]; terminl = new oolen[nmx];

5 Question Erire une fontion stti int longueurmot(arre ) qui retourne l longueur du mot dont est l rre des suffixes. Question Erire une fontion stti ArreA trnsformer(arre ) qui retourne l rre ompt orrespondnt à l rre des suffixes. (On onserver les mêmes numéros pour les sommets des deux rres et on ne se servir que de l longueur du mot dont est l rre des suffixes). Question Erire une fontion stti ArreA epurer(arrea ) qui retourne un rre ompt équivlent à l rre ompt ve des numéros de sommets onséutifs (omme dns l figure suivnte). (,) (,) (,) (,) (,) Constrution direte de l rre ompt des suffixes Dns ette prtie, on onstruit l rre ompt des suffixes sns psser pr l rre littérl. On ggne en ple, mis le temps est enore qudrtique. L lgorithme proède pr insertions des suffixes pr longueur déroissnte dns un rre initilement réduit à un sommet. Durnt l insertion d un suffixe, on détete le plus long préfixe figurnt déjà dns l rre, et on joute, si néessire, un nouvel r étiqueté pr l totlité du mot restnt. L exploittion du préfixe présent dns l rre néessite prfois de riser un r en deux. Fig. A guhe, près insertion de, et à droite près insertion de Voii un exemple. Soit w =. Après insertion du mot, on otient l rre à guhe dns l figure. Pour le suffixe =, le plus long préfixe dns l rre est. On rise l r (,,) en deux rs (,,) et (,,), et on joute un nouvel r (,,). On otient lors l rre à droite dns l figure. Fig. Après et.

6 Pour l insertion du suffixe, on rise l r (,,) en (,,) et (,,) et on joute (,,). L insertion de ne provoque ps de ris, et se solde pr l jout de l r (,,). On otient don l rre de l figure. 8 Fig. A guhe près, et à droite l rre finl L insertion de provoque le ris de l r (,,) sns rétion d une feuille supplémentire (figure à guhe). L rre finl est dessiné dns l figure, à droite. On se donne un mot w = N ve N > et,,... N des lettres. Question Erire une fontion stti int lp(int i, int j, int k, int l, String w) qui retourne l longueur du plus long mot qui est préfixe à l fois du mot i i+ j et du mot k k+ l. On utilise les strutures introduites dns l prtie préédente, à svoir les lsses ArreA et ListeA. Question Erire une fontion stti void inserersuffixe(int i, String w, int p, ArreA ) qui insère le suffixe de w ommençnt en position i dns l rre à prtir du sommet p. Question 8 Erire une fontion stti ArreA nouvelarre(string w) qui retourne l rre des suffixes ompt du mot w en ppliqunt l lgorithme dérit plus hut. Vers l onstrution de l rre ompt en temps linéire Dns ette prtie, on more l onstrution de l rre ompt en temps et en ple linéires. Question 9 Soit w un mot, et soit x un fteur de w. Montrer que si x orrespond à un sommet p dns l rre des suffixes de w, on peut luler le sommet p en temps O(E k) où E est le nomre d rs du hemin de l rine à p et k est le nomre de lettres de l lphet onsidéré. Question Soit p un sommet de l rre des suffixes ompt de w utre que l rine, et soit x le fteur orrespondnt à p. Posons x = y, où est l première lettre de x. Montrer que y orrespond à un sommet q de l rre. On ppelle lien suffixe de p le sommet q défini dns l question préédente. Question Erire une fontion stti int[ ] liensuffixe(string w, ArreA ) qui retourne, dns un veteur, les liens suffixes des sommets de l rre des suffixes de w. Weiner (9), MCreight (9) et Ukkonen (99) ont trouvé un lgorithme pour onstruire l rre des suffixes en un temps linéire. L lgorithme de Weiner fut onsidéré omme l lgorithme de l nnée 9 pr Knuth.