L'objectif. Analyse de Données Structurées - Cours 5. La bonne approche pour l'analyse syntaxique? L'approche suivie pour l'analyse lexicale

Transcription

1 Constructon d'analyseurs syntaxques L'objectf Ralf Trenen Unversté Pars Dderot UFR Informatque Insttut de Recherche en Informatque Fondamentale L'analyse syntaxque a deux objectfs : détecter s le texte lu est correct (est dans le langage engendré par la grammare) ; le cas échéant, construre un arbre de syntaxe abstrate. Pour l'nstant, nous contnuons à étuder le premer problème : reconnassance des textes d'entrée correctes. 21 févrer 2017 c Ralf Trenen Constructon d'analyseurs syntaxques Constructon d'analyseurs syntaxques L'approche suve pour l'analyse lexcale La bonne approche pour l'analyse syntaxque? Vu pour l'analyse lexcale : Le découpage de l'entrée en jetons est spécée par des expressons régulères. On sat tradure les expressons régulères en automates ns. Ces automates s'exécutent faclement et de façon ecace. Générateurs d'analyse lexcale : traducton automatque de la spéccaton en code ecace (qu, lu, content un automate) Peut on suvre la même technque pour l'analyse syntaxque? Il exste un modèle d'automates qu correspond aux grammares algébrques, dans le même sens que les automates ns correspondent aux expressons régulères : les automates à ple. On obtent, de la traducton d'une grammare algébrque, un automate à ple non-détermnste. En général, on ne peut pas rendre cet automate détermnste.

2 Constructon d'analyseurs syntaxques Constructon d'analyseurs syntaxques Détermnser un automate n Détermnser un automate à ple? À chaque moment de l'exécuton d'un automate n, sa conguraton consste en : l'nformaton où on est dans la lecture du mot d'entrée, et l'état de l'automate (nombre n). L'ensemble des conguratons possbles dans lesquelles l'automate peut se trouver après lecture d'un mot donné est borné (par le nombre d'états de l'automate). Constructon d'un automate détermnste de talle exponentelle. La conguraton d'un automate à ple est plus rche : l'nformaton où on est dans la lecture du mot d'entrée, l'état de l'automate, et le contenu de la ple. La talle de la ple n'est pas est bornée. Le nombre des conguratons possbles dans lesquelles l'automate peut se trouver après lecture d'un mot n'est plus borné! Constructon d'analyseurs syntaxques Constructon d'analyseurs syntaxques Pluseurs technques pour l'analyse syntaxque Constructon (vrtuelle) d'un arbre de dérvaton Analyse descendante : constructon (vrtuelle) de l'arbre de dérvaton, à partr de l'axome aux feulles. Ordre de constructon : parcours préxe de l'arbre. C'est l'approche présentée dans ce cours. Analyse ascendante : constructon (vrtuelle) d'un arbre de dérvaton à partr des feulles jusqu'à l'axome. Plus complexes à maîtrser, nécesste des connassances des automates à ple. Vor le cours de Complaton au M1. Dans la constructon d'un arbre de dérvaton (ou, d'une dérvaton), l y a à chaque moment deux chox à fare : du non-termnal qu'on va remplacer à l'ade d'une règle de la grammare, une fos le non-termnal chos, de la règle parm ceux qu ont ce non-termnal sur le côté gauche. Nous avons vu la semane dernère que le premer chox n'est pas essentel : on peut mposer une stratége comment chosr le non-termnal à remplacer (par ex., celu qu est le plus à gauche).

3 Constructon d'analyseurs syntaxques Constructon d'analyseurs syntaxques Exploraton complète de l'espace de recherche? Comment obtenr une soluton ecace? Une façon de réalser une analyse syntaxque est mantenant d'essayer smplement toutes les possbltés de chosr des règles. Cela donner leu à un algorthme non-détermnste : sot par retour en arrère (angl. : backtrackng) sot par programmaton dynamque Approche complète : on est sûr de trouver un arbre de dérvaton s le mot est dans le langage Problème : ecacté On cherche des solutons ecaces, éventuellement en mposant des restrctons aux grammares qu'on peut trater. Il faut maîtrser le chox de la règle de la grammare par laquelle on va remplacer un non-termnal. On ne peut pas demander qu'l y at une seule règle par non-termnal (car dans ce cas la grammare est complètement trvale). ur quo baser le chox de la règle? ur la sute du mot pour lequel on cherche construre l'arbre de dérvaton! Exemple Constructon d'un arbre de dérvaton (1) Grammare G = (V, Σ,, P) où V = {, +, [,, Σ = {, +, [, = P consste en les règles suvantes : (1) [+ (2) L(G) : expressons complètement parenthésées, construtes avec la constante et l'opérateur bnare +. [ [ + + [ + Chosr règle (2) : c'est la seule qu peut produre à partr de un mot qu commence sur [.

4 Constructon d'un arbre de dérvaton (2) Constructon d'un arbre de dérvaton (4) + + [ [ + + [ + Le premer non-termnal du mot des feulles est [. [ [ + + [ + Chosr règle (2) : c'est la seule qu peut produre à partr de un mot qu commence sur [. Constructon d'un arbre de dérvaton (5) Constructon d'un arbre de dérvaton (6) [ [ + + [ + Le suvant non-termnal du mot des feulles est [. [ [ + + [ + Chosr règle (1) : c'est la seule qu peut produre à partr de un mot qu commence sur.

5 Constructon d'un arbre de dérvaton (7) Constructon d'un arbre de dérvaton (8) [ [ + + [ + Le suvant non-termnal du mot des feulles est. [ [ + + [ + Le suvant non-termnal du mot des feulles est +. Constructon d'un arbre de dérvaton (9) Constructon d'un arbre de dérvaton (10) [ [ + + [ + Chosr règle (1) : c'est la seule qu peut produre à partr de un mot qu commence sur. [ [ + + [ + Le suvant non-termnal du mot des feulles est.

6 Constructon d'un arbre de dérvaton (11) Constructon d'un arbre de dérvaton (12) [ [ + + [ + Le suvant non-termnal du mot des feulles est. [ [ + + [ + eulement la règle (2) peut produre à partr de un mot qu commence sur +. Constructon d'un arbre de dérvaton (13) etc. etc [ [ + + [ + Chosr règle (2) : c'est la seule qu peut produre à partr de un mot qu commence sur [. [ [ + + [ + Constructon termnée!

7 Ce qu'on a vu sur l'exemple : Grammares LL(1) Il y a deux types d'actons : consommer en parallèle un non-termnal du préxe du mot des feulles déjà construt, et le même symbole de l'entrée ; ajouter des ls à une feulle de l'arbre de dérvaton partel. Pour chosr la règle de la grammare, on regarde en avant quel est le symbole suvant de l'entrée que nous aurons à consommer (lookahead). En fat, l'algorthme que nous avons vu sur l'exemple appartent à la classe LL(1) : le premer L ndque qu'on parcourt l'entrée de la gauche (angl. : left) à la drote ; le deuxème L ndque qu'on construt une dérvaton gauche (angl. : left), c.-à-d. un arbre de dérvaton dans un ordre préxe ; le nombre 1 ndque que nous utlsons la connassance de 1 caractère dans la parte de l'entrée qu reste à consommer, pour détermner la règle à applquer (lookahead=1). Grammares LL(k) Grammares LL(k) Notaton : w : k Idée : on peut détermner la règle de producton à applquer au non-termnal le plus à gauche de l'arbre de dérvaton en regardant les k symboles suvants de l'entrée (lookahead=k) Dénton précse à venr. Généralsaton des LL(1). En pratque se sont surtout les grammares LL(1) qu nous ntéressent. Dénton ot w Σ un mot, et k N. On dént s w k alors w : k = w s w > k alors w : k = x tel que w = xy et x = k Explcaton w : k est le préxe de longueur k du mot w, ou le mot w enter s w est plus court que k. abcdefg : 3 = abc abcd : 7 = abcd

8 Grammares LL(k) Grammares LL(k) Dénton LL(k) Explcaton de la dénton de LL(k) Dénton ot G = (V, Σ,, P) une grammare algébrque, k N. G est dte LL(k) ss 'l exste deux dérvatons gauches uy α uβα ux uy α uγα uy où Y N, u, x, y Σ, α, β, γ V, avec x : k = y : k On a déjà consommé u, parte ntale du mot d'entrée. Le non-termnal le plus à gauche à réécrre est mantenant Y. Dans les deux cas consdérés, le mot d'entrée contnu une fos par le mot x, l'autre fos par le mot y. En regardant les k premers caractères de la sute du mot d'entrée, on peut mantenant décder comment réécrre le non-termnal Y. alors β = γ. Grammares LL(k) Grammares LL(k) Conséquences Un premer crtère smple pour être LL(1) Toute grammare G qu est LL(k) est non-ambguë : tout mot du langage L(G) a un seul arbre de dérvaton. Il exste un algorthme ecace pour la constructon de cet arbre de dérvaton. Queston : comment savor s une grammare est LL(k)? Lemme pour tout non-termnal, les côtés drotes de toutes les règles pour ce non-termnal commencent par des termnaux dérents, alors la grammare est LL(1). Exemple La grammare de l'exemple précédent : [+ satsfat le crtère, et est donc LL(1).

9 Grammares LL(k) Grammares LL(k) Exemple d'une grammare qu n'est pas LL(1) Transformaton en une grammare LL(1) Grammare G 1 = (V, Σ,, P) où V = {, +, *, [,, Σ = {, +, *, [, = P consste en les règles suvantes : (3) [+ (4) [* (5) Pourquo n'est-elle pas LL(1)? une grammare n'est pas LL(1) c'est souvent qu'on a à chosr entre deux règles, mas on n'a pas encore susament d'nformatons pour fare ce chox. oluton : Retardez le chox! par exemple, avec un non-termnal supplémentare O : (6) O (7) O + (8) O * (9) Peut-on la transformer en une grammare LL(1)? Grammares LL(k) Grammares LL(k) Un melleur crtère pour être LL(1)? La foncton FIRTk Problème : Le crtère du transparent précédent est trop restrctf car l ne permet pas des règles où le côté drote commence par un non-termnal : A BA B (10) B... (11) On a beson d'un crtère pour être LL(1) qu marche auss en présence de règles de producton où le côté drote commence par un non-termnal. Dénton ot G = (V, Σ,, P) une grammare, et k N. Nous dénssons une foncton FIRTk : V 2 Σ par Explcaton FIRTk(α) = {w : k w V T, α w FIRTk(α) est l'ensemble des préxes de longueur k des mots termnaux qu'on peut obtenr à partr α.

10 Grammares LL(k) Grammares LL(k) Un melleur crtère pour être LL(1) Lemme ot G = (V, Σ,, P) une grammare sans productons de la forme N ɛ. G est LL(1) s est seulement s pour toutes règles dérentes : N α N β on a que FIRT 1 (α) FIRT 1 (β) =. Exemple Toujours sur le même exemple : FIRT 1 () = { FIRT 1 ([+) = {[ Calcul de FIRT 1 Grammare G = (V, Σ,, P). Hypothèse : aucune producton N ɛ. On ntalse F(α) pour tout côté drote de P, où : F(aα) = {a pour tout a Σ F(Nα) = pour tout N V N Tant qu'l exste une règle N β telle que F(β) F(Nα) : F(Nα) := F(Nα) F(β) Pour tout α : FIRT 1 (α) est la valeur nale de F(α). Grammares LL(k) Grammares LL(k) Exemple Grammare G = ({a, (, ), +, F,, {a, (, ), +,, P) où P est F a (F+) F Intalsaton : F(a) = {a F((F+)) = {( F(F) = Compléton : On a une règle F a, mas F(a) F(F). On augmente : F(F) := {a Exemple (2) Grammare G = ({a, (, ), +, F,, {a, (, ), +,, P) où P est F a (F+) F On obtent donc : FIRT 1 (a) = {a FIRT 1 ((F+)) = {( FIRT 1 (F) = {a

11 tructure du code Fcher LookAhead1Reader.java I m p o r t j a v a. o. ; Nous avons beson de regarder le symbole suvant dans le ot d'entrée sans de le consommer : classe LookAhead1Reader. L'analyseur syntaxque content une méthode term (char c) qu consomme un symbole c du ot d'entrée. L'analyseur syntaxque content une méthode nonterm_n() pour chaque non-termnal N. Cette méthode consomme un mot du ot d'entrée qu est engendré par N. L'mplémentaton de ces méthodes utlse FIRT 1 pour détermner la règle de la grammare à applquer. c l a s s LookAhead1Reader e x t e n d s P u s h b a c k R e a d e r { / R e a d e r c l a s s w t h a l o o k a h e a d o f one c h a r a c t e r / p u b l c LookAhead1Reader ( R e a d e r r ) { s u p e r ( r, 1 ) ; p u b l c b o o l e a n c h e c k ( c h a r c ) t h r o w s I O E x c e p t o n { / c h e c k w h e t h e r c s t h e f r s t c h a r a c t e r / n t l a s t r e a d =0; l a s t r e a d=t h s. r e a d ( ) ; t h s. u n r e a d ( l a s t r e a d ) ; r e t u r n ( l a s t r e a d == c ) ; Fcher LookAhead1Reader.java II Fcher Parser.java I p u b l c v o d e a t ( c h a r e x p e c t e d ) t h r o w s R e a d E x c e p t o n, I O E x c e p t o n { / consumes c from t h e s tream, e x c e p t o n / / when t h e c o n t e n t s d o e s n o t s t a r t on c. / c h a r f o u n d =( c h a r ) t h s. r e a d ( ) ; f ( f o u n d!= e x p e c t e d ) { throw new R e a d E x c e p t o n ( e x p e c t e d, f o u n d ) ; m p o r t j a v a. o. ; / s m p l e LL ( 1 ) p a r s e r f o r t h e grammar : / / F > a > F > ( F+ ) / c l a s s P a r s e r { p r o t e c t e d LookAhead1Reader r e a d e r ; p u b l c P a r s e r ( LookAhead1Reader r ) { r e a d e r=r ;

12 Fcher Parser.java II Fcher Parser.java III p u b l c v o d term ( c h a r c ) t h r o w s I O E x c e p t o n, R e a d E x c e p t o n { / consume t h e c h a r a c t e r c / r e a d e r. e a t ( c ) ; p u b l c v o d nonterm_ ( ) t h r o w s I O E x c e p t o n, I l l e g a l A r g u m e n t E x c e p t o n, R e a d E x c e p t o n, P a r s e r E x c e p t o n { / p a r s e a word g e n e r a t e d from n o n t e r m n a l / f ( r e a d e r. c h e c k ( ' a ' ) ) { t h s. nonterm_f ( ) ; e l s e f ( r e a d e r. c h e c k ( ' ( ' ) ) { e l s e { t h s. term ( ' ( ' ) ; t h s. nonterm_f ( ) ; t h s. term ( '+ ' ) ; t h s. nonterm_ ( ) ; t h s. term ( ' ) ' ) ; throw new P a r s e r E x c e p t o n ( " c a n n o t expand " ) ; p u b l c v o d nonterm_f ( ) t h r o w s I O E x c e p t o n, R e a d E x c e p t o n { / p a r s e a word g e n e r a t e d from n o n t e r m n a l F / Fcher Parser.java IV Fcher Test.java m p o r t j a v a. o. ; c l a s s T e s t { t h s. term ( ' a ' ) ; p u b l c s t a t c v o d man ( t r n g [ a r g s ) t h r o w s E x c e p t o n { F l e n p u t = new F l e ( a r g s [ 0 ) ; R e a d e r r e a d e r = new F l e R e a d e r ( n p u t ) ; LookAhead1Reader r = new LookAhead1Reader ( r e a d e r ) ; P a r s e r p = new P a r s e r ( r ) ; p. nonterm_ ( ) ;