CH.2 L'ANALYSE LEXICALE

Dimension: px

Commencer à balayer dès la page:

Download "CH.2 L'ANALYSE LEXICALE"

Marie-Hélène Forget
il y a 6 ans
Total affichages :

1 CH.2 L'ANALYSE LEXICALE 2. L'nlyseur lexicl 2.2 Le texte d'entrée 2. Les unités lexicles 2.4 Les digrmmes de trnsition 2. Les utomtes finis 2. L'nlyseur lexicl progrmme source nlyseur lexicl unité lexicle (sur requête) nlyseur syntxique tle des symoles Rôle : lire les crctères d'entrée ; réliser un pré-tritement du progrmme source ; trnsmettre à l'nlyseur syntxique des unités lexicles ; initiliser l tle des symoles ; grder un lien entre compilteur et utilisteur.

2 Intérêts de l'nlyse lexicle : Conception modulire plus simple du compilteur ; Simplifiction de l'écriture de l'nlyseur syntxique ; Techniques spécifiques d'entrée du texte ; Portilité ccrue (modifictions de l'lphet d'entrée) ; Existence de techniques générles d'nlyse lexicle ; Prolèmes voisins (tritement de texte,...) Lexèmes, unités lexicles, modèles, ttriuts : Lexème=chîne de crctères ; Unité lexicle=type de lexèmes (pour l syntxe) ; Modèle=règle décrivnt quelles chînes correspondent à un modèle donné ; Attriut=informtions dditionnelle (pour l sémntique). Exemples (PASCAL) : lexèmes vitesse.4 := < = "onjour" egin unité lexicle identificteur nomre_flottnt ffecttion op_reltion op_reltion littérl déut_loc Attriut pointeur vers tle des symoles représenttion ANSI du nomre ucun code pour inférieur code pour égl tleu de crctères ucun Fcteurs modifint l complexité de l'nlyse lexicle : Le plcement dns l ligne est-il importnt? Quelle est l significtion des lncs? Les mots clés sont-ils réservés? Erreurs lexicles : peu (crctères interdits,...)

3 2.2 Le texte d'entrée Nécessité d'optimiser l phse de lecture. Utilistion d'un tmpon linéire ou circulire. Couple de pointeurs pour gérer le prolème des "crctères de pré-vision" Exemple : etiq:vri:=vleur=.; Fonctions ppropriées dns certins lngges : get et unget en C 2. Les unités lexicles Alphet : inire, ASCII,... ; Mot : chîne de crctères ; mot vide Lngge : ensemle de mots ; exemples :, {}, {egin, end} Opértions sur les lngges : Union ensemliste : L M ; Concténtion : LM ; Fermeture positive : L + = i= L i Fermeture de Kleene : L* = L i i=0 N.B. Ni l complémenttion, ni l intersection.

4 Expressions régulières : i) L expression régulière représente {} ; ii) Si est une lettre, lors c est une expression régulière qui représente{ } ; iii) Si r et s sont des expressions régulières qui représentent L(r) et L(s), lors : r s représente L(r) L(s) (ou r + s) rs représente L(r)L(s) r* représente L(r)*. Lngge régulier = lngge représenté pr expression régulière. Exemples :, ( )*, *(*)* et ( )* ( ) ( )* Définition régulière : permet de donner des noms à des expressions régulières. Exemples : lettre A B... Z... z chiffre id lettre ( lettre chiffre )* chiffres chiffre ( chiffre )* frction_opt. chiffres exposnt_opt E (+ - ) chiffres n chiffres frction_opt exposnt_opt Avec cette définition, id reconnît, 0, egin Et n reconnît 0,.0, 2E4,.E-, 0.2E-0 Mis n ne reconnît ps 0.,., E2.0

5 Nottions régées possiles : r + = r r* ; r? = r ; [c] = c ; [-z] = [...z ] Exemples : lettre [A-Z-z ] chiffre [0-9] id lettre ( lettre chiffre )* chiffres ( chiffre ) + frction_opt (. chiffres ) + exposnt_opt (E(+ -)? chiffres )? n chiffres frction_opt exposnt_opt Lngges réguliers : ppropriés ux définitions lexicles, ps ux définitions syntxiques : les systèmes de prenthésges ne sont ps réguliers. 2.4 Les digrmmes de trnsition Exemple : frgment de grmmire instr si expr lors instr si expr lors instr sinon instr expr terme oprel terme terme terme id n si si lors lors sinon sinon oprel < <= = <> > >= id lettre ( lettre chiffre)* n chiffre + (.chiffre + )? (E (+ -)? chiffre + )? prtie syntxique prtie lexicle

6 Digrmmes de trnsition : unité lexicle oprel déut < = 0 2 = utre > 4 * retourne(oprel, PPE) retourne(oprel, DIF) retourne(oprel, PPQ) > retourne(oprel, EGA) = 7 retourne(oprel, PGE) L stérisque * indique qu il fut restituer le dernier crctère lu u flot d entrée utre * retourne(oprel, PGQ) Digrmmes de trnsition : unité lexicle id et mots clés lettre-chiffre déut lettre utre * 9 0 retourne(unilexid (), RngerId ()) Permet ussi de distinguer les mots clés : Tle des symoles initilisée pr les mots clés ; RngerId exmine l tle, retourne nouveu pointeur, ou pointeur existnt, ou 0 si mot clé ; UniLexId de même retourne id ou l unité lexicle mot clé.

7 Digrmmes de trnsition : unité lexicle n 20 * 2 * utre chiffre utre chiffre déut chiffre. 2 4 chiffre E E chiffre + ou - chiffre utre * 7 9 chiffre Implnttion fcile en C ou PASCAL 2. Les utomtes finis Modèle proche de l implnttion, permettnt de répondre oui ou non selon que l chîne de crctères en entrée répond ou non à un modèle d expression régulière donné. Générlistion des digrmmes de trnsition. Dns l théorie, ps d ction sémntique ssociée, mis ssez fcile de l rjouter. Utilistions utres que pour l nlyse lexicle liée à un compilteur : recherche de chînes de crctères, tritement de textes, prétritement, formtge. Deux modèles équivlents, déterministe (AFD) et non déterministe (AFN).

8 Automte fini non déterministe (AFN) ou déterministe (AFD) : Ensemle fini d étts E ; Alphet d entrée fini Σ ; Fonction de trnsition δ ; Étt initil q 0 ; Ensemle d étts terminux F ; AFD : δ : E Σ E u plus une trnsition pr couple étt-lettre ; AFN : δ : E (Σ {}) 2 E, ensemle des prties de E ; plusieurs trnsitions possiles pr couple ; possiilités de trnsitions vides ou -trnsitions. Mots cceptés (ou reconnus) formnt le lngge ccepté. Représenttion sous forme de grphe de trnsitions. Exemple d AFN : Le mot w = est ccepté (ou reconnu) cr il existe un chemin de l étt initil à un étt terminl tel que l concténtion des symoles pprissnt sur les rcs constitunt ce chemin fsse w :

9 Exemple d AFD : 0 2 Le mot w = est encore ccepté : l suite des lettres constitunt w est l suite des étiquettes d un chemin (nécessirement unique) de l étt initil à un étt terminl : Construction d un AFN à prtir d une expression régulière (construction de Thompson). pour : N() pour : N() pour r s : N(r s ) N(r) N(s) pour rs : N(rs) N(r) N(s) pour r* : N(r*) N(r)

10 On rélise d ord une nlyse syntxique de l expression régulière, puis construction de Thompson. Exemple : r = ( )* Étts numérotés suivnt l ordre de construction de l utomte. Utilistion d un AFN pour reconnître un mot : Construction des chemins correspondnts dns l AFN. Exemple : trnsitions sur l lettre -clôture mot reconnu

11 Déterministion d un AFN. Principe : construire toutes les trnsitions possiles, complétées pr leur -clôture. Exemple: Utilistion des AFN et des AFD : Lngge défini pr une expression régulière de longueur k et mot de longueur n. ) Construction de l AFN en temps O(k) et plce O(k) ; Construction des chemins dns l AFN pour tester le mot en temps O(k n) et plce O(k) ; 2) Construction de l AFD en temps O(2 k ) et plce O(2 k ) ; Test du mot en temps O(n) et plce O() ; ) Évlution presseuse : ne clculer de l AFD que l prtie effectivement utilisée pr le mot à tester. Approche ) efficce si peu de mots courts à triter ; Approche 2) efficce si de nomreux mots longs à triter ; Approche ) on compromis générl.

Documents pareils

STI2D Logique binaire SIN. L' Algèbre de BOOLE

STI2D Logique binaire SIN. L' Algèbre de BOOLE L' Algère de BOOLE L'lgère de Boole est l prtie des mthémtiques, de l logique et de l'électronique qui s'intéresse ux opértions et ux fonctions sur les vriles logiques. Le nom provient de George Boole.