Introduction. Didier Mailliet et Marie-Émilie Voge

Transcription

1 Analyse (lexicale, syntaxique) L3 MIAGE Introduction Didier Mailliet et Marie-Émilie Voge Université de Lille, France

2 1 Introduction Modalitées Motivations 2 Point de vue globale Contexte général Utilisation de la théorie des langages 3 Phases d analyses Analyse lexicale Analyse syntaxique Analyse sémantique

3 Modalitées Détails pratiques Équipe pédagogique Didier Mailliet Groupe 1 Marie-Émilie Voge Groupe 2 modalitées à partir du 15 septembre : une séance de cours-td une séance de travaux pratiques par semaine au premier semestre. Toutes les informations (emploi du temps, semainier, documents, etc.) sont disponibles à l url : Licence S5 MIAGE AS.

4 Motivations Exemple de technologies liées à la compilation D un point de vue général, on s intéresse dans ce cours au processus prenant en entrée une donnée textuelle source, qui la reconnaisse (i.e. construise une structure de donnée correspondante), vérifie sa correction et en produit une sortie : Manipulation de données au service de l utilisateur : Enjoliveur de texte et de programmes (pretty printers) Éditeur structurés Convertisseurs d images (GIF vers JPEG), de vidéo, de sons, etc. Du compréhensible par l homme vers l exploitable par la machine : compilateurs de langage vers le code machine exécuté par le matériel (cette opération se fait une fois pour toute), interpréteurs qui effectue les opérations d analyse et de traduction à chaque exécution.

5 Motivations Quelques objectifs du cours connaître les étapes principales des processus de compilation ; connaître les éléments de base de la théorie des langages ; savoir utiliser des outils d analyse lexicale et syntaxique ; réutiliser ces connaissances pour l écriture de parseurs. Nous allons dans la suite de cette introduction commencer à expliciter et mettre en contexte ces notions.

6 Contexte général 1 Introduction Modalitées Motivations 2 Point de vue globale Contexte général Utilisation de la théorie des langages 3 Phases d analyses Analyse lexicale Analyse syntaxique Analyse sémantique

7 Contexte général Structure globale du processus de compilation La structure classique d une application de compilation (au sens large) se compose de 2 parties : l analyse/reconnaissance et la synthèse/transformation. Texte source analyse/reconnaissance représentation sémantique synthèse/transformation Texte cible

8 Indiquons tous de même que cette partie peut être constituée : d une phase d optimisation permettant d éliminer les éléments inutiles ; d une phase concernant l allocation mémoire : déterminer la longueur d un mot machine ou d une adresse, (dépend de la machine hote) ; d une phase de génération de code. Par exemple, du code assembleur et/ou du code machine eux aussi optimisés (remplacer des éléments généraux par des éléments mieux adaptés au contexte e.g. des instructions générique assembleurs par des instructions existant sur l architecture sous-jacente) ; lors de compilation de langage (e.g. C), d une phase d édition de liens, etc. Contexte général Synthèse : quelques précisions La partie synthèse ne sera pas abordée dans ce cours.

9 Utilisation de la théorie des langages Premières étapes de reconnaissance Texte source analyse lexicale analyse syntaxique analyse sémantique représentation sémantique Ce cours présentera les notions nécessaires à la compréhension de ces étapes (l analyse sémantique sera abordée si le temps le permet).

10 Utilisation de la théorie des langages Analyse : théorie des langages au service de la compilation Cela permet pour les langages (i.e. textes) sources et cibles de la compilation de définir rigoureusement et de reconnaître algorithmiquement : leur vocabulaire ou lexique (i.e. les mots autorisés) par le biais d automates à nombre fini d états (s régulières) : analyse lexicale ; leur syntaxe (i.e. la structure des phrases autorisées) par le biais d automates à pile (grammaire algébrique) : analyse syntaxique ; leur sémantique (i.e. la signification des phrases autorisées) par le biais d automates à pile avec actions (grammaire attribuées) : analyse sémantique.

11 1 Introduction Modalitées Motivations 2 Point de vue globale Contexte général Utilisation de la théorie des langages 3 Phases d analyses Analyse lexicale Analyse syntaxique Analyse sémantique

12 Les phases d analyses Nous avons évoqué 3 phases d analyses : l analyse lexicale qui découpe et regroupe les caractères constituant l entrée en des jetons ; l analyse syntaxique qui organise de façon hiérachique les jetons en une structure arborescente qui reflète la structure syntaxique de l entrée ; l analyse sémantique qui vérifie si certaines règles imposées par le format de l entrée sont respectées.

13 Analyse lexicale Analyse lexicale Cette phase est la seule au contact direct avec le texte source ; lit le texte source considéré comme une suite de caractères (ASCII ou unicode) ; décompose ce flux d octets en une suite d unités lexicales appelées symboles, jetons ou token ; Par exemple, position := initiale + taux * 60; (IDENT position) (OP :=) (IDENT initiale) (OP +) (IDENT taux) (OP *) (CONST 60) (FININSTR ;) L analyse lexicale peut éventuellement numéroter les identificateur et supprimer tous les octets qui ne sont pas significatifs de la structure du texte (e.g. commentaires, espaces, saut de ligne, etc).

14 Analyse syntaxique Analyse syntaxique Cette phase dispose de la syntaxe des textes correctes ; reconnaît dans le flot des jetons (issu de l analyse lexicale) la structure d un texte correct ; transcrit cette dernière dans une structure de donnée apropriée (e.g. un arbre syntaxique). Dans notre exemple d affectation, la syntaxe des s pourraient être donnée à l aide de règles telles que : tout identificateur est une ; toute constante est une ; si e 1 et e 2 sont des s alors e 1 + e 2 et e 1 e 2 sont des s ;

15 Analyse syntaxique L arbre syntaxique de l exemple précédent Visuellement, l arbre associé à l exemple est : instruction affectation identificateur addition position identificateur multiplication initiale identificateur constante taux 60

16 Analyse sémantique Analyse sémantique Cette phase produit une représentation sémantique du texte source et effectue sur cette dernière : des vérifications (e.g. de type concordant pour les opérations, des déclarations pour supprimer les doublons, validité d une date, etc.) ; des actions (e.g. calculs élémentaires, optimisation, production de code). La représentation sémantique peut être selon les cas être : un arbre syntaxique décoré ; un arbre abstrait décoré ; du code intermédiaire.

17 Analyse sémantique Exemple d une arithmétique Après analyse lexicale, l six := ; devient (IDENT six) (OP :=) (CONST 1) (OP +) (CONST 2) (OP +) (CONST 3) (FININSTR ;) et après analyse syntaxique on a : instruction affectation identificateur addition six constante addition 1 constante constante 2 3

18 Analyse sémantique Arbre syntaxique décoré Cet arbre peut être décoré i.e. on peut tenter d associer la valeur des attributs à un nœud quand c est possible : instruction?? affectation? identificateur?? addition? six? constante?? addition? 1 1 constante? constante?

19 Analyse sémantique Manipulation de l arbre syntaxique décoré lors de l analyse sémantique Une action de l analyse sémantique peut être de calculer les valeurs calculables statiquement (hors exécution) : instruction?? affectation? identificateur? 1 addition? six? constante 1 2 addition constante 2 constante

20 Analyse sémantique Manipulation de l arbre syntaxique décoré lors de l analyse sémantique Une action de l analyse sémantique peut être de calculer les valeurs calculables statiquement (hors exécution) : instruction?? affectation? identificateur? 1 addition 5 six? constante 1 2 addition constante 2 constante

21 Analyse sémantique Manipulation de l arbre syntaxique décoré lors de l analyse sémantique Une action de l analyse sémantique peut être de calculer les valeurs calculables statiquement (hors exécution) : instruction?? affectation 6 identificateur? 1 addition 5 six? constante 1 2 addition constante 2 constante

22 Analyse sémantique Simplification Pour obtenir la simplification suivante : instruction?? affectation 6 identificateur? constante 6 six? 6 6