1 - si w est un mot de Dyck, alors (w) est un mot de Dyck 2 - si w et w' sont des mots de Dyck, ww' est un mot de Dyck

Transcription

1 LANGAGES ET COMMUNICATION 4- Grammaires 4.1- Introduction Les schémas de définition récursive donnent lieu à une représentation particulièrement simple et commode sous la forme de grammaires. Prenons l'exemple du langage de Dyck, qui est le langage sur {(, )} des mots consistant en des structures parenthétiques bien équilibrées (par exemple : '(()(()))' ; '(())(()())' sont des mots de Dyck sur {(, )} mais pas: *'((())', *'(()()))(' ). On peut donner une définition inductive des mots de ce langage de la manière suivante: Cas de base : 0 - ε est un mot de Dyck ; Pas d'induction : 1 - si w est un mot de Dyck, alors (w) est un mot de Dyck 2 - si w et w' sont des mots de Dyck, ww' est un mot de Dyck On note alors comment on prouve facilement qu'un mot sur {(, )} est un mot de Dyck: par exemple : (()(()))' : 1 - ε est un mot de Dyck (clause n 0), 2 - donc (ε) c'est-à-dire () est un mot de Dyck (clause n 1), 3 - donc (()) est un mot de Dyck (clause n 1) 4 - donc ()(()) est un mot de Dyck (clause n 2) 5 - donc (()(())) est un mot de Dyck (clause n 1) On pourrait aussi définir la notion "être un mot de Dyck" par : est_un_mot_de_dyck : est_un_mot_de_dyck : est_un_mot_de_dyck : ε (est_un_mot_de_dyck) est_un_mot_de_dyck^est_un_mot_de_dyck En prenant une lettre majuscule S pour la notion "est_un_mot_de_dyck" est en remplaçant le ":" par une flèche (appelée flèche de réécriture) "---->", on obtient: 1 - S ----> ε 2 - S ----> ( S ) 3 - S ----> S S On aura alors, pour prouver que '(()(()))' est un mot de Dyck: 1 - S "axiome" 2 - (S) par (S S) par ((S) S) par (( ε ) S) = (() S) par 1 1

2 6 - (()( S )) par (()((S))) par (()(( ε ))) = (()(())) par 1 Autrement dit, on partira d'un symbole privilégié (ici "S") et on appliquera un certain nombre de fois les schémas de production φ ----> ψ jusqu'à obtenir le mot cherché. Ces "schémas de production" seront appelés "règles de réécriture" ou plus simplement : règles. On s'intéressera à l'ensemble des mots qu'on peut obtenir comme expressions terminales à partir d'un symbole S ("axiome") et en appliquant à chaque étape une règle. Nous allons obtenir de cette manière un moyen très général et efficace de description d'un langage. On pourra penser comme illustration à une petite "grammaire " du français. Supposons que nous voulions exprimer que: - toute phrase ("S") est une suite formée d'un groupe nominal (GN) et d'un groupe verbal (GV), - certains GN sont constitués d'un article (Art) suivi d'un nom (N); - d'autres GN d'un article (Art) suivi d'un nom (N) suivi d'un adjectif (Adj) - certains GV consistent en un simple verbe (intransitif) V i - d'autres en un verbe (transitif) V t suivi d'un GN Supposons d'autre part que nous ayons un "lexique", c'est-à-dire des mots du dictionnaire affectés de leur catégorie syntaxique : - fille, garçon sont des noms, - blonde est un adjectif, - la, le sont des articles, - embrasse est un verbe transitif, - dort est un verbe intransitif, alors nous pouvons exprimer toutes ces connaissances par une grammaire: S ----> GN GV GN ----> Art N GN ----> Art N Adj GV ----> V i GV ----> V t GN N ----> fille, garçon Adj ----> blonde Art ----> le, la V t ----> embrasse V i ----> dort et des phrases comme : 2

3 (1) le garçon embrasse la fille blonde ou (2) la fille dort sont obtenues comme expressions terminales de cette grammaire Définitions fondamentales Définition 1 : Grammaire Nous appelons grammaire la donnée de <V N, V T, S, R> où : V N est un ensemble fini non vide de symboles appelés symboles non-terminaux, V T est un ensemble fini de symboles appelés symboles terminaux (V N V T = Σ), S V N, symbole appelé axiome, R est un ensemble fini 1 de couples (φ, ψ) tels que : φ (V N V T )* {ε}, ψ (V N V T )*, en général notés : φ ----> ψ et appelés règles de réécriture. Définition 2 : Dérivation immédiate Etant donnée une grammaire G de vocabulaire non-terminal V N, de vocabulaire terminal V T et d'ensemble de règles R, et deux mots w et w' tels que w (V N V T )* {ε}et w' (V N V T )*, on dit que w permet de dériver immédiatement w' dans G, et on écrit : si et seulement si: w -- G w' il existe des mots α, β, u 1 et u 2 (u 1 (V N V T )* {ε}, α, β, u 2 (V N V T )*) tels que: w = α u 1 β w' = α u 2 β (u > u 2 ) R Définition 3 : Dérivation Dans les mêmes conditions que précédemment, on dira qu'un mot w permet de dériver un mot w' et on écrira : si et seulement si: w -- G * w' il existe une suite de mots w 0,, w 1,..., w k telle que: 1 certaines extensions de la notion de grammaire acceptent un ensemble infini de règles à condition qu'il soit récursif (par exemple: W- grammaires, Grammaires Syntagmatiques Généralisées etc.) 3

4 w 0 = w w k = w' pour tout i = 0... k 1, w i -- G w i+1 Remarque: la relation " --*" sur l'ensemble des mots est évidemment une relation transitive (contrairement à la relation " --" ), c'est même "la plus petite relation transitive contenant " --", ce qu'on appelle classiquement : la fermeture transitive de la relation " - -" (en général notée par un astérisque, d'où la notation utilisée ici). Définition 4 : on appelle dérivation dans une grammaire G toute suite d'expressions w 0,, w 1,..., w k telle que: pour tout i = 0... k 1, w i -- G w i+1. Définition 5 : Langage engendré par une grammaire Etant donnée une grammaire G sur V N V T, on appelle langage engendré par G et on note L(G) le langage : 2.3- Types de règles, types de langages Grammaires de type 1 L(G) = {σ V T ; S -- G * σ} Définition 6 : une grammaire G est dite de type 1 si et seulement si pour toute règle φ--->ψ qui lui appartient, on a : φ ψ (où w désigne la longueur du mot w). Exemple: la grammaire suivante, que nous appellerons désormais G abc est de type 1 car toutes ses règles sont "non-raccourcissantes", c'est-à-dire : pour chacune, la partie gauche est de longueur inférieure ou égale à la partie droite. V N = {S, B, C} ; V T = {a, b, c} S ----> asbc S ----> abc CB ----> BC bb ----> bb bc ----> bc cc ----> cc Exercice : a) faire des dérivations dans cette grammaire, b) les mots suivants appartiennent-ils au langage engendré par cette grammaire : baabab ; aaabbbccc ; abc ; abbccc ; aabcc? c) comment définir autrement le langage engendré par cette grammaire? Notons-le L abc Grammaires de type 2 Définition 7 : une grammaire est dite de type 2, ou : hors-contexte, ou : indépendante du contexte (anglais: context-free) si et seulement si elle est de type 1 avec de plus: la 4

5 partie gauche de toute règle est réduite à un seul symbole non-terminal. Autrement dit, les règles sont de la forme: X ----> ψ avec : X V N et ψ (V N V T )* Exemple : la grammaire suivante, que nous désignerons par G ab est de type 2: V N = {S } ; V T = {a, b} S ----> asb S ----> ab Nous dirons qu'un langage est hors-contexte ssi il est engendré par une grammaire horscontexte Grammaires de type 3 Définition 8 : une grammaire G est dite de type 3 ou linéaire ssi elle est linéaire à gauche ou à droite. Une grammaire G est dite linéaire à gauche (resp. à droite) ssi elle est de type 2 et de plus toutes ses règles sont de la forme : X ----> xx ou X ----> x avec : X V N et x V T (resp : X ----> Xx ou X ----> x avec : X V N et x V T ) Exemple : G 0 défini par : V N = {S, A, B} et V T = {a, b} S ----> aa A ----> aa A ----> bb B ----> bb B ----> b Un langage est dit linéaire ssi il est engendré par une grammaire linéaire : Types étendus et type 0 Les grammaires de types 1, 2, 3 ne permettent pas d'engendrer le mot vide. Les langages qu'elles engendrent ne contiennent donc pas le mot vide (puisqu'engendrer celui-ci supposerait qu'on ait au moins une règle raccourcissante, celle qui réécrit quelquechose en ε). Nous définissons donc les grammaires de types étendus 1, 2, 3 comme étant les grammaires de types respectifs 1, 2, 3 auxquelles on rajoute la possibilité de règles ayant ε en partie droite. Le type 0 sera accordé aux grammaires "en général", c'est-à-dire sans restriction particulière sur la forme des règles. 5

6 2.3.5 Remarques sur la classification des langages On obtient ainsi une hiérarchie des langages qui est une hiérarchie de complexité: en effet, on verra qu'il est plus facile de déterminer si un mot w appartient à un langage de type 3 qu'à un langage de type 2 et qu'il appartient à un langage de type 2 qu'à un langage de type 1. Comme on peut s'en douter, la notion de contexte joue un rôle important. Définition 9 : une règle est dite contextuelle ssi elle est de la forme : αxβ ----> αψβ (*) où α, ψ et β (V N V T )* et X V N Remarque : une règle hors-contexte (c'est-à-dire de type 2) est une règle contextuelle où α = β = ε. Dans le cas d'une règle de la forme (*), on dit aussi que X se réécrit ψ dans le contexte α_β. Ce qu'on peut aussi écrire : X ----> ψ/ [α_ β] où α, ψ et β (V N V T )* et X V N Théorème : pour toute grammaire de type 1, il existe une grammaire contextuelle qui engendre le même langage. Exemple : on vérifiera que la grammaire suivante, qui est contextuelle, engendre le langage L abc : S ----> asbc S ----> abc CB ----> CD CD ----> BD BD ----> BC bb ----> bb bc ----> bc cc ----> cc Remarque: on a bien dans cette grammaire : B se réécrit D dans le contexte gauche C_ (droite vide) et seulement dans ce contexte. Autrement, B se réécrit b dans le contexte gauche b_. Exercice : écrire une grammaire contextuelle d'un fragment du français qui tienne compte des faits suivants (un astérisque désigne une phrase non admise, c'est-à-dire agrammaticale) : le garçon embrasse la fille les garçons embrassent les filles *la garçon embrasse la fille *le garçon embrasse le fille *le garçon embrassent la fille *les garçons embrasse les filles 6

7 2.4 - Dérivations et arbres de dérivation Ambiguïté syntaxique Il est facile de constater qu'il existe plusieurs dérivations pour un même mot (ou une même phrase) dans une grammaire donnée. Souvent, ces dérivations ne diffèrent entre elles que par une caractéristique inessentielle comme un ordre différent dans l'application de deux règles. D'autres fois cependant, elles diffèrent entre elles beaucoup plus fondamentalement. Considérons la grammaire suivante, faite pour rendre compte d'un fragment de l'anglais : V N = {S, GN, GV, N, V, Adj, Pronom} ; V T = {they, are, are flying, flying, planes} S ----> GN GV GN ----> Pronom GN ----> N GN ----> Adj N GV ----> V GN Pronom ----> they V ----> are V ----> are flying Adj ----> flying N ----> planes Il y a deux manières très différentes de dériver la phrase: they are flying planes. L'une correspond au sens qu'aurait la phrase française : ils pilotent des avions (forme progressive) et l'autre à celui qu'aurait : ce sont des avions en vol. On dit dans ce cas que la phrase est syntaxiquement ambiguë relativement à la grammaire donnée. Pour définir formellement cette notion d'ambiguïté, il faut passer par la notion d'arbre syntaxique Arbre syntaxique Définitions préliminaires : un arbre est une structure définie de la manière suivante : soit Σ un ensemble appelé ensemble des noeuds ou sommets, soit R une relation non-réflexive, anti-symétrique stricte et non-transitive, appelée relation de descendance immédiate, <Σ, R> est un arbre si et seulement si : il existe un et un seul élément ρ de Σ tel que: x xrρ, on l'appelle racine de l'arbre, il existe des éléments f 1,.., f n de Σ tels que : i y f i Ry, on les appelle feuilles et leur suite constitue la frontière de l'arbre, pour tout noeud ν de Σ différent de la racine, il existe un noeud µ de Σ tel que µrν, pour tous noeuds µ et ν de Σ, si µrν alors µ', si µ' µ : µ'rν On appelle relation de descendance la fermeture transitive R* de la relation de descendance immédiate R. Dans un arbre A, on dit que le noeud ν descend du noeud µ ou que ν est un descendant de µ ssi µr*ν. 7

8 On appelle sous-arbre d'un arbre donné A tout arbre obtenu en prenant un noeud quelconque dans A et l'ensemble de ses descendants. Définition 10 : étant donnée une expression w engendrée par une grammaire de type 2 G un arbre syntaxique de w sera un arbre défini de la manière suivante : sa racine est étiquetée S ses feuilles sont étiquetées par les lettres qui composent le mot w (ou: les mots qui composent la phrase w) (ou par ε), tout noeud intermédiaire est étiqueté par un symbole non-terminal, pour tout noeud non terminal ν étiqueté par un symbole non terminal N, si les descendants de ν sont des noeuds ν 1,..., ν k étiquetés A 1, A 2,..., A k, alors la grammaire G contient la règle N ----> A 1, A 2,..., A k. Dans un arbre de dérivation D associé à un mot w, on dit qu'un noeud N domine un sous-mot u si et seulement si u est la frontière d'un sous-arbre de D de racine N. Evidemment, la racine de D domine w. Théorème : étant donnée une grammaire hors-contexte G, un mot w est engendré par G si et seulement s'il existe un arbre syntaxique associé à w. Définition 11 : soit D un arbre de dérivation pour w relativement à une grammaire G, on dit qu'un sous-mot u est un constituant de type X dans w ssi il existe un noeud étiqueté X dominant u. Exemple : dans la grammaire d'un fragment de français vue dans l'introduction, une fille est un constituant de type GN, embrasse une fille est un constituant de type GV, embrasse est un constituant de type V, embrasse une n'est pas un constituant. La structure en constituants d'un mot (d'une phrase) peut être représentée par une structure de parenthèses étiquetée, ex : [[[un] Art [garçon] N ] GN [[embrasse] V [[une] Art [fille] N ] GN ] GV ] S Définition 12 : un mot w est dit ambigu pour une grammaire G ssi il admet plusieurs arbres de dérivations. Son degré d'ambiguïté est son nombre d'arbres de dérivations. Une grammaire G est dite ambiguë ssi elle engendre des mots ambigus. Un langage est dit intrinsèquement ambigu ssi il n'admet que des grammaires ambiguës. 8

9 Exercices 1- Soit la grammaire : G ab définie par : V N = {S } ; V T = {a, b} S ----> asb S ----> ab Quel est le langage engendré par G ab? 2- Soit la grammaire G 0 définie par : V N = {S, A, B} et V T = {a, b} S ----> aa A ----> aa A ----> bb B ----> bb B ----> b Quel est le langage engendré par G 0? 3- Un programme de télévision se présente sous la forme d'un texte ainsi composé: jour de la semaine TF nouvelles 6.40 TF1 infos (etc.) France Télé-matin 8.30 xxx (etc.) FR Euronews 7.00 xxx (etc.) Canal blabla (etc.) arte la cinquième 6.00 les amphis de la cinquième, (etc) arte M Boulevard des clips etc. Donner une grammaire des programmes de télévision. Indiquer les terminaux, les nonterminaux, les règles. De quel type est la grammaire obtenue? Quelle méthode suggérez-vous pour connaître l'émission qui passe aujourd'hui à 16h30 sur FR3? 4- Le langage défini comme l'ensemble de tous les mots sur {a, b} qui contiennent exactement cinq 'a' est-il linéaire? Si oui, donner une grammaire. 5- Soit V T = {a, b, c,..., z}, V N = {S, T}. Quelle est la particularité des mots engendrés par la grammaire définie par les règles suivantes : S as bs cs... zs at T at bt ct... zt ε Nous appelons degré d'ambiguïté d'un mot le nombre d'arbres syntaxiques différents qu'il admet. Quel est le degré d'ambiguïté des mots suivants : totalitaire marchandage accident 9

10 Que mesure donc, dans le cas présent, le degré d'ambiguïté? 6- Démontrer que la grammaire suivante est ambiguë: V N = {E}, axiome : E, V T = {a, b, +, } E ----> E + E E ----> E E E ----> a E ----> b On décide de la désambiguiser en rendant prioritaire sur +, de sorte que seuls les arbres syntaxiques réunissant d'abord les produits en constituants puis les sommes soient acceptés. Quelle nouvelle grammaire faut-il écrire pour ne garder que les arbres désirables? Introduire les parenthèses. 7- Soit G la grammaire : V N = {S}, V T = {a} S ----> as S ----> aas S ----> a S ----> aa Quel est le degré d'ambiguïté du mot : aaaaa? 8- Soit la grammaire G donnée par : V N = {S, A, B}; V T = {a, b} S ----> ab A ----> a S ----> ba B ----> bs A ----> as B ----> abb A ----> baa B ----> b Quel langage engendre-t-elle? Le démontrer. 9- On peut représenter un arbre par une liste dont les éléments sont d'autres listes ou bien des "atomes". Les atomes, en ce cas, sont des symboles qui étiquettent les feuilles. On supposera que seules les feuilles sont étiquetées, pas les noeuds intermédiaires (comme la racine par exemple). Ainsi l'arbre suivant : a b a c a b b sera-t-il représenté par la liste : (((a)(b, a)(c))((a)(b, b))) Dessiner les arbres associés aux listes : (((((x))))) ; (a (b (c (d (e))))) ; ((a, (a, b)), (b, ((c, a)))) Donner un moyen simple de passage d'un arbre à une liste (sorte d'algorithme, qu'on n'explicitera pas complètement) et d'une liste à un arbre. Donner une grammaire des listes, où l'ensemble des terminaux est : V T = {(, ), a, b, c}. 10