Un nouveau modèle stochastique: les Grammaires Toriques

Dimension: px

Commencer à balayer dès la page:

Download "Un nouveau modèle stochastique: les Grammaires Toriques"

Michel St-Gelais
il y a 7 ans
Total affichages :

1 Un nouveau modèle stochastique: les Grammaires Toriques T. Mainguy ENS 16 mai 2013 T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

2 Introduction Traitement des langues humaines Problème du traitement des langues humaines : Structure récursive : Marie aime les pommes, Jean pense que Marie aime les pommes, Pierre affirme que Jean pense que Marie aime les pommes, etc. Dépendances non locales (à première vue) : La personne qui habite la maison en face tond Insuffisance des modèles classiques de type Markoviens. sa pelouse. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

3 Introduction Structure syntaxique Les dépendances restent dans une certaine mesure locales (notion de tête syntaxique) : La tond la pelouse personne qui habite la maison en face Mais cette structure syntaxique reste difficile à estimer (problème de l inférence grammaticale). T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

4 Introduction Objet d étude Idée de base On cherche à construire une grammaire à partir d un texte, capable de générer d autres textes. Le travail se fait sur des textes, et non sur des phrases isolées. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

5 Méthode générale Raisonnement syntaxtique Le chat mange une souris. Le chat joue. A Le chat B mange une souris A Le chat B joue «joue» et «mange une souris» sont de même catégorie grammaticale (VP). T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

6 Méthode générale Deux fonction de base : split et merge Split β Merge α [ i ab, [ i ac [ i a] j, [ j b, [ j c [ i a] j, [ j b [ i ab Le chat { gris noir mange une souris. [ i abd, [ i acd [ i a] j d, [ j b, [ j c T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

7 Méthode générale Un peu de formalisme À partir d un dictionnaire D, on va définir l ensemble des expressions canoniques E c = et l ensemble des expressions { ( [ i a, i N, a D { ] j, j N \ {0} })}, E = S(E c ). T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

8 Méthode générale Un peu de formalisme Grammaires toriques L ensemble des grammaires toriques est l ensemble G des mesures positives sur E invariantes par permutation sur les expressions. L ensemble des phrases est le sous-ensemble de E P = S ({[ 0 a, a D}), l ensemble des textes T est ainsi le sous-ensemble de G des mesures dont le support est inclu dans P. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

9 Méthode générale Un peu de formalisme On utilise les notations suivantes : e f = δ s + δ s, e, f E, e f = s S(e) s S(e) δ s s S(f ) s S(f ) δ s, e, f E, ρ e = ρ δ s, ρ R, e E, s S(e) Ainsi les opérations split et merge se réécrivent : β : G = G ab [ i a ] i b α : G = G [ i a ] i b ab T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

10 Méthode générale Étiquettes Les étiquettes i contrôlent la généralisation : On crée d abord les étiquettes toutes différentes, ce qui ne donne aucune généralisation, puis on peut les identifier au moyen de réétiquetages : F = {f : N N, f (0) = 0} Identification d étiquettes, première idée Si a] i et a] j, ou [ i a et [ j a coexistent, on identifie i et j : G = f (G ), avec f injective sur N \ {i} et f (i) = f (j). T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

11 Méthode générale Un petit exemple... 1 Marie cueille une pomme. 1 Marie mange une pomme. 1 Paul mange un fruit. 1 Pierre cueille un fruit. 1 Pierre mange une pomme. 1 Marie mange un fruit. 1 Marie mange un fruit. 1 Paul cueille une pomme. 1 Pierre mange une pomme. 1 Pierre cueille une pomme. 5 [ 0 ] 2 ] 1 ] 3. 2 [ 1 cueille 3 [ 1 mange 1 [ 2 Paul 2 [ 2 Marie 2 [ 2 Pierre 2 [ 3 un fruit T. Mainguy (ENS) Grammaires Toriques 3 [ 3 une pomme 16 mai / 1

12 Méthode générale Processus de split et de production Un processus de split S t, t = 1,..., τ est une chaîne de Markov finie sur G dont les transitions sont des applications aléatoires de split, et de l application d un réétiquetage. La chaîne s arrête quand aucun split n est plus possible. Un processus de production P t, t = 1,..., σ est une chaîne de Markov finie sur G dont les transitions sont des applications aléatoires de merge. La chaîne s arrête quand aucun merge n est plus possible. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

13 Méthode générale Le processus split et merge Processus split et merge Étants donnés un processus d apprentissage S t et un processus de production P t, un processus de split et merge est une chaîne de Markov sur G, de transitions P ( G 2t+1 = G G 2t = G ) = P ( S τ = G S 0 = G ), t N, P ( G 2t = G G 2t 1 = G ) = P ( P σ = G P 0 = G, P σ T ), t N \ {0}. T βτ G ασ T β τ G α σ... Le processus converge vers une grammaire et un texte déterministes ( «language»). Les textes sont répartis en classes, tout texte d une même classe donnant le même language asymptotique. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

14 Grammaires de références Estimation de grammaire On est ici dans un problème d estimation sur des textes : on «entend» un texte T suivant une distribution P. Une méthode classique repose sur des noyaux markoviens (q θ, θ Θ), on peut ici prendre des estimateurs de la forme ˆq θ (P, ) = lim 1 k q k θ(p, t ), t=1 ˆP θ,t = ˆq θ (T, Q)Q Q θ pouvant être estimé ou fixé. ce qui pose la question des paramètres et des noyaux. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

15 Grammaires de références Syntagmes locaux et globaux [ 0 ] 2 ] 1 ] 3. structure de phrase «sytagme global» : E g [ 1 cueille [ 1 mange [ 2 Paul [ 2 Marie syntagmes «syntagmes locaux» : E l [ 2 Pierre [ 3 un fruit [ 3 une pomme Grammaire de référence On peut utiliser les syntagmes locaux (grammaire de référence R) pour analyser de nouvelles phrases, et en extraire leur structure globale. Paramètre R. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

16 Grammaires de références Règles de parsing et d innovation Parsing étroit avec référence R Parsing étendu avec référence R Règle d innovation G = G ab [ i a ] i b si [ i b est dans R. G = G ab [ i a ] i b si [ j b ou [ i a] j sont dans R, mais pas trop fréquents. α : G = G [ i a ] i b ab si [ i n est pas encore utilisé, a et b ne sont pas trop fréquents, et sont maximaux. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

17 Grammaires de références Apprentissage et analyse Processus de parsing avec référence R Le processus de parsing est un processus de split utilisant le parsing étroit de référence R. Ce processus permet d obtenir les structures d un nouveau texte (et d en produire des nouveaux) à partir d un vocabulaire de référence. Processus d apprentissage Le processus d apprentissage est un processus de split utilisant le parsing étendu avec comme référence la grammaire en cours d apprentissage, et, en cas d échec, la règle d innovation. Ce processus permet d apprendre la grammaire d un texte. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

18 Grammaires de références Propriétés théoriques Si une grammaire peut être apprise à partir d un texte, alors cette grammaire peut produire ce texte. Si une grammaire peut être apprise à partir d un texte à partir d une grammaire de référence, alors cette grammaire peut aussi produire ce texte. Si une grammaire peut produire un texte, alors cette grammaire peut être apprise du texte, avec elle-même pour référence. En particulier, si l on dispose d une grammaire de référence contenant les syntagmes de la grammaire considérée, elle peut être apprise du texte avec cette grammaire de référence. T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

19 Grammaires de références Applications Processus de communication Un groupe de «locuteurs» possédant une même grammaire de référence peuvent transmettre des textes au moyen du processus de parsing. La distribution des textes et des grammaires internes converge vers une distribution limite, ne dépendant que de la classe du texte initial. R R T 0 Locuteur 1 T 1 Locuteur 2 T 2 G 1 G 2 Que se passe-t-il si la grammaire de référence n est pas partagée? si elle est apprise sur le tas? T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

20 Grammaires de références T. Mainguy (ENS) Grammaires Toriques 16 mai / 1

Documents pareils

2.4 Représentation graphique, tableau de Karnaugh

2 Fonctions binaires 45 2.4 Représentation graphique, tableau de Karnaugh On peut définir complètement une fonction binaire en dressant son tableau de Karnaugh, table de vérité à 2 n cases pour n variables