Traduction automatique

Transcription

1 Traduction automatique M. Constant Université Paris-Est Marne-la-Vallée 5 octobre 2009

2 Outline Introduction Problèmes Différentes approches Evaluation Traduction automatique statistique Modélisation Exemple de modèle de traduction basé sur les séquences Alignement mot à mot Modèle par heuristiques

3 Références du cours Daniel Jurafsky and James H. Martin, 2007, An introduction to natural language processing, computational linguistics and speech recognition Christopher D. Manning and Hinrich Schütze, 1999, Foundations of Statistical Natural Language Processing, Massachussetts Insititute of Technology Ruslan Mitkov, 2003, The Oxford Handbook of Computational Linguistics, Oxford University Press

4 Motivation Objectif Traduire un texte d une langue source dans une langue cible automatiquement. Exemple Anglais : The poor don t have any money. Français : Les pauvres sont démunis.

5 Plan Introduction Problèmes Différentes approches Evaluation Traduction automatique statistique Modélisation Exemple de modèle de traduction basé sur les séquences Alignement mot à mot Modèle par heuristiques

6 Problèmes Ambiguïté de la langue source Ambiguïté grammaticale Ambiguïté syntaxique Ambiguïté sémantique Ambiguïté de référence des pronoms...

7 Ambiguïté Mots Ambiguïté grammaticale Exemple 1 : light est soit un nom (lumière), soit un verbe (allumer), soit un adjectif (clair ou léger) Exemple 2 : light est soit un nom (visage), soit un verbe (affronter) Ambiguïté sémantique Exemple 1 : voler fly ou steal Exemple 2 : bank banque ou berge

8 Ambiguïtés Syntaxe Portée des modifieurs avec coordination old men and women peut se traduire par : vieux et vieilles vieux et femmes Rattachement des constituants syntaxiques a. La voiture est conduite par un enseignant à grande vitesse. b. La voiture est conduite par un enseignant aux cheveux roux. => Une solution : traduire en gardant l ambiguïté

9 Ambiguïtés Distinctions entre langues sources et cible Distinctions sémantiques river fleuve ou rivière wall mur ou paroi Structures syntaxiques NP know (NP+that S) NP sait (que S+*NP) ; NP connaître (NP+*que P)

10 Autres Structures The student is likely to work = Il est probable que l etudiant travaillera Anaphores The soldiers killed the women. They were buried the next day. = Les soldats ont tué les femmes. Elles (*Ils) furent enterrées le jour suivant.

11 Plan Introduction Problèmes Différentes approches Evaluation Traduction automatique statistique Modélisation Exemple de modèle de traduction basé sur les séquences Alignement mot à mot Modèle par heuristiques

12 Trois approches Approche Interlangue 1. Représentation syntactico-sémantique interlangue du texte source 2. Génération du texte cible en partant de la représentation Approche par transfert 1. Analyse lexicale et syntaxique du texte source 2. Transfert des structures et des traductions lexicales en langue cible

13 Trois approches (suite) Approche directe 1. Traduction mot à mot du texte source vers le texte cible 2. Modification de l ordre des mots traduits dans le texte cible

14 Approche par transfert Types de transferts Transfert lexical Exemple : car.noun voiture.noun Besoins : dictionnaires bilingues Transfert de structures Exemple : the Adj Noun le Noun Adj+d Besoins : analyseur syntaxique et formalisme de transfert (ex. transducteurs d arbres)

15 Approche par transfert Types de transferts (suite) Transfert lexico-syntaxique Exemple : NP consist of NP NP consister en NP Besoins : idem que pour les transferts structures + lexiques syntaxiques

16 Approche directe Source Analyse morphologique Transfert lexical Ordre des mots Génération morphologique Cible Exemple Entrée : Mary didn t slap the green witch Etape 1 : Morphologie Mary DO-PAST not slap the green witch Etape 2 : Transfert lexical Maria PAST no dar una bofetada a la verde bruja Etape 3 : Ordre des mots Maria no PAST dar una bofetada a la bruja verde Etape 4 : Morphologie Maria no dió una bofetada a la bruja verde

17 Les systèmes industriels Caractéristiques Systèmes de traduction par transfert Utilisation historique d approches symboliques Basées sur des règles et des ressources lexicales bilingues fines Facilement adaptables à différentes paires de langues Intégration récente de modèles probabilistes Puissance croissante des ordinateurs Disponibilité de corpus bilingues

18 Les systèmes industriels Système Systran Phase d analyse Analyse morphologique et étiquetage grammatical Analyse en chunks Analyse syntaxique en dépendance Phase de transfert Traduction des expressions idiomatiques Levée d ambiguité sémantique Affection de prépositions en fonction des verbes

19 Les systèmes industriels Système Systran (suite) Phase de synthèse Application d un dictionnaire bilingue riche pour la traduction lexicale Traitement de l ordre des mots Génération morphologique

20 Evaluation Comment mesurer la qualité d un traducteur automatique? Evaluation par des humains + Très bonne qualité - Coût en temps très important Evaluation automatique + Rapide pour comparer les systèmes - Qualité pas toujours à la hauteur

21 Evaluation Evaluation humaine Fluency : clarity, naturalness, style Donner des scores : clair? naturel? bon style? Mesurer le temps de lecture par un humain des traductions Deviner des mots supprimés dans la traduction du système (tâche cloze) Fidélité de la traduction Donner des scores : fidèle au texte source? à la traduction de référence? Calculer le coût de post-édition en une bonne traduction

22 Evaluation Evaluation automatique : BLEU Corpus de test Une ou plusieurs traductions de référence faites par des humains pour chaque texte Construction coûteuse... mais réutilisable Métrique BLEU (Papienni et al., 2002) Moyenne du nombre de n-grammes qui recouvrent le texte traduit par les humains Méthode assez intuitive

23 Evaluation BLEU : exemple (Papienni et al., 2002) Deux traductions candidates pour un texte chinois avec trois traductions de référence. Cand. 1 : Cand. 2 : Ref. 1 : Ref. 2 : Ref. 3 : It is a guide to action which ensures that the military always obeys the commands of the party. It is to insure the troups hearing the activity guidebook that party direct. It is a guide to action that ensures that the military will forever heed Party commands. It is the guiding principle which guarantees the military forces always being under the command of the Party. It is the practical for the army always to heed the directions of the party.

24 Evaluation BLEU : exemple (Papienni et al., 2002) Deux traductions candidates pour un texte chinois avec trois traductions de référence. Cand. 1 : It is a guide to action which ensures that the military Cand. 2 : always obeys the commands of the party. It is to insure the troups hearing the activity guidebook that party direct. Ref. 1 : It is a guide to action that ensures that the military Ref. 2 : Ref. 3 : will forever heed Party commands. It is the guiding principle which guarantees the military forces always being under the command of the party. It is the practical for the army always to heed the directions of the party.

25 Evaluation BLEU : remarques Limitations Utilisation d informations locales dans les textes Peu pertinent pour comparer des systèmes avec architectures très différentes Quand utiliser des métriques automatiques? Evaluer des changements incrémentaux d un même système Comparer des systèmes avec des architectures similaires

26 Traduction automatique statistique Modélisation Objectif Etant donné une phrase F dans une langue source (ex. français, espagnol), le but est de trouver une phrase Ê en langue cible (ex. anglais) qui maximise la probabilité conditionnelle d avoir une phrase E en langue cible. Formule Ê = argmax E P(E F) P(F E).P(E) = argmax E P(F) = argmax E P(F E).P(E) (Formule de Bayes)

27 Traduction automatique statistique Composants Un modèle de traduction automatique statistique nécessite trois composants Un modèle de langage qui calcule P(E) Un modèle de traduction qui calcule P(F E) Un décodeur qui prend une phrase F et produit la phrase la plus probable E.

28 Traduction automatique statistique Différents modèles pour P(F E) Modèle basé sur les mots Calculer des probabilités de traductions des mots Calculer des probabilités de déplacement des mots en langue cible Modèle basé sur les séquences de mots idem mais pour les séquences de mots Modèle fondé sur la syntaxe Mise en parallèle de structures d arbres syntaxiques Modèle mathématique : grammaire transductive

29 Modèle basé sur les séquences de mots Principe Séquence de mots = unité fondamentale de traduction On utilise une table de traduction de séquences. Par exemple, trad["green witch"]=[("bruja verde",0.86),...] Génération de la traduction Pour chaque phrase E = e 1 e 2...e n, 1. on regroupe les mots en séquences (E = ē 1 ē 2...ē I ) 2. on traduit chaque séquence ē i en une séquence f j 3. on change, si besoin, l ordre des mots dans F

30 Modèle basé sur les séquences de mots Exemples Anglais-Espagnol Mary did not slap the green witch Maria no dió una bofetada a la bruja verde Anglais-Allemand The green witch is at home this week Diese Woche ist die grüne Hexe zu Hause

31 Modèle basé sur les séquences Composants du modèle de traduction Probabilité de traduction φ( f ē) Probabilité de générer f à partir de ē Exemple : φ(green witch bruja verde)=0.86 Probabilité de distorsion d(n) Probabilité que les traductions de deux séquences consécutives de mots soient distantes de n dans la phrase générée Distance calculée en nombre de mots

32 Modèle basé sur les séquences Formule Définition a i est la position du premier mot de la traduction de ē i b i est la position du dernier mot de la traduction de ē i Probabilité P(F E) P(F E) = I i=1 φ( fi,ē i ).d(a i b i 1 )

33 Modèle basé sur les séquences Exemple de calcul Exemple Anglais The green witch is at home this week Allemand (direct) die grüne Hexe ist zu Hause Diese Woche Allemand Diese Woche ist die grüne Hexe zu Hause Calcul de la probabilité P(F E) P(F E)=φ(die grüne Hexe The green witch) * d(4) * φ(ist is) * d(-1) * φ(zu Hause at home) * d(4) * φ(diese Woche this week) * d(-7)

34 Modèle basé sur les séquences Apprentissage Idéalement Utilisation d un corpus bilingue aligné par séquences de mots L estimation des probabilités est alors directe : φ( f,ē) = count( f,ē) ḡ count(ḡ,ē) Dans la réalité Un tel corpus n existe pas! Extraction automatique des alignements par séquences à partir de l alignement automatique par mots

35 Modèle basé sur les séquences Décodage En pratique Ê=argmax E Languecible P(F E).P(E).ω taille(e) Solutions Parcourir l ensemble des solutions est extrêmement couteux Utilisation d heuristiques (utilisation d une pile de décodage) Parcours d un automate acyclique donnant toutes les possibilités de traductions

36 Alignement mot à mot Principe Corpus parallèle Un ensemble de couples de textes tel que, pour chaque couple, un des textes est la traduction de l autre. Exemples : Europarl, Hansard Alignement au mot Mise en correspondance des mots en langue source avec les mots en langue cible dans un ensemble de phrases parallèles

37 Alignement mot à mot Exemple anglais français And the program has been implemented Le programme a été mis en application

38 Alignement mot à mot Obtention d un corpus paralèle aligné 1. Découper le corpus en phrases 2. Aligner les textes par phrases (alignements N-M possibles) 3. Tokenisation des phrases 4. Pour les couples de phrases alignées, alignement au mot (puis aux séquences, si nécessaire).

39 Alignement mot à mot Contraintes pour l alignement automatique Alignement N-1 Chaque mot dans la phrase cible ne doit être aligné qu avec un seul mot dans la phrase source. Mots vides Un mot de la phrase cible peut ne pas avoir de correspondant dans la phrase source. On suppose l existence d un mot vide en langue source aligné avec de tels mots.

40 Alignement mot à mot Exemple français anglais Le reste appartenait aux autochtones The balance was the territory of the aboriginal people

41 Alignement mot à mot Exemple anglais espagnol

42 Alignement mot à mot Alignement=une suite Un alignement A est une suite A chaque position j dans la phrase cible, on associe une position A j dans la phrase source. Exemples français anglais : A=1,3,3,3,3,4,4,5,5 anglais espagnol : A=1,3,4,4,4,0,5,7,6

43 Modèle par heuristiques Principe Fonction de similarité Utilisation d une fonction de similarité entre les mots source et cible Basée sur la cooccurrence de ces deux mots dans des phrases alignées Evaluation Résultats moins bons que des modèles probabilistes Temps d apprentissage tout à fait raisonnables!

44 Modèle par heuristiques Apprentissage Notations e et f des mots respectivement en langue source et cible C(e,f) : le nombre de fois que e et f apparaissent ensemble dans une paire de phrases alignées C(e) [resp. C(f)] le nombre d occurences de e [resp. f] dans le corpus en langue source (resp. cible) Coefficient de Dice dice(e,f) = 2.C(e,f) C(e)+C(f)

45 Modèle par heuristiques Décodage Matrice de similarité Construction d une matrice de similarité M pour chaque paire de phrases à aligner A chaque paire de mots (e i,f j ) des deux phrases alignées, M(i,j) = dice(e i,e j ) Différentes heuristiques Recherche du maximum Competitive linking algorithm

46 Modèle par heuristiques Décodage (suite) Recherche du maximum Pour chaque position j dans la phrase cible, a j correspondra à la position i dans la phrase source, qui maximise M(i,j). Competitive linking algorithm 1. Aligner la paire de mots (i,j) qui maximise M(i,j) 2. Supprimer la ligne i et la colonne j de la matrice M 3. S il reste des mots à aligner, aller à 0.