Approche hybride pour la Traduction Automatique à l aide d un moteur de Recherche d Information Multilingue

Transcription

1 Approche hybride pour la à l aide d un moteur de Recherche d Information Multilingue Christophe SERVAN 9 novembre 2010 Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

2 Christophe Servan Présentation Précédemment en Post-Doc au CEA 2 -LIST LVIC (LIC2M) Projet ANR WebCrossLing : générateur de Chercheurs associés : Nasredine Semmar & Gaël de Chalendar mots-clés :, Recherche d Information Multilingue, apprentissage automatique, traitement automatique de la langue naturelle Thèse en Sciences spécialité Informatique et ATER au LIA «Apprentissage Automatique et Compréhension dans le cadre d un Dialogue Téléphonique à Initiative Mixte» Directeur : Renato De Mori & Frédéric Béchet mots-clés : apprentissage automatique, compréhension, classification automatique, traitement automatique de la langue naturelle, traitement automatique de la parole Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

3 Cadre et objectifs du projet s Cadre du projet ANR WebCrossling Coût des corpus parallèles d apprentissages élevés. Internet multilingue. Approche utilisant un moteur de recherche multilingue. Objectifs Création de ressources multilingues (dictionnaires) Générateur de traduction n utilisant pas des corpus parallèles Proposer une solution d aide à la traduction Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

4 s Cadre et objectifs du projet s Pourquoi enrichir des dictionnaires bilingues automatiquement? = coût de construction élevés = généralement mots composés & expressions idiomatiques ignorés Pourquoi se passer de corpus parallèles? = Construction de corpus couteux = Problèmes d adaptation à des domaines différents du corpus d apprentissage Comment? = Extraction de corpus monolingues d Internet = Utilisation d un moteur de recherche multilingue = Utilisation d une analyse syntaxique de la source Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

5 Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives : Construction de Ressources Comment enrichir des dictionnaires bilingues automatiquement? Solution envisagée : Utilisation de système d alignement de mots simples = Actuellement GIZA++ Prendre en compte les mots composés Proposition d ajout d expressions idiomatiques Contributions publiées : ASLIB Translation and Computers 2010 Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

6 Alignements de mots simples Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives Cognats = mots ayant des lettres communes et ordonnées Entitiés Nommées = noms propres, dates, etc. Correspondance Part-of-Speech (PoS) syntaxique = verbes, adjectifs, etc. Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

7 Exemple d alignements de mots simples Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives Social security funds in Greece are calling for independence with regard to the investment of capital Les caisses de sécurité sociale en Grèce revendiquent l indépendance en matière d investissement Exemples de type d alignements trouvés : Lemmes Langue Source fund social Greece call for Lemmes Langue Cible caisse social Grèce revendiquer Dictionnaire Cognat Entité Nommée Part-of-Speech Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

8 Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives Alignements de mots composés & d expressions idiomatiques Alignements de mots composés Règles de reformulations = Translation(A.B)=Translation(B).Translation(A) = Translation(social.security)= Translation(security).Translation(social)=sécurité.sociale Alignements d expressions idiomatiques Processus en 5 étapes : Découpage par segments. Extraction des colocations monolingues Calcul de fréquence de distance Calcul de distance de cooccurence Suppression des hypothèses superflues Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

9 Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives Expériences (ASLIB : Translation and Computers 2010) Évaluation sur 1103 phrases du Corpus JOC (ARCADE II) Alignements de mots simples Rappel Précision F-mesure CEA-LIST GIZA : 54% dictionnaire, 8% cognats, 26% PoS & 12% EN : sans ajout de dictionnaire, méthode grow-diag-final Alignements de mots composés & d expressions idiomatiques Rappel Précision F-mesure CEA-LIST = Augmentation de 28% de la taille du dictionnaire. Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

10 Conclusions & perspectives Alignements de mots simples Alignements de mots composés & d expressions idiomatiques Expériences Conclusions & perspectives s restantes Étude les distances de colocation différentes suivant les langues sources/cibles Étude les colocations de tailles différentes suivant les langues sources/cibles Études sur l ajout et le tri automatique de mots dans de dictionnaire Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

11 Principe Exemple : Comment se passer de corpus parallèles? Solution envisagée : Utilisation d informations syntaxiques = POS Tagging, relations syntaxiques Traduction Factorisée Langue Source Langue Cible Mot Mot Trouver des segments déjà traduits = Moteur de Recherche Multilingue Projection de la structure syntaxique de la langue source vers celle de la langue cible (lemmes + informations linguistiques) = Système de traduction Factorisés Lemme PoS Morph Lemme PoS Morph Relation Relation Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

12 Principe Principe Exemple Approche formelle Approche hybride Lexiques Analyse Syntaxique Base de Données Règles + ML Phrase source Moteur Crosslingue Hypothèses de traduction Phrase cible Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

13 Exemple Principe Exemple Anglais = Français Social security funds in Greece are calling for independence with regard to the investment of capital Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

14 Exemple Principe Exemple Résultats de la requete Social security funds in Greece are calling for independence with regard to the investment of capital : with regard to : concernant, en matière de... call for : appeller, demander, revendiquer... capital : capital, capitaux, fonds, investissements... social : social... fund : fonds, caisses, capital, investissement... security : sécurité, protection, défense... social security : sécurité sociale... etc. Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

15 Exemple Principe Exemple Analyse syntaxique de la phrase Social security funds in Greece are calling for independence with regard to the investment of capital ADJ NC NC NP VB NC PREP NC NC S CO Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

16 Exemple Principe Exemple Projection syntaxique de la phrase Social security funds in Greece are calling for independence with regard to the investment of capital ADJ NC NC NP VB NC PREP NC NC S CO The funds of security social in Greece are calling for the independence with regard to the investment of capital Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

17 Exemple Principe Exemple Graphe de confusion des traductions security:securité fund:fonds security:protection The:le 0 1 fund:caisses fund:capital fund:investissement 2 of:de of:de 9 security:défense the:le 10 social_security:sécurité_sociale security:securité security:protection security:défense 3 social:social 4 i Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

18 Exemple Principe Exemple Evaluation (ML) le fond de le sécurité social en Grèce revendiquer le indépendance... le fond de le sécurité sociale en Grèce revendiquer le indépendance... le fond de le sécurité social en Grèce appeller le indépendance... le fond de sécurité social en Grèce revendiquer le indépendance... le fond de sécurité sociale en Grèce revendiquer le indépendance... le fond de sécurité social en Grèce appeller le indépendance... le fond de le sécurité social dans Grèce revendiquer le indépendance... le fond de le sécurité sociale dans Grèce revendiquer le indépendance... le fond de le sécurité social dans Grèce appeller le indépendance... le fond de sécurité social dans Grèce revendiquer le indépendance... le fond de sécurité sociale dans Grèce revendiquer le indépendance... le fond de sécurité social dans Grèce appeller le indépendance... le caisses de le sécurité social en Grèce revendiquer le indépendance... le caisses de le sécurité sociale en Grèce revendiquer le indépendance... le caisses de le sécurité social en Grèce appeller le indépendance Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

19 Exemple Principe Exemple Accord en genre & nombre des lemmes les fonds de la sécurité sociale en Grèce revendiquent l indépendance... les fonds de la sécurité sociale en Grèce appellent l indépendance... les fonds de sécurité sociale en Grèce revendiquent l indépendance... les fonds de sécurité sociale en Grèce appellent l indépendance... les fonds de la sécurité sociale dans Grèce revendiquent l indépendance... les fonds de la sécurité sociale dans Grèce appellent l indépendance... les fonds de sécurité sociale dans Grèce revendiquent l indépendance... les fonds de sécurité sociale dans Grèce appellent l indépendance... les caisses de la sécurité sociale en Grèce revendiquent l indépendance... les caisses de la sécurité sociale en Grèce appellent l indépendance... les caisses de sécurité sociale en Grèce revendiquent l indépendance Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

20 Exemple Principe Exemple Résultat Source : Social security funds in Greece are calling for independence with regard to the investment of capital Référence : Les caisses de sécurité sociale en Grèce revendiquent l indépendance en matière d investissement Traduction : les fonds de la sécurité sociale en Grèce revendiquent l indépendance concernant les investissements de capitaux Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

21 Principe Exemple Scientifiques Génération automatique des règles de projections syntaxiques Utilisation des CRF sur les graphes complets Évaluation de l aide à la traduction fournie Publication à IWSLT2010 (Talk Task) Techniques Localisation de logiciels Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15

22 Merci de votre attention Christophe SERVAN Séminaire du LIUM - Université du Maine, Le Mans / 15