et instanciation sur des sites imag concrets Carlos Ramisch

Transcription

1 Projet de Fin d Études Développement d un site Web imag générique et instanciation sur des sites imag concrets Carlos Ramisch Responsables de stage : Christian Boitet et Valérie Bellynck INP Grenoble ENSIMAG (Double Diplôme UFRGS-ENSIMAG) LIG GETALP Carlos.Ramisch@imag.fr Grenoble, le 05 septembre 2008

2 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 2/43 Introduction Traduction : langue source = langue cible Nécessaire : Union européenne, ONU, UNESCO, FMI ; Canada, Suisse et Belgique Entreprises multinationales Pax Humana, Wikipedia Q A C 1 : impossible Traduction Assistée par Ordinateur (TAO) : A, Q

3 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 3/43 Problème Le problème : Traduction des sites Web Reformulation : Accès multilingue aux sites Web

4 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 4/43 Concepts Internationalisation Concevoir ou adapter un logiciel pour être traduit Localisation Instanciation/traduction dans une région d un logiciel internationalisé Région Langue parlée à un endroit. Paire fr FR ou fr BE Messages code source, mais aussi : Encodage des caractères, direction du texte Messages avec variables, pluriels Dates, nombres (virgule décimale) Éléments culturels (rouge : violence vie)

5 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 5/43 Localisation interne Fichiers de Messages : Messages + ID dans un fichier (texte pur, XML,.properties, tableau associatif, base de données) Templates : Page Web créée dynamiquement à partir d un modèle Java : ResourceBundle, DateFormat, NumberFormat, ChoiceFormat, BiDi,...

6 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 6/43 Exemple Fig.: Internationalisation de Joomla [Bellynck, 2008]

7 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 7/43 Localisation Externe Passerelle de navigation Système Web à travers duquel un visiteur peut accéder un site Web Google : Affichage de la source, contribution indirecte Systran : Simple, traitement de formulaires

8 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 8/43 Exemple - I Fig.: site du LIG par Google Translate

9 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 9/43 Exemple - II Fig.: site du LIG par Google Translate

10 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 10/43 Pourquoi imag? Rappel Q A C 1 : impossible Limitations : Localisation interne : coûteuse, hors-contexte (A 0) Localisation externe : basse qualité, non-interactive (Q 0) imag Couche logicielle responsable de la gestion de l accès multilingue à un site Web élu [Boitet et al., 2008] A, Q et C paramétrables (bonne affaire)

11 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 11/43 Avantages et inconvénients Inconvénients : Performance Faire confiance à l utilisateur (wiki) Avantages : Traduction contextuelle, collaborative Traduction de qualité croissante paramétrable Coûts maîtrisables, initiallement très bas Traducteur professionnel/bénevole, lecteur

12 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 12/43 Plan 1 Introduction 2 Étape 1 : Les défis du Web 3 Étape 2 : Segmentation 4 5 Étape 3 : Traduction : mémoires et systèmes Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

13 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 13/43 1 Introduction Étape 1 : Les défis du Web Qu est-ce qu un site Web? Qu est-ce qu une page Web? Relai de traduction Étape 2 : Segmentation Étape 3 : Traduction : mémoires et systèmes Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

14 Site Web Nature hétérogène du Web... Question 1 : Qu est-ce qu un site Web? Un domaine (URL) exemple LIG Un ensemble de pages Web Navigation traduite transparente Remplacement des liens dans la page générée Site Web Ensemble de pages représentant une entité du monde réel Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 14/43

15 Site Web Nature hétérogène du Web... Question 1 : Qu est-ce qu un site Web? Un domaine (URL) exemple LIG Un ensemble de pages Web Navigation traduite transparente Remplacement des liens dans la page générée Site Web Ensemble de pages représentant une entité du monde réel Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 14/43

16 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 15/43 Site Web - Implémentation Fig.: Fichier de définition du site du LIG.

17 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 16/43 Page Web Question 2 : Qu est-ce qu une page Web? Document HTML XHTML Fichiers satellites (CSS, Javascript, images) Animation Flash, pages Web 2.0 Page Web Contenu d un document HTML

18 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 16/43 Page Web Question 2 : Qu est-ce qu une page Web? Document HTML XHTML Fichiers satellites (CSS, Javascript, images) Animation Flash, pages Web 2.0 Page Web Contenu d un document HTML

19 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 17/43 Page Web - Implémentation Balise <base> Analyseur SAX CyberNecko HTML Parser Cadres (frames), formulaires,... Classe notranslate : citation Principe du bon développeur

20 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 18/43 Relai de traduction Gestion : utilisateurs, sites élus, imag dédiées Fig.: Relai de traduction simplifié

21 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 19/43 Quelques remarques avant de continuer : imag dédiée imag générique Champ de connaissance Nous avons donc : Entrée : URL, langues source et cible, contexte Sortie : Page pré-traitée, liens et entités remplacés, pointeurs vers satellites

22 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 20/43 1 Introduction 2 Étape 1 : Les défis du Web 3 Étape 2 : Segmentation Taille de segment Le format appartient-il au segment? Méthodes et outils 4 5 Étape 3 : Traduction : mémoires et systèmes Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

23 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 21/43 Taille de segment Mots documents/paragraphes : extrêmes Grand : traduction doit prendre en compte la polysémie et les idiosyncrasies Petit : justifier utilisation de Mémoire de traduction Segment Phrase ou titre

24 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 21/43 Taille de segment Mots documents/paragraphes : extrêmes Grand : traduction doit prendre en compte la polysémie et les idiosyncrasies Petit : justifier utilisation de Mémoire de traduction Segment Phrase ou titre

25 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 22/43 Le format appartient-il au segment? Non Facile à enléver, difficile à réintégrer ; systèmes de TA sont robustes Oui 36 balises de formatage de texte Segment Phrase ou titre avec balises simples de formatage

26 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 22/43 Le format appartient-il au segment? Non Facile à enléver, difficile à réintégrer ; systèmes de TA sont robustes Oui 36 balises de formatage de texte Segment Phrase ou titre avec balises simples de formatage

27 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 23/43 Méthodes et outils Algorithmes de détection de phrases Heuristiques : codées en dur, fichier avec règles, listes d abréviations Classification par entropie maximale LingPipe Apprentissage, état de l art, bonne précision Entrée : Page pré-traitée Sortie : Ensemble de segments + squelette

28 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 23/43 Méthodes et outils Algorithmes de détection de phrases Heuristiques : codées en dur, fichier avec règles, listes d abréviations Classification par entropie maximale LingPipe Apprentissage, état de l art, bonne précision Entrée : Page pré-traitée Sortie : Ensemble de segments + squelette

29 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 24/43 1 Introduction 2 Étape 1 : Les défis du Web Étape 2 : Segmentation Étape 3 : Traduction : mémoires et systèmes Détection de la langue Mémoires de traduction Systèmes de TA Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

30 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 25/43 Détection de la langue Entrée : Suite de segments, mais... En quelle langue? En-têtes HTTP En-têtes du document HTML Attribut lang dans un élément Langue indiquée dans imag Solution Actuellement : Pas de détection Prochainement : Votation pondérée

31 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 26/43 Mémoires de traduction Mémoire de traduction Base de données stockant des segments avec leurs traductions respectives (bi-segments) Correspondance exacte approchée MT du système de gestion de corpus SECTra w [Huynh et al., 2008] Intéraction simple par HTTP

32 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 27/43 Systèmes de TA Si le segment n est pas dans la MT... SECTra w Appelle les systèmes en ligne de TA Google Systran Construction de base léxicale pour site élu dans PIVAX [Nguyen et al., 2007] Entrée : Ensemble de segments + squelette Sortie : Ensemble de bi-segments + squelette

33 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 28/43 1 Introduction Étape 1 : Les défis du Web Étape 2 : Segmentation Étape 3 : Traduction : mémoires et systèmes 5 Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

34 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 29/43 Génération de la page cible Remplacer identifiants dans squelette par traductions Afficher segment source : infobulle Suggérer traduction améliorée : post-édition Accéder à l interface avancée : SECTra w Affichage des correspondances Fig.: Amphigramme

35 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 30/43 1 Introduction 2 3 Étape 1 : Les défis du Web Étape 2 : Segmentation 4 Étape 3 : Traduction : mémoires et systèmes 5 Étape 4 : Génération de la page cible 6 Mise en œuvre Architecture Conception Codage 7 Conclusions

36 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 31/43 Architecture - Contexte advanced post-edition Identified Cybernaut <<actor>> Sectra (TM) <<actor>> HTTP Server translation segments/post-editions view a site in a target language translated page GET/POST request HTML page imag segment translation <<actor>> MT System translation request translated page <<actor>> Web Site translation request translated page <<actor>> Redirection Gateway Cybernaut view the page in another language translated page Fig.: Diagramme de contexte

37 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 32/43 Architecture - Dynamique II Human-Machine Interface Redirection Interface Control Segmentation TM Interface Cybernaut post-edition postedit(source,target) postedit(source,target,domain) split(source) sourcesegs[] split(target) targetsegs[] update(sourcesegs[i],targetsegs[i],domain) Fig.: Post-édition

38 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 33/43 Conception - HTTP Fig.: Modèle conceptuel

39 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 34/43 Codage Détails d implémentation : Java + J2EE + JSP, Apache Tomcat Apache Struts 2 + Apache Tiles Netbeans 6 CyberNecko HTML Parser, LingPipe, JQuery

40 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 35/43 Instanciation : site du LIG Fig.: interface du prototype

41 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 36/43 Instanciation : site du LIG Fig.: imagpour le site du LIG

42 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 37/43 1 Introduction Étape 1 : Les défis du Web Étape 2 : Segmentation Étape 3 : Traduction : mémoires et systèmes 5 Étape 4 : Génération de la page cible 6 Mise en œuvre 7 Conclusions

43 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 38/43 Résumé Accès multilingue aux sites Web imag Prototype en 4 étapes : Traitement de la page Segmentation Traduction Génération de la page cible Solution paramétrable et performante de qualité croissante, testée sur site du LIG

44 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 39/43 À faire 1 Finitions du prototype 2 Test sur d autres sites élus 3 Pré-initialisation de la MT 4 Affichage des correspondances par amphigrammes 5 Oracle pour le choix de la meilleure traduction 6 Mission des bénévoles pour le site du LIG 7 Possibilité d intégrer les traductions 8 Mémoire de traduction cache 9 Intégration avec PIVAX : dictionnaire spécialisé 10 Champs de connaissance sous-langage site

45 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 40/43 Conclusions Contributions Contact avec recherche application de l expérience en TALN Apprentissage Aspects novateurs Formation ingénieur + recherche Perspectives imag et personnelles Mise en commun des aspects complémentaires

46 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 41/43 Références Boitet, C., Bellynck, V., Mangeot, M., and Ramisch, C. (2008). Towards higher quality internal and outside multilingualization of web sites. In Bhattacharyya, P., editor, Summer Workshop on Ontology, NLP, Personalization and IE/IR ONII-08, page 8, IITB Bombay, India. Huynh, C.-P., Boitet, C., and Blanchon, H. (2008). SECTra w.1 : an online collaborative system for evaluating, post-editing and presenting mt translation corpora. In (ELRA), E. L. R. A., editor, Proceedings of the Sixth International Language Resources and Evaluation (LREC 08), Marrakech, Morocco. Nguyen, H.-T., Boitet, C., and Sérasset, G. (2007). Pivax, an online contributive lexical data base for heterogeneous mt systems using a lexical pivot. In Kawtrakul, A., Zock, M., and Phantachat, W., editors, The Seventh International Symposium on Natural Language Processing - SNLP-07. Ramisch, C., Schreiner, P., Idiart, M., and Villavicencio, A. (2008a). An evaluation of methods for the extraction of multiword expressions. In Proceedings of the LREC Workshop - Towards a Shared Task for Multiword Expressions (MWE 2008), pages 50 53, Marrakech, Morocco. Ramisch, C., Villavicencio, A., Moura, L., and Idiart, M. (2008b). Picking them up and figuring them out : Verb-particle constructions, noise and idiomaticity. In CoNLL-2008 Twelfth Conference on Computational Natural Language Learning, pages 49 56, Manchester, UK.

47 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 42/43 Semaine Tâche prévue Tâche effectuée 1 Étude bibliographique. Familiarisation avec les thèmes du stage. Étude bibliographique. Familiarisation avec les thèmes du stage. 2 Étude technologique, préparation de l environnement de développement. Étude technologique, préparation de l environnement de développement. 3, 4, 5 Étude sur la segmentation et des solutions existantes. Problèmes liés au codage et aux balises HTML. Mise en place de Java, Tomcat, Struts, Tiles. Test des bibliothèques pour traiter l encodage et la syntaxe HTML. 6, 7 Envoi des segments vers systèmes de TA. Navigation traduite transparente. Étude des mémoires de traduction, interface Développement de l interface utilisa- avec SECTra w. teur. 8, 9, 10 Génération de la page cible. Enrichissement avec des fonctions d affichage du fragment source et de post-édition. Étude de la segmentation et des solutions. Mise en place de l analyseur CyberNeko et du segmenteur LingPipe. 11, 12, 13 Interface avancée basée sur SECTra w. Appel aux systèmes de TA et à la MT de Intégration avec des dictionnaires terminologiques, post-édition. SECTra w. Intégration de ces outils au prototype. 14, 15 Étude de la technique des amphigrammes. Implémentation de la technique à travers Appel au relai de traduction et adaptation du relai à l imag. du code javascript dans la page. 16, 17 Validation, test et débogage. Déploiement sur serveur, utilisation. Génération de la page cible, test sur le site du LIG. 18 Instantiation de l imag sur le site de B@BEL. Scripts pour l affichage du segment source avec JQuery. 19 Instantiation de l imag sur le site Rajout de scripts pour la post-édition des d EOLSS/UNL. segments. 20 Instantiation de l imag sur le site du projet DEMGOL. Rajout de scripts pour la post-édition des segments. 21 Instantiation de l imag sur site du LIG. Début des tests sur le site du LIG. 22 Évaluation finale, de la qualité et de l activité Correction des erreurs, paramétrage. collaborative 23 Bilan, rapport, soutenance. Documentation, rapport et soutenance.

48 Carlos Ramisch INPG, ENSIMAG LIG, GETALP Développement et instanciation d un site Web imag 43/43 Remerciements Christian Boitet Valérie Bellynck Pierre Berlioux, Marie-Laure Potet, Marianne Genton et Sébastian Viardot Aline Villavicencio Mathieu Mangeot, Huynh Cong-Phap et Hong-Thai Nguyen Enseignants ENSIMAG et UFRGS, projet SCISTEMA Ma famille, mes amis