SESCA «Systèmes pour l Enseignement de la langue des Signes et la Communication par Avatars» Mai 2008 Projet RTT Région Midi-Pyrénées Rapport intermédiaire 1 ère année
SESCA S Y S T E M E S P O U R L E N S E I G N E M E N T D E L A L A N G U E D E S S I G N E S E T L A C O M M U N I C A T I O N P A R A V A T A R S FICHE DU PROJET Projet R&TT de la Région Midi-Pyrénées (campagne 2007) Porteur du projet : Patrice DALLE. Tél : 05 61 55 63 09. Mél : dalle@irit.fr Laboratoire public de rattachement : IRIT-UPS, Institut de Recherche en Informatique de Toulouse-Université Paul Sabatier 118 route de Narbonne, 31062 Toulouse cedex 9 Laboratoires et entreprises partenaires LLA-UTM, Langues Littérature et Arts, Université Toulouse le Mirail 15 allées Antonio Machado 31058 Toulouse cedex 9 Contact : Solange HIBBS Tél : 06 12 53 63 90, Mél : solange.hibbs@wanadoo.fr Websourd 99, route d'espagne- Bât A 31100 Toulouse Contact : Hugo MERCIER Tél : 05 61 44 72 11, Mél : hugo.mercier@websourd.org INTERPRETIS 2 rue Saint Jean 31 000 Toulouse Contact : Patrick GACHE Tél 06 89 99 69 47, Mél : patrick.gache@club-internet.fr IRIS 10, Av Georges Guynemer, Bat D 01 31770 Colomiers Contact : Pascal JOBEZ Tél 05 61 18 82 63, Mél : iris_jobez_pascal@hotmail.com DESCRIPTIF DU PROJET Le projet SESCA regroupe des organismes dont les partenariats croisés dans plusieurs projets nationaux ont permis l émergence à Toulouse d un pôle Signe unique en France. Il vise le transfert d outils basés sur l informatique, la vidéo et le traitement d images pour développer la technologie d avatars signants et réaliser des produits pédagogiques pour les professionnels de la langue des signes (qui enseignent la LSF ou qui travaillent en LSF). Ces produits contribueront à rendre effectives les dispositions de la loi de février 2005 sur le handicap. OBJECTIF DE CE RAPPORT Ce rapport décrit l état d avancement des travaux menés dans le cadre du projet SESCA à la fin de la première année Page 1
REALISATIONS Les travaux à mener dans le projet SESCA se découpent en 3 tâches principales 1. Outils d analyse de la LSF 2. Structuration de l espace 3. Enoncé en LSF par avatar 1. Outils d analyse de la LSF Ancolin Après présentation aux partenaires du logiciel Ancolin (éditeur en partitions d une vidéo en LSF), il est apparu plus pertinent de compléter le logiciel avant de le porter sur différentes plateformes et de le diffuser (Lot 1a). En effet, certaines fonctions seront indispensables et pouvaient déjà être identifiées et d autres fonctions, présentes dans le logiciel, devaient être améliorées. La conception du logiciel a été revue, sous forme hautement modulaire (lecteurs de vidéos, lecteurs de fichiers, interface), ce qui facilite l ajout de nouvelles fonctionnalités. Les travaux suivant ont été réalisés (Lot 1b): - réalisation de la fenêtre de visualisation de la partition en OpenGL, ce qui permet d y intégrer du traitement d image - ajout de nouveaux formats de vidéo (utilisation de codecs performants) - possibilité de déplacement rapide dans de gros fichiers vidéo - possibilité d exploiter des vidéos avec son (utile pour les formations d interprètes) Voici l aspect actuel du logiciel Ancolin : visualiseur d images d intérêts associées aux pistes, descriptif des statistiques de la piste sélectionnée, lecteur de vidéo et partition. Ce travail est réalisé par F. Gianni dans le cadre d un contrat post-doc. Page 2
- Seg m e ntatio n de la vidéo : Sig nlang uage S eg m e ntation (SLS) Un module de segmentation temporelle a été étudié et réalisé (SLS). Il est intègre plusieurs étapes : - une détection et un suivi du visage et des mains - un marquage manuel d une frame quelconque dans chaque signe présent dans la vidéo - le calcul, pour chaque segment de moins de N frames, de caractéristiques du mouvement des mains comme les symétries ou les répétitions et l attribution d une mesure de confiance indiquant si le segment est un signe ou une transition, - l estimation de la meilleure segmentation en alternance de signes et de transitions, déterminant le début et la fin de chaque signe. - enfin un module de visualisation permet d afficher en superposition les 2 postures caractéristiques de chaque signe et de visualiser le mouvement des mains. Une première version opérationnelle complète a été réalisée. Elle permet de réduire le temps de segmentation manuelle. Des améliorations doivent encore être apportées pour rendre le programme plus robuste aux conditions de prise de vue et pour réduire les erreurs de segmentation. Ces améliorations sont en cours. Ce programme sera intégré dans Ancolin, dont il partage le format XML, afin d assister l analyse d énoncés (par exemple pour analyser la production d un élève) Il constitue aussi la brique de base indispensable pour analyser des séquences signées afin de les décrire pour les faire réaliser par un avatar. SLS : suivi du visage et des mains visualisation finale d un signe Annotatio n de la vidéo e n vidéo (AVV) A la demande des partenaires intervenant dans la formation à la LSF (IRIS, IUP traduction), nous avons réalisé un programme permettant de commenter en langue des signes une production signée et d intégrer ce commentaire dans la vidéo, afin d en rendre l exploitation très aisée. L accent a été mis sur l ergonomie et la facilité d utilisation. La version réalisée a fait l objet d une première Page 3
évaluation. Des améliorations sont en cours, cependant le module réalisé est déjà opérationnel et il est utilisé par un des partenaires dans le cadre de cours de LSF. Vidéo en LSF avec commentaire en LSF Ces deux logiciels sont développés par F. Lefebvre-Albaret dans le cadre de la thèse financée par la région et Websourd, associée au projet SESCA. 2. Structuration de l espace La langue des signes utilise l espace situé devant le signeur (espace de signation) pour situer le éléments du discours (concepts, objets, actant,..) et les mettre en interaction. Le logiciel VIES permet de placer manuellement ces éléments dans l espace de signation et de les visualiser, à partir de l analyse d u énoncé en langue des signes. Dans le cas de la génération, il faut d abord identifier ces éléments et définir leur relations, avant de les projeter dans l espace de signation. Un travail d analyse des techniques d interprétation a été mené avec INTERPRETIS afin d expliciter ce mécanisme de création des entités du discours. Les différents formalismes de type «graphe conceptuel» et les outils associés (carte conceptuelle, outils de schématisation, ) ont été répertoriés. L étape actuelle consiste à connecter la sortie de ces logiciels avec le logiciel VIES afin de «mettre en signes» ces concepts en les projetant dans l espace de signation en respectant les règles (ordre, sémantique de l espace,...) de la langue des signes. 3. Enoncé en LSF par avatar Les partenaires Websourd et IRIT ayant développé des liens de coopération avec l équipe Gestes du LIMSI, il a été décidé de s appuyer sur le modèle d avatar développé par ce laboratoire. A. Braffort, responsable de cette équipe, a donc participé à une réunion de travail du projet SESCA et a présenté ses travaux. Les sorties de la chaîne de production seront exprimées dans un format compatible avec spécifications de génération de l avatar du LIMSI (représentation de l espace de signation et des relations spatiales, contraintes sur les signes, ). Une convention de coopération entre le LIMSI et les partenaires du projet est en préparation. Page 4
GESTION DU PROJET Site SESCA Un site internet a été ouvert (www.irit.fr/sesca) avec une partie publique présentant le projet les participants et les résultats et une partie réservée aux participants (http://www.irit.fr/sesca/projet/ ) et destinée à la gestion du projet. On y trouve les ordres du jour et les compte-rendus des réunions, les rapports, la gestion des dépenses et une rubrique «ressources» pour rendre accessibles à tous les produits développés dans le cadre du projet ou les outils communs. Comme les réunions comportent des participants sourds et entendants, chaque réunion est interprétée et les compte-rendus sont à la fois en mode texte en français et vidéo en LSF. Enfin il a été décidé d ouvrir une rubrique «Lexique» dans laquelle sont consignés les termes techniques utilisés dans nos séances de travail avec leur traduction en langue des signes sous forme de vidéo et/ou de dessin. Actuellement cette liste comporte une cinquantaine de termes. Ce travail est réalisé par J. Dalle, assistante ingénieur sourde qui a rejoint l équipe TCI de l IRIT en avril 2008 (poste CNRS). Réunions Six réunions plénières ont été tenues, plus des réunions en sous-groupe pour évaluer le logiciel AVV. Deux intervenants extérieurs ont été invités apporter leur expertise : A. Braffort du LIMSI, le 6 décembre 2007, à propos des signeurs virtuels, P. Guitteny de l université Montaigne de Bordeaux 3, pour ses travaux sur la langue des signes et les schémas. Enfin l avancement du projet a été présenté à F. Laporterie-Déjean du Service Recherche de la Région Midi-Pyrénées au cours d une réunion le 21 janvier 2008. DIFFUSION, COMMUNICATION, VALORISATION Les travaux qui servent de base au projet SESCA et qui ont été développés à l IRIT (détection, suivi, modélisation de la LSF) font l objet d une présentation dans un numéro spécial «langue des signes» de la revue TAL, à paraître en 2008. Frédérick Gianni Christophe Collet François Lefebvre, Modèles et méthodes de traitement d images pour l analyse de la langue des signes, numéro spécial «langue des signes, éditeurs C. Cuxac P. Dalle, revue TAL, 2008, à paraître Enfin 2 communications sur les travaux effectués dans le cadre de SESCA ont été présentés aux congrès LREC et TALS François Lefebvre-Albaret, Patrice Dalle, Frederick Gianni, Toward an computer-aided sign segmentation, congrès LREC, Marrackech, 1 er juin 2008-06-29 François Lefebvre-Albaret, Patrice Dalle, Une approche de segmentation de la Langue des Signes Française, colloque TALN, atelier TALS, Avignon, 9-13 juin 2008 Page 5