De l imagerie médicale à la parole augmentée: une piste pour l orthophonie virtuelle?

Transcription

1 IXèmes Rencontres d Orthophonie Paris, décembre 2009 De l imagerie médicale à la parole augmentée: une piste pour l orthophonie virtuelle? Pierre Badin Avec la collaboration de Gérard Bailly, Frédéric Elisei, Christophe Savariaux, Atef Ben Youssef, Antoine Serrurier, Yuliya Tarabalka GIPSA-lab, Dépt Parole et Cognition UMR 5216 CNRS & Université de Grenoble IXèmes Rencontres d Orthophonie, Paris, décembre

2 Plan Département Parole & Cognition, Grenoble Étude des mécanismes de production de la parole Données expérimentales Modèles articulatoires et contrôle de clones orofaciaux formalisation / généralisation des connaissances Validation Imagerie médicale et acquisition de données Clones orofaciaux et parole augmentée Lecture linguale Retour articulatoire visuel Orthophonie virtuelle? IXèmes Rencontres d Orthophonie, Paris, décembre

3 Cinéradiographie Institut de phonétique et CHU, Strasbourg, 1994 IXèmes Rencontres d Orthophonie, Paris, décembre

4 IRM statique médiosagittale /a/ /i/ /u/ /ʃ a / /ʃ i / /ʃ u / /l a / /l i / /l u / IXèmes Rencontres d Orthophonie, Paris, décembre

5 Echographie ultrasonique Arrière avant Arrière avant Arrière avant Essais, Grenoble, 2009 IXèmes Rencontres d Orthophonie, Paris, décembre

6 30 images / seconde IRM dynamique médiosagittale Stroboscopie 128 répétitions /pana/ /pala/ ATR, Kyoto, Japan, 1998 /paʁa/ IXèmes Rencontres d Orthophonie, Paris, décembre

7 IRM volumique statique IXèmes Rencontres d Orthophonie, Paris, décembre

8 Maillages d organes : modèles articulatoires Collections de maillages pour chaque organe déformable Corpus d articulations du français artificiellement soutenues [a e i y u o ø œ œ ] [p t k f s ʃ m n ʁ l] x [a i u] Modèles articulatoires [ã] [l a ] IXèmes Rencontres d Orthophonie, Paris, décembre

9 Mâchoire IXèmes Rencontres d Orthophonie, Paris, décembre

10 Corps de langue IXèmes Rencontres d Orthophonie, Paris, décembre

11 Dos de langue IXèmes Rencontres d Orthophonie, Paris, décembre

12 Interprétation biomécanique du mouvement du dos de langue Perrier et al., 2003 Même sujet Génioglosse Antérieur Applatissement Styloglosse Bombement arrière IXèmes Rencontres d Orthophonie, Paris, décembre

13 Apex, vertical IXèmes Rencontres d Orthophonie, Paris, décembre

14 Velum, vertical Velum Nasopharyngeal wall Levator veli palatini IXèmes Rencontres d Orthophonie, Paris, décembre

15 Velum, horizontal Velum Nasopharyngeal wall Constricteur pharyngé supérieur IXèmes Rencontres d Orthophonie, Paris, décembre

16 Articulateurs visibles Trois cameras synchrones et calibrées Près de 250 marqueurs colorés Visage représenté par un maillage d à peu près 450 triangles Lèvres représentées par un maillage générique déformé et ajusté aux contours extérieurs IXèmes Rencontres d Orthophonie, Paris, décembre

17 Modèle mâchoire - lèvres visage Mâchoire, V Mâchoire, H Larynx Protrusion Lèvre supérieure Lèvre inférieure IXèmes Rencontres d Orthophonie, Paris, décembre

18 Exemple d affichage d un clone orofacial IXèmes Rencontres d Orthophonie, Paris, décembre

19 Suivi des mouvements par Articulographie Electro- Magnétique Suivi temporel des coordonnées sagittales de 6 bobines 1 référence : incisives supérieures 1 sur la mâchoire 3 sur la langue 2 sur les lèvres supérieure et inférieure Contrôle des modèles articulatoires fidèle à la réalité IXèmes Rencontres d Orthophonie, Paris, décembre

20 Controle du modèle de velum à partir de l articulographe Coordonnées médiosagittales de la bobine de velum Point du maillage de velum associé Contrôle des mouvements du modèle par inversion [p p p b p m ] IXèmes Rencontres d Orthophonie, Paris, décembre

21 Exemples d animation du clone orofacial en parole augmentée IXèmes Rencontres d Orthophonie, Paris, décembre

22 Apport de la vision du visage à l intelligibilité de la parole Contribution des composantes visibles du visage RSB diminue contribution visuelle croît (A + V) > A et (A + V) > V visage entier > lèvres seules visage naturel > synthétique Apprentissage depuis naissance RSB la Sumby & Pollack (1954) Erber (1969) Benoît et al. (1996, 1998) IXèmes Rencontres d Orthophonie, Paris, décembre

23 Lecture labiale et lecture linguale? IXèmes Rencontres d Orthophonie, Paris, décembre

24 Evaluation de la lecture linguale Contribution de la vision directe de la langue à l intelligibilité de la parole Paradigme d intelligibilité de la parole en fonction du niveau de bruit Test de perception de stimuli audiovisuels VCV (voyelle consonne voyelle) C = /b d g v z ʒ l/ V = /a i y u/ Principe général: identifier la consonne 4 conditions de présentation Audio seul Intérieur sans langue Intérieur avec langue Visage complet 4 rapports signal / bruit (RSB) : - infini, - 9 db, + 3 db, + infini Choix forcé Pas de répétition autorisée IXèmes Rencontres d Orthophonie, Paris, décembre

25 Exemples de stimuli audiovisuels Intérieur sans langue (RSB = +3 db) Intérieur avec langue (RSB = +inf) Visage complet (RSB = -9 db) IXèmes Rencontres d Orthophonie, Paris, décembre

26 Résultats en lecture linguale Scores de reconnaissance Visage complet >> Intérieur avec langue > Intérieur sans langue >> Audio Seul Capacités naturelles en lecture linguale < lecture labiale / faciale Lecture linguale = possible relais de la lecture labiale Pour certains sujets, jusqu à 40% de gain en l absence de signal audio Effet d apprentissage implicite clair des sujets naïfs Possibilité d entraînement des sujets IXèmes Rencontres d Orthophonie, Paris, décembre

27 Retour articulatoire visuel Projet ANR ARTIS ( ) Inversion articulatoire de la parole audiovisuelle pour la parole augmentée Capacités de lecture linguale Animer les articulateurs d un locuteur à partir du signal audio seulement IXèmes Rencontres d Orthophonie, Paris, décembre

28 Des pistes pour une orthophonie virtuelle? Disponible ou en cours de développement Imagerie médicale pour la parole Modèles articulatoires et clones orofaciaux Parole augmentée Retour articulatoire visuel Synthèse à partir du texte Orthophonie virtuelle à partir de parole augmentée? Illustrations statiques Illustrations dynamiques Retour articulatoire visuel??? IXèmes Rencontres d Orthophonie, Paris, décembre

29 Merci pour votre attention! IXèmes Rencontres d Orthophonie, Paris, décembre