Modélisation tridimensionnelle des organes de la parole à partir d'images IRM pour la production de nasales

Transcription

1 Vendredi décembre 006 Modélisation tridimensionnelle des organes de la parole à partir d'images IRM pour la production de nasales Caractérisation articulatori-acoustique des mouvements du voile du palais Antoine Serrurier M. Gang Feng, Président M. Philip Hoole, Rapporteur M. Yves Laprie, Rapporteur M. Pierre Badin, Directeur de thèse M. Shinji Maeda, Examinateur M. Gérard Bailly, Examinateur

2 Plan de l exposé Nasalité: définition, objectifs, état de l art Données articulatoires Modèle articulatoire tridimensionnel Modélisation articulatori-acoustique Conclusion et perspectives /41

3 Nasalité : définition «Le terme de nasalité fait référence aux sons produits avec un voile du palais suffisamment bas pour permettre un flux d'air audible à travers le conduit nasal.» (Crystal, 17) Ouverture/fermeture du port vélopharyngé [m a ] [p a ] Structure complexe des cavités nasales et des sinus 3/41

4 Objectif : comprendre la nasalité Caractériser et modéliser le geste articulatoire lié à l abaissement du voile du palais Géométrie complexe globale Nature et dimensionnalité des mouvements Caractériser et modéliser ses conséquences acoustiques Synthèse articulatoire 4/41

5 Études articulatori-acoustiques : état de l art Géométrie Fosses nasales Port vélopharyngé House et Stevens, 156 Bjuggren et Fant, 164 Dang et Honda, 14 Demolin et al., 003 Mouvements Modèle géométrique D Mermelstein, 173 Modélisation articulatori-acoustique Modélisation acoustique à partir de fonctions d aire House et Stevens, 156 Fant, 160, 15 Mrayati, 176 Maeda, 1, 13 Feng, 16 Castelli, 1 5/41

6 Modèle articulatoire Modèle 3D : représentation précise de la géométrie complexe Cavités nasales Voile du palais Modèle basé sur les données Modèle de surfaces d organes Voile du palais Parois du nasopharynx Cavités nasales Sujet unique 6/41

7 Démarche de modélisation Images 3D pour 46 articulations représentatives du français voyelles orales 4 voyelles nasales m, n, f, s,, p, t, k, l, [a,i,u] Détermination des 46 formes 3D de chaque organe préphonation repos Analyse linéaire Modèle de chaque organe 7/41

8 Images IRM 46 blocs 3D d images sagittales à caler Résolution 1 mm/px Visibilité des tissus mous Nécessité d une reconstruction 3D des structures rigides Pas de visibilité des structures osseuses /41

9 Images Tomodensitométriques 5 images sagittales images axiales Résolution 0.5 mm/px Visibilité des structures osseuses Z 34 images coronales Y 5 X 15 /41

10 Structures rigides Mâchoire Palais dur Sinus sphénoïdal Sinus maxillaires Mâchoire Palais dur Référence fixe Aide à l interprétation des IRM /41

11 Prétraitement des images IRM 1. Recoupe perpendiculaire des images [ ]. Superposition des structures rigides sur les IRM Calage dans un repère commun Meilleure interprétation des IRM /41

12 Structures déformables (1) 3. Tracés manuels : voile du palais paroi du pharynx Structures rigides superposées Structures déformables tracées formes 3D du voile du palais et de la paroi du nasopharynx [t a ] [i] [i] /41

13 Structures déformables () 4. Définition d un maillage générique 5. Déformation du maillage générique vers les 46 cibles articulatoires [pa].5 Voile du palais: 53 points Z.5 Z Y X 14 X Paroi du nasopharynx: 1 points Y 46 articulations du corpus Cohérence entre le processus et les /41 déformations réelles?

14 Enregistrements EMA Articulographie Électromagnétique : enregistrement de la position d un point de chair dans le plan médiosagittal Corpus de parole dynamique: VCV (V=14, C=16) /41

15 Liens maillages - EMA Détermination d un point équivalent EMA sur le maillage générique Z Déplacement de ce point par le processus de déformation du maillage Y -1 - X 15 Validation de l approche..6 Y (cm) X (cm) Enregistrements EMA - ACP EMA 46 points du maillage déformé - ACP points du maillage 15/41

16 Les cavité nasales (1) IRM coronales Résolution 1 mm/px Visibilité des muqueuses 16/41

17 14 Grille -1. cm Milieu Droite Gauche 14 Grille 1.6 cm 14 Grille 4.4 cm 14 Grille -0. cm 14 Grille cm 14 Grille 4. cm 14 Grille -0.4 cm 14 Grille 0 cm Grille.4 cm Grille. cm 14 Grille 5. cm Les cavité nasales () 14 Grille 5.6 cm Aires (cm ) 14 Grille 0.4 cm Grille 0. cm cm² 14 Grille 1. cm Grille 3. cm Grille 3.6 cm Grille 4 cm Cavum Longueur (cm) Narines 14 Grille 6 cm 14 Grille 6.4 cm Aires transverses (IRM) 14 Grille 6.55 cm cm² 14 Grilles (cm) Aires transverses (CT) 14 Grille 6.5 cm 14 Grille 7.35 cm Conforme aux valeurs 14 14de Dang et al., 14 Grille 7.75 cm Grille.15 cm Grille.55 cm Grille.5 cm Aires inférieures à Bjuggren et Fant, 164 Seuil narinaire supérieur à House et Stevens, /41

18 Données articulatoires : bilan Calage de données de nature différente Maillages 3D des structures rigides Maillages 3D des tissus mous déformés pour 46 cibles articulatoires Voile du palais et paroi du nasopharynx Précision < 1 mm Cohérents entre eux pour une analyse statistique Données 3D statiques et EMA dynamiques cohérentes Seuil narinaire 1 cm² 1/41

19 Modélisation linéaire 46 observations représentatives de la tâche de parole: Voile du palais: 53 3 variables Paroi du nasopharynx: 1 3 variables Z [p a ] Y -1 - X 14 Analyse en Composantes Principales Composantes principales Paramètres de contrôle du modèle Évaluation Pourcentage d explication de la variance des données par composante Erreur de reconstruction RMS du modèle en cm 1/41

20 1 er paramètre : VL ACP sur le voile du palais 3D VL: 1 er paramètre ACP Voile du palais Ex. Var. (%) (sur ± 1.5 cm) 3 % Erreur de reconst. RMS cum. (cm) 0.0 cm 1 paramètre dominant Paroi du pharynx 47 % 0.07 cm 14 Velum Levator 7 Kent, VL = Velum Levator et Bourrelet de Passavant 0/41

21 Voile du palais Paroi du nasopharynx Plan médiosagittal 1 er paramètre : VL 1/41

22 ème paramètre : VS ACP sur le voile du palais 3D VS: ème paramètre ACP Voile du palais Paroi du pharynx Ex. Var. (%) (sur ± 1.5 cm) 6 % (cum. %) 5 % (cum. 5 %) Erreur de reconst. RMS cum. (cm) 0.06 cm 0.06 cm Faible amplitude Actif sur l aire de couplage nasal /41

23 Voile du palais Paroi du nasopharynx Plan médiosagittal ème paramètre : VS 3/41

24 Représentation VL / VS VL VL k i prephon k a f i a p u u su l u f u f a a i t i s i k u p i l i t u s a i t a i y a l a u e u ø p a o œ - -1 repos -1.5 m a m i n u œ n i n a - ã m u voyelles nasales voyelles orales consonnes nasales consonnes orales VS VS + Nasalité 4/41

25 Liens modèle articulatoire 3D - EMA Enregistrements EMA - Point équivalent EMA du maillage Z VL X Y - Modèle articulatoire - Point équivalent EMA.4. VS Enregistrements EMA Correspondance des deux espaces 5/41

26 Contrôle du modèle à partir d EMA Inversion des paramètres VL et VS à partir du Point équivalent EMA Erreur RMS 3D = 0.07 cm Contrôle du modèle à partir des enregistrements EMA [p p p b p m ] Reconstruction 3D à partir d enregistrements dynamiques EMA D 6/41

27 Modèle tridimensionnel : bilan Modèle articulatoire à paramètres: VL : Voile du palais (3 %) + Paroi du nasopharynx VS : Voile du palais (6 %) Précision < 1 mm Cohérence enregistrements EMA + Modèle Corrélation D / 3D : erreur RMS de reconstruction du 3D à partir du D < 1 mm 7/41

28 Modèle acoustique Hypothèse: F < 5000 Hz Propagation plane Aires transverses Propagation le long de la ligne médiane cm Fonction d aire [a] [a] X <-- Glotte cm Lèvres --> Analogie électrique [a] Y 4 Amplitude (db) Fonction de transfert Frequence (Hz) [a] /41

29 Les cavités nasales Fonction d'aire Droite Gauche Z Aire (cm ) Aires (cm ) Aires transverses (IRM) Grilles (cm) Aires transverses (CT) - Y Droite Gauche db Cavum Longueur Longueur (cm) (cm) Narines Rn1 = 700 Hz Rn = 300 Hz Rn3 = 300 Hz Hz Seuil narinaire 1 cm² Résonance approximativement ¼ d onde Faible dissymétrie (R3) Hypothèse de constriction narinaire non vérifiée /41

30 Région vélaire : fonction d aire nasal oral 4 6 Plan Plan 4 6 Plan 3 4 a NASAL Plan Plan Plan 6 Aire (cm ) voile du palais (modèle) paroi du nasopharynx (modèle) langue (fixe) Plan Plan Plan 3 ORAL <-- Glottte Longueur (cm) Bouche/Nez -> 4 Aire (cm²) NASAL ORAL cavités nasales Intégration dans un conduit oral fixe : [a, i, u,,, œ, ] voyelles cardinales voyelles nasales Glotte Longueur (cm) Lèvres/Nez 30/41

31 Bornes articulatoires de la nasalité Configuration orale Configuration nasale Configuration nasopharyngée 4 3 NASAL 4 3 NASAL 4 3 NA S AL cm -1 - cm -1 - cm ORAL cm FCTR= D D L G -5 ORAL FCTR = cm D L + D D G N -5 ORA L FCTR= cm D D N G 31/41

32 Articulations extrêmes : basses fréquences [i] Voyelles orales [u] Voyelles nasales F F [ ] [œ ] [ ] [ ] [a] F Configuration orale Configuration nasopharyngée F Zone nasale autour de 450 Hz 10 Hz 3/41

33 Couplage acoustique Résonances issues du couplage Résonances issues des formants oraux 10 un Amplitude (db) Fréquence (Hz) 33/41

34 VL : fonction d aire Fortes variations du port vélopharyngé Aire Aire (cm²) (cm ) aire = 0 cm² 0. cm² position > 1 cm <-- Luette Longueur (cm) Cavum --> Luette Longueur (cm) Cavum Fortes variations orales Aire (cm ) Aire (cm²) <-- Glotte Longueur (cm) Lèvres --> Glotte Longueur (cm) Lèvres 34/41

35 VL : acoustique nasopharyngé [a nasopharyngé] pôle o zéro 0 Amplitude (db) [a oral] Fréquence (Hz) oral Variations des résonances issues des formants oraux jusqu à 30 % suivant la voyelle 35/41

36 VS : fonction d aire Fortes variations de l aire de couplage nasal Aire (cm²) ) aire = 0.1 cm² 0.6 cm² position = 0. cm <-- Luette Longueur (cm) Cavum --> Luette Longueur (cm) Cavum Plus faibles variations orales a Aire (cm ) Aire (cm²) / Glotte Longueur (cm) Lèvres <-- Glotte Longueur (cm) Lèvres -->

37 Nomogrammes basse fréquence de VL et VS Variation de VL et VS dans la gamme des données autour de [a] [i] [u] VL VL total [u] VS VS total [u] F1 F [i] F1 F [i] [a] [a] o Rn F o Rn F F Variations de la fonction d aire nasale Variations de la fonction d aire orale 37/41

38 Comparaisons simulations - enregistrements Enregistrements EMA + Acoustique synchrones Contrôle du modèle articulatoire Nomogrammes simulés Nomogrammes enregistrés [ ] [a] Fréquence (Hz) Fréquence (Hz) Temps (s) Temps (s) 3/41

39 Modélisation articulatori-acoustique : bilan Fonctions d aires réalistes du conduit nasal Cavités nasales: résonances en ¼ d onde Port vélopharyngé: VL (± 0. cm²) + VS (± 0.5 cm²) Région vélaire du conduit oral: VL Influence du couplage sur les basses fréquences Concentration dans une zone nasale autour de 450 Hz 10 Hz Variation des pôles sensibles à VL et VS Cohérence du modèle et des enregistrements dans les hautes fréquences 1 er formant nasal non obtenu dans les simulations 3/41

40 Conclusion Données articulatoires Utilisation croisée de données de nature différente Géométrie 3D des cavités nasales et du port vélopharyngé Modèle articulatoire 3D du port vélopharyngé: paramètres VL : paramètre dominant (Velum Levator) VS : paramètre de plus faible amplitude Corrélation forte entre les mouvements D et les formes 3D Caractérisation acoustique du geste articulatoire Fonctions d aire réalistes du conduit nasal Cavités nasales: hypothèse de constriction narinaire non vérifiée Influence de VL et VS sur les pôles bas 40/41

41 Perspectives Acoustique Propagation acoustique en 3D Origine du F1 nasal? Sinus? Comparaisons avec des enregistrements acoustiques + EMA Prise en compte d un éventuel couplage externe Synthèse articulatoire Intégration dans un modèle articulatoire complet Étude de la coordination voile du palais / langue / lèvres Contrôle du modèle à partir d IRM temps-réel Synthèse articulatoire et tests perceptifs Extension à d autres sujets Synthèse articulatoire à partir du texte 41/41

42 Merci!