Vendredi décembre 006 Modélisation tridimensionnelle des organes de la parole à partir d'images IRM pour la production de nasales Caractérisation articulatori-acoustique des mouvements du voile du palais Antoine Serrurier M. Gang Feng, Président M. Philip Hoole, Rapporteur M. Yves Laprie, Rapporteur M. Pierre Badin, Directeur de thèse M. Shinji Maeda, Examinateur M. Gérard Bailly, Examinateur
Plan de l exposé Nasalité: définition, objectifs, état de l art Données articulatoires Modèle articulatoire tridimensionnel Modélisation articulatori-acoustique Conclusion et perspectives /41
Nasalité : définition «Le terme de nasalité fait référence aux sons produits avec un voile du palais suffisamment bas pour permettre un flux d'air audible à travers le conduit nasal.» (Crystal, 17) Ouverture/fermeture du port vélopharyngé [m a ] [p a ] Structure complexe des cavités nasales et des sinus 3/41
Objectif : comprendre la nasalité Caractériser et modéliser le geste articulatoire lié à l abaissement du voile du palais Géométrie complexe globale Nature et dimensionnalité des mouvements Caractériser et modéliser ses conséquences acoustiques Synthèse articulatoire 4/41
Études articulatori-acoustiques : état de l art Géométrie Fosses nasales Port vélopharyngé House et Stevens, 156 Bjuggren et Fant, 164 Dang et Honda, 14 Demolin et al., 003 Mouvements Modèle géométrique D Mermelstein, 173 Modélisation articulatori-acoustique Modélisation acoustique à partir de fonctions d aire House et Stevens, 156 Fant, 160, 15 Mrayati, 176 Maeda, 1, 13 Feng, 16 Castelli, 1 5/41
Modèle articulatoire Modèle 3D : représentation précise de la géométrie complexe Cavités nasales Voile du palais Modèle basé sur les données Modèle de surfaces d organes Voile du palais Parois du nasopharynx Cavités nasales Sujet unique 6/41
Démarche de modélisation Images 3D pour 46 articulations représentatives du français voyelles orales 4 voyelles nasales m, n, f, s,, p, t, k, l, [a,i,u] Détermination des 46 formes 3D de chaque organe préphonation repos Analyse linéaire Modèle de chaque organe 7/41
Images IRM 46 blocs 3D d images sagittales à caler Résolution 1 mm/px Visibilité des tissus mous Nécessité d une reconstruction 3D des structures rigides Pas de visibilité des structures osseuses /41
Images Tomodensitométriques 5 images sagittales 14 14 images axiales Résolution 0.5 mm/px Visibilité des structures osseuses Z 34 images coronales 6 4 1 16 14 Y 5 X 15 /41
Structures rigides Mâchoire Palais dur Sinus sphénoïdal Sinus maxillaires Mâchoire Palais dur Référence fixe Aide à l interprétation des IRM /41
Prétraitement des images IRM 1. Recoupe perpendiculaire des images [ ]. Superposition des structures rigides sur les IRM Calage dans un repère commun Meilleure interprétation des IRM /41
Structures déformables (1) 3. Tracés manuels : voile du palais paroi du pharynx Structures rigides superposées Structures déformables tracées 4. 46 formes 3D du voile du palais et de la paroi du nasopharynx [t a ] [i] [i] /41
Structures déformables () 4. Définition d un maillage générique 5. Déformation du maillage générique vers les 46 cibles articulatoires [pa].5 Voile du palais: 53 points Z.5 Z.5.5 7 3 1 0-1 Y - 14.5 X 14 X Paroi du nasopharynx: 1 points - 0-1 1 Y 46 articulations du corpus Cohérence entre le processus et les /41 déformations réelles?
Enregistrements EMA Articulographie Électromagnétique : enregistrement de la position d un point de chair dans le plan médiosagittal Corpus de parole dynamique: VCV (V=14, C=16).5.5.5.5.5 7.5 14 14/41
Liens maillages - EMA Détermination d un point équivalent EMA sur le maillage générique Z Déplacement de ce point par le processus de déformation du maillage 7 3 1 0 Y -1 - X 15 Validation de l approche..6 Y (cm).4...6.4.6...4.6. X (cm) Enregistrements EMA - ACP EMA 46 points du maillage déformé - ACP points du maillage 15/41
Les cavité nasales (1) IRM coronales Résolution 1 mm/px Visibilité des muqueuses 16/41
14 Grille -1. cm Milieu Droite Gauche 14 Grille 1.6 cm 14 Grille 4.4 cm 14 Grille -0. cm 14 Grille cm 14 Grille 4. cm 14 Grille -0.4 cm 14 Grille 0 cm 14 14 Grille.4 cm Grille. cm 14 Grille 5. cm Les cavité nasales () 14 Grille 5.6 cm Aires (cm ) 14 Grille 0.4 cm 14 14 Grille 0. cm 14 5 4 3 1 0 cm² 14 Grille 1. cm 0 4 6 Grille 3. cm Grille 3.6 cm Grille 4 cm Cavum Longueur (cm) Narines 14 Grille 6 cm 14 Grille 6.4 cm Aires transverses (IRM) 14 Grille 6.55 cm 0 15 5 5 1 cm² 14 Grilles (cm) Aires transverses (CT) 14 Grille 6.5 cm 14 Grille 7.35 cm Conforme 14 14 aux valeurs 14 14de Dang et al., 14 Grille 7.75 cm Grille.15 cm Grille.55 cm Grille.5 cm Aires inférieures à Bjuggren et Fant, 164 Seuil narinaire supérieur à House et Stevens, 156 17/41
Données articulatoires : bilan Calage de données de nature différente Maillages 3D des structures rigides Maillages 3D des tissus mous déformés pour 46 cibles articulatoires Voile du palais et paroi du nasopharynx Précision < 1 mm Cohérents entre eux pour une analyse statistique Données 3D statiques et EMA dynamiques cohérentes Seuil narinaire 1 cm² 1/41
Modélisation linéaire 46 observations représentatives de la tâche de parole: Voile du palais: 53 3 variables Paroi du nasopharynx: 1 3 variables Z [p a ] 7 3 1 0 Y -1 - X 14 Analyse en Composantes Principales Composantes principales Paramètres de contrôle du modèle Évaluation Pourcentage d explication de la variance des données par composante Erreur de reconstruction RMS du modèle en cm 1/41
1 er paramètre : VL ACP sur le voile du palais 3D VL: 1 er paramètre ACP Voile du palais Ex. Var. (%) (sur ± 1.5 cm) 3 % Erreur de reconst. RMS cum. (cm) 0.0 cm 1 paramètre dominant Paroi du pharynx 47 % 0.07 cm 14 Velum Levator 7 Kent, 17 6 4 6 14 VL = Velum Levator et Bourrelet de Passavant 0/41
Voile du palais Paroi du nasopharynx Plan médiosagittal 1 er paramètre : VL 1/41
ème paramètre : VS ACP sur le voile du palais 3D VS: ème paramètre ACP Voile du palais Paroi du pharynx Ex. Var. (%) (sur ± 1.5 cm) 6 % (cum. %) 5 % (cum. 5 %) Erreur de reconst. RMS cum. (cm) 0.06 cm 0.06 cm 14 7 6 4 6 14 Faible amplitude Actif sur l aire de couplage nasal /41
Voile du palais Paroi du nasopharynx Plan médiosagittal ème paramètre : VS 3/41
Représentation VL / VS VL VL 1.5 1 0.5 0-0.5 k i prephon k a f i a p u u su l u f u f a a i t i s i k u p i l i t u s a i t a i y a l a u e u ø p a o œ - -1 repos -1.5 m a m i n u œ n i n a - ã m u voyelles nasales voyelles orales consonnes nasales consonnes orales -.5 -.5 - -1.5-1 -0.5 0 0.5 1 1.5.5 VS VS + Nasalité 4/41
Liens modèle articulatoire 3D - EMA Enregistrements EMA - Point équivalent EMA du maillage Z VL. 15 7 3 1 0.6-1 - X Y - Modèle articulatoire - Point équivalent EMA.4. VS.5.5..5.5.4.6...4.6..5 7.5 14 Enregistrements EMA Correspondance des deux espaces 5/41
Contrôle du modèle à partir d EMA Inversion des paramètres VL et VS à partir du Point équivalent EMA Erreur RMS 3D = 0.07 cm Contrôle du modèle à partir des enregistrements EMA [p p p b p m ] Reconstruction 3D à partir d enregistrements dynamiques EMA D 6/41
Modèle tridimensionnel : bilan Modèle articulatoire à paramètres: VL : Voile du palais (3 %) + Paroi du nasopharynx VS : Voile du palais (6 %) Précision < 1 mm Cohérence enregistrements EMA + Modèle Corrélation D / 3D : erreur RMS de reconstruction du 3D à partir du D < 1 mm 7/41
Modèle acoustique Hypothèse: F < 5000 Hz Propagation plane Aires transverses Propagation le long de la ligne médiane cm 6 5 4 3 Fonction d aire [a] 6 1 4 4 6 14 16 [a] X 0 0 4 6 14 16 <-- Glotte cm Lèvres --> Analogie électrique 7 6 5 4 3 5 [a] 15-4 - 0 Y 4 Amplitude (db) 0 70 60 50 40 30 Fonction de transfert 0 0 500 00 1500 000 500 3000 3500 4000 4500 5000 Frequence (Hz) [a] /41
Les cavités nasales 17 16 3.5 3 Fonction d'aire Droite Gauche 15.5 14 Z Aire (cm ) 1.5 1 0 Aires (cm ) 5 4 3 1 0 Aires transverses (IRM) 4 5 6 7 0 4 6 Grilles (cm) Aires transverses (CT) - Y Droite Gauche db 5 0 15 5 0.5 0-0 4 6 Cavum Longueur Longueur (cm) (cm) Narines Rn1 = 700 Hz Rn = 300 Hz Rn3 = 300 Hz 0-5 0 500 00 1500 000 500 3000 3500 4000 4500 5000 Hz Seuil narinaire 1 cm² Résonance approximativement ¼ d onde Faible dissymétrie (R3) Hypothèse de constriction narinaire non vérifiée /41
Région vélaire : fonction d aire 16 15 14 16 15 14 16 15 14 nasal oral 4 6 Plan 1 4 6 Plan 4 6 Plan 3 4 a 16 15 14 16 15 14 16 15 14 3 NASAL 16 4 6 Plan 4 16 4 6 Plan 5 16 4 6 Plan 6 Aire (cm ) 1 0 1 voile du palais (modèle) paroi du nasopharynx (modèle) langue (fixe) 15 14 4 6 Plan 7 15 14 4 6 Plan 15 14 4 6 Plan 3 ORAL 4 0 0.5 1 1.5.5 3 3.5 4 4.5 <-- Glottte Longueur (cm) Bouche/Nez -> 4 Aire (cm²) 3 1 0-1 - -3-4 -5 NASAL ORAL cavités nasales Intégration dans un conduit oral fixe : [a, i, u,,, œ, ] voyelles cardinales voyelles nasales -6 0 4 6 14 16 1 0 Glotte Longueur (cm) Lèvres/Nez 30/41
Bornes articulatoires de la nasalité Configuration orale Configuration nasale Configuration nasopharyngée 4 3 NASAL 4 3 NASAL 4 3 NA S AL 1 1 1 0 0 0 cm -1 - cm -1 - cm -1 - -3-3 -3-4 -4-4 -5 ORAL -6 0 5 15 0 cm FCTR= D D L G -5 ORAL -6 0 5 15 0 5 FCTR = cm D L + D D G N -5 ORA L -6 0 5 15 0 FCTR= cm D D N G 31/41
Articulations extrêmes : basses fréquences 00 50 [i] Voyelles orales [u] 00 50 Voyelles nasales 300 300 350 350 400 400 F1 450 500 550 F1 450 500 550 [ ] [œ ] [ ] 600 600 [ ] 650 650 700 [a] 700 750 500 000 1500 F 00 500 750 500 Configuration orale Configuration nasopharyngée 000 1500 F 00 500 Zone nasale autour de 450 Hz 10 Hz 3/41
Couplage acoustique Résonances issues du couplage Résonances issues des formants oraux 10 un 160 140 Amplitude (db) 0 0 0 60 40 0 0 500 00 1500 000 500 3000 3500 4000 4500 5000 Fréquence (Hz) 33/41
VL : fonction d aire Fortes variations du port vélopharyngé 5 4.5 4 Aire Aire (cm²) (cm ) 3.5 3.5 1.5 aire = 0 cm² 0. cm² position > 1 cm 1 0.5 0-6 -5-4 -3 - -1 0 <-- Luette Longueur (cm) Cavum --> Luette Longueur (cm) Cavum Fortes variations orales Aire (cm ) Aire (cm²) 6 4 0 0 4 6 14 16 1 0 <-- Glotte Longueur (cm) Lèvres --> Glotte Longueur (cm) Lèvres 34/41
VL : acoustique nasopharyngé 160 140 [a nasopharyngé] pôle o zéro 0 Amplitude (db) 0 0 60 40 [a oral] 0 0 500 00 1500 000 500 3000 3500 4000 4500 5000 Fréquence (Hz) oral Variations des résonances issues des formants oraux jusqu à 30 % suivant la voyelle 35/41
VS : fonction d aire Fortes variations de l aire de couplage nasal 5 4.5 4 Aire (cm²) ) 3.5 3.5 1.5 aire = 0.1 cm² 0.6 cm² position = 0. cm 1 0.5 0-6 -5-4 -3 - -1 0 <-- Luette Longueur (cm) Cavum --> Luette Longueur (cm) Cavum Plus faibles variations orales a Aire (cm ) Aire (cm²) 6 4 36/41 0 0 4 6 14 16 1 0 Glotte Longueur (cm) Lèvres <-- Glotte Longueur (cm) Lèvres -->
Nomogrammes basse fréquence de VL et VS Variation de VL et VS dans la gamme des données autour de [a] [i] [u] 00 50 300 VL VL total [u] 00 50 300 VS VS total [u] F1 F1 350 400 450 500 [i] F1 F1 350 400 450 500 [i] 550 550 600 600 650 700 [a] 650 700 [a] 750 400 00 000 100 o Rn1 1600 1400 F 00 00 00 600 400 750 400 00 000 100 o Rn1 1600 1400 F F 00 00 00 600 400 Variations de la fonction d aire nasale Variations de la fonction d aire orale 37/41
Comparaisons simulations - enregistrements Enregistrements EMA + Acoustique synchrones Contrôle du modèle articulatoire Nomogrammes simulés Nomogrammes enregistrés [ ] [a] 5000 5000 4500 4500 4000 4000 Fréquence (Hz) 3500 3000 500 000 1500 Fréquence (Hz) 3500 3000 500 000 1500 00 00 500 500 0 0. 0.4 0.6 0. 1 1. 1.4 1.6 1. Temps (s) 0 0. 0.4 0.6 0. 1 1. 1.4 1.6 1. Temps (s) 3/41
Modélisation articulatori-acoustique : bilan Fonctions d aires réalistes du conduit nasal Cavités nasales: résonances en ¼ d onde Port vélopharyngé: VL (± 0. cm²) + VS (± 0.5 cm²) Région vélaire du conduit oral: VL Influence du couplage sur les basses fréquences Concentration dans une zone nasale autour de 450 Hz 10 Hz Variation des pôles sensibles à VL et VS Cohérence du modèle et des enregistrements dans les hautes fréquences 1 er formant nasal non obtenu dans les simulations 3/41
Conclusion Données articulatoires Utilisation croisée de données de nature différente Géométrie 3D des cavités nasales et du port vélopharyngé Modèle articulatoire 3D du port vélopharyngé: paramètres VL : paramètre dominant (Velum Levator) VS : paramètre de plus faible amplitude Corrélation forte entre les mouvements D et les formes 3D Caractérisation acoustique du geste articulatoire Fonctions d aire réalistes du conduit nasal Cavités nasales: hypothèse de constriction narinaire non vérifiée Influence de VL et VS sur les pôles bas 40/41
Perspectives Acoustique Propagation acoustique en 3D Origine du F1 nasal? Sinus? Comparaisons avec des enregistrements acoustiques + EMA Prise en compte d un éventuel couplage externe Synthèse articulatoire Intégration dans un modèle articulatoire complet Étude de la coordination voile du palais / langue / lèvres Contrôle du modèle à partir d IRM temps-réel Synthèse articulatoire et tests perceptifs Extension à d autres sujets Synthèse articulatoire à partir du texte 41/41
Merci!