Hélène Lœvenbruck, Christophe Savariaux, Dorothée Lefebvre

Transcription

1 TRAP : TRAITEMENT DES SIGNAUX DE PAROLE Hélène Lœvenbruck, Christophe Savariaux, Dorothée Lefebvre Institut de la Communication Parlée

2 Les différents signaux traités Des signaux acoustiques formats : EMA, EPG, ISIS, WAVE, Binaire Matlab Des signaux obtenus par électromagnétométrie (Carstens EMA) TRAP v3 : 5 bobines (dont une est la référence) TRAP v4 : 10 bobines (dont 2 de référence) positions (x, y) et tilt de chaque bobine dans un fichier.0xx (v3) ou.mat (v4) signal acoustique dans un fichier.mxx ou.wav Des signaux obtenus par électropalatographie (Kay EPG) activités de chaque électrode enregistrées, et signal acoustique, dans un fichier format RIFF.nsp configuration du palais dans un fichier.usr Des signaux de mesures de tous types mesures stockées dans un fichier ASCII (e.g. paramètres TACLE)

3 Les différents signaux traités Des signaux acoustiques Des signaux obtenus par électromagnétométrie (Carstens EMA) TRAP v3 : 5 bobines (dont une est la référence) TRAP v4 : 10 bobines (dont 2 de référence) positions (x, y) et tilt de chaque bobine dans un fichier.0xx (v3) ou.mat (v4) signal acoustique dans un fichier.mxx ou.wav Des signaux obtenus par électropalatographie (Kay EPG) activités de chaque électrode enregistrées, et signal acoustique, dans un fichier format RIFF.nsp configuration du palais dans un fichier.usr Des signaux de mesures de tous types mesures stockées dans un fichier ASCII (e.g. paramètres TACLE)

4 Les différents signaux traités Des signaux acoustiques Des signaux obtenus par électromagnétométrie (Carstens EMA) TRAP v3 : 5 bobines (dont une est la référence) TRAP v4 : 10 bobines (dont 2 de référence) positions (x, y) et tilt de chaque bobine dans un fichier.0xx (v3) ou.mat (v4) signal acoustique dans un fichier.mxx ou.wav Des signaux obtenus par électropalatographie (Kay EPG) activités de chaque électrode et signal acoustique, dans un fichier format RIFF.nsp configuration du palais dans un fichier.usr Des signaux de mesures de tous types mesures stockées dans un fichier ASCII (e.g. paramètres TACLE)

5 Les différents signaux traités Des signaux acoustiques Des signaux obtenus par électromagnétométrie (Carstens EMA) TRAP v3 : 5 bobines (dont une est la référence) TRAP v4 : 10 bobines (dont 2 de référence) positions (x, y) et tilt de chaque bobine dans un fichier.0xx (v3) ou.mat (v4) signal acoustique dans un fichier.mxx ou.wav Des signaux obtenus par électropalatographie (Kay EPG) activités de chaque électrode enregistrées, et signal acoustique, dans un fichier format RIFF.nsp configuration du palais dans un fichier.usr Des paramètres TACLE (A, B, S, etc.)

6 Les différents signaux traités Des signaux acoustiques Des signaux obtenus par électromagnétométrie (Carstens EMA) TRAP v3 : 5 bobines (dont une est la référence) TRAP v4 : 10 bobines (dont 2 de référence) positions (x, y) et tilt de chaque bobine dans un fichier.0xx (v3) ou.mat (v4) signal acoustique dans un fichier.mxx ou.wav Des signaux obtenus par électropalatographie (Kay EPG) activités de chaque électrode enregistrées, et signal acoustique, dans un fichier format RIFF.nsp configuration du palais dans un fichier.usr Des paramètres TACLE (A, B, S, etc.) Des mesures de tous types (format ASCII)

7 Principe général Développement sous Matlab. Fonctionnement en mode interactif ou en mode commande. Fenêtre principale + fenêtre synchrone synchronisée par un curseur temporel.

8 Le menu Principal et la barre d outils Fichier Options Traitement acoustique Traitement EMA Traitement EPG Ouvrir ð Acoustiqueð Détection F0 ð Trajectoire Sélection des régions Charger EMA ð Intensité ð Vitesse Sauvegarder étiquettes régions Enregistrerð EPG ð Filtrage ð Vitesse Taux de tangentielle constriction Quitter Mesures/ FFT LPC ð Accélération Trajectoire Params ð EPG ð Cepstre ð Coupe sagitt Vitesse Formants ð Animation Accélération Spectrogramme ð Repérage ð Palais ð Afficher Signal Facteurs Tilt Repérage ð Ecouter Traitement Mesure/ Param Trajectoire Vitesse Accélération Repérage ð Fenêtres Principale ð Synchroneð Couper Ecouter Copier Coller (dé)zoomer Marquer Eff. étiq. Eff. rep. o Superposer Titre

9 Traitement des signaux acoustiques Filtrages passe-haut et passe-bas appel toolbox Matlab Intensité (RMS) calculée sous Matlab Spectrogramme appel toolbox Matlab Détection de la fréquence fondamentale (F0) appel programme C Détection des formants calculés sous Matlab (Merci à Solange Rossato et Gang Feng) Cepstre calculé sous Matlab (Merci à Laurent Girin et Gang Feng)

10

11

12 Traitement des signaux EMA Mise en forme des données Rotation des trajectoires afin que le palais dur soit horizontal (v3) Normalisation par rapport à la bobine de référence (v3) Filtrage passe-bas Trajectoire (position) de chaque bobine en x ou y Vitesse Accélération Repérage des minima et maxima de position, vitesse ou accélération sur toute la fenêtre ou bien entre 2 instants sélectionnés Repérage des passages par zéro (idem) Calcul de la valeur moyenne (idem) Coupe Sagittale Animation des bobines

13

14 Coupe Sagittale

15 Animation des bobines

16 Traitement des signaux EPG Sélection de régions d intérêt Calcul et affichage du taux de constriction dans une région calcul du pourcentage d électrodes contactées sur le nombre d électrode appartenant à une région. Vitesse du taux de constriction Accélération du taux de constriction Repérage des minima et maxima de position, vitesse ou accélération sur toute la fenêtre ou bien entre 2 instants sélectionnés Repérage des passages par zéro (idem) Calcul de la valeur moyenne (idem) Visualisation des contacts sur le palais à l instant du curseur Visualisation d une série de palais aux instants avant et après le curseur

17 La sélection d une région d intérêt Elect Row Col Channel TG1 TG2 TG3 TG4 TG5 TG6 TG7 TG8 TG9 T10 T11 T12 T13 T14 T15 T16 T17 T ***** PROMPTS ***** TG1 ( 5) : front TG2 ( 4) : back T18 ( 4) : NONE Fichier.usr On sélectionne une électrode en cliquant dessus Possibilité d enregistrer ces modifications dans le fichier.usr

18

19 Traitement des mesures de tous types Affichage de la position Calcul de la vitesse Accélération Repérage des minima et maxima de position, vitesse ou accélération sur toute la fenêtre ou bien entre 2 instants sélectionnés Repérage des passages par zéro (idem) Calcul de la valeur moyenne (idem)

20

21 Autres fonctionnalités Exemples : étiquetage des signaux et zoom