Traitement du signal pour la reconnaissance vocale. Cours 5: Traitement du signal et reconnaissance de forme

Transcription

1 Traitement du signal pour la reconnaissance vocale Cours 5: Traitement du signal et reconnaissance de forme

2 Chaîne de Reconnaissance vocale Acquisition microphone Numérisation du signal Pré-traitement Tests et validation Classification et décision Extraction de paramètres Dictionnaire

3 Plan Numérisation du signal Fourier Reconnaissance de la parole Conclusion

4 Plan Numérisation du signal Fourier Reconnaissance de la parole Conclusion

5 Signal? Définition: codage et simplification d un message. un signal 1D est une fonction en général du temps s(t) signaux lumineux, sonores, etc ou spatial (2D, 3D images) A chaque instant t, on associe une valeur (amplitude). Le traitement, l analyse, et l interprétation des signaux sont regroupés dans la discipline appelée traitement du signal.

6 Différents secteurs et différentes branches Les signaux sont présents dans différents secteurs (électronique, optique, audiovisuels, informatiques ). Quelques branches particulières qui nous intéressent. - traitement d image (déjà vu) - traitement de la parole

7 Signaux Signaux analogiques: signaux produits de manière naturelle, continus (capteurs, amplificateurs, CNA) traitement réalisé par circuits électroniques, (ou manuellement) Signaux numériques: signaux utilisés dans le traitement informatique, discrets, facilité et rapidité de traitement. Ils sont artificiels traitement réalisé par micro-ordinateurs, DSP (microprocesseurs spécialisés)

8 Problème en reconnaissance de parole Acquisition microphone Signal analogique Traitement de la parole Signal numérique Conversion analogique numérique (CAN)

9 Exemple Signal analogique U(t) signal continu (représentation par une courbe) Signal numérique U t valeurs non continues (représentation par un histogramme)

10 Conversion analogiquenumérique (1) La conversion analogique- numérique se décompose en général en deux actions: - l échantillonnage (on prélève la valeur du signal à une fréquence définie) - la quantification (on affecte une valeur numérique à chaque échantillon prélevé)

11 Qualité de la CAN La qualité du signal numérique dépend donc: - Taux d échantillonnage (ou fréquence d échantillonnage) plus la fréquence est grande, plus la qualité du signal numérique est bonne. - le nombre de bits sur lequel on code les valeurs (phase de quantification)

12 Echantillonnage Qui dit échantillonnage dit perte d information. Si fréquence très faible espace très grand entre deux données grosse perte d informations Si fréquence trop grande information stockée inutile gaspillage de l espace de stockage Fréquence d échantillonnage: fréquence à laquelle les données sont enregistrées ou capturées (Hz nombre de valeurs par seconde).

13 Théorème de Shannon fréquence de Nyquist Pour pouvoir échantillonner un signal, il faut fixer une fréquence d échantillonnage au moins égal au double de la fréquence du signal fréquence limite = fréquence de Nyquist (théorème de Shannon) Signal sinusoïdal fréquence du signal: pas de problème

14 Exemple: signal sinusoïdal T Signal analogique (f = 10 Hz) échantillonnage à 20Hz (=2f) cas parfait si on part du maximum Sous échantillonnage à 10Hz

15 Signal périodique non sinusoïdal On applique le théorème de shannon mais quelle fréquence choisir? Signal peut être décomposé en signaux sinusoïdaux dont la fréquence est le multiple d une fréquence fondamentale (largeur de bande) Fréquence de Nyquist = 2*plus haute fréquence

16 Phénomène d aliasing Sous-échantillonnage (restitution d un faux signal) phénomène d Aliasing (ou de repliement)

17 Quantification (1) Chaque valeur est quantifiée sur un certain nombre de bits par rapport à la valeur réelle du signal analogique. Nombre de bits disponibles est important pour quantifier la valeur du signal à un temps t. Plus le nombre est élevé, plus la quantification est de qualité

18 Quantification (2) Quantification - sur 1 bit (2 valeurs) - sur 8 bits = 1 octet (256 valeurs) - sur 16 bits = 2 16 valeurs les quantifications se font en général sur 16 bits

19 Plan Numérisation du signal Fourier Reconnaissance de la parole Conclusion

20 Fourier? Joseph Fourier (mathématicien du XIXème sicèle) Séries de Fourier (par extension, transformée de Fourier et transformée de Fourier discrète) base de toute la théorie de traitement du signal

21 De façon mathématique Signal périodique (période T) = somme pondérée de signaux sinusoïdaux f ( t) = n= 0 [ a n cos 2πnt T + b n sin 2πnt T ] 1/T : fréquence fondamentale (on utilise souvent =2/T) n/t: harmonique a n et b n coefficients pondérateurs de Fourier

22 Exemples (1) Somme pondérée de deux signaux de fréquence f et 3f (H3) signal résultant (b): addition point par point des deux courbes de (a).

23 Exemples (2) Meilleure approximation d un Signal carré f(t): décomposition de la façons suivante f ( t) = sin( ϖ t) + 0cos(2ϖt ) + sin(3ϖ t) + 0cos(4ϖt ) + sin(5ϖ t) sin(23ϖ t)

24 Analyse spectrale (1) Représentation des amplitudes des différentes harmoniques (n=1,3,5,7 23) d un signal analyse spectrale.

25 Analyse spectrale (2) Note de musique: harmoniques différentes pour le son du diapason (La pur), son d une guitare, son de cymbale.

26 Remarque (1) Etant donné que les séries de Fourier sont une décomposition en cosinus et sinus, on utilise souvent la notation complexe: 2π int f ( t) = Fn exp( ) T n= Avec F n =(a n +ib n )/2 et F -n =(a n -ib n )/2

27 Remarque (2) A partir de l équation précédente, les coefficients de Fourier se calculent de la façon suivante: T 1 2π int Fn = f ( t)exp( ) dt T T T / 2 / 2 Le nombre de descripteurs de Fourier calculés ainsi est en théorie infini

28 Interprétation Plus n est grand, plus les fonctions sinusoïdales varient rapidement. une fonction lisse (c.a.d qui ne varient pas beaucoup) aura des coefficients a n et b n qui prendront rapidement (hautes fréquences) des valeurs faibles une fonction très perturbée et très changeante (ou bruitée) auront des composantes importantes dans les hautes fréquences.

29 Transformée de Fourier (1) Souvent fonctions non périodiques et non bornées, la transformée de Fourier permet de généraliser le concept de séries de Fourier à ce type de fonction: F ( υ π υ ) = f( t)exp( 2 i t) dt On peut noter le changement de variable = n/t, ce qui explique la disparition du facteur 1/T avant la somme.

30 Interprétation De façon peu rigoureuse, on pourrait considérer un signal analogique non périodique comme un signal dont la période tendrait vers l infini, la fréquence tendrait alors vers 0 (dν) et on obtient un spectre de Fourier continu appelé spectre de bande (et non un spectre de raies):

31 Exemple de spectre de bande

32 Vers la transformée de Fourier discrète En pratique, signal non borné: très rare! on définit une fenêtre d application [-T/2,T/2] Échantillonnage à une fréquence f telle que T=K/f F n = ( / 2) 1 1 K k = K / 2 K f K exp( 2πink K )

33 Remarque Le signal numérique est décomposé en K segments. Le nombre total de coefficients de Fourier sera K. En traitement de signal, on utilise la FFT (Fast Fourier Transform) qui, sous certaines conditions, permet d accélérer le calcul

34 Pour en revenir à l échantillonnage On fait un échantillonnage à très haute fréquence f e Toutes les fréquences supérieures à f e /2 sont éliminées: filtre anti-aliasing Exemple: Pour un CD (fréquence 44,1 khz), il ne faut pas de sons supérieurs à 22 khz (L oreille humaine capte au maximum à 20 khz).

35 Exemple de FFT et théorème de Shannon Spectre de bande, coupure à f e /2

36 Plan Numérisation du signal Fourier Reconnaissance de la parole Conclusion

37 La reconnaissance vocale Applications de la reconnaissance vocale: - commande vocale: mots isolés, petit vocabulaire. - compréhension: signification d un petit message en parole continue - dictée: retranscription du texte sans compréhension - Identification ou vérification du locuteur

38 Comment ça marche? Même méthodologie que reconnaissance de forme: - Pré-traitement - Segmentation - Extraction de caractéristiques - Classification - Décision

39 Mais. Continuité: difficulté de séparer les mots ou les phonèmes dans un signal (les silences ne remplacent pas les blancs) Variabilité (effets plus importants que sur document visuel): - plusieurs locuteurs (timbre de voix, âge) - pour un même locuteur (émotions, voix enrouée, chants..) - rythme de la dictée (temps plus ou moins long pour dire la même chose) - bruit extérieur

40 Deux approches Approche globale: reconnaissance de mots. Plus facile mais limité par le vocabulaire, la taille mémoire et le temps de calcul. Approche analytique: reconnaissance de phonèmes, de sons, plus difficile à mettre en place mais plus puissant

41 Pré-traitement du signal Signal parlé: onde non stationnaire (pas les mêmes caractéristiques statistiques au cours du temps. On découpe le signal en fenêtre temporelle (quelques ms) On analyse chaque fenêtre temporelle

42 Exemple

43 Segmentation (en mots ou phonèmes) Les mots sont marqués par des silences plus ou moins longs Reconnaissance de mots isolés: facile Reconnaissance de mots dans une parole continue: bien articuler et distinguer les mots Reconnaissance de phonèmes: très difficile (changement de rythmes, rupture en fréquence )

44 Extraction de l empreinte du signal Identifier une empreinte caractéristique du son émis - analyse spectrale - analyse par prédiction linéaire - analyse par coefficients cepstraux

45 Analyse spectrale Au cours du temps (par fenêtre temporelle), on fait une FFT On peut tracer un graphique temps/fréquence/ amplitude Sonagramme. L amplitude est donnée par les niveaux de gris Les coefficients de Fourier par fenêtre temporelle sont des caractéristiques du signal

46

47 Analyse par prédiction linéaire Approximation du signal par un modèle suivant les échantillons précédents Le signal est alors modélisé par une combinaison linéaire pondérée des échantillons précédents. s n = a s... 1 n 1 + a2sn a p s n p Les différents coefficients servent de caractéristiques

48 Analyse par cepstres Cepstre: passage du domaine temporel à un autre domaine temporel Pour un signal x(t), on obtient les coefficients cepstraux exprimés en quéfrences par: 1 c( T ) = F (log10 ( F( x( t))) Les coefficients cepstraux sont des caractéristiques du signal.

49 Mesure de ressemblance Calculer la ressemblance entre un mot (ou un phonème) et les mots ou les phonèmes d un dictionnaire Critères statistiques (ou euclidiens) déjà vus en reconnaissance de forme

50 Mais Si un locuteur prononce deux fois le même mot. Il y aura des différences de rythme (temps). Comparaison dynamique (DTW: dynamic Time Warping)

51 La DTW Création d une fonction qui met en correspondance les évolutions temporelles. Problème, le réajustement est souvent long. La DTW est très utilisée pour la reconnaissance de mots isolés

52 Modèles statistiques Type Bayes: Probabilité d appartenance à un classe. Très bien pour les mots isolés ou les phrases très simples Problème: le modèle statistique bayésien n est pas assez puissant.

53 Exemple Reconnaissance de phonèmes: Phonème Extraction de caractéristiques Identification du phonème (problème de coarticulation) Identification du phonème à l intérieur d un mot: comparaison avec d autres mots

54 HMM et Réseaux de neurones Chaines de Markov Cachées (HMM): méthode statistique très élaborée très utilisées car permet de mettre en correspondance le phonème identifié et le langage proprement dit. Méthodes neuronales: moins utilisées en reconnaissance de forme mais petit à petit on y vient.

55 Système mono et multi-locuteurs Caractéristiques du signal très liées au locuteur. - Développement de systèmes monolocuteur, une personne fait un apprentissage et fournit ainsi son empreinte vocale fort taux de reconnaissance, limité à une personne - Développement de systèmes multi-locuteurs, on moyenne l empreinte vocale de tout le monde taux de reconnaissance plus faible

56 Différences globales/analytiques Taille du vocabulaire (>1000) Apprentissage cout Mutlilocuteur Mots isolés dictée Globale - + (qq mots)/ - (grand mot) ++ +/ analytique

57 Conclusion traitement du signal Traitement numérique du signal: Analyse de Fourier et notions de filtrage sont les bases. Murat Kunt «Techniques Modernes de Traitement numérique des Signaux», Presse Polytechniques et Universitaires Romandes, Lausanne, 1991.

58 Conclusion et Avenir de la reconnaissance de parole Principe similaire à la reconnaissance de forme Les méthodes de reconnaissance de parole sont encore loin d être optimales malgré l apport des HMM Problèmes de segmentation, de reconnaissance de phonème, de bruit, d usage multi locuteurs

59 bibliographie Traitement de la parole: Mariani J. (: Reconnaissance de la parole : Traitement automatique du langage parlé, Lavoisier Boîte R., Bourlard H., Dutoit H., Hancq J., Leich H.; Traitement de la parole, Presse Polytechnique Universitaires Romandes, Chaines de Markov Frederick Jelinek Statistical Methods for Speech Recognition MIT Press, 1998.

60 Bibliographie (2) Réseaux de neurones Jodouin J.F (1994) les réseaux de neurones: principe et définition. Hermès, Paris, France Renders J.M. (1995) Algorithmes génétiques et réseaux de neurones. Hermès, Paris, France ique.html Statistiques Dodge Y. (1993) Statistique. Dictionnaire encyclopédique. Dunod, Paris, France Saporta G. (1990) Probabilités, analyse des données et statistique. Editio SCHERRER B. (1984) - Biostatistique - Gaëtan Morin (ed.), C.P. 965, Chicoutimi, Québec, Canada.