Rapport Soutenance 1

Transcription

1 Les Retrouvés EPITA Cycle préparatoire SPE 2018 Rapport Soutenance 1 Membres du groupe: Alexis yang(chef de projet) Emmanuel andriot Alexandre abita Marius tanawa

2 Contents 1 Introduction 2 2 Prétraitement Acquisition du Signal, filtrage et échantillonnage Préaccentuation Ségmentation Fenêtrage Analyse du signal Objectif principal Fast Fourier Transform Implementation de la FFT Analyse des coéfficients Cepstraux Ressources Externes Gnuplot Sndfile Git Site web 15 6 Conclusion 16 1

3 1 Introduction Nous avons donc décidé de réaliser un logiciel de navigation de linux par commande vocale. Pour cette soutenance, nous avions prévu de réaliser un prétraitement entièrement opérationnel, une analyse du signal et un site web, que nous compléterons au fur et à mesure. Dans ce rapport, nous vous détaillerons le traitement qu effectuent chaques parties, leurs utilités, ainsi que leurs limites. Nous vous expliquerons aussi les outils que nous avons utilisés et les difficultés que nous avons rencontrées. La réalisation de ce projet commence par la documentation. En effet, aucun d entre nous dans le groupe avait de vrai connaissance en matière de traitement du signal sonore encore moins en matière de reconnaissance vocale. Il était donc impératif de nous renseigner, de comprendre et d assimiler le fonctionnement du traitement du signal sonore à commencer par savoir ce qu est un signal sonore analogique et numérique. Selon nous la plus grande difficulté était de se documenter car nous partions sans aucune connaissance. Compte tenu de la diversité des sources et des multitudes techniques de reconnaissance vocale. Il nous a fallu la majorité du temps imparti jusqu à la première soutenance pour décider de la méthode que nous allons entreprendre. En addition avec la documentation, nous était posée une autre problématique. Nous devions nous pencher sur les bibliothèques externes que nous allons utiliser, de préférence celles qui sont efficaces et qui permettent à nous faire parvenir à notre objectif. 2

4 Pour rappel nous avions prévu un avancement dans le projet selon ce tableau: Tâche Alexis Emmanuel Marius Alexandre Filtrage et échantillonnage 50% 50% Préaccentuation 50% 50% Ségmentation 50% 50% Fenêtrage 50% 50% Analyse à court terme 50% 50% Analyse du signal 50% 50% Site Web 10% 10% 10% 10% Cependant un des membres de l équipe a eu la bonne idée de casser son pc durant la phase de coadage, ce qui nous a pas mal handicappé mais la solidarité de l équipe nous a permis d essayer de gérer au mieux cette difficulté. Nous avons donc un avancement qui peut se représenter par le tableau suivant: Tâche Alexis Emmanuel Marius Alexandre Filtrage et échantillonnage 50% 50% Préaccentuation 50% 50% Ségmentation 60% 40% Fenêtrage 60% 40% Analyse du signal 35% 35% Site Web 10% 10% 10% 10% 3

5 2 Prétraitement Le prétraitement a pour objectif de convertir un signal analogique en signal numérique à travers un filtrage et un échantillonnage. Nous obtenons un certain nombre d échantillons qui correspond à notre signal sonore numérique sur lesquels l intégralité des autres traitements seront effectués. Par exemple, la préaccentuation traitera sur nos échantillons. Vient ensuite la ségmentation qui découpe les échantillons en trames, chacunes d entre elles constituant N échantillons de manière à ce qu il y ait une durée de 20 à 30ms de son entre chaques trames. L étude se fera sur chacune de ces trames à l aide d une fenêtre de Hamming. Dans laquelle nous appliquons une transformation de fourier. 2.1 Acquisition du Signal, filtrage et échantillonnage Cette partie correspond à la conversion d un signal analogique à un signal numérique. Au début, nous avons choisi d utiliser la bibliothèque fmod dans laquelle nous nous étions intéressé sur la possibilité d obtenir le spectre du signal. Alexis: J ai rencontré pas mal de difficultés rien que pour comprendre le fonctionnement de la bibliothèque. J obtenais des valeurs incohérentes... Puis, après avoir compris les fonctionnalités de la bibliothèque et son fonctionnement, il m était impossible de visualiser comment nous allons procéder avec cette bibliothèque, il était évident pour moi qu il fallait modifier notre approche, en effet fmod nous permettait de récupérer le spectre du signal sonore en fonction du temps. J obtenais donc un tableau de valeurs qui correspondait aux valeurs en décibels sur une échelle de fréquence. Ce tableau était ensuite mise à jour dans le temps. Cela correspondait à une transformation de fourier dans le temps. Cela ne correspondait pas à nos attentes car il était au final impossible d effectuer des traitement avant d obtenir les valeurs des fréquences. Nous nous sommes donc penché sur sndfile qui nous permet récupérer un signal sonore, de le filtrer et l échantillonner. Nous obtenons donc un tableau d échantillons prêt à être traité. Le nombre d échantillons obtenu correspond à la fréquence d échantillonnage multiplié par le temps de parole en secondes. Voici donc le résultat de l acquisition du signal: 4

6 Nous avons donc un signal variable dans le temps. 5

7 2.2 Préaccentuation La préaccentuation est une technique utilisée dans le traitement d un signal de la parole pour augmenter les hautes fréquences du signal. Cela réduit l échelle du spectre dynamique. Ainsi, en appliquant la préaccentuation, le spectre est applatie, et comprend des formants de hauteurs similaires. On désigne par formant (acoustique) d un son de parole l un des maxima d énergie du spectre sonore de ce son de parole. Sur les graphes suivants, on remarque bien que le signal a été applatie. Il s agit du son non. A gauche, le signal avant la préaccentuation. A droite, après. La préaccentuation est implémentée grace à une fonction définit ainsi: S n = E(n) αe(n 1) α est le coefficient de préaccentuation, sa valeur est généralement compris entre 0.9 et

8 2.3 Ségmentation L étude d un signal sonore opère sur un signal stationnaire or le signal vocal est non stationnaire. Pour remédier à ce problème, on effectue l analyse du signal sur des trames successives de parole de durée relativement courte, sur lesquelles le signal peut être considéré comme quasi-stationnaire. Le signal préaccentué est ainsi découpé en trames de N échantillons de parole. En général N est fixé de telle manière à ce que chaque trame corresponde à environ 20 à 30 ms de parole. Le principe est simple. Nous connaissons la quantité d échantillons disposée, la fréquence d échantillonnage (qui correspond au nombre d échantillons en une seconde). Il suffit de diviser cette fréquence d échantillonnage par 50 pour obtenir le nombre d échantillons représentant 20ms de temps de parole. Il nous reste plus qu à placer chaque élément dans sa trame respective. Alexis: La seule difficulté que j ai pu rencontré, est la possibilité de perte de donnée, en effet si la fréquence d échantillonnage n est pas divisible par 50, nous risquons de perdre une quantité non négligeable d échantillons. En général, la fréquence d échantillonnage est égal à 44100hz, des optimisations sont peut-être nécessaires dans la présence d un cas particulier. Il peut y avoir un autre problème qui peut être la cause d une petite marge d erreur, en effet la dernière trame d échantillons n est pas forcément entièrement remplie, cela reste incertain cependant je ne sais pas si cela affectera l analyse du signal. Voici donc un des segment que nous obtenons. Il représente 20ms de paroles. 7

9 2.4 Fenêtrage La reconnaissance vocale via la FFT utilise ce qu on appelle une fonction de fenêtrage. Le fenêtrage est utilisé sur chaque encadrement pour lisser le signal et ainsi de le rendre plus lisible pour l analyse spectrale. Le fenêtrage de Hamming est une fonction de fenêtrage utilisée la plus part du temps pour l analyse vocale afin de réduire les changements soudains de fréquence (indésirable) survenant lors de la reconnaissance vocale. La fonction de Haming est définie par : w(k) = cos[2pik/L-1] où L représente la largeur de Sn et k un entier dont la valeur est comprise entre 0 = k = L-1. Le résultat du secteur fenêtré est défini par : x(k) = Sn * W(k) où Sn est la fonction du signal et w(k) est le fenêtrage. Considérant le DTT comme étant le coefficient, le fenètrage est inefficace lorsque les données de l échantillon sont multpiliées par une valeur proche de zéro. Toute transition durant cette partie du fenêtrage, sera perdue vu que le spectre n est plus en temps réel. Dans cette étude, un échantillon de signal de parole est fenêtré en 4 frames. Chaque fenêtre est constitué de 1024 échantillons qui représentent le signal vocal. 8

10 3 Analyse du signal Comme précedemment indiquée dans le cahier de charges, l analyse du signal est un procédé complexe qui est de nos jours constamment étudié. C est pour ça qu aujourd hui il existe plusieurs méthodes mathématiques qui ont été approfondi pour l aboutir.dans notre projet, nous avons rescencé trois méthodes mathématiques mais n avons retenu qu une seule. Pour commencer il existe la FFT. Fast Fourier Transform (FFT) est la technique traditionnelle pour analyser le spectre de fréquence du signal de reconnaissance de la parole. Les signaux vocaux basés sur la transformée de Fourier sont couramment utilisés dans la reconnaissance vocale. L opération de reconnaissance vocale nécessite de lourds calculs en raison de grands échantillons par fenêtre. En outre, la FFT se compose de domaine complexe informatique. FFT est une technique de base pour le traitement du signal numérique applicable pour l analyse du spectre. Elle est souvent utilisée pour calculer des approximations numériques à Fourier continue. Cependant, une application directe de la FFT au calcul nécessite souvent une grande FFT à effectuer, même si la plupart des données d entrée à la FFT peut être égal à zéro. Une autre transformation est celle cosinus discrète (DCT). DCT est une transformation discrète dont le noyau est défini par la fonction cosinus. Il ne est pas populaire à utiliser dans la reconnaissance de la parole, mais il produit une représentation du signal de parole et le spectre analyse claire. Par contre la DCT ne produit pas clairement le troisième formant en reconnaissance de la parole. 9

11 3.1 Objectif principal Il est important de comprendre d abord quel est notre but dans l analyse du signal. Que recherchons-nous avant de nous lancer dans l analyse? Le but principal de cette partie est d extraire des paramètres qui sont indicatifs des sons de parole émis. En effet, dans un signal sonore, nous pouvons obtenir de nombreux paramètres pouvant indiquer, l âge du locuteur, son gendre voire son état émotionnel. Ici nous nous intéressons principalement aux paramètres qui vont nous indiquer les mots prononcés. Pour cela, nous allons nous pencher sur le terme de formant acoustique. Un formant acoustique désigne la fréquence de résonance maximum de l enveloppe spectrale du signal de la parole à un instant donné. Les formants sont mesurés sur des segments de parole très courts, et ils sont donc variables au cours du temps, dépendant du phonème prononcé, du contexte phonétique et de la manière dont il est prononcé. On numérote les formants (qui sont donc les maxima du spectre sonore) en allant des basses fréquences vers les hautes fréquences. 10

12 3.2 Fast Fourier Transform Théorème de Fourier : Toute fonction continue est décomposable en série de FOURIER. Si de plus cette fonction est périodique de période T, le nombre de termes de la décomposition est fini. On peut alors écrire la fonction comme une somme de sinus (ou de cosinus) f(t) = A0 + A1sin(2πt/T ) + A2sin(4πt/T ) Ansin(2nπt/T ) où A i est le coefficient de la série de FOURIER à la fréquence f i = i. Dans la pratique T cela veut dire que l on peut décomposer notre fonction comme une somme de sinus (cosinus) de périodes multiples de la période de base de notre fonction. Les coefficients représentent alors (si on se débrouille bien dans notre calcul) le niveau énergétique de chacune des fréquences élémentaires. L application principale de l analyse FFT est donc la mise en évidence des périodicités du signal et le calcul de l énergie contenue dans le signal pour chacune des fréquences. Aussi, l analyse FFT sert à observer des signaux qui ne sont pas périodiques (aléatoires par exemple). Cette extension de capacité du calcul FFT, qui n est pas naturelle pour ce type de signal, appelle à la plus grande prudence dans l interprétation des résultats. La transformée de Fourier est une des méthodes (la plus utilisée aujourd hui) pour représenter un phénomène temporel dans le domaine fréquentiel. Cette représentation fréquentielle est une image parmi d autres possibles du phénomène étudié. Il existe d autres méthodes plus complexes mais plus efficaces. La compréhension de la FFT aide cependant à mieux les comprendre. FFT est un algorithme efficace qui peut effectuer la transformée de Fourier discrète (DFT). FFT est appliquée afin de convertir les signaux de domaine de temps dans le domaine fréquentiel. La séquence de nombres complexes. représente un signal de domaine de temps donné l équation suivante définit la transformée de Fourier rapide de x(i) : X(k) = n=1 x(j)e ( 2πi(j 1)(k 1)) N où 0,..., 1, est l échantillon à l index de temps et est le nombre imaginaire 1. est un vecteur de N valeurs à l indice de fréquence correspondant à l amplitude des ondes sinusoïdales provenant de la décomposition du temps indexé signal. La FFT inverse est donnée par l équation suivante: x(j) = 1 N n=1 X(k)e ( 2πi(j 1)(k 1)) N 11

13 La technique de FFT a aussi des limitations de performance du procédé. FFT est une transformation complexe qui fonctionne sur un nombre imaginaire et algorithme particulier. Ce est une exponentielle complexe qui définit une sinusoïde avec une fréquence complexe et elle n a pas changé ou mis à niveau. 3.3 Implementation de la FFT X(k)est transformée en simple valeur (réelle ou complexe) x n est une simple valeur d entrée (réelle ou complexe) 01c97907fd6a256b98534a0d3a6f2674.ssl.cf5.rackcdn.com/jqnncmqsjjxx/page/de287aa63dc268 On construit la fonction FFT qui prend trois paramètres qui suit fft(n, x, X); Paramètres: N: Nombre de points dans la FFT (doit être égale à 2 n ) pour un entier n >= 1) x: Pointeur sur N time-domain échantillons données sur leur forme rectangulaire (Re x,im x) X: Pointeur sur N frequency-domain échantillons données sur leur forme rectangulaire (Re X, Im X) De même la fonction ifft avec les mêmes paramètres est définie, on calcule l inverse de fft qui suit ifft(n, x, X), dans ce N et X sont donnés et c est x qui est calculée. 12

14 3.4 Analyse des coéfficients Cepstraux Le cepstre est une méthode qui se fonde sur la transformée de Fourier mais qui, grâce à une méthode efficace, permet d isoler la fréquence initiale du fondamental de la transformation qui a été opérée par le conduit convolué avec une fenêtre mobile. Une première transformée defourier est alors calculée pour obtenir un spectre du signal de parole. Ces coefficients sont ensuite transformés par logarithme module. La convolution étant un opérateur multiplicatif, ce passage par les logarithmes permet de transformer les coefficients dans un espace additif. Une transformée de Fourier inverse permet alors d obtenir un cepstre dont un coefficient représente le fondamental, les autres coefficients permettant d obtenir le spectre de la convolution effectuée sur le fondamental. Cette méthode de calcul des cepstres est élémentaire. Le principe est simple, nous appliquons le logarithme de base 10 sur le module complexe du signal résultant de la FFT et nous effectuons une FFT inverse. Un liftrage est ensuite effectué pour augmenter la robustesse des coefficients cepstraux. Celiftrage consiste à multiplier des coefficients cepstraux par une fenêtre de poids W(k) pour être moins sensible au canal de transmission et au locuteur. Alexis: L analyse complète du signal est en cours de finition, et, parce qu elle n est pas entièrement opérationnel, nous ne l avons pas implémenter. Après avoir obtenu les coéfficients cepstraux, il faut passer ces coéfficient à travers un filtre de Mel, puis, récupérer les paramètres acoustiques qui nous intéressent. Nous avons donc un léger retard à ce niveau, car je n ai pas encore bien maitrisé et compris comment nous pouvons y parvenir. 13

15 4 Ressources Externes 4.1 Gnuplot Pour afficher les signaux sous forme de graphes, nous avons utilisés le logiciel libre gnuplot. Gnuplot est un logiciel qui sert à produire des représentations graphiques en deux ou trois dimensions de fonctions numériques ou de données. Le programme fonctionne sur de nombreux ordinateurs et systèmes d exploitation, selon Wikipedia. Nous utilisons ce logiciel pour générer des images png, pour avoi 4.2 Sndfile Nous avons donc abandonné la bibliothèque fmod. Nous nous servons maintenant de sndfile, une bibliothèque de traitement de signal sonore basique qui nous permet de récupérer un son. 4.3 Git Nous utilisons un git pour stocker et partager notre code source pour pouvoir travailler en parallèle sur nos parties respectives. Nous n avons rencontré aucun problème à ce sujet. Nous en sommes donc très satisfaits. 14

16 5 Site web Concernant le site web, nous avons fait un wordpress. Le site comprend plusieurs thématiques : - A propos : cette thématique comporte la présentation des membres du groupe. - Présentation du projet : comme son nom l indique, cette thématique présente le projet Maki. - Accueil : Accueil du site. - Téléchargements : comporte le cahier des charges, les rapports de soutenance et le projet. 15

17 6 Conclusion Nous avons bien avancé dans la réalisation du projet, le prétraitement et l analyse du signal constitue les parties probablement les moins difficiles. La seule difficulté est d avoir bien compris le mécanisme derrière toutes les procédures nécessaires. Pour la deuxième soutenance, nous prévoyons de finir l analyse du signal, mettre en place la phase d apprentissage, la reconnaissance des mots et nous allons compléter notre site internet. Nous allons donc entamer la partie qui constitue le plus gros challenge de ce projet. Nous prévoyons donc un avancement selon ce tableau: Tâche Alexis Emmanuel Marius Alexandre Interface graphique 25% 25% Analyse du signal 30% Machine-Learning 25% 25% 25% 25% Exécution des commandes 25% 25% Site Web(100%) 15% 15% 15% 15% 16