Communication Langagière Ingénierie des langues et de la parole

Transcription

1 Communication Langagière Ingénierie des langues et de la parole 1. Introduction générale 2. Ingénierie des langues 2.1 Représentation et codage des textes 2.2 Théorie de l information et probabilités 2.3 Quelques applications du traitement automatique du langage naturel Dictionnaires et étiquetage de surface Re-ponctuation et recapitalisation de textes Traduction automatique statistique 3. Ingénierie de la parole 3.1 Rappels de traitement numérique du signal 3.2 Le signal de parole : analyse, unités pertinentes et variabilité 3.3 Codage et compression de la parole 3.4 Reconnaissance automatique de la parole 3.5 Synthèse de la parole

2 La formule en parole... x : suite de vecteurs acoustiques wi : mot ou phonème Modèle acoustique * p( x / wi ). P( wi ) w = arg max = i p( x) arg max i p( x / w i ). P( w i ) Modèle de langage

3 La formule en parole... x : suite de vecteurs acoustiques wi : mot ou phonème Modèle acoustique * p( x / wi ). P( wi ) w = arg max = i p( x) arg max i p( x / w i ). P( w i ) Modèle de langage

4 Reconnaissance de Mots Petits lexiques : Représentation globale : un modèle dédié à chaque mot du vocabulaire Grands lexiques : Les mots sont représentés par une suite d unités élémentaires (phonèmes)

5 Représentation Globale Inconvénients Petits vocabulaires Difficilement modifiable Base de données importante et spécifique pour l apprentissage. Pour l apprentissage des modèles, il faut disposer d une base de données contenant plusieurs prononciations de chaque mot à reconnaître En général, associé à des systèmes simples ou à des applications type «word spotting»

6 Reconnaissance de mots isolés

7 Lexique représenté par une suite d unités Couper les mots en morceaux : préfixes, racines,.. Décomposer les mots en syllabes nombre important Décomposer les mots en phonèmes une trentaine pour le français Attention à la coarticulation Représenter un mot par une suite de phonèmes en contexte

8 Représentation phonémique des mots Phonétisation du lexique plusieurs phonétisations pour un même mot Un mot devient une suite de modèles acoustiques un par phonème : modélisation hors contexte plusieurs par phonème : modélisation contextuelle contexte droit ou gauche contexte droit et gauche

9 Représentation phonémique du lexique Apprentissage des modèles (phonèmes) indépendamment des mots à reconnaître Ajouter un mot : le phonétiser mettre la liste des phonèmes dans le lexique Nombre important de noeuds

10 Cas de la parole continue Pas de frontières entre les mots

11 Cas de la parole continue Soit une production vocale : on ne connaît pas le nombre de mots prononcés par le locuteur on ne sait pas où chaque mot commence et finit

12 La formule en parole... x : suite de vecteurs acoustiques wi : mot ou phonème Modèle acoustique * p( x / wi ). P( wi ) w = arg max = i p( x) arg max i p( x / w i ). P( w i ) Modèle de langage

13 Modèles de langage But : associer une probabilité à toute suite de mots et participer aux choix des candidats pour la suite de la phrase à reconnaître Deux approches possibles : l une issue de la théorie de l information Modèles stochastiques l autre faisant appel à des connaissances linguistiques et grammaticales Grammaires

14 Qu est ce qu un ML? Une distribution de probabilités associée à une séquence de mots P( And nothing but the truth ) P( And nuts sing on the roof ) 0

15 Grammaires Modèles stochastiques limités par la mémoire de quelques mots (3, 4, 5 au maximum ) La grammaire permet d imposer des contraintes au niveau d une phrase (règles) Nouveau problème : quelle grammaire pour un discours oral (sans véritable structure classique, comme dans un discours écrit)?

16 La formule en parole... x : suite de vecteurs acoustiques wi : mot ou phonème Modèle acoustique * p( x / wi ). P( wi ) w = arg max = i p( x) arg max i p( x / w i ). P( w i ) Modèle de langage

17 Fudge Factor

18 Pénalité linguistique

19 La reconnaissance automatique de la parole Les meilleurs systèmes obtiennent* ~10-12% de taux d erreur de mots pour l anglais sur des documents de journaux télévisés ou des enregistrements du parlement européen ~20% de taux d erreur de mots pour l anglais sur des conversations téléphoniques Progrès réguliers Voir évaluations DARPA & NIST *sources: projets TCSTAR & GALE

20 La reconnaissance automatique de la parole

21 La reconnaissance automatique de la parole Progrès des 15 dernières années essentiellement dus à Un affinement des modèles : approches discriminantes (MMI,MPE), partage (tying) de gaussiennes ou d états Des techniques d adaptation (MAP,MLLR,VTLN) Une puissance de calcul croissante : pour le décodage multi-passe ou les approches multireconnaisseurs (ROVER) surtout

22 La reconnaissance automatique de la parole Plus de données! There s no data like more data, Robert L. Mercer LIMSI, Lamel (2002) Training (hrs) WER(%) RT03 (BBN)

23 Evolution du domaine Tendances Transcription Simple Transcription Riche Flux audio contrôlé Flux audio continu Un capteur Capteurs multiples Monolingue Multilingue Audio seul Multimodal Difficulté croissante des tâches Dictée vocale Transcription de journaux TV Meetings, environnements perceptifs

24 Limites et problèmes ouverts Transcription enrichie Marquer les tours de parole, les disfluences Flux audio continu Besoin de marques de début / fin de phrases, ponctuation, pas uniquement de la parole Capteurs multiples Multilinguisme Portage vers une nouvelle langue, locuteurs non natifs Multimodalité Flux multiples et souvent asynchrones

25 L humain face à la machine

26 FIN

27 Représentation en Arbre du graphe Construire à partir des listes de phonèmes un arbre a tête commune de tous les mots : Exemple : lexique A = a b c B = a b d C = a e

28 Cas de la parole continue

29 Cas de la parole continue

30 Solution obtenue par retour arrière

31 Introduction d une grammaire

32 Préparation Exam Expliquez en quelques mots et avec un exemple, ce qu est un alignement en traduction automatique

33 Préparation Exam On dispose d un signal audio stéréo (deux voies gauche et droite) de 1h45min33s. Quelle place (en kilo-octets) prendra sur disque ce signal dans les cas suivants : on l échantillonne à 44khz avec 32 bits de quantification on l échantillonne à 16khz avec 16 bits de quantification on le passe en mono (une seule voie) avec un débit binaire de 64 kbits/s Classez les trois cas par ordre de qualité croissante de signal numérique.

34 Préparation Exam Que sert à évaluer le score dont l acronyme est BLEU?

35 Préparation Exam Un algorithme d apprentissage utilisant des modèles de Markov cachés (HMM) a généré les modèles acoustiques de trois locuteurs : Laurent, Dominique et Carole. Pour simplifier le problème, on supposera que les HMM des trois locuteurs ont les mêmes probabilités initiales (vecteur ) et la même matrice de transition (matrice A) alors que leurs matrices d observation (ou de confusion = matrice B) sont différentes. Pour un état donné, 4 symboles (ou vecteurs) d observation sont possibles : V1, V2, V3, V4.

36

37 Dessiner la structure générale du HMM modélisant les locuteurs dans le cas présent. Quel est le nom de ce HMM? Est-ce un HMM continu? Pour le signal d'un locuteur inconnu, on a fait l observation V1,V4 3) Calculer P(V1,V4) pour le HMM1 avec l algorithme de Viterbi : Calculer par la même méthode pour les HMM2 et HMM3 En déduire qui se cache derrière ce signal inconnu? A-t-on réalisé une tâche de vérification ou d'identification du locuteur? Justifier? Quels sont les autres techniques utilisées dans ce domaine?