Robotique de la Parole (Master IDL) d après le cours de Laurent Besacier. Robotique de la Parole.

Transcription

1 Robotique de la Parole (Master IDL) d après le cours de Laurent Besacier 1. Introduction et applications en traitement automatique de la parole (TAP) 2h 2. Méthodes empiriques pour le traitement automatique du langage parlé 6h 3. Outils pour la reconnaissance automatique de la parole 2h 4. Méthodes avancées en TAP 2h 1 Robotique de la Parole 1. Introduction et applications en traitement automatique de la parole (TAP) 2h 2. Méthodes empiriques pour le traitement automatique du langage parlé 6h 3. Outils pour la reconnaissance automatique de la parole 2h 4. Méthodes avancées en TAP 2h 2 Robotique de la Parole Support de cours Le but de ce cours est : de connaître les principales applications en ingénierie de la parole d être sensibilisé aux problèmes et aux besoins du domaine d avoir un aperçu de quelques techniques et méthodes (nombreuses!) mises en œuvre pour le traitement automatique du langage parlé de manipuler quelques-uns des outils développés Avertissement : ce support de cours ne se substitue pas aux notes que vous aurez prises pendant les séances... Vous trouverez dans ce support un résumé des principales notions qui ont été abordées 3 4

2 «Ingénierie Linguistique» Acquisition, gestion, structuration, analyse, interprétation, modélisation de l information langagière (orale ou textuelle) Finalités : mise en place d applications concrètes (résumé de textes, indexation et recherche d information, TA, DHM, vérification ou correction orthographique, dictée vocale, synthèse vocale, etc.) confronter les modèles de la linguistique aux exigences de la modélisation informatique reste un domaine privilégié de l IA et de l informatique 5 Bref panorama des applications Traduction Compréhension du langage naturel Simplification de textes Génération automatique de textes Détection ou correction d erreurs, édition Documentation, indexation et moteurs de recherche Communication Homme-Machine Dictée vocale Synthèse vocale 7 La parole, une modalité parmi d'autres? Du point de vue de l'utilisateur En perception Visuel Auditif Olfactif Gustatif En génération Oral Gestuel Utilisation de la parole dans une interface : aspect ergonomique Mode de communication naturel rapide et concis l opérateur n a pas à réfléchir comment déclencher une série d actions pour obtenir le résultat souhaité mains libres les mains peuvent être utilisées pour des actes plus en lien avec la tâche permet au regard de rester fixé sur l endroit de l écran ou se déroule l action demandée va-et-vient des yeux nettement diminué aide aux personnes handicapées Confort et souplesse d utilisation 8 9

3 Contraintes engendrées par la parole (1) Contraintes engendrées par la parole (2) Situations exceptionnelles (d alarme) dégradation des performances Apprentissage nécessaire de la machine Peut être long et contraignant Contraintes linguistiques taille du vocabulaire que le système pourra traiter/reconnaître structure syntaxique des phrases (langage artificiel? naturel?) mode d élocution de l'opérateur (mots isolés, enchaînés, parole continue) 10 Facteurs humains casque + micro => gêne de l utilisateur peur de se voir rejeté par la machine confidentialité de l utilisation de l interface en public peur d'être ridicule en public réaction «normale» face à une technologie nouvelle 11 Buts à atteindre Satisfaction de l utilisateur Qualité temps de réponse du système facilité et sûreté de fonctionnement prévoir un mode de remplacement si le bruit devient important (robustesse & plasticité) Coût des systèmes l utilisation de la parole doit avoir une influence limitée sur les coûts Écueils à éviter danger du «tout vocal» la parole n est qu une modalité supplémentaire la parole ne doit pas compliquer le système attention à l ergonomie de l interface ne pas «énerver» l utilisateur robustesse nécessaire 12 13

4 Les Technologies de la Parole dans les Services Télécom Différents types de communication Compression de parole pour réseaux de télécommunication (wireless, IP, ) Synthèse, reconnaissance et compréhension pour les systèmes de dialogues (accès à l information ) Authentification de l utilisateur par la voix (reconnaissance du locuteur) pour accès confidentiel à l information et sécurité Communication Homme/Homme Médiatisée : audio et vidéo-conférence apprentissage à distance traduction assistée Communication Homme/Machine recherche d informations e-commerce interfaces à commande vocale Facteurs favorables au développement des technologies vocales Compatibilité Évolution des réseaux de communication haut débit!!malgré cela, le besoin de compression de l information demeure!! Les services vocaux doivent rester compatibles avec des services déjà existants : besoin de plateformes pour accéder à des services vocaux par téléphone Évolution des terminaux de communication reliés au réseau téléphones, PC smartphones, voitures, wearables!!malgré cela, le téléphone est très utilisé et doit aussi pouvoir bénéficier des nouveaux services!! Évolution des services demandés exemple : accéder à ses messages et en envoyer ( s, téléphone, fax) depuis n importe quel terminal (unified messaging) besoin de plateformes pour accéder à des services vocaux par le web (VoiceXML) Les services vocaux doivent pouvoir s adapter au terminal d accès utilisé par un client 16 17

5 La parole, une source d informations Informations linguistiques... Ce qui est prononcé par le locuteur. Parole Infos. Linguistiques (ce qui est prononcé) Infos. Extra-linguistiques (locuteur, langue, état physiologique, pathologique... ) 18 Reconnaissance Automatique de la Parole (RAP) 19 Du signal à la transcription textuelle Différents niveaux de difficulté (1) Nombre de locuteurs : systèmes mono locuteurs jusqu à multi locuteurs Nombre de mots du dictionnaire : systèmes petit vocabulaire (~100 mots) jusqu à grand vocabulaire (>10kmots) Canaux de transmission : «en direct», via le téléphone, réseaux mobiles... Ne me laissez pas toute seule 20 21

6 Différents niveaux de difficulté (2) Différents domaines d application (1) Environnement acoustique : calme (studio utopique), normal (bureau, pièce isolée), bruité (hall de gare, rue), extrême (cockpit d avion ) Style de parole : chiffres, mots isolés, mots enchaînés, parole continue (lue, spontanée) Une seule personne à la fois ou conversation (tour de parole ou «cocktail party») Exemple : Services télécom (ou serveurs vocaux) : renseignements par commande vocale via le téléphone (séances cinéma, annuaires, renseignements) Commerce électronique (E-commerce) Services Web : remplissage de formulaires par la voix Bornes vocales (sur site) : renseignements touristiques, achat tickets transport (SNCF) Différents domaines d application (2) Différents domaines d application (3) Bureautique : logiciels de dictée vocale, pilotage de l environnement, dictée de messages électroniques Enseignement des langues : évaluation de la prononciation Transports : commande vocale pour l aide au pilotage Aide aux handicapés : saisie de données à la voix, commandes vocales (ouverture porte, contrôle des équipements au domicile) Diagnostic santé Archivage & recherche d informations : transcription automatique de documents radio ou télédiffusés, recherche d informations dans des BD audiovisuelles Exemple :

7 Différents domaines d application (4) -Différentes tâches (mots isolés, parole continue ) -Différents environnements (calme, bruité ) -Différents canaux (direct, téléphone ) Systèmes de reconnaissance automatique de parole dépendants de l application considérée 26 Quelques systèmes IBM Via Voice Plus commercialisé / version «embedded» pour les véhicules (EVV) Dragon Naturally Speaking N existe plus Phillips?? Nuance Tech. Leader des serveurs vocaux interactifs Loquendo Synthèse et reconnaissance dans plusieurs langues Boites à outils : HTK, Sphinx (cf dernière partie du cours!) Systeme de RAP en ligne Google Speech API, Apple Siri, AT&T Speech API, Critères d'evaluation des Systèmes de RAP WER : exemple WER (Word Error Rate Taux d'erreurs de mots): La mesure classique. Mesure de distance minimale entre la transcription du systeme RAP et la référence Distance = (Substitutions+Insertions+Deletions)/N N = Nombre de mots de la reference WER = (S+D+I / N) * 100 Réference : Ne me laissez pas toute seule Hypothèse : Ne mais laisse pas seule S S D Réference : Ne me laissez pas toute seule Hypothèse : Ne me laisse pas toute seule 28 Réference : Ne me laissez pas toute seule Hypothèse : et mais que faire tu ici dans cet exemple 29

8 La reconnaissance automatique de la parole Les meilleurs systèmes obtiennent* ~10-12% de taux d erreur de mots pour l anglais sur des documents de journaux télévisés ou des enregistrements du parlement européen ~20% de taux d erreur de mots pour l anglais sur des conversations téléphoniques Progrès réguliers Voir évaluations DARPA & NIST La reconnaissance automatique de la parole *sources: projets TCSTAR & GALE La reconnaissance automatique de la parole Progrès des 15 dernières années essentiellement dus à Un affinement des modèles : approches discriminantes (MMI,MPE), partage (tying) de gaussiennes ou d états Des techniques d adaptation (MAP,MLLR,VTLN) Une puissance de calcul croissante : pour le décodage multi-passe ou les approches multi-reconnaisseurs (ROVER) surtout 32 La reconnaissance automatique de la parole Plus de données! There s no data like more data, Robert L. Mercer Training (hrs) WER(%) LIMSI, Lamel (2002) RT03 (BBN) 33

9 Evolution du domaine Limites et problèmes ouverts Tendances Transcription Simple Transcription Riche Flux audio contrôlé Flux audio continu Un capteur Capteurs multiples Monolingue Multilingue Audio seul Multimodal Difficulté croissante des tâches Dictée vocale Transcription de journaux TV Meetings, environnements perceptifs 34 Peut-on trouver un meilleur critère que le WER? Utile pour calculer un score de transcription Cependant, ne serait il pas plus pertinent dans certains cas de s'interesser au sens (semantic error rate)? Difficile de s'accorder sur une approche unique Appliquée surtout en dialogue ou la reprensation sémantique est explicitée WER utile pour les autres application de la RAP? Traduction parole vers parole? Aide à la prise de décision? 13/12/13 Speech and Language Processing Jurafsky and Martin Transcription enrichie Marquer les tours de parole, les disfluences Flux audio continu Besoin de marques de début / fin de phrases, ponctuation, pas uniquement de la parole Capteurs multiples Multilinguisme Portage vers une nouvelle langue, locuteurs non natifs Multimodalité Flux multiples et souvent asynchrones Informations extra linguistiques... Ce qui n'est pas prononcé mais communiqué par le locuteur. Identité du locuteur Langue parlée (c est quand même une info linguistique, mais bon.) État physiologique et psychologique du locuteur (stress, maladie, affects/émotions ) 35 37

10 Reconnaissance Automatique du Locuteur (RAL) Différentes tâches Caractéristiques biométriques Empreinte digitale Empreinte génétique Visage Voix (serrure vocale, transactions à distance...) Identification du locuteur : par quel locuteur de la base de donnée le signal de parole a-t-il été prononcé? (réponse 1 parmi N, matching) Vérification du locuteur : le locuteur est il bien celui qu il prétend être? (réponse binaire, acceptation ou rejet) Signature Ecriture Différents niveaux de difficulté Variabilité Dépendance au texte : systèmes dépendants du texte, systèmes à textes «promptés», systèmes indépendants du texte variabilité due au locuteur émotion, fatigue, stress conditions d enregistrement variables Canaux de transmission et environnement (cf RAP) Variabilité... microphone, bruit ambiant conditions de transmission variables canal téléphonique nouveaux problèmes Mobiles : codage, bruit évoluant au cours du temps 40 41

11 Différents domaines d application Reconnaissance Automatique des Langues Applications sur site : serrures vocales, cabines bancaires en libre service Applications liées aux télécommunications : accès à un service de transactions bancaires, ou à des données confidentielles Applications judiciaires («forensic») : recherche de suspects, expertises vocales Indexation multimédia : indexation / loc. Prise en compte de l aspect multilingue des serveurs vocaux Diriger un appel prononcé dans une langue quelconque vers l'opérateur ou le service automatique correspondant Proche de la RAL car identification d un groupe de locuteurs qui parlent la même langue Identification de l origine du locuteur (accents / dialectes) Autres infos. extra linguistiques Indexation et recherche (BD audio) Etat psychologique du locuteur : stress (boîtes noires d avions), émotion Etat pathologique du locuteur : pathologies vocales, fatigue (intéressant à détecter pour les métiers «à risque» mais il existe de bien meilleurs capteurs!!) Quelques chiffres 45 ans d archives télé h de signal 60 ans d archives radio h de signal Problèmes stockage des informations accessibilité aux données Difficile dans des conditions extrêmes... Émergent dans des applications de diagnostic 44 45

12 Différentes clés d indexation Mots (word spotting) recherche de documents dans lesquels un mot clé est prononcé Thème (topic detection) archivage (ou recherche) de documents par thèmes Locuteur (speaker segmentation / indexation) Savoir qui parle et quand L identité des locuteurs peut être inconnue au départ «Informatiser» une langue Un besoin Sociétal? A B Classes de services Traitement de textes, services de base (saisie, affichage, impression, recherche, sélection, tri) Traitement de textes, services avancé (correcteurs d orthographe, de grammaire, de style) Criticités importante moyenne C Synthèse et reconnaissance de la parole moyenne D E Traduction automatisée Reconnaissance optique de caractères Assez importante Assez importante F Ressources, Dictionnaires bilingues et d usage importante D après [Berment 2004] Exemples d application de l indexation Archivage automatique de programmes radio-diffusés par thème Trouver tous les discours prononcés par telle personnalité politique (calcul du temps de parole lors d une campagne électorale) Recherche des messages par locuteur (ou par thème) sur un répondeur téléphonique Transcription automatique de documents audio. Exemple du khmer : «niveau d informatisation de la langue» ([Berment 2004] eval. faite par un chercheur de l INALCO) Services / ressources Criticité (/10) Note (/20) 47 Note pondérée (Criticité x Note) Traitement du texte Saisie simple Visualisation / impression Recherche et remplacement Sélection du texte Tri lexicographique Correction orthographique Correction grammaticale Correction stylistique Traitement de l oral Synthèse vocale Reconnaissance de la parole Traduction Traduction automatisée ROC Reconnaissance optique de caractères Ressources Dictionnaire bilingue Dictionnaire d usage Total 540 / 1760 Moyenne 6,2 / Indice σ

13 Langues bien et mal dotées informatiquement [Berment 2004] ~6000 langues Langues Très bien dotées informatiquement Quelques dizaines de langues-τ Allemand, anglais, français, japonais, russe Informatisation rentable => éditeurs de logiciels Apple, IBM, Microsoft, Xerox Langues Peu ou Moyennement dotées pratiquement 6000 langues-π et µ Informatisation pas ou peu rentable => autres Groupes de locuteurs créés spontanément Projets de développement 50 Pour quelles langues? Critères de choix des langues : Nombre de locuteurs, Caractère officiel ou national de la langue, Caractère central de la langue, Intérêt des populations pour des moyens informatiques dans leur langue, Motivation des bailleurs pour l'informatisation d'une langue, Niveau d'informatisation de la langue (indice-σ), Existence d une grammaire et d un dictionnaire, Existence d'une langue proche bien informatisée, Présence d un bilinguisme permettant de faciliter la communication. 51 En guise de conclusion Références Technologies vocales Particulièrement utiles pour les langues/régions où la pénétration d Internet est faible Afrique, Inde, etc Applications pour Téléphone portable Serveurs d information Petites annonces par téléphone Ex : projet Mosoko au Kenya Manning and Schutze: Foundations of Statistical Language Processing,1999, MIT Press, available online Jurafsky and Martin: Speech and Language Processing, 2000, Prentice Hall. Rajman M. «Speech and language engineering», 2007, EPFL Press. Haton, Cerisara et coll. Reconnaissance Automatique de la Parole : du signal à son interpretation, Dunod [Berment 2004] Vincent Berment. Méthodes pour informatiser des langues et des groupes de langues «peu dotées», thèse de l'université Joseph Fourier,