Interface utilisant la parole : Apprentissage de la prononciation grâce à la reconnaissance vocale

Transcription

1 Interface utilisant la parole : Apprentissage de la prononciation grâce à la reconnaissance vocale Application V o x p e l Projet de la valeur C : Conception d applications multimédia Présenté par Thomas JGENTI

2 Plan de l exposé Techniques de traitement de la parole Outils logiciels API standards et normes Spécifications et étude de faisabilité Conception Réalisation du prototype fonctionnel Démonstrationet conclusion Thomas Jgenti 2

3 Techniques de traitement de la parole La synthèse vocale Première synthèse vocale en 1939 (Voder, puis Vocoder) par Bell Labs; Synthèse par modélisation de larynx artificiel et génération des formants répandue dans les années ; Jeu grand public utilisant la parole «Speak & Spell» par TI sorti en 1979; Synthèse par phonèmes et diphones généralisé à partir des années 1980; La reconnaissance automatique de la parole Premières tentatives vers 1950: reconnaissance mot par mot; Dans les années 1970 premières applications de reconnaissance par phonèmes avec des grammaires de plusieurs dizaines de mots; Un traducteur à RV anglais espagnol de AT&T Bell Labs en 1992; Outils de dictée continue grand public dans les années 1990; Thomas Jgenti 3

4 Etapes de la synthèse vocale par phonèmes Thomas Jgenti 4

5 Outils logiciels de traitement de la parole Acteurs majeurs dans le domaine IBM AT&T Lucent Bell Labs ScanSoft(ex- SpeechWorks, Lernout & Hauspie, Dragon Sys.) Philips Acapela(ex- Babel Technologies) Outils disponibles Héritage de AT&T Bell Labs ViaVoice application et SDK de IBM Dragon Naturally Speaking de ScanSoft (Dragon Systems) OpenSpeech et VoCon de ScanSoft (SpeechWorks) Speech SDK de Philips Outils open source: FreeTTS, Festival, Sphinx, FestVox, MBROLA etc. Thomas Jgenti 5

6 API standards et normes Speech API de Microsoft une SDK C++/C# pour l environnement Windows; Fournit une interface de programmation standard avec un moteur de synthèse (multi langue) et de reconnaissance (anglais et langues asiatiques); JavaSpeech API Une interface standard de programmation proposée en 1998 par Sun avec la participation des sociétés majeures du domaine (IBM, AT&T, Philips, Dragon Systems etc.); Sun ne propose pas d implémentation, mais s appuie sur les moteurs tiers; Nombre d implémentations existantes vers 2000 ont depuis été abandonnées (dont récemment celle de IBM!); VoiceXML Une norme de document au format XML décrivant une interface vocale. Fondée par AT&T, IBM, Lucent et Motorola en 2000; Orientée vers la téléphonie et le domaine des serveurs vocaux interactifs (IVR Interactive Voice Response). Il existe plusieurs implémentations commerciales de browsers VXML pour les serveurs vocaux; Thomas Jgenti 6

7 Projet: Spécifications Conception et réalisation d une application d aide à l apprentissage de la prononciation des mots à l aide de la reconnaissance et la synthèse de la parole ; Logiciel en langage Java avec une interface graphique et vocale; Etude d implémentations JavaSpeech alternatives à IBMJS; Etude de la technologie VoiceXML en vue d une éventuelle utilisation; Réalisation d un prototype fonctionnel d une mini méthode de langue avec un soin particulier apporté à l interface vocale; Thomas Jgenti 7

8 Projet: Etude de faisabilité Essais de l implémentation IBMJS Succès avec la version française de ViaVoice; Impossibilité de trouver les bibliothèques en anglais compatibles; Essais avec FreeTTS et MBROLA Fonctionnement de FreeTTS sans problème: synthèse en anglais uniquement; Ajout des voix américaines de MBROLA a fonctionné après quelques soucis; FreeTTS et ViaVoice fonctionnent correctement de manière simultanée; Essais de TalkingJava de CloudGarden Période d essai de 30j de TalkingJava avec Dragon Naturally Speaking anglais; Ne détecte pas la reconnaissance de Dragon (version en cause?); Ne détecte pas ViaVoice, juste SAPI de Microsoft ; Abandon après la période d essai; Configuration retenue JavaSpeech; Reconnaissance et synthèse en français avec ViaVoice et IBMJS; Synthèse en anglais avec FreeTTS et MBROLA; Thomas Jgenti 8

9 Projet: Conception Thomas Jgenti 9

10 Projet: Réalisation du prototype Résultats Prototype pleinement fonctionnel, limité à 3 leçons d une dizaine de mot chacune; Interface de commande vocale à écoute continue totalement fonctionnelle; Réserves émises sur la qualité du moteur de reconnaissance vocale; Influence importante de la qualité de prise de son sur le taux d erreurs: certains mot mal reconnus; Importance d une bonne conception de l interface vocale: diversification et modération des messages vocaux, utilisation de voix différentes et de la prosodie; V o x p e l Démo Thomas Jgenti 10

11 Conclusion Déclin de la norme JavaSpeech et absence de solutions équivalentes pour le langage Java ; Technologie du traitement de la parole dominée par quelques éditeurs de logiciels professionnels. Absence d alternatives sérieuses open source (lié à la complexité du domaine? ) ; Implémentations de la norme VoiceXML sont trop orientés vers la téléphonie pour être une API généralisée pour les interfaces vocales d applications multimédia ; L utilisation des interfaces vocales doit être judicieuse, simple, mais non rébarbative, sous peine d être inutilisable! Les techniques actuelles de la reconnaissance vocale ne permettent pas encore de dialoguer avec l application. L utilité des interfaces vocales est par conséquent très limité. Thomas Jgenti 11