Modélisation des processus d acquisition du langage par des méthodes statistiques

Transcription

1

2 INSA 135 avenue de Rangueil TOULOUSE LSCP 29 rue d Ulm PARIS Rapport de stage de 5ème année GMM - MMN Modélisation des processus d acquisition du langage par des méthodes statistiques Isabelle DAUTRICHE 5ème année GMM -MMN 2008/2009 Tuteur : Emmanuel DUPOUX Directeur du LSCP emmanuel.dupoux@gmail.com

3 INSA 135 avenue de Rangueil TOULOUSE LSCP 29 rue d Ulm PARIS Rapport de stage de 5ème année GMM - MMN Modélisation des processus d acquisition du langage par des méthodes statistiques Isabelle DAUTRICHE 5ème année GMM -MMN 2008/2009 Tuteur : Emmanuel DUPOUX Directeur du LSCP emmanuel.dupoux@gmail.com

4 Remerciements Tout d abord, je tiens à remercier mon tuteur de stage, Emmanuel Dupoux, pour m avoir proposé un sujet adapté à ma formation tout en me laissant l opportunité de me former moi-même sur d autres domaines. Je remercie également Sanjeev Khudampur et Balakrishnan Vadarajan pour leur accueil au sein de l université John Hopkins de Baltimore et de toutes les explications dont j ai pu bénéficier. Enfin, merci à tous ceux qui, de près ou de loin, ont contribué à la mise en place de ce stage et ont rendu ce séjour aux Etats-Unis possible.

5 Résumé Ce document est le résultat du travail effectué au cours de 5 mois d un stage de fin de cycle d ingénieur INSA Génie Mathématiques et Modélisation spécialité Méthodes de Modélisation Numériques au LSCP - Laboratoire de Sciences Cognitives et Psycholinguistique. Il s agit de tester des hypothèses sur les processus d apprentissage du langage du nouveauné, et plus précisément sur sa capacité à construire les catégories phonétiques à partir des sons perçus dans son environnement. Pour cela, on construit un modèle de reconnaissance automatique de la parole (ASR) basé sur des chaînes de Markov cachées (HMM), que l on teste sur un corpus audio de Japonais : le CSJ. A partir des données acoustiques recueillies, on se basera sur des critères linguistiques de discrimination des phonèmes énoncés dans [Peperkamp et al. 2005] pour construire des indices acoustiques permettant de délimiter les catégories phonétiques. La distance acoustique, la distribution des contextes des phonèmes et la coarticulation seront ainsi successivement étudiés et leurs performances, mesurées. Enfin, on suggéra quelques améliorations à apporter qui permettront de continuer ce travail.

6 Table des matières Introduction 1 1 Présentation du LSCP Les sciences cognitives Le personnel Domaines de recherche actuels CLSP - Center for Languages and Speech Processing L acquisition du langage Le développement du langage L évolution des théories sur l acquisition du langage Un modèle probabiliste pour la reconnaissance des phonèmes Reconnaissance automatique de la parole : principe général Du signal à l observation acoustique Les chaînes de Markov cachées Des triphones pour modéliser la coarticulation Un outil pour la modélisation : HTK Environnement et support de travail Hypothèses de base Description des données Des indices acoustiques pour la reconnaissance des allophones Indice 1 : La distance acoustique Indice 2 : La distribution des contextes Indice 3 : La coarticulation Etude de la coarticulation dans le corpus Compensation de l effet de coarticulation Résultats Conclusion 37 Glossaire 39 A Annexe - [S. Peperkamp et al. 2005] 40 B Annexe - Arbre de décision 51 C Annexe - Stockage des données sous HTK 52 D Annexe - Etapes de construction d un ASR 53 Références 57

7 Introduction Dans le cadre de ma 5ème année à l INSA de Toulouse au département Génie Mathématique et Modélisation, spécialité Méthodes et Modèles Numériques, j ai effectué un stage de 5 mois au sein du LSCP, Laboratoire de Sciences Cognitives et Psycholinguistique, à L Ecole Nationale Supérieure de Paris. Ce stage a pour objectif de clôturer notre formation en nous confrontant directement avec notre futur métier sur une période suffisante pour tester nos capacités. Attirée davantage par la recherche que par l entreprise et désirant m orienter par la suite dans le domaine pluridisciplinaire des sciences cognitives, et plus précisément dans le domaine de la linguistique, j ai décidé d effectuer mon stage au LSCP sous la tutelle d Emmanuel Dupoux, directeur du laboratoire et également directeur du Cogmaster, master en sciences cognitives que j envisage d effectuer. Ce stage rentre dans le cadre d un projet du laboratoire portant sur l acquisition précoce du langage et sur la modélisation de ses processus d acquisition. Il s agit de tester des hypothèses sur la façon dont les nourrissons pourraient apprendre leur langue maternelle d une manière implicite et non supervisée. En particulier, on s intéresse ici à la constitution des catégories phonétiques durant la première année de vie du bébé en utilisant des outils de traitement du signal et du traitement de l information pour comprendre comment le bébé part du signal acoustique pour construire les représentations phonologiques 1 des mots. J ai choisi de travailler sur ce projet pour plusieurs raisons. Tout d abord, ce sujet répondait parfaitement à mon attrait pour la linguistique et à mon désir de continuer dans cette branche après l intérêt suscité par mon stage de 4ème année. Je souhaitais également aborder une problématique axée vers la compréhension des mécanismes propres à l Homme, qui me permettrait de préparer le terrain pour mon cursus post-insa. Même si je ne me destine pas dans l immédiat à la recherche en sciences cognitives actuellement, ce stage aura constitué un challenge personnel du fait de la nouveauté des sujets abordés. Mon objectif personnel aura été de pouvoir m approprier un sujet pointu recouvrant un grand nombre de domaines, et de pouvoir discuter et reprendre le travail avancé par de nombreux chercheurs et étudiants. Au cours de ces 5 mois, je me suis intéressée à l acquisition des phonèmes. Les phonèmes, unités sonores minimales qui composent les mots, diffèrent selon le contexte dans lequel ils apparaissent. Par exemple avec prononcé /avek/ sans aucun contexte, a tendance à être prononcé /aveg/ lorsque le mot est suivi d une consonne voisée : avec vous. Ces différentes réalisations d un phonème selon le contexte sont ce que l on appelle des allophones. On cherche alors à comprendre de quelle manière les nourrissons arrivent à former des catégories phonémiques abstraites à partir des catégories segmentales (les allophones) avant même de commencer à parler. L acquisition du langage semble lié au fait que les bébés sont sensibles aux propriétés statistiques du langage [Jusczyk, 1997] et capables d extraire les distributions fréquentielles des segments (les phonèmes) ainsi que les probabilités de transition entre segments. Il a s agit alors de faire une étude computationnelle de l apprentissage des phonèmes en se basant non plus sur une approche linguistique, comme c est le cas dans [Peperkamp et al. 2005], mais sur une approche acoustique. Ainsi, le premier mois de ce stage s est déroulé dans un laboratoire partenaire au LSCP, à l université de John Hopkins à Baltimore (Etats-Unis) au Center for Languages and Speech Processing (CLSP) où j ai pu acquérir les bases théoriques et pratiques de la reconstruction automatique de la parole (ASR) afin de les exploiter pour la catégorisation des phonèmes une fois de retour en France. 1 Représentation mentale des sons

8 TABLE DES MATIÈRES 2 Après une présentation du laboratoire et de ses activités, il s agira dans un premier temps de situer notre sujet dans le contexte actuel de la recherche sur l acquisition du langage. On s attachera ensuite à présenter le modèle probabiliste d ASR employé ainsi que les différents algorithmes utilisés pour sa construction, résultats du travail effectué à John Hopkins. Ce modèle sera en suite appliqué à un corpus audio de Japonais, le CSJ, à partir duquel on testera différents indices basés sur l article de [S. Peperkamp and al. 2005] dans le but de regrouper les variants allophoniques issus d un même phonème et de simuler ainsi les opérations mentales s effectuant chez un nouveau né lors de l acquisition de son langage.

9 1 Présentation du LSCP 3 1 Présentation du LSCP Le LSCP, Laboratoire de Sciences Cognitives et Psycholinguistique, est une unité mixte de recherche (UMR 8554) commune à l EHESS (Ecole des Hautes Etudes en Sciences Sociales), l ENS (Ecole Normale Supérieure), et au CNRS (Centre National de la Recherche Scientifique). 1.1 Les sciences cognitives Le LSCP appartient au Département d Etudes Cognitives de l Ecole Nationale Supérieure. Ses activités se concentrent sur la compréhension des mécanismes psychologiques qui sous-tendent l acquisition et le fonctionnement des aptitudes spécifiquement humaines telles que le langage, le calcul ou le raisonnement. Ce domaine de recherche recouvre en partie ce que l on appelle les sciences cognitives. Sous la désignation sciences cognitives, on entend l analyse scientifique de la connaissance et de l esprit humain sous tous ses aspects. Afin d examiner la complexité des processus cognitifs, il est nécessaire de faire appel à des méthodes utilisées en neurosciences, en linguistique, en psychologie, en informatique théorique et en philosophie. Ces domaines, traditionnellement séparés, se retrouvent alors rassemblés afin de répondre à des interrogations sur la nature humaine qui sont loin d être nouvelles. Sous cette nouvelle approche, les processus mentaux sont considérés sous l angle de la théorie de l information, les assimilant à des processus computationnels. L informatique théorique et les mathématiques rentrent alors en scène pour expliquer d une manière formelle la complexité du cerveau humain. Les sciences cognitives ne sont alors pas les sciences d une seule communauté évoluant dans le même sens et c est ce qui en fait leur richesse. Fig. 1 Une science au confluent des sciences traditionnelles Comme toutes les sciences, celles-ci ne reposent pas uniquement sur des théories fondamentales et de nombreuses expérimentations sont menées chaque jour au LSCP mais également à la maternité Port Royal et à l hôpital du Kremlin Bicêtre avec lesquels le laboratoire travaille régulièrement. La multiplicité des domaines et des approches, théorique et expérimentale, propres aux sciences cognitives en font un domaine complet et dynamique tant au niveau international par la multiplication des équipes de recherche s attaquant à ce domaine, qu au sein même du LSCP.

10 1.2 Le personnel Le personnel Le LSCP regroupe actuellement 40 personnes réparties dans les fonctions suivantes : Fig. 2 Fonctions des membres du LSCP 1.3 Domaines de recherche actuels Les travaux actuels du LSCP s articulent autour des 5 thèmes de recherche suivants : Structure sonore du langage : acquisition, traitement adulte et dysfonctionnement Ce domaine vise à comprendre comment l Homme adulte a pu développer un système de représentation abstrait de sa langue. Il s agit d étudier non seulement les mécanismes du traitement de la parole mais aussi d explorer les déficits pouvant intervenir lors d un disfonctionnement de ces mécanismes. Lexique et bases de la syntaxe Dans ce thème, plusieurs projets de recherche visent à élucider l initialisation de l acquisition lexicale et syntaxique précoce. Ces projets se focalisent en particulier sur les problèmes de découpage de la parole en mots (frontières prosodiques, accumulation statistique), d identification et d utilisation des mots grammaticaux pour contraindre l apprentissage des mots de contenu (catégorisation nom/verbe, identification de la différence singulier/pluriel), et sur les premières étapes de l analyse syntaxique (exploitation des frontières de groupe phonologique en temps réel pour contraindre l analyse syntaxique). Génétique, langage et pathologie Les chercheurs affiliés à ce thème étudient principalement les troubles du langage oral (dyslexie et dysphasie), à la fois au niveau cognitif, avec les méthodes de la psycholinguistique, au niveau neurologique, grâce à l imagerie cérébrale, et au niveau génétique, en lien avec des laboratoires de biologie moléculaire.

11 1.4 CLSP - Center for Languages and Speech Processing 5 Développement de la cognition sociale Ce domaine explore les mécanismes responsables des jugements sociaux chez l enfant et l adulte par l étude de différentes situations sociales. En effet, les jugements moraux émergent d intuitions sociales et/ou cognitives qui sont issues de capacités sociales réflexes, automatiques, aidant l enfant comme l adulte à répondre à des situations sociales qui sont particulièrement importantes au regard de l évolution. Attention et conscience Les travaux de recherche portent ici sur l étude du développement de la conscience chez le bébé, l étude neurologique de la perception subliminale et l étude de l introspection en tant que mécanisme neural. La plupart des chercheurs du LSCP travaillent sur plusieurs thèmes et participent tous à des réunions de laboratoire hebdomadaires permettant de mettre en avant les travaux menés sur chacun des thèmes. Un colloquium ouvert au public est également organisé chaque semaine et permet à divers chercheurs de laboratoires extérieurs de présenter leur sujet de recherche contribuant ainsi au partage des connaissances et au dynamisme du laboratoire. Le LSCP est également en contact avec plusieurs laboratoires français, tels que l institut Jean Nicod, le Laboratoire de Psychologie de la Perception (université Paris V), mais a également des collaborations internationales avec le Japon, les Etats-Unis, l Espagne et la Suisse. C est par le biais de ces collaborations que j ai été amenée à travailler au CLSP Center for Languages and Speech Processing de l université de Johns Hopkins à Baltimore (USA) pendant les premières semaines de ce stage. 1.4 CLSP - Center for Languages and Speech Processing Au sein du CLSP, les travaux de recherche sont menés par des chercheurs et doctorants issus de six départements : informatique, mathématiques appliquées, sciences de l ingénieur, sciences cognitives, ingénierie biomédicale et psychologie. Les recherches portent sur tous les aspects scientifiques et technologiques autour du langage et du traitement de la parole comme la modélisation du langage, la génération des langues naturelles ou les machines de translation automatique. A la différence du LSCP, on se concentre ici sur les aspects technologiques du traitement de la parole. L acquisition du langage est ici vue sous l angle de l ingénieur, ce sont les modèles employés et les algorithmes utilisés qui concentrent l attention, on cherche ici à optimiser les performances par de nouvelles techniques. Sous la tutelle de Sanjeev Khudanpur, professeur au département de génie électrique, j ai pu apprendre les outils actuellement utilisés dans le traitement de la parole et bénéficier de toutes les possibilités qu offre l université de John Hopkins. J ai pu ainsi suivre en partie un cours donné aux doctorants : Information Extraction from Speech and Text correspondant exactement au travail que j avais à faire.

12 1.4 CLSP - Center for Languages and Speech Processing 6 Le CLSP se maintient au top des avancées actuelles, en organisant des conférences de grande envergure rassemblant plus d une centaine de personnes chaque semaine, dans lesquelles des chercheurs extérieurs au laboratoire présentent leurs derniers résultats. La qualité de l enseignement et des conférences qui s y organisent expliquent tout à fait la notoriété du CLSP dans le domaine du traitement computationnel de la parole.

13 2 L acquisition du langage 7 2 L acquisition du langage La modélisation d un système d acquisition du langage nous amène à considérer une question plus élémentaire : comment le bébé acquiert sa langue maternelle? Et quelles sont les processus mentaux s opérant au cours de son développement permettant l intégration progressive de la phonologie 2, de la syntaxe 3 et de la sémantique 4? Afin de mieux comprendre les théories sur l acquisition du langage et les modèles qui en découlent, on s intéressera dans un premier temps aux grandes étapes du développement de la perception de la parole chez le bébé avant de se pencher sur les différentes approches proposées pour modéliser les étapes de l acquisition du langage. L énoncé de ces théories constituera le point de départ de notre étude. 2.1 Le développement du langage L apprentissage du langage s effectue d une manière progressive chez l enfant depuis sa naissance jusqu à l adolescence. Le développement de cette capacité unique à l Homme est le résultat de l interaction entre son environnement et le processus de maturation organique. Actuellement, les différents travaux de recherche s accordent sur le fait que l acquisition du langage est une succession d étapes prévisibles dans le temps. Bien qu il est certain que des variations suivant les individus et leurs environnements peuvent survenir, les grandes lignes du développement du langage restent les même quelque soit la langue considérée. La caractérisation de ces étapes a été rendue possible par des méthodes de mesure du comportement développées en psychologie expérimentale. Dès 1970, on s appuie sur la mesure de l amplitude du reflexe de succion nutritive (High Amplitude Sucking Paradigm), sur la direction du regard (Preferential Looking Paradigm) ou encore le changement de direction de la tête (Head Turn Procedure), pour étudier le développement des capacités linguistiques alors même que le bébé ne peut encore s exprimer. Dès les années 90, ces méthodes ont pu être enrichies par les méthodes d imagerie cérébrale telles que la MEG (magnétoencéphalographie), l IRM cérébrale et la spectroscopie optique infrarouge. Les données accumulées à l aide de ces différentes méthodes ont permis d améliorer la connaissance des différentes étapes du développement linguistique. Ainsi, on sait désormais que dès les premiers mois suivant sa naissance, le bébé est capable de percevoir les contrastes phonémiques, soit les différents sons, qu ils appartiennent ou non à sa langue maternelle. Ce n est que vers 6-8 mois que le bébé se focalise sur sa langue maternelle et perd cette faculté qu il avait à différencier les sons indifféremment aux variations des langues. Vers 10 mois cette capacité à discriminer les phonèmes s étend progressivement au niveau supérieur des mots. Parallèlement, le bébé apprend la phonotactique de sa langue, c est à dire comment les segments phonétiques sont combinés. A 9 mois il est capable de déterminer si une séquence de sons est illégale ou non [Jusczyk et al., 1993], par exemple en français la succession de [b] et [r] est autorisée alors que [b] suivi de [k] n existe pas. De la même manière c est vers cet âge que le bébé montre une sensibilité à la prosodie 5 de sa langue. Concernant l aspect productif de la langue, on retrouve également différentes étapes. Les premières productions vocales du bébé sont des sons végétatifs qui sont la manifestation du bien être ou du mal être de l enfant. Ensuite, vers 4-5 mois, le bébé a un meilleur contrôle de son appareil phonatoire, et commence à utiliser ses productions vocales pour communiquer ses émotions et ses demandes. 2 Interface entre la phonétique et les descriptions linguistiques de niveau plus élevé. 3 Branche de la linguistique qui étudie la façon dont les mots se combinent pour former des énoncés. 4 Branche de la linguistique qui étudie le sens des mots lexicaux. 5 Ensemble des éléments phoniques (intonation affective, particularismes régionaux, accent tonique, montée mélodique, etc.) qui caractérisent le langage parlé.

14 2.2 L évolution des théories sur l acquisition du langage 8 Fig. 3 Chronologie de l acquisition du langage Entre 6 et 9 mois, le bébé commence à babiller. Tout d abord le babillage consiste en la répétition de syllabes simples et est progressivement remplacé par la succession de plusieurs syllabes différentes. Les premiers mots sont détectés au cours de la deuxième année. Concernant le développement lexical, il est généralement admis par la communauté scientifique, que la compréhension des mots précède la production. Ainsi, on peut noter que les premières manifestations de la compréhension auraient lieu entre 8 et 9 mois. Le développement du lexique suit 2 étapes majeures. La première débute vers 12 mois et s étend sur les 6 mois suivants. Au cours de cette période, les mots sont utilisés toujours dans des contextes spécifiques et limités. Cette première phase se caractérise par une acquisition lente. La seconde étape, qui a lieu autour de 18/20 mois lorsque l enfant possède environ 50 mots dans son lexique, est désignée par le terme «d explosion lexicale» (Nelson, 1973). L apprentissage de mots nouveaux est rapide : 4 à 10 mots nouveaux par jour. Ces mots sont, cette fois-ci, utilisés de manière conventionnelle. L accroissement du stock lexical va ensuite s effectuer extrêmement rapidement en 4 ou 5 ans. 2.2 L évolution des théories sur l acquisition du langage Le langage, spécificité de l Homme et qui le différencie des autres espèces animales, a toujours fait l objet de nombreuses études et expériences. En effet, tout au long des derniers siècles, différentes théories ont vu le jour concernant son acquisition. Dans les années 50, c est l approche béhavioriste soutenue par le psychologue B.F.Skinner (1957) qui domine, bien vite opposée à l approche nativiste du linguiste Noam Chomsky (1979). Selon Skinner, l acquisition du langage n est pas différente de l acquisition d autres capacités. Il affirme que l acquisition du langage est fortement influencée par l environnement et met l accent sur les comportements d imitation. Le développement du langage serait alors le résultat d un conditionnement comportemental. Skinner s intéressait uniquement aux comportements observables et considéraient les comportements non observables (tels que les processus mentaux) comme fictifs.

15 2.2 L évolution des théories sur l acquisition du langage 9 Ainsi, les manifestations verbales ne découlent pas d un processus cognitif mais sont les réponses à un stimulus de l environnement. L apprentissage aurait lieu grâce au renforcement positif ou négatif de l environnement qu il soit physique ou verbal. Par exemple, avoir un verre d eau après le mot eau sera vu comme un étant un renforcement physique positif, et un bravo ou une quelconque forme d encouragement, comme un renforcement verbal positif. Le concept du renforcement est important dans la théorie de Skinner, puisque les expériences verbales accumulées vont déterminer l utilisation de celle-ci. La rectification donnée à un enfant prononçant le mot chien à la vue d un chat, conditionnera l enfant à ne plus prononcer chien dans une situation similaire. Chomsky rétorque que de tels mécanismes béhavioristes ne peuvent pas expliquer entièrement le phénomène du langage. La structure syntaxique des langues se révèle trop complexe pour être apprise sur la seule base des exemples de phrases qu ils entendent. Pour lui, il existerait une grammaire universelle, une compétence de base, sous-jacente à toutes les langues. Un enfant naîtrait avec une prédisposition génétique à apprendre couramment une langue. Une des manifestations de cette capacité innée serait une grammaire générative (contredisant l hypothèse de grammaire finie induite par les comportements verbaux de Skinner). Cette grammaire générative est définie par Chomsky comme un ensemble fini de règles opérant sur un lexique de dimension finie pour générer un nombre infini de phrases grammaticales. Ainsi, à partir d un petit ensemble de mots, il serait possible de créer un ensemble infini de phrases en utilisant certaines règles prédéfinies. Une fois le bébé ayant appris ces règles, il pourrait ainsi créer et développer sa grammaire pour créer des phrases qu il n aurait pas entendu auparavant. La créativité grammaticale chez l enfant est en effet une des bases de la théorie de Chomsky. Steven Pinker donne raison à cette théorie en relevant que les langues créoles sont de parfaits exemples de l existence d un module grammatical inné. En effet, les créoles sont issus d un groupe d adultes de langues maternelles différentes qui créent pour communiquer une langue appauvrie que l on appelle à ce stade un pidgin consistant en une succession de mots issus des différentes langues. Ces pigdins se composent généralement de noms, de verbes et d adjectifs, les autres structures grammaticales y sont absentes. Or, lorsque les enfants de ce groupe d adultes apprennent cette langue, ils l enrichissent d une conjugaison, d articles...etc. et créent alors un créole avec des règles syntaxiques assimilables à ce que l on peut trouver dans les autres langues. La localisation du traitement grammatical dans l aire de Broca, découverte grâce à l imagerie fonctionnelle cérébrale, suggère également le bien fondé de l hypothèse d un module grammatical. Actuellement, la communauté scientifique s accorde sur l existence d une prédisposition humaine à apprendre les langues car elle permet d émettre des réponses sur la nature créatrice et rapide de l acquisition de la grammaire contrairement à la théorie Skinnerienne. Cependant il semble difficile de se prononcer pour une théorie uniquement nativiste et d écarter totalement la notion d apprentissage. Dans un article de Kuniyoshi Sakai intitulé Langage et Neurologie, y est traité le cas d un enfant entendant, né de parents sourds, qui avait eu peu de contact avec des adultes parlant anglais et qui avait été exposé aux conversations en anglais uniquement par le biais de la télévision. Lorsqu il fut inscrit dans une structure préscolaire, il s avéra que l enfant disposait de capacités linguistiques très limitées. L enfant fut pris en charge par un spécialiste du langage et fit de remarquables progrès. En l espace de quelques années, ses capacités linguistiques se situaient dans la moyenne. Cet exemple prouve l importance de l environnement, discrédité par le nativisme, et suscite des incertitudes quant à la validité du nativisme pour ce qui est de l acquisition du langage. Il semble alors que les capacités linguistiques innées et l environnement linguistique participent tous deux au développement du langage. Dans les théories cognitives, on trouve d autres courants. Ainsi, dans les théories dites «modularistes», le langage est considéré comme autonome. Certains auteurs décrivent le fonctionnement

16 2.2 L évolution des théories sur l acquisition du langage 10 cognitif par analogie avec le fonctionnement d un ordinateur. Dans les modèles «connexionnistes», le traitement du langage n est vu que comme un aspect du fonctionnement mental général. Il correspond à un processeur spécialisé parmi d autres qui constituent un réseau de connexions nombreuses fonctionnant en parallèle. L approche interactionniste intègre quant à elle, la notion de communication. En effet, elle s intéresse à la manière dont l interaction entre l enfant et son entourage constitue le moteur de l acquisition du langage. Les résultats expérimentaux accumulés depuis plusieurs années suggèrent que l acquisition du langage chez le bébé se fait en grande partie par l extraction de régularités statistiques dans son environnement. Les expériences menées par Pierre Perruchet et Ronald Peereman vont dans ce sens. Ils ont observé que si l on donne à transcrire à des enfants un mot qui n existe pas, tel que /bylevo/, ceux-ci ont tendance à transcrire -veau en finale, alors qu on n observe pas cette tendance avec /bylefo/. En effet, -veau est plus fréquent en Français (veau, nouveau, cerveau, etc.) que -feau (girafeau et c est à près tout). Cet exemple révèle notre aptitude à raisonner en termes statistiques car il n y aucune règle, ni aucun enseignement qui pourrait expliquer cette tendance. Ainsi la théorie classique découlant des travaux de Chomsky, faisant l hypothèse que le cerveau de l enfant comporte dès la naissance des schémas linguistiques généraux et que des règles de nature grammaticales sont codées dans les circuits cérébraux, ne semble pas être la réponse unique au processus d acquisition du langage. Cette acquisition du langage par le moyen de statistiques est également appuyée par les travaux de Peter Jusczyk de l université de Johns Hopkins qui ont montré que les bébés sont sensibles aux propriétés statistiques du langage pour segmenter la parole en mots. C est dans ce contexte que l on se propose de modéliser les processus d acquisition du langage par des méthodes statistiques. La modélisation est en effet un moyen de compléter la démarche expérimentale en éclairant sous un nouveau jour les résultats expérimentaux et les théories de l acquisition. Actuellement, les systèmes de reconnaissance de la parole s appuyant sur des données statistiques obtiennent les meilleurs résultats. On utilisera alors ces modèles statistiques pour simuler et comprendre l acquisition des règles allophoniques chez le nourrisson.

17 3 Un modèle probabiliste pour la reconnaissance des phonèmes 11 3 Un modèle probabiliste pour la reconnaissance des phonèmes L utilisation des chaînes de Markov cachées (HMM - Hidden Markov Model) dans les systèmes de reconnaissance de la parole est basée sur l hypothèse que l on peut représenter la parole par une chaîne de Markov. Cette technique de représentation est actuellement utilisée dans la plupart des systèmes de reconnaissance de la parole. Ma visite au CLSP de John Hopkins avait pour but de me donner les bases théoriques pour la reconnaissance de la parole afin de travailler par moi-même une fois de retour au LSCP. Dans ce chapitre, il s agira de présenter le travail effectué à l université de Johns Hopkins en introduisant les différentes méthodes et algorithmes actuellement utilisés en reconnaissance de la parole ainsi que les outils (notamment HTK - Hidden markov model ToolKit) permettant de construire de tels systèmes. 3.1 Reconnaissance automatique de la parole : principe général Les systèmes de reconnaissance automatique de la parole actuels sont fondés sur une approche probabiliste ([8]). Un système de reconnaissance de la parole se compose de deux entités : un module de reconnaissance acoustique et un module de modélisation du langage. Le module de reconnaissance acoustique permet de définir, à partir du signal à reconnaître, quel est l élément acoustique le plus probablement produit. Une fois cette étape d identification franchie, il s agit de faire la correspondances entre ces observations acoustiques et des unités lexicales (dans notre cas les phonèmes), ce qui est effectué par le deuxième module. Il permet d estimer par des méthodes statistiques la position de l unité lexicale dans le signal à reconnaître. Le rôle de l ASR (Automatic Speech Recognizer) est de déterminer la séquence de phonèmes la plus probable Ŵ pour une observation acoustique Y donnée. Cette tâche peut être résumée par la formule de Bayes suivante : Ŵ = arg max W P (W Y ) = arg max W P (W )P (Y W ) P (Y ) Avec : P (Y ), la probabilité de l observation acoustique Y. Pour générer cette probabilité, le module de reconnaissance acoustique doit analyser le signal et définir quelle est la suite d éléments acoustiques y 1, y 2,..., y n la plus probable. P (W ), la probabilité de la séquence de phonèmes W dans le langage considéré indépendemment de l observation acoustique. Cette probabilité est générée par le modèle de langage. P (Y W ), la probabilité de l observation acoustique Y connaissant la séquence W, déterminée par le modèle acoustique. En d autres termes chercher la séquence de phonèmes W la plus vraissemblable, revient à trouver la séquence qui maximise le produit de P (W ) et P (Y W ). P (Y ) ne dépendant pas de la séquence W testée. Pour chaque séquence de phonèmes W, la modèle de langage calcule sa probabilité P (W ). Chaque phonème correspond à un modèle statistique : un modèle de Markov caché (HMM). La séquence de HMM nécéssaire pour représenter la séquence W est concaténée pour former un HMM de plus grande ampleur, la probabilité de produire l observation acoustique Y de ce HMM est ensuite calculée, soit la probabilité P (Y W ). Ce processus doit être en principe repété pour toute les séquences de mots W afin de trouver celle qui constituera le résultat en sortie de l ASR. Cette tâche étant impossible, on verra par la suite que seules les séquences potentielles sont analysées.

18 3.2 Du signal à l observation acoustique Du signal à l observation acoustique Afin de comprendre la signification des éléments acoutiques y 1, y 2,..., y n composant l observation acoustique Y, il est nécessaire d expliquer de quelle manière on les caractérise à partir du signal de la parole. Le signal de la parole est vu comme étant stationnaire sur des intervalles de quelques millisecondes, ce qui nous permet de dire que ses caractéristiques spectrales sont constantes dans cet intervalle de temps. Les éléments acoustiques, ou plus précisément les vecteurs acoustiques y 1, y 2,..., y n, sont composés des coefficients MFCCs pour Mel Frequency Cepstrum Coefficients qui sont obtenus par l enchaînement des étapes exposée dans la figure ci-dessous : Fig. 4 Du signal aux vecteurs acoustiques Le signal est tout d abord amplifié pour compenser l atténuation provoquée par la radiation des lèvres (qui agit comme un filtre passe bas). Il est ensuite divisé en blocs de 10ms sur lesquels on applique un fenêtrage de Hamming. On utilise ensuite une transformée de Fourier (FFT) avant d appliquer des filtres triangulaires positionnés sur l échelle mel. L échelle mel a été conçue pour approximer la résolution fréquentielle de l oreille humaine. Son utilisation dans les systèmes de reconnaissance de la parole a permis d améliorer considérablement les taux de reconnaissance.

19 3.3 Les chaînes de Markov cachées 13 Fig. 5 L échelle MEL Afin que les statistiques du spectre de l énergie du signal approximent une Gaussienne, on passe par le logarithme. La dernière étape consiste à prendre la transformation discrète de Fourier du signal pour obtenir les coefficients MFCCs. Chaque vecteur acoustique est ainsi constitué de 39 coefficients MFCCs. Le nombre de coefficients utilisés varie peu dans la littérature traitant des ASR et a été défini empiriquement. 3.3 Les chaînes de Markov cachées Comme nous l avons évoqué brièvement précédemment, chaque phonème peut être associé à une chaîne de Markov (HMM). La parole étant le résultat d une combinaison de sons soit de phonèmes, la concaténation de ces HMMs en un unique HMM nous permettra de modéliser la parole. Par définition, un processus de Markov est un système à temps discret se trouvant à chaque instant dans un état pris parmi N états distincts. Les transitions entre les états se produisent entre deux instants discrets consécutifs, selon une certaine loi de probabilité. La probabilité de chaque état ne dépend que de l état qui le précède immédiatement. L appelation chaîne de Markov cachée représente un ensemble de séquences d observations dont l état de chaque observation n est pas observé, mais associé à une fonction de densité de probabilité (pdf). Il s agit donc d un processus doublement stochastique, dans lequel les observations sont une fonction aléatoire de l état et dont l état change à chaque instant en fonction des probabilités de transition issues de l état antérieur. Le modèle de Markov utilisé pour la reconnaissance des phonèmes est représenté par le triplet (π, A, B), avec : π, l ensemble des probabilités initiales de se trouver dans un état s donné. π = {p(s i )} A, la matrice des probabilités de transition a ij entre un état s i et un état s j. A = {a ij } B, la matrice des probabilités d observations en fonction de chaque état du système. Soit une séquence d observations Y = y 1, y 2,..., y t,..., y T où le vecteur acoutique y t est observé à l unité de temps t, les probabilités d émissions s écrivent p(y s i ), notées b i (Y ). B = {b i (Y )}

20 3.3 Les chaînes de Markov cachées 14 Chaque HMM est composé de 3 états et d une topologie gauche-droite. 2 états d entrée et de sortie permettent la combinaison des HMMs entre eux. Fig. 6 Topologie HMM Le choix de la fonction de probabilité décrivant les probabilités d émission est crucial, puisque c est cette fonction qui va permettre de modéliser toutes les variabilités acoustiques qui apparaissent entre différents locuteurs. Ces variations dépendent en effet de plusieurs paramètres : genre du locuteur, état émotionnel, débit de la parole, plus ou moins bonne articulation...etc. Actuellement les ASR utilisent des fonctions multigaussiennes qui semblent capter le mieux ces variabilités. Ainsi on a : b i (y t ) = M c im N(y t, µ im, σ im ) m=1 où N(y t, µ im, σ im ) est une loi gaussienne, c im le poids de la gaussienne m, µ im sa moyenne et σ im sa variance. La probabilité conjointe d une séquence d observation Y et d une séquence d états S connaissant le modèle M = (π, A, B) peut se calculer simplement comme le produit des probabilités d emission par les probabilités de transition. P (Y, S M) = a s0 s 1 T t=1 a sts t+1 b st (y t ) (1) En rappellant que S est cachée et que seulement Y est connue. A partir de ce point il est facile d en déduire la probabilité P (Y M) = P (Y W ) en sommant 1 sur toutes les séquences d états possibles. P (Y, S M) = S T a s0 s 1 t=1 a sts t+1 b st (y t ) (2) Les probabilités a ij et les paramètres de b i (y t ) de chaque HMM s évaluent durant la phase d apprentissage des modèles. On utilise pour cela un corpus dont les unités acoustiques ont été préalablement étiquettées, et on maximise la vraissemblance pour chaque HMM d avoir obtenu la séquence d observation. Chaque observation est ainsi assignée à chaque état proportionnellement à la probabilité du modèle de se trouver dans cet état lorsque le vecteur y t est observé. L algorithme Forward-backward ou algorithme de Baum Welch basé sur l équation 2 est ici utilisé. Les détails de cet algorithme sont expliqués dans ref [14] et ref[8]. Une fois les différents modèles établis, la phase de décodage va consister à utiliser l algorithme de Viterbi afin de déterminer la séquence des états la plus probable qui a produit la séquence de phonèmes

21 3.4 Des triphones pour modéliser la coarticulation 15 W. Cet algorithme est globalement le même que l algorithme de Baum Welch à ceci près que la somme sur les séquences d états est remplacée par l opérateur max afin de trouver la séquence des états qui maximise l équation 3 : P (Y, S M) = max a s0 s 1 S T t=1 a sts t+1 b st (y t ) (3) Les différentes étapes de l algorithme sont expliquées dans ref [14] et ref [8]. On peut cependant schématiser l algorithme comme étant le moyen de trouver le meilleur chemin à travers une matrice où la dimension verticale représente les états des HMMs et la dimension horizontale : les vecteurs acoustiques observés. 3.4 Des triphones pour modéliser la coarticulation Nous avons pour le moment spécifié qu il fallait définir un HMM par phone. Cependant on ne peut réduire le signal de la parole à une séquence linéaire de phonèmes. En effet chaque son produit varie en fonction de son entourage phonétique. C est ce que nous avons précédemment appelé des allophones. Ainsi, pour que notre précédent modèle prenne en compte les variations contextuelles, et donc les contextes droit et gauche entourant l unité à décoder, on utilise un modèle de triphone : x y + z qui signifie que le phonème x précède y, lui même suivi par z. Par exemple, le mot bateau écrit sil b a t o sil sera alors développé en : sil b+a b-a+t a-t+o t-o sil où sil représente un silence, soit une pause dans l énonciation. Le /a/ de bateau modélisé par le triphone b-a+t, aura alors un modèle HMM différent du /a/ de gâteau qui sera modélisé par g-a+t. Cependant la mise en place d un HMM pour chaque modèle de triphone se révèle coûteuse par le nombre de paramètres mis en jeu. Pour un vocabulaire comprenant 40 phonèmes, on aurait alors triphones et modèles associés. C est ici que le nombre de données peut poser problème. En effet, durant la phase d entraînement des modèles, le nombre de données associées à chaque modèle doit être suffisant pour obtenir une estimation correcte des paramètres de chaque HMM. Par exemple le modèle t +ɛ comme dans tchèque est une séquence suffisament rare en français pour que l on obtienne peu ou aucune données lui correspondant dans le corpus étudié. La solution consiste alors à utiliser la même gaussienne pour modéliser les variants allophoniques proches : Fig. 7 HMM à états partagés

22 3.4 Des triphones pour modéliser la coarticulation 16 Ainsi les variants allophoniques dont les états ne sont pas acoutisquement différenciables, sont modélisés de la même manière. Pour se faire, on utilise des arbres de décisions phonétiques se présentant de la façon suivante : Fig. 8 Arbre de décision basé sur des questions linguistiques Une question linguistique binaire est posée à chaque noeud de l arbre. L ensemble des allophones d un même phone est tout d abord présenté à la base de l arbre (flèche sur la figure précédente) et selon la réponse obtenue à la question posée, ils sont répartis dans chacune de ses branches. Les questions linguistiques sont choisies de façon à maximiser la vraissemblance des modèles avec les données d apprentissage connaissant le nombre final d états recherché. Le choix des questions fait le sujet de l annexe B.

23 3.5 Un outil pour la modélisation : HTK Un outil pour la modélisation : HTK HTK est un semble de librairies permettant de construire des reconnaisseurs automatiques de la parole utilisant des chaînes de Markov cachées. Chacune des étapes mentionnée ci-dessus (voir aussi Figure (9) ci-après) peut être traitée avec une des librairies que ce soit au niveau du découpage du signal, de sa conversion en coefficients MFCC, de la création des HMMs et de leur entraînement ou bien de la phase de reconnaissance. Fig. 9 Les différentes étapes de construction d un ASR Ces librairies implémentent tous les algorithmes necéssaires (Viterbi, Baum Welch) tout en offrant un nombre appréciable de paramètres à définir afin de faire des ASR performants suivant les données que l on possède. Les paramètres des HMM sont stockés dans des fichiers textes au format prédéfini qu il est aisé de manipuler à l aide de scripts perl. On trouvera un exemple en Annexe C de la façon dont les données de chaque HMM sont stockées. Les fonctions d HTK s appellent via un terminal. On ne donnera pas ici les spécifications nécéssaires à chaque fonction, une description détaillée pourra être trouvée dans le tutoriel officiel d HTK (réf [11]) et un listing des différentes fonctions utilisées pourra être consulté en Annexe D.

24 4 Environnement et support de travail 18 4 Environnement et support de travail Afin de comprendre la motivation de ce travail, il est bon de préciser le cadre de notre étude. L article [S. Peperkamp and al. 2005] constitue le support de notre démarche. Nous reverrons les hypothèses qui y sont exposées afin de voir en quoi on peut apporter une nouvelle dimension à cette publication en utilisant des HMMs. On définira également le corpus de données acoustique qui sera le support de toute cette étude. 4.1 Hypothèses de base Dans The acquisition of allophonic rules : Statistical learning with linguistic constraints, les auteurs, S. Peperkamp E. Dupoux, R. Le Calvez et JP. Nadal, partent du postulat que les règles allophoniques sont apprises de façon prélexicale par l extraction de régularités distributionnelles (voir partie 2). Ce qui suppose plusieurs hypothèses sur les connaissances du nourrisson, celui-ci doit en effet être capable de : Découper la parole en segments phonétiques Calculer la fréquence des segments et la probabilité de transition entre chaque segment Comparer les distributions des segments Les règles allophoniques permettent de relier les deux niveaux de représentations phonologiques : la représentation de surface, qui regroupe les différentes réalisations acoustiques, et la représentation sous-jacente des catégories phonémiques. Ici, on se place dans le cas d une paire allophonique, c est à dire qu on suppose qu il n y a que deux réalisations acoustiques possibles et qu il n existe donc qu un allophone pour un phonème donné. Ces deux segments sont en distribution complémentaire, c est à dire qu ils n apparaissent pas dans le même contexte. La variation allophonique est définie comme étant le segment possédant la plus petite distribution, la plus grande distribution étant attribuée au segment par défaut. Afin de pouvoir extraire ces règles allophoniques, il est nécessaire de pouvoir comparer les segments entre eux. Pour cela, on se place dans un espace défini par 6 dimensions linguistiques : la place d articulation, la sonorité, le voisement, la nasalité, l arrondissement et la longueur, dans lequel on définit une distance. Une première approche pour l apprentissage des règles allophoniques consiste à se baser sur les contraintes naturelles du langage. En effet, par définition, l allophone et le segment par défaut sont proches phonétiquement, cela revient à dire qu ils sont proches dans l espace linguistique défini précédemment. Un premier filtre linguistique a alors été défini qui impose que les segments d une règle allophonique soient voisins (il n existe pas de segments intermédiaires). Un deuxième filtre a également été défini pour modéliser le fait qu une règle allophonique est une règle d assimilation. En effet, le changement phonétique définissant l allophone par rapport au segment par défaut est dû au contexte de l allophone. L allophone aura donc tendance à se rapprocher de son contexte. On impose alors à l allophone d une paire allophonique, d être plus proche de son contexte que ne l est le segment par défaut. Les caractérisations de la distance linguistiques et des filtres ainsi définis pourront être lus dans l annexe A. Les résultats de l application de ces deux filtres sur des corpus artificiels ne comprenant que quelques règles allophoniques ont montré qu il était possible d extraire de cette manière les différentes paires allophoniques le constituant.

25 4.2 Description des données 19 Cependant il s avère que les réalisations allophoniques d un phonème sont multiples du fait de la multiplicité des contextes. Ainsi non seulement il y aurait de nombreux allophones par phonème, mais il n existerait pas de segment par défaut correspondant à la plus grande distribution d un des segments. Il s avère en effet possible que des allophones, bien qu apparentés à la même catégorie sous-jacente, aient tous des distributions de taille comparable. La méthode de filtrage linguistique proposée précédemment n offre aucune robustesse à l augmentation du nombre d allophones dans le corpus. De plus la distance linguistique ainsi définie dans les 6 dimensions précédentes présuppose que l enfant a accès à des informations articulatoires. On se propose alors de revoir ce modèle en se basant cette fois sur un corpus acoustique et en ne considérant plus des paires allophoniques mais des ensembles d allophones où il n existe pas nécéssairement une distribution prépondérante d un allophone sur les autres. Le modèle ainsi modifié, on s attachera à remplacer les filtres linguistiques vus précédemment par des indices acoustiques permettant de reconnaître les réalisations allophoniques d un même phonème. 4.2 Description des données Le LSCP dispose d un corpus de données acoustiques : le CSJ, Corpus of Spontaneous Japanese. Cette base de données comprend 600 heures de parole spontanée, soit environ 7 millions de mots. Les locuteurs ont pour langue maternelle le Japonais et diffèrent en genre et en âge. L importance horaire de cette base de donnée et la diversité de ses locuteurs en font un bon outil pour modéliser l ensemble de ce que peut entendre un bébé en 6 mois, soit suffisamment de temps pour lui permettre d acquérir les règles allophoniques. Le principal attrait de cette base de données est qu elle a été entièrement labellisée phonétiquement et qu elle constitue donc un excellent outil de test pour la reconnaissance de la parole. De plus 44 heures d enregistrement ont été labellisés minutieusement : les phonèmes sont délimités temporellement et les intonations, les dévoisements 6 ou la palatalisation 7 des consonnes sont également indiqués. 37 heures (84 %) d enregistrement seront utilisées pour l entrainement du modèle de reconnaissance de la parole exposé dans la partie précédente. Les 7 heures restantes (16 %) serviront à tester le modèle. Les 37 heures d entraînement ont été segmentées en expressions toutes délimitées par des pauses d environ 200 ms dans l élocution. Au total, on compte segments pour l entraînement des modèles. La notation utilisée comporte 74 labels différents incluant les phonèmes et certains de leurs allophones les plus courant, comme les consonnes palatalisées [m j ] ou [z j ], mais aussi les bruits et les silences présents dans les enregistrements. On conservera 49 labels parmi les plus courants en Japonais et les plus pertinents pour l entrainement du modèle. On gardera en l occurrence la version palatalisée des consonnes ainsi que la nasale moraïque /N/. On entrainera 3 modèles sur ce corpus possédant 100, 500 et 1000 allophones respectivement. Le contrôle du nombre d allophone est possible lors de l étape de minimisation du nombre de triphones à l aide de l arbre de décision linguistique où il suffit de fixer le nombre de données souhaitées pour chaque modèle d allophones. Le choix des allophones repose sur l arbre de décision (Annexe B), ils sont choisis de façon à maximiser le taux de reconnaissance. Le nombre d allophones par phonème n est donc pas constant d un phonème à l autre. Par exemple, dans le modèle à 100 allophones, on comptera 11 allophones pour /o/ contre seulement 4 pour /t/. En règle générale on obtiendra plus d allophones pour les voyelles que pour les consonnes. 6 Le voisement est une qualité (ou propriété) de certains sons de la parole. Un son est dit voisé si sa production s accompagne d une vibration des cordes vocales, et non voisé sinon. On utilise aussi couramment les termes de sonore et sourd pour désigner cette opposition. 7 Modification phonétique dans laquelle un son est produit par une partie plus à l avant du palais que celle utilisée pour le son d origine.