Modélisation statistique du langage

Transcription

1 Modélisation statistique du langage Reconnaissance automatique de la parole, Traduction automatique Alexandre Allauzen Université Paris Sud / LIMSI-CNRS Alexandre Allauzen (UPSud) Modèles de langage 1 / 46

2 Pour aujourd hui 1 Introduction 2 Modèle n-gram 3 Estimation robuste (smoothing) Alexandre Allauzen (UPSud) Modèles de langage 2 / 46

3 Plan Introduction 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 3 / 46

4 Plan Modèle n-gram 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 4 / 46

5 Plan Modèle n-gram Formalisation du problème 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 5 / 46

6 Modèle n-gram Formalisation du problème Notation, mise en équation Encore une fois Notation Ŵ = argmax W P(W /X) = argmax W P(W )P(H W )f (X H) (1) H W est une séquence de variable aléatoire (V.A) : W = {W 1, W 2,..., W N }. Chaque V.A est construite sur le même espace de réalisation : le vocabulaire V. La réalisation d une V.A se note W i = w i. Abus d écriture, omission de la référence à la V.A. Alexandre Allauzen (UPSud) Modèles de langage 6 / 46

7 Définitions Modèle n-gram Formalisation du problème Modèle de langage Le modèle de langage assigne une probabilité non nulle à toutes séquences de mots W extraites du vocabulaire V Définition : le vocabulaire et le mot V = liste des mots qui peuvent être reconnus par le système + < UNK >. Un mot est une suite finie et ordonnée de caractères W = (w 1, w 2,..., w n ), avec w i V T P(W ) = P(w i w 1, w 2,...w i 1 ) i=1 (2) Corpus d apprentissage ou d entraînement Estimation des probabilités à partir d observation sur des corpus d entraînement (pour toutes les séquences?) Alexandre Allauzen (UPSud) Modèles de langage 7 / 46

8 Modèle n-gram Formalisation du problème Classe d équivalence et approximation Complexité Avec un vocabulaire de mots : = phrases de 2 mots possibles, = 2, phrases de 3 mots, Classe d équivalence Regroupement des historiques en classe d équivalence Φ T P(W ) P(w i Φ(w 1, w 2,...w i 1 )) (3) i=1 Tout l art de la modélisation du langage consiste à déterminer Φ et une méthode pour estimer les probabilités associées F. Jelinek Alexandre Allauzen (UPSud) Modèles de langage 8 / 46

9 Modèle n-gram Formalisation du problème Classe d équivalence et approximation Complexité Avec un vocabulaire de mots : = phrases de 2 mots possibles, = 2, phrases de 3 mots, Classe d équivalence Regroupement des historiques en classe d équivalence Φ T P(W ) P(w i Φ(w 1, w 2,...w i 1 )) (3) i=1 Tout l art de la modélisation du langage consiste à déterminer Φ et une méthode pour estimer les probabilités associées F. Jelinek Alexandre Allauzen (UPSud) Modèles de langage 8 / 46

10 Modèle n-gram Formalisation du problème Évènements non observés Loi de Zipf Loi de Zipf : f K r, Comptes d occurrence triés par rang de fréquence obtenus sur des corpus de journaux de 30M de mots chacun. Pour les 100k mots les plus fréquents de chaque langue fréquence vs rang fréquence de fréquence Alexandre Allauzen (UPSud) Modèles de langage 9 / 46

11 Plan Modèle n-gram Le modèle ngram 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 10 / 46

12 Modèle n-gram Modèle n-gramme de mots Le modèle ngram Modélisation du langage par une source markovienne d ordre n 1 La probabilité d émission d un mot dépend exclusivement des n 1 précédents. Décomposition d une séquence de mots n = 2 bigramme P(W ) = P(w 1 ) T i=2 P(w i w i 1 ) n = 3 trigramme P(W ) = P(w 1 )P(w 2 w 1 ) T t=3 P(w i w i 1 w i 2 ) n n-gramme P(w i w i 1...w i n+1 ) Conséquences n 1 mots suffiraient à prédire un mot. En pratique n 4 Classe d équivalence Φ : (w 1, w 2,...w i 1 ) (w i n+1...w i 1 ) Alexandre Allauzen (UPSud) Modèles de langage 11 / 46

13 Modèle n-gram Le modèle ngram Caractéristiques des modèles n-gramme de mots Une modélisation fondée sur les régularités du langage Structure du langage capturée implicitement sous forme d une probabilité de succession de mots. Probabilité indépendante de la position dans la phrase (des mots spéciaux indiquent le début et la fin de phrase, <s>, </s>). Probabilités estimées à l aide de grand corpus de textes Hypothèse d indépendance quid des phrases de plus de n mots quid des dépendance inter-phrases (ex : anaphore) Alexandre Allauzen (UPSud) Modèles de langage 12 / 46

14 Modèle n-gram Le modèle ngram Estimation des probabilité Estimateur du Maximum de vraisemblance Unigramme Unigramme : estimation de la probabilité d un mot w i : n-gramme P(w i ) = C(w i) k C(w k) = C(w i ) taille du corpus estimation de la probabilité conditionnelle d un mot w i étant donné son historique h n 1 de n 1 mots précédents : P(w i h n 1 ) = C(hn 1 w i ) C(h n 1 ) dans le cas d un bigramme h n 1 = w j, le prédécesseur de w i Alexandre Allauzen (UPSud) Modèles de langage 13 / 46

15 Plan Modèle n-gram Évaluation 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 14 / 46

16 Modèle n-gram Évaluation Évaluation d un ML : perplexité Théorie de l information La perplexité d un texte mesurée avec un modèle de langage quantifie la diminution de l entropie d un texte due à l utilisation de ce modèle. la capacité du ML à prédire les mots d un texte inconnu. Soit W = w 1 w 2...w T une séquence de mots test PP def = P(W ) 1 T Un facteur de branchement Interprétation comme facteur de branchement : l utilisation du modèle revient à choisir entre PP mots équiprobables après chaque mot. PP N, la taille du vocabulaire Perplexité faible bon ML! Imperfection Ne tient pas compte de la proximité phonétique des mots (gênant pour la RAP), dépendante du texte,... Alexandre Allauzen (UPSud) Modèles de langage 15 / 46

17 Modèle n-gram Évaluation Perplexité... Relation avec l entropie croisée du modèle PP = 2 H T avec H = log P(w i ) 1 T = 1 T Procédure de calcul i=1 T = log P(w i ) 1 T i=1 T log P(w i ) i=1 calculer la somme des logarithmes négatifs des probabilités N-grammes normaliser cette somme par T Alexandre Allauzen (UPSud) Modèles de langage 16 / 46

18 Exemple de calcul Modèle n-gram Évaluation P(Le président François Holland a présenté ses voeux) =?? 2-grammes P(le < s >) grammes P(le < s >) P(président le) P(président < s >,le) P(François président) P(François le,président) P(Holland François) P(Holland président,françois) P(a Holland) P(a François,Holland) P(présenté a) P(présenté Holland,a) P(ses présenté) P(ses a,présenté) P(voeux ses) P(voeux présenté,ses) P(< /s > voeux) P(< /s > ses,voeux) = = PP = PP = Alexandre Allauzen (UPSud) Modèles de langage 17 / 46

19 Modèle n-gram Évaluation Un modèle de language = un ensemble de classifieur Pour un historique donné ou Φ(w 1, w 2,...w i 1 ) Inférer le mot suivant w i connaissant Φ(w 1, w 2,...w i 1 ). Une distribution sur V pour un Φ(w 1, w 2,...w i 1 ) donné. En pratique: une multinomiale par historique Un modèle n-gramme = Un regroupement de multinomiales. Il faut lier les paramètres. Alexandre Allauzen (UPSud) Modèles de langage 18 / 46

20 Plan Estimation robuste (smoothing) 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 19 / 46

21 Plan Estimation robuste (smoothing) Prélèvement et lissage 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 20 / 46

22 Prélèvement et lissage Problèmes : mots hors vocabulaire Mots hors vocabulaire (Out of Vocabulary Words, OOV ) lorsqu un mot est hors vocabulaire, sa probabilité serait nulle et donc la perplexité Lors de l apprentissage il faut minimiser le taux de OOV et associer une probabilité à tous les mots OOV < UNK > Différences entre les langues l anglais et le français sont comparables. l allemand utilise beaucoup de mots composés taux d OOV plus élevé. Alexandre Allauzen (UPSud) Modèles de langage 21 / 46

23 Prélèvement et lissage Problèmes : observations des n-grammes Quantité de données d apprentissage : il n y a jamais assez de données textuelles pour estimer toutes ces probabilités ex mots 10 6 bigrammes, 10 9 trigrammes Hypothèse markovienne insuffisante en pratique Exemple : trigramme P(w i w j, w l ) = C(w jw l w i ) C(w j w l ) Problèmes P(w i w j, w l ) = 0 si C(w j w l w i ) = 0 et C(w j w l ) 0 P(w i w j, w l ) = si C(w j w l ) = 0 Alexandre Allauzen (UPSud) Modèles de langage 22 / 46

24 Prélèvement et lissage Évènements non observés Différentes raisons séquences non admises par la syntaxe de la langue ex. ils part tôt (typiquement des accords non-ambigus en genre et en nombre) mauvaise raison : séquences absentes du corpus, mais faisant partie de la langue Solutions : augmenter la taille du corpus d apprentissage; un modèle capable de généraliser ses connaissances; attribuer une probabilité (faible) aux événements non observés : P(w i h) ɛ > 0 i, h Alexandre Allauzen (UPSud) Modèles de langage 23 / 46

25 Prélèvement et lissage Évènements non observés Loi de Zipf Loi de Zipf : f K r, Comptes d occurrence triés par rang de fréquence obtenus sur des corpus de journaux de 30M de mots chacun. Pour les 100k mots les plus fréquents de chaque langue fréquence vs rang fréquence de fréquence Alexandre Allauzen (UPSud) Modèles de langage 24 / 46

26 Prélèvement et lissage Prélèvement Prélever une masse de probabilité D aux événements observés, P (w i h n ) = (1 δ(w i, h n ))P MV (w i h n ) puis la redistribuer sur les événements n 0 non-observés. Techniques de prélèvement : prélèvement constant : δ est une constante prélèvement absolu (absolute discounting ou Knesser-Ney) : δ(h) = 1 f (h) prélèvement Good-Turing et Katz : dépend de la fréquence des événements observés et de la fréquence des fréquences prélèvement Witten-Bell : on rajoute un poids au dénominateur, lié au nombre d événements distincts observés. Se référer à [1] (en version rapport technique) Alexandre Allauzen (UPSud) Modèles de langage 25 / 46

27 Prélèvement et lissage méthodes de lissage Le lissage combine le prélèvement et la redistribution. Lissage et généralisation Le lissage opère un saut inductif: généralise le corpus fini à un langage infini; Toute phrase a une probabilité non nulle. Les classiques Combinaison linéaire (interpolation) de plusieurs modèles; Le repli (back-off ) Introduction d a priori sur les paramètres; Construction de classes de mots classes d histoires;... Alexandre Allauzen (UPSud) Modèles de langage 26 / 46

28 Prélèvement et lissage Redistribution - Interpolation linéaire Comment faire un compromis Les modèles les plus simples (unigramme) sont les mieux estimés. L ordre du modèle augmente sa capacité de prédiction. Combinaison linéaire de modèles de complexité croissante selon P I (w i h n ) = λ(w i, h n )P (w i h n ) + (1 λ(w i, h n ))P I (w i h n 1 ) Le coefficient λ est de manière générique une fonction du mot et de l historique Alexandre Allauzen (UPSud) Modèles de langage 27 / 46

29 Redistribution - Repli Estimation robuste (smoothing) Prélèvement et lissage Principe : exploiter les historiques d ordre plus faible non observé approximation n h m i n h m i h n m i h n-1 m i Technique de repli (back-off) P () P() P (w i h n ) si C(h n w i ) > 0 P(w i h n ) = α(h n )P (w i h n 1 ) si C(h n w i ) = 0 α(h n ) : coefficient de repli (back-off) déterminé pour remplir la condition de normalisation des probabilités conditionnelles Alexandre Allauzen (UPSud) Modèles de langage 28 / 46

30 Prélèvement et lissage Le plus simple, le prélèvement constant ou additif Définition P add (w i h n ) = La constante est telle que 0 < α < 1 c(w i, h n ) + α α V + w c(w i, h n ) Cette méthode est en général peu efficace. Mieux vaut prélever en fonction du mot ou de l historique Alexandre Allauzen (UPSud) Modèles de langage 29 / 46

31 Prélèvement et lissage Aussi simple : Jelinek-Mercer Définition récursive de l estimation via l interpolation linéaire. Définition P Jel (w i h n ) = λ(w i, h n )P MV (w i h n ) + (1 λ(w i, h n ))P Jel (w i h n 1 ) Estimation des paramètres doit se faire sur des données de validation ou : Held-out-data Deleted Interpolation Alexandre Allauzen (UPSud) Modèles de langage 30 / 46

32 Prélèvement et lissage Katz / Good-Turing Idée de départ L estimation MV surestime les évènements rares Correction de la fréquence des événements. Prélèvement Soit n r le nombre de n-grams apparaissant r fois : r = disc(r) = (r + 1) n r+1 n r Prise en compte de la loi de Zipf Alexandre Allauzen (UPSud) Modèles de langage 31 / 46

33 Les fréquences de Good-Turing Prélèvement et lissage Redistribution P (w i h n ) = disc(c(hn w i )) P K (w i h n C(h n ) si C(h n w i ) > 0 ) = α(h n )P (w i h n 1 ) si C(h n w i ) = 0 r n r r r n r r Chaque évènement non-observé a un compte GT Alexandre Allauzen (UPSud) Modèles de langage 32 / 46

34 Prélèvement et lissage Inconvénient de la méthode de Katz Surestimation des probabilités C(en) = 10000, (le) = 10000, C(appel) = 100, C(en le) = C(en appel) = 0 P(en le) >> P(en appel)!! Probabilité du bigramme inobservé on Frisco P K (Frisco/on) = α(on)p K (Frisco) Comme Frisco est très fréquent, P K (Frisco/on) est élevée Pourtant Frisco, même si très fréquent, apparaît dans peu de contexte. Idée : prendre en compte la propension du mot à se combiner à gauche Le mot apparait-il dans de nombreux contextes ou est-il spécifique? Alexandre Allauzen (UPSud) Modèles de langage 33 / 46

35 Witten-Bell Estimation robuste (smoothing) Prélèvement et lissage Interpolation avec l ordre inférieur P wb (w i h n ) = λ h np MV (w i h n ) + (1 λ h n)p wb (w i h n 1 ) Le coefficient d interpolation est fonction de l historique et de sa spécificité, soit {w}, C(h n w) > 0 : λ h n = {w}, C(h n w) > 0 {w}, C(h n w) > 0 + w c(hn, w) Alexandre Allauzen (UPSud) Modèles de langage 34 / 46

36 Prélèvement et lissage Knesser-Ney P(w i h n ) = P (w i h n ) = C(hn w i ) D C(h n ) si C(h n w i ) > 0 α(h n ) {v n },C(v n w i )>0 w {v n },C(v n w)>0 si C(h n w i ) = 0 D est une constante (prélèvement absolu) {v n }, C(v n w i ) > 0 est le nombre d historique possible pour w i Raffinement : D est optimisé indépendemment pour les n-gram apparaissant 1,2 et 3 fois Alexandre Allauzen (UPSud) Modèles de langage 35 / 46

37 Plan Estimation robuste (smoothing) Technique de développement et utilisation 1 Introduction 2 Modèle n-gram Formalisation du problème Le modèle ngram Évaluation 3 Estimation robuste (smoothing) Prélèvement et lissage Technique de développement et utilisation Alexandre Allauzen (UPSud) Modèles de langage 36 / 46

38 Technique de développement et utilisation Normalisation des corpus d entraînement La normalisation des textes est un compromis entre : Couverture lexicale Obtenir une meilleure couverture lexicale et un meilleur apprentissage réduction du nombre de mots conversion des chiffres en mots éclatement des sigles uniformiser l écriture des unités Capacité discriminante Discrimination du modèle de langage conservation de toutes les distinctions conserver la capitalisation (français) et les acronymes, ex : Roman ou roman écritures alternatives et contraction, ex. : we ll ou we will Alexandre Allauzen (UPSud) Modèles de langage 37 / 46

39 Chaîne de traitement Technique de développement et utilisation corpus brut... Normalisations corpus normalise Comptes d occurrence C( m ) i C( m i m j ) Sur l une des deux affiches, tirees a 60,000 exemplaires, cette phrase, tracee en grandes lettres, barre les graffitis et insultes qui couvrent un tableau noir. 50,000 autocollants, estampilles du mot respect, montrent non plus la main des potes, mais deux poings qui s appuient l un contre l autre sur l une des deux affiches tirees a soixante mille exemplaires cette phrase tracee en grandes lettres barre les graffitis et insultes qui couvrent un tableau noir cinquante mille autocollants estampilles du mot respect montrent non plus la main des potes mais deux poings qui s appuient l un contre l autre... m m m t-1 m t m t+1... A partir d un corpus (suites de mots w 1... w t 1 w t w t+1... w T ) on détermine les mots distincts (vocabulaire w i, i = 1,... I) et les comptes d occurrences de suites de mots de longueur 1, 2, 3... Alexandre Allauzen (UPSud) Modèles de langage 38 / 46

40 Choix des corpus d entraînement Technique de développement et utilisation Corpus en relation avec la tâche caractérisation de la tâche? ex. : transcription d émissions télévisées d actualité Utilisation de transcription d émissions télévisées d actualité mais quantité insuffisante Utilisation de textes de la presse écrite mais langage écrit parole spontanée par ex. ajouter des hésitations, des respirations Quelle actualité, quelle langage? époque des textes utilisés anciens mots d intérêt général récents surtout pour les noms propres Alexandre Allauzen (UPSud) Modèles de langage 39 / 46

41 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

42 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

43 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

44 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

45 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

46 Modèle de langage en français Technique de développement et utilisation Répartition des données d entraînement Source Moyenne annuelle Période Total en en million de mots couverte million de mots Transcriptions 0, ,6 Service de presse 24,2 1997,1998, ,7 Agence de presse 22, ,8 Le Monde 21, ,4 Le Monde Diplo. 1, ,7 Éviter la dilution : Un modèle par source est estimé (transcription, service de presse, presse écrite) Alexandre Allauzen (UPSud) Modèles de langage 40 / 46

47 Technique de développement et utilisation Construction du modèle de langage de référence Interpolation linéaire des trois modèles : P interpol (w h) = 3 λ i P i (w h), avec i=1 3 λ i = 1. i=1 les (λ i ) calculés de manière à minimiser la perplexité d un texte de développement T : ppx(t) = 2 L(T ) avec L(T) = 1 n n log 2 P(w j h j ) j=1 15 millions de bigrammes, 13 millions de trigrammes, 10 millions de quadrigrammes Alexandre Allauzen (UPSud) Modèles de langage 41 / 46

48 Technique de développement et utilisation Ordres de grandeur Modèle de langage français plus 300M mots de la presse écrite, 72M mots de transcriptions commerciales, 1,6M mots de transcriptions fines (hésitations, respirations,...) 65K mots, 15 millions de bigrammes, 13 millions de trigrammes, 10 millions de quadrigrammes Modèle de langage anglais 340 sur 700M mots de journaux (Wall Street Journal,...), 2M mots de transcriptions commerciales, 1,5M mots de transcriptions fines 65K mots, 8M bigrammes, 21M trigrammes, 225Mo compressé, OOV 0,5 % Modèle de langage allemand comparable au modèle de langage français, mais OOV de 4,5% Alexandre Allauzen (UPSud) Modèles de langage 42 / 46

49 Trouver la phrase la plus fréquente Technique de développement et utilisation Considérons le graphe suivant : il fait beau souvent <s> Gilles faut chaud vent pile plait peau couvent </s> Comment déterminer la phrase (suite de mots) la plus probable en utilisant un modèle de langage bi- ou trigrammes? Tester toutes les phrases : bigrammes 400 évaluations programmation dynamique algorithme classique de parcours de graphe Alexandre Allauzen (UPSud) Modèles de langage 43 / 46

50 Algorithmes... Estimation robuste (smoothing) Technique de développement et utilisation Exemple avec des bigrammes : créer un graphe dont les noeuds sont les mots et dont les arcs sont les probabilités des bigrammes correspondants il fait beau souvent <s> Gilles faut chaud vent </s> pile plait peau couvent chercher le chemin maximal par programmation dynamique (33 évaluations) Comment faire en cas de tri-grammes? graphe de couples de mots Alexandre Allauzen (UPSud) Modèles de langage 44 / 46

51 Technique de développement et utilisation Conclusion sur... la modélisation linguistique en Reconnaissance automatique de la parole continue grand vocabulaire. l état de l art : modèle résultant de l interpolation de ML n-gramme de mots, données d entraînement > 1 milliard de mots. Smoothing : Knesser-Ney modified un ML n-gramme de classe peut-être interpolé avec le ML n-gramme de mots Perspectives Put the language back into the language modeling. Les performances atteintes commencent à être suffisante pour envisager des applications nouvelles comme l indexation automatique de documents audiovisuels (cours 6). Nouvelles perspectives de recherche sur l extraction de connaissance et fouille de données audio(visuelles). Alexandre Allauzen (UPSud) Modèles de langage 45 / 46

52 Technique de développement et utilisation Bibliographie courte Les références Frederick Jelinek, Statistical Methods for Speech Recognition, The MIT Press, 2000 Christopher D. Manning and Hinrich Schütze, Foundations of Statistical Natural Language Processing, The MIT Press, 1999 Ronald Rosenfeld, Two decades of statistical language modeling: Where do we go from here?, Proceedings of the IEEE, 88(8), Jean-Luc Gauvain and L. Lamel and G. Adda, The LIMSI Broadcast News Transcription System, Speech Communication, 37, Do it yourself! Alexandre Allauzen (UPSud) Modèles de langage 46 / 46

53 Technique de développement et utilisation Stanley F. Chen and Joshua T. Goodman. An empirical study of smoothing techniques for language modeling. Technical Report TR-10-98, Computer Science Group, Harvard University, Alexandre Allauzen (UPSud) Modèles de langage 46 / 46