! "! # $ % & '(! ) * +, -.,& +, / 0 #, / 1 +

Transcription

1 !!# $%& '(!)*+,-.,&+,/ 0#,/ 1+

2 / INTRODUCTION 5 NATURE DU SIGNAL DE PAROLE 6 1 LA PRODUCTION DE LA PAROLE [4][5] DESCRIPTION DE L APPAREIL PHONATOIRE SONS PRODUITS PAR L ORGANE VOCAL 7 2 CARACTÉRISTIQUES DU SIGNAL DE PAROLE 8 LE MODÈLE ADDITIF 14 1 PRINCIPES L'ANALYSE LE SUIVI DES TRAJETS DES PARTIELS LA SYNTHESE 18 2 TRANSFORMATIONS 21 3 AVANTAGES ET LIMITATIONS 22 LA SYNTHÈSE «SHAPE INVARIANT» 23 1 L ALGORITHME SHAPE INVARIANT DE MCAULAY ET QUATIERI [2] 23 2 L ALGORITHME SHAPE INVARIANT DE FEDERICO [3] PRINCIPES TIME-STRECH ET PITCH-SHIFT RESULTATS OBTENUS MODIFICATIONS DE L ALGORITHME 29 SYNTHÈSE ADDITIVE DU BRUIT 34 1 PRISE EN COMPTE DU BRUIT PAR LE RÉSIDUEL [8][10] 34 2 LE MODÈLE ADDITIF AMÉLIORÉ DE KELLY FITZ [12][13][14] PRINCIPES ALGORITHME PROPOSE MISE EN OEUVRE PRATIQUE RESULTATS 38 RÉSULTATS 40 1 RÔLE DE L ESTIMATION DE VOISEMENT 40 2 RÉSULTATS OBTENUS 41 CONCLUSION 44

3 BIBLIOGRAPHIE 45

4 Je tiens à remercier Xavier Rodet et toute l équipe Analyse-synthèse de l IRCAM pour leur accueil, Axel Roebel pour sa disponibilité et son aide tout au long du stage, Toute l équipe du DEA ATIAM de nous offrir encore et toujours la possibilité unique d une formation scientifique et musicale, Cyrille Defaye pour sa sympathique présence et tous les services qu elle est toujours prête à rendre, La promo du dernier DEA ATIAM pour cette année passée

5 !! #$! %&! #$ ' ( ) #$ % %.

6 2! #$ #% &#$ # '($)* + & [Fig. 1] Schéma de l appareil phonatoire, d après [4] +,! - $ #. / + ' '&$0 & #1, + # '

7 ( * + #$ #! $ $ # + # & + + # $ ' # [Fig. 2] Section du larynx, vu de haut, d après [4] 5 % 6 & +$ ' 7, ' 6 + '$+ &(8 9.#* '! : ; < (898=9*:' + 89' ' 2

8 +8=9(#689* ' + % < (# 89* $? #. %! $, # 6 <. ' #6 ( * ( * +,(#84 9*(# 89* $(#8 9* +& ' # 6 4$ + '' A (,(#8/9*(# 89* $ ( # 89** ; + ( # 89* 3 (#89* < ( # 89* % ' 6 >

9 + ' # 7 ( * C - 7 ( #*, + # + $ ( * [Fig. 3] Extrait d un signal de parole pour un son voisé (échantillonné à 44100Hz) B

10 [Fig. 4] Extrait d un signal de parole pour un son non voisé (échantillonné à 44100Hz) A!, ' % # 7 # $ + &, # # # & & < DE

11 [Fig. 5] Spectre d une partie voisée [Fig. 6] Spectre d une partie non voisée DD

12 [Fig. 7] Sonogramme (en haut) et forme d onde (en bas) de la phrase parlée par un homme : «the rain in Spain» D

13 + ( * ' : <#2E'EF::DE'EE F::EE'EEF:: G $ & $' + < 0 $ $ $ ' D

14 3!$H0 I DB>JDK+L 4 M #A4 ( *L M! $ # L ' #6 ' #! +L N ' ( ON!O * +L4 L # 4 $ ( * M = LON!O! ft). +ON!O' N f(t),, g(t)jddk 7 ' ON!O,, 5 'DEEF:,, F EEE DEE D

15 [Fig. 8] Illustration du fenêtrage pour la TFCT 0Lt 0 ON!OS(t,w)f(t)!L N f(t)g(t-t 0 )1g(t),(' * t 0 <. g f(fg* (D D* 7 (1f s L N * 6 (D * P#$ON!O 6 N, N '#( - ' * +,,F Q/ = (*N/4 ( N/4* D

16 AON!O '#4 % '# ON!O,#M( 4,* %# G #' f 0 # M f 0 k( *, ' f 0 k f ' M M # + < ON!O1 ( * #, &$ 7 ' M ( M,* # [Fig. 9] Schéma de principe d une analyse additive harmonique et non harmonique A # 4 $ Q $ ' NNO 0 EB DEEF: D

17 DEECEBRDE22F: &'& $ +? A # 6 (D * 1f nf s f k L NNON,A ' # < 6 1g, ON!O (D * Q # $# 6 + M& +4 ) + & ON!O # (fréquences en Hz en abscisses, et amplitude en db en ordonnée) D2

18 [Fig. 10] Illustration sur la TFCT de l extraction des pics pour l analyse additive # 0 $ ( * # $ ', M,4 7 M8 9, A $ 4 % 6? M #6 M :, MON!O M 7 4 M ' 4 + <S,( 4, *J>K G $ ( $# *JDK $ % A #4' 6 (D * 1A i (n)f i (n),p i ème ' n=pt 1 T ON!O ( 1 N, O # ON!O * p f i (n),p. % ' D>

19 ON!O % 6 5 # 4 i ' i ' 7 % 6 A i,p i#'p (D * 5 4 ' $ 0 H0 I $ % (D 2* 6 f i,p # i#'p 6 (D >* + (k ' $* 1T=n -n (D B* % k $ ' H0 DB

20 I #$ 6 + (D DE* (D DD* $k k*. + 4(' *4 ('* # k( DE * k=5 k=6 k=7 k=8 k=9 k=10 k=11 k=12 k=13 k=14 k=15 Phases pour différentes valeurs de k Fréquences pour différentes valeurs de k k=5 800 k=6 k=7 600 k=8 k=9 k= k=11 k= k= k=14 k=15 [Fig. 11] Trajets de phase et fréquence synthétisés pour différentes valeur de k +4 ' ( # * G6 (D D* + 4 E + 4 ' ( # * G6 E

21 + E (D D* &'( G ( #*$ % ' $ -$ 7 6 : ( * C (* O 5 $ B < 5 #m =D -1 m1d G$(D 2* 6 (D D* < D

22 $ )( + $ :6! $! $ $ %!, (, $ *! 6 < S ( * $ < 5, 4 (T* (' 4 * < # # < ( 4 4 $*

23 34! + # + # ( *! #, + & & $ H0 I < $ ', ' ' # 89 + &$ G,' ( * +, ) - < DBB H0 I 8 9 #? $ N &$ JK +s(t),$ & 1e(t)#v(t) +# 89 #

24 + $ Me(t) M + 6 ( D* ( * % 4 #6!! ( * 1 f i i ème m ' % 6!! ( * # '#( '* % #( 89 * + #, # ( * + ' m #'t 0 6 ( * ' + D # t 0 ( & D t 0 * + #t 0. + #6 ( *! $!! ( 2*

25 1T + (*+.$ + ( * # 0 4 $ A i (n) f i (n) 4 $6A i (n)f i (n)! 1! i&'& (* % 56 ( >*! # & [Fig. 12] Illustration du retard de phase relatif, d après [3] +(*6

26 ! ( B* ='$' ( *6!! ( DE* + $ 4 ' $ 89 % $ 4'n + 6! ( DD* % ( DD* D '$ +6 % 6 I ( DD* ' &(//' + D $( $* D 4$( TC D* + 6! ( D* $ ' $ # JE3G (&*K O $ #

27 $ & ( * ' DEEF:+# + : : +$ & N<$, 8 9 % $ )

28 [Fig. 13] Illustration temporelle du «shape invariant» sur un signal de parole %! & 4 C 4 $ (#* G # 6 $ 8 9 N3! $ N! &$' N #! $ 4 $ N 89,$ < $ $ 8 9 ' ( * >

29 , '( Problématique + 5 / $! 1! / $ ( D* + D,, < % $ S '!!!! ( D* F,! '$$ 6!!! ( D* 5 '$ ( *N G,,$6 Algorithme proposé!!! ( D* + $ ' 5 B

30 %, $ f $ 6 # ( D2* i = round(f i / f 0 )1f 0 $'& $( U5? 0!F VWJDK* G,i ème LS + #$' ( 4 * L$ (, $ i* 6 # # ( D>* 04 $ ( * (* F 4? ' $ 0 $! & 1 4 $ $4 DF: + E

31 Trajet correct Trajet pour une fréquence finale modifiée de 1 Hz [Fig. 14] Problématique des modulations de fréquence pour un changement d inharmonicité 0 (, * 4 D % 6 # # # # ( DB* + ',4 (, * 4 & (* Trajet correct Trajet pour une fréquence finale modifiée de 1 Hz Trajet modifié nouvelles fréquence et phase finales [Fig. 15] Correction proposée pour supprimer les modulations de fréquence dues au changement d inharmonicité du 1 er trajet D

32 0S 4' ' D 4 N $ < J K ' 4 ( (D 2* ' (D DD** 4 $ Schéma synoptique de l algorithme proposé + ( D* &$

33 TFCT puis analyse additive Calcul des retards de phase relatifs : ;! ;!! Calcul de la fondamentale «moyenne» et des nouvelles fréquences (inharmonicité réduite) : # et # # Modification des phases du 1 er trajet : # # # # puis synthèse du 1 er trajet pour obtenir ses nouvelles phases déroulées (cf. partie sur synthèse additive, équations 2.7 à 2.11) Calcul des phases (modulo 2.pi) des autres partiels :! puis calcul des nouvelles phases déroulées (cf. partie sur synthèse additive, équations 2.7 à 2.11) [Fig. 16] Synoptique résumant l algorithme de «shape invariant» utilisé

34 54! / +$ 7 $ $ VN: $ # ( ( * 5(u *6 $ % % ( D* 04 ($ * S 0 h(n)(* b(n)$ # & $ ( * 7 C 4! #$ '! N: &$

35 (% ' ( 4.5 $ 5 ' # + ' M $ 0 6 ' ( ) ) & # ( * 1ik nb i,k ( * h i,k k ème G i,k <K i,k ED 4 (K i,k RE K i,k R D * + $ M G i,k K i,k 6 ( ) 1A i,k M ( * % ' # $ ' + $, ' y G VN: $, # + N: $ )( 0 $ $, & $ <,, ' G #,

36 %,, D +#E'EB E'EEF: [Fig. 17] Fenêtres de mesure et de génération du bruit A,,' ON!O % <( '*6 * +! + ( * G M6 + $ * ( * 1g, N NNO % 0 ' ON!O S, W L(, * G * * * * * $%,, % % 1W k,m #A i,k % 6 * $%,, ( 2* ( >* ( B*

37 5 $ G i,k K i,k E bruit + & $6 ' ( ) ) & # $ * $% *( ) & # $ * ( ) & ( ) & $% ( DE* N ($ $ ( **, $ 6 ( ),, * $% ( ) & 6 * ( ( $% ) & ( & * $% ( & ) ( $, ( DD* ( D* % : 89 (,EEEF:# * % EEF: ',G # $% M 6 ' # $% (! ) * 2

38 0 G &'&' #! # M ( *! $ 4$ # $! # $ &( * + (89* $ Signal d'entree Frequency Time >

39 Signal synthetise : bruit Frequency Time [Fig. 18] Spectrogrammes d une sifflante sur le signal original en haut et sur le signal synthétisé par le modèle de bruit en bas B

40 , A 8 9 $ ' $$ #+ &4 M ' $ 06((? 4', < 4 ' f v & ' C f v JK $ M ( * $':! 4$ f v (ED3E D * 0' :6 < f v 6 G 8 9 ( * 0 & f v 6 G 6 ' % Q 5 & 'f v E

41 0 1 &'&4 4 S ' + $ (1A i,p K i,p M# *! # + (! # +! ( D* # +!! + REvRD! ) # ) )! ) ( * (! # +! #! f +! ED + ( & * : RD# [Fig. 19] Fonction f donnant le gain à appliquer au facteur de bruit en fonction du degré de voisement D

42 6! # $ % &' $ G '6 H 89 +$ $ $ ' + $ ' M % ' $ $ +

43 x 10 4 Signal d'entree Frequency Time x 10 4 Signal synthetise : sinusoïdal Frequency Time [Fig. 20] Spectrogrammes du signal de parole «the rain in S» : original en haut à gauche, synthétisé en haut à droite, partie sinusoïdale seulement en bas à gauche, partie bruit seulement en bas à droite (sans transformation) x 10 4 Signal d'entree Frequency Time [Fig. 21] Spectrogrammes du signal de parole «the rain in S» : original à gauche, synthétisé à droite avec une dilatation temporelle d un facteur 5

44 & * +, &% - #$*. #$ &. &% *! #$ * * *% / / * &

45 6/ JDK =XH0 ON I Y7C Z 5<<< &?0 DB> JK = X H0 O N I Y 7 & Z 5<<< 7 E?HDBB JK = G N Y [ Z! 7! :A7 JK O G 8O 0? C G<!9N H$EEE JK H!% 8< $\ M # < 9$ DCDDCB> JK P]H$ ' ]$4EED J2K G O F Y <# / 7ONOWW Z5=!0H J>K ^ 7 Y H W Z! = 7 0 P G DBB2 Y H 7 Z7_` JBK < Q P Y 7 C &&C& Z5<<< a?7dbb2 JDEK^=YH C6 b W Z ONO7B2 5<<< O& &[ /B2!AV0SDBB2 JDDK7 W6 6CCWWW Cc2<C CC C JDKV N: + F/! Y 0 W W& Z!<=+ A5A&! JDKV N: + F/ Y QW

46 + Z5!H!DBB D&D2 JDKV N: Y O W& ZODBBB JDK0!F VWYU5? ZX0 70 EE