Chaptr a uantfcaton ds Sgnau Nots d Cours. B. Gossln. Introducton a rprésntaton numérqu d un sgnal mplqu la quantfcaton d chaqu échantllon slon un nombr fn d valurs dscrèts. objctf vsé st, sot un transmsson, sot un tratmnt détrmné (fltrag, analys spctral, ) : Dans l prmr cas, chaqu échantllon du sgnal st quantfé, codé, pus transms; à la récpton, l st décodé, pus convrt n ampltud contnu : après ntrpolaton, on souhat rtrouvr l mag la plus fdèl possbl du sgnal orgnal. a statstqu du sgnal dot donc êtr présrvé : ll va nfluncr d un façon ssntll la procédur d quantfcaton. Dans l scond cas, la lo d quantfcaton st mposé par l systèm d tratmnt ; un contrant mportant pour un systèm d tratmnt numérqu consst à commttr ds rrurs d calcul qu sont néglgabls vs-à-vs d l ncrttud sur l sgnal lu-mêm ; ct objctf dot êtr attnt malgré l caractèr non - statonnar d crtans sgnau, tl l sgnal vocal par mpl. rrur qu résult d la quantfcaton d un sgnal détrmnst st auss détrmnst ; ss proprétés puvnt donc, n prncp, êtr établs par un approch détrmnst. En réalté, ls sgnau tls qu, par mpl, l sgnal vocal, dovnt êtr consdérés comm étant aléators : la sut ds rrurs d quantfcaton st par conséqunt auss aléator, t l on parl alors d brut d quantfcaton. Il st très mportant d n connaîtr ls proprétés statstqus, tout au mons clls ds prmr t scond ordr, c st-à-dr :
a uantfcaton ds Sgnau la dnsté d probablté p ( ) ; la moynn µ ; la varanc ; la foncton d autocovaranc ( k) φ ; la covaranc mutull avc l sgnal ( k) l rapport sgnal à brut RSB. φ ;,. orsqu on l échantllonn à un fréqunc supérur ou égal à la fréqunc d Nyqust f B, on obtnt, Consdérons un sgnal ( t) à tmps contnu t à band lmté [ B +B] sans prt d nformaton, un sgnal à tmps dscrt ( n). On ntrprétra c sgnal comm un procssus aléator à tmps dscrt X ( n). On suppos qu c procssus aléator possèd ls bonns proprétés habtulls d statonnarté t d rgodcté. A la sort du quantfcatur, c procssus dvnt un procssus aléator à valurs dscrèts, c st à dr qu Y ( X ) prnd ss valurs dans un nsmbl fn d élémnts. Un lo d quantfcaton sans mémor, ou nstantané, st défn par : (+) nvau d décson : valurs quantfés : y, y, y,, ;. A tout ampltud X comprs dans l ntrvall [, ] y stué dans ct ntrvall : Y s X [, ] y, on fat corrspondr un valur quantfé pour,,, (.) s ampltuds trêms du sgnal sont n prncp t + ; n fat, l doman d varaton d st borné t supposé symétrqu par rapport à l orgn. On a donc + ma. ma t a valur quantfé d sort put égalmnt êtr rprésnté au moyn d un mot, généralmnt au format bnar, chos parm ls qu contnt un dctonnar. Ans, par mpl, b lorsqu l nombr d valurs quantfés st un pussanc d, sot, chaqu valur quantfé put êtr rprésnté par un mot d b bts, n codant ls ndcs d référnc d cs valurs. a lo d quantfcaton ( ) put affctr du forms : st par t st un nvau d décson (mdrs charactrstc) ; st mpar t y st un valur d sort (mdthrad charactrstc) ; Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 3 Cs caractérstqus sont rprésntés à la fgur., qu llustr égalmnt l rrur d quantfcaton ( ). a scond caractérstqu, qu assur un valur quantfé nsnsbl au ptts fluctuatons évntulls autour d l orgn, st n général préféré. a dfférnc ntr du nvau d quantfcaton succssfs st applé pas d quantfcaton : (.) pas d quantfcaton st n général foncton d l ampltud du sgnal (quantfcaton non unform). cas l plus smpl st clu d la quantfcaton unform. y y y(8) y(9) y(7) y(8) () y(6) () (3) () y(7) () (3) (5) (6) y(3) y() (7) (4) (5) y(3) y() (6) y() y() y - y - Fgur. - Empls d los d quantfcaton. a statstqu du brut d quantfcaton ( ) n st rlatvmnt asé à détrmnr lorsqu l sgnal st aléator t d grand ampltud, c st-à-dr lorsqu à la fos son écart-typ t la dfférnc ntr du échantllons succssfs sont grands vs-à-vs du pas d quantfcaton. s proprétés qu corrspondnt à la quantfcaton d un brut blanc contnu gaussn d varanc fn lorsqu l pas d quantfcaton tnd vrs zéro sont applés proprétés asymptotqus. Cs drnèrs n sont toutfos pas valabls pour ls sgnau aléators dont l ampltud st d l ordr d grandur du pas d quantfcaton, t un analys mathématqu précs d la quantfcaton st dans c cas ndspnsabl. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 4. uantfcaton Unform Un lo unform t symétrqu (fgur.) st caractérsé par : s nvau d saturaton ± s ; nombr d nvau quantfés ; on chos normalmnt (ou +) pas d quantfcaton vaut alors : s, (.3) + t la valur quantfé y st chos au mlu d l ntrvall : y (.4) b. y(9) y(8) y y(7) y(6) - s () () (3) (4) s (5) (6) (7) y(4) y(3) (8) y() y() y - / - / Fgur. - o d uantfcaton Unform. Pour s, l rrur d quantfcaton st comprs ntr t + : s s (.5) On parl dans c cas d rrur (ou d brut) d granulaton. orsqu > s, Il y a dépassmnt ; on parl alors d rrur (ou d brut) d saturaton ou d dépassmnt. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 5 Errur d granulaton Sot un sgnal, dont la dnsté d probablté p ( ) st Gaussnn, d écart-typ (fgur.3). ar hachuré défnt la probablté pour qu ls ampltuds d contrbunt à la valur quantfé y, sot : k y k < yk + (.6) p yk D Fgur.3 - uantfcaton d un sgnal Gaussn. a dnsté d probablté p ( ) d l rrur d granulaton put êtr obtnu par la suprposton d tlls ars ramnés ntr où la foncton ( ) t + : rct / st défn par : ( ) p ( y + ) rct ( ) p k k rct α ( τ),, α τ < α allurs / (.7) (.8) On conçot asémnt qu lorsqu l rapport tnd vrs l nfn, la lo (.7) tnd vrs un répartton d moynn null, t unform ntr t + ( > 3 ou 4 st consdéré comm suffsant n pratqu). S la probablté d dépassmnt st néglgabl, on a donc : Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 6 p ( ) (.9) > On n dédut qu la moynn du brut d granulaton st null, t qu sa varanc ( man squard rror ) vaut : ( ) p d d (.) 4 3 t - - -3 y - / t - / Fgur.4 - uantfcaton avant échantllonnag. Toujours dans l hypothès d un rapport supérur à 3 ou 4, consdérons la fgur.4. Il st clar qu ls opératons d échantllonnag t d quantfcaton puvnt êtr prmutés ; or ctt fgur mt n évdnc l fat qu l rrur d granulaton contnu présnt un spctr baucoup plus étndu qu clu du sgnal. sgnal ( n) obtnu par l échantllonnag d ( t) sra donc sujt au phénomèn d rcouvrmnt ds spctrs ; à la lmt, l apparaîtra comm un brut blanc. En d autrs trms, pourvu qu ntr du nstants d échantllonnag succssfs, l sgnal ( t) travrs un nombr suffsant d nvau d décson ( Téch. >> ), on put admttr qu ls F F ( ) éch. ma Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 7 rrurs succssvs ( n) n sont pratqumnt pas corrélés ; d mêm, la corrélaton mutull rrur - sgnal st néglgabl. En résumé, pour un sgnal aléator Gaussn dont l écart-typ st supérur à qulqus pas d quantfcaton, on put consdérr du ponts mportants : rrur d quantfcaton st un brut blanc d répartton unform, d moynn null t dont la varanc st égal à : p ( ) > µ (.) φ ( ) k k k a corrélaton ntr l rrur d granulaton t l sgnal st néglgabl : ( k ) k φ (.) Cs proprétés rstnt qualtatvmnt valabls pour la quantfcaton d un sgnal présntant un dstrbuton Gamma, ou d aplac (tabl.). a dstrbuton Gamma st très proch d la lo d répartton pérmntal d un sgnal d parol. a dstrbuton d aplac, quant à ll, n st rlatvmnt proch, tout n présntant un prsson plus smpl à utlsr. Dstorsons dus au dépassmnts d capacté S la valur à rprésntr cèd l doman d rprésntaton admssbl, l n résult ds dstorsons. Un dépassmnt dot donc n prncp êtr évté, mas cla n st pas possbl avc rguur pour un sgnal tl qu Gaussn, par mpl. D manèr général, la probablté d dépassmnt vaut, pour un sgnal symétrqu : ( ) p p d (.3) D s On défnt l factur d charg du quantfcatur par : s Γ (.4) Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 8 os d répartton Eprsson analytqu ( µ ) Unform /. rct ( ); a / 3 a Gaussnn π.. /( ) aplac... / Gamma 3. 8π 3 /( ) Tabl. - os d répartton usulls (sgnau à moynn null). a tabl. rprnd l évoluton d la probablté d dépassmnt n foncton du factur d charg, pour un sgnal Gaussn. Γ PD,455 3,7 4,634 Tabl. - Probabltés d dépassmnt pour un sgnal Gaussn. orsqu ctt probablté d dépassmnt n st pas néglgabl, ls prssons précédnts dovnt êtr corrgés. a dnsté d probablté du brut d granulaton dvnt : pd p ( ) (.5) > t la varanc : ( ) p D (.6) uant à la varanc du brut d dépassmnt, ll vaut : D ( ) ( ) s p d (.7) s Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 9 t la varanc total du brut d quantfcaton st égal à dépassmnt st fortmnt corrélé avc l sgnal. + D. Il st clar qu l rrur d Rapport Sgnal à Brut (RSB) En l absnc d dépassmnt, l rapport sgnal à brut (RSB) st calculé comm sut : s b (.8) 3 RSB vaut donc : RSB 3 s b ( db) log 6,b + 4,77 log Γ (.9) Ctt lo st rprésnté à la fgur.5. RSBlog(s /s ) (db) 8 86 b6 65.8 6 4 4 4 8 - -8-6 -4 - -logg (db) Fgur.5 - RSB pour la quantfcaton unform d un sgnal Gaussn. En cas d dépassmnt, l RSB st dégradé, t dvnt : RSB log (.) + D Ctt dégradaton du RSB dépnd ssntllmnt d la lo d répartton du sgnal (cfr..3,.6,.7). Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau Empls : Dans l cas d un sgnal aléator à répartton unform, l dépassmnt s manfst pour a (un répartton unform ntr -a t +a mplqu un varanc ), sot pour s 3 3 log Γ 4,77dB. Pour un sgnal snusoïdal, l y a dépassmnt à partr d s ( log Γ 3,dB ). Pour un sgnal à répartton Gaussnn, l dépassmnt s manfst progrssvmnt. Cs proprétés sont llustrés à la fgur.6. o d répartton : : aplac : Gauss 3: Unform 4: Snusoïdal b6 4 3 RSBlog(s /s ) (db) 98. 96.3 86. 8 77.4 6 4 - -8-6 -4 - Fgur.6 - Dégradaton du RSB du à la saturaton. -logg.3 uantfcaton Non Unform a fgur.6 a ms n évdnc l stnc d un mamum du RSB pour un nombr donné d bts t pour un lo d répartton donné. C mamum st attnt pour un crtan valur du factur d charg ; l st lé à la lo d répartton t à la lo d quantfcaton. Il st légtm d pnsr qu un adaptaton d la lo d quantfcaton à la dnsté d probablté du sgnal st suscptbl d condur à un mllur RSB. En fft, l mportanc d l rrur d granulaton sra rédut pour ls ampltuds du sgnal ls plus probabls. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau On supposra l sgnal borné + ma ma, c qu corrspond à la stuaton concrèt usull. Pour un nombr d nvau d quantfcaton, la varanc du brut d granulaton put s écrr : p ( ) d ( y ) p ( ) d (.) Ctt varanc put êtr mnmsé par un cho adéquat ds nvau d décson nvau quantfés y. Un nsmbl d condtons nécssars st fourn par : t ds y,,,,,, (.) On put montrr qu cs condtons dvnnnt suffsants s p ( ) ( ln ( ) p ln st concav, c st-à-dr s <. On put égalmnt montrr qu ctt condton st vérfé pour ls dstrbutons d Gauss t d aplac. a résoluton d (.) n tnant compt d (.) condut à : * y + y+,,, (.3) nvau d décson optmum st donc stué à égal dstanc ds valurs quantfés qu l ntour. D autr part, lorsqu ls sont fés, on dédut d (.) t (.) : y p ( ),, (.4) p ( ) d d *, a valur quantfé optmum coïncd donc avc la valur moynn du sgnal dans l ntrvall * y E <. assocé: { } On put par conséqunt concvor un procédur tératv qu, à partr d la lo unform (par mpl), convrg vrs la lo optmum par applcaton succssv t altrné d (.3) t (.4). Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau.4 uantfcaton ogarthmqu.4. Prncp Un lo d quantfcaton non unform put êtr conçu comm l résultat d un comprsson ds ampltuds du sgnal, suv par un quantfcaton unform. Vnt nsut un panson qu agt n sns opposé à clu d la comprsson (fgur.7). u uantfcaton û y unform Fgur.7 - uantfcaton avc comprsson t panson. t sgnal possèd par hypothès un dnsté d probablté symétrqu t borné par +. Après avor sub un comprsson défn par la foncton u F( ) ma ma, tll qu u ma ma, l st quantfé unformémnt sur nvau, avc un pas suls d décson t ls pas d quantfcaton sont ans défns. ma Au valurs quantfés u corrspondnt ls nvau quantfés d sort par la foncton y F ( u). (fgur.8). s y après panson orsqu >>, on put lnéarsr la foncton F dans l ntrvall [, ], t l vnt : ma F ( y ) F ( ) F( ) (.5) En prnant la convnton d désgnr F ( ) par ( ) g, on obtnt : ma (.6) g( y ) g( y ) Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 3 uf() u ma u D û u - - y ma D Fgur.8 - Empl d o d Comprsson. D autr part, s l nombr d nvau d quantfcaton st élvé, p ( ) put êtr consdéré comm constant dans l ntrvall [, ], t l on a : p ( ) P pour [, ] (.7) Dès lors, l prsson (.) put s écrr : P ( y ) d (.8) D autr part, pour un ntrvall donné, on a : ( y )( y ) u uˆ + g (.9) Il vnt alors : P u u ( u uˆ ) g ( y ) g ( y ) du P u u ( u uˆ ) g ( y ) du (.3) g P ( y ) u u ( u u ) ˆ du (.3) s ntégrals qu ntrvnnnt dans (.3) sont rlatvs à un quantfcaton unform, t valnt chacun. On obtnt ans : Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 4 g P ( y ) (.3) Par passag à la lmt, on obtnt fnalmnt : ( ) ( ) ma p d g 3 ma ma ma p g ( ) ( ) d (.33) Ctt drnèr prsson dot êtr mnmsé sous la contrant : ma ( ) d F ( ) ma ma g (.34) On n dédut la lo d comprsson optmal : F opt ( ) p ( ) d ma (.35) ma 3 p ( )d 3 s nvau d décson t ls valurs quantfés y sont donnés rspctvmnt par : F y F ( u ) ( ) u ˆ ˆ u u + u (.36) uant à la varanc d l rrur d granulaton, on obtnt après calcul : 3 3 ma 3, mn p 3 ma b ( ) d 3 p ( ) d (.37) ma Empl : Sot un sourc Gaussnn d varanc, la varanc d l rrur d granulaton vaut alors : 3 b π (.38) prsson (.37), valabl lorsqu l nombr d nvau quantfés st élvé, n concrn qu l rrur d granulaton. En pratqu, la valur d put cpndant êtr chos pour qu l brut d dépassmnt sot néglgabl. C qu paraît plus génant, c st qu l prsson (.37) résult d un adaptaton à la dnsté d probablté du sgnal, c st-à-dr auss à sa varanc. Un objctf fréqunt n pratqu consst à assurr un RSB ndépndant d la varanc du sgnal dans un gamm d ampltuds auss larg qu ma Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 5 possbl (pour rappl, l sgnal d parol st non- statonnar). a soluton consst n prncp à chosr la lo d comprsson d la form : g ( ) α (.39) a varanc (.33) dvnt alors :,mn ma 3 α ma 3 α ma p ( ) d (.4) d sort qu l RSB st ndépndant d la varanc du sgnal : ( ) α RSB db log 3 (.4) ma a lo d comprsson (.39) st cpndant nutlsabl tll qull car ll mplqu un dnsté d nvau quantfés qu tnd vrs l nfn lorsqu l ampltud du sgnal tnd vrs zéro. Il faut donc raccordr ls du branchs d ctt lo ( < t > ) par un drot qu pass par l orgn : c sont ls du solutons classqus adoptés pour la transmsson téléphonqu..4. a o A a lo A, n usag n Europ, st rprésnté à la fgur.9. Ell st défn par : A sgn( ) + ln A ma A F ( ) A (.4) + ln ma ma sgn( ) + ln A A ma ma Pour ds sgnau d grand ampltud, l RSB st donné par (.4), avc α, sot : + ln A ( ) RSB db log 3 (.43) + ln A Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 6 Pour, l vnt : RSB( db) 6,b + 4,77 log( + ln A) b (.44) Sgnal codé Sort Normalsé 7.875 96.75 8.65 64 48 A87.56.5.375 3.5 6.5 /8 /64 /3 /8 /6 /4 / Nvau rlatf du sgnal d ntré Fgur.9 - a o d Comprsson A. Pour ds ptts sgnau, on a : g( ) A (.45) + ln A sot, d après (.33) : ma + ln A (.46) 3 A RSB db t donc, l vnt : ( ) A log 3 + ln A ma (.47) t pour b A RSB (.48) + ln A : ( db) 6, + 4,77 + log log Γ Or, pour un quantfcaton unform sur nvau avc dépassmnt néglgabl, l RSB st donné par (.9). a lo A assur donc pour ls ptts sgnau un RSB supérur d A log. + ln A Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 7 A a lo uropénn utls un valur d A tll qu 6, sot A87,56. D plus, on a + ln A chos 56 (b8). a rprésntaton ds ptts sgnau corrspond alors à un quantfcaton unform sur 496 nvau! Pour ls grands sgnau, la formul (.44) donn, pour A87,56 : RSB 6,b 9,99 38, 5 db (.49) a courb du RSB n foncton du factur d charg st rprésnté à la fgur.. Ell st ndépndant d la lo d répartton du sgnal tant qu l brut d saturaton rst néglgabl. A 87.56 b 8 Sgnal gaussn RSBlog(s /s ) (db) 8 6 b UNIF 4 8-8 -6-4 - 4 38.6 -logg (db) Fgur. - RSB pour la lo d comprsson A..4. a o µ a lo d comprsson n usag au USA st la lo µ, défn par : F ( ) ln + µ ma ma sgn( ) (.5) ln ( + µ ) Pour µ 55, ctt lo st très proch d la lo A87,56. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 8.5 Codag Entropqu.5. Introducton à la Théor d l Informaton Sot un quantfcatur Y ( X ) nsmbl fn d élémnts : Y s X [, ] y. a sort d c quantfcatur prnd ss valurs dans un pour,,, (.5) Chaqu sort y du quantfcatur put êtr rprésnté au moyn d un mot, l plus souvnt au format bnar, chos parm ls qu contnt un dctonnar. Par mpl, l st ans possbl d codr l ndc lu-mêm d la valur quantfé y, c qu condut à ds mots d cod d longuur dntqu. a sort Y du quantfcatur put êtr vu comm un sourc d nformaton à valurs dscrèts. Ctt sourc st dt sans mémor s ls sorts du quantfcatur sont statstqumnt ndépndants. évaluaton d l nformaton qu apport la réalsaton d un événmnt Y y rpos sur ls du prncps suvants : l nformaton st dépndant d la probablté d ct événmnt (un événmnt rar apport plus d nformaton) ; du événmnts ndépndants ont un msur global d nformaton égal à la somm ds msurs d chacun d ntr u ; Sur cs bass, on défnt un msur d l nformaton slon : t p{ Y ( k ) y } p Y ( l) (.5) ( p{ Y ( k) y }) log log P I P I j j log ( & { y }) log ( P P ) [ log P + P ] (.53) j a quantté d nformaton qu apport, n moynn, un réalsaton d Y, st donné par l ntrop d ordr zéro d la sourc, sot : H E { P } log log P P (.54) où P st la probablté d occurrnc d la sort y du quantfcatur : P p { Y y } p ( ) d (.55) Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 9 Empl : ntrop d un varabl bnar Sot un événmnt Y, prnant la valur, avc un probablté p, ou la valur, avc un probablté p -p. ntrop d un tll sourc d nformaton vaut : H p log p ( p ) log ( p ) (.56) Ctt ntrop st mamal pour p p /, t vaut alors bt. Cc corrspond à un plotaton optmal du bt utlsé pour codr l événmnt, pusqu chaqu bt éms contnt un mamum d nformaton..5. Codag d un Sourc Dscrèt Sans Mémor codag ntropqu rpos sur un procédur d codag à longuur varabl, qu assgn ds mots d longuur varabl au valurs possbls y, d façon tll qu ls valurs hautmnt probabls sont assocés à ds mots courts du cod, t vc - vrsa. Cc prmt donc n prncp d rédur la longuur moynn ds mots du cod. Défntons : Un cod nstantané st un cod tl qu chacun ds mots du dctonnar put êtr décodé ndépndammnt ds autrs mots, c st-à-dr dès qu l drnr bt du mot consdéré st rçu. Un cod unqumnt décodabl sgnf qu, rcvant un séqunc d mots du cod, la sourc put êtr rconsttué sans ambguïté. mportanc d l ntrop dscrèt sans mémor : H vnt du théorèm du codag sans brut d un sourc Pour tout sourc dscrèt sans mémor Y, l st un cod nstantané t unqumnt décodabl rprésntant actmnt ctt sourc, vérfant : H b < H + (.57) où b st l débt moyn, c st-à-dr la longuur moynn ds mots du cod. C théorèm sgnf qu, parm tous ls cods nstantanés unqumnt décodabls, clu qu mnms la longuur moynn ds mots du cod a un longuur moynn égal à l ntrop d la sourc. ntrop H apparaît donc comm un lmt fondamntal pour rprésntr sans dstorson un sourc d nformaton. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau codag ntropqu st un tchnqu qu prmt d réalsr c tau d transmsson déal. S l codag ntropqu st parfatmnt réalsé, l tau d transmsson à la sort du quantfcatur à nvau put êtr rédut d : b log (.58) H b rprésnt donc la rdondanc d la sourc dscrèt. Il st toutfos évdnt qu aucun réducton n st possbl s touts ls valurs équprobabls. En fft, on a alors P, t donc d (.54), H log. y sont Tau d transmsson moyn : Sot un mot du cod, d supérur à log moyn, t donc : b bts, assocé au nvau y. b put êtr nférur, égal, ou. a longuur moynn ds mots du cod défnt égalmnt l tau d transmsson b P b bts/échantllon (.59) a réducton alors obtnu vaut : log b bts/échantllon (.6) cod optmal st obtnu pour : b log P (.6) Comm b st ntr, l cod optmal n put êtr obtnu qu s ls probabltés satsfont la b contrant. Dans tous ls autrs cas, l tau d transmsson moyn b qu résult du P codag ntropqu sra légèrmnt supérur à H. Il put toutfos s avérr utl d applqur un codag ntropqu sur ds séquncs d valurs, plutôt qu sur ds valurs unqus, afn d s rapprochr l plus possbl d H. fft du codag d séquncs st d fournr un mllur approch d la contrant b P..5.3 Codag d un Sourc Dscrèt Avc Mémor orsqu l st un dépndanc statstqu ntr ls échantllons succssfs d la sourc, on put chrchr à l plotr afn d rédur ncor l nombr d bts nécssar pour rprésntr actmnt la sourc. Toutfos, l codag ntropqu dvnt alors assz compl, car d longus séquncs dovnt êtr tratés, t ls probabltés conjonts connus ou stmés par calcul. En Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau pratqu, l st possbl d élmnr ls rdondancs lnéars du sgnal n ffctuant un fltrag avant la quantfcaton, afn d appromr un sourc sans mémor. s sorts du quantfcatur sont alors non corrélés (lnéarmnt), t l tau d transmsson mnmum st donc toujours théorqumnt donné par l ntrop d ordr, H. a méthod lnéar optmal d décorrélaton st l Analys n Composants Prncpals (ACP). Ctt méthod mplqu toutfos trop d calculs t s avèr nplotabl n pratqu. Du solutons sont alors nvsagabls : Prédcton Ctt méthod consst à codr la dfférnc ntr la valur réll d l échantllon t un valur prédt. Par mpl, l codag DPCM consst à codr la dfférnc d valur ntr du échantllons consécutfs : d ( t) ( t) ( t ). a méthod d prédcton st assz ffcac pour un sgnal d parol, mas s avèr rlatvmnt pu adéquat pour un sgnal d mag. Transformaton Ctt méthod altrnatv, souvnt mployé pour l sgnal d mag, consst à décomposr l sgnal n blocs, t à applqur nsut un transformé sur chacun d u. Un transformé très ploté n rason d ss prformancs prochs d clls d l ACP st la Transformé n Cosnus Dscrèt (DCT)..5.4 Algorthm d Huffman Afn d évtr un problèm nhérnt à l utlsaton d un cod d longuur varabl, on pourrat ajoutr ds séparaturs ntr mots du cod dans un séqunc. Cla n st cpndant pas nécssar lorsqu l cod vérf la condton dt du préf : aucun mot du cod n dot êtr l préf d un autr mot du cod. algorthm d Huffman prmt d obtnr un tl cod, t on put montrr qu l st l algorthm optmal. Pour aucun autr cod unqumnt décodabl, la longuur moynn ds mots du cod st nférur. Ct algorthm consst à construr progrssvmnt un graph ornté n form d arbr bnar, où chaqu branch partant d un nœud st assocé à un symbol ou, n partant ds nœuds trmnau. Un mot du cod st assocé à chaqu nœud trmnal n prnant comm mot d cod la succsson ds symbols bnars sur ls branchs. s phass d ct algorthm sont ls suvants : Sont ls du lsts d départ { y y } t { P P }. s du symbols ls mons probabls sont sélctonnés, t du branchs dans l arbr sont créés t étqutés par ls du symbols bnars t. s du lsts sont réactualsés, n rassmblant ls du symbols utlsés n un nouvau symbol, t n lu assocant comm probablté la somm ds du probabltés sélctonnés. s du étaps précédnts sont répétés tant qu l rst plus d un symbol dans la lst. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau Empl : Sot un sourc n pouvant prndr qu s valurs dfférnts, avc ls probabltés fourns à la tabl.3 c-dssous. Un codag drct ds ndcs nécsstrat évdmmnt 3 bts. Symbol y y y3 y4 y5 y6 Probablté,5,5,7,8,6,4 Tabl.3 - Probabltés assocés au s événmnts { Y y }. ntrop d ctt sourc dscrèt st égal à,6 bts. algorthm d Huffman fournt l arbr bnar rprésnté à la fgur.. a tabl d codag résultant st rprs à la tabl.4. a longuur moynn ds mots st égal à, bts, valur très vosn d la lmt théorqu. y,5,5,3 y y 3 y 4,5,7,8,8, y 5 y 6,6,4 Fgur. - Illustraton d l algorthm d Huffman. Symbol y y y3 y4 y5 y6 Cod Tabl.4 - Défnton du Cod. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 3.5.5 uantfcaton Scalar avc Contrant Entropqu Nous avons rchrché, à la scton.3, l quantfcatur scalar qu prmttat d mnmsr la b dstorson, pour un nombr d nvau d quantfcaton donné, c st-à-dr n rspctant un contrant sur l débt d transmsson. Nous allons à présnt ré-optmsr l quantfcatur, ctt fos n vu d rndr possbl un codag ntropqu ffcac à sa sort. problèm d la rchrch d un quantfcatur optmum consst alors à mnmsr l ntrop H à la sort du quantfcatur (t donc l tau d transmsson moyn b), étant donné un contrant la dstorson toléré pour l sgnal. sur ntrop H à la sort du quantfcatur s prm : H P log P (.6) Sous l hypothès qu l nombr d nvau d quantfcaton st élvé, la dnsté d p put êtr supposé constant dans l ntrvall [, ]. D (.54), l vnt : probablté ( ) ( y )( ) p ( y ) P p (.63) Dès lors, l prsson d l ntrop d la sort du quantfcatur put s écrr : H p H H p p ( ) ( ) ( ) y log p y p y log (.64) log log (.65) g ( y ) p ( y ) p ( y ) ( y ) ( ) ( ) ( ) ( ) ( ) y log p y p y log + p y log g y (.66) Par passag à la lmt, on obtnt : H ( ) p ( ) d log p ( ) d + p ( ) g( ) p log log d (.67) H ( ) p ( ) d log + p ( ) g( ) p log log d (.68) prmr trm n dépnd qu d la sourc. Il st défn comm étant l ntrop dfférntll à l ntré du quantfcatur : Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 4 h ( X ) E{ p ( ) } p ( ) p ( ) log log d (.69) Il vnt donc : H h log ( X ) + p ( ) g( ) log d (.7) C résultat fourn l ntrop pour un lo d comprsson donné, t caractérsé par g ( ). Nous avons vu qu, pour un grand nombr d nvau d quantfcaton, la varanc êtr appromé par : sot : ma ma E g p g ( ) ( ) ( ) On montr faclmnt qu, pour un varabl aléator X, { X } E{ X } d [ ] put (.7) (.7) E, avc l sgn égalté s t sulmnt s X E{ X } avc un probablté égal à, c st-à-dr s X st un constant. Cla prmt d écrr : E (.73) g( ) avc égalté s la foncton g ( ) st un constant sur tout l support d ( ) vérfr ls contrants : On n dédut qu g. F F ( ) ( ) ma ma p. En outr, g dot (.74) Cla sgnf qu l mllur quantfcatur d la sourc contnu X ( n) st tout smplmnt l quantfcatur unform suv d un codag ntropqu (pour autant qu l pas d quantfcaton p constant dans un sot suffsammnt ptt pour qu l hypothès d dnsté d probablté ( ) ntrvall dmur valabl). ntrop mnmsé vaut alors (cfr. uantfcaton Unform) : Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 5 mn H h( X ) log h( X ) log (.75) trm log rprésnt donc la prt d nformaton du à la quantfcaton, t vaut l ntrop dfférntll du quantfcatur. En fft : H { log p ( ) } E log, (.76) pusqu la dnsté d probablté p ( ) st consdéré comm unformémnt répart ntr, +. Empls : Dans l cas d un sourc gaussnn d varanc dfférntll h ( X ) vaut : h ( X ) log π, l st asé d calculr qu l ntrop (.77) On obtnt alors, pour un tau d transmsson b (c st-à-dr un ntrop H ) donné : π b (.78) 6 Dans l cas d un sourc Gaussnn, l gan apporté par l quantfcatur avc contrant ntropqu, rlatvmnt au quantfcatur scalar logarthmqu (cfr. (.38)) st donc d : sot,8 db. 3π / 3 3 π / 6,9 (.79) Pour un nvau d brut toléré, l gan st d : 3 3 b log,467 bts (.8) Dans l cas d un dstrbuton Gamma (qu, pour rappl, st très proch d la lo d répartton pérmntal d un sgnal d parol), l gan par rapport au quantfcatur logarthmqu st d,7 bts! Born Inférur d Shannon : Il a été démontré qu, lorsqu on accpt un dstorson moynn au plus égal à, alors l plus ptt nombr d bts nécssar pour rprésntr un sourc dscrèt, sans mémor, d dnsté p qulconqu, st donné par la born nférur d Shannon : d probablté ( ) Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 6 ( ) h( X ) log ( π ) b (.8) S l on vut un dstorson null, l codag dot s far sans prt. On a ( ) b H, l ntrop d la sourc. Plus l nvau d brut toléré augmnt, plus l nombr d bts nécssars pour codr l sgnal dmnu. S l on accpt un dstorson supérur ou égal à la pussanc d la sourc, alors l n st mêm plus nécssar d chrchr à la codr. On a b ( ). a comparason d (.8) avc l prsson (.75) du tau d transmsson mnmum du quantfcatur scalar avc contrant ntropqu montr un écart d : π b log,55 bts (.8) 6 Cla sgnf qu l codag ntropqu ds sorts d un quantfcatur unform n st qu à,55 bt au-dssus d la lmt nférur théorqu absolu! C résultat st valabl qulqu sot la p du sgnal. dnsté d probablté ( ) Pour un débt b fé, la dstorson obtnu st à,53 db au dssus d la lmt théorqu. Ctt dfférnc par rapport à la born nférur d Shannon st l pr à payr pour avor la smplcté d un codag d symbols élémntars (sourc sans mémor). Problèms pratqus du Codag à onguur Varabl a ms n œuvr du quantfcatur scalar avc contrant ntropqu s avèr rlatvmnt délcat n pratqu. s mots du cod étant d longuur varabl, l s pos ds problèms d propagaton d rrur : un smpl rrur d transmsson dans un mot du cod put n fft causr un prt d synchronsaton, c qu rnd mpossbl la rconstructon corrct d longus séquncs d mots. Il st donc nécssar d nsérr régulèrmnt ds bts d synchronsaton. D autr part, l débt global obtnu st varabl, pusqu l dépnd d l nformaton local contnu dans l sgnal (mpl : slnc/parol). S cla n pos guèr d problèm pour ls systèms accptant un débt varabl, tl qu ntrnt, l st ndspnsabl d rndr f l débt pour d autrs systèms qu, u, accptnt ls symbols à un tau constant, tls qu ls GSMs ou ls chaîns d télévson numérqus, par mpl. A ctt fn, ls mots d cod d longuur varabl dovnt êtr mémorsés dans un tampon. Sous pn d prt d nformaton, l st évdmmnt nécssar d évtr un dépassmnt d la capacté d ctt mémor tampon. En pratqu, l quantfcatur st alors contrôlé par la mémor tampon ll-mêm, qu, va un systèm logqu, va prmttr un adaptaton du pas d quantfcaton, par mpl (cfr. quantfcaton adaptatv). Un altrnatv consst à rndr f la longuur ds mots du cod, n consdérant ds séquncs d symbols d longuur dfférnts. Cc st llustré à la tabl.5, pour l codag d tros symbols élémntars A, B, t C, où B st l plus probabl. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 7 Sourc Cod BBB BBA BBC BA BC A C Tabl.5 - Codag d séquncs d longuur varabl. Enfn, l rst ls problèms lés à la statstqu du sgnal. D un part, un cod st établ pour un dnsté d probablté donné, t n st donc optmal qu pour ctt drnèr. A ttr d mpl, l codag d Huffman ploté pour la transmsson d fa ou l codag JPEG a été dans ls du cas calculé sur un nsmbl d mags typs, t n st donc pas optmal pour un sgnal partculr. D autr part, la mémorsaton du dctonnar ds valurs au nvau du récptur, nécssar pour procédr au décodag, put rstrndr ls possbltés d un mplémntaton matérll. Un soluton commun à cs du problèms consst à transmttr alors un nformaton sur la statstqu du sgnal, afn d pouvor rconstrur (rcalculr) l cod. On parl alors d Codag à onguur Varabl Adaptatf Calculé : à un sut d N valurs (k), on assoc : - un préf, qu détrmn la dstrbuton d probablté ; - un suff, qu consst n un codag à longuur varabl qu put êtr rcalculé étant donné l préf ; Un mpl d tl cod st l cod ATR, qu put êtr utlsé pour la transmsson d un sgnal bnar pour lqul la probablté p d avor l symbol élémntar st assz élvé (p >> p - p ). On applqu alors un codag ntropqu sur ds séquncs d symbols, d longuur mamum d m symbols, où m st à détrmnr n foncton d p. a règl d codag st la suvant : Pour un séqunc d m symbols consécutfs, on émt l cod ; Dans ls autrs cas (un symbol st rncontré), on émt l cod, suv d un nombr d m bts qu rprésnt l nombr d symbols consécutfs rncontré avant c symbol. Un mpl d cod st donné à la tabl.6. Séqunc d ntré Cod éms Tabl.6 - Empl d cod ATR, pour m. On put montrr qu un tl cod st optmal pour un cho d m tl qu : p ( / ) m. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 8.6 uantfcaton Adaptatv Un soluton sédusant à pror pour la quantfcaton d un sgnal non statonnar consst à utlsr un lo adaptatv. En fft, un quantfcaton logarthmqu st nvarant, t, quoqu très utl pour la quantfcaton d sgnau non statonnars comm la parol avc un nombr d bts suffsant (typqumnt 8), l codag d la parol avc mons d bts par échantllon nécsst un quantfcaton adaptatv. Il s agt n général d l adaptaton à la varanc à court - trm du sgnal, d un lo d quantfcaton conçu pour un crtan répartton moynn ds ampltuds. Du typs d réalsatons équvalnts sont possbls : quantfcatur st f, l st adapté à un sgnal d varanc unté t l st précédé par un amplfcatur à gan varabl (fgur.) ; uantfcatur δ δ,opt ; u y ou y Estmaton d () ( ) y () Fgur. - Adaptaton d un quantfcatur f. () () adaptaton progrssv adaptaton rétrograd s pas d quantfcaton sont rndus proportonnls à la varanc du sgnal (fgur.3) ; uantfcatur δ. δ opt y Estmaton d () ( ) y () Fgur.3 - Adaptaton du pas d quantfcaton. () () adaptaton progrssv adaptaton rétrograd Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 9 adaptaton st dt progrssv (Adaptatv uantzaton wth Forward stmaton ou AF) lorsqu l stmaton d la varanc st fat sur l sgnal orgnal. Dans c cas, l faut transmttr, n plus du sgnal quantfé, un nformaton sur la varanc stmé. Ctt nformaton st toutfos transms à un cadnc plus fabl qu cll utlsé pour ls échantllons (un fos par tranch d échantllons). On put auss songr à un adaptaton rétrograd (Adaptatv uantzaton wth Backward stmaton ou AB) : la varanc st alors stmé sur l sgnal quantfé y. Cc prmt d n pas transmttr d nformaton sur la varanc, qu put n fft êtr stmé à la récpton après décodag du sgnal. Comm y st soums au brut d quantfcaton, l st clar qu ctt procédur st plus grossèr qu l adaptaton progrssv, sauf lorsqu l nombr d nvau quantfés st assz élvé. problèm ssntl, pour la quantfcaton adaptatv, st clu d l stmaton d la varanc. écart - typ put êtr stmé sur un bloc d N échantllons par ls formuls suvants : N AF : ˆ ( ) n (.83) + N n ˆ N N y n AB : ( n) ˆ (.84) a pérod d apprntssag N st chos n foncton du déla d'ncodag toléré, ds contrants sur l débt global (AF), t d la statonnarté du sgnal. Dans l cas d la parol échantllonné à 8 khz, un valur d N8 st un bonn stmaton. s stmaturs (.83) t (.84) dmandnt la mémorsaton d N échantllons avant quantfcaton, c qu mplqu un déla. Un autr procédur consst à affctr ls échantllons passés d un pods qu décroît avc lur âg. Par mpl, dans l cas d'un AB, cla donn : ( ) ( α) α y < α < ˆ n n (.85) coffcnt ( α) st un coffcnt d normalsaton qu rnd la somm ds pods égal à l unté. équaton (.85) put êtr écrt sous la form : ˆ ( ) α ˆ ( n ) + ( α) y n (.86) n orsqu α st vosn d, ls pods varnt pu pour élvé (sgnal statonnar). Par contr, lorsqu α st proch d, l stmatur sut plus fdèlmnt l évoluton ds qulqus échantllons précédnts (sgnal non statonnar). Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 3 paramètr α détrmn la constant d tmps d adaptaton (laqull st, par défnton, l tmps nécssar pour qu ( n) ˆ décross d un factur d sa valur ntal lorsqu y dvnt un séqunc d zéros). On calcul asémnt qu, s d échantllonnag, la constant d tmps du problèm vaut : τ ln ( / α) F F désgn la fréqunc (.87) a fgur.4 présnt l fft d la valur d α sur la vtss d adaptaton, dans l cas d un sgnal d parol échantllonné à 8 khz. a valur d,9 caus ds changmnts rapds d qu sut ls mama locau du sgnal avc un constant d tmps d, ms. Ctt sort d adaptaton st applé nstantané. a valur d,99 produt ds changmnts lnts d qu n sut pas ls pcs locau du sgnal mas sulmnt l nvlopp, avc un constant d tmps d 5 ms. Ctt sort d adaptaton st applé syllabqu. ˆ ˆ Fgur.4 - Estmaton d la varanc d un sgnal d parol. Copyrght Faculté polytchnqu d Mons B. Gossln
a uantfcaton ds Sgnau 3 Référncs :. Jayant N. S. & Noll P., Dgtal Codng of Wavforms, Prntc-Hall Ed., 984.. ch H., Codag d la Parol, Nots d Cours, Faculté Polytchnqu d Mons, 996. 3. Morau N., Tchnqus d Comprsson ds Sgnau, Ed. Masson, 995. 4. Bot R., Haslr M., Ddu H., «Effts non lnéars dans ls fltrs numérqus», Prsss polytchnqus t unvrstars romands, 997. Copyrght Faculté polytchnqu d Mons B. Gossln