Théorie de l information et codage 2010/2011 Cours7 29mars2011 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Pagewebducours http://www.di.ens.fr/~lelarge/info11.html Sources sans mémoire et leurs fonctions taux-distorsion 7.1 La fonction taux-distorsion Unesource(discrète)émetunesuitedesymbolesudansunensemblefiniUappelé l alphabet de la source. Une source sans mémoire est caractérisée par sa statistique p(u): lasuitedesymbolesestunesuitedev.a.u i indépendantesetidentiquementdistribuées (i.i.d.)deloip. Dans ce chapitre, nous considérons un encodage dans un alphabet de destination V. Pourtoutcouple(u,v) U V,d(u,v) 0estl erreuroudistortionassociée.pourdes vecteurs(u,v) U k V k,onnoted(u,v)= k d(u i,v i ). Nousprendronslaconvention:U={0,...,r 1}etV={0,...,s 1}.Lamatricede distorsiondestlamatricer sàcoefficientsd(u,v). Étantdonnék>0,unesourceetunefonctiond encodage,ladistorsionmoyenneest alors: E(d) = E[d(U,V)]= p(u)p(v u)d(u, v). On définit alors la fonction u,v R k (δ)=min{i(u;v),e(d) kδ}, oùlaminimisationestfaitesurtouteslespaires(u,v)tellesqueu=(u 1,...U k )etles U 1,...U k sonti.i.d.deloip(u). Remarque 7.1.1 p(v u) peut être vue comme la probabilité de transition d un canal. On parlera alors de canal test. lafonctionp(v u) I(U;V)estcontinuedoncelleatteintsonminimumsuruncompact. soitδ min = u Up(u)min v d(v,u).onae(d) kδ min,doncr k (δ)estdéfiniepourδ δ min. lafonctionδ R k (δ)estclairementdécroissanteenδ. 7-1
Définition 7.1.1 La fonction taux-distorsion de la source est R(δ)=inf k 1 k R k(δ). Théorème7.1.1Lafonctionδ R k (δ)estconvexepourδ δ min. Démonstration.Soitα 1,α 2 0avecα 1 +α 2 =1.L inégalitér k (α 1 δ 1 +α 2 δ 2 ) α 1 R k (δ 1 )+ α 2 R k (δ 2 )s obtientfacilementenconsidérantlesprobabilitésdetransitionp(v u)=α 1 p 1 (v u)+ α 2 p 2 (v u)oùp i estuncanaltestatteignantr k (δ i )pour,2etenutilisantlaconvexitéde I(U;V). Théorème7.1.2PourunesourcediscrètesansmémoireR k (δ)=kr 1 (δ)pourtoutketδ δ min. Démonstration.Soitp(v u)uneprobabilitédetransitionatteignantr k (δ),c estàdiretelle que I(U;V)=R k (δ)ete[d(u,v)] kδ. CommelesU 1,U 2,...,U k sontindépendants,onai(u;v) k I(U i ;V i ).Aveclanotation δ i = E[d(U i,v i )],onai(u i ;V i ) R 1 (δ i )donci(u;v) k R 1(δ i ).Parlerésultatde convexité démontré ci-dessus, on obtient: k R 1 (δ i ) kr 1 1 k k δ i kr 1 (δ), oùonutiliselamonotonieder 1 dansladernièreinégalité.onadoncr k (δ) kr 1 (δ).pour démontrerl inégalitéinverse,ilsuffitdeconsidérerp(v u)= k p(v i u i )oùp(v u)atteint R 1 (δ). Corollaire7.1.1PourunesourcediscrètesansmémoireR(δ)=R 1 (δ)=min{i(u;v),e[d] δ}. PropriétésdeR(δ)pourunesourceDSM: -lafonctionδ R(δ)estdécroissante,convexedonccontinuepourδ>δ min.elleest égalementcontinueenδ min (exo!). -Soitδ max =min v up(u)d(u,v)alorsr(δ)=0sietseulementsiδ δ max.eneffet, soitv = argmin up(u)d(u,v)alorsl encodagedéterministeu v esttelque I(U;v )=0etE[d]=δ max.doncr(δ)=0pourδ δ max.inversementsir(δ)=0alors lecanaltestdoitavoiruetvindépendantsetdonc E[d]= p(u)p(v)d(u, v) p(v)δ max =δ max. v 7-2
-CommeR(δ)estdécroissante,convexepourδ δ min etconstantepourδ δ max,r(δ) eststrictementdécroissantepourδ min δ δ max.enparticulier,ona R(δ)=min{I(U;V),E[d]=δ}pourδ min δ δ max. -DanslecasparticulieroùchaquelignedeDaaumoinsun0etchaquecolonneauplus un0,onaδ min =0etE[d]=0ssiu v v(u)={v,d(u,v)=0}quisontdesensembles disjointsparnotrehypothèse.doncr(0)=i(u;v)=h(u) H(U V)=H(U). EXEMPLE 7.1.1: U=V={0,1}avecP(0)=p=1 P(1) 1/2etmatricededistorsion ( ) 0 1 D= 1 0 Onaδ min =0,δ max =min{p,1 p}=petr(0)=h(p).pour0<δ<p,soit(u,v)atteignant R(δ).OnaI(U,V)=H(U) H(U V)=H(p) H(U V)etE[d]=P(U V)=δ.Doncpar l inégalitédefano,onah(u V) H(δ)etdoncR(δ H(p) H(δ).Pourobtenirl inégalité opposée,ilfauttrouver(u,v)telquee[d]=δeti(u;v)=h(p) H(δ).Uncandidatestde choisirp(u v)=δ1(u v)+(1 δ)1(u=v)puisqu onaalorse[d]=δeth(u V)=H(δ).Il fautdoncvérifierqu ilestbienpossibledechoisirα=p(v=0)telquep(u=0)=p.on calculequep=α(1 δ)+(1 α)δsoitα= p δ [0,1]car0<δ<p 1/2.Aufinal,ona 1 2δ montrer que { H(p) H(δ) 0 δ p, R(δ)= 0 δ p. 7.2 Théorème de codage de source de Shannon SoitU (k) =(U 1,...,U k )unvecteurrepresentantleskpremierssymbolesémisparune source.onsupposequecesksymbolessont compressés ennbitsx (n) =(X 1,...,X n )et qu ilestpossibleàpartirdecesnbitsdeles décoder enksymbolesdel alphabetde destination:v (k) =(V 1,...,V k )detellesorteque k E[d(U i,v i )] kδ.ilestfaciledevoir que l on a nécessairement: n k R(δ). (7.1) Eneffet,pardéfinition,onaI(U (k) ;V (k) ) R k (δ).deplusparl inégalitédataprocessing,on ai(u (k) ;V (k) ) I(X (k) ;V (k) ) H(X (k) ) n,cequiimpliquequer k (δ)/k n/ketdonc(7.1) découle(sans avoir fait l hypothèse que la source est sans mémoire). 7-3
Onvoitdoncqu ilfautaumoinsr(δ)bitspourreprésenterunsymbolesourcesila distorsion moyenne doit être inférieure à δ. Nous allons maintenant montrer qu il ne faut pasplusder(δ)bits. Définition7.2.1UncodedesourcedelongueurkestunensembleC={v 1,...,v M } V k.le tauxducodeestr= 1 k log 2 M. Pourchaquesuitedelasourceu=(u 1,...,u k ),f(u)estlemotcodev i leplusprochedeu: LadistorsionmoyennedeCestd(C)= 1 k d(u,f(u)) d(u,v j ) j {1,...,M}. u U kp(u)d(u,f(u)),avecp(u)=p(u 1)...p(u k ). EXEMPLE7.2.1:CODE(7,4)DEHAMMING:U=V={0,1}avecp(0)=p(1)=1/2etD= ( ) 0 1.Chacundes128vecteursbinairesdiffèred auplusunbitparrapportàunmot 1 0 code donc d(c)= 1 ( ) 128 16 = 1 7 128 8. Théorème7.2.1Soitδ δ min.pourtoutδ >δetr >R(δ)pourksuffisamentgrand,ilexiste uncodagedesourcecdelongueurkavecmmotscodetelque a)m 2 kr ; b)d(c)<δ. Démonstration.SoientR(δ)<R <R etδ<δ <δ. PouruncodeC={v 1,...,v M }ondéfinitlesensembles: S = {u,d(u,f(u)) kδ }(suitesbienreprésentéesparc), T = {u,d(u,f(u))>kδ }(suitesmalreprésentéesparc). Onadonc d(c) 1 p(u)d(u,f(u)) + 1 p(u)d(u,f(u)) k k u S u T } {{ }} {{ } δ B u Tp(u) avecb=maxd(u,v).onadonc d(c) δ +BP ( d(u,f(u))>kδ ), (7.2) 7-4
oùlaprobabilitévientdel aléadelasource.pourêtreplusexplicite,ondéfinit { 1 sid(u,v) kδ (u,v)= 0 sinon. Onpeutdoncécrire(7.2)commesuit: d(c) δ +B p(u) u M ( 1 (u,vi ) ). } {{ } IlfautdonctrouveruncodedesourceCdelongueurkavecauplus2 kr motscode ettelquek(c)< δ δ.nousutilisonsànouveauunargumentderandomcoding.soit B p(u,v)laprobabilitésuru VquiatteintR(δ):I(U;V)=R(δ)etE[d(U,V)] δ.onnote lesmarginalesparp(u)= vp(u,v)etp(v)= up(u,v).ondéfinitalorsuneprobabilitésur U k V k parp(u)= k p(u i ),p(v u)= k p(v i u i )detellesortequep(u,v)= k p(u i,v i ). OndéfinitalorsuneprobabilitésurlescodesdelongueurketayantMmotscode(vu commedesm-upletsdevecteursdedimensionsk)par: K(C) p(c)= M p(v i )avecp(v i )= k p(v ij ). j=1 Nous calculons la moyenne de K(C) sous cette probabilité: E[K] = = M ( p(v 1 )...p(v M ) p(u) 1 (u,vi ) ) v 1...v M u M p(u) p(v)(1 (u,v). u v On définit maintenant 0 (u,v)= { 1 sid(u,v) kδ eti(u;v) kr, 0 sinon. ( p(v u) ) aveci(u;v)=log 2.Siδ0 (u,v)=1alorsp(v) 2 kr p(v u)etdonc p(v) E[K] p(u) u 1 2 kr v p(v u) 0 (u,v) M, 7-5
etdoncenutilisantl inégalité(1 xy) M 1 x+e ym validepour0 x,y 1etM>0 avecx= vp(v u) 0 (u,v)ety=2 kr,onobtient E[k] 1 p(u,v) 0 (u,v)+exp ( 2 kr M ) u,v P(d(U,V)>kδ )+P(I(U;V)>kR )+exp ( 2 kr M ). Lederniertermetendvers0quandktendversl infinicarm=2 kr avecr >R.Lefait quelesdeuxpremierstemestendentégalementvers0découledelaloifaibledesgrands nombres.eneffet,ilsuffitd écrire:d(u,v)= k d(u i,v i )quiestunesommedekv.a. i.i.d.demoyennee[d(u,v)] δ<δ.demêmei(u;v)= k I(U i;v i )estunesommede v.a.i.i.d.demoyenner(δ)<r. 7-6