Cours4 8mars2011. Propriétés de l entropie et de l information mutuelle

Transcription

1 Théorie de l information et codage 2010/2011 Cours4 8mars2011 Enseignant: Marc Lelarge Scribe: Louis Jachiet Pour information Page webdu cours Propriétés de l entropie et de l information mutuelle 4.1 Rappel (X,Y) p(x,y)=p(x=x,y= y) Définition entropie(jointe):h(x,y)= p(x,y)logp(x,y)(logarithmeenbase 2) entropie conditionnelle: H(Y X) = p(x)h(y X = x) Théorème règle de la chaîne = p(x) p(y x) log p(y x) = p(x, y) log p(y x). H(X,Y)=H(X)+H(Y X) Démonstration. On utilise p(x, y) = p(x)p(y x) de telle sorte que: H(X,Y) = p(x,y)logp(x,y) = p(x,y)logp(x) p(x,y)logp(y x) = H(X)+H(Y X). 4-1

2 Corollaire H(X,Y Z)=H(X Z)+H(Y X,Z) Définition L information mutuelle est définie par : I(X;Y) = H(X) H(X Y) = H(Y) H(Y X) = D(p(x, y) p(x)p(y)), avecd(p q)= p(x)log p(x) ladistance dekullbak-leibler. q(x) 4.2 Règlesdela chaîne Théorème4.2.1 (pour l entropie) Soit(X 1,...,X n ) p(x 1,...,x n ), alors H(X 1,...,X n )= H(X i X i 1...X 1 ) Démonstration. On écrit p(x 1,...,x n )=p(x 1 )p(x 2 x 1 )...p(x n x n 1...x 1 ), soit : n H(X 1,...,X n ) = p(x 1,...,x n )log p(x i x i 1...x 1 ) x 1...x n = p(x 1,...,x n )logp(x i x i 1...x 1 ) x 1...x n = H(X i X i 1...X 1 ) Définition l information mutuelle conditionnelle des v.a X et Y étant donné Z est: I(X; Y Z) = H(X Z) H(X Y, Z). Théorème (pour l information) I(X 1,...,X n ;Y)= I(X i ;Y X i 1..X 1 ) 4-2

3 Démonstration. I(X 1...X n ;Y) = H(X 1,...,X n ) H(X 1,...,X n Y) = H(X i X i 1..X 1 ) H(X i X i 1...X 1,Y) = I(X i ;Y X i 1..X 1 ). 4.3 Inégalités de convexité Théorème D(p q) 0 avec égalité ssi xp(x) = q(x). Démonstration. Vue en TD. Corollaire I(X;Y) 0 avecégalitéssixetysontindépendantes Démonstration. Il suffit d observer que : I(X; Y) = D(p(x, y) p(x)p(y)) Corollaire D(p(y x) q(y x)) 0 avec égalité ssi p(y x) = q(y x), y, x tq p(x) > 0. I(X;Y Z) 0avecégalitéssiXetYsontindépendantes conditionnellementàz. Théorème4.3.2 H(X) log X où X = nombre d élémentsdans le support de X, c estàdire le nombre dextelsque p(x)>0avecégalitéssix Unif(X). Démonstration. Soit u(x)= 1 la distribution uniforme surx. On note alorsque X D(p u) = p(x)log p(x) u(x) = log X H(X) Théorème H(X Y) H(X) avec égalité ssi X et Y sont indépendantes. Démonstration. 0 I(X;Y)=H(X) H(X Y). Exemple 4.3.1: 4-3

4 Attention l entropie conditionnelle diminue en moyenne mais on peut avoir H(X Y = Y)>H(X) pourdes y particuliers, comme lemontre l exemplesuivant : X\Y On a H(X)=H(1/8) bit. H(X Y=1)=0 bit et H(X Y=2)=1bit. L incertitude sur X augmente si Y=2est observée et elle diminue (fortement!) si Y=1 est observée. En moyenne, on a : H(X Y)=3/4H(X Y=1)+1/4H(X Y=2)=1/4 H(X). Théorème4.3.4 H(X 1,...,X n ) n H(X i)avec égalitéssilesx i sont indépendantes. Démonstration. H(X 1,...X n )= H(X i X i 1...X 1 ) H(X i ) avecégalitéssix i estindépendantedex i 1,...X 1,c estàdiresilesx i sontindépendantes entre elles Inégalité logsum et applications Théorème4.3.5 pour tout, a 1...a n b 1...b n 0, ona: avecégalitéssi a i b i = cst. a i log a i b i a i log n b i n a i Notations Dans le théorème précédent, on utilise les conventions : 0 log0=0, a log a 0 = pourtout a>0 et0 log 0 0 = 0. Démonstration.Onsupposetoutd abordquepourtouti,a i > 0etb i > 0.Soit f(t)=tlogt. Ona f (t)= logt 1 + log(e) et 1 f (t)= > 0pourtoutt>0.Donc f eststrictementconvexe tloge 4-4

5 et α i f(t i ) f( α i t i ), pourα i 0, α i = 1, t i > 0.Il suffitalors deprendre α i = b i et, t i = a i. bj b i Si a j = 0 et b j = 0 alors avec les conventions choisies, le j-ème terme du membre de gauche estnul et on peutsupprimera j etb j à gauche etàdroite. Si a j > 0 etb j = 0, leterme degauche vaut donc l inégalitéest toujours valable. Si a j = 0 et b j > 0, on peut supprimer le j-ème terme dans le mebre de gauche et en supprimant b j dansleterme de droite, on obtient bien un majorant : i j a i log a i b i a i log i j i ja i i jb i a i log n a i n b i. Lemme4.3.1 D(p q)estconvexeenlapaires(p,q), c estàdire,pour toutλ {0,1} D(λp 1 +(1 λ)p 2 λq 1 +(1 λ)q 2 ) λd(p 1 q 1 )+(1 λ)d(p 2 q 2 ) Démonstration. On applique l inégalité logsum à x fixé : (λp 1 (x)+(1 λ)p 2 (x))log λp 1(x)+(1 λ)p 2 (x) λq 1 (x)+(1 λ)q 2 (x) λp 1(x)log λp 1(x) λq 1 (x) +(1 λ)p 2(x) x)log (1 λ)p 2(x). (1λ)q 2 (x) Théorème H(X) est une fonction concave de p(x). Démonstration. Il suffit de noter que : H(X) = log X D(p u), où u les distribution uniforme. Théorème Soit (X, Y) p(x, y). L information mutuelle I(X, Y) est une fonction concave dep(x), àp(y x)fixée,etconvexe enp(y x),àp(x)fixée. Démonstration. I(X;Y)=H(Y) xp(x)h(y X=x) Sip(y x)estfixéealorsp(y)estunefonctionlinéairedep(x).donch(y)quiestconcave en p(y) est concave en p(x). Le second terme est linéaire en p(x) donc la différence est concave. Maintenant p(x)estfixée. Ap 1 (y x)etp 2 (y x),on associe : p 1 (x,y) = p 1 (y x)p(x)et, p 1 (y) p 2 (x,y) = p 2 (y x)p(x)et, p 2 (y). Ondéfinitalorsp λ (y x)=λp 1 (y x)+(1 λ)p 2 (y x)ainsiquep λ (x,y)=p(x)p λ (y x)=λp 1 (x,y)+ (1 λ)p 2 (x,y) et p λ (y). Finalement, soit q λ (x,y)=p(x)p λ (y) de telle sorte que q λ (x,y)= λq 1 (x,y)+(1 λ)q 2 (x,y)et I(X;Y)=D(p λ (x,y) q λ (x,y)), comme D(p q)estconvexe en (p,q),i(x,y)estconvexe en p(y x)àp(x)fixée. 4-5

6 4.4 Data Processing inequality Définition (X,Y,Z) est une chaîne de Markov si p(z x,y)=p(z y). On a donc p(x,y,z)= p(x)p(y x)p(z y). OnnoteraparfoisX Y Z. Remarque4.4.1 p(x,z y)= p(x,y,z) = p(x,y) p(z y)=p(x y)p(z y)donc X Y ZssiX p(y) p(y) etzsont conditionnellementindépendantesétant donné Y donc Z Y X. Théorème4.4.1 Si X Y Zalorsmax{I(X;Y),I(X;Z)} I(X;Z). Démonstration. I(X;Y,Z) = I(X;Z)+I(X;Y Z) = I(X;Y)+I(X;Z Y). Comme X et Z sont conditonnellement indépendantes, on a I(X;Z Y) = 0. Comme I(X;Y Z) 0, on a I(X;Y) I(X;Z). L autre inégalité provient du fait que Z Y X et de la symétrie de l information mutuelle. Corollaire Si X Y ZalorsI(X;Y Z) I(X;Y). Démonstration. En reprenant la décomposition de I(X; Y, Z) ci-dessus, il suffit de noter quei(x;z) Inégalité de Fano On veut estimer X p(x) (p(x)>0 pour tout ) en observant Y avec p(y x). Soit ˆX un estimateur dex, c estàdire tel que X Y ˆX. Théorème4.5.1 Pour tout ˆX tel que X Y ˆX, soitp e = P(X ˆX)alorson a oùh(p)= plogp (1 p)log(1 p). H(P e )+P e log( X 1) H(X ˆX) H(X Y), Remarque4.5.1 P e = 0 H(X Y)=0 Yestune fonctionde X (cf.exo) Démonstration. On définit: E= { 1 si ˆX X 0 sinon 4-6

7 On a: H(E,X ˆX) = H(X ˆX)+H(E X, ˆX) = H(E ˆX)+H(X E, ˆX). Comme H(E X, ˆX)=0 eth(e ˆX) H(E)=H(P e ), etde plus, H(X E, ˆX) = P(E=0)H(X ˆX,E=0)+P(E=1)H(X ˆX,E=1) (1 P e ) 0+P e log( X 1), au final, on obtient : H(P e )+P e log( X 1) H(X ˆX). Parl inégalité dataprocessing, on a :I(X; ˆX) I(X;Y)etdonc H(X ˆX) H(X Y). 4.6 Lien entre théorie de l information et PMU Objectif : définir une stratégie optimale pour jouer aux courses. Problème : M chevaux concurrents, p i proba le ième cheval gagne. Si le ième cheval gagne, on gagne o(i) fois sa mise. C est à dire, si on a misé 1 euro, on obtient o(i) euro si i gagne etrien sinon (la misede 1 euroest perdue). On suppose que le joueur distribue toute sa fortune sur les chevaux. Soit b(i)= la fraction parié sur lecheval i. On a b(i) 0et M b(i)=1. Après n courses, la fortune du joueur est (en supposant qu initialement S 0 = 1), S n = n S(X i)avecs(x)=b(x)o(x) etxest lecheval vainqueur. Théorème4.6.1 Si les X i sont i.i.d. p(x) alors la fortune du joueur utilisant la stratégie b "croit" exponentiellement : lim 1 n log 2S n = W(b,p)= m k=1p k log 2 (b(k)o(k)) où la convergence est en probabilité. Démonstration. Il suffit d appliquer la loi faible des grands nombres et de noter que W(b,p)=E[logS(X)]. Attention rien ne ditque W(b,p) 0! Théorème4.6.2 (Critère de Kelly) La stratégie optimale est de prendre b = p et dans ce cas W(b,p)= p i logo(i) H(p)(optimumdoubling rate) Démonstration. Il suffit d écire: W(b,p) = p i logo(i) H(p) D(p b). 4-7

8 Dans le caséquitable : 1 i o(i) = 1 alors r i= 1 est une distribution de probabilité qui o(i) correspond àl estimée dela probabilité p i parle bookmaker. On a alors W(b,p)=D(p r) D(p b) Si notre estimée bde pest meilleureque celledu bookmaker alorsw(b,p) 0. Dans le cas spécial où o i = m pour tout i, on a W(b,p)=logm H(p). Les courses à faible entropie sont les plus profitables. 4-8