Informaton mutuelle et partton optmale du support d une mesure de probablté Bernard Coln et Ernest Monga Département de Mathématques Unversté de Sherbrooke Sherbrooke JK-R (Québec) Canada bernard.coln@usherbrooke.ca ernest.monga@usherbrooke.ca Résumé. À l ade de la noton d nformaton mutuelle entre varables aléatores, on propose de construre une partton optmale du support d une mesure de probablté. lus précsément, on propose d e ectuer une dscrétsaton smultanée de l ensemble des composantes d un vecteur aléatore, qu conserve le plus possble la dépendance stochastque entre les varables. On présentera quelques exemples. Mots-clés : Dvergence, nformaton mutuelle, codage optmal. Abstract. Based on the noton of mutual nformaton between the components of a random vector, we construct an optmal quantzaton of the support of ts probablty measure. More precsely, we propose a smultaneous dscretzaton of the whole set of the components of the random vector whch takes nto account, as much as possble, the stochastc dependence between them. Examples are presented. Keywords. Dvergence, mutual nformaton, optmal quantzaton. Résultats généraux. Informaton mutuelle Les résultats c-dessous découlent de la noton de dvergence généralsée et de ses prncpales proprétés telles qu ntrodutes et énoncées dans Csszár [5], [6], Al et Slvey [3] et Zaka et Zv [4]. Les mesures de dvergence usuelles sont celles ntrodutes par Kullback, Lebler, Hellnger, ans que celles assocées aux dstances en varaton et du (vor Goël [8], Adhkar et Josh [], Aczél et Daróczy [], ans que Rény []). Sot (; F; ) un espace probablsé et soent X ; X ; :::; X k k varables aléatores dé nes sur et à valeurs dans les espaces mesurés (X ; F ; ) = ; ; :::; k. Désgnons par X ;X ;:::;X k = X et par =k = X les mesures de probablté dé nes sur l espace produt =X =k ; =F =k ; = =k et représentant respectvement les mesures de probablté conjonte et produt des mesures de probablté margnales, des varables X ; X ; :::; X k et que l on supposera absolument
contnues par rapport à la mesure produt = =k =. On appelle nformaton mutuelle entre les varables X ; X ; :::; X k, la quantté dé ne par Z I ' (X) = 0 ' @ d X Nk A d d = X! ko Z X = = '! f Q=k Q =k = f = f d, où ' est une foncton convexe quelconque de R + nf0g dans R et où, avec les notatons habtuelles, f et Q =k = f désgnent respectvement les denstés des mesures de probablté X ;X ;:::;X k et =k = X par rapport à la mesure produt. arm les nombreuses proprétés de l nformaton mutuelle (vor nsker [0], Mc Elece [9], Csszár [5], Gavurn [7]), la suvante sera utle pour la sute : S pour tout j = ; ; :::; k les fonctons g j de =X =k ; =F =k dans (Yj ; G j ) sont mesurables, on a, en posant Y j = g j (X ; X ; :::; X k ) : I ' (Y ; Y ; :::; Y k ) I ' (X ; X ; :::; X k ). Cette dernère proprété, plus connue sous le nom de data-processng theorem, montre que toute transformaton portant sur les varables ntales, entraîne, en général, une perte d nformaton.. Fonctonnelle d nformaton mutuelle Étant donné que les mesures margnales découlent de la mesure conjonte, l nformaton mutuelle peut être vue comme une fonctonnelle J() de cette dernère où : Z! Q=k J( X ) = = f (x ) ' f (x ; x ; :::; x k ) Q =k = f d (x ) S J() admet des dérvées de Gâteaux en dans la drecton Q jusqu à l ordre m +, où et Q appartennent à une famlle de mesures de probablté dé nes sur un espace (; F) donné, on montre que sous les condtons habtuelles (Ser ng []) on a : J(Q) J() = l=m l= l! d lj(; Q ) + d m+ (m + )! dt J( + t (Q )) j m+ t où 0 t Dans le cas où la mesure de probablté Q est une estmaton n de, l expresson cdessus permet de dédure le comportement asymptotque de J ( n ), de l étude de celu du reste R m;n donné par : R m;n = J( n ) J() l=m l= l! d lj(; n ) = J( n ) J() V m;n
On montre alors que (von Mses [3], Ser ng []) s le premer terme non nul du développement de Taylor de la fonctonnelle J est le terme lnéare, on a : p n (J( n ) J()) L! N 0; J; où J; ne dépend que de J et de, et donc J(n ) p! J(). Informaton mutuelle et codage optmal. Cadre général Sot X une mesure de probablté pour laquelle le support S est de la forme : S = =k = [a ; b ] (la représentaton unforme de X sous la forme d une copule dé ne sur [0; ] k, permet en e et de se ramenrer à ce cas). our tout = ; ; :::; k : a = x 0 < x < ::: < x n = b, désgnera une partton ;n de [a ; b ], en n éléments f j = [x j ; x j [ : j = ; ; :::; n g et on notera par, la partton produt du support de X engendrée par la famlle des pavés de R k de la forme : =k = j. our tout = ; ; :::; k; on consdère la varable aléatore étagée, dé ne sur [a ; b ], et dont la mesure de probablté est donnée par = X j r=k r6== [a r ; b r ] : j = ; ; :::; n On a : I ' (X) I ' où = ; ; :::; k, pour toute partton ;n de [a ; b ] 8. La mesure de probablté conjonte du vecteur aléatore est donnée par = X =k = j pour tout j ; j ; :::; j k. L expresson I ' (X) I ' représente la perte d nformaton mutuelle due à la transformaton. S n ; n ; :::; n k sont xés on désgnera par n la famlle des parttons de [a ; b ] en n ntervalles dsjonts j et on notera par la famlle des parttons du support de X donnée par : := =k n = = =k = ;n : ;n n 8 = ; ; :::; k La mesure n ayant pour expresson : n = X =k = j 8 j ; j ; :::; j k on aura, sous des condtons générales (Ser ng []) : I ' p! I' (X) lorsque n! 8 = ; ; :::; k:. Exstence d une partton optmale Les nombres n ; n ; :::; n k étant donnés et la famlle étant précsée, le problème d optmsaton à résoudre se présente sous la forme : supi ' ; ; :::; k 3
La foncton I ' ; ; :::; k des varables xj pour = ; ; :::; k et j = ; ; :::; n étant contnue et dé ne sur le compact de R =k = (n ) de la forme : S = =k =S ;n où S ;n est, pour tout = ; ; :::; k, le sous-ensemble de R n donné par : a = x 0 x ::: x n x n = b, l exste au mons un élément ~ de tel que : I ' ~ ; ~ ; :::; ~ k = max I ' ; ; :::; k ce qu entraîne l exstence d au mons une partton telle que I ' (X) I ' ( ~ ) sot mnmum. On peut montrer de plus que le pont de S correspondant à ~ appartent à S..3 Exemples A n de smpl er la présentaton on tratera seulement du cas de deux varables aléatores X ; X. Les solutons ont été obtenues à l ade des méthodes décrtes dans Zoutendjk [5] ou encore Bertsekas [4]. Exemple : Soent la foncton ' (t) = (t ) et une mesure de probablté dé ne sur [0; ] dont la densté est donnée par : f (x ; x ) = (x + x ) I [0;] (x ; x ) pour laquelle on a : I (t ) (X ; X ) = 9:70 3. our p = q = 3, on trouve pour soluton : x = x = : ; x = x = :54. Les mesures et ; = (symétre entre x et x ) sont données par : [0; :[ [:; :54[ [:54; ] ; [0; :[ :008 :0346 :0895 [:; :54[ :0346 :0774 :687 [:54; ] :0895 :687 :358 = :349 :807 :5840 D où : I (t ) ; = 70 3 qu représente 7% de l nformaton mutuelle ntale. A ttre de comparason, on a pour une partton régulère (classes de même largeur) et pour une équpartton (classes de même fréquence) : reg ; reg [0; :3333[ [:3333; :6666[ [:6666; ] [0; :3333[ :0370 :0740 : [:3333; :6666[ :0740 : :48 [:6666; ] : :48 :85 reg = reg : :333 :4444 4
equ ; equ [0; :4574[ [:4574; :7583[ [:7583; ] [0; :4574[ :0957 :5 :4 [:4574; :7583[ :5 :00 :08 [:7583; ] :4 :08 :08 equ = equ :3333 :3333 :3333 avec : I (t ) reg ; reg = 5:440 3 et I (t ) equ ; equ = 5:60 3, sot respectvment 56% et 58% de I (t ) (X ; X ). Exemple : Sot X = (X ; X ) E () ( ) un vecteur dont la densté de probablté est donnée par : f(x ; x ) = e x x + (e x + e x e x x ) I R (x ; x ), + La copule assocée C (u ; u ) a pour densté : c(u ; u ) = [+ ( u ) ( u )]I [0;] (u ; u ) ) our = :75 ; p = 4; q = 5 et ' = (t ), on obtent la partton optmale suvante : [0; :[ [:; :4[ [:4; :6[ [:6; :8[ [:8; ] ; [0; :5[ :075 :0388 :0500 :06 :075 [:5; :5[ :045 :0463 :0500 :0537 :0575 [:5; :75[ :0575 :0538 :0500 :046 :045 [:75; ] :075 :063 :0500 :0387 :075 = 5:60 (sot 89:9% de I (t avec : I (t ) ; classes de R + est donné par le produt des parttons : ) (X ; X )). Le chox optmal de [0; :3[; [:3; :5[; [:5; :96[; [:96; :609[; [:609; [, pour X et [0; :9[; [:9; :69[; [:69; :38[; [:38; [; pour X ) our = :75 ; p = 4 et q = 6 et ' = t ln t, l vent : [0; :59[ [:59; :37[ [:37; :500[ [:500; :673[ [:673; :84[ [:84; ] ; [0; :4[ :00 :089 :0377 :0458 :056 :057 [:4; :500[ :0345 :0390 :049 :0458 :0476 :0478 [:500; :757[ :0478 :0476 :0459 :049 :0390 :0344 [:757; ] :057 :056 :0458 :0376 :089 :00 avec I t ln t ; = :930 (90% de I t ln t (X ; X )). References [] Aczél, J. and Daróczy, Z. (975), On measures of nformaton and ther characterzatons, Academc ress New York. 5
[] Adhkar, B. and Josh, D.D. (956), Dstance Dscrmnaton et Résumé exhaustf, ublcatons de l Insttut de Statstque de l Unversté de ars, 57-74. [3] Al, S.M. and Slvey, S.D. (966), A general class of coe cents of dvergence of one dstrbuton from another, J.Roy.Statst.Soc., B.8, 3-4. [4] Bertsekas, D.. (999), Nonlnear rogrammng nd Ed, Athena Scent c, Belmont, Mass. [5] Csszár, I. (967), Informaton-type measures of d erence of probablty dstrbutons and ndrect observatons, Studa Scentarum Mathematcarum Hungarca,, 99-38. [6] Csszár, I. (97), A class of measures of nformatvty of observaton channels, erodca Mathematca Hungarca, Vol (-4), 9-3. [7] Gavurn, M.K. (963), On the value of Informaton, Vestuk Lenngrad Unversty Seres, 4, 7-34. Translaton (968), Selected Translatons n Mathematcal Statstcs and robablty, 7 (968), 93-0. [8] Goël,.K. (98), Informaton measures and Bayesan Herarcchal Models, Departement of Statstcs, urdue Unversty, West Lafayette, Techncal Report, # 8-4. [9] McElece, R.J. (977), The theory of nformaton codng, Encyclopeda of mathematcs and ts applcatons, Addson Wesley. [0] nsker, M.S. (964), Informaton and nformaton stablty of random varables and processes, Holden-Day.. [] A. Rény, A. (96), On measures of entropy and nformaton, roceedngs of the Fourth Berkeley Symposum of Mathematcal Statstcs and robablty, Vol, Berkeley : Unversty of Calforna ress, 547-56. [] Ser ng, R.J. (980), Approxmaton Theorems of Mathematcal Statstcs, Wley, New York. [3] von Mses, R. (947), On the asymptotc dstrbuton of d erentable statstcal functons, Ann. Math. Statst., 8, 309-348. [4] Zaka, J. and Zv, M. (973), On functonnals satsfyng a data-processng theorem, IEEE Transactons, IT-9, 75-8. [5] G. Zoutendjk, G. (960), Methods of feasble drectons, Elsever, Amsterdam and D. VanNostrand, rnceton, N.J. 6