MESURE DE L'INFORMATION

MESURE DE L'INFORMATION Marc URO

TABLE DES MATIÈRES INTRODUCTION... 3 INCERTITUDE D'UN ÉVÉNEMENT (OU SELF-INFORMATION)... 7 INFORMATION MUTUELLE DE DEUX ÉVÉNEMENTS... 9 ENTROPIE D'UNE VARIABLE ALÉATOIRE DISCRÈTE... 10 ENTROPIE ET INFORMATION LIÉES À UN COUPLE DE VARIABLES... 13 INFORMATION MUTUELLE CONDITIONNELLE... 16

3 INTRODUCTION Les preières tetatives de défiitio de esure de l'iforatio datet des aées vigt. Citos Nyquist pour l'aspect couicatio et Fisher d'u poit de vue statistique (l'iforatio de Fisher figure das la bore de Craer-Rao qui est u iorat de la variace d'ue certaie classe d'estiateurs). Mais ce 'est qu'à partir de 1948, grâce aux travaux de Shao, que la théorie de l'iforatio a pris sa fore actuelle. Doer ue défiitio précise et coplète de la théorie de l'iforatio est ue tâche difficile. Pour siplifier o peut éocer l'assertio suivate; La théorie de l'iforatio est ue disciplie fodaetale qui s'applique das le doaie des couicatios. So objet cosiste d'ue part à déterier les liites iposées par les lois de la ature lorsqu'o doit stocker ou trasettre le coteu d'ue source (d'iforatio), d'autre part à proposer des dispositifs perettat d'atteidre ou d'approcher ces liites. La théorie de l'iforatio e cesse de se développer car les exigeces actuelles s'orietet vers ue augetatio costate de l'iforatio à stocker ou à trasettre. Exeple: Nore 4.2.2 de la télévisio uérique (adoptée e 1981 par le CCIR, Coité Cosultatif Iteratioal des Radiocouicatios) Cas d'ue iage couleur fixe Ue iage est caractérisée par trois coposates Y, Cb, Cr que l'o appelle les priaires. Y est la caractéristique de luiace tadis que Cb et Cr sot des caractéristiques de chroiace. L'iage est forée de poits (ou pixels) qui sot au obre de 720 pour chacue des 576 liges. Chaque priaire est codée sur 8 éléets biaires correspodat à 2 8 = 256 iveaux de quatificatio. D'autre part, l'oeil état ois sesible à la couleur qu'à la luiace, o estie qu'il est suffisat que les priaires Cb et Cr e soiet présetes qu'u poit sur deux. Aisi o peut calculer le obre d'éléets biaires coteus das ue iage: 576 720 8 + ( 576 360 8) 2 6,63 10 6 eb soit 6,63 0,83 Moctet. 8

4 itroductio La capacité d' ue disquette 3 pouces 1/2 haute desité état d'eviro 1,4 Moctet après foratage, o costate qu'ue telle disquette e peut coteir qu'ue seule iage. Cas d'ue iage couleur aiée La fréquece iage est de 25 Hertz (25 iages par secode). Aisi la trasissio d'ue séquece aiée écessite u débit et de: 6,63 10 6 25 166 Mbits / sec. E fait ce débit e tiet pas copte des sigaux copléetaires idispesables à la sychroisatio. E ajoutat ces sigaux dits sigaux de service, o obtiet u débit brut de 216 Mbits / sec. Sachat que sur le réseau uérique, le débit axiu est de 144 Mbits / sec, o costate que la trasissio d'u tel sigal écessitera des traiteets. Le traiteet du coteu d'ue source d'iforatio peut être evisagé sous deux fores: - sas perte d'iforatio, - avec perte d'iforatio. Nous ous liiteros, das le cadre de ce fascicule, au traiteet sas perte (ou presque) d'iforatio. Le schéa d'ue couicatio peut être représeté coe suit: (il s'agit du paradige de Shao) SOURCE codage de source codage de caal C A N A L ots source restitués décodage de source décodage de caal

itroductio 5 Le codage de source cosiste à éliier les redodaces de la source afi d'e réduire le débit biaire. Le codage de caal a u rôle de protectio cotre les erreurs (dues à la trasissio sur le caal) qui est assuré e ajoutat de la redodace (codes correcteurs d'erreurs). Les poits de vue codage de source et codage de caal sot doc fodaetaleet différets. Le pla du fascicule est orgaisé coe suit: CHAPITRE I Défiitios des gradeurs iforatioelles cocerat les évéeets et les variables aléatoires. CHAPITRE II Extesio de la otio d' etropie (icertitude oyee) d'ue variable aléatoire à la otio d'etropie d'ue source discrète. Étude du problèe posé par le codage de source. CHAPITRE III Caractérisatio et odélisatio des supports de trasissio du poit de vue de leur aptitude à trasettre de l'iforatio. Capacité d'u caal discret, codage de caal. CHAPITRE IV Aptitude des codes liéaires à détecter et corriger des erreurs.

7 MESURE DE L'INFORMATION INCERTITUDE D'UN ÉVÉNEMENT (OU SELF-INFORMATION) La difficulté recotrée pour défiir la self-iforatio relative à u évéeet est liée au caractère subjectif de l'iforatio effectiveet apportée par la réalisatio de cet évéeet. Pour goer cet aspect subjectif, o peut cosidérer qu'a postériori la quatité d'iforatio reçue est d'autat plus grade que l'o e s'attedait pas à observer la réalisatio d'u évéeet. E d'autres teres o peut aussi éocer qu'a priori, l'icertitude d'u évéeet est d'autat plus grade que l'o e s'atted pas à ce qu'il se réalise. Preat e copte la correspodace etre l'icertitude (ou self-iforatio) d'u évéeet et so caractère plus ou ois probable, o est aeé à défiir la esure d'icertitude (ou self-iforatio) coe ue foctio d'ue applicatio probabilité. Ceci écessite de disposer d'u espace probabilisé. Soiet (Ω, T, P) u espace probabilisé et E u évéeet de T. O se propose de défiir ue esure d'icertitude h(e) liée à l'évéeet E de telle sorte que: - h(e) soit d'autat plus grade que P{ E} est petite. O peut poser h( E) = f avec f foctio croissate. 1 P{ E} - h( E) = 0 si P{ E} =1. Il 'y a aucue icertitude quat à la réalisatio d'u évéeet certai. Doc f ( 1) = 0. - Si E et F sot deux évéeets idépedats, h( E F)= h( E)+ h( F) c'est-à-dire: 1 f P E F 1 = f P E 1 P F 1 = f P E 1 + f. P{ F} O recherche doc ue foctio f telle que:

8 esure de l'iforatio f :[ 1,+ [ IR + f est croissate f ( xy)= f x f 1 ( ) = 0 ( ) + f( y) O va établir ue équatio différetielle vérifiée par f. E dérivat les deux ebres de l'équatio f ( xy)= f( x)+ f( y) par rapport à x, o obtiet : y f '( xy)= f '( x) x,y. Soit, e preat y = 1 x, 1 x f '( 1)= f '( x). O a doc f x ( ) = 1 x f ( 1) avec f ( 1) > 0 La solutio est de la fore: f ( x)= α L x avec α > 0 soit ecore: f ( x)= β L x La avec β > 0 et a > 1. O peut choisir β = 1. Si o pred a = e, f est la foctio logarithe épérie et l'uité d'icertitude est le at. Si o choisit a = 2, f est la foctio logarithe à base deux et l'uité d'icertitude est le bit ou le Shao.). O otera désorais log le logarithe à base a. Rearque : Ici bit est l'abréviatio de biary uit qu'il e faut pas cofodre avec biary digit. O a doc h( E) = log P{ E} ( 1) et h( E) peut être iterprété: - a priori, par l'icertitude qui rège sur la réalisatio de E. - a postériori, par l'iforatio apportée par la réalisatio de E. ( ) au cas d'ue applicatio probabilité ( ) = log P{ F / E}. Rearquat que, o déduit: O peut bie sûr étedre la défiitio de h E coditioelle et o ote alors: h F / E P{ E F}= P{ E} P F / E h( E F)= h( E)+ h( F / E) ( E, F) T 2 ( 2).

esure de l'iforatio 9 Das le cas particulier où E et F sot idépedats, o retrouve l'axioe: h( E F)= h( E)+ h( F) ( 2 ). INFORMATION MUTUELLE DE DEUX ÉVÉNEMENTS L'iforatio apportée par F sur E est la diiutio de l'icertitude sur E lorsque F est réalisé. I F E = h( E) h( E / F) ( 3) I F E = log P{ E} + log P{ E / F} = log P E I F E = log P E F P{ E} P F = log P E P F / E P{ E} P F ( ) I F E = h( F) h( F / E) = I E F 3 + log P E F P F = log P F + log P F / E Coe I E F = I F E, o appelle iforatio utuelle etre E et F la quatité: I( E;F) = I E F = I F E. Si E et F sot idépedats, alors P{ F / E} = P{ F} et I( E; F)= 0. E cobiat (2) et (3'), o obtiet: h( E F)= h( E)+ h( F) I( E; F) ( 4) O peut résuer les relatios précédetes sur u diagrae de Ve: h(e) I(E;F) h(f)

10 esure de l'iforatio. ENTROPIE D'UNE VARIABLE ALÉATOIRE DISCRÈTE Soit X ue variable aléatoire à valeurs das x 1, x 2,..., x = + ) telle que p i = P{ X = x i } i [ 1, ]. (avec évetuelleet L'etropie de X otée H(X) est la oyee des icertitudes calculée sur les évéeets X = x i. ( ) = p i log p i H X 5 ( ) Rearques - H(X) déped de la loi de probabilité de X ais 'est pas foctio des valeurs prises par X. - H(X) correspod à l'espérace athéatique de la variable aléatoire icertitude I X défiie par I X = log P( X) avec P X. O a doc : ( ) = p i sur X = x i I X = 1I X =x i log p i. Soit H( X) = E I X [ ]= E[ log P( X) ]. - Expriée e Shaos, H(X) représete le obre oye de bits écessaires à la codificatio biaire des différetes réalisatios de X. Exeple O extrait au hasard ue carte d'u jeu de 32 cartes. A chacue des 32 cartes o associe ue valeur différete des 31 autres valeurs correspodat aux 31 autres cartes par le biais d'ue variable aléatoire X. Les valeurs prises par X e sot pas précisées car elles 'itervieet pas das le calcul de H(X). De plus o suppose que chaque carte a la êe probabilité d'être extraite. O a H(X ) = 32 1 32 log 2 1 32 = log 32 2 = 5 Sh.

esure de l'iforatio 11 Pour savoir quelle carte a été extraite, o peut deader si sa couleur est rouge ou oire, s'il s'agit d'u coeur ou d'u carreau (resp u trèfle ou u pique), si la carte appartiet au groupe (7, 8, 9, 10) ou (valet, dae, roi, as), puis à quel sous-groupe costitué de deux cartes elle appartiet et efi laquelle des deux cartes correspod à la carte tirée. Les réposes à ces ciq questios peuvet être résuées par ciq bits ('1' pour oui et '0' pour o). Ue autre faço de odéliser le problèe cosiste à attribuer u uéro (de 0 à 31) à chaque carte. L'écriture de ces uéros e base deux requiert log 2 32 = log 2 2 5 = 5 bits PROPRIÉTÉS DE L'ENTROPIE Lee Soiet ( p 1, p 2,..., p ) et ( q 1,q 2,...,q ) deux lois de probabilité, alors: p i log q i 0. p i E effet x > 0 o a L x x 1 x-1 L x 0 1 x D'où L q i q i 1, soit log q i 1 q i 1 p i p i p i La p i

12 esure de l'iforatio doc p i log q i 1 La p i p i q i 1 1 = p i La q i p i = 1 La ( 1 1)= 0 Propriété 1 L'etropie d'ue variable aléatoire X à valeurs possibles est axiu et vaut log() lorsque la loi de X est uifore. Il suffit d'appliquer le lee précédet avec q 1 = q 2 =... = q = 1. 1 Aisi, p i logp i p i log = 1 log 1 = log. L'icertitude sur X est la plus grade si toutes les valeurs possibles ot la êe probabilité de se réaliser. Propriété 2 L'etropie augete lorsque le obre de valeurs possibles augete. E effet soit X à valeurs possibles x 1, x 2,..., x de loi p 1, p 2,..., p ( ). Supposos que la valeur x k de probabilité p k soit 'éclatée' e deux valeurs y k et z k de probabilités α k,β k avec α k +β k = p k α k 0 et β k 0. Alors l'etropie de la ouvelle variable aléatoire X' aisi obteue s'écrit H ( X ) = H( X) + p k log p k α k log α k β k logβ k. d'où H ( X ) H( X) = ( α k + β k )log p k α k logα k β k log β k H( X' ) H( X)= α k log p k +β k log p k α k log α k β k logβ k. Or, la foctio logarithe état stricteet croissate, o a: log p k > log α k et log p k > logβ k soit H ( X ) H( X) > 0, c'est-à-dire: H ( X )> H( X). Propriété 3 L'etropie est ue foctio covexe de ( p 1, p 2,..., p ). E effet H X = gof i ( ) = p i log p i ( ) p 1, p 2,..., p

esure de l'iforatio 13 avec f i l'applicatio projectio sur l'axe i: f i :[ 0,1] [ 0,1] et ( p 1, p 2,..., p ) p i g: [ 0,1] IR + p plog p g est covexe car g ( p)= log p 1 p L2 p = 1 L2 log p et g ( p) = 1 p < 0. Coe f i est ue fore liéaire, gof i est covexe et H(X) est covexe car soe de foctios covexes. ENTROPIE ET INFORMATION LIÉES À UN COUPLE DE VARIABLES Soiet X et Y deux variables aléatoires discrètes respectiveet à valeurs das { x 1, x 2,..., x } et { y 1, y 2,...,y }. Si o désige par = P X = x i Y = y j la loi du couple (X, Y), o peut sas difficulté prologer la défiitio de l'etropie d'ue variable aléatoire à l'etropie d'u couple de variables aléatoires. Aisi: H(X,Y) = log (6) O peut égaleet, e s'ispirat des gradeurs iforatioelles relatives aux évéeets, défiir les etropies coditioelles et l'iforatio utuelle: H( X / Y = y j )= P X = x i / Y = y j (7) log P X = x i / Y = y j Par la suite, o otera p i / j = P{ X = x i / Y = y j }. H(X / Y) = H X / Y P{ Y = y j }H ( X / Y = y j ) ( ) = P Y = y j P X = x i / Y = y j log P X = x i / Y = y j

14 esure de l'iforatio soit H(X / Y) = log p i / j (8) H( X / Y) représete l'icertitude sur X lorsqu'o coait Y. De êe l'iforatio utuelle oyee etre X et Y peut s'écrire: I( X;Y) = H(X) H(X / Y) = H(Y) H(Y / X) (9) I(X;Y) correspod à la diiutio de l'icertitude sur X (resp. Y) lorsqu'o coait Y (resp. X). D'après (9), o a: ( ) = p i log p i I X;Y + log p i/ j (10) or p i = doc I(X;Y) = log p i + log p i/ j d'où I(X;Y) = log p i / j = p log (11) avec p i p i p. j = `. j O a doc I(X;Y) = E log P(X,Y) P(X )P(Y) (12) Propriétés - L'iforatio utuelle oyee de X et de Y est toujours positive (ce 'est pas le cas pour l'iforatio utuelle etre deux évéeets qui pred des valeurs égatives lorsque la réalisatio de l'u des évéeets red l'autre ois probable). O a I(X;Y) = log p p i. j 1 L2 p i p. j 1 car L x x 1

esure de l'iforatio 15 d'où I(X;Y) 1 p i p. j = 1 L2 L2 1 1 ( ) = 0 - Le coditioeet diiue l'icertitude E d'autres teres cela sigifie que H(X ) H( X / Y). Il suffit d'appliquer (9) e utilisat la propriété précédete. - H(X ) + H(Y) = H(X,Y) + I(X;Y) (14) E effet H(X ) = p i log p i = p j /i p i log p i = log p i j=1 De êe H(Y) = p. j log p. j = log p. j O a doc H(X ) + H(Y) = log p i p. j = log + log p i p. j D'où H(X ) + H(Y) = H(X,Y) + I(X;Y) - H(X,Y) = H(X) + H(Y / X) = H(Y) + H(X / Y) (15) Ce résultat s'obtiet facileet e cobiat (9) et (14). O peut illustrer ces relatios par ue représetatio e diagrae de Ve: H(X) H(Y) H(X/Y) I(X;Y) H(Y/X)

16 esure de l'iforatio Das le cas particulier où X et Y sot idépedates, e repreat (7), (8), (9) et (14), o obtiet: H(X / Y = y) = H(X) H(X / Y) = H(X ) (16) I(X;Y) = 0 (17) H(X ) + H(Y) = H(X,Y) (18) INFORMATION MUTUELLE CONDITIONNELLE Par extesio de la forule (9), o peut itroduire la otio d'iforatio utuelle (oyee) etre deux variables X et Y coditioelleet à l'évéeet { Z = z} où Z est ue troisièe variable: I(X;Y / Z = z) = H(X / Z = z) H(X / Y, Z = z) (19) E ultipliat les deux ebres de (19) par P{ Z = z} et e soat sur toutes les valeurs possibles de Z, o obtiet: P{ Z = z} I(X;Y / Z = z) = H(X / Z) H( X / Y, Z) z Le ebre de gauche pouvat être iterprété coe I( X;Y / Z), o défiit l'iforatio utuelle etre X et Y sachat Z par I(X;Y / Z) = H( X / Z) H( X / Y, Z) = H(Y / Z) H(Y / X,Z) (20) Nous allos aiteat otrer que: I(X;(Y, Z)) = I(X;Y) + I(X;Z / Y) (21) E appliquat (9) au couple ( X, ( Y, Z) ), o obtiet I(X;(Y, Z)) = H(X) H(X / Y,Z), ais I(X;Z) = H(X) H(X / Z), soit: H(X ) = I(X; Z) + H(X,Z) d'où: I(X;(Y, Z)) = I(X; Z) + H(X / Z) H(X / Y,Z). D'où e appliquat (20): I(X;(Y, Z)) = I(X; Z) + I(X;Y / Z)

esure de l'iforatio 17 Notos que si Y est idépedate de X sachat Z, ie P Y / X,Z H(Y / X,Z) = H(Y / Z) et aisi I(X;Y / Z) = 0. = P Y / Z, o a: Les relatios éocées ci-dessus vot ous perettre d'établir ue propriété iportate vérifiée par l'iforatio utuelle qui ous perettra de défiir la capacité d'u caal. Si o ote p = (p 1, p 2,..., p ) le vecteur représetat la loi de probabilité de X et Q celui correspodat aux probabilités coditioelles p j / i = P{ Y = y j / X = x i }, o peut alors cosidérer I(X;Y) coe ue foctio des deux variables p et Q que l'o ote I(p;Q). Nous allos otrer que: I( p;q) est ue foctio covexe de p et covexe de Q. - Motros tout d'abord que I(p;Q) est ue foctio covexe de p. Pour cela o se fixe le vecteur de probabilités de trasitio Q et o se doe p 0 et p 1 deux vecteurs de probabilité pour X. Il ous faut otrer que θ [ 0,1], o a: θi( p 0 ;Q) + (1 θ )I(p 1 ;Q) I(p;Q) où p = θp 0 + (1 θ )p 1. L'idée cosiste à iterpréter p 0 et p 1 coe des probabilités coditioelleet à ue variable auxiliaire Z pouvat predre les valeurs 0 et 1 avec les probabilités respectives θ et 1 θ. Aisi la i ièe coposate de p 0 peut s'écrire: p 0 (i) = P{ X = x i / Z = 0}. De êe la i ièe coposate de p 1 peut s'écrire: p 1 (i) = P{ X = x i / Z =1}. Le vecteur p représete la loi de X puisque: θp 0 (i) + (1 θ) p 1 (i) = P{ Z = 0}P{ X = x i / Z = 0}+ P{ Z = 1}P{ X = x i / Z =1} θp 0 (i) + (1 θ) p 1 (i) = P{ X = x i Z = 0}+ P{ X = x i Z =1}= P{ X = x i }= p i (car les évéeets { Z = 0} et { Z = 1} sot copléetaires). De plus, o peut iposer l'idépedace etre les deux variables Y et Z sachat X (ie P{ Y / Z, X} = P{ Y / X}), de telle sorte que I(p 0 ;Q) (resp. I(p 1 ;Q)) puisse être iterprété coe I(X;Y / Z = 0) (resp. I(X;Y / Z = 1)).

18 esure de l'iforatio Aisi le ebre de gauche de l'iégalité s'écrit: P{ Z = 0}I(X;Y / Z = 0) + P{ Z =1}I(X;Y / Z = 1) = I(X;Y / Z). O est doc coduit à otrer que: I(X;Y / Z) I(X;Y). Or I(Y; X,Z) = I(Y; X ) + I(Y; Z / X) (1), soit e perutat les rôles de X et Z: I(Y; X,Z) = I(Y; Z) + I(Y; X / Z) (2). Or P{ Y / Z, X} = P{ Y / X) } H(Y / Z, X ) = H(Y / X ) d'où I(Y; Z / X) = H(Y / X) H(Y / Z, X) = 0. (1) I(Y;( X, Z)) = I(Y; X) = I(X;Y) et (2) I(Y; X / Z) = I(Y;(X,Z)) I(Y, Z) I(Y;(X, Z)) = I(X;Y) (cqfd). - Motros aiteat que I(p;Q) est ue foctio covexe de Q à p fixé. Soiet Q 0 et Q 1 deux probabilités de trasitio et θ [ 0,1]. Si o pose Q = θq 0 + (1 θ)q 1, il faut otrer que θi( p;q 0 ) + (1 θ)i(p;q 1 ) I(p;Q). O peut de plus cosidérer Q 0 et Q 1 coe des lois codiditioelles à ue variable biaire auxiliaire Z idépedate de X et telle que: Q 0 ( j / i) = P Y = y j / X = x i Z = 0 Q 1 (j / i) = P Y = y j / X = x i Z =1 θ = P{ Z = 0} 1 θ = P{ Z =1} Aisi le ebre de gauche de l'iégalité à otrer deviet: P{ Z = 0}I(X;Y / Z = 0) + P{ Z =1}I(X;Y / Z = 1) = I(X;Y / Z). O doit doc établir que I(X;Y / Z) I(X;Y). Pour cela o utilise: I(X;(Y, Z)) = I(X;Y) + I( X; Z / Y) = I(X;Z) + I(X;Y / Z). Et l'idépedace de X et Z etraîe I(X;Z) = 0. D'où I(X;Y / Z) = I(X;(Y, Z)) = I(X;Y) + I(X;Z / Y) I(X;Y) (cqfd).