ÉLÉMETS DE THÉORIE DE L IFORMATIO POUR LES COMMUICATIOS. L a théore de l nformaton est une dscplne qu s appue non seulement sur les (télé-) communcatons, mas auss sur l nformatque, la statstque, la physque statstque, la théore de l nférence. Il est ndénable que le développement des communcatons a nourr la théore de l nformaton et nversement. Une contrbuton fondamentale et extrêmement mportante est l artcle de C.E. Shannon, «A mathematcal theory of communcatons», paru dans le ournal de ATT Bell, en 948. (Cet artcle a été ensute réédté sous la forme d un lvre, cureusement cette fos-c avec un co-auteur). La presque totalté de ce cours est contenue dans l artcle orgnal de Shannon. On présentera d abord l entrope (dte de Shannon) comme mesure d nformaton. À l ade des notons d nformaton, ou d entrope, on ntrodura ensute tros théorèmes de Shannon. - Le premer théorème ndque qu une source, d entrope H, peut être codée de façon déchffrable, avec des mots dont la longueur moyenne est bornée par l entrope de la source. L entrope H représente alors une lmte fondamentale sur la longueur moyenne mnmale des mots utlsés pour coder la source. - Le second théorème de Shannon, ou théorème du codage de canal, ou théorème du canal bruté, est tout auss fondamental, et peut être plus. Ce théorème ndque que s l entrope de la source est nféreure ou égale à la capacté du canal, alors l est possble de
Éléments de théore de l nformaton pour les communcatons trouver un code tel que la probablté d erreur lors de la transmsson sot auss fable que l on veut. - Le trosème théorème de Shannon, appelé théorème de la capacté d nformaton, permet de reler la capacté d nformaton à la bande du canal, la pussance transmse et la pussance du brut addtf. Il fournt en outre la capacté lmte (lorsque la bande tend vers l nfn), et la lmte de Shannon. Avant de poursuvre, un pont essentel, emprunté au Professeur G. Demoment (poly Théore de l nformaton, lcence EEA, Orsay). L expédteur et le destnatare d un télégramme ont des atttudes dfférentes de celles de l employé de la Poste : pour les deux premers, le message a une sgnfcaton. Pour l employé de la Poste, cette sgnfcaton est ndfférente ; l compte les caractères qu l transmet en vue de fare payer un servce : la transmsson d une «quantté d nformaton» proportonnelle à la longueur du texte. La théore de l nformaton est un outl, développé pour et par l ngéneur chargé de concevor un système de transmsson, et les notons probablstes n ont de sens clar que de son pont de vue.. Incerttude, nformaton et entrope Le problème de référence est le suvant : on consdère un alphabet E de éléments, et on s ntéresse à un message de longueur K composé à l ade des éléments de E. L ensemble des mots de longueur K, que l on note E k, est de cardnal k. On suppose que les symboles éms par la source sont ndépendants ; la source est alors dte «source dscrète sans mémore». Chaque mot véhcule une certane «quantté d nformaton», que l on peut rasonnablement reler à la longueur du mot. On peut chercher à quantfer l nformaton gagnée à la récepton d un mot de E k (où l nformaton transmse par l employé de la Poste). On note I k cette nformaton. Celle-c devrat vérfer deux proprétés ntutves :
Éléments de théore de l nformaton pour les communcatons 3 (a) I(E k+l ) = I(E k ) + I(E l ) (b) I(E k ) I(E k+l ) Précsons la sgnfcaton de l exgence (a). On peut décomposer l ensemble E k+l, qu comprend k+l éléments, en k sous-ensembles de l éléments. Dans ces condtons, la sélecton d un élément de E k+l peut être vue comme la sélecton d un des sous-ensembles, qu nécesste une nformaton I(E k ), suve par la sélecton d un élément du sous-ensemble, avec l nformaton I(E l ). L nformaton apportée par l élément est alors I(E k+l )=I(E k )+I(E l ). La seconde proprété ndque que plus l ensemble est grand, plus la sélecton d un élément nécesste d nformaton. Ces deux proprétés suffsent à détermner la forme prse par la mesure d nformaton : I(E k ) = αk.log(), où est le nombre de lettres dans l alphabet, K la longueur du message, et α une constante arbtrare qu fxe la base du logarthme. En communcatons, on s ntéresse souvent à des séquences bnares, et on mpose la normalsaton I(E ) =, ce qu condut à : I(E k ) = Klog (). Cette dernère relaton est la formule de HARTLEY, proposée dès 98. Le rasonnement précédent s appue mplctement sur une hypothèse d équprobablté des mots de même longueur. Cec ne sera évdemment pas souvent le cas, en fat dès que les lettres de l alphabet ne seront plus équprobables. Consdérons un ensemble de mots M,..., M, de probablté d occurrence P,..., P, avec P =. = On peut de la même façon que précédemment chercher à défnr l nformaton portée par la connassance d un mot. otons I(M ) l nformaton relatve à un mot de probablté P. Deux exgences suffsent encore à détermner la forme de cette nformaton. (a) I(M kl ) = I(M k ) + I(M l ) (b) I(M ) est une foncton décrossante de la probablté P.
4 Éléments de théore de l nformaton pour les communcatons La premère proprété llustre le fat que l nformaton apportée par un mot M kl, composé de deux mots M k et M l, supposés ndépendants, est égale à la somme des nformatons apportées par ses partes. La seconde exgence ndque que l nformaton apportée par un mot, ou l nformaton nécessare pour le caractérser est d autant plus mportante que sa probablté est fable. Ces deux exgences, auxquelles on aoute une exgence de contnuté, condusent à : I(M ) = -αlog(p ), où la constante α est à nouveau arbtrare. Comme précédemment, on utlsera souvent le logarthme de base. Remarques sur les untés : Lorsqu on chost le logarthme népéren, l unté d nformaton est le nat (natural unt). Lorsqu on chost le logarthme en base 0, l unté est le dt (decmal unt), ou Hartley. Lorsqu on chost le logarthme en base, l unté est le bt (bnary unt), ou Shannon, qu l ne faut pas confondre avec le bt de l nformatque (bnary dgt), et qu est smplement un chffre bnare. L nformaton étable c-dessus n entre pas en contradcton avec la formule de Hartley. En effet, dans l ensemble E k, où l on consdère tous les mots équprobables avec la probablté -k, on obtent I(M ) = klog(). On s ntéresse également à l nformatque apportée en moyenne par ces mots {M,..., M }. Cette nformaton caractérsera par exemple l nformaton moyenne émse par une source. Cette nformaton ne dépend que de la lo P. On la note H(P), ou H(P,..., P), ou encore H(x), où x représente une varable prenant ces valeurs dans { M } H(X) = E p [ I(X) ] = P log P =,..., M, avec la lo P. Cette relaton a été étable par Shannon (948), et ndépendamment par Wener (948, dans son lvre Cybernetcs). Le parallèle avec l entrope de la thermodynamque et de la physque statstque n est pas fortut. Shannon a reconnu avor été gudé par les résultats de Boltzmann, et l anecdote conte que c est von eumann qu a consellé à Shannon de baptser «entrope» sa mesure d nformaton, en rason de la smltude des expressons, et parce que «personne ne sat vrament ce qu est l entrope».
Éléments de théore de l nformaton pour les communcatons 5 Les relatons entre l entrope de la physque et l entrope de la théore de l nformaton ont été dscutées par exemple par Brlloun (Scence and Informaton Theory, Academc Press, 956). L entrope possède pluseurs proprétés naturelles que nous donnons c-après : () l entrope est maxmale lorsque les événements sont équprobables, P = et vaut alors log( ); c est dans cette confguraton que le système est le mons ben défn et que les messages sont les plus «surprenants» et apportent le plus d nformaton. () l nformaton est mnmale lorsque l un des événements est certan : le système est parfatement connu, et aucun apport d nformaton n est possble. () pour événements équprobables, l entrope croît avec. (v) l entrope est une foncton postve, contnue et symétrque en ses arguments. (v) l nformaton acquse en deux étapes s aoute : H P P H Q Q Q H P P Q H P + P (,..., ) = (, ) +,..., +,..., Q Q Q Q où Q P = =, Q = P = M + M M sont les probabltés de deux groupes d événements dstncts,..., M et M+,...,. L nformaton moyenne de l événement total est ans égale à la somme des nformatons moyennes apportées par les deux événements de la partton, pondérée par leurs probabltés d apparton, et de l nformaton de partage. Preuve de () : On établt d abord une proprété très mportante dans ce cours, et qu est appelée dans beaucoup d ouvrages le lemme fondamental. On utlse la proprété ln x x, avec égalté pour x =. On consdère deux dstrbutons de probablté P = { P,..., P }, et Q = { Q,..., Q }. On consdère ensute D( P Q) En utlsant ln(x) x-, on a alors D( P Q) Q = P log = P ln( ) k = k = ln( ) = P Q P D( P Q) Q P = 0, ln( ) P Q ln P
6 Éléments de théore de l nformaton pour les communcatons sot D( P Q) une négalté fondamentale. P = P log 0, Q k = En prenant enfn Q =, l reste P log P log ( ), et enfn H( P) = P P ( ) log log Autre démonstraton : On cherche à maxmser l entrope H( P) P log P =, sur l ensemble des dstrbutons { P }.,..., P telles que P = Cec est un problème de maxmsaton sous contrante, pour lequel on fat appel au Lagrangen : ( ) L( P, λ) = P log P + λ P L( P, λ) = 0 log P + λ = 0, P sot P = e λ +, donc tous les P sont égaux et équprobables, et P =. On en dédut H ( max P ) = log( ). Exemple : lo de BEROULLI. On consdère l ensemble { a a },, mun des probabltés p et (-p). H( X ) = P log P = p log p ( p) log( p) = H(X) q p=0 ; -p= événement certan, H( X ) = 0, q p=, événement certan, H( X ) = 0, q p =, équprobablté, H(X) maxmale. 0 P. Codage de source
Éléments de théore de l nformaton pour les communcatons 7 Un problème très mportant en communcatons est la représentaton effcace des données générées par une source. Ce processus de représentaton est le codage de source. Pour être effcace, l encodeur dot s appuyer sur les caractérstques probablstes de la source. Les mots-codes les plus courts seront par exemple affectés aux messages les plus fréquents,.e. de plus forte probablté. Cec est le cas du code Morse. En code Morse, les lettres et les chffres sont codés en successon de marque «.» et d espaces «_». La lettre la plus fréquente, le E, est ans codé «.» alors que la lettre la plus rare, Q (en anglas), est codée «.». On s ntéresse à encoder des messages M K en une séquence b K, de longueur l K. La probablté du message M K est désgnée par P K. La longueur moyenne d un mot-code vaut alors L = K= P l K K. Cette longueur moyenne représente alors le nombre moyen de bts (bnary dgts) par symbole source, utlsé par le processus de codage (s l alphabet est bnare). Les mots codes { C,..., C } ont même probablté que les messages { M M } désgne par { Q } { a },...,. On,..., Q L les probabltés assocées à chacune des lettres de l alphabet,..., a L. L entrope de la source, qu est auss l entrope du code, vaut alors H( S) = H( C) = P log P. L = L entrope de l alphabet vaut quant-à-elle ( ) H A = Q logq L = L nformaton moyenne par mot code est auss donnée par le produt entre le nombre moyen de lettres dans le mot et l nformaton moyenne des lettres : H( C) = L. H( A) Or, H( A ) est borné par log( L ) (toutes les lettres équprobables). On en dédut donc sot H( C) L.log ( L), H( C) L log ( L).
8 Éléments de théore de l nformaton pour les communcatons L entrope de la source mpose donc une lmte fondamentale à la longueur moyenne d un mot code utlsé pour représenter les symboles éms par cette source. Ce résultat, le théorème du codage de source, ndque qu l est possble de représenter les symboles éms à l ade de mots, dont la longueur moyenne la plus fable est bornée par l entrope de la source. Tout code dont la longueur moyenne serat plus fable ne pourrat représenter, sans erreur de décodage, les dfférents symboles assocés à cette source. En général, l alphabet de la source et l alphabet du canal sont dfférents. Un des premers buts du codage est de passer de l un à l autre. Un autre pont est que le code «naturel» assocé à une source est souvent très redondant. L obectf du codage de source est alors d élmner cette redondance, pour aboutr à un code dont la longueur moyenne est la plus proche possble du rapport entre l entrope de la source et l entrope maxmale de l alphabet. Exemples : codes rréductbles Les codes rréductbles sont des codes déchffrables (ou à décodage unque), qu peuvent être décodés sans utlser les mots suvants ou précédents. Ce sont des codes nstantanés. Ils sont construts en utlsant la condton du préfxe. Condton du préfxe : l n exste aucun mot-code qu sot le commencement d un autre motcode. Exemple : M P I II III M 0 0 0 0 M 4 0 0 M 8 00 0 0 M 3 8 0 Le code n II est c un code à préfxe. Constructon d un code rréductble (bnare) On dvse M = { M,..., M K, M K+,..., M } en deux sous ensembles {,..., } et { M M } M = K+ M = M M K,..., et on attrbue comme premère lettre «0» à tous les messages de M, et comme premère lettre à tous les messages de M. On rétère cette opératon en dvsant M en deux sous ensembles M et M, pus M en M et M.
Éléments de théore de l nformaton pour les communcatons 9 On contnue usqu à ce qu l ne reste plus qu un élément dans chaque sous ensemble. Le code obtenu ans est rréductble. L arbtrare de la constructon du code est contenu dans le chox des dvsons en sous ensembles. Codage de Huffman : Le codage de Huffman est un code à préfxe, qu utlse les statstques de la source, l dée de base étant d obtenr des ensembles de même rang {M M }, {M M }, de probabltés les plus proches possbles. L algorthme est le suvant : Les symboles sont classés par ordre de probablté décrossante. On assgne alors aux deux symboles de probablté la plus fable les lettres 0 et. Ces deux symboles sont combnés en un nouveau symbole, fctf, dont la probablté est la somme des probabltés des symboles élémentares. La lste des symboles est alors mse à our. Cette lste est touours classée, et comporte un élément de mons. La procédure est rétérée, usqu à ce que la lste fnale ne contenne plus que deux symboles, auxquels on assgne les lettres «0» et. Le code pour chaque symbole ntal est alors établ en repartant «à l envers» et en notant la sute de 0 et de. Exemple : Symbole M M M 3 M 4 M 5 Probablté 0,4 0, 0, 0 0, 0, 0,4 0, 0 0, 0, sot : 0,4 0 0,4 0, M M M 3 M 4 M 5 00 0 00 0 0 0,6 0,4 Il est clar que ce codage n est pas unque. En effet, l y a un arbtrare dans l affectaton des 0 et des à chaque étape, l y a un arbtrare dans le classement des symboles lorsque pluseurs possèdent la même probablté, et un arbtrare dans le placement du nouveau
0 Éléments de théore de l nformaton pour les communcatons symbole lorsque d autres ont la même probablté. Deux stratéges peuvent alors être employées : placer le nouveau symbole auss haut ou auss bas que possble. Entrope de la source : 5 H( S) = P log P = 93. bts = Longueur moyenne du code : 5 L = Pl =. = On retrouve c la relaton L H( S) (théorème du codage de source), qu ndque que le code de Huffman permet c de s approcher à 0,078 bts de la longueur moyenne lmte pour cette source. 3. Entropes et canaux de communcaton ous avons dscuté précédemment de la caractérsaton des sources et du problème de codage de source. ous en arrvons mantenant au second aspect de la communcaton, à savor la transmsson du message sur le canal de communcaton, avec la caractérsaton du canal, et la possblté de transmettre sans erreur un message sur un canal mparfat. Cec est l obectf du codage de source. 3.. Canal dscret sans mémore Un canal dscret sans mémore est caractérsé par un ensemble dscret de messages source - un alphabet d entrée, et par un ensemble dscret de messages de sorte : X = Y = { x,..., x I } { y,..., y } J On dspose en outre d un ensemble de probabltés de transton, ( ) = ( Y = = ) p y x P y X x La transmsson des messages de X le long du canal peut alors être décrt par la dstrbuton de probablté cononte (, ) = ( ) ( ) p x y p y x p x La dstrbuton de probablté de la sorte peut être obtenue en margnalsant la dstrbuton cononte :,
Éléments de théore de l nformaton pour les communcatons I I ( ) = (, ) = ( ) ( ) p y p x y p y x p x = = Une représentaton commode d un canal dscret sans mémore est l utlsaton d une matrce de transton : ( ) p y p y ( ) J = ( ) p( y x I ) ( ) p y x p y x p y x ( ) p( y x ) p x p x ( ) ( ) J J I I Exemple : canal bnare symétrque (CBS) p x y -p -p x y p ( ) ( ) p y p y p = p ( ) ( ) p p x p p x 3.. Entropes pour un canal dscret. On défnt asément, pour un canal dscret, tros entropes : L entrope de source H( X ) = p log p L entrope de sorte H( Y) = p log p L entrope cononte entrée-sorte ( ) où on a noté ( ) ( ) p = p x = P X = x ( ) ( ) (, ) (, ) p = p y = P Y = y p = p x y = P X = x Y = y I = J = H X, Y p log p =
Éléments de théore de l nformaton pour les communcatons 3.3. Relatons entre les entropes. a) lorsque X et Y sont ndépendantes,.e. P( X Y) P( X ) P( Y) H( X, Y) = H( X ) + H( Y), =, alors En communcatons, l ndépendance entre X et Y sgnferat que le brut sur le canal est tellement mportant qu l supprme toute lason entre Y et X. b) entrope condtonnelle (, ) = (, ) log ( =, = ) H X Y P X Y P X x Y y or P( X = x, Y = y ) = P( Y = y X = x ) P( X = x ) alors [ ] (, ) = ( =, = ) ( = ) log ( = ) + log ( = = ) H X Y P Y y X x P X x P X x P Y y X x sot H( X, Y) = H( X ) P( X = x ) H( Y X = x ) On pose par défnton def ( ) = ( = ) ( = ) H Y X P X x H Y X x et H( X, Y) = H( X ) + H( Y X ) Pour des rasons de symétre, on a de la même façon : H( X Y) H( Y X ) H( X, Y) = H( Y) + H( X Y) représente une ncerttude moyenne sur l entrée lorsque la sorte est connue. C est l nformaton qu serat encore nécessare pour caractérser X alors que Y est connue. On l appelle l équvoque. représente l ncerttude moyenne sur la sorte lorsque l entrée X est connue. On l appelle parfos erreur moyenne.
Éléments de théore de l nformaton pour les communcatons 3 3.4. Informaton mutuelle En sommant les deux relatons précédentes, on obtent l négalté H( X, Y) H( X ) + H( Y). À partr de ces deux relatons lant l entrope cononte et les entropes condtonnelles, on obtent H( Y) H( Y X ) = H( X ) H( X Y) Chacun des deux membres de cette égalté représente une dmnuton de l nformaton apportée par Y (respectvement X) lorsque X (respectvement Y) est connu. On appelle ces dfférences nformaton relatve donnée par Y sur X (par X sur Y), ou plus smplement, l nformaton mutuelle, I( X, Y). C est l nformaton transmse par le canal. - Dans le cas sans brut, H( X Y ) = 0 et I( X Y) H( X ), =, - dans le cas hyper bruté, H( X Y) = H( X ) et l nformaton mutuelle I( X Y), = 0. Afn d optmser la transmsson dans le canal, l faudra donc chercher à maxmser l nformaton échangée, c est-à-dre l nformaton mutuelle. Lorsque la source est fxée, maxmser l nformaton mutuelle revent à mnmser l équvoque H(X Y), c est-à-dre à mnmser l ncerttude sur X lorsque la sorte Y est connue. D un autre coté, lorsque la source est «lbre», maxmser l nformaton mutuelle, c est auss rechercher la source qu rende l nformaton émse en moyenne H(X) maxmale. On vot faclement que l nformaton mutuelle s exprme également par sot ( ) ( ) ( ) ( ) ( ) ( ) ( ) I M X, Y = H X H X Y = H X H X, Y H Y, ( ) ( ) ( ) ( ) I M X, Y = H X + H Y H X, Y. Cette négalté condut mmédatement à ( ) ( ) I X, Y p x, y log M = p( x, y ) ( ) p( y ) Cette dernère expresson n est autre que l entrope relatve ou le gan d nformaton, entre la dstrbuton cononte et le produt ( ) ( ) P X P Y. p x C est en quelque sorte une dstance entre la dstrbuton cononte, et la dstrbuton cononte qu on obtendrat dans le cas ndépendant.
4 Éléments de théore de l nformaton pour les communcatons 3.5. Relatons entre les entropes Rappelons le lemme fondamental : nous avons montré que p p log 0. q En applquant c cette négalté à l nformaton mutuelle, on obtent ( X Y ) I M, 0 et par conséquent - H( X ) + H( Y) H( X, Y) - H( X ) H( X Y) - H( Y) H( Y X ) La premère négalté sgnfe que l entrope cononte est nféreure à la somme des entropes des varables consdérées ndépendamment, à cause de la lason entre X et Y. Les deux négaltés suvantes sgnfent que l nformaton portée par X (respectvement Y) est nféreure à l nformaton portée par X, lorsque Y est connu. Relatons entre les entropes : résumé (, ) ( ) + ( ) (, ) ( ) ( ) H X Y H X H Y H X Y H Y H Y X (, ) ( ) + ( ) (, ) ( ) ( ) H X Y H X H Y H X Y H X H X Y
Éléments de théore de l nformaton pour les communcatons 5 Représentaton graphque : H(X) H(X) H(X Y) H(Y) H(Y) I M (X,Y) H(Y X) Cas ndépendant H(X,Y) Les dfférentes entropes représentent les surfaces ndquées H(Y) H(X) Lason Y=f(X) 3.6. Capacté d un canal ous avons vu que l optmsaton de la transmsson dans le canal passat par la maxmsaton de l nformaton échangée ; cec débouche sur la noton de capacté du canal. La capacté d un canal est défne comme la valeur maxmale de l nformaton mutuelle entréesorte. def ( ) ( ) ( ) ( ) ( ) C = max I X, Y = max H X H X Y = max H Y H Y X L nformaton mutuelle dépend à la fos des probabltés de transton et de la dstrbuton de la source. Lorsque le canal, c est-à-dre les probabltés de transton sont fxées, on ne peut plus qu agr sur la dstrbuton de probablté de la source pour maxmser l nformaton mutuelle. C est auss l obet du codage de source.
6 Éléments de théore de l nformaton pour les communcatons Exemple : le canal bnare symétrque ( ) = log ( ) log( ) H Y X p p p p (, ) = ( ) ( ) I X Y H Y H Y X H( Y ) est max s p( y) = p( y ) = En rason de la symétre du canal, l faut que p( x ) p( x ) La capacté du canal vaut alors ( ) ( ) C = + plog p + p log p. = =, et H( Y ) =. H(p) C(p) / p 3.7. Le théorème du canal bruyant. On défnt le taux moyen d nformaton par R = H( X ) T S en bts/s (débt de la source) (on suppose que la source émet un symbole toutes les T S secondes). On suppose que le canal peut être utlsé toutes les T C secondes. On défnt alors la capacté par unté de temps par C T C (bts/s). Le théorème est en deux partes : () s H( X ) T S C T, C alors l exste un code tel que la sorte de la source pusse être transmse sur le canal et reconstrute avec une probablté d erreur arbtrarement fable. Le paramètre C T C est appelé le taux crtque. Le débt vaut au maxmum le taux crtque. () au contrare, s H( X ) T S C >, T C l n est pas possble, en moyenne, de transmettre d nformaton sans erreur.
Éléments de théore de l nformaton pour les communcatons 7 4. Cas contnu On s ntéresse mantenant à des varables à valeurs réelles, et non plus à valeurs dscrètes. Il s agt souvent des sgnaux présents en pratque à l entrée et à la sorte du canal. De plus, le brut addtf est souvent contnu et fat perdre le caractère éventuellement dscret des sgnaux auxquels nous nous ntéressons. Il est tentant de redéfnr les entropes conontes, condtonnelles pour des varables réelles en remplaçant les sommes dscrètes par des ntégrales. Une telle manpulaton est ncorrecte. En effet, en découpant de plus en plus fnement un ntervalle, l entrope dscrète dverge : p(x) p(x K ) x x K x S on pose x K = K x, avec K =,... + et x 0, ( ) = lm ( K ) log ( K ) H X p x x p x x x 0 où ( ) p x est la densté de probablté de X ( K ) ( K ) ( K ) ( K ) O = lm p x x log p x p x p x x log x x + = p( x) log p( x) dx lm log( x) p( x) dx H( X ) = h ( X ) lm log( x). C x 0 x 0 + Il est par contre une quantté qu converge sans problème, à savor l nformaton mutuelle. On retrouve donc la noton d nformaton mutuelle et de capacté. L négalté fondamentale s étend également sans (trop) de dffculté (on peut être amené à ntrodure des éléments de théore de la mesure). ( ) p( x y) + = p( x, y) ( ) ( ) I X, Y, log p x p y dxdy On a c défn la densté cononte par rapport à la mesure de Lebesgue.
8 Éléments de théore de l nformaton pour les communcatons Exemple : dstrbuton unforme On consdère une varable aléatore réparte de façon unforme sur l ntervalle [ 0,a] ( ) p X = s x [ 0, a] a ( ) p X = 0 snon. L entrope de la lo unforme vaut alors + 0 H( X ) = a log a dx a a = log = 0 a a dx log a. Pour a [ 0, ], l entrope est négatve. On rappelle que le passage à la lmte du cas dscret au cas contnu fat apparaître quelques problèmes... exercce : montrer que s une varable aléatore est contrante à appartenr à [ a, a], alors la lo à maxmum d entrope est la lo unforme sur [ a, a]. soluton : On écrt le Lagrangen, ( ) + a + a (, λ) = ( ) log ( ) + λ ( ), L p p x p x dx p x dx a en dérvant sous l ntégrale (osé), on trouve p( x ) = exp( λ ). a La condton de normalsaton fournt ensute λ = + log( a ). p( x) = a [ a, a]. sur l ntervalle 4.. Le cas gaussen. La dstrbuton gaussenne est très mportante, à la fos parce qu elle permet de calculer, et ensute parce qu elle ustfe du théorème centrale lmte. Elle apparaît en outre comme la dstrbuton à maxmum d entrope sous une contrante de varance. Elle est très souvent une modélsaton commode pour les bruts rencontrés en pratque. La dstrbuton gaussenne est défne par ( x m) p( x) = exp, π σ σ
Éléments de théore de l nformaton pour les communcatons 9 où m est la moyenne et σ la varance. L entrope attachée à une dstrbuton gaussenne est donnée par ( x m) log ( ) ( ) log ( ) = ( ) log e p x p x dx p x σ σ = log σ π σ log e = loge log π σ log ( ) = log ( π eσ ) H X e πσ dx 4.. Maxmsaton de l entrope sous contrante de varance et moyenne. Le lemme fondamental permet d écrre, + p( x) p ( x) x log 0 q( x) dans le cas contnu également. On en dédut que + p( x) log p( x) dx p( x) logq( x) dx + sot H( P) p( x) logq( x) dx On prend q ( m ),σ. On suppose que p a mêmes moyennes et varance que q. + + ( x m) H( P) p( x). + dx ( e) log π σ log σ ( ) H P σ + log σ π σ log sot H( P) ( e ) log π σ. e On en dédut que parm toutes les los de mêmes moyenne et varance, la lo normale est celle qu possède l entrope maxmale. Exercce : montrer que la lo normale est la lo à entrope maxmale sous contrante de moyenne et varance, en procédant par la technque des Lagrangens.
0 Éléments de théore de l nformaton pour les communcatons 4.3. Informaton mutuelle L nformaton mutuelle dans le cas contnu possède les mêmes proprétés et nterprétatons que dans le cas dscret. (, ) = I( Y, X ) (, ) 0 (, ) = ( ) ( ) (, ) = ( ) ( ) (, ) = ( ) + ( ) (, ) I X Y I X Y I X Y H X H X Y I X Y H Y H Y X I X Y H X H Y H X Y 4.4. Le théorème de la capacté d nformaton Le théorème de la capacté d nformaton permet d utlser la noton d nformaton mutuelle dans le cas d un canal à bande lmtée, d une source de pussance lmtée, et d un brut addtf gaussen. On consdère un processus aléatore ( ) X t à bande lmtée B. On échantllonne ce processus sur une durée Τ à la fréquence de Shannon B. On obtent alors K = BΤ échantllons x,... x K. Ces échantllons sont transms sur un canal, également à bande lmtée B, perturbée par un brut addtf gaussen. y( n) = x( n) + ξ ( n). On prend un brut blanc dans la bande, de densté spectrale 0. σ = 0 = 0 B B 0 -B B
Éléments de théore de l nformaton pour les communcatons La source est de pussance lmtée : E[ X ( n) ] = P X 0 B La capacté d nformaton est le maxmum de l nformaton mutuelle, sous contrante de pussance pour la source : { ( ) [ ] } C = max I X, Y : E X = P X L nformaton mutuelle peut être exprmée comme I( X, Y) = H( Y) H( Y X ). Dans la mesure où X et ξ sont ndépendants, on a ( ) p( ) p y x = ξ, et ( ) H( ) H Y X = ξ. Maxmser l nformaton mutuelle revent donc à maxmser ( ) H Y ; la pussance en sorte est fxée ; en effet, [ ] ( ) [ ] [ ] [ ] E Y = E X + ξ = E X + E ξ.. La dstrbuton qu maxmse l entrope de la sorte est donc une dstrbuton gaussenne, d entrope ( ) H Y e P X ( ) = log π [ + σ ] La sorte étant gaussenne, l entrée l est forcément, (lo stable : gauss + gauss = gauss), et son entrope vaut ( ) log ( π ) H X = Au total, on obtent donc l expresson de la capacté d nformaton : ep X C H( Y) H( ) e P X + σ = ξ = log π, σ P sot encore C = log e + π σ
Éléments de théore de l nformaton pour les communcatons La capacté par unté de temps (en bts/sec) vaut c P C = B log + bts/s 0B Le théorème de la capacté d nformaton est donc smplement : la capacté d nformaton, pour un canal contnu, à bande lmtée B, perturbé par un brut blanc addtf gaussen de densté spectrale 0, et lmté en bande à B, est P C = B log + bts/s, 0 B où P est la pussance transmse moyenne. Le théorème ndque que l on peut transmettre sans erreur sur un canal de ce type, pourvu que ( ) le débt vérfe R C R = H X. T S 4.5. Conséquences du théorème sur la capacté d nformaton On s ntéresse au système déal, où Rb = R = C (taux crtque en bts/s). On exprme la pussance comme On a alors P = Eb C E b : homogène à une énerge/bt. C B De façon équvalente, E C b = log +. 0 B E b 0 = C B C B E b 0 est un rapport sgnal-à-brut (par bt) C est l effcacté spectrale B E Pour une bande nfne, b 0 C B = lm B C B = log ( ) = 0, 693 =, 603 db.