La théorie de l information

Transcription

1 Cours n 6 Sources discrètes sans mémoire Information et entropie conjointes Entropie conditionnelle Loi de Bayes Exemple canal binaire Extensions à n sources Capacité d un canal 1

2 La théorie de l information Le théorème de la communication s intéresse aux moyens de transmettre une information depuis une source jusqu à un utilisateur à travers un canal Source Message Canal Destinataire Perturbations o La nature de la source peut être variée: une voix, un signal électromagnétique ou un système de symboles binaires, par exemple. 2

3 La théorie de l information o Le canal peut être une ligne téléphonique, une liaison radio etc o Ce canal va être examiné du point de vue de la quantité d information qu il peut transmettre et des perturbations aléatoires qu il subit o Le récepteur va reconstituer le message reçu. Le message étant caractérisé de manière probabiliste car un message certain est déjà connu par le destinataire ( n a pas besoin d être transmis) Caractérisation de ces trois éléments objectif de la théorie de l information A fin de réduire respectivement la redondance de la source (envoie des symboles n apportant aucune information) et les probabilités d erreurs de la transmission on emploie : Codage/décodage de source/canal 3

4 Objectif du codeur de la source est de représenter la sortie de la source en une séquence binaire, par exemple. Objectif du codeur du canal et de son décodeur, est de reproduire le plus fidèlement possible cette séquence binaire malgré le passage à travers un canal bruité Source Codage Source Codage Canal Canal Destinataire Décodage Source Décodage Canal 4

5 Modélisation d un source Il est possible de classer les sources en deux catégories selon les signaux ou messages qu elles émettent : o Les sources analogiques : domaine de la TV, la vidéo, la radio (l audio en général) o Les sources discrètes : disques optiques (Cd, DVD, ), les mémoires magnétiques (disques durs, bandes, ). Quelque soit le type de source, l information doit être transmise sous forme numérique L encodeur de source est l élément chargé de la transformation du format de l information. Le problème est différent selon que nous avons à faire à une source continue ou discrète. 5

6 Modèle mathématique d une source Une source transmet une information à un récepteur celui-ci ne connaissant pas l information qui va lui être transmise. Une source d'information émet en général un message non déterministe. D'un point de vue signal ce ne peut être qu'un signal aléatoire et la modélisation mathématique associée doit être stochastique une information est un processus stochastique. Ce qui rend une information intéressante est son caractère imprédictible. Une information est ainsi d'autant plus riche qu'elle est peu probable! Source discrète sans mémoire Source que dispose d un "alphabet" constitué d'éléments ou symboles ou caractères x 1, x 2, x 3,, x K où K est la longueur de l'alphabet 6

7 Source discrète sans mémoire o Les symboles de l alphabet de la source sont associés pour constituer un message. o Emettre un message revient à émettre une succession de symboles appartenant à une source. o Chaque symbole x k de l'alphabet a une probabilité d'utilisation p k. o Pour simplifier le problème, une catégorie de sources est plus simple à modéliser : celle des sources pour lesquelles la probabilité d'émission d'un caractère est indépendante de ce qui a été émis avant ou sera émis après. o C'est ce qui défini une source sans mémoire ( markovienne) 7

8 Quantité d information émisse par la source La quantité d'information d'un symbole x k de probabilité p k a été définie par Shannon comme : I x k = log p k = log 1 p k Unités: Dans la définition de la quantité d'information il n'a pas été précisé la base du logarithme utilisée et c'est cette base qui définit l'unité. o Base 2 : c'est celle historiquement choisie par Shannon qui est à l'origine de cette définition. L'unité ainsi obtenue est le bit (ou Shannon). o Base e : utilisation du logarithme épérien (ou naturel). L'unité devient alors le nats (ou logon) 1 nats = 0,69315 bits (ln a = ln 2. log2 a = 0, log 2 (a)) o Base 10 : En conformité avec le système décimal, la base 10 qui donne le dit (ou décit) comme unité 1 dit = 0,301 bits (log 10 (a) = ln (a) ln (10) = ln 2 log2 a ln (10) = 0,301. log 2 (a)) 8

9 Entropie d une Source Si on considère une source d information S qui sélectionne aléatoirement un symbole parmi éléments d un alphabet (s 1,, s ) de possibilités respectives P 1,, P, l entropie de la source est : H S = P k log 2 (P k ) k=1 Unités shannon/symbole La quantité d information d une source est liée au caractère nouveau et imprévu de chacun des symboles émis. C est-à-dire, à la difficulté de les déduire du contexte des symboles antérieures. Exemple : Source binaire 0,1. On a pour O P et pour 1 1 P H S = P log 2 P + 1 P log 2 (1 P) 9

10 Entropie d une Source Exemple : Source binaire 0,1. On a pour O P et pour 1 1 P On peut constater qu un élément binaire (bit) ne véhicule qu un Shannon que lorsque P = 0.5 (lorsque les états 0,1 sont équiprobables). H S 0 lorsque l un des symboles devient très probable (fréquent) 10

11 Entropie d une Source 1- Théorème de l Entropie Maximale : De façon plus générale, on peut démonter que H S est une grandeur positive ou nulle qui est maximale lorsque l incertitude globale est la plus grande, c est-à-dire lorsque P k = 1 0 < H S < H A () avec H A = 1 k=1 log 2 1 = log 2 Conséquences : (Source binaire) 0 < H S < log 2 H S < H A = log 2 = log 2 2 = 1 11

12 2- Inégalité de Gibbs: Considèrerons deux alphabets de éléments (a 1,, a ) et (b 1,, b ) de possibilités respectives p 1,, p et q 1,, q on peut déduire l inégalité suivante : k=1 Démonstration: p k log 2 q k p k 0 L égalité ayant lieu lorsque k p k = q k Graphiquement, on peut déduire l inégalité suivante ln x < x 1 12

13 Démonstration (suite): On effectue la démonstration utilisant que ln x x = 1. On pose x = q k > 0 p k < x 1, l'égalité étant obtenue pour ln q k p k q k p k 1 Multipliions par p k : p k ln q k p k p k q k p k 1 = q k p k Soit : k=1 p k ln q k p k q k k=1 k=1 p k k=1 p k ln q k p k 1 1 k=1 p k ln q k p k 0 13

14 3- Relation avec la thermodynamique L'entropie augmente lorsque le nombre d'états du système augmente Soit S une source composé d un alphabet de éléments (s 1,, s ) avec les probabilités p 1,, p. On suppose que l symbole s k est sectionné en deux sous-symboles s k1 et s k2, de probabilités respectives p k1 et p k2 non-nulles telles que p k = p k1 + p k2 L'entropie de la source aléatoire résultante S H S > H S En vertu du deuxième principe de la thermodynamique et comment le démon de Boltzmann nous l appris (plus le système possède des états, plus augmente l entropie de celui-ci ), donc on peut penser ainsi au nombre de symboles d un alphabet 14

15 Redondance d une Source Définition : L écart à l unité du rapport entre l entropie d une source et l entropie maximale (donnée par la taille de son alphabet) est appelé la redondance : R S H S = 1 H A () La redondance permet d apprécier l usage que fait la source de son alphabet, c est-àdire l adéquation de cet alphabet au message livré par la source 15

16 Information & entropie conjointe de deux sources Cette notion permet de mesurer le degré de similitude entre deux sources Il est très fréquent dans la pratique que deux sources d information diffusent des messages presque identiques. Il sera nécessaire alors d avoir un outil de mesure du dégrée de ressemblance Considérons deux sources discrètes d alphabets : (x 1,, x ) et (y 1,, y M ) D un point de vue globale le couple (X, Y) peut être assimilé à une source virtuelle émettant les symboles (x i, y j ). Si p(x i, y j )est la probabilité jointe entre deux caractères alors la quantité d'information conjointe est : I x i, y j = log p x i, y j 16

17 Entropie conjointe de deux sources L'entropie jointe des deux sources est alors la quantité d'information moyenne conjointe entre deux caractères de la source : Considérons deux sources discrètes d alphabets : (x 1,, x ) et y 1,, y M. Son entropie est appelée entropie conjointe de X et Y M H X, Y = P x i, y j log P x i, y j i=1 j=1 Cas où les deux sources sont indépendantes : P x i, y j = P x i. P y j H X, Y = H X + H Y 17

18 Entropie conjointe de deux sources Cas où les deux sources sont dépendantes : L existence d une compromis (ou relation) entre X et Y implique que l observation globale de X, Y apporte moins d information que la somme des informations apportées par les observations séparées de X et Y 0 H X, Y H X + H Y Démonstration: On utilise l inégalité de Gibbs où on définit : p k = P x i, y j et q k = P x i. P y j k=1 p k log q k p k 0 i=1 M j=1 P x i, y j log P x i. P y j P x i, y j 0 18

19 Démonstration: i=1 M j=1 P x i, y j log P x i. P y j P x i, y j 0,M i,j=1 P x i, y j log P x i. P y j log P x i, y j 0,M i,j=1 P x i, y j log P x i + log (P y i ) log P x i, y j 0 H X H Y +H X, Y 0 H X, Y H X + H Y 19

20 Quantité d'information mutuelle C est la quantité d information partagée par X et Y I X, Y = H X + H Y H X, Y M I X, Y = P x i, y j log P x i + log (P y i ) log P x i, y j i=1 j=1 M I X, Y = P x i, y j log P x i, y j i=1 j=1 P x i. P y j L'information mutuelle représente l'incertitude moyenne sur X diminuée de celle qui subsiste lorsque Y est connue. 20

21 Quantité d'information mutuelle Cas où les deux sources X et Y sont indépendantes : leur information mutuelle sera nulle, car elles ne partageant aucune information. I X, Y = 0 Cas où X = Y : P x i, y j = P x i = P y j I X, Y = H X = H Y Dans le cas général l information mutuelle vérifie deux inégalités : 0 I X, Y H X et 0 I X, Y H Y 21

22 Soient X et Y deux évènements Probabilité conditionnelle On suppose que Y s'est produit (P(Y) 0) S'il existe un lien entre X et Y, cette information va modifier la probabilité de X P(X) aussi appelée probabilité marginale Probabilité de X conditionnellement à Y Probabilité de X sachant Y (Probabilité de la indétermination) P X Y = P Y X P(X) P(Y) est une probabilité Théorème de Bayes P X Y P Y = P X Y = P Y X P(X) P X Y = la probabilité que les événements X et Y aient tous les deux lieu 22

23 Théorème de Bayes La probabilité conjointe (mutuelle) de deux sources peut être exprimé en fonction des probabilités conditionnelles : P X Y P Y = P X Y = P Y X P(X) probabilité mutuelle P x i, y j = P x i y j P y j = P y j x i P x i probabilités conditionnelles Probabilité marginale probabilité de X Probabilité que les événements X et Y aient tous les deux lieu Probabilité de X sachant Y (Y s'est produit (P(Y) 0) Probabilité de Y sachant X (X s'est produit (P(X) 0) 23

24 Entropie Conditionnelle L entropie conditionnelle, définie à partir des probabilités conditionnelles s exprime : M H X Y = P(y j ) H X y j j=1 L entropie conditionnelle aussi dénommée équivocation, représente la quantité d information de l indétermination (ou équivoque) sur l évènement X qui se maintient après la connaissance de l évènement Y Quantité d information qu il reste à acquérir pour connaitre X, lorsque Y est connu où H X y j = P x i y j i=1 I x i y j = P x i y j i=1 log 2 1 P x i y j 24

25 Entropie Conditionnelle Propriété : L entropie conditionnelle est inferieure ou égale à la quantité d information apportée par X, puisque la connaissance de Y réduit l incertitude sur X : I X, Y 0 H X Y < H X H X = H X Y + I(X, Y) L entropie conditionnelle permet alors d envisager des modes de calculs supplémentaires de l information mutuelle : I X, Y = H Y H Y X = H X H X Y = H X, Y H X Y H Y X 25

26 Démonstration : Entropie Conditionnelle En vertu du théorème de Bayes, P x i, y j = P x i y j P y j = P y j x i P x i P x i,y j P x i P y j = P x i y j P x i = P y j x i P(y j ) Avec la définition d information mutuelle : M I X, Y = P x i, y j log P x i, y j i=1 j=1 P x i. P y j I X, Y = i=1 M j=1 P x i, y j log P(x i y j ) P x i = H X H X Y M I X, Y = i=1 j=1 P x i, y j log P y j x i P(y j ) = H Y H Y X 26

27 Information & entropie mutuelles Diagrammes des Venn Le diagramme de Venn résume, pour le cas de 2 variables aléatoires (X, Y), la définition de l information mutuelle ainsi que les relations entre les différentes entropies H X H X Y H Y X H Y Information apportée par l observation de X Entropie conditionnelle : la connaissance de Y réduit l incertitude sur X : Entropie conditionnelle : la connaissance de X réduit l incertitude sur Y : Information apportée par l observation de Y H X, Y Entropie conjointe des deux sources quantité d'information moyenne conjointe entre deux évènements X, Y 27

28 Information & entropie mutuelles Diagrammes des Venn H X H Y H X Y I X, Y H Y X H X, Y I X, Y = H Y H Y X = H X H X Y = H X, Y H X Y H Y X 28

29 Exemple : Canal binaire symétrique : Information & entropie mutuelles Lors de la transmission par un canal, nous souhaitons récupérer l'information sans distorsion, autrement dit, l'alphabet de sortie du canal doit être le même que celui de l'entrée. Considérons deux source binaires S et R, correspondant à la source et au récepteur On dispose d un canal qui doit transmettre des messages. Si nous appelons p la probabilité d'erreur nous pouvons schématiser le fonctionnement du canal par le graphe suivant : 0 1 p 0 Source d'entrée S alphabet : { 0, 1 } p p Source de sortie R alphabet : { 0, 1 } 1 1 p 1 29

30 Canal binaire symétrique Ce modèle de canal binaire sans mémoire est le plus simple. Ses alphabets d'entrée et de sortie sont binaires. Ecrivons les données: 0 p 1 p 0 1 p 1 p 1 30

31 Canal binaire symétrique 31

35 Conclusions : Canal binaire symétrique o Si P = 0 ce qui veut dire pas d'erreur de transmission alors I X, Y = 1 Similitude parfaite entre les deux sources, la transmission se passe bien : H( X, Y ) = 1 o si P = 1 trouble complète lors de la transmission. Dans ce cas 2 I X, Y = 0 Plus du tout de similitude entre les deux sources. H( X, Y ) = H( X ) + H( Y ) = 2 Tout se passe comme si les deux sources étaient indépendantes. o Si P = 1, à nouveau I( X, Y ) = 1 Les deux sources sont à nouveau tout à fait semblables. Le fait qu'il y a dans ce cas permutation du "0" et du "1" n'ayant pas d'importance. 35

36 Conclusions : -Sources aléatoires o Ces résultats s étendent à des n uplets de sources aléatoires S 1, S 2, S 3 S n o L entropie conjointe de n uplets est alors inferieure ou égale à la somme des entropies de chaque variable aléatoire H S 1, S 2, S 3 S n < H S 1 + H S H S n L égalité étant obtenue si les variables sont indépendantes o L entropie conditionnelle de S 1 H S 1 S 2, S 3 S n quantité moyenne d information apportée par S 1 lorsque S 2, S 3 S n sont déjà connus : H S 1 S 2 S n H S 1 S 2 S n 1 H S 1 S 2, S 3 H S 1 S 2 H S 1 Exprimant le fait que la connaissance d un nombre de plus en plus grande de sources d information S 2, S 3, S 4 S n diminue de plus en plus l intérêt de l information apportée par S 1 36