Information et Codage

Transcription

1 Information et Codage ENSTA Voie SIC (Systèmes d Information et de Communication) Module ES204 Olivier RIOUL ENST/COMELEC rioul@comelec.enst.fr Pierre DUHAMEL SUPELEC/LSS pierre.duhamel@lss.supelec.fr

2 2

3 Avant-propos Ce cours vise tout d abord à établir solidement les bases de codage de source sur les outils de la théorie de l information, de manière à ce que les connaissances acquises puissent être étendues rapidement aux problématiques plus récentes. Puis, on aborde une caractérisation des outils essentiels de la compression de source : quantification scalaire et vectorielle, codage à longueur variable, codage par transformée, allocation de débit. On illustrera en cours les dosages de ces divers ingrédients dans un exemple de compression de d images. De nombreux exercices sont proposés en appendice de ce document, regroupés par chapitre. Bonne lecture! Mots clés Théorie de l information, Théorèmes de Shannon, Codage entropique à longueur variable, Quantification scalaire et vectorielle, Algorithme de Lloyd-Max, Gain de codage par transformée, Transformée de Karhunen-Loève, Allocation optimale de débits binaires, Compression d images. 3

4 4

5 Bibliographie [1] Robert Mc Eliece, The Theory of Information and Coding, Addison Wesley, [2] Thomas Cover, Joy Thomas, Elements of Information Theory, J. Wiley & sons, [3] Allan Gersho, Robert Gray, Vector Quantization and Signal Compression, Kluwer Academic, [4] Nicolas Moreau, Techniques de Compression des Signaux, Masson CNET- ENST,

6 6 BIBLIOGRAPHIE

7 Chapitre 1 Outils de la théorie de l information 1.1 Description d un système de codage de source. On considère une source d information qu on suppose constituée d une suite d échantillons ou de symboles x. La source peut être codée symbole par symbole (codage scalaire) ou par bloc de n symboles x = (x 1,..., x n ) (codage vectoriel en dimension n). Le cas scalaire correspond à n = 1. Le codeur de source associe à chaque entrée x une étiquette ou index i mise sous forme binaire ; les index peuvent prendre un nombre fini M de valeurs possibles, chaque index est donc représenté en moyenne sur log 2 M bits et représente la source x sous forme codée. Cet index est ensuite transmis (pour des applications de transmission numérique) ou stocké (pour des applications de stockage numérique). Le décodeur de source récupère chaque index i au niveau du destinataire et fournit un bloc y de n symboles correspondant, dans le domaine source. Ce y représente la source reconstruite pour le destinataire. Il y a deux paramètres fondamentaux dans un système de codage de source : 1. Le taux de codage (coding rate) R est le nombre moyen de bits codés par symbole de source : R = log 2 M n Ce taux s exprime donc en bits par symbole ; il est lié au débit binaire en bits/sec (voir exercice). La compression de source est d autant plus importante que R est petit. 2. Le critère de distorsion D sert à mesurer (de manière objective) la qualité ou la fiabilité de la reconstruction. Typiquement (pour des échantillons d un signal, par exemple) on choisit un critère d erreur quadra- 7

8 8 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION tique moyenne (mean square error m.s.e.) par symbole de source : D = 1 n E( X Y 2 ) où E désigne l espérance de sorte à disposer d un critère moyen sur l ensemble de tous les blocs de source. Le système est de qualité d autant plus grande que D est petit. Le but du concepteur d un système de codage de source est de réaliser la plus grande compression (R petit) tout en garantissant une bonne fiabilité (D petit). Il y a donc un compromis à trouver entre R et D. Le compromis optimal théorique va être fourni par la théorie de l information de Shannon. 1.2 Rappels sur les variables aléatoires. Le destinataire ne connait pas à l avance l information-source émise ; pour lui, les symboles de source x apparaissent aléatoires. On modélise donc une source par un modèle probabiliste : un échantillon ou bloc X de source est une variable aléatoire (v.a.) qui suit une distribution de probabilité p(x). Dans le cas d un source discrète (ou numérique), chaque symbole x peut prendre un nombre fini de valeurs et p(x) est la probabilité que X = x. Dans le cas d une source continue, chaque échantillon x appartient à un continuum de valeurs (réelles ou complexes), et p(x) est une densité de probabilité. Dans tous les cas on adopte une notation unifiée ; p(x) est telle que p(x) 0 et x p(x) = 1. Le calcul d une probabilité quelconque se fait à l aide de la formule : P r ob{x A} = x A p(x). 1.3 Traitement et probabilités conditionnelles. En théorie de l information chaque traitement (codage, décodage, canal de transmission, etc.) est aussi modélisé de façon probabiliste ; ce modèle permet de décrire aussi bien des traitements déterministes qu aléatoires. Un traitement T d entrée X et de sortie Y est décrit par les probabilités de transition p(y x). Ici p(y x) est une probabilité conditionnelle de y sachant x, définie par : p(x, y) p(y x) = p(x).

9 1.4. SUITE DE TRAITEMENTS ET CHAÎNE DE MARKOV. 9 C est une distribution de probabilité en y pour toute valeur fixée de x. La sortie du traitement Y est donnée en fonction de l entrée X par la formule : p(y) = x p(x)p(y x). On rappelle que les v.a. X et Y sont dits indépendantes si p(y x) = p(y), c est à dire si p(x, y) = p(x)p(y). Le traitement X Y est alors «opaque». 1.4 Suite de traitements et chaîne de Markov. Dans un système de codage apparaît une suite de traitements point à point. Si on considère par exemple une suite de deux traitements : X Y Z, les trois v.a. X, Y, Z vérifient nécessairement une condition de chaîne de Markov qui exprime que Z ne dépend des autres v.a. que par l intermédiaire de Y (dont il est issu par traitement). Ceci s écrit : p(z x, y) = p(z y). On généralise immédiatement cette condition de chaîne de Markov au cas de plusieurs (> 2) traitements. 1.5 Divergence D(p, q). On se donne une v.a. X de distribution de probabilité p(x), et une autre distribution de probabilité q(x) définie pour les mêmes valeurs de x. La divergence de Kullback-Leibler ou entropie relative de q(x) par rapport à p(x) est donnée par la formule : D(p, q) = p(x) p(x)log 2 x q(x) = E log p(x ) 2 q(x ) Cette divergence s exprime en unités binaires (bits) à cause du choix de la base 2 du logarithme. Le résultat fondamental suivant est à la base de la plupart des résultats importants en théorie de l information : D(p, q) 0 avec égalité (D(p, q) = 0) si et seulement si p(x) = q(x) p.p. On peut écrire ce résultat sous la forme suivante (inégalité de Gibbs) : 1 p(x)log 2 p(x) 1 p(x)log 2 q(x) avec égalité si et seulement si p(x) = q(x) p.p. x x

10 10 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION 1.6 Information mutuelle I (X, Y ). L information mutuelle I (X,Y ) peut se définir comme une mesure de dépendance entre X et Y, c est à dire comme la divergence de la loi q(x, y) = p(x)p(y) (que suivraient X,Y si elles étaient indépendantes) par rapport à p(x, y) : I (X,Y ) = x,y p(x, y)log 2 p(x, y) p(x)p(y) D après le résultat fondamental des divergences, I (X,Y ) 0 et I (X,Y ) = 0 si et seulement si X et Y sont indépendantes. On peut réécrire I (X,Y ) sous la forme : I (X,Y ) = E log 2 p(y X ) p(y ) qui est la divergence moyenne entre les distributions de probabilité de Y sachant x et ne sachant pas x. Ainsi I (X,Y ) (en bits) s interprète comme la quantité d information moyenne qu apporte une réalisation de X sur la connaissance de Y. Cette information est «mutuelle» car I (X,Y ) = I (Y, X ). 1.7 Information mutuelle et entropie. où En développant l expression de I (X,Y ) on obtient la formule : I (X,Y ) = H(Y ) H(Y X ) H(Y ) = y est appelée entropie de la v.a. Y, et où : p(y)log 2 1 p(y) H(Y X ) = E y H(Y X = x) = p(x) 1 p(y x)log 2 x y p(y x) est appelée entropie conditionnelle de Y sachant X. Cette dernière entropie est une moyenne non seulement sur y, mais aussi sur le «conditionnement» x. Dans le cas d une v.a. discrète Y (pouvant prendre un nombre fini M de valeurs), l entropie H(Y ) = 1 p(y)log 2 y p(y) est une quantité 0, qui s annule si et seulement si Y est «déterministe» Y = y 0 p.p. L entropie maximale log 2 M est atteinte lorsque Y est une v.a. uniforme

11 1.7. INFORMATION MUTUELLE ET ENTROPIE. 11 (symboles y équiprobables). On peut ainsi interpréter H(Y ) comme une mesure d aléa de Y, ou comme une mesure d incertitude moyenne sur Y (avant réalisation Y = y). L entropie conditionnelle H(Y X ) mesure donc l incertitude moyenne sur Y qui reste sachant X. La différence des deux incertitudes H(Y ) H(Y X ) = I (X,Y ) est bien l information moyenne qu apporte X sur Y. Dans le cas d une v.a. continue Y, l entropie 1 H(Y ) = p(y)log 2 y p(y) d y n est plus nécessairement 0 ; on ne peut plus l interpréter comme une mesure d incertitude. Dans ce cas H(Y ) est qualifiée d entropie différentielle (voir chapitre 2).

12 12 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION

13 Chapitre 2 Théorie de l information appliquée au codage 2.1 Théorème du traitement de données. Le théorème du traitement de données dit que «tout traitement fait perdre de l information» (en tout cas ne peut pas en faire gagner). Formellement, on considère une succession de traitements : On a alors : X I J Y I (X,Y ) I (I,J ) Autrement dit l information mutuelle entre deux v.a. «proches» dans une chaîne de traitements est plus grande que ou égale à celle entre v.a. plus éloignées. 2.2 Fonction taux-distorsion (codage avec pertes). Théorème de Shannon. Si on applique le théorème du traitement de données au système de codage de source présenté à la leçon 1, on obtient : I (X,Y ) I (I,I ) = H(I ) puisqu on a supposé I = J (transmission ou stockage sans erreur). Pour obtenir la plus forte inégalité possible on maximise H(I ) (maximum = log 2 M) et on minimise I (X,Y ). On obtient, en se ramenant à des bits par symbole source : min 1 n I (X,Y ) log 2 M = R n 13

14 14 CHAPITRE 2. THÉORIE DE L INFORMATION APPLIQUÉE AU CODAGE Le minimum d information mutuelle s effectue sur n et sur le choix de p(y x), puisque p(x) est fixé pour une source donnée ; il s effectue aussi sous la contrainte de fiabilité donnée par un certain niveau de distorsion D. On obtient donc la définition suivante : R(D) = inf n min { 1 p(y x) n I (X,Y ) 1 n E( X Y 2 ) D} qu on appelle fonction taux-distorsion R(D) de Shannon. Ainsi le théorème du traitement de données implique l inégalité R R(D) qui indique que R(D) est une borne inférieure sur le taux de codage : il est impossible de comprimer les données en deçà de R(D) pour un niveau de distorsion D donné. Le théorème de Shannon (1959) pour le codage de source avec pertes montre que R(D) est la meilleure borne possible, dans le sens où on peut toujours trouver un système de codage (fusse-t-il très complexe, pour n assez grand) qui permette de s approcher d aussi près qu on veut de la borne R(D). 2.3 Entropie d une source (codage sans pertes). Un système de codage de source est dit sans pertes si Y = X, c est à dire si on peut reconstruire parfaitement la source au destinataire (avec D = 0). Dans ce cas, la borne de Shannon R(D = 0) est égale à l entropie de la source définie par : 1 H = inf n n H(X ) Cette entropie est naturellement une borne inférieure sur le taux de codage : R H. On ne peut pas comprimer des données (sans pertes) en deçà de l entropie. Le théorème de Shannon (1948) pour le codage de source sans pertes (cas particulier D = 0) dit qu on peut s approcher de l entropie H d aussi près qu on veut (voir chapitre 3). 2.4 Cas d une source sans mémoire. Une source est dite sans mémoire si les symboles ou échantillons de source sont indépendants et identiquement distribués (iid), c est à dire : p(x) = p(x 1 )p(x 2 ) p(x n ).

15 2.5. CAS D UNE SOURCE GAUSSIENNE. 15 Dans la conception d un système de codage de source on peut souvent se ramener à ce cas simple (voir leçon 5). Pour une source sans mémoire, l expression de R(D) se simplifie car elle devient indépendante de la valeur de n : R(D) = min p(y x) {I (X,Y ) E((X Y )2 ) D} En codage sans pertes il vient H = H(X ), l entropie de la v.a. X. 2.5 Cas d une source gaussienne. En codage avec pertes d une source gaussienne sans mémoire de distribution de probabilité : 1 (x µ)2 p(x) = e 2σ 2 2πσ 2 on peut calculer explicitement R(D). On trouve : R(D) = { 1 2 log 2 σ2 D D σ 2, 0 D σ 2. où σ2 D est le rapport signal à bruit. Ceci correspond à une borne optimale de Shannon qu on peut exprimer sous la forme d une fonction distorsion/taux : D(R) = σ 2 2 2R. On obtient une courbe théorique de performances optimales où le rapport signal à bruit (en db) croît linéairement en R, avec une pente de 6 db/bit.

16 16 CHAPITRE 2. THÉORIE DE L INFORMATION APPLIQUÉE AU CODAGE

17 Chapitre 3 Codage entropique à longueur variable 3.1 Description d un système de codage à longueur variable. On se donne une source discrète (données, fichier,... ) dont chaque symbole x prend une parmi M valeurs possibles {x 1, x 2,..., x M }. Une distribution de probabilité p(x) caractérise les statistiques de cette source, on la suppose connue (ou estimée) sous la forme {p 1, p 2,..., p M }, où p i est la probabilité d occurrence du symbole x i. Le codeur code chaque symbole de source x i par un mot de code c i. Le code est l ensemble des mots de codes {c 1,...,c M }. Un code à longueur variable (VLC : Variable-Length Code) est tel que les différents mots de code n ont pas nécessairement la même longueur, en bits. On note l i la longueur en bits du mot de code c i. La distribution des longueurs du code est donc {l 1,l 2,...,l M }. Le décodeur reconstruit les symboles de source à partir de la séquence binaire des mots de codes. Le taux de codage (coding rate) R est le nombre moyen de bits codés par symbole de source, c est à dire M R = p i l i. i=1 Un code est donc d autant plus efficace en compression que R est petit. 17

18 18 CHAPITRE 3. CODAGE ENTROPIQUE À LONGUEUR VARIABLE 3.2 Codes uniquement décodables et instantanés. Condition du préfixe. Le but du codage de source sans pertes est de comprimer ces données de façon telle que l on puisse reconstruire parfaitement (sans pertes, sans erreur) la source au destinaaire. Pour cela, il faut que le décodage ait lieu sans ambiguïté, c est à dire qu une séquence codée donnée doit être interprétable de façon unique comme une succession (concaténation) de mots de codes déterminés. Un code permettant un tel décodage (sans ambiguïté) est qualifié d uniquement décodable (u.d.). Certains codes u.d. nécessitent une implantation complexe du décodeur, qui doit lire la séquence codée binaire suffisamment loin à l avance pour décoder un symbole de source. D autres codes u.d., par contre, sont très simples à décoder ; on les appelle codes instantanés, car le décodeur n a besoin de lire que les l i premiers bits d une séquence codée pour pouvoir l interpréter «instantanément» et de manière unique comme étant le mot de code c i, représentant le symbole x i. Une code instantané est caractérisé par la condition du préfixe : Aucun mot de code n est le préfixe d un autre mot de code (c est à dire aucun c i ne débute un c j, j i). 3.3 Inégalité de Kraft-McMillan. Pour trouver le meilleur code pour une source donnée, il faut minimiser le taux R sous la contrainte que le code soit u.d. Afin de réaliser cette optimisation, on caractérise d abord le fait qu un code soit u.d. sur la distribution des longueurs : 1. Tout code u.d. vérifie l inégalité de Kraft-McMillan : M 2 l i 1 i=1 2. Réciproquement, si l inégalité de Kraft-McMillan est vérifiée, alors il existe un code u.d., et même instantané, qui admette {l 1,l 2,...,l M } comme distribution de longueurs. Il en résulte qu on peut limiter la recherche du meilleur code à l ensemble des codes instantanés. Il y a un algorithme simple qui fournit un code instantané {c 1,...,c M } à partir d une distribution de longueurs {l 1,l 2,...,l M } vérifiant l inégalité de Kraft-McMillan.

19 3.4. OPTIMISATION. CODES DE FANO-SHANNON ET DE HUFFMAN Optimisation. Codes de Fano-Shannon et de Huffman. D après le paragraphe précédant, pour trouver le meilleur code pour une source donnée, il faut minimiser le taux R sous la contrainte de l inégalité de Kraft-McMillan : min{r = p i l i 2 l i 1} i i Si on applique brutalement la méthode du Lagrangien on trouve que R est 1 minimisé lorsque l i = log 2 p, auquel cas le taux minimal est l entropie de la i source : M 1 H = H(U) = p i log 2 p i Cependant ce résultat ne donne pas, en général, des longueurs l i entières! Une façon d obtenir des longueurs entières est de prendre 1 i=1 l i = log 2 1 p i On obtient la famille des codes de Fano-Shannon, qui vérifient bien l inégalité de Kraft-McMillan, et pour lesquels on trouve H R H + 1. Cependant ces codes ne sont pas toujours optimaux. La résolution complète du problème de recherche du meilleur code est donnée par algorithme itératif sur M appelé algorithme de Huffman. On obtient alors un code de Huffman dont le taux R est minimal pour une source donnée (par les p i ). 3.5 Théorème de Shannon. D après ci-dessus le taux de codage du meilleur code vérifie l inégalité H R H +1. Comme le montre l exemple d une source binaire (M = 2) d entropie faible, on ne peut pas en général améliorer l inégalité R H + 1 en codant la source symbole par symbole. En pratique on utilise alors des techniques de codage par plage (RLC : Run- Length Coding) pour améliorer les performances. 1 x désigne le plus petit entier x.

20 20 CHAPITRE 3. CODAGE ENTROPIQUE À LONGUEUR VARIABLE Une autre possibilité est de coder la source par blocs de n symboles. On obtient alors pour R en bits/symbole l encadrement : H R H + 1 n, où H est l entropie d ordre n de la source. En faisant n, on obtient le théorème de Shannon pour le codage de source sans pertes, qui affirme qu on peut s approcher de l entropie de la source d aussi près qu on veut. 3.6 Autres systèmes de codage sans pertes. D autres systèmes de codage de source sans pertes ont été proposés pour prendre en compte les dépendances temporelles (d un symbole à l autre) de la source (source avec mémoire) ; Ces sytèmes de codage permettent de coder une source quelconque sans connaitre a priori ses statistiques (codage «universel»), mais sont plus complexes à mettre en oeuvre. Les plus connus sont les systèmes de codage de Lempel-Ziv et de Codage arithmétique.

21 Chapitre 4 Quantification scalaire 4.1 Description d un système de quantification scalaire. On se donne une source continue X modélisée par des échantillons aléatoires de densité de probabilité p(x). Le quantificateur Q code chaque échantillon x par une étiquette binaire ou index i pouvant prendre M valeurs. Le déquantificateur «Q 1» reconstruit les échantillons y à partir des index binaires. Le taux de quantification R est toujours le nombre moyen de bits codés par échantillon, c est à dire R = log 2 M. On considérera ici (comme dans la plupart des applications) une distorsion quadratique ou erreur quadratique moyenne (e.q.m.) : D = E{(X Y ) 2 } = p(x)(x y) 2 dx Afin d optimiser le système de quantification, on cherche à minimiser D pour un taux R donné. Concevoir un quantificateur revient à partionner l ensemble des valeurs possibles de X en M cellules ou régions de quantification notées R 1,R 2,...,R M, de sorte que x est quantifié sur l index i si et seulement si x R i. Concevoir un déquantificateur revient à se donner M représentants notés y 1, y 2,..., y M, un par cellule, se sorte que i est déquantifié sur y = y i. L ensemble de ces représentants s appelle le dictionnaire (codebook). Optimiser le système revient donc à choisir des cellules R i et des représen- 21

22 22 CHAPITRE 4. QUANTIFICATION SCALAIRE tants y i optimaux tels que la distorsion D soit minimale : D = M i=1 R i p(x)(x y i ) 2 dx. Insistons sur le fait qu ici la quantification est scalaire, c est à dire qu on quantifie échantillon par échantillon. On ne peut donc pas exploiter la mémoire de la source. 4.2 Conditions du plus proche voisin et du centroïde En pratique il est trop difficile de minimiser D directement. On procède donc par optimisation séparée : en fonction des cellules d une part, et des représentants d autre part Condition du plus proche voisin Ici on cherche à optimiser D sur le choix des cellules R 1,R 2,...,R M pour un dictionnaire y 1, y 2,..., y M donné. Autrement dit, on optimise le quantificateur pour un déquantificateur donné. Pour cela, il suffit de remarquer que l erreur quadratique (x y) 2 est minimale lorsque y est le représentant le plus proche de x. Cette condition, appelée condition du plus proche voisin, revient à choisir les cellules optimales suivantes (appelées cellules de Voronoï) : R i = {x tel que x y i x y j pour tout j } Autrement dit, les R i sont des intervalles du type (x i 1, x i ) dont les frontières x i sont les milieux entre deux représentants successifs : Condition du centroïde x i = y i + y i+1. 2 Ici on cherche à optimiser D sur le choix du dictionnaire y 1, y 2,..., y M pour des cellules R 1,R 2,...,R M données. Autrement dit, on optimise le déquantificateur pour un quantificateur donné. Pour cela, il suffit de minimiser la contribution de y i à la distorsion totale D pour tout i : min p(x)(x y i ) 2 dx R i

23 4.3. ALGORITHME DE LLOYD-MAX 23 En annulant la dérivée de cette fonction quadratique on trouve la condition du centroïde : R y i = i xp(x)dx R i p(x)dx qui exprime que y i est le «centroïde» (barycentre) de R i selon la distribution de probabilité de la source. 4.3 Algorithme de Lloyd-Max L algorithme de Lloyd-Max (1960) consiste à itérer les deux conditions précédentes qui ne sont que des conditions nécessaires d optimalité, afin d obtenir une solution vérifiant simultanément les deux conditions. On initiale l algorithme par un choix arbitraire des centroïdes (par exemple). On applique ensuite la condition du plus proche voisin qui détermine les cellules, puis on recalcule les centroïdes par la condition du centroïde, et on recommence jusqu à convergence. 1. Cette convergence arrive-t-elle toujours? Oui, car la distortion globale D ne peut que diminuer à chaque étape de l algorithme ; elle converge donc vers une valeur limite. En pratique, à la convergence, la solution reste stationnaire et vérifie donc simultanément les deux conditions du plus proche voisin et du centroïde. 2. Obtient toujours un minimum global? Non, car on peut trouver des contreexemples avec minima locaux (cf. exercice). Cependant, on peut montrer que si la fonction log p(x) est concave, alors la solution obtenue après convergence est effectivement l optimum global. C est le cas, par exemple, pour une source gaussienne ou uniforme. 4.4 Performances en haute résolution Le système de quantification est dit en «haute résolution» si les cellules de quantification sont assez petites pour qu on puisse les considérer infinitésimales pour le calcul des performances. Cela suppose un taux de codage R élevé. Sous cette condition, la distorsion quadratique s écrit : D i yi +q i /2 y i q i /2 p i (x y i ) 2 dx = 1 12 p i q 3 i i

24 24 CHAPITRE 4. QUANTIFICATION SCALAIRE où q i est la longueur («pas» de quantification) de la cellule R i et où p i est la valeur constante de p(x) dans R i. En réapproximant le résultat par une intégrale il vient : D = E ( q(x ) 2 ) 12 où q(x) est la pas de quantification variable (= q i pour x R i ). Noter que si la quantification est uniforme (pas constant q i = q) on obtient la formule (classique) : D = q2 12 On introduisant la fonction λ(x) = 1 qui représente la densité des cellules de quantification (cf. exercice), et en notant que M = 2 R, on obtient la Mq(x) formule de Bennett : D = 1 [ ] p(x) 12 λ(x) 2 dx 2 2R où λ(x) 0 et λ(x)dx = 1. La formule de Bennett donne les performances d une quantification scalaire non uniforme quelconque, caractérisée par sa densité λ(x). En optimisant cette densité par rapport à la source on obtient (cf. exercice) : D = 1 ( 12 p(x) 1/3 dx) 3 2 2R. On montre en exercice que, pour une source gaussienne de variance σ 2, on a : D = π 3 2 σ2 2 2R. à comparer avec la limite de Shannon D = σ 2 2 2R. La caractéristique de rapport signal à bruit (en décibels), fonction du taux de quantification en bits, laisse π 3 apparaître une différence de 10log 10 2 = 4.35 db en dessous de la limite de Shannon. On est encore loin de l optimal! 4.5 Performances en présence d un codeur entropique Une façon d améliorer le système est de faire suivre la quantification par un codage entropique (sans pertes, cf. leçon précédente). La distorsion D = 1 12 E q(x )2 est alors inchangée mais le taux a diminué ; on peut l évaluer comme

25 4.5. PERFORMANCES EN PRÉSENCE D UN CODEUR ENTROPIQUE 25 l entropie de l index de distribution de probabilité p(i) = p i q i avec les notations précédentes. On obtient R = i p i q i log 2 1 p i q i que l on peut réapproximer comme une intégrale ; il vient : R = H(X ) + E log 2 1 q(x ) où H(X ) est l entropie différentielle de la source. En utilisant l inégalité de Jensen (concavité du logarithme, cf. exercice du chapitre 1) sur q(x ), on obtient une distorsion minimale : D = H(X ) 2 2R qui est atteinte dans le cas d égalité de l inégalité de Jensen, c est à dire quand q(x) est constant = q. Autrement dit, lorsqu elle est suivi d un codage entropique, la quantification scalaire optimale est uniforme. Dans le cas d une source gaussienne il vient D = 2πe 12 σ2 2 2R. 2πe On est plus qu à 10log 10 = 1.53 db en dessous de la limite de Shannon. Le 12 codage entropique a apporté un gain important, en tout cas en haute résolution, c est à dire pour un fort rapport signal à bruit.

26 26 CHAPITRE 4. QUANTIFICATION SCALAIRE

27 Chapitre 5 Codage par transformée 5.1 Description d un système de codage par transformée. On se donne une source continue X modélisée par des échantillons aléatoires de densité de probabilité p(x) et de variance σ 2 X. On ne suppose pas ici la source sans mémoire. Le codage par transformée consiste à envoyer un vecteur X = (X 1,..., X n ) de n échantillons de cette source dans une transformée (inversible) T. On obtient ainsi un vecteur U = T(X ) dans le domaine transformé. Chaque échantillon U i en sortie de la transformée est ensuite quantifié par un quantificateur Q i sur M i niveaux de quantification. Pour chacune de ces sources, on a ainsi un taux de quantification de R i = log 2 M i bits par échantillon. Le déquantificateur «Q 1» reconstruit les échantillons V i ; la transformée inverse T 1 est finalement appliqué au vecteur V pour fournir la source reconstruite Y = T 1 (V ). Le taux de quantification global R est toujours le nombre moyen de bits codés par échantillon de source X, c est à dire R = 1 n Insistons sur le fait qu ici la quantification est scalaire, mais porte sur des coefficients transformés d un vecteur de source. Bien que l on quantifie les coefficients transformés échantillon par échantillon, on peut quand même exploiter la mémoire de la source. 27 i R i

28 28 CHAPITRE 5. CODAGE PAR TRANSFORMÉE On considérera ici (comme dans la plupart des applications) une distorsion quadratique pour les quantificateurs Q i : D i = E{(U i V i ) 2 }. Pour chacune des sources U i à quantifier, on supposera qu il existe une formule du type "formule de Bennett" établie dans la leçon précédente, qui donne la distorsion D i due à la quantification Q i : D i = c i σ 2 Ui 2 2R i Dans cette expression, la constante c i dépend du type de source U i et du type de quantificateur Q i. Il n y a pas de raison que les constantes soient toutes égales, sauf par exemple dans le cas d une quantification scalaire optimale d une source gaussienne où on a vu que c i = π Codage par transformée orthogonale. Pour simplifier l exposé on choisit une transformée orthogonale, c est à dire une transformée linéaire T, représentée à l aide d une matrice carrée T de taille n n, qui préserve la norme quadratique : T X = X pour des vecteurs colonne X. Autrement dit, la transformée T est telle que T T t = T t T = I. et la transformée inverse est T 1 = T t. Pour une transformée orthogonale, on peut aisément obtenir la distortion globale du système : D = 1 n E{ X Y 2 } = 1 n E{ T t U T t V 2 } = 1 n E{ U V 2 } = 1 D i. n i Noter que, avec un calcul analogue, la conservation de la norme peut se voir sur les variances : σ 2 X = 1 σ 2 U n i. i

29 5.3. POURQUOI UNE TRANSFORMÉE? Pourquoi une transformée? On va effectuer une comparaison d un codeur classique (quantification sans transformée) et d un codeur par transformée, avec les mêmes quantificateurs, de sorte les différentes distorsions D i obtenues après transformée sont égales entre elles, et donc à la distorsion totale : D i = D. De même, la distortion D 0 introduite par le quantificateur scalaire habituel (sans transformée) sur la source X est D 0 = D = D i. Ainsi la distortion globale n a pas changé malgré l introduction de la transformée. Le codage étant un compromis entre taux R et distortion D, il faut donc regarder ce qui se passe sur R. Dans le système de codage par transformée, on a R = 1 n i R i où D i = c i σ 2 Ui 2 2R i, d où en supposant les c i = c constants : R = 1 2 log 2 c n i σ 2 U i Pour le système classique sans transformée, on a pour le quantificateur la même formule de Bennett qui relie distorsion globale D 0 = D et taux R 0 : D 0 = cσ 2 X 2 2R 0, c est à dire : Sachant que σ 2 X = 1 n où D cσ 2 X D R 0 = 1 2 log 2 i σ 2 U i, on obtient un gain sur les taux de 1 2 log 2 G TC bits G TC = 1 n i σ 2 U i n i σ 2 Ui est le gain de codage par transformée (Transform Coding Gain). Ce gain de codage est toujours 1 (voir exercice) : Une transformée orthogonale apporte toujours un gain! 5.4 Répartition optimale des taux après transformée Dans un système de codage par transformée, quelle est la répartition optimale des taux R i qui, pour un taux global R = 1 n i R i donné, minimise la distorsion globale D = 1 n i D i?

30 30 CHAPITRE 5. CODAGE PAR TRANSFORMÉE C est un problème de minimisation sous contrainte qui se résout par la méthode du multiplicateur de Lagrange : en tenant compte de la formule de Bennett, le Lagrangien est : L = 1 n cσ 2 Ui 2 2R i λ R i. i i En dérivant le lagrangien par rapport aux variables R i on obtient D i = Constante ce qui correspond précisément à la situation du paragraphe précédent. On a donc une distorsion minimale : D min = c n σ 2 U 2 2R i et le gain de codage par transformée G TC défini ci-dessus donne le gain en distorsion dû à la transformée : D 0 D min = G TC. pour un taux de codage R donné. Rappelons que pour obtenir l expression de G TC, on a utilisé des formules de Bennett valables en haute résolution. Le gain G TC n est donc valable qu en fort débit. De plus, les constantes c i dans les formules de Bennett sont supposées toutes égales. Ceci correspondrait à une situation où la source est gaussienne et où tous les quantificateurs utilisés sont optimisés. i 5.5 Transformée optimale Sous les mêmes hypothèses qu énoncées ci-dessus, on peut trouver la transformée orthogonale qui maximise le gain de codage G TC (voir exercice). Cette transformée est la transformée de Karhunen-Loève et est obtenue comme une matrice dont les colonnes sont les vecteurs propres de la matrice d autocovariance de la source. En pratique, on utilise des approximations de la transformée de Karhunen- Loève qui sont indépendantes de la source et qui se comportent de la même manière pour des signaux très corrélés. C est le cas de la transformée en cosinus discrète (DCT : Discrete Cosine Transform) utilisée en compression d images.

31 Annexe A Exercices pour le chapitre 1 : Outils de la théorie de l information A.1 Débit d un modem téléphonique. Sur le réseau NUMERIS le signal de parole est échantilloné à 8 khz (largeur de bande maximale < 4 khz par le théorème d échantillonnage de Nyquist). Chaque échantillon du signal de parole est ensuite quantifié sur 256 niveaux d amplitude. Calculer le taux de codage R et le débit binaire correspondant en kb/s. A.2 Variable gaussienne. Calculer le moyenne est la variance de la v.a. X de distribution de probabilité : 1 (x µ)2 p(x) = e 2σ 2 2πσ 2 où µ et σ 2 > 0 sont des paramètres. Commenter. A.3 Formule de Bayes. Traitement réciproque Montrer la formule de Bayes : p(x y) = p(y x)p(x). p(y x)p(x) x Commenter cette formule en considérant le «traitement réciproque» d entrée Y et de sortie X. 31

32 A.4 Chaînes de Markov. 1. En s aidant de la formule p(x, y) = p(x)p(y x), montrer la même formule conditionnée par z : p(x, y z) = p(x z)p(y x, z) 2. En déduire que X Y Z forme une chaîne de Markov si et seulement si X et Z sont indépendants sachant y, i.e. : p(x, z y) = p(x y)p(z y) 3. Montrer que si X Y Z est une chaîne de Markov, alors la chaîne «réciproque» Z Y X l est aussi. A.5 Positivité de la divergence. 1. Montrer que la fonction logarithme est strictement concave. 2. En déduire l inégalité de Jensen : E log 2 f (X ) log 2 E f (X ) avec égalité si et seulement si la fonction f est constante p.p. 3. En considérant D(p, q) démontrer le résultat fondamental du cours concernant la positivité de la divergence. 4. (Facultatif) Retrouver ce résultat avec l inégalité log e x x 1. A.6 Propriétés de l entropie. On considère l entropie H(X ) d une v.a. discrète X (pouvant prendre un nombre fini M de valeurs). 1. Montrer que H(X ) est une «auto-information» H(X ) = I (X, X ). Interpréter ce résultat. 2. Montrer que H(X ) 0 et déterminer le cas d égalité. 3. En s aidant du résultat fondamental sur les divergences (inégalité de Gibbs), montrer que H(X ) log 2 M et déterminer le cas d égalité. 32

33 A.7 La connaissance réduite l incertitude. Montrer et interpréter (dans le cas de v.a. discrète) l inégalité suivante : H(Y X ) H(Y ). La connaissance réduit-elle toujours l incertitude? A.8 Entropie différentielle et entropie absolue. (Facultatif). On considère une v.a. continue X que l on quantifie uniformément avec un pas de quantification q pour obtenir une v.a. discrète [X ]. par une somme de Rie- En approximant l intégrale H(X ) = x p(x)log 2 mann, établir que H(X ) H([X ]) log 2 (1/q) 1 p(x) Interpréter ce résultat lorsque q 0 et expliquer le terme «entropie différentielle». 33

34 34

35 Annexe B Exercices pour le chapitre 2 : Application de la théorie de l information au codage B.1 Démontration du théorème du traitement de données. 1. A l aide des deux formules p(x, y) = p(x)p(y x) et p(x, y z) = p(x z)p(y x, z) (voir exo leçon 1), démontrer la formule : I ((X,Y ); Z ) = I (X, Z ) + I (Y, Z X ) 2. On considère dorénavant une chaîne de Markov X Y Z. Développer I ((X,Y ); Z ) de deux manières différentes et en déduire le théorème du traitement de données dans un cas particulier : I (Y, Z ) I (X, Z ). 3. Sachant que Z Y X est également une chaîne de Markov (voir exo leçon 1), montrer que I (X,Y ) I (X, Z ). 4. En déduire l énoncé général du théorème du traitement de données. B.2 Fonction taux-distorsion : Cas extrêmes. On considère la fonction taux-distorsion R(D) pour une source sans mémoire. 1. Cas D = 0 (codage sans pertes). Etablir la borne de Shannon R(D = 0) dans ce cas. Commenter 2. Cas R = 0 (pas de transmission). Etablir D à la borne de Shannon R(D) = 0 dans ce cas. Comenter. 35

36 B.3 Entropie d une source gaussienne. 1. Calculer l entropie différentielle H(X ) lorsque X est une v.a. gaussienne. Commenter. 2. Montrer que l entropie d une v.a. X de variance σ 2 est maximale lorsque X est gaussienne. B.4 Fonction taux-distorsion : Cas gaussien. On considère une source gaussienne sans mémoire de moyenne nulle et de variance σ Montrer que R(D) = H(X ) max H(X Y ). 2. Trouver le maximum de l entropie conditionnelle sachant que H(X Y ) = H(X Y Y ) H(X Y ). Justifier que ce maximum peut être effectivement atteint. 3. En déduire l expression cherchée de R(D). 36

37 Annexe C Exercices pour le chapitre 3 : Codage entropique à longueur variable C.1 Condition du préfixe. 1. Justifier qu un code vérifiant la condition du préfixe est décodable de manière instantanée. 2. Réciproquement, montrer qu un code instantané vérifie la condition du préfixe. 3. En utilisant les résultats du cours sur l inégalité de Kraft-McMillan, montrer que tout code u.d. peut être remplacé par un code instantané (à préfixe) de même distribution de longueurs et donc de même taux. Commenter. C.2 Démonstration de l inégalité de Kraft-McMillan. 1. Montrer que pour un code u.d., toute séquence de l bits peut se décomposer d au plus une façon comme concaténation de mots de codes c i1 c i2 c ik où l i1 + l i2 + + l ik = l. 2. En déduire que le nombre total N l (k) de concaténations possibles de k mots de codes donnant une séquence codée de longueur totale l bits vérifie l inégalité : N l (k) 2 l. 3. Montrer par ailleurs que M ( x l i ) k = i=1 l 37 N l (k)x l

38 4. Conclure en faisant x = 1/2 et k. C.3 Construction d un code instantané. On se donne une distribution de longueurs l 1 l 2... l M vérifiant l inégalité de Kraft-McMillan. A chaque mot de code c i (à trouver) on associe le nombre c i = 0,c i [0,1[ dont les décimales de l écriture en base 2 est formée des bits de c i. On note I i l intervalle I i = [ c i ; c i + 2 l i [. Par exemple, c i = 010 donne c i = 0,010 = 1 4. et I i = [0,010;0,011[= [ 1 4 ; 3 8 [ est l ensemble des nombres de [0;1[ dont les décimales en base 2 commencent par c i. 1. Montrer que c i détermine I i, et réciproquement. 2. Montrer que le code est instantané si et seulement si les I i sont des intervalles disjoints. 3. Interpréter l inégalité de Kraft-McMillan sur les I i est en déduire un algorithme de construction du code. 4. Préciser cet algorithme sur des exemples pour l 1 l 2... l M, en commençant par c 1 = , et en posant c i+1 = extrémité droite de I i à chaque étape. 5. Que se passe-t-il si les l i ne vérifient pas l inégalité de Kraft-McMillan? Donner un exemple. C.4 Algorithme de Huffman. Préliminaires On considère un code VLC optimal pour une source de distribution de probabilité p 1 p 2 p M. 1. Montrer que nécessairement l 1 l 2 l M (raisonner par l absurde en supposant p i > p j et l i > l j ). Commenter. 2. Montrer que nécessairement l inégalité de Kraft McMillan est une égalité (raisonner par l absurde en supposant i 2 l i < 1, et montrer qu alors on peut remplacer l M par l M 1). 3. Déduire du raisonnement de la question précédente que l M 1 = l M, et qu on peut toujours se ramener au cas où les deux mots de codes c M 1 et c M ne diffèrent que par le dernier bit. 38

39 C.5 Algorithme de Huffman. On considère une source M-aire de distribution de probabilité p 1 p 2 p M. La réduction de Huffman consiste à considérer la source (M 1)-aire, dite «réduite», de distribution de probabilité p 1, p 2,, p M 2, p M 1 = p M 1 + p M (on «combine» les deux symboles les moins probables). On note {c 1,...,c M 1,c M } le code optimal cherché (à l ordre M). D après cidessus, c M 1 et c M ne diffèrent que par le dernier bit ; on peut écrire c M 1 = [c M 1 0] et c M = [c M 1 1] 1. En comparant les taux de codage de la source initiale et de la source réduite après réduction de Huffman, montrer que le code est optimal pour la source réduite. {c 1,...,c M 2,c M 1 } 2. Donner un moyen de contruire le code optimal {c 1,...,c M 1,c M } à partir de {c 1,...,c M 2,c M 1 }. 3. Par réductions de Huffman successives jusqu au cas M = 2 (où le code {0,1} est optimal), obtenir un algorithme de construction du code {c 1,...,c M 1,c M }. N.B. : Il faut réordonner à chaque étape les probabilités après chaque réduction de Huffman. 39

40 40

41 Annexe D Exercices pour le chapitre 4 : Quantification scalaire. D.1 Caractéristique Débit-Distorsion en haute résolution On effectue une quantification scalaire uniforme haute résolution d une source quelconque de variance σ 2 et de densité de probabilité à support borné dans [ A, A]. 1. Calculer la distorsion en fonction du taux de quantification. On écrira le résultat en fonction du facteur γ = A σ. 2. Expliquer le terme «6 db par bit» pour qualifier la caractéristique débit/distorsion. D.2 Minima locaux de l algorithme de Lloyd-Max. On considère un signal aléatoire X de densité de probabilité : 1 pour 1 x 1.5 p(x) = 2 pour 1.25 x 1 0 sinon. Il est quantifié scalairement sur 3 niveaux. On considère les deux solutions suivantes caractérisées par la position des centroïdes : { , ,1.25} et { 1 1 8, , } 1. Donner, pour chacune de ces solutions, les cellules de quantification optimales. 41

42 2. Vérifier que ces deux situations vérifient les conditions de convergence (point stationnaire) de l algorithme de Lloyd-Max. 3. Calculer la contribution à la distorsion quadratique d une cellule du type [ q, q] correspondant à une amplitude A de la densité de probabilité. 4. En déduire les valeurs des distorsions totales dans les deux cas considérés. Quelle est la solution la meilleure? 5. Qu en déduire sur l algorithme de Lloyd-Max? La fonction log p(x) estelle concave? D.3 Densité des cellules de quantification Justifier que λ(x) = 1 M q(x) représente la «densité» des cellules en évaluant l intégrale I λ(x)dx prise sur un intervalle I. D.4 Optimisation de la formule de Bennett 1. Dans la formule de Bennett, quelle est la densité des cellules λ(x) = 1 Mq(x) qui minimise la distorsion? Indication : Ecrire le lagrangien correspondant. 2. Calculer la distorsion minimale correspondante. 3. Appliquer ces résultats à la source gaussienne. D.5 Réalisation de la quantification scalaire non uniforme par non-linéarités. On réalise une quantification scalaire non uniforme d une source U de la manière suivante : On transforme d abord la source X = f (U) à l aide d une fonction non lineaire f. On applique ensuite une quantification scalaire uniforme à X qui fournit Y, et on applique enfin la non-linéarité inverse V = f 1 (Y ). 1. Faire un dessin. 2. Sous les hypothèses de haute résolution, déterminer la densité des cellules λ(u) = 1 en fonction de la non-linéarité f. M q(u) 3. En déduire la non-linéarité optimale qui rend la distorsion quadratique minimale, en fonction de la densité de probabilité de la source p(u). Indication : Utiliser l exercice précédent. 42

43 D.6 Quantification vectorielle En quantification vectorielle en dimension n, on attribue à chaque vecteur de source X = (X 1, X 2,..., X n ) une étiquette binaire correspondant à un centroïde Y en dimension n. 1. Reprendre, dans le cas vectoriel, les conditions du plus proche voisin et du centroïde vues en cours. 2. En déduire l algorithme de Lloyd-Max dans ce cas. 3. Montrer que l algorithme de Lloyd-Max peut converger vers un minimum local, même si log p(x) est concave. On considérera pour cela une source uniforme X dans l intervalle [ 1,1] quantifiée en dimension 2 sur 1 bit par échantillon (c est à dire 4 centroïdes en 2 dimensions) et les deux situations suivantes : centroïdes y = (± 1 2,±1 2 ) et centroïdes y = (± 1 4,0) et (±3 4,0). 43

44 44

45 Annexe E Exercices pour le chapitre 5 : Codage par transformée E.1 Gain de Codage 1. Donner l inégalité de concavité du logarithme. 2. En déduire que le gain de codage par transformée est toujours 1. Quel est le cas d égalité? 3. Donner un exemple de source pour laquelle le gain de codage est toujours = 1. E.2 Inégalité de Hadamard Soit X un vecteur aléatoire, de composantes X i de variance σ 2. On définit i la matrice d autocovariance : R = E(X X t ). 1. Donner les coefficients r i,j de la matrice R. 2. Quelle est la forme particulière de R pour des composantes X i décorrélées? 3. Les composantes réduites sont X i = X i. Donner la matrice d autocovariance R des X en fonction de R. σ i i 4. En déduire detr en fonction de detr et des σ 2 i. 5. Montrer que detr 1 (raisonner sur les valeurs propres de R ). 45

46 6. En déduire l inégalité de Hadamard : detr i σ 2 i 7. Quel est le cas d égalité? E.3 Transformée de Karhunen-Loève 1. En considérant le gain de codage, montrer que la transformée optimale est celle qui minimise le produit des variances en sortie de la transformée. 2. A l aide de l inégalité de Hadamard, montrer que la transformée optimale est celle qui décorrèle la sortie. 3. Comment obtenir la transformée optimale à partir de R X X = E(X X t )? Cette transformée s appelle la transformée de Karhunen-Loève. 4. Expliciter le gain de codage optimal. 5. Pour quel type de source le codage par transformée s avère-t-il inutile? Est-il pour autant nuisible? E.4 Codage par transformée pour n = 2 U 1 Q 1 C 1 source X T U 2 Q 2 C 2 bits codés On considère un schéma de codage de source par transformée orthogonale dont la partie «codage» est représentée dans la figure. Chaque bloc de source X = ( X 1 ) ( X 2 est transformée en deux échantillons U1 ) U 2 = U avant d être quantifié et codé. On a donc : U = T X où T est la matrice de la transformée orthogonale (TT t = I). Les quantificateurs sont scalaires uniformes et les codeurs entropiques sont des codeurs de Huffmann. Pour chaque branche i (i = 1,2), la distorsion quadratique moyenne dûe au quantificateur Q i est notée D i et le taux binaire moyen après codage de Huffmann C i est noté R i. 46

47 On modélise les signaux en sortie de transformée par des sources laplaciennes de variances σ 2 1 et σ2 2. On admet la relation : où c est une constante. D i = cσ 2 i 2 2R i pour i = 1,2 1. Justifier, d après le cours, que les distorsion quadratique moyenne globale D et taux global R sont donnés par : D = D 1 + D 2 2 et R = R 1 + R Justifier (sans calcul), d après le cours, qu après optimisation des taux R 1 et R 2 la distorsion minimisée est donné par la formule : D = cσ 1 σ 2 2 2R La matrice d autocorrélation du signal d entrée X est donnée par : R = E(X X t ) = σ 2 X ( ) 1 ρ ρ 1 où ρ est un coefficient de corrélation ( 1 < ρ < 1). 3. Calculer la matrice d autocorrélation de U en fonction de R et T. 4. En déduire la matrice d autocorrélation de U lorsque ( ) 1 1 T = β 1 1 (On déterminera d abord la valeur de β pour que T soit orthogonale). 5. Justifier que la transformée optimale est celle donnée à la question précédente. Sous quel nom est-elle connue? 6. Donner l expression de la distorsion D pour cette transformée en fonction de c, σ 2 x, ρ et R. 7. Qu observe-t-on si ρ augmente? Commenter. 47