Compression de données sans perte

Transcription

1

2 Compression de données sans perte En voyant que différents langages (que ce soit en programmation, mais aussi dans la vie de tous les jours) peuvent dire des choses similaires avec des tailles différentes, on en vient à intuiter l'existence d'une «information contenue dans une phrase». Cette idée a été pour la première fois formalisée par Claude Shannon en 1948 avec sa théorie de l'information. L'idée est alors de trouver un «langage» dans lequel les mots seraient le plus court possible ; on en arrive à l'idée de compression de donnée. J'ai étudié deux méthodes de codage, le codage de Huffman et le codage Arithmétique, afin de déterminer le meilleur moyen de les utiliser. Codage, Entropie Dans un premier temps, il a fallu définir les notions utilisées. Un alphabet est un ensemble fini d'éléments, les lettres. Un mot est une suite finie de lettre. Son nombre de lettres est sa longueur Un codage est l'association d'un mot codé, dans un alphabet de codage (à partir d'ici, il s'agira toujours de (0,1), le binaire) à chacun des mots possibles sur un alphabet source. La longueur moyenne l d'un mot codé la longueur du mot codé divisé par la longueur du mot à coder. Si l'alphabet de codage contient q éléments, on appellera l.log2(q) le coût, en bits. Compresser consiste alors à réduire la longueur moyenne. Intuitivement, on peut définir l'information contenue dans une lettre d'un mot comme le nombre d'informations nécessaires pour déterminer de quelle lettre il s'agit. On associe à chaque lettre sa fréquence dans le mot, et on procéde par dichotomie (on groupe les lettres en deux groupes, tels que la somme des fréquences de chaque groupe soit la moitié de la fréquence totale). Dans le cas idéal (par exemple avec a ayant une fréquence de ½, b de ¼, c de ¼ ), on a besoin de 1 information pour trouver la lettre s'il s'agit d'un «a», et de 2 s'il s'agit d'un «b» ou «c». On généralise alors cela à l'information d'un mot, comme la somme des informations de ses lettres. Il s'agit de l'entropie (au sens de Shannon) du mot. Dans les cas idéaux, où toutes les fréquences (pi) des lettres sont des puissances de ½, il s'agit de : H= -Σ(pi. log2(pi)) On généralise cette loi à tous les mots, quelles que soient les fréquences de ses lettres. Cette notion d'entropie, définie ainsi, est justifiée par la relation qu'on verra avec les codes. Code de Huffman Le premier codage que j'ai étudié, est celui inventé par Huffman. A chaque lettre du mot, il associe une suite finie non vide de 0 et de 1 les mots de code. Pour coder, chaque lettre de l'aphabet source est remplacée par les et et 1 associés. Le principal intérêt du codage de Huffman est qu'il est optimal, du moins pour ce qui est des codes uniquement déchiffrables :

3 Un code est uniquement déchiffrable si deux mots sources différents sont codés par deux mots différents Un code est préfixe si aucun des mots de code associé à une lettre ne peut être continué pour être le mot de code d'une autre lettre (par exemple si a est codé par 1 et b par 10) Le codage de Huffman est obtenu en utilisant l'idée d'arbre. L'arbre de Huffman se construit et se lit ainsi : On place toutes les lettres, et leurs fréquences associées, aux feuilles de l'arbre. Les deux lettres de plus faible fréquence sont reliées au même nœud, qui est associé à la somme des fréquences de ces lettres. On repère un «fils droit» et un «fils gauche». On répète l'opération jusqu'à atteindre le sommet de l'arbre. Pour obtenir le mot de code associé à une lettre, on part du sommet, et on suit le chemin menant à la lettre. En partant du mot vide, on ajout un 0 pour chaque fils droit parcouru, et un 1 pour chaque fils gauche. Le codage de Huffman est préfixe et uniquement déchiffrable. De même que pour tout code associant des mots de code aux lettres, on peut définir la longueur moyenne du codage en utilisant uniquement les fréquences (pi) des lettres et les longueurs (li) des mots de codes associés : l= Σ(pi. li) Tout code uniquement déchiffrable a alors une longueur moyenne supérieure ou égale à celle du code de Huffman, qui est optimal. En effet : On peut noter que si pi > pj, et que le codage associé est optimal, alors li > lj Si l1 > l2, l1.pi+l2.pj > l1.pj+l2.pi Maintenant, par réccurence sur le nombre de lettres de l'alphabet : Si l'alphabet contient une lettre, elle sera codée par 0 (ou 1) ce qui sera optimal Si l'alphabet contient deux lettres, l'une sera codée par 0, l'autre par 1, ce qui sera aussi optimal. Si, pour tous les alphabets ayant k lettres, 2 < k < n, le codage de Huffman est optimal, alorspour un alphabet de n lettres, étudions l'arbre de Huffman associé. En réunissant les deux lettres de plus faible fréquence (pi et pj), on obtient un arbre de Huffman de (n-1) lettres optimal, de longueur l. L'arbre de Huffman des n lettres aura alors une longueur moyenne de l + pi + pj Soit un arbre représentant un code optimal pour les n lettres associées aux fréquences (pi). pi et pj peuvent être supposées reliées au même nœud, et si L est la longueur moyenne du code associé à l'arbre des (n-1) lettres crée en réunissant pi et pj, la longueur moyenne de l'arbre optimal est L + pi + pj. L'arbre de Huffman associé l'alphabet de longueur (n-1) étant optimal, on a l=l et donc l'arbre de Huffman associé à l'alphabet de longueur n est optimal.

4 Le Théorème de Shannon En appelant q le cardinal de l'alphabet de codage, H l'entropie d'un mot, et l la longueur moyenne de son codage, on a : La démonstration nécessite deux théorèmes : Le théorème de Kraft, qui assure l'équivalence entre l'existence d'un code uniquement déchiffrable sur un alphabet de codagev dont les mots sont des longueurs (l1,...,ln) et l'inégalité : Le sens direct se démontre en étudiant la somme observée. :on écrit : pour tout u entier naturel supérieur à 1 (les rk sont les nombres de mots de longueur k). En développant la somme, on obtient Puisque le code est uniquement déchiffrables, deux combinaisons de ri sont deux mots différents. De plus, le dénominateur est inférieur à V S le nombre de mots de S lettres sur l'alphabet de codage. On a : D'où le sens direct losque u tend vers l'infini. Le sens indirect se déduit du théorème de McMillan : il y a équivalence entre l'existence d'un code qui possède la proprieté de préfixe dont les mots (m1,..mn) dont de longueur (l1,...,ln) et l'inégalité Le sens direct est obtenu en associant un arbre au code préfixe : il est de hauteur l au minimum (nombre de nœuds entre le sommet et la feuille la plus éloignée), et par rapport à un arbre complet (qui possèderait les chemins jusqu'aux V l feuilles, chaque mot mi enlève V l-li feuilles. Pour le sens indirect, On suppose vérifiée l'inégalité, et que les (l1,...ln) sont par ordre croissant. Pour trouver un code vérifiant les proprietés demandées, on créera un arbre qui lui est associé. On peut placer le mot de longueur l1 dans un arbre de V ln feuilles sans problème. Si on a placé les mots de longueur l1,...li,

5 Pour obtenir le théorème de Shannon, on pose K comme la somme des q-li (q = V ) qi = q-li /K. Si notre code est uniquement déchiffrable, d'après le théorème de Kraft, K 1 Soit A l'alphabet source ; si au lieu de coder les mots sur A, on les considère codés sur An, (pour n=2, on ne considère plus a et b comme des lettres, mais aa, ab, ba, et bb) alors la longueur moyenne du code tend vers l'entropie (voir l'illustration I). En pratique, la nécessité de communiquer les mots de code associé à chaque lettre oblige à se limiter à des faibles valeurs de n. Codage Arithmétique Le deuxième codage que j'ai étudié est le codage arithmétique. Au lieu d'associer un mot à chaque lettre de l'alphabet source, il commence par leur associer un intervalle ouvert à droite et fermé à gauche. Ces intervalles forment une partition de [0;1[. Pour coder un mot, la première lettre du mot donne un premier intervalle. Cet intervalle, par une homothétie et une translation, est ramené à [0;1[. La deuxième lettre fournie alors un deuxième intervalle ; par l'application réciproque de celle utilisée précédemment, il est ramené à un intervalle inclus dans le premier intervalle. On recommence ainsi, obtenant un ensemble fini d'intervalles (Ii), avec Ii+1 inclus dans Ii. (un exemple est donné avec le mot «abaca» dans l'illustration II). Pour obtenir un codage, il nous faut une suite de 0 et de 1. Pour l'obtenir, on choisit un décimal inclus dans l'intervalle, on lui ajoute 1, et on le multiplie par une puissance de 10 suffisament élevée pour obtenir un entier. En prenant l'écriture binaire de ce nombre, on obtient un codage. (le 1 est rajouté pour différencier deux nombres dont un est un multiple de 10 de l'autre, comme 0,2 et 0,02, qui se verraient respectivement associer 12 et 102) La connaissance du nombre de lettres du mot, des intervalles associés à chaque lettre, et du code, permettent de retrouver le mot initial. Le premier problème a été de trouver comment choisir un décimal dont les décimales soient «rapidement» nulles, permettant de coder avec de plus petites valeurs, à partir d'un intervalle [inf;sup[. En regardant la partie entière supérieure de log10 (1/(sup-inf)), on obtient une décimale où inf et sup sont différents ; en troncaturant sup à cette décimale, on obtiendra un nombre convenable. J'ai cependant remarqué que ce n'était pas toujours optimal : par exemple, avec inf =0,095 et sup =0,110, le nombre choisi serait 0,11, alors que 0,1 conviendrait et qui donnerait 11 au lieu de 111.

6 Vérifier si la troncature de sup à une décimale de moins reste dans l'intervalle permet donc de s'assurer une meilleure qualité de compression, sans perdre le temps que nécessiterait la comparaison successive de toutes les troncatures de sup jusqu'à en trouver une dans l'intervalle. Le codage arithmétique ne vérifie pas les conditions du théorème de Shannon ; il peut donc théoriquement donner des codes de coût inférieur à l'entropie. Comparaison des codages De première comparaisons simples sont possibles : en effet, sur un alphabet source de deux lettres, avec des fréquences (0,99 ;0,01), on peut noter que le coage de Huffman codera chaque lettre avec un 0 ou un 1, le coût étant de 1 bit très loin de l'entropie de 0,08... ; et les groupements, même par 16, ne sont pas parfait et nécessitent de rajouter aux codage le mot de code associé aux «lettres». Le codage arithmétique, lui, peut sur un texte suffisament long, donner des résultats satisfaisants. La comparaison en détail a cependant posé problème, car la longueur moyenne/le coût du codage de Huffman est définie pour une distribution de fréquences de lettres, alors que celle du codage arithmétique ne l'est que mot par mot. Pour remédier à cela, j'ai défini un «coût moyen» (une «longueur moyenne moyenne») pour le codage arithmétique: pour une distribituon de fréquences de lettres fixée, les intervalles sont alors fixés. A partir de là, le coût moyen pour le codage des mots de n lettres consiste en la somme des coûts de chacun des mots de n lettres possible sur l'alphabet source, ponderé par la «probabilité d'apparition du mot» (le produit des fréquences des lettres le composant). Contre toute attente, la comparaison a donnée des résultats cohérents ; cependant, la nécessité de faire très rapidement un nombre de codage extrèmement important a empéché d'obtenir le graphe du coût moyen en fonction des fréquences d'apparition de chaque lettre pour des mots de longueur supérieure à huit lettres ; et ce même sur un alphabet source de seulement 2 lettres. Le graphe (illustration III) n'est cependant pas inutilisable. Alors qu'il ne montre que de faibles valeurs (le codage arithmétique est pensé pour coder des documents entiers, et non pas des mots de huit lettres), la courbe se rapproche de celle de l'entropie, même si celle du codage de Huffman groupé par huit mots en est bien plus proche. De plus, une remarque intéressante est que le codage arithmétique semble plus performant, au moins sur les mots de deux lettres, lorsque le mot de plus faible fréquence est associé à l'intervalle fermé en 0. Mais, je n'ai pas pu pousser cette conjecture plus loin devant la difficulté d'analyser la qualité de compression sur de long mots de manière exhaustive, et la difficulté de prédire les résultats de ce codage.

7 Illustrations Illustration I

8 Illustation II

9 Illustration III

10 Bibliographie : -Jean Guillaume Dumas, Théorie des codes, pages , Dunod, Paris, 2007