Travaux pratiques. Compression en codage de Huffman Organisation d un projet de programmation

Transcription

1 Université de Savoie Module ETRS711 Travaux pratiques Compression en codage de Huffman 1. Organisation du projet 1.1. Objectifs Le but de ce projet est d'écrire un programme permettant de compresser des fichiers textes, sans perte d'information, afin qu'ils occupent moins d'espace sur un disque. On demande également d'écrire un décompresseur qui devra restaurer le fichier original. Les algorithmes de compression sont nombreux. Celui proposé ici est l'algorithme de Huffman. Nous nous proposons de le coder en langage C Notation du projet La notation sera faite au terme d une présentation de votre travail. La forme de cette présentation est laissée totalement libre (Power Point, film, exposé oral en français, en anglais, animation, documents écrits ). Un vidéo-projecteur est à votre disposition si besoin. Le temps de cette présentation est de 5 minutes (démonstrations comprises). Vous devrez être donc extrêmement concis et préparer toutes vos démonstrations au préalable afin de limiter le temps de manipulation Organisation d un projet de programmation L ensemble du projet devra obligatoirement comporter : Toutes les versions de votre logiciel en commençant par huff_v0.c. Chaque amélioration de votre logiciel vous fera passer à la version supérieure et vous conserverez une sauvegarde de la dernière version qui fonctionne. Un fichier «version.txt» dans lequel vous écrirez la description de chacune des versions de votre logiciel que vous avez écrit. Il est préférable que vous respectiez les propositions de prototypage des fonctions faites dans l énoncé afin que le debugage soit plus aisé. 2. Principe de l'algorithme de Huffman Une idée apparue très tôt en informatique pour compresser les données a été exploitée indépendamment dans les années 1950 par Shannon et Fano. Elle est basée sur la remarque suivante : les caractères d'un fichier sont habituellement codés sur un octet, donc tous sur le même nombre de bits. Il serait plus économique en terme d'espace disque, pour un fichier donné, de coder ses caractères sur un nombre variable de bits, en utilisant peu de bits pour les

2 caractères fréquents et plus de bits pour les caractères rares. Le codage choisi dépend donc du fichier à compresser. Les propriétés d'un tel codage sont les suivantes : a. Les caractères sont codés sur un nombre différent de bits (pas nécessairement un multiple de 8) ; b. Les codes des caractères fréquents sont courts ; ceux des caractères rares sont longs ; c. Bien que les codes soient de longueur variable, on peut décoder le fichier compressé de façon unique. d. La dernière de ces trois propriétés est automatiquement assurée si l'on à la propriété suivante : Si c1 et c2 codent deux caractères différents, c1 ne commence pas par c2 et c2 ne commence pas par c1. En effet, si la propriété d est assurée, lorsqu'on décode le fichier compressé en le lisant linéairement, dès que l'on reconnaît le code d'un caractère, on sait que l'on ne pourra pas le compléter en un autre code. L'algorithme de Huffman, qui garantit ces propriétés, fonctionne de la façon suivante : 2.1. Calcul des occurrences des caractères On prend l exemple d un fichier texte dont le contenu est «Une banane». On calcule tout d'abord le nombre d occurrence de chaque caractère dans le fichier à compresser. Dans l exemple ci-dessous, on a le nombre d occurrence du caractère espace, U, b, n, a et e. Figure 1 : Fréquence des caractères 2.2. Création de l arbre de Huffman On prend ensuite les caractères qui possèdent la plus faible occurrence et on ajoute leur nombre d occurrence pour réaliser un nouveau nœud. Figure 2 : Création d un nouveau nœud On fait exactement la même chose en reprenant en compte le nouveau nœud (et non plus les caractères espace et U). Dans l exemple précédent l occurrence la plus faible est celle de b et celle du nouveau nœud (on aurait pu prendre aussi a ou e puisque leur valeur est 2 aussi, cela revient au même à la fin).

3 Figure 3 : Création d un autre nouveau nœud IMPORTANT : Dans toute la suite du TP, on appellera «une feuille» de l arbre les éléments qui sont en bout de l arbre (les caractères). On appellera un nœud les éléments regroupant deux feuilles (ou deux nœuds). Figure 4 : Création complète de l'arbre de Huffman Avec d'autres choix, on peut obtenir des arbres différents, mais l'algorithme fonctionne avec tout choix respectant la construction ci-dessus. À partir de l'arbre, on construit le code d'un caractère en lisant le chemin qui va de la racine au caractère. Un pas à gauche étant lu comme 0 et un pas à droite comme 1. Figure 5 : Arbre de Huffman avec le codage des caractères On lit le code des caractères en descendant depuis le haut jusqu au caractère.

4 Figure 6 : Code binaire de chaque caractère Dans l'exemple précédent, on obtient la suite de bits pour le codage du mot «Une banane». On peut voir que ce codage vérifie toujours les propriétés a) à d), et permet donc la compression et la décompression. Avec cet algorithme, le décompresseur doit connaître les codes construits par le compresseur. Lors de la compression, le compresseur écrira donc ces codes en début de fichier compressé, sous un format à définir, connu du compresseur et du décompresseur. Le fichier compressé aura donc deux parties disjointes : Une première partie permettant au décompresseur de retrouver le code de chaque caractère; Une seconde partie contenant la suite des codes des caractères du fichier à compresser. Attention, le décompresseur doit toujours pouvoir trouver la séparation entre ces deux parties. Aussi, vous pouvez toujours vérifier le code générer par votre algorithme en vérifiant que le code générer pour coder un caractère ne doit pas ressembler au début d un code d un autre caractère. 3. Travail demandé 3.1. Première partie : Occurrences des caractères L objectif est de travailler avec des fichiers (qui par la suite seront les fichiers à compresser). Il faut donc que nous maitrisions les fonctions de manipulation de fichier. Q1. Réaliser un programme qui ouvre un fichier texte et qui affiche une partie du contenu à l écran. (Utiliser la fonction fread()). Q2. Réaliser un programme qui ouvre un fichier texte et qui affiche la totalité du contenu du fichier à l écran. Vous ferez une lecture grâce à la fonction fgetc( ) jusqu'à ce que vous rencontriez le caractères de fin de fichier (EOF=End Of File). Nous nous intéressons au comptage des occurrences des caractères présents dans le fichier texte. Pour cela nous utiliserons un tableau de caractère appelé tab_caractere[256]. Ce tableau comporte 256 éléments. Dans chaque case de ce tableau, nous rentrerons le nombre d occurrence du caractère dont le code ASCII est donné par l index de tab_caractère. Exemple : Le code ASCII du a est 97. tab_caractere[97] comportera donc le nombre d occurrence du caractère a. Q3. Coder une fonction dont le prototype est [ void occurence(file* file, int tab[256]) ]. Cette fonction comptera les occurrences des caractères du fichier file, et stockera les

5 occurrences dans le tableau tab passé en paramètre. Afficher à l écran une partie du tableau pour vérifier le fonctionnement Seconde partie : Réalisation de l arbre de Huffman Pour chaque caractère (ou nœud de l arbre), nous allons créer une structure commune qui nous permettra de créer l arbre et de créer le code. Nous avons appelé cette structure «nœud» mais en réalité elle sera aussi utilisée pour les feuilles de l arbre. La structure est donc définie comme suit : 1. struct noeud{ 2. unsigned char c; /* Caractère initial*/ 3. unsigned int occurence; /* Nombre d'occurrences dans le fichier */ 4. int code; /* Codage dans l'arbre */ 5. int bits; /* Nombre de bits sur lesquels est codée le caractère */ 6. struct noeud *gauche, *droite; /* Lien vers les nœuds suivants */ 7. }; La seule différence entre un nœud et une feuille, est que pour une feuille, les pointeurs vers les nœuds suivant sont NULL. C est de cette façon que nous les distinguerons. Q4. Réaliser une boucle dans votre programme afin de créer dynamiquement une structure nœud pour chacun des caractères contenu dans le fichier. Vous testerez votre programme en affichant le contenu du champ c caractère et occurrence de chacune des structures créées. Chacune de ces structures seront réservées en mémoire par la fonction malloc(). De plus, afin de conserver l ensemble des structures créées, nous sauvegarderons les pointeurs sur ces structures nœud (*) dans le tableau suivant : [struct noeud* arbre_huffman[256] ] Explications complémentaires : On doit donc créer pour chacun des caractères de notre tableau tab_caractere[256] une structure nœud comme suit : c= Occurrence=1 c= U Occurrence=1 c= b Occurrence=1 c= n Occurrence=3 c= a Occurrence=2 c= e Occurrence=2

6 Afin de conserver les références sur chacune des structures créées, il faut que nous conservions l adresse de ces structures. Nous allons donc les conserver dans un tableau appelé : [ * arbre_huffman[256] ] Ce tableau Struct nœud* arbre_huffman[256] aura donc le contenu suivant : [0] Adresse de la structure «nœud» du caractère [1] Adresse de la structure«nœud» du caractère U [2] Adresse de la structure «nœud»du caractère b [ ] [ ] [5] Adresse de la structure «nœud»du caractère e Q5. Réalisez exactement la même chose mais cette fois ci en faisant appel à une fonction dont le prototype est le suivant : [ struct noeud* creer_feuille(int* tab, int index )] Nous allons maintenant faire apparaître des nouveaux nœuds dans l arbre comme préciser dans la Figure 2. Q6. En dehors du contexte de cet algorithme de compression, réaliser une fonction pouvant chercher dans un tableau les deux entiers les plus petits. Exemple : int tab[5]={6,0,4,2,1} >>> Le premier entier le plus petit est 0 à l index 1. >>> Le second entier le plus petit est 1 à l index 4. Note : Une façon simple de rechercher les deux entiers les plus petits est de trier le tableau et de récupérer les valeurs à l index 0 et 1. Une fois que cette fonction est validée, vous pouvez parcourir votre tableau de Huffman [struct noeud* arbre_huffman[256] ] afin de rechercher les nœuds comportant la plus petite occurrence. Dès lors que vous avez trouvé ces deux nœuds, vous aller créer un nouveau nœud dont la valeur d occurrence vaut la somme des deux nœuds d origine comme préciser dans la Figure 2. Q7. Réaliser la fonction [ void creer_noeud(struct noeud* tab[], int taille) ] qui réalisera la recherche des plus petites occurrences, fera la création du nouveau nœud et le sauvegardera dans le même tableau de Huffman. Note : il y a deux emplacements possibles pour le nouveau nœud. «!» est le nouveau nœud.

7 Figure 7 : Création du tableau de Huffman avec un nouveau nœud A la fin de la création de l arbre, vous devez obtenir une seule référence (pointeur sur structure) qui est celle du haut de l arbre binaire, et qui possède dans les champs «droite» et «gauche» les références des deux nœuds suivant (qui eux même possèdent deux références des deux nœuds suivants, etc, etc ) 3.3. Troisième partie : Création du code En parcourant l arbre binaire depuis le haut de l arbre, nous allons créer les codes comme nous l avons exposé à la Figure 5. La méthode pour le parcours de l arbre de la racine jusqu au feuille est donné par le code C suivant. Il s agit d une fonction récursive, c'est-à-dire qu elle s appelle elle-même : niveau : nombre de bit du code de chaque caractère element : un nœud code : code du caractère 1. void creer_code(struct noeud* element,int code,int niveau){ 2. //On est sur une feuille 3. if(element->droite==null && element->gauche==null){ 4. element->bits=niveau; 5. element->code=code;

8 6. printf("\n %c\t %d\t",element->c,element->occurence); 7. } 8. else{ 9. //On va a droite (on injecte un 0 à droite) 10. creer_code(element->droite,code<<1,niveau+1); // On va a gauche (On injecte un 1 à droite) 13. creer_code(element->gauche,(code<<1)+1,niveau+1); 14. } 15. } Q8. Réaliser la création du code de votre arbre binaire Q9. Dans la fonction créer code, lorsque vous êtes dans une feuille et que vous avez trouvé le code correspondant, faites appel à une fonction [ void affichage_code(int nbr_bits, int codage) ] qui permettra d afficher le code du caractère sous forme binaire. int nbr_bits : Correspond au nombre de bits du code ( champ bit de la structure) int codage : Correspond au code (champ code de la structure) Dans notre exemple nous aurons l affichage suivant : Caractere Code : 0000 Caractere U Code : 0001 Caractere b Code : 001 Caractere n Code : 01 etc La compression va maintenant pouvoir avoir lieu. Pour cela, nous allons modifié un peu la fonction créer_code() afin de sauvegarder toutes les liens (pointeur) vers les structures «noeud» des caractères existants dans le fichier. Ceci sera très similaire au tableau tab_caractere du début (int tab_caractere[256]). Nous conservons donc le pointeur sur la structure de chacun des caractères du fichier dans le tableau : Struct nœud * alphabet[256] Le positionnement dans ce tableau sera fait de la même façon que pour tab_caractere, c'est-àdire : Le code ASCII du a est 97. alphabet[97] comportera donc le pointeur vers la structure nœud du caractère «a». On aura donc directement accès au code de «a» et au nombre de bit du code par : alphabet[97]->code ; alphabet[97]->bits ; 3.4. Quatrième partie : Compression Le fichier final devra posséder 2 parties :

9 Une partie «entête» possédant le nombre de feuilles différentes (nombre de caractères différents) de votre fichier, et la structure «alphabet» correspondant à chacun de ces caractères. Une partie «contenu» possédant le code compressé des caractères du fichier. Q10. Réaliser une entête dans votre fichier et faite en la relecture immédiate. Grâce à cette entête le logiciel de décompression pourra prendre connaissance des caractères présent dans le fichier, et pour chacun d entre eux connaître son code. Note : Entre la création de l entête, et sa relecture, vous pouvez effacer le tableau * alphabet[256]. En effet, l objectif même de la relecture est justement de recréer ce tableau sans en avoir la connaissance au préalable. Q11. Ecrire l ensemble des codes correspondant à chaque caractère du fichier d origine les uns à la suite des autres Cinquième partie : Décompression L objectif est d une part de recréer le tableau * alphabet[256] (déjà fait). D autre part il nous faut recréer le tableau de Huffman afin de décoder les bits du fichier compresser. Le travail que nous avons effectué au début de l algorithme était : Il nous faut maintenant réaliser le travail inverse. Grâce à l arbre reconstitué, lorsque nous allons lire chacun des bits du fichier compressé, nous descendrons dans les nœuds de l arbre, jusqu'à ce que nous trouvions une feuille (un nœud avec des valeurs NULL pour les pointeurs droite et gauche).

10 Q12. Réaliser la création «inverse» de l arbre de Huffman depuis le tableau * alphabet[256]. Q13. Parcourir votre arbre pour chacun des bits lus et afficher la valeur du caractère décompressé. BON COURAGE