Plan. Files de priorité Représentation par tas Tri par tas Codes préfixes Codage de Huffman Codage de Huffman adaptatif. Amphi 7 1

Transcription

1 Plan Files de priorité Représentation par tas Tri par tas Codes préfixes Codage de Huffman Codage de Huffman adaptatif Amphi 7 1

2 Files de priorité Une file de priorité est un type abstrait de données opérant sur un ensemble ordonné, et muni des opérations suivantes : trouver le maximum, insérer un élément, retirer le maximum. En inversant l'ordre, on obtient un type abstrait permettant de trouver le minimum et de le retirer. Amphi 7 2

3 Files de priorité Exemples d'utilisation : Ordonnancement des tâches d'un système d'exploitation. Application boursière (d'après Rolf Ingold) Contrôle aérien etc. Amphi 7 3

4 Trouvé sur le Web... Perle donne l avantage aux applications critiques en implantant la gestion des niveaux de priorité sur sa gamme de routeurs. Afin d améliorer les performances des réseaux en fonction des applications, Perle Systems a implanté dans ses routeurs un nouveau mode de gestion des files d attente. Celui-ci permet à l administrateur réseau de définir quatre niveaux de priorité (haute, normale, moyenne ou basse) pour une interface ou un protocole donnés. Tous les paquets qui entrent dans le routeur sont affectés à une file d attente en fonction d un degré d urgence défini au préalable. Les paquets affectés à la file ayant une priorité haute sont transmis les premiers. Lorsque cette file est vide, c est le tour des paquets affectés à la file ayant la priorité immédiatement inférieure. Ce système permet de ne pas retarder la transmission des données prioritaires lorsque le réseau est encombré. Amphi 7 4

5 Trouvé aussi sur le Web: application boursière Une commande comprend trois champs (action, prix, quantité), où action est un achat ou une vente, prix est le prix proposé et quantité est le nombre d actions. Une cote donne l offre la plus haute et la demande la plus basse. Lorsqu'une transaction survient, on effectue une série de suppressions dans la liste des commandes. Les commandes peuvent être annulées à tout moment. Amphi 7 5

6 Structure de données pour le marché boursier Une structure pour les offres, une pour les demandes. Opérations supportées : Actions Commande Cote Transaction Annuler Offres insere(prix, quantité) min() retirermin() supprimer(offre) Demandes insere(prix, quantité) max() retirermax() supprimer(demande) Source: Cours du Prof. Rolf Ingold de l'université de Fribourg Amphi 7 6

7 Implantation des files de priorité Implantation Trouver Insérer Retirer max max Tableau non ordonné O(n) O(1) O(n) Liste non ordonnée O(n) O(1) O(1)* Tableau ordonné O(1) O(n) O(1) Liste ordonnée O(1) O(n) O(1) Tas O(1) O(log n) O(log n) * après avoir trouvé Amphi 7 7

9 Arbre binaire tassé Code : {ε, 0, 1, 00, 01, 10, 11, 000, 001, 010} Un arbre binaire est dit tassé si son code est un segment initial pour l'ordre des mots croisés. La hauteur d'un arbre tassé à n noeuds est log 2 n. Amphi 7 9

10 Structure de tas (heap en anglais) Un tas est un arbre binaire tassé tel que le contenu de chaque nœud soit supérieur ou égal à celui de ses fils Amphi 7 10

11 Représentation par tableau Numéro d'un nœud (en largeur) = indice du tableau Racine : nœud 0 Pour un nœud i, Parent : (i-1)/2 Fils gauche : 2i+1 Fils droit : 2i Amphi 7 11

12 Les tas en Java class Tas { int[] a; int ntas; Tas(int n) {...} int maximum() {...} void ajouter(int v) {...} void supprimer() {...} } Amphi 7 12

13 Constructeur Le constructeur crée un tableau class Tas { int[] a; int ntas; Tas(int n) { ntas = 0; a = new int[n]; }... } Amphi 7 13

14 Maximum Le maximum est le contenu de la racine. class Tas {... int maximum() { return a[0]; } } Complexité : O(1) Amphi 7 14

15 Insertion Placer le nouveau nœud dans la première position libre (10) Permuter avec le parent jusqu'à l'obtention d'un tas Complexité : 0(log n) Amphi 7 15

16 Après insertion de Amphi 7 16

17 Insertion en Java void ajouter(int v) { int i = ntas; ++ntas; while (i > 0 && a[(i-1)/2] <= v) { a[i] = a[(i-1)/2]; i = (i-1)/2; } a[i] = v; } Amphi 7 17

18 Retirer le maximum Donner à la racine la valeur du dernier nœud. Supprimer le dernier nœud. Echanger avec le plus grand fils jusqu'à l'obtention d'un tas Complexité : O(log n) Amphi 7 18

19 Retirer le maximum Amphi 7 19

20 void supprimer() { int v = a[0] = a[--ntas]; int i = 0; while (2*i + 1 < ntas) { int j = 2*i + 1; if (j + 1 < ntas && a[j+1] > a[j]) ++j; if (v >= a[j]) break; a[i] = a[j]; i = j; } a[i] = v; } En Java Amphi 7 20

22 Tri par tas (heapsort) On part d'un tableau vide a. On commence par construire un tas en ajoutant successivement au tas vide les éléments a[0], a[1],... On répète ensuite les opérations suivantes : - prendre le maximum, - le retirer du tas, - le mettre à droite du tas Complexité : O(n log n) Amphi 7 22

23 Trier (9, 2, 11, 7, 4, 14, 3, 16, 8, 10, 15) On ajoute un à un les éléments: Amphi 7 23

24 Trier (5, 2, 11, 7, 4, 14, 3, 16, 8, 10, 15) 0 16 Une fois le tas obtenu Amphi 7 24

25 Trier (5, 2, 11, 7, 4, 14, 3, 16, 8, 10, 15) 0 15 On retire les éléments un à un Amphi 7 25

28 Tri par tas (heapsort) en Java static int[] tripartas(int[] a) { int n = a.length; Tas t = new Tas(n); for (int i = 0; i < n; i++) t.ajouter(a[i]); for (int i = n-1; i >= 0; --i) { int v = t.maximum(); t.supprimer(); a[i] = v; } return a; } Amphi 7 28

30 Codes préfixes Un ensemble P de mots non vides est un code préfixe si aucun mot de P n'est préfixe propre d'un autre mot de P. Exemple : P = {0, 100, 101, 111, 1100, 1101} Un mot admet au plus une décomposition comme produit de mots de P. La décomposition, si elle existe, s'obtient en lisant le mot de gauche à droite Amphi 7 30

31 Codes préfixes Un ensemble fini de mots est un code préfixe si et seulement si c'est le code des feuilles d'un arbre binaire Code des feuilles : {00, 010, 101, 110} Amphi 7 31

32 Codes préfixes Un code préfixe P est complet si tout mot est préfixe d'un produit de mots de P. Le code préfixe est complet : {0, 100, 101, 111, 1100, 1101} On peut compléter ce mot par 1. Amphi 7 32

33 Codes préfixes complets Un arbre binaire est dit complet si ses nœuds internes sont d'arité Un arbre binaire est complet ssi le code de ses feuilles est un code préfixe complet. 0 1 Code des feuilles : {00, 010, 011, 10, 11} Amphi 7 33

34 Codage par code préfixe Codage : a --> 00 d --> 10 b --> 010 r --> 11 c --> 011 Décodage : unique par lecture de gauche à droite. abracadabra <--> a 0 b d r 1 c Amphi 7 34

36 Compression de Huffman Problème. Coder un texte à l'aide d'un code préfixe en minimisant la taille du texte codé. Exemples avec abracadabra (1) a : 00, b : 010, c : 011, d : 10, r : > 25 (2) a : 1, b : 000, c : 0010, d : 0011, r : > 23 Remarque. La taille ne dépend que de la fréquence d'apparition de chaque lettre. 5 a, 2 b, 1 c, 1 d, 2 r Amphi 7 36

37 Construction de l'arbre de Huffman (1) Initialisation. Pour chaque lettre, un arbre réduit à sa racine. Sa valeur est la fréquence de la lettre a b c d e Itération. On fusionne les deux arbres de valeur minimale. La nouvelle racine a pour valeur la somme des valeurs des racines des deux arbres c d Amphi 7 37

38 Construction de l'arbre de Huffman (2) a b e 1 1 (1) c d (3) 5 a 2 b c d 3 e 5 a 2 b (4) Amphi c 7 2 a 1 1 d 3 e 2 b 1 1 c 2 (2) Codage a = 0 b = 100 c = 1010 d = 1011 e = 11 d e

39 Utilisation de l'algorithme de Huffman. Le codage de Huffman donne un code préfixe optimal. (admis) Utilisé dans le fax et dans JPEG (compression d'images) On peut coder par groupes de 2 lettres ou plus (bitmaps). Il y a des techniques de compression sans perte de données nettement plus efficaces (codage arithmétique, Ziv-Lempel, etc.) Amphi 7 39

40 Choix de la représentation de données. Si la taille de l'alphabet est N, l' arbre de Huffman est de taille 2N-1. On le représente ici par un tableau, où (le père de la racine est 0) j si i est fils droit de j pere[i] = -j si i est fils gauche de j La création de l'arbre est contrôlée par un tas-min, dont les clés sont les fréquences des lettres. Note : on pourrait aussi utiliser deux files. Amphi 7 40

41 Huffman en Java (1) class Huffman { // Arbre à 2N - 1 nœuds final static int N = 26, M = 2*N - 1; static int[] pere = new int[m]; static int[] freq = new int[m]; } public static void main(string[] args) { String s = args[0] ; calculfrequences(s); creerarbre(); String[] tas = fairetable(); affichercode(s, table); } Amphi 7 41

42 Calcul des fréquences static void calculfrequences(string s) { for (int i = 0; i < s.length(); i++) freq[s.charat(i) - 'a']++; } static int nombrelettres() { int n = 0; for (int i = 0; i < N; i++) if (freq[i] > 0) n++; return n; } Amphi 7 42

43 Un tas-min avec clés Un tas-min est un tas pour l'ordre >. Autrement dit, le minimum est à la racine et le contenu de chaque nœud est inférieur au contenu de son fils gauche et de son fils droit. Un tas avec clés gère des données avec priorités : les données sont dans le tableau (ici tas) les priorités sont dans un deuxième tableau (ici freq) Amphi 7 43

44 Un tas-min avec clés en Java class Tas { int[] tas; // contient les caractères int ntas = 0; int[] freq; // fréquences des caractères } Tas(int taille, int[] freq) { this.freq = freq; ntas = 0; tas = new int[taille]; }... Amphi 7 44

45 Ajouter à un tas-min (avec clé) void ajouter(int v) { int i = ntas; ++ntas; while (i > 0 && freq[tas[(i-1)/2]] >= freq[v]) { tas[i] = tas[(i-1)/2]; i = (i-1)/2; } tas[i] = v; } Amphi 7 45

46 Supprimer dans un tas-min (avec clé) void supprimer() { int v = tas[0] = tas[--ntas]; int i = 0; while (2*i + 1 < ntas) { int j = 2*i + 1; if (j + 1 < ntas && freq[tas[j+1]] < freq[tas[j]]) ++j; if (freq[v] <= freq[tas[j]]) break; tas[i] = tas[j]; i = j; } tas[i] = v; } Amphi 7 46

47 Minimum int minimum() { return tas[0]; } Amphi 7 47

48 Création de l'arbre static void creearbre() { int n = nombrelettres(); Tas tas = new Tas(2*n - 1, freq); for (int i = 0; i < N; ++i) if (freq[i] > 0) tas.ajouter(i); int n = tas.ntas; // A suivre... } Amphi 7 48

49 Création de l'arbre (2) static void creearbre() { //... for (int i = N; i < N+n-1; ++i) { int x = tas.minimum(); tas.supprimer(); int y = tas.minimum(); tas.supprimer(); freq[i] = freq[x] + freq[y]; pere[x] = -i; pere[y] = i; tas.ajouter(i); } } Amphi 7 49

50 Codage static String code(int i) { if (pere[i] == 0) return ""; return code(math.abs(pere[i])) + ((pere[i] < 0)? 0 : 1); } Amphi 7 50

51 Transmission du code. Première solution a : 0 b : 1010 c : 100 d : 1011 e : 11 a c e b d On code le parcours préfixe : nœud interne 0, feuille 1 01[a]001[c]01[b]1[d]1[e] où [x] est le code ASCII de x. Amphi 7 51

52 Transmission du code. Deuxième solution a : 1 b : 0101 c : 011 d : 0100 e : 00 e a c e a c 7 2 d 13 b 12 d 2 b 1 On calcule, puis on transmet des fréquences fictives donnant le même code de Huffman! Ici 7, 1, 2, 2, 6, codées sur un petit nombre de bits. Amphi 7 52

54 L'algorithme de Huffman adaptatif. Inconvénients de l'algorithme de Huffman. Il faut lire le texte entièrement avant de lancer la compression. Il faut transmettre le code trouvé. La version adaptative corrige ces défauts. Principe : On envoie le code d'un caractère c. La fréquence de c est incrémentée. On met à jour l'arbre de Huffman (voir plus loin). Le décodage mime le codage (même mise à jour). Amphi 7 54

55 Mise à jour de l'arbre. On maintient une liste de parcours des nœuds - compatible avec l'ordre des clés - dans lequel deux frères sont toujours consécutifs. On démontre que, dans un arbre de Huffman, on peut toujours trouver un ordre de parcours possédant ces propriétés Amphi a b 32 d 11 c e f

56 Mise à jour après incrémentation. Deux types d'opérations Partant de la feuille dont la clé est incrémentée, on remonte vers la racine en incrémentant les clés des nœuds rencontrés. Avant l'incrémentation, chaque nœud est permuté avec le dernier nœud de même clé dans l'ordre de parcours. Amphi 7 56

57 Mise à jour après incrémentation a b d c e f a f c e b d Après incrément du nœud 1, avant incrément de son père. Après incrément du nœud 5, avant incrément de son père. Amphi 7 57

58 Mise à jour après incrémentation e b d f 10 5 c 8 11 a Après incrément des nœuds 1, 5, 9, 11. Le nouvel ordre de parcours vérifie bien les deux propriétés. Amphi 7 58

59 Bits Huffman + Code Total H. Adaptatif Codage par digrammes Huffman + Code Total H. Adaptatif Algorithme de Huffman. Statistiques Contes de Grimm Données techniques Amphi 7 59