Tables de hachage. Génération d adresses : code de hachage + fonction de compression CSI2510. Idée. Les tables de hachage sont des exemples du TAD MAP

Transcription

1 Tables de hachage Tables de hachage: Idée et exemples Fonctions de hachage: Génération d adresses : code de hachage + fonction de compression Résolution des collisions: Chaînage Sondage linéaire Sondage quadratique Hachage double Idée Les tables de hachage sont des exemples du TAD AP Combine les avantages des tableaux et des listes chaînées On accède aux données emmagasinées à partir de leurs clés Les clés sont emmagasinées, mais ne sont pas triées! 1

2 Révision - Le TAD ap: méthodes findelement(k): si il y a un item avec clé k, retourner son élément, autrement retourner l'élément spécial NO_SUCH_KEY insertitem(k, o): insérer un item (k, o) removeelement(k): si il y a un item avec clé k, enlever-le et retourner son élément, autrement retourner l'élément spécial NO_SUCH_KEY size(), isempty() keys(), Elements() findallelements(k), removeallelements(k) Exemple Les rapports des étudiants sont emmagasinés dans un tableau utilisant les 7 chiffres d identification (ID) des étudiants comme indices. Si l ID est utilisé sans altération, le tableau doit avoir assez d espace pour loger les données des 10,000,000 étudiants. Alternative: les IDs des étudiants sont hachés pour produire un entier (entre par exemple 1 et 10,000) qui servira comme indice dans le tableau

3 Problème Puisque un nombre possible de 10,000,000 d entrées peuvent être insérées dans un tableau de seulement 10,000 emplacements, comment peut on garantir que 2 IDs ne soient pas emmagasinés dans un même endroit? Principe du hachage Problème 1 : Génération des adresses Construction d une fonction de hachage h(k i ) qui associe une adresse à une clé: Simple à calculer Distribue uniformément les éléments dans le tableau Problème 2 : Résolution des collisions Quelle stratégie à adopter lorsque la fonction de hachage attribue la même adresse à deux clés différentes 3

4 Pour toute clé k i : L idée: h ( k i ) = la position de k i dans le tableau h ( k i ) = pos avec h ( k i ) h ( k g ) pos: entier pour i g Chercher la clé k i O( 1 )! Insertion T Exemple d une table de hachage Hypothèse: toutes les clés ont des premières lettres différentes CAT, ELEPHANT, FOX, SKUNK, ZEBRA h (CAT) = 2 h (ELEPHANT) = 4 h (FOX) = 5 CAT ELEPHANT FOX SKUNK ZEBRA

5 Si nous voulons insérer deux clés qui ont la même première lettre COLLISION Exemple d une table de hachage CAT ELEPHANT FOX SKUNK ZEBRA Si nous voulons insérer deux clés qui ont la même première lettre COLLISION nous voulons insérer: CRICKET h (CRICKET) = 2 Exemple d une table de hachage position 2 est occupée CAT ELEPHANT FOX SKUNK ZEBRA 5

6 Fonction de hachage Une bonne fonction de hachage doit être facile et rapide à calculer et doit minimiser le risque de collision La fonction de hachage est la composition de deux fonctions: Le code de hachage h 1 (Hash code map): h 1 : clé entier La fonction de compression h 2 (Compression map): h 2 : entier [0, Taille du tableau - 1] On applique le code de hachage puis la fonction de compression: h(k i )=h 2 (h 1 (k i )) Code de hachage Le code de hachage réinterprète la clé comme un entier Un bon code de hachage : Déterministe: pour une même clé k on a toujours le même code h 1 (k) Doit fournir une bonne distribution : Le hachage des éléments similaires est discriminant; les clés similaires sont distribuées dans des cellules d indices éloignés 6

7 Définition: facteur de chargement d uns table de hachage a = n N # de éléments # de cellules Code de hachage - Exemples Adresse mémoire: Nous réinterprétons l'adresse mémoire de l'objet clé comme un entier (le code de hachage par défaut de tous les objets Java int 32bits) Integer cast (ex. byte, short, int, char) : Nous réinterprétons les bits de la clé comme un entier Somme des composantes (ex. long, double) : Nous représentons les bits de la clé dans avec des composantes de longueurs fixes (par ex., 16 ou 32 bits) et nous additionnons ces composantes (en négligeant les overflow) 7

8 Code de hachage - Exemples Accumulation polynômiale : Nous divisons les bits de la clé en une séquence de composantes de longueurs fixes (par ex., 8, 16 ou 32 bits) a 0 a 1 a n-1 Nous évaluons le polynôme : p(z) = a 0 + a 1 z + a 2 z a n-1 z n-1 pour une valeur fixe z (en négligeant les surplus) Surtout convenable pour les chaînes de caractères (strings) (par ex., le choix z = 33 donne au plus 6 collisions par case sur une série de mots anglais) La fonction de compression Le nombre des codes de hachage possibles peut dépasser la taille du tableau La fonction de compression transforme le résultat du code de hachage en le compressant dans la zone désirée La fonction de compression doit aussi être déterministe La fonction de compression doit maximiser la distribution et ainsi minimiser les collisions 8

9 La fonction de compression - Exemples Division: h 2 (y) = y mod N Le taille N du tableau de hachage est d'habitude choisie comme un nombre premier La fonction de compression - Exemples ultiplier, ajouter et diviser (AD): h 2 (y) = (ay + b) mod N a et b sont des nombres entiers non-négatifs tel que a mod N 0 Autrement, h 2 (y) = (ay + b) mod N = b 9

10 Fonction de hachage exemples Génération d adresse (a) N = la taille de la table r = log N h 1 (x): changement de type à entier a) h 2 (h 1 (x)): = sous-ensemble ( de r bits ) de h 1 (x) a.1) les r bits les moins significatifs a.2) les r bits les plus significatifs a.3) les r bits central Simple à calculer Ne garantit pas une distribution au hasard 10

11 Fonction de hachage Exemple a Le codage de lettres } 29 N = 2 9 r = 9 CHAT-- ot de 6 caracters (seulement pour cet exemple) A B C H T h( ) = C H A T - - Exemple a.1: les r bits les plus significatifs (r = 9) h( ) = Tous les animaux qui commence avec CH hachent a la même place. 11

12 Exemple a.2: les r bits les moins significatifs (r = 9) h( ) = Tous les animaux de 4 (ou moins) caractères hachent a la même place. Fonction de hachage Exemple b h 1 (x): changement au type entier b) h 2 (h 1 (x)): la somme des sous-ensembles de bits de h 1 (x) Simple à calculer Distribution plus aléatoire que a) 12

13 Exemple N = 2 9 C }2 9 r = 9 H T CHAT-- h( ) = Coding of letters A B b) plus significatifs centraux moins significatifs XOR Fonction de hachage Exemple c h 1 (x): changement au type entier c) h 2 (h 1 (x)): sous-ensembles (de r bits) de h 1 (x) 2 La multiplication est impliquée Distribution plus aléatoire que a) et b) 13

14 Fonction de hachage Exemple d d) h 2 (h 1 (x)): = h 1 (x) OD N La division est impliquée Distribution complètement aléatoire (surtout si N impair) Résolution de collision 14

15 Résolution des collisions Le facteur de charge d une table de hachage est la proportion des cases utilisées dans cette table: α =n/n n = nb. des cases occupées N = capacité du tableau Indicateur des performances de la table de hachage Deux approches: Chaînage Adressage ouvert (sondage lineaire, quadratique et double hachage) Résolution de collision Chaînage CAT DOG ELEPHANT FOX Ex: cricket, cccc CRICKET COYOTE Idéalement avec une excellente fonction de hachage chaque liste chaînée est de taille n/n findelement(k) removeelement(k) insertitem(k,o) O(n/N) ZEBRA 15

16 Résolution des collisions Adressage ouvert La collision est résolue en trouvant une place libre dans le tableau pour y insérer la nouvelle entrée. Cette nouvelle place est obtenue en sondant les cases du tableau On utilise une fonction de sondage s qu on compose avec la fonction de hachage h(k) pour trouver le nouveau indice (case) à vérifier; s(h(k),j) où {j=0..n et s(h(k),0)=h(k)} Le facteur de charge α dans ce cas est <1; A partir de α=75% on dit que la table de hachage est saturée et les collisions deviennent inévitables Résolution de collision (exemples) 1. Adressage ouvert CAT CRICKET ELEPHANT FOX Sondage linéaire COYOTE h (COYOTE) = 3 OCCUPÉE Nous considérons 4 OCCUPÉE Nous considérons 5 OCCUPÉE 6 OCCUPÉE 7 LIBRE! ZEBRA Les clés sont stockées dans des cellules contigües 16

17 Résolution de collision (1) Sondage linéaire h ( K i ), h ( K i ) + 1, h ( K i ) + 2, h ( K i ) + 3. h 0 ( K i ) h 1 ( K i ) h 2 ( K i ) h 3 ( K i ) Soit h 0 ( k i ) = h ( k i ) s(h(k i ),j) = h j (k i ) =( h ( k i ) + j ) mod N Recherche avec un sondage linéaire Considérons un tableau A de hachage qui utilise le sondage linéaire findelement(k) Nous commençons à la cellule h(k) Nous sondons les emplacements consécutifs jusqu'à ce que: Une entrée avec la clé k est trouvée, ou Une cellule vide est trouvée, ou N cellules ont été sondées sans succès Algorithm findelement(k) i h(k) p 0 repeat c A[i] if c = return NO_SUCH_KEY else if c.key () = k return c.element() else i (i + 1) mod N p p + 1 until p = N return NO_SUCH_KEY 17

18 Les mises à jour avec un sondage linéaire Pour contrôler les insertions et les suppressions, nous introduisons un objet spécial, appelé DISPONIBLE, qui remplace les éléments enlevés removeelement(k) Nous cherchons un item avec la clé k Si un tel élément (k, o) est trouvé, nous le remplaçons avec l objet spécial DISPONIBLE et nous retournons l'élément o Sinon, nous retournons NO_SUCH_KEY insert Item(k, o) Nous lançons une exception si la table est pleine Nous commençons à la cellule h(k) Nous sondons les cellules consécutives jusqu'à ce que: Une cellule i qui est vide ou emmagasine DISPONIBLE est trouvée, ou N cellules ont été infructueusement sondées Nous emmagasinons l item (k, o) dans la cellule i Performance du Sondage Linéaire Recherche: Le nombre moyen de sondages. C(α) Les résultats expérimentaux pour un tableau de hachage avec le facteur de chargement α α=n/n 0.1 (10%) 0.5 (50%) 0.75 (75%) 0.9 (90%) C(α )

19 Problème avec Sondage Linéaire : REGROUPEENT PRIAIRE (création de cellules contigües) CAT CRICKET ELEPHANT FOX CCC h (CAT) = 3 h 1 (CAT) = 4 h 2 = 5 h 3 = 6 h 4 = 7 h 5 = 8! Ici nous utilisons comme fonction de hachage l entier correspondant à la première lettre Idée: Utiliser un sondage non linéaire Résolution de collision (2) { h 0 (k i ) { h 1 (k i ) Sondage Quadratique h(k i ), h(k i )+1, h(k i )+4, h(k i )+9, s(h(k i ),j) = h j (k i ) =( h ( k i ) + j 2 ) mod N N: nombre premier mod est dur à calculer Visite seulement la moitié du tableau mais 19

20 Performance du Sondage Quadratique Les résultats expérimentaux pour un tableau de hachage avec le facteur de chargement α recherche α = n/n 0.1 (10%) 0.5 (50%) 0.75 (75%) 0.9 (90%) C(α ) Problème avec Sondage non-linéaire : REGROUPEENT SECONDAIRE Deux clés qui hachent au même endroit suivent le même chemin de collision Idée: Hachage Double 20

21 Ex: Résolution de collision Adressage ouvert: (3) Hachage Double { h(k i ), h(k i )+h'(k i ), h(k i )+2h'(k i ), h(k i )+3h'(k i ), h 0 h 1 h 2 h 3 h j (k i ) = [h(k i ) + j h (k i )] mod N OU Ex: h(k i ), h(k i )+h (k i ), h(k i )+4 h (k i ), h(k i )+9 h (k i ), h J (k i ) = [h(k i ) + j 2 h (k i )] mod N Choix de h( ) Choix de la fonction de hachage secondaire h ( ) N = 13 Un exemple de Hachage Double h(k) = k mod 13 h (k) = 7 - k mod 7 Insérer les clés 18, 41, 22, 44, 59, 32, 31, 73, dans cet ordre

22 Autre exemple de Hachage Double h(k i ) = k i mod N h (k i ) = k i div N N nombre premier! Performance de Hachage Double Les résultats expérimentaux pour un tableau de hachage avec le facteur de chargement α recherche α = n/n 0.1 (10%) 0.5 (50%) 0.75 (75%) 0.9 (90%) C(α )

23 Chaînage vs Adressage ouvert La méthode de chaînage utilise beaucoup de mémoire Au niveau théorique et expérimental la méthode de chainage est souvent aussi rapide que les méthodes d adressage ouvert Performance de Hachage: Résumé Dans le pire cas, les recherches, les insertions et les suppressions dans une table de hachage prennent O(n) Le pire cas arrive quand toutes les clés insérées dans le dictionnaire entrent en collision Le facteur de chargement α = n/n affecte les performances d une table de hachage Supposons que les valeurs de hachage sont comme des nombres aléatoires, il peut être montré que le nombre prévu de sondages pour une insertion avec adressage ouvert est 1 / (1 - α) Le temps prévu de toutes les opérations du TAD dictionnaire dans le tableau est O(1) En pratique, le hachage est très rapide si le facteur de chargement n'est pas près de 100% Les applications de tableau de hachage: Petite base de données compilateurs Cache des navigateurs P2P 23