Introduction à l Informatique (INF 311) Amphi 9 : stockage efficace de l information. Amphi 9: stockage efficace de l information

Transcription

1 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 3/46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 4/46 Introduction à l Informatique (INF 311) Modéliser, Abstraire, Programmer F. Morain Amphi 9: stockage efficace de l information 16 juin 2014 Amphi 9 : stockage efficace de l information I. Quelques algorithmes de tri. II. Recherche dans un tableau. III. Hachage. IV. Utilisation des tables. A1: introduction A6 : réseaux et sécurité A2: tableaux A7 : listes chaînées A3: classes, objets A8 : arbres A4 : modularité A9 : stockage efficace de l information A5 : récursivité A10 : modélisations F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 1/46 L affaire du banquier aveugle Un journaliste et un trader se font tuer. La bibliothèque du journaliste contient 1000 livres, celle du trader 100. Il existe au moins un livre physiquement identique dans les deux bibliothèques, qui est la clef d un cryptosystème (moyennement fort). Énigme: comment faire pour ne passer toute la nuit à ne pas trouver ce livre? F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 2/46 I. Quelques algorithmes de tri Tri: ranger des informations dans un ordre donné; très utilisé dès qu on traite des résultats d expériences, etc.. Il existe beaucoup d algorithmes de tri, avec des propriétés très différentes suivant les contextes (tableaux, fichiers, disques, données binaires, etc.), différents modèles de coûts (comparaisons, affectations, mémoire, etc.). Abstraction: on peut se concentrer sur le tri d entiers. Thm. Tout algorithme utilisant des comparaisons pour trier n entiers demande au moins O(n log n) comparaisons.

2 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 7/46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 8/46 A) Tri par sélection Le même algorithme en place Principe: on commence par chercher le plus petit élément t[i0] pour i0 dans [0..n[ et on le met dans u[0], puis le plus petit élément t[i1] pour i1 dans [0..n[\{i 0 qui est mis dans u[1], etc. t u Informatique durable: utiliser le minimum de mémoire auxiliaire. On peut parfois modifier les entrées (images, grands nombres, etc.). Au pire, on fait une copie avant. Principe: on cherche le plus petit élément t[i0] de t[0..n[ et on le permute avec t[0], puis le plus petit élément de t[1..n[ que l on permute avec t[1], etc. À la fin, le tableau t contient les éléments triés. t F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 5/46 L interface Element F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 6/46 Rappel graphique Dans le fichier Element.java: public interface Element{ public String tostring(); public boolean estpluspetit(element v); Une interface peut contenir: des méthodes d objets, des variables de classe final; mais ne peut pas contenir: des champs; des méthodes de classes. interface Element public class Tableau{ public static Element minimum(...) public class TestTableau public static void Test(Element[] t){ public class IntegerElt implements Element

3 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Utilisation dans Tableau.java public class Tableau{ public static void afficher(element[] t){ for(int i = 0; i < t.length; i++) TC.println(t[i]); // vive tostring()! public static Element minimum(element[] t){ int mini = 0; for(int i = 1; i < t.length; i++) if(t[i].estpluspetit(t[mini])) mini = i; return t[mini]; // utile pour la suite public static void echanger(element[] t, int i, int j){ Element tmp; tmp = t[i]; t[i] = t[j]; t[j] = tmp; Exemple 1 public class IntegerElt implements Element{ private int clef; // pas requis par l interface public IntegerElt(int n){ this.clef = n; // requis par l interface public String tostring(){ return "" + this.clef; // interface + compilation public boolean estpluspetit(element w){ return this.clef <= ((IntegerElt) w).clef; (dans IntegerElt.java). F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X2013 9/46 Exemple 1 (suite) F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Implantation import tc.tc; public class TestTableau{ public static void main(string[] args){ IntegerElt[] t = new IntegerElt[10]; for(int i = 0; i < t.length; i++) t[i] = new IntegerElt((int)(Math.random()*10)); Tableau.afficher(t); TC.println("min="+Tableau.minimum(t)); // et maintenant on trie Tableau.triSelection(t); Tableau.afficher(t); // trie les données contenues dans t public static void triselection(element[] t){ for(int i = 0; i < t.length; i++){ // le tableau t[0..i[ est déjà trié // on cherche indm tq // t[indm]=min(t[j], i <= j < t.length) int indm;... // on échange t[i] et t[indm] echanger(t, i, indm); (dans Tableau.java)

4 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Implantation (suite) Nombre d opérations du tri sélection public static void triselection(element[] t){ for(int i = 0; i < t.length; i++){ // le tableau t[0..i[ est déjà trié // on cherche indm tq // t[indm]=min(t[j], i <= j < t.length) int indm = i; for(int j = i+1; j < t.length; j++) if(t[j].estpluspetit(t[indm])) indm = j; // on échange t[i] et t[indm] echanger(t, i, indm); Rem. il suffit d utiliser i < t.length-1. À chaque itération: on compare t[i] à t[i+1], t[i+2],..., t[n-1], soit n 1 i comparaisons; on échange t[i] avec le minimum trouvé. On commence avec i = 0 et on finit avec i = n 2 : (n 1 0) + (n 1 1) + + (n 1 (n 2)) = (n 1) + (n 2) = n(n 1)/2 comparaisons, et n 1 échanges. Thm. Le tri par sélection nécessite donc de l ordre de n 2 comparaisons dans tous les cas (pire, moyen, meilleur). F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Comparaison et affectation F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 B) Tri par insertion Pour les entiers, c est à peu près le même coût. Il y a beaucoup de cas où une comparaison coûte plus cher qu une affectation, par exemple pour les String (coût = min des longueurs). De l utilité des références pour l affectation: String[] s = {"abcdef", "x"; String tmp = s[0]; s[0] = s[1]; s[1] = tmp; on comprend l utilité de manipuler des références... Principe : On suppose que t[0..i-1] est trié et on insère t[i] à sa place dans le tableau. t C est le cas pour les tableaux, les matrices, etc.

5 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Le programme public static void triinsertion(element[] t){ for(int i = 1; i < t.length; i++){ // t[0..i-1] est déjà trié Element tmp = t[i]; int j = i; // recherche la place de tmp dans t[0..i-1] while((j > 0) && tmp.estpluspetit(t[j-1])){ t[j] = t[j-1]; j = j-1; // ici, j = 0 ou bien tmp >= t[j-1] t[j] = tmp; Analyse du tri par insertion On trie π = (a 0,...,a n 1 ). Pour insérer a i dans (a 0,a 1,...,a i 1 ) triés, on effectue : c i = 1 + #{j < i,a j > a i comparaisons ; r i = 2 + c i recopies. Au total : C(π) = R(π) = 3(n 1) + Inv(π). n 1 n 1 c i = (n 1) + #{j < i,a j > a i ; i=1 i=1 {{ Inv(π) F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Inversions F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Calcul du nombre moyen d inversions Déf. (a i,a j ) est une inversion de la permutation π = (a 0,...,a n 1 ) ssi i < j et a i > a j. On note Inv(π) le nombre d inversions de π. Ex. La permutation π = (4,2,3,1,0) présente 9 inversions : Cas particuliers : (4,2),(4,3),(4,1),(4,0); (3,1),(3,0);(2,1),(2,0);(1,0). π = (0,1,...,n 1) : Inv(π) = 0 (et donc pas d échanges si le tableau est déjà trié) ; π = (n 1,n 2,...,0) : Inv(π) = n(n 1)/2. Pb: que vaut Inv(π) en moyenne? Inv n = π S n Inv(π) n! =?? Déf. L image miroir de π = (a 0,a 2,...,a n 1 ) est la permutation M(π) = (a n 1,a n 2,...,a 0 ). Prop. Inv(π) + Inv(M(π)) = n(n 1)/2. Dém. (a i,a j ) est une inversion pour π équivaut à (a j,a i ) n en est pas une pour M(π). Inv n = 1 2 π S n (Inv(π) + Inv(M(π))) n! = n(n 1) 4

6 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Conclusions sur les tris élémentaires Tri C(π) R(π) sélection n(n 1)/2 3(n 1) insertion (n 1) + Inv(π) 3(n 1) + Inv(π) Nombres de comparaisons : Tri min moy max sélection n(n 1)/2 n(n 1)/2 n(n 1)/2 insertion n 1 n(n + 3)/4 1 (n 2 1)/2 C) Un tri rapide: le tri fusion Diviser pour résoudre: on trie séparément la moitié gauche et la moitié droite, et on fusionne les deux moitiés Nombres de recopies : Tri min moy max sélection 3(n 1) 3(n 1) 3(n 1) insertion 3(n 1) (n 1)(n + 12)/4 (n 1)(n + 6)/2 Rem. les deux tris ont même complexité O(n 2 ), mais le tri par insertion dépend fortement de π. Si π = (0,1,...,n 1), le nombre de comparaisons est minimal. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Implantation // Tri en place de t[g..d[ public static void trifusion(element[] t, int g, int d){ if((d-g) > 1){ int m = (g+d)/2; // on trie les deux moitiés trifusion(t, g, m);// lg <= (d-g)/2 trifusion(t, m, d);// ld <= (d-g)/2 interclasser(t, g, m, d); Appel par (surcharge) public static void trifusion(element[] t){ trifusion(t, 0, t.length); F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 La fusion Ex. On veut fusionner les tableaux : d Principe de l interclassement : on utilise deux têtes de lecture parcourant t[g..m[ et t[m..d[ et une tête d écriture remplissant le tableau auxiliaire tmp[g..d[. Coût : O(d g) comparaisons.

7 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 La fonction d interclassement public static void interclasser(element[] t, int g, int m, int d){ Element[] tmp = new Element[t.length]; int i = g; // tête gauche: g <= i < m int j = m; // tête droite: m <= j < d for(int k = g; k < d; k++){ if(i >= m)// moitié gauche finie tmp[k] = t[j++]; else if(j >= d)// moitié droite finie tmp[k] = t[i++]; else// on compare les deux têtes if(t[i].estpluspetit(t[j])) tmp[k] = t[i++]; else tmp[k] = t[j++]; for(int k = g; k < d; k++) t[k] = tmp[k]; // recopie finale F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 II. Recherche dans un tableau Pb. un élément donné se trouve-t-il dans un tableau? A) Recherche séquentielle Principe: on parcourt tout le tableau; si on trouve x dans le tableau, on retourne l indice correspondant, sinon -1. public static int indicedans(int[] t, int x){ for(int i = 0; i < t.length; i++) if(t[i] == x) return i; return -1; Prop. Le nombre de comparaisons est O(n) en moyenne sur tous les tableaux d entiers de taille n. Analyse du tri fusion T(n) = qui se résout en écrivant : 2T(n/2) {{ + {{ 2n appels récursifs recopies T(n) n = T(n/2) n/ Si n = 2 k, alors T(2 k ) = 2k2 k = O(nlogn). Ex. n = 2 20, le coût est Thm. Pour toute entrée de taille n, T(n) = O(nlogn). Rem. La place mémoire nécessaire est 2n au lieu de n. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Avec l interface public interface Element{ public String tostring(); public boolean estpluspetit(element v); public boolean estegal(element v); Dans IntegerElt.java: public boolean estegal(element w){ return this.clef == ((IntegerElt) w).clef; Dans Tableau.java: public static int indicedans(element[] t, Element x){ for(int i = 0; i < t.length; i++) if(t[i].estegal(x)) return i; return -1;

8 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 B) Recherche dichotomique Peut-on faire mieux? non dans le modèle classique (O( n) dans le modèle quantique). oui si les données sont triées (à la création ou au moment des recherches). Principe: comme la recherche dans un dictionnaire. On ouvre à une page au milieu, puis on regarde si on doit chercher dans la moitié droite ou la moitié gauche. Version récursive // on recherche dans l intervalle [g, d[ // les éléments sont triés en ordre // croissant dans t public static int dichorec(element[] t, Element x, int g, int d){ if(g >= d) return -1; int m = (g+d)/2; if(t[m].estegal(x)) return m; else if(x.estpluspetit(t[m])) return dichorec(t, x, g, m); else return dichorec(t, x, m+1, d); // astuce F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Combien l algorithme fait-il de comparaisons? F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Analyse (suite) Appel de dichorec: On entre dans la fonction avec l intervalle [g,d[. Le cas intéressant est pour g < d. On effectue au plus deux comparaisons. On appelle récursivement la fonction sur l intervalle [g,d [ avec [g,d [= [g,m[ ou [m + 1,d[. Lemme fondamental. La longueur de l intervalle [g, d[ est d g. Lemme. d g d g 2 d g 2. Dém. m g = ((d + g)/2 g ) = ((d g)/2), d (m + 1) = (d (d + g)/2) 1 = ((d g)/2) 1. la longueur de l intervalle est divisée par 2 à chaque étape. Prop. La recherche dichomotique dans un tableau trié à n éléments nécessite dans le cas le pire log 2 n comparaisons. Dém. on fera au plus log 2 n appels, donc au plus log 2 n comparaisons. Ex. Pour n = 10 6, on passe de 500,000 comparaisons à 19. exercice. Modifier le programme pour renvoyer tous les indices i tels que t[i] = x.

9 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 C) Utilisation d un index Pb. Il y a N = 10 8 numéros de téléphones portables possibles : 06wwxxyyzz. On veut en stocker n N, triés par ordre croissant dans un tableau T[0..n[. On ne peut/veut pas utiliser un tableau de N éléments, mais on veut une recherche rapide dans T. Idée: découper [0,N[ en K = N/M intervalles de longueur M (un diviseur de N), I k = [km,(k + 1)M[, avec 0 k < K; on découpe T en K sous-tables: T k = I k T; ou encore T = T 0 T 1 T K 1 ; T k est stocké dans T[ind[k]..ind[k+1][, avec ind un tableau de taille K + 1 tel que ind[k] = n; quand on cherche X, on calcule k = X/M, puis on cherche X dans T k. Index Ex. T = [10, , , , ] avec n = 5, M = donne K = 4 et k I k ind 0 [0, [ 0 1 [ , [ 2 2 [ , [ 3 3 [ , [ T 0 = T[0,2[= {10, T 1 = T[2,3[= { T 2 = T[3,3[= /0 T 3 = T[3,5[= { , F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 La recherche proprement dite public static int rechercher(int[] t, int M, int[] index, int x){ int k = x / M; return dichorec(t, x, index[k], index[k+1]); public static void main(string[] args){ int[] T = new int[]{10, , , , ; int M = N/4; int[] index = creerindex(t, M); TC.println(rechercher(T, M, index, 20)); TC.println(rechercher(T, M, index, )); exercice. Programmer creerindex. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Analyse Ce qu on a fait: on a partitionné T = T 0 T 1 T K 1 ; à x [0..N[, on a associé un entier h(x) tel que x T h(x). le coût de recherche est R(x) = temps de calcul de h(x) +O(log 2 #T h(x) ). Si les données sont bien équiréparties, on a R(x) = temps de calcul de h(x) + O(log 2 (n/k)). Ici: avec 0 x < N = KM, on calcule h(x) = x/m, 0 h(x) < K.

10 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Un indice pour tout le monde Principe: on associe à chaque objet un entier unique. On peut se servir de cet entier pour stocker l objet par exemple dans un tableau. Rem. Heureusement, sinon le compilateur aurait du mal. III. Hachage Algorithmique élémentaire, mon cher Watson! Comment calculer cet entier? Par exemple une chaîne de caractères peut être transformée en entier, puis l entier réduit si besoin. Ex: C(abcd) = = (((97 256) + 98) ) = Le banquier aveugle F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Faisons le point F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Exemple avec des entiers Ce qu on vient de voir: on peut stocker N éléments dans K tables de taille N/K, ce qui accélère la recherche, si on peut localiser facilement les tables auxiliaires. Hachage: on passe à la limite : K = N tables de taille 1 (i.e., un tableau de taille N). Pb. On veut ranger un ensemble Z d entiers strictement positifs dans une table de hachage T de taille T. Fonction de codage : h(z) = z mod T. Ex. Z = {11,59,32,44,301,26,199 ; T = 10 ; T est une table d ensembles. i T i 11, ,199 On doit utiliser des listes à cause des collisions! Les collisions sont inévitables, mais en nombre faible si h est bien choisie.

11 Algorithme Implantation Insertion : calculer h(z) ; faire T h(z) = T h(z) {z. Recherche : calculer h(z) ; retourner z T h(z)? Thm. Si α = N/T 1, alors #T i = O(1). Généralement: on travaille avec un tableau de taille fixe, typiquement un nombre premier p et on calcule h(s) = C(s) mod p. Ex: avec p = 10007, on trouve h(abcd) = Collision: h(bacn) = 5041, etc. mécanisme de gestion de collisions: utilisation de listes contenant les collisions avec la même adresse; hachage ouvert : on cherche le premier indice libre à partir de l adresse de départ (cf. poly). Rem. Marche très bien si le hachage est bon et garantit des additions/tests/suppressions en O(1). Cf. Knuth par exemple. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 Retour à Ensemble public ReseauSocial(String n, int nmax){ this.nom = n; this.nb_membres = nmax; this.amis = new TableHachage[nmax]; for(int i = 0; i < nmax; i++) this.amis[i] = new TableHachage(); opération Tableau Chaine ABR hachage stockage n 2 n i A(i) n i A(i) n i A(i) contient O(A(i)) O(A(i)) O(log A(i)) O(1) ajouter O(1) O(1) O(log A(i)) O(1) enlever O(1) O(A(i)) O(log A(i)) O(1) afficher O(A(i)) O(A(i)) O(A(i)) O(#T(i)) A(i) = nombre d amis de i. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 IV. Utilisation des tables Problème : comment stocker efficacement n objets de même type (un ensemble E)? ajouter supprimer rechercher tableau O(1) O(1) O(n) liste O(1), O(i) O(1), O(i) O(n) tableau trié O(n) O(n) O(log n) ABR O(log n) O(log n) O(log n) hachage O(1) O(1) O(1) Table petite: recherche séquentielle suffit (tableau statique ou liste dynamique). Table grande: ordre sur les données: tri + recherche dichotomique si statique ; ABR (équilibré) si dynamique. pas d ordre : hachage, ensemble dynamique. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46

12 Et la mémoire? Derniers mots Pour des éléments de type T donné: tableau : n T + un int; ABR: n (T + deux références); hachage: n (petite liste de T). tableau hachage. tableau ABR. ABR?? hachage. exercice. Écrire une interface Table stockant des ElementS et les implantations associées. Résumé du cours : recherche d informations ; diviser pour résoudre; tables. Prochains rendez-vous : Groupes cet après-midi vendredi h30 15h h45 17h h30 15h h45 17h45 Jeudi 19 juin à 10h30: conf. scientifique d A. Canteaut. Prochain amphi: lundi 23 juin à 10h30. F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46 F. Morain École polytechnique Introduction à l Informatique (INF 311) Promo X /46