2 Tableaux & listes doublement chaînées

Transcription

1 Algorithmie TD 1 Complexité & premiers algorithmes 1 Premier calcul de complexité Quelle est la complexité de l algorithme 1? Prouvez que cet algorithme calcule x y lorsque x & y sont des entiers positifs. Algorithme 1 Puissance x & y deux entiers positifs (1) i 0 (2) resultat 1 (3) tant que i < y: (4) resultat resultat * x (5) i i + 1 (6) rendre resultat (1) + (2) = O(1) + O(1) = O(1) (4) + (5) = O(1) + O(1) = O(1) La boucle (3) exécutée O(y) fois. Donc la complexité globale de l algorithme est : O(1) + O(y) * O(1) = O(y) 2 Tableaux & listes doublement chaînées Des structures de bases en algorithmie sont les tableaux & les listes doublement chaînées (à ne pas confondre avec les listes tout court). 1

2 2.1 Complexité des opérations élémentaires Rappelez pour ces deux structures : la complexité dans le cas le pire de la création de la structure, O(1) pour les deux structures la complexité dans le cas le pire pour trouver l élément d indice i, O(1) pour un tableau, O(i) pour une liste doublement chaînée la complexité dans le cas le pire de l ajout d un élément à la structure, Pour un tableau O(1) en fin de structure s il reste de la place, sinon ajout impossible. O(n i) = O(n) à l emplacement i. O(1) pour une liste doublement chaînée (si l on pointe sur l élément) la complexité dans le cas le pire de la suppression d un élément de la structure, Pour un tableau O(1) en fin de structure. O(n i) = O(n) à l emplacement i. O(1) pour une liste doublement chaînée (si l on pointe sur l élément) la complexité dans le cas le pire de la suppression de la structure. O(1) pour un tableau, O(n) pour une liste doublement chaînée. 2.2 Utilisation des structures En déduire le cadre d utilisation adapté pour chacune des deux structures. Les listes (doublement) chaînées sont utiles lorsque l on doit fréquemment ajouter/supprimer les données n importe où dans la structure. Le tableau est préférable dans les autres cas, mais l on doit connaitre a priori le nombre maximum d éléments. 3 Listes On appelle liste une structure abstraite ordonnée telle que on puisse accéder de manière directe à l élément d indice i & à laquelle on puisse ajouter (et supprimer) autant d éléments que l on souhaite. Une caractéristique importante de cette structure est son nombre d éléments. 2

3 3.1 Implémentation Un implémentation des listes peut être effectuée comme suit : on commence par créer un tableau de taille t = k, le nombre initial d éléments étant n = 0. à chaque ajout d éléments : test si n < t : si oui, alors n n + 1. sinon : on alloue un tableau 2 t éléments & t 2 t on copie les n premiers éléments du tableau initial dans le nouveau tableau & on supprime le tableau initial. n n + 1. décalage de tous les éléments d indice supérieur au rang de l ajout & insertion de l élément. 3.2 Complexité des opérations élémentaires Complexité dans le cas le pire la complexité dans le cas le pire de la création de la structure, O(1) la complexité dans le cas le pire pour trouver l élément d indice i O(1) la complexité dans le cas le pire de l ajout d un élément à la fin de la structure, O(n) la complexité dans le cas le pire de la suppression d un élément à la fin de la structure, O(1) la complexité dans le cas le pire de la suppression de la structure. O(1) 3

4 3.2.2 Complexité d ajouts multiples Calculer la complexité de l ajout de n éléments à la fin d une liste originellement vide. Dans le cas le pire le dernier ajout entraine un doublement de la taille de la structure, ce nouveau tableau est créé en O(n) opérations (il faut copier n éléments dans ce tableau). Le tableau précédent était de taille n 1 et a nécessité O(n) opérations pour être créé puis rempli (recopie de n/2 anciens éléments puis insertion de n/2 nouveaux éléments). Le tableau d avant était de taille n/2 et son remplissage a pris un temps O(n/2) opérations... Le temps total est donc de O(n + n + n/2 + n/4 + n/ ) = O(n). Il est donc légitime d admettre que la complexité d insertion d un élément en fin de liste est en O(1). 3.3 Application : suppression de doublons La structure de donnée utilisée ici est la liste. On considérera que : la création d une liste vide se fait en O(1) opérations, l ajout d un élément en fin de liste se fait en O(1) opérations, lire un élément d une liste se fait en O(1) opérations. Ecrire un algorithme permettant de résoudre le problème suivant : : Une liste L & une valeur val. Rendre : Une liste L 2, restriction de L aux valeurs différentes de val. Quel est sa complexité? L algorithme 2 proposé en O(n) où n est le nombre de données de L. Algorithme 2 val une valeur & L une liste de n valeurs création d une liste L 2 vide pour chaque élément x de L: si x val: ajoute x à L 2 rendre L 2 4

5 3.3.2 Utilisez la question précédente pour écrire un algorithme résolvant le problème suivant : : Une liste L. Rendre : Une liste L 2 ne contenant qu une seule occurrence de chaque valeur de L & en conservant le même ordre. Quel est sa complexité? On suppose que Algo2(val, L) est égal à la liste rendue par l algorithme de la question précédente avec comme données val & L. D où l algorithme 3 de complexité O(n 2 ) car : la complexité de Algo2(courant, L) est de l ordre du nombre d éléments de L, on ne supprime au pire qu un seul élément de L par étape. Algorithme 3 Une liste L de n valeurs création d une liste L 2 vide tant que L est non vide courant = L[0] ajoute courant à L 2 L = Algo 2(courant, L) rendre L 2 Il est a noter qu un calcul plus fin ne change pas la complexité. Le nombre d opérations pour l exécution de Algo2(courant, L) est de k. L. Les autres lignes s effectuant toutes en O(1) opérations, la complexité de l algorithme 3 est de l ordre de la somme des exécutions de Algo2(courant, L). Dans le cas le pire, on ne supprime qu un élément à la liste L par itération (chaque élément n est présent qu une seule fois dans L). Le nombre total d opérations de l algorithme 3 est alors de l ordre de : k.n + k.(n 1) k.2 + k.1 = k (n+1)n 2 = O(n 2 ) Même question que précédemment, mais on considère que la liste L en entrée est triée. Donnez un algorithme en O(n) pour résoudre ce problème, où n est le nombre d éléments de L. 5

6 L algorithme 4 est une solution possible. Algorithme 4 Une liste L de n valeurs triées. création d une liste L 2 vide courant = L[0] ajoute courant à L 2 pour chaque élément x de L si x courant: ajoute x à L 2 courant = x rendre L Si l ordre des éléments de L 2 n est pas important, proposez une meilleure solution à la question La complexité d un tri étant O(n log(n)) un tri préalable de la liste puis l utilisation de l algorithme de la question qui est en O(n) donne une solution en O(n log(n)) opérations. 4 Dictionnaires On appelle dictionnaire une structure abstraite de données telle que l on puisse efficacement rechercher, ajouter ou supprimer un élément. 4.1 Implémentation Une fonction de hachage ou hashcode h est une fonction associant à chaque objet un entier entre 0 & m 1. Formellement, h est une fonction d un univers U sur {0,..., m 1} (par exemple, si U = IN, on peut prendre pour h le reste de la division par m). On veut stocker un sous-ensemble S (à n éléments) de U. Une table de hachage est une liste L de m listes (m est la taille de la table). Chaque liste L[i] contenant les éléments x de S tels que h(x) = i. 6

7 On implémente souvent un dictionnaire par une table de hachage. À quoi correspondent les trois fonctions ajout, recherche & suppression? Ces trois fonctions sont celles des listes L[h(x)] pour la recherche & la suppression de l élément x. Pour l ajout, on commence par rechercher si x est dans L[h(x)] avant de l ajouter si nécessaire. 4.2 Complexité Complexités dans le cas le pire & le meilleur Quelle est la complexité, dans le cas le pire & le cas le meilleur, pour les opérations suivantes : création de la structure, Création d une liste de taille m & m listes vides : O(m). trouver un élément, Dans le cas le meilleur, c est le premier élément de la liste L[h(x)] : O(1), dans le cas le pire tous les éléments de S ont le même hashcode & l élément recherché est en fin de liste : O(n). ajout d un élément, Si l on ne s inquiète pas des doublons, la complexité est en O(1) suppression d un élément, Dans le cas le meilleur, la liste L[h(x)] ne contient qu un élément : O(1), dans le cas le pire il faut tout d abord trouver l élément : O(n). suppression de la structure. Suppression de m listes : O(m) Complexité en moyenne En supposant que la fonction de hachage répartisse de façon équiprobable les éléments de S dans {0,..., m} donner les complexités en moyenne des opérations de la question précédente. Chaque liste contient de l ordre de n m éléments. Ainsi, les complexités moyenne de O(n) dans le cas le pire deviennent O( n m ) & celles en O(1) restent bien évidemment en O(1) 7

8 4.2.3 Dimensionnement Si l on connait le nombre n d élément à stocker, quelle est la meilleure valeur à donner à m? Il faut prendre m = n car ainsi les complexités moyennes deviennent O(1)! Il arrive fréquemment que n soit inconnu (les éléments arrivent les uns après les autres). Proposez une politique de choix & d évolution pour m (on pourra s inspirer de la question 3.1). On pourra utiliser le doublement de la structure lorsque n > m exactement comme dans le cas des listes. Comme pour ces dernières, la complexité de la création d une table à n éléments est en O(n). C est la principale utilité des dictionnaires, ils se comportent en moyenne comme un tableau, mais permettent d être indicé par tout objet. Ainsi on pourra créer un dictionnaire dont les objets sont des noms propres & les valeurs stockées des numéros de téléphones par exemple. 5 Algorithme mystère Algorithme 5 A & B deux entiers positifs x A y B R 1 tant que y 0: si y est impair: R R x y y - 1 sinon: x x x y y/2 rendre R Que donne le résultat de l algorithme 5 ainsi que le nombre de ses opérations pour : A = 2 & B = 7, 8

9 A = 3 & B = & 6561 Donner la complexité de l algorithme dans le cas le meilleur. Dans le cas le meilleur, y est toujours divisé par deux (car y 1 y/2 pour tout y 2). Il y a donc au mieux p passages dans la boucle pour p le plus petit entier tel que y 2 p. Comme les autres lignes de l algorithmes sont en O(1) la complexité dans le cas le meilleur est O(log(y)) En déduire la complexité de l algorithme 5 dans le cas le pire & en moyenne. Si y est impair, y 1 est pair. Le nombre de fois où y est impair est donc au pire égal au nombre de fois où y est pair. Le nombre de passage dans la boucle est donc au pire égal à 2 log(y), la complexité dans le pire des cas est donc toujours O(log(y)). La complexité dans le cas le meilleur & dans le cas le pire étant égales, la complexité moyenne est encore O(log(y)). Que fait-il? Prouvez le. l algorithme rend A B. On le prouve en vérifiant que R x y est inchangé par une itération de la boucle. 6 Récursion : Ackermann La récursion est un principe fondamental en mathématique (la preuve par récurrence par exemple) & en informatique. Une définition simple de ce principe en informatique est qu un programme récursif s appelle lui-même. Pour éviter que le programme ne s appelle indéfiniment, il est nécessaire d avoir une condition d arrêt, qui, lorsqu elle est satisfaite empêche le programme de s appeler lui-même. 6.1 Définition La fonction d Ackermann se définit de la manière suivante, pour tous entiers m & n positifs : A(m, n) = n + 1 si m = 0 A(m 1, 1) si n = 0 A(m 1, A(m, n 1)) sinon Cette fonction est d une importance théorique certaine (c est un exemple de fonction récursive, mais pas récursive primitive) & est célèbre du fait qu elle grossit très vite alors qu elle s écrit simplement. Vérifier que la définition de la fonction d Ackermann donnée ci-avant est valide (i.e. s arrête quelque soient m & n). 9

10 Pour calculer Ack(2, 3) par exemple, on a les récurrences suivantes : Ack(2, 3) = Ack(1, Ack(2, 2)) Ack(2, 2) = Ack(1, Ack(2, 1)) Ack(2, 1) = Ack(1, Ack(2, 0)) Ack(2, 0) = Ack(1, 1) Ack(1, 1) = Ack(0, Ack(1, 0)) Ack(1, 0) = Ack(0, 1) = 2 puis on remonte d un cran & les récursions recommencent... Au final on trouve Ack(2, 3) = 9. La fonction croît très très vite. Par exemple Ack(5, 0) = Ack (4, 1) = & Ack(4, 2) = Pour chaque appel récursif de la fonction d ackerman, soit m, soit n est strictement plus petit dans la fonction appelée que dans la fonction appelante. On arrivera donc toujours à m = 0 qui stoppera la récursion ou n = 0 qui fera baisser la valeur de m. 6.2 Algorithme Ecrivez un algorithme récursif pour calculer la fonction d Ackermann. L algorithme 6 est une traduction littérale de la définition. Algorithme 6 Algorithme Ack(m, n) m & n deux entiers Si m == 0: Rendre n + 1 Sinon Si n == 0 : Rendre Ack(m-1, 1) Sinon: Rendre Ack(m-1, Ack(m, n-1)) 10

11 7 Précision versus temps d exécution Soit f une fonction continue, dérivable sur [a, b], & telle que f(a) < 0 & f(b) > 0. Implémentez une fonction permettant de trouver un réel c de [a, b] tel que f(c) ɛ, pour un ɛ donné. On pourra utiliser le principe de la dichotomie. L algorithme 7 est une traduction littérale de la définition. Algorithme 7 Algorithme dicho(a, b, ɛ, f) deux réels a < b ɛ & f Si f((a + b)/2) ɛ: Rendre (a + b)/2 Sinon: Si f((a + b)/2) > 0 : Rendre dicho(a, (a + b)/2, ɛ, f) Sinon: Rendre dicho((a + b)/2, b, ɛ, f) Si l on considère de plus que f est dérivable sur [a, b], calculez la complexité de cette fonction. On cherche le plus petit intervalle [u, v] autour d une racine c de f tel que f(x) ɛ pour tout x [u, v]. Comme a u < v b, l inégalité des accroissements fini nous donne : f(v) f(u) max v u f (x) u<x<v Donc : 2ɛ v u max f (x) a x b La plus petite longueur d intervalle l est donc minorée par : 2ɛ max a x b f (x) l La longueur de l intervalle étant divisé par 2 à chaque étape de l algorithme, la longueur de l intervalle sera de b a 2 à l étape i & donc on aura besoin d au pire i log( b a 2ɛ max a x b f (x) ) étapes. La complexité de l algorithme étant proportionnelle au nombre d étape on aura donc O(log( b a 2ɛ max a x b f (x) )) opérations. Il en résulte que plus on veut un résultat précis (un petit ɛ) plus il faudra d opérations... 11

12 Bonus : Ce n est pas un algorithme polynomial car les paramètres qui déterminent la taille du problème sont : a, b & ɛ, trois réels codées sur p bits, f une fonction codée par un algorithme de longueur q bits. La complexité de l algorithme est de l ordre de : log( b a 2ɛ max f (x) ) = log( b a ) + log( max a x b 2ɛ f (x) ) a x b Le premier terme est de l ordre de p, mais il existe des fonctions dont le maximum de la dérivé ne peut s écrire avec moins de 2 2max{p,q} bits. Par exemple une fonction aussi simple que f(x) = x n 1 sur [0, 2] pour ɛ = Coder a, b & ɛ nécessitent p bits. Coder f revient essentiellement à décrire n, il faut donc de l ordre de q = log(n) bits pour coder l algorithme donnant f(x). Or le maximum de la dérivée est égal à n 2 n 1 & il faudra donc à l algorithme plus de log(2 n 1 ) = n 1 opérations, c est à dire de l ordre de 2 q opérations. Si vous n êtes pas convaincu par l exemple ci-dessus, essayez avec f(x) = sin(x x ) sur [100, 101] 12