\Les problemes d'abstraction de donnees, de. modularite de gestion des erreurs sont souvent. ignores pour mettre en avant l'essence de l'algorithme

Transcription

1 Chap^tre I. Introduction 0. Livre recommande Introduction a l'algorithmique T.H. Cormen, C.E. Leiserson, R.L. Rivest, Dunod, Paris, (MIT Press 1990) 1. Description d'un algorithme au moyen de programmes ecrits en pseudo-code tres proche de PASCAL et C \Les problemes d'abstraction de donnees, de modularite de gestion des erreurs sont souvent ignores pour mettre en avant l'essence de l'algorithme de maniere plus concise."

2 2. Qu'est-ce qu'un algorithme? Pour une reponse tres precise il faut consulter le cours de \Calculabilite" Premier algorithme: Algorithme d'euclide pour calculer le plus grand diviseur commun de deux entiers (vers 300 avant JC) La question de trouver une denition formelle pour la notion informelle d'algorithme est une question du 20 eme siecle. (Hilbert, Turing, Post, Godel)

3 Pour notre cours: Un algorithme est une procedure de calcul bien denie, qui prend en entree une valeur, ou un ensemble de valeurs, et qui produit, en sortie, une valeur ou un ensemble de valeurs. Un algorithme est donc une sequence d'etapes de calcul permettant de passer de la valeur d'entree a la valeur de sortie. Remarque. La description d'un algorithme doit ^etre nie.

4 3. Algorithme ecace On pense a un algorithme pour lequel les besoins de ressource de temps et d' espace \ne sont pas trop grand". Algorithme ecace: une autre notion informelle et tres importante comme la notion \algorithme" Remarque. En 1950 et m^eme en 1960 presque tous les algorithmes fondamentaux et ecaces d'informatique moderne etaient inconnus.

5 4. Le temps Le temps d'execution d'un algorithme sur une entree particuliere est le nombre d'operations elementaire, ou \etapes", executees. (Si vraiment necessaire) on considere les calculs dans un modele generique de machine a acces aleatoires (RAM), a processeur unique. En general, le temps pris par un algorithme cro^t avec la taille de l'entree. ) On decrit le temps d'execution d'un algorithme en fonction de la taille de son entree.

6 Taille d'entree La taille d'entree depend du probleme etudie. { nombre n d'elements constituant l'entree, comme par exemple le longueur n du tableau pour le tri { nombre total de bits n a la representation de l'entree, comme par exemple le nombre total de bits n de deux entiers pour la multiplication de deux entiers { nombre n de sommets et nombre m d'ar^etes du graphe

7 5. Analyser le temps d'un algorithme Souvent: pire des cas ) trouver le temps d'execution dans le pire des cas, c'est-a-dire: le temps d'execution le plus long pour une entree quelconque (de taille n) Pourquoi le pire des cas? 1. La connaissance du temps d'execution dans le pire des cas nous assure que l'algorithme ne prendra jamais plus de temps. 2. Souvent analyser le pire des cas est deja tres dicile. Remarque. D'autres methodes pour analyser le temps d'un algorithme existent, comme par exemple l'analyse en cas moyen.

8 Denition. L'algorithme A s'execute en temps f(n) (au pire des cas), si le temps d'execution pour une entree quelconque de taille n est au plus de f(n). ) Il est important de comparer la croissance des dierentes fonctions pour comparer l'ecacite des dierents algorithmes.

9 6. O-Notation On veut comparer des algorithmes dierents sans les implementer ( en PASCAL, C++, etc.), sans developper des programmes. Pour faire ca on compare l'ecacite asymptotique des algorithmes. ) Notations asymptotiques 1. Pratiquement une analyse precise d'un algorithme m^eme dans le pire des cas est impossible (sauf pour un algorithme simple) ) On se reduit a ce qu'y est possible, c'est-a-dire analyse asymptotique. 2. Parce qu'un changement de machine, de compilateur ou m^eme de style de programmation peut changer le temps d'execution CPU d'une implementation d'un algorithme particulier etc., on ne considere pas de facteur constant.

10 Nous considerons des fonctions f; g : N! R +. Denition. O(g(n)) est l'ensemble de toutes les fonctions f(n) pour lesquelles il existe des constantes c > 0 et n 0 > 0 telles que 0 f(n) c g(n) pour tout n n 0. On ecrit f(n) = O(g(n)). Soit f(n) = O(g(n)), alors la fonction g(n) est une borne superieure asymptotique de la fonction f(n). Remarque. Des bornes de temps comme O(n), O(n log n) ou O(n 2 ) sont typiques en algorithmique.

11 Il faut donc ^etre capable de comparer les dierentes bornes de temps qui sont presque toujours presentees en O-notation. C'est-a-dire il faut comparer asymptotiquement des fonctions. On dit \l'algorithme A s'execute en temps O(g(n))" pour indiquer que si f(n) est le temps precis de l'algorithme A, alors f(n) = O(g(n)). Exemple. L'algorithme TRI FUSION s'execute en temps O(n log n) (au pire des cas).

12 Denition. (g(n)) est l'ensemble de toutes les fonctions f(n) pour lesquelles il existe des constantes c > 0 et n 0 > 0 telles que 0 c g(n) f(n) pour tout n n 0. On ecrit f(n) = (g(n)). Remarque. f(n) = O(g(n)), g(n) = (f(n)) Denition. (g(n)) est l'ensemble de toutes les fonctions f(n) pour lesquelles il existe des constantes c 1 > 0, c 2 > 0 et n 0 > 0 telles que c 1 g(n) f(n) c 2 g(n) pour tout n n 0. On ecrit f(n) = (g(n)). Remarque. f(n) = (g(n)) signie que la fonction f(n) est asymptotiquement egale a la fonction g(n).

13 Denition. o(g(n)) est l'ensemble de toutes les fonctions f(n) pour lesquelles pour une constant c > 0 quelconque, il existe une constant n 0 > 0 telle que 0 f(n) < c g(n) pour tout n n 0. On ecrit f(n) = o(g(n)). Exemple. g(n) = n 2, f 1 (n) = n, f 2 (n) = 2n 2! f 1 = O(g(n)) et f 2 = O(g(n)) mais f 1 = o(g(n)) et f 2 6= o(g(n))

14 Outils (I) f(n) = o(g(n)), lim n!1 f(n) g(n) = 0 (II) lim n!1 f(n) g(n) = c 2 R+ ) f(n) = 0(g(n)) Remarque. Souvent on utilise la regle de l'h^opital: lim n!1 f(n) g(n) = lim n!1 f 0 (n) g 0 (n) :

15 Exemples 1) f(n) = a log 2 n = a log n g(n) = b n a; b constant lim n!1 f(n) g(n) = lim n!1 f 0 (n) g 0 (n) = lim n!1 a log e 1=n b = lim n!1 a log e b n = 0 ) f(n) = o(g(n)) ou log n = o(n) ) f(n) = O(g(n)) ou log n = O(n) 2) f(n) polyn^ome f(n) = a 0 + a 1 n + a 2 n 2 + a 3 n 3 + a k n k ) f(n) = O(n k ) Remarque. On dira qu'un algorithme ecace est un algorithme qui s'execute dans un temps polynomial, c'est-a-dire en temps O(n k ) pour un entier k 0.

16 Chap^tre II. Theoreme ma^tre La theoreme ma^tre (de la complexite) est bien connu comme \Master theorem" (en anglais). On l'appele \Theoreme general" dans la traduction francaise du livre de Cormen, Leiserson et Rivest. \Recette" pour resoudre les recurrences de la forme (*) T (n) = a T ( n b ) + f(n) a 1, b > 1 constantes f : N! R + Permettre d'analyser le temps T (n) (au pire des cas) d'un algorithme recursif obtenu par DIVISER POUR REGNER qui est un principe pour la conception des algorithmes.

17 DIVISER POUR REGNER DIVISER: Diviser un probleme de taille n en a sous-problemes de taille n b REGNER: Resoudre recursivement les a sousprobleme de taille n b, chacun en temps T (n b ) COMBINER: Combiner des resultats des sousproblemes pour obtenir le resultat du probleme

18 Algorithme TRI FUSION (MERGESORT) Entree: sequence a 1 ; a 2 ; : : : ; a n DIVISER: Diviser la sequence de taille n en deux sous-sequences de taille n 2 REGNER: Trier recursivement les deux soussequences de taille n 2 a l'aide de TRI FUSION COMBINER: Fusionner les deux sous-sequences triees pour obtenir la sequence triee ) a = 2; b = 2 On peut montrer que: f(n) = (n).

19 DIVISER POUR REGNER fournit un algorithme recursif. Analyse de temps: f(n) est le temps (au pire des cas) pour les etapes DIVISER et COMBINER pour un probleme de taille n. a T ( n ) est le temps pour l'autre partie d'algorithme, parce que le temps pour l'etape REb GNER d'un probleme de taille n est exactement le temps pour resoudre les a sous-problemes de taille n recursivement. b ) Soit T (n) le temps de l'algorithme obtenu par DIVISER POUR REGNER, alors. T (n) = a T ( n b ) + f(n)

20 Theoreme (Theoreme ma^tre). Soient a 1 et b > 1 deux constantes, soit f(n) une fonction, et soit T (n) denie pour les entiers positifs par la recurrence (*) T (n) = a T ( n ) + f(n) b ou l'on interprete n soit comme b bn c, soit comme b d ne. b T (n) peut alors ^etre bornee asymptotiquement comme suit: 1. Si f(n) = O(n log b a? ) pour une constant > 0, alors T (n) = (n log b a ). 2. Si f(n) = (n log b a ), alors T (n) = (n log b a log 2 n). 3. Si f(n) = (n log b a+ ) pour une constant > 0, et si a f( n b ) c f(n) pour une constante c < 1 et tous les n susamment grands, alors T (n) = (f(n)).

21 Exemple: TRI FUSION a = b = 2 et f(n) = (n) log b a = log 2 2 = 1 ) f(n) = (n log b a ) ) Cas 2 ) T (n) = (n log n) TRI FUSION est un algorithme de tri qui s'execute en temps O(n log n) au pire des cas. Remarque. On verra que TRI FUSION est un algorithme de tri qui est optimal au pire des cas. Mais il n'est pas le meilleur algorithme de tri.