Algorithmique et Analyse d Algorithmes

Transcription

1 Algorithmique et Analyse d Algorithmes L3 Info Cours 1 : notion de coût d un algorithme Benjamin Wack / 44

2 Objectifs du cours Savoir proposer une solution algorithmique à un problème posé, savoir implanter la solution et savoir analyser celle-ci. Objectifs détaillés Savoir reconnaître et mettre en œuvre des schémas génériques d algorithmes (séquence, arbre, graphe...), Savoir construire une solution selon une démarche allant du plus simple (algorithme naïf) au plus efficace (diviser pour régner, etc.) Savoir démontrer la correction des algorithmes Savoir comment évaluer la complexité d une solution algorithmique : - analyser la complexité au pire, en moyenne avec des hypothèses probabilistes, - analyser la complexité en utilisant des mesures sur des simulations ou des jeux de test. 2 / 44

3 Plan Présentation du cours Problématique Correction Coût d un algorithme Complexité Méthodologie Ordres de grandeur Algorithme de Horner 3 / 44

4 Présentation du cours Structure du cours Cours (Benjamin Wack) Une partie synthétique sur les concepts et schémas algorithmiques Un algorithme classique afin de se constituer une culture de référence TD1 (Florence Perronnin, Anne Rasse, Benjamin Wack) Exercices permettent de renforcer la compréhension des concepts. TD2 (Rémy Boutonnet, Guillaume Cordonnier, Vincent Danjean) Mise en œuvre des concepts et préparation aux activités pratiques APNEES (RB, GC, VD) : Activités Pratiques Non Encadrées Évaluées Validation des concepts par la pratique et évaluation de la compréhension + au moins autant de travail personnel! (exercices, petits programmes) Adresse Mail enseignant : Prénom.Nom@imag.fr 5 / 44

5 Présentation du cours Ressources Bibliographie Algorithmique, T. Cormen, R. Rivest & C. Leiserson, Dunod Algorithmes, R. Sedgewick, Pearson Education Page Web Planning, documents, annales Moodle de l UFR Sujets et rendus d Apnées 6 / 44

6 Présentation du cours Évaluations Note finale = 67 % Examen + 33 % CC Les contrôles continus 2 quicks (mi-octobre et mi-novembre) : 50 % du CC 4 comptes-rendus d APNEEs dont 2 notés : 50 % du CC Examen terminal 2h30 sans documents ni calculatrice Session 2 en juin... Challenge de programmation Semaine du 7 au 11 novembre En équipes 7 / 44

7 Présentation du cours Programme (indicatif) du cours Complexité des algorithmes 1. Coût d un algorithme (itérations, ordres de grandeur) Horner 2. Analyse en moyenne Quicksort Preuves d algorithmes 3. Invariant, correction, terminaison Drapeau hollandais 4. Logique de Hoare Dichotomie Types abstraits élémentaires et implantation 5. Structures séquentielles Algorithme de parenthésage 6. Structures arborescentes Partition Binaire de l Espace Arbres 7. Arbres binaires de recherche Arbres B 8. Arbres ordonnés, structure de tas Algorithmes gloutons 9. Arbres et codage Algorithme de Huffman Graphes et algorithmes 10. Algorithmique de graphes Tri topologique 11. Arbre couvrant, prétraitement Algorithme de Knuth-Morris-Pratt 8 / 44

8 Problématique Notion de problème données Effectuer une recherche dans un inventaire Résoudre une équation Trouver le plus court chemin sur un plan de ville Corriger des fautes d orthographe Multiplier des matrices... stock coefficients plan texte + dictionnaire coefficients Dans chacun de ces exemples on s intéresse en fait à une classe de problèmes similaires, dont chaque instance est définie par des données. Il faut également préciser le résultat attendu. (par exemple pour l inventaire : oui/non? quantité? localisation?) 10 / 44

9 Problématique Qu est-ce qu un algorithme? Procédure de résolution de n importe quelle instance d un problème suffisamment élémentaire pour être exécutée de façon automatique. Problème concret Problème formalisé Algorithme Programme Programmation Instance Données Solution Exécution Exemple : résolution d équation 11 / 44

10 Problématique Un algorithme traite donc des données pour produire un résultat ; mais avec quelles primitives et quelles ressources? 12 / 44

11 Problématique Nécessité d un modèle Alan M. Turing Machine «de papier» La machine est dotée : d un ruban infini ( mémoire) d une tête de lecture/écriture d un automate ( processeur) Un modèle donc tourné vers les opérations de lecture/écriture ( affectation, calculs) 13 / 44

12 Problématique Les questions résolues par Turing Qu est-ce qu un calcul effectué automatiquement? Peut-on tout calculer? Peut-on décider automatiquement si une formule logique est vraie? 10 ans avant les premiers ordinateurs! Cf. Modèles de calcul au semestre 6 14 / 44

13 Problématique Les questions traitées en Algo5 Est-ce que je peux construire un programme qui résout mon problème (sur une machine conforme à mon modèle)? Spécification du problème et construction d un algorithme Est-ce que l exécution de mon programme sur la machine donne bien le résultat souhaité? Vérification de propriétés qualitatives par test et preuve Est-ce que mon programme me fournit le résultat en un temps acceptable? Validation de propriétés quantitatives par mesure et analyse 15 / 44

14 Problématique Les questions traitées en Algo5 Problème concret spécification Problème formalisé Instance construction Données Correction preuve Algorithme test Programme Solution Programmation mesure Exécution analyse de complexité Efficacité Exemple : résolution d équation 15 / 44

15 Correction Les propriétés recherchées Terminaison L exécution de l algorithme produit-elle un résultat en temps fini quelles que soient les données fournies? Correction partielle Lorsque l algorithme s arrête, le résultat calculé est-il la solution cherchée quelles que soient les données fournies? 17 / 44

16 Correction Test ou preuve? Testing shows the presence, not the absence of bugs E. W. Dijkstra, 1969 Le test : valide une implantation plutôt qu un algorithme permet des vérifications rapides peut être utilisé en cours de développement fait apparaître les limites du modèle La preuve : fournit une garantie incontestable sur le fond de l algorithme mais n élimine pas (complètement) les erreurs de programmation nécessite des outils formels pour une utilisation à grande échelle 18 / 44

17 Coût d un algorithme Notre modèle de machine Une machine est constituée d un processeur, d une mémoire et d un ensemble d opérations. Mémoire - infinie (mais un calcul donné utilise un espace fini), - types élémentaires (finis) int, float,... - puis on ajoutera des structures de données Opérations - nombre fini d opérations (arithmétiques, booléennes...) ; - chaque opération a un nombre fini de paramètres (nombre fini de variables lues et écrites) Processeur - processeur unique ; - effectue les opérations en temps constant (1 top = 1 opération) 20 / 44

18 Coût d un algorithme Efficacité d un algorithme Est-ce que mon programme consomme une quantité acceptable de ressources pour fournir un résultat? Étant donnés deux programmes résolvant le même problème, lequel est le meilleur? Calcul Un calcul est une séquence d opérations qui, à partir d une configuration initiale de la mémoire, produit, en un temps fini, une configuration terminale. coût en temps à partir d une configuration initiale d = nombre d opérations dans la séquence coût en mémoire = nombre maximal de variables utilisées simultanément 21 / 44

19 Coût d un algorithme Exemple (1) Moyenne de 2 flottants MOY(a,b) Données : Deux flottants : a et b Résultat : La moyenne de a et de b s := a + b m := s/2 Return (m) Coût de l algorithme Coût temps? 2 opérations Coût en espace mémoire? 2 variables Coût constant, indépendant des données 22 / 44

20 Coût d un algorithme Exemple (2) Puissance : calcul de x n PUISSANCE(x,n) Données : Un flottant x et un entier n Résultat : La valeur de x n p := 1 k := 0 while k n p := p x k := k + 1 Return (p) Coût en temps : 2 + 2n opérations Coût variable, dépend de la valeur des données 23 / 44

21 Coût d un algorithme Exemple (3) Maximum d un tableau MAXIMUM(T,n) Données : T tableau de n entiers Résultat : L indice d un élément maxi max := T [1] for i := 1 to n if T [i] max i max := i max := T [i] Traiter (max) Return (i max ) Coût de l algorithme Modèle de coût? Supposons Traiter coûteux pour T=[1,2,...,n]? pour T=[14,28,...,14n]? pour T=[n,1,2,...,n-1]? Dépend de la taille des données Borné par une fonction linéaire Expression du coût : en fonction de quoi? Pour ce tableau n est la taille des données Pour un entier n est la valeur de la donnée : on préférera log 2 (n) 24 / 44

22 Complexité Généralisation Espace des données Algorithme Espace des résultats Machine Taille de la donnée Cout du calcul Entier Entier Caractériser l efficacité générale de l algorithme = trouver la relation entre la taille des données et le coût de l algorithme sur un (modèle de) machine donnée 26 / 44

23 Complexité Complexité d un algorithme Complexité (au pire) La complexité d un algorithme A est fonction de la taille des données : C A (n) = max(coût(d)) pour toutes les données d de taille n Suppose d avoir fixé la notion de taille Maximum = garantie quelles que soient les conditions d utilisation Exhiber un cas défavorable «suffit» Complexité au mieux CA min (n) = min(coût(d)) pour toutes les données d de taille n Correspond au cas le plus favorable Quel comportement privilégie-t-on? 27 / 44

24 Complexité Méthodologie Complexité des structures de base Instructions en séquence Le coût de Faire Truc Faire Machin est la somme des coûts de Truc et de Machin Composition des coûts La complexité d une boucle est donc la somme des coûts de chaque itération Instructions FOR, WHILE, REPEAT, / 44

25 Complexité Méthodologie Complexité des structures de base (2) Instructions conditionnelles if condition Faire Truc else Faire Machin Coût de l une des branches plus le coût d évaluation de la condition Majoration du coût La complexité au pire sera donc majorée par le maximum des complexités au pire de chaque branche. C(si Condition alors A sinon B) C(evaluation(Condition)) + max{c(a), C(B)} Instructions IF, SWITCH, / 44

26 Complexité Méthodologie Complexité des structures de base (3) Appel de procédure Le coût de l appel d une procédure est : le coût du corps de la procédure pour ses paramètres d appel plus le coût de l évaluation de ses paramètres. Méthode de calcul de complexité Le calcul de la complexité d un algorithme s obtient donc en composant les complexités des différentes opérations composant l algorithme. assemblage et reconstruction méthode par composition se fait à la conception de l algorithme 31 / 44

27 Complexité Méthodologie Exemple Calcul de la somme des entiers de 1 à n i := 1 somme := 0 Tantque (i n) : somme := somme + i i := i + 1 Coût d une itération = 2 (additions) + 1 test Nombre d itérations = n Coût de la boucle = 3n Coût de l algorithme = 3n + 1 Niveau de détail judicieux? 32 / 44

28 Complexité Ordres de grandeur Ordres de grandeur La complexité est une prédiction du temps d exécution du programme codant l algorithme. Mais dépend de l architecture de la machine, donc c est une abstraction (approximation) Passage à l échelle des algorithmes Ce qui est important c est : 1. l ordre de grandeur ; 2. de pouvoir comparer les algorithmes 34 / 44

29 Complexité Ordres de grandeur Exemples n = 10 6 n = 10 9 somme des éléments d un tableau de taille n n opérations tri par insertion des éléments d un tableau de taille n n 2 opérations énumération des vecteurs de bits de taille n 2 n opérations Définir des ordres de grandeur comparables 1/1000 e s1 s 1/4 h30 ans années... Pour se donner une représentation concrète : sur un PC récent, environ 1 milliard d opérations / seconde 35 / 44

30 Complexité Ordres de grandeur Borne supérieure asymptotique Notation O Pour une fonction donnée g on note O(g) l ensemble de fonctions : O(g) = {f telles que c 0, n 0 0, n n 0, f (n) c.g(n)} On écrit f = O(g) pour f O(g). On dit que g est une borne supérieure asymptotique pour f. Vite dit : g dépasse f à partir d un certain rang (taille de données) Pause courbes Exemples n = O(n 3 ) 1250n 3 = O(2 n ) n + n = O(n) n n + n log n = O(n n) 36 / 44

31 Complexité Ordres de grandeur Échelles de comparaison (à connaître) Échelle polynomiale Si k l alors n k = O(n l ) Échelle logarithmique log(n) = O(n) log(log(n)) = O(log(n)) Échelle exponentielle Si 0 < a < b alors a n = O(b n ) Pour tous a > 1 et k 0 on a n k = O(a n ) Deux propriétés utiles Si f = O(g) alors f + g = O(g) et k f = O(g) 37 / 44

32 Complexité Ordres de grandeur Autres encadrements f = O(g) si c 0, n 0 0, n n 0, f (n) c.g(n) Borne inférieure asymptotique (notation Ω) f = Ω(g) si c 0, n 0 0, n n 0, c.g(n) f (n) Borne asymptotique approchée : (notation Θ) f = Θ(g) si c 1, c 2 0, n 0 0, n n 0, c 1.g(n) f (n) c 2.g(n) 38 / 44

33 Algorithme de Horner Évaluation d un polynôme Un polynôme P à une seule variable X s écrit de façon unique Résultat : La valeur P(x 0 ) P = a n X n + a n 1 X n a 1 X + a 0 Données : Les coefficients a n,..., a 0 suffisent à donner le polynôme Rangés dans un tableau A de taille n + 1 Une valeur x 0 en laquelle on veut évaluer le polynôme Types de données : les coefficients a n,..., a 0 sont des flottants x 0 peut être un flottant mais aussi une matrice, un polynôme... Incidence sur le modèle de coût 40 / 44

34 Algorithme de Horner Algorithme (très) naïf Évaluation de P en x 0 EVAL(P,x 0 ) Données : Un tableau de coefficients A et un flottant x 0 Résultat : La valeur de P(x 0 ) r = 0 i = n while i 0 p = 1 k = 0 while k i p = p x 0 k = k + 1 r = r + A[i] p i = i 1 Return (r) (calcul de x n 0 dans p) Complexité en O(n 2 ) 41 / 44

35 Algorithme de Horner Évaluation droite-gauche Idée : ne pas recalculer les puissances de x 0 pour rien Évaluation de P en x 0 par la droite EVAL_DROITE(P,x 0 ) Données : Un tableau de coefficients A et un flottant x 0 Résultat : La valeur de P(x 0 ) r = 0 i = 0 p = 1 while i n r = r + A[i] p p = p x 0 i = i + 1 Return (r) Complexité en O(n) 42 / 44

36 Algorithme de Horner Évaluation gauche-droite efficace On se base sur la pseudo-factorisation P = ((... (a n X + a n 1 )...) X + a 1 ) X + a 0 Évaluation de P en x 0 par la méthode de Horner HORNER(P,x 0 ) Données : Un tableau de coefficients A et un flottant x 0 Résultat : La valeur de P(x 0 ) r = 0 i = n while i 0 r = r x 0 + A[i] i = i 1 Return (r) Même complexité mais : En place et meilleure constante Autres applications : dérivation, division, calcul de racines / 44

37 Algorithme de Horner Conclusion Un même problème peut être résolu par des algorithmes très différents On peut (parfois) passer de l un à l autre par raffinement L analyse de complexité est un critère fiable pour les comparer... mais pas le seul La prochaine fois schémas récursifs analyse du coût en moyenne tri rapide 44 / 44