Objectifs du cours d aujourd hui Informatique I : Cours d introduction à l informatique et à la programmation Bases d algorithmique Jamila Sam Haroud Laboratoire d Intelligence Artificielle Faculté I&C Introduire les bases de l algorithmique Vous apprendre à comparer 2 algorithmes Introduire la notion de complexité algorithmique Le but n est pas de vous faire un cours d algorithmique (ni de structures de données la semaine prochaine), mais......de vous faire pratiquer la programmation de base (série d exercices) tout en vous introduisant et vous familiarisant avec des notions fondamentales de l informatique autres que la programmation. Informatique I Cours : Algorithmique Informatique I Cours : Algorithmique 2 Qu est ce qu un algorithme? Algorithme? solution calculatoire/mécanique/itérative/... à un problème «spécification d un schéma de calcul sous forme d une suite d opérations élémentaires obéissant à un enchaînement déterminé» [Encyclopedia Universalis] Exemples : algorithme d Euclide (PGCD) algorithmes de tri (données non numériques) Rappel schématique : Programme = algorithme + données Informatique I Cours : Algorithmique 3 Mais les algorithmes existent depuis bien avant les ordinateurs : déjà dans l Antiquité Formalisation : dans années (9)30 par des mathématiciens : Gödel, Turing, Church, Post,... fonctions «calculables» et machines de Turing : abstraction mathématique des notions de traitement (suite d opérations élémentaires), de problème et d algorithme. algorithme = composition d un ensemble fini d opérations élémentaires bien définies (déterministes) opérant sur un nombre fini de données (éventuellement nul) et effectuant un traitement bien défini : suite finie de règles à appliquer, dans un ordre déterminé, à un nombre fini de données, se terminant (i.e. arriver, en un nombre fini d étapes, à un résultat, et cela quelque soit les données traitées). Informatique I Cours : Algorithmique 4
Algorithme Programme Un algorithme est indépendant du langage de programmation dans lequel on va l exprimer et de l ordinateur utilisé pour le faire tourner. C est une description abstraite des étapes conduisant à la solution d un problème algorithme = partie conceptuelle d un programme (indépendante du langage) programme = implémentation (réalisation) de l algorithme, dans un langage de programmation et sur un système particulier. Qualité d un algorithme? Qu est qu un bon algorithme? Y en a-t-il des meilleurs que d autres? En clair : Comment comparer différents algorithmes (résolvant le même problème)? 2 points de vue : rapidité : combien de temps? taille des ressources : combien de place mémoire? Mais peut-on comparer objectivement? c est-à-dire indépendemment de la réalisation de l algorithme sur une machine donnée dans un langage donné? (puisque justement on a dit qu un algorithme ne dépendait pas de ces éléments) on veut comparer des algorithmes, pas des programmes Informatique I Cours : Algorithmique 5 Informatique I Cours : Algorithmique 6 Comparaison objective d algorithmes? Machine de Turing : définition Peut-on comparer des algorithmes et non pas des programmes? Réponse : OUI abstraction/formalisation de la notion de programme/machine programmable : Machine de Turing Une machine de Turing est un automate abstrait, constitué des éléments suivants : une bande infinie (de taille non bornée), décomposée en cellules au sein desquelles peuvent être «stockés» des caractères (issus d un ensemble fini Σ). Objectif : permettre de démontrer des résultats généraux (décidabilité, complexité,...) vrais pour l ensemble des automates programmables concrets que l on peut envisager. Informatique I Cours : Algorithmique 7 Informatique I Cours : Algorithmique 8
Machine de Turing : définition Une machine de Turing est un automate abstrait, constitué des éléments suivants : une bande infinie une tête de lecture/écriture, pouvant : lire et modifier le caractère stocké dans la cellule correspondant à la position courante de la tête (le caractère courant) se déplacer d une cellule vers la gauche ou vers la droite (i.e. modifier sa position) Machine de Turing : définition Une machine de Turing est un automate abstrait, constitué des éléments suivants : une bande infinie une tête de lecture/écriture un ensemble fini E d états internes servant à caractériser le fonctionnement de la machine Informatique I Cours : Algorithmique 8 Informatique I Cours : Algorithmique 8 Machine de Turing : définition Machine de Turing : exemple Une machine de Turing est un automate abstrait, constitué des éléments suivants : une bande infinie une tête de lecture/écriture un ensemble d états internes une table de transitions indiquant, pour chaque couple (état interne, caractère courant) une nouvelle valeur pour ce couple, ainsi que le déplacement de la tête de lecture/écriture. Dans la table de transitions, chaque couple est donc associé à un triplet : (nouvel état interne, nouveau caractère, déplacement) Application : E Σ E Σ {, } Σ = {0,, ε} E = {, 2}... 0 0... caractère état courant courant 2 0 ε (,0,+) (,0,+) (2,ε,-) 2 (2,0,-) (2,0,-) (3,ε,+) avec + (respect. -) indiquant un déplacement vers la droite (respect. vers la gauche). Informatique I Cours : Algorithmique 8 Informatique I Cours : Algorithmique 9
Machine de Turing: fonctionnement Exemple de fonctionnement Une machine de Turing fonctionne alors selon le principe suivant :. la bande est initialisée avec la séquence de caractères correspondant aux (à un codage des) données d entrée ; 2. la tête de lecture/écriture est positionnée sur la cellule initiale de la bande, et l état interne est positionné à sa valeur initiale (qui fait partie de la définition de la machine). 3. tant que le couple courant (état interne, caractère courant) est présent dans la table de transitions, le triplet (état interne[nouveau], caractère[nouveau], déplacement) est utilisé pour mettre à jour l état interne, le caractère courant, puis le déplacement de la tête de lecture/écriture est effectué. 4. si le couple (état interne, caractère courant) n est pas dans la table de transitions, la machine s arrète. Le contenu de la bande à ce moment-là est considéré comme le résultat du traitement. Informatique I Cours : Algorithmique 0 machine de Turing déterminant si un nombre est pair Entrée : le nombre à tester, sous forme binaire Sortie : si le nombre est pair, 0 sinon caractère état déplace à droite jusqu à la fin 0 ε (,0,+) (,,+) (2,ε,-) 2 (3,ε,-) (4,ε,-) x 3 (3,ε,-) (3,ε,-) (5,,+) 4 (4,ε,-) (4,ε,-) (5,0,+) 5 x x (6,ε,-) revient au début en effaçant tout détecte la fin droite, revient sur le dernier caractère déplace à droite déplace à droite revient sur le dernier caractère ε ε ε ε 0 ε 0 ε 0 ε 0 ε 2 Exemple pour l entrée 2 efface et à gauche résultat et à droite repositionne au début et termine ε ε 3 5 ε ε 3 ε ε ε ε ε ε 5 ε ε ε Informatique I Cours : Algorithmique Machine de Turing: forme canonique On voit qu une machine de Turing est caractérisée par. sa logique générale de fonctionnement (i.e. la définition) ; 2. le codage de ses entrées et sorties (par exemple sous forme de séquences binaires) ; 3. la table de transitions décrivant son fonctionnement. Si l on impose de coder les entrées et les sorties en binaire (et d indiquer l absence de caractère dans une cellule par le caractère ε), on obtient une représentation uniforme des machines de Turing, appelée représentation canonique. Remarque : D autres choix sont possibles pour la définition des machines de Turing (plusieurs bandes, autres opérations élémentaires, autres alphabets de caractères,...) mais on peut montrer que les résultats théoriques obtenus avec de telles machines sont équivalents à ceux obtenus à l aide d une machine de Turing canonique. Machine de Turing universelle () Le fonctionnement d une machine de Turing est conditionné par sa table de transitions. machine de Turing = abstraction d automate de comportement modifiable a priori......mais pas encore automate programmable, pour laquelle le programme doit faire partie des données d entrée de la machine (et non pas représenter un élément constitutif de la machine comme la table de transitions) Si l on désire qu une machine de Turing constitue une abstraction pour la notion d automate programmable, il faut donc que sa table de transitions soit fixe, et que le conditionnement de son fonctionnement soit entièrement imposé par ses données d entrées. Informatique I Cours : Algorithmique 2 Informatique I Cours : Algorithmique 3
Machine de Turing universelle (2) C est-à-dire que bien qu ayant une table de transitions fixe elle puisse effectuer des taches différentes décrites uniquement par ses données d entrée (ces données d entrée sont donc à la fois le programme et les données au sens usuel) Une telle machine s appelle la machine de Turing universelle mais comment la construire? est-ce possible? Machine de Turing universelle (3) On peut montrer que l on peut effectivement construire une machine de Turing universelle (mais cela dépasse le cadre de ce cours) c est-à-dire une machine de Turing permettant de simuler le fonctionnement de n importe quelle autre machine de Turing i.e. d avoir le même comportement, pour ce qui est des entrées et des sorties, tout en ayant une table de transitions fixe. L idée permettant de construire une telle machine est la suivante :. la table de transitions de la machine T à simuler est codée sous la forme d une séquence binaire; 2. la bande de la machine universelle est séparée en deux zones distinctes, l une permettant de stocker la séquence binaire représentant la table de la machine T, ainsi que sa configuration (état interne, caractère courant), et l autre permettant de gérer les données d entrées (et sortie) de T. Informatique I Cours : Algorithmique 4 Informatique I Cours : Algorithmique 5 Machine de Turing universelle (3) Intérêt des machines de Turing Le fonctionnement de la machine universelle peut alors être schématisé ainsi : Zone réservée à la mémorisation de la configuration courante de T... état courant de T caractère de T... Zone réservée à la mémorisation de la table de T état caract. nouvel état Zone de la bande réservée à la gestion des E/S nouv. caract. depl...... Les machines de Turing constituent une notion centrale en informatique, car elles permettent de donner :. une définition précise à la notion informelle d algorithme (table de transitions) 2. une base théorique solide aux notions importantes que sont la calculabilité, la décidabilité et la complexité. (2) recherche de la configuration courante de T dans sa table () transfert du caractère courant position courante de T o (3) transfert du nouvel état courant de T (4) transfert du nouveau caractère et déplacement de la tête Informatique I Cours : Algorithmique 6 Informatique I Cours : Algorithmique 7
Notion de complexité : introduction Revenons donc à notre question de départ : comment comparer des algorithmes? L efficacité d un algorithme peut être mesurée par le temps d exécution, ou encore la quantité de mémoire, requis(e) pour la mise en œuvre de cet algorithme sur un certain jeu de données (variable). La notion de machine de Turing va nous permettre de définir de telles mesures absolues de l efficacité d un algorithme, indépendantes de la machine physique utilisée pour implémenter l algorithme. Elle sera appelée la complexité de l algorithme : complexité spatiale (occupation en mémoire) ou complexité temporelle (la plus utilisée) On distigue de plus la complexité pire cas (la plus utilisée) de la complexité moyenne. Informatique I Cours : Algorithmique 8 Notion de complexité : définition Considérons un algorithme A sur une machine de Turing T effectuant une tâche P (par exemple déterminer si l entrée est paire ou impaire) Nous appellerons complexité temporelle pire cas (i.e. dans le cas le plus défavorable) de A, le nombre maximal de déplacements de la tête de lecture/écriture que devra effectuer la machine T pour effectuer la tâche P avec A sur des données de taille n (la taille n est la longueur de la séquence binaire codant ces données en entrée de la machine de Turing) Note : La complexité est une fonction de n Nous appelerons complexité spatiale pire cas de A, la longueur de bande nécessaire à la machine T pour effectuer la tâche P avec A sur des données de taille n Informatique I Cours : Algorithmique 9 Complexité: notation O(...) Pour comparer des algorithmes, ce qui nous intéresse c est de savoir comment leur complexité évolue en fonction de la taille des données en entrée. Pour cela on effectue des comparaisons sur les ordres de grandeur asymptotiques (quand la taille des données en entrée tend vers l infini) Ces ordres de grandeur sont généralement notés en utilisant la notation de Landau O(...) 00000 0000 000 Comparaison Pour deux fonctions f et g de R dans R, on écrit : f = O(g) si et seulement si 00 2**x x*x*x x*x x*log(x) x log(x) c > 0 x 0 x > x 0 f(x) c g(x) 0 Dans ce cas, on dit que f est «en grand O» de g. Informatique I Cours : Algorithmique 20 0 00 000 Informatique I Cours : Algorithmique 2
Notation «grand O» : exemple Notation «grand O» : exemple (suite) f(n) = n 2 + 00n + log n + 000 f(n) = n 2 + 00n + log n + 000 n f(n) n 2 00n log n 000 valeur % valeur % valeur % valeur % 0 0. 00 9. 0 0 000 90.82 0 2 0 00 4.8 000 47.6 0.0 000 47.6 00 2 002 0 000 47.6 0 000 47.6 2 0.0 000 4.8 0 3 0 003 0 6 90.8 0 5 9. 3 0.0 000 0. 0 4 0 00 004 0 8 99.0 0 6.0 4 0.0 000 0.0... e+08 e+07 e+06 00000 0000 f(x) x*x 00*x log(x) 000 000 00 0 0 00 000 0000 Informatique I Cours : Algorithmique 22 Informatique I Cours : Algorithmique 23 Comparaison d algorithme Mesure de la complexité temporelle En pratique pour mesurer la complexité d un algorithme on utilise évidemment le plus petit des «grands O» possibles Exemples : n est O(n 2 ) mais n est aussi O(n) 2 est O(n 2 ), O(n), mais surtout O() Différentes classes de complexité permettent alors de caractériser les algorithmes (n représentant la taille d entrée) : complexité constante O() : le nombre d éléments n a pas d influence sur l algorithme complexité logarithmique O(log n) complexité linéaire O(n) complexité quasi-linéaire O(n log(n)) complexité polynomiale O(n 2 ),... O(n k ) complexité exponentielle O(2 n ) Dans l approche théorique, la complexité temporelle est mesurée par le nombre de déplacements effectués par le tête de lecture/écriture lors d exécution d une machine de Turing représentant l algorithme. Dans la pratique, cette machine de Turing est rarement disponible......et l on mesure la complexité par le nombre d instructions élémentaires nécessaires à l exécution de l algorithme. Par instruction élémentaire, nous entendrons ici toute instruction qui peut être réalisée par une machine de Turing en un nombre de déplacements de la tête de lecture/écriture borné par une constante connue a priori. Informatique I Cours : Algorithmique 24 Informatique I Cours : Algorithmique 25
instructions élémentaires Exemples d instructions élémentaires : écrire un caractère à l écran lire un caractère dans un fichier affecter une valeur atomique (un caractère, un entier, un réel,...) à une variable (mais l affectation d une valeur composée peut ne pas correspondre à un nombre constant de déplacements en cas de dépendance par rapport au nombre d éléments constituant la valeur composée) (parfois : réaliser une opération arithmétique sur des valeurs atomiques) Calcul de complexité le coût d instructions en séquence est la somme des coûts de chacune des instructions C(I ; I 2 ) = C(I ) + C(I 2 ) d où le coût d une boucle (for ou while) : C(boucle q fois B(i)) = q C(B(i)) i= où B(i) est un bloc d instructions correspondant à la ième itération de la boucle Dans les cas les plus simples, c est le produit du coût du bloc répété par le nombre de fois que se fait la boucle une des difficultés principales (à part dans les cas triviaux) est de trouver combien de fois s éxecute la boucle Informatique I Cours : Algorithmique 26 Pour les appels récursifs : on écrit l équation de récurrence à partir des règles ci-dessus. Informatique I Cours : Algorithmique 27 Analyse de complexité : exemple Analyse de complexité : exemple Exemple : recherche d un élément dans une liste triée Soit l algorithme suivant : appartient entrée : x, E sortie : x E? taille entrée : E sortie : t Pour i de 0 à t Si x = E[i] x E x E bool appartient(type x, Liste E) { for (int i(0); i < taille(e); ++i) { if (x==e[i]) return true; } return false; } Quelle est la complexité de appartient? Analyse de la complexité de appartient(x,e) : Taille des entrées : les entrées sont constituées d un élément x et d une liste E de m=taille(e) éléments du même type que x. La taille d un codage binaire de la séquence d entrée pourra être de la forme : K (m + ) et l on pourra donc prendre m comme mesure de référence. Instructions élémentaires utilisées ici :. l affectation d une valeur à une variable entière ; 2. le calcul de la taille d une liste d entiers ; 3. la comparaison de deux valeurs entières (avec < et ==) ; 4. l incrément d une valeur entière ; 5. l accès au i-ème élément d une liste ; 6. le renvoi d une valeur booléenne. Informatique I Cours : Algorithmique 28 Informatique I Cours : Algorithmique 29
Analyse de la complexité : exemple (2) Remarques à propos des instructions élémentaires : Pour des entiers codés sur un nombre fixe de bits, les instructions (), (3), (4) et (6) peuvent être réalisées en un nombre constant de déplacements d une machine de Turing. Ces instructions pourront donc être associées à un coût unité lors du calcul de complexité. Par contre, pour les instructions (2) et (5), la situation est plus compliquée, car dépendante de la représentation qui est utilisée pour la liste E : En effet, selon que cette représentation contient ou non de façon explicite l indication de la taille, le calcul de cette dernière pourra être réalisé : soit en un nombre constant d étapes (e.g. mémorisation explicite de la taille) soit en un nombre d étapes dépendant du nombre d éléments de la liste (e.g. parcours + sommation) Informatique I Cours : Algorithmique 30 De même, selon que la liste est représentée ou non par une structure de données permettant un accès direct à ses éléments (tableau, vecteur), l accès au ième élément pourra se faire: soit en un nombre constant d étapes (accès direct) soit à nouveau en un nombre d étapes dépendant du nombre d éléments de la liste (parcours). Informatique I Cours : Algorithmique 3 Analyse de la complexité : exemple (3) Analyse de la complexité : exemple (4) Dans le cas où la liste E est représentée par un structure de données permettant le calcul de la taille de E et l accès à son i-ème élément en un temps constant, l analyse de la complexité de appartient(x,e) est la suivante : affectation de la valeur 0 à la variable i instruction 2 calcul de la taille de E et vérification de 2 instructions la condition (i<taille(e)) 3 accès au i-ème élément de E et comparaison 2 instructions de cet élément avec x 4 décrément (de ) de i et retour en 2 instruction Par construction de l algorithme, les étapes 2, 3 et 4 seront faites au plus autant de fois qu il y a d éléments dans E, donc m fois. Si C(m) est le nombre d instructions élémentaires nécessaires pour réaliser l algorithme appartient(x,e), on a donc : Supposons maintenant que la liste E est représentée par un structure de données ne permettant pas le calcul de la taille de E en temps constant. Supposons par exemple que le calcul de taille(e) est en a + b m instructions (donc en O(m)). L analyse de la complexité de appartient(x,e) est la suivante : et on aura : pour l étape : instruction pour l étape 2 : + a + b m instructions pour l étape 3 : 2 instructions pour l étape 4 : instruction C (m) = + m ( + a + b m + 3) = O(m 2 ) C(m) = + 5 m = O(m) Informatique I Cours : Algorithmique 32 Informatique I Cours : Algorithmique 33
Analyse de la complexité : exemple (5) Mais si l on modifie très légèrement l algorithme de la façon suivante : Autre exemple Calcul récursif des nombres de Fibonacci bool appartient2(type x, Liste E) { for (int i(0), j(taille(e)); i<j; ++i) { if (x == E[i]) return (true); } return (false); } Les nombres d instructions élémentaires pour les étapes seront alors : pour l étape : + a + b m instruction pour l étape 2 : instruction pour l étape 3 : 2 instructions pour l étape 4 : instruction et on aura donc: C2(m) = + a + b m + m ( + 2 + ) = O(m) algorithme linéaire Informatique I Cours : Algorithmique 34 Fibonacci Récursif entrée : n sortie : F (n) Si n = 0 F (n) = 0 Si n = F (n) = Sinon Fibonacci Récursif entrée : n sortie : p Fibonacci Récursif entrée : n 2 sortie : q F (n) = p + q if (n == 0) return 0; else if (n == ) return ; else return Fibonacci(n-) + Fibonacci(n-2); Informatique I Cours : Algorithmique 35 Complexité de la version recursive des nombres de Fibonnacci A coût des tests et B coût de l addition C(0) = A C() = A Résolution (voir annexe) : C(n) = A + C(n ) + C(n 2) + B C(n) = 2A + B 5 (Φ n+ Φ n+) A B avec Φ = + 5 2 (nombre d or) et Φ = 5 2 d où C(n) = O(Φ n ) (notez que Φ < ) algorithme exponentiel (en n) Informatique I Cours : Algorithmique 36 Calcul itératif de Fibonacci Fibonacci Itératif entrée : n sortie : F (n) y 0 z Pour i de à n x y + z z y y x F (n) = x Autre exemple (suite) C (n) = + + + avec D coût de l addition entier Fn_(0); entier Fn_2(); for (entier i(); i <= n; ++i) { Fn = Fn_ + Fn_2; Fn_2 = Fn_; Fn_ = Fn; } return Fn; n (D + 5) = (D + 5) n + 3 i= C (n) = O(n) algorithme linéaire (en n) Informatique I Cours : Algorithmique 37
Profiling Le «profiling» est un moyen de déterminer le temps consommé par chacune des parties de votre programme. Pour réaliser ces mesures de manière automatique, on peut ajouter une option de compilation -pg : c++ -pg programme.cc -o programme L exécution de programme produit alors un fichier gmon.out L utilitaire gprof utilise ce fichier et programme pour donner des statistiques sur le déroulement du programme : gprof programme Exemple : c++ -pg fibonacci.cc -o fibonacci fibonacci (... s exécute...) gprof fibonacci pourcentage du temps Profiling % cumulative self self total time seconds seconds calls s/call s/call name 89.5 6.70 6.70 6.70 6.70 Fibonacci(unsigned) 8.02 7.29 0.60 0.60 0.60 FibonacciIteratif(unsign 2.47 7.48 0.8 0.8 0.8 demander_nombre(int, int 0.00 7.48 0.00 0.00 0.00 _GLOBAL I_main 0.00 7.48 0.00 0.00 0.00 static_initialization_... Temps propre Temps total index %time self children called name ----------------------------------------------- 3360280 Fibonacci(unsigned) [2] 6.70 0.00 / main [] [2] 89.5 6.70 0.00 +3360280 Fibonacci(unsigned) [2] 3360280 Fibonacci(unsigned) [2 ----------------------------------------------- 0.60 0.00 / main [] [3] 8.0 0.60 0.00 FibonacciIteratif(unsigned) [3 man gprof pour plus de détails Informatique I Cours : Algorithmique 38 Informatique I Cours : Algorithmique 39 Ce que j ai appris aujourd hui Ce qu est formellement un algorithme La modélisation d automate programmable : Machine de Turing Comment comparer des algorithmes : notion de complexité algorithmique Comment analyser le temps d exécution de mon programme (profiling) Résolution de Annexe mathématique C(0) = A C() = A C(n) = A + C(n ) + C(n 2) + B C(n) C(n ) C(n 2) = A + B Équation homogène associée : C(n) C(n ) C(n 2) = 0 r 2 r = 0 Informatique I Cours : Algorithmique 40 r = Φ = + 5 2 ou r = Φ = 5 2 Informatique I Cours : Algorithmique 4
Annexe mathématique (2) Annexe mathématique (3) = C(n) = λ Φ n + λ 2 Φ n Solution particulière de l équation complète : λ = (2A + B) Φ 5 () C(n) = A B Solution générale : C(n) = λ Φ n + λ 2 Φ n A B Résolution des conditions initiales : λ + λ 2 A B = A λ Φ + λ 2 Φ A B = A et finalement (2A + B) Φ λ 2 = (2) 5 C(n) = 2A + B 5 (Φ n+ Φ n+) A B Informatique I Cours : Algorithmique 42 Informatique I Cours : Algorithmique 43