ALGORITHMIQUE. Notes du cours FS/1/6584 Année préparatoire au master 60 en informatique ULB UMH Gilles GEERAERTS (Université Libre de Bruxelles)

Transcription

1 ALGORITHMIQUE A L G O R I T H M I Q U E Notes du cours FS/1/6584 Année préparatoire au master 60 en informatique ULB UMH Gilles GEERAERTS (Université Libre de Bruxelles) ANNÉE ACADÉMIQUE (2 E ÉDITION)

2 2 Le personnage en couverture est le mathématicien persan Mohamed IBN MUSSA AL- KHAWARIZMI (783? 850?) dont le nom a donné le mot français algorithme, car il en a décrit plusieurs. Le titre d un de ses ouvrages a également donné à la langue française le mot algèbre. AL-KHAWARIZMI est considéré par beaucoup comme le père de l algèbre moderne (il a d ailleurs introduit l habitude d appeller x l inconnue dans une équation). Pour autant, ses travaux ne se limitent pas à ce domaine : on lui doit d importantes contributions dans les domaines de l arithmétique, de l astronomie, ou de la géographie. Ce document a été mis en page sous LATEX 2ε.

3 Table des matières 1 Introduction Le contenu et les objectifs du cours Algorithmes, Algorithmique Les objectifs et l orientation du cours Bibliographie Préliminaires Rappels de mathématiques Sommes et produits Plancher et plafond Le pseudo-langage Types et variables Instructions Gestion de la mémoire Itération, induction, récursivité Itération et induction Raisonnement par induction Preuves de programmes Notion d invariant de boucle Un exemple de preuve par invariant Récursivité Récursivité et induction Fonctions récursives La complexité algorithmique Introduction Notion d efficacité Mesure du temps de calcul Compter le nombre d étapes La notion de grand O Intuition Définition formelle Classes de complexité algorithmique Règles de combinaison et de simplification Le cas des programmes récursifs Utilisation de l induction

4 4 TABLE DES MATIÈRES 5 Les listes Motivation : critique des tableaux Les listes simplement liées Comparaison aux tableaux Algorithmes Listes triées Les listes circulaires avec élément pré-tête Différences par rapport aux listes «simples» Algorithmes Les listes doublement liées Implémentation des listes dans les vecteurs Application Vue récursive Algorithmes Les piles et les files Les piles Implémentation dans une liste Implémentation dans un vecteur Les files Implémentation dans une liste Implémentation dans un vecteur Applications Vérification des parenthèses Évaluation d une expression en notation postfixée Les arbres Introduction Définitions Vocabulaire Cas particuliers Implémentation Application : les arbres d expressions Parcours des arbres binaires Parcours préfixé ou parcours en profondeur Parcours infixe Parcours postfixé Le parcours par niveaux ou parcours en largeur Applications des parcours Algorithmes de recherche Introduction Données stockées dans des vecteurs Recherche linéaire simple Recherche linéaire dans un vecteur trié Recherche dichotomique dans un vecteur trié Tables de hachage Données stockées dans des listes Données stockées dans des arbres Parcours simple

5 TABLE DES MATIÈRES Arbres binaires de recherche Conclusion : aux limites de l algorithmique 147

6 6 TABLE DES MATIÈRES

7 Table des figures 1.1 Une illustration du tri par sélection Une illustration de la méthodologie du cours L ordinogramme de la boucle tant que Comparaison de polynômes de degrés 3 et 4 (petite échelle) Comparaison de polynômes de degrés 3 et 4 (grande échelle) Comparaison de différentes fonctions caractérisant les principales classes de complexité algorithmique Une illustration de l exécution de Facto(k) Un exemple de liste Un exemple de suppression dans une liste simplement liée Un exemple d insertion dans une liste simplement liée Un exemple de déplacement d un élément dans une liste simplement liée Un exemple de liste circulaire avec élément pré-tête Un exemple d insertion en tête dans une liste circulaire avec élément pré-tête Une liste circulaire avec élément pré-tête vide Illustration de la recherche d une information dans une liste circulaire avec élément pré-tête Un exemple de liste doublement liée Un exemple d insertion dans une liste doublement liée Un exemple de liste implémentée dans un vecteur, et son équivalent utilisant des pointeurs Exemple de pile La pile de la Fig. 6.1 implémentée dans une liste Exemple de manipulation de file dans un vecteur Vecteur implémentant une file vu comme un vecteur circulaire Exemple d arbre Exemple d arbre La vue récursive de l arbre de la Fig Quelques illustrations du vocabulaire sur les arbres Un exemple d arbre binaire équilibré Un exemple d arbre d expression qui représente (3 + 5) Les quatre parcours d arbre classiques Illustration du parcours en largeur

8 8 TABLE DES FIGURES 8.1 Illustration de la recherche dichotomique Exemple d arbre binaire de recherche (équilibré) L ordre sur les nœuds induit par un arbre binaire de recherche Exemples d insertion dans un ABR Illustration des trois cas de suppression dans un ABR Le détachement du maximum dans un ABR Exemple d arbre dont la hauteur est en O du nombre de nœuds

9 Chapitre 9 Conclusion : aux limites de l algorithmique Dans ce cours, nous avons tenté de poser les bases de l algorithmique, et ce, de façon scientifique et rigoureuse. Ce cours reste donc une introduction à l algorithmique, et de nombreux sujets restent à couvrir, comme : Les nombreuses variantes d arbres balancés ; Les graphes ; Les méthodes d analyse plus fines que la complexité au pire cas (comme la complexité amortie) ; Les algorithmes de compression, ou de chiffrage des données ;... Tous ces domaines trouvent de nombreuses applications en pratique, et font encore l objet d une recherche active... Dans ce cours, nous nous sommes posés de nombreux problèmes. Par exemple, le Chapitre 8 a été entièrement consacré à présenter différentes solutions au problème : «comment stocker des données de façon à pouvoir les consulter de manière efficace?» À chaque fois, nous avons apporté des solutions qui ont pris la forme de structures de données et surtout d algorithmes qui manipulent ces structures. Nous avons également utilisé des outils rigoureux (les invariants, les preuves par induction, la complexité,...) pour raisonner sur ces algorithmes, prouver leur correction, et évaluer leur efficacité. Bref, pour chacun des problèmes étudiés dans ces pages, nous avons pu apporter une réponse satisfaisante, tant sur le plan théorique que pratique. Le potentiel de l algorithmique semble donc illimité. En guise de conclusion, il semble légitime de se demander si cette démarche couronnée de succès pourra être appliquée dans tous les cas. Autrement dit, peut-on affirmer que tous les problèmes sont solubles algorithmiquement? Malheureusement la réponse est non : il existe des problèmes qu aucun algorithme ne peut résoudre. Attention, cela ne signifie pas qu on ne connaît pas (encore) l algorithme pour résoudre tel ou tel problème. Cela signifie qu il est possible de démontrer à l aide d un raisonnement rigoureux qu il n existe aucun algorithme pour résoudre certains problèmes! Autrement dit, certains problèmes sont tout simplement trop difficiles pour un ordinateur. 147

10 148 CHAPITRE 9. CONCLUSION : AUX LIMITES DE L ALGORITHMIQUE Ce résultat très profond trouve sa source dans des problèmes de mathématiques posés bien avant l invention de l ordinateur. En 1900, le mathématicien allemand David HILBERT 1 pose ses célèbres 23 problèmes au congrès international de mathématiques (Paris). Le 10 e problème demande de trouver une méthode systématique (c est-à-dire un algorithme) déterminant si une équation diophantine 2 possède une solution. La réponse à ce problème sera apportée par le mathématicien anglais Alan Mathison TU- RING 3 et le mathématicien américain Alonzo CHURCH 4 en 1936 : il n existe pas de tel algorithme. Néanmoins, il ne s agit pas du seul problème pour lequel il n existe pas d algorithme. À titre d illustration, nous allons maintenant donner les idées principales de la preuve qui montre qu il n existe aucune algorithme pour résoudre le problème du test d arrêt. Celui-ci est défini comme suit : Étant donné un programme P et une input I, P s arrête-t-il quand on l exécute sur l input I? Exemple 31 L Algorithme 52 présente un exemple de programme (en fait, une fonction) qui ne s arrête pas pour tout input. Celui-ci incrémente une variable j initialisée à i (la valeur d input), jusqu à ce que j atteigne 5. Malheureusement, si la valeur i fournie au programme est > 5, cela ne se produira jamais et le programme cyclera. Le programme s arrête par contre pour toute valeur i 5. FonctionMalÉcrite(Entier i) début Entier j := i ; tant que j 5 faire Afficher j ; j := j + 1 ; fin Algorithme 52 : Un exemple de programme qui ne s arrête pas toujours. Il est donc important de bien comprendre que nous ne posons pas une question en général sur le programme («le programme cycle-t-il?»), mais bien sur une exécution particulière du programme («le programme cycle-t-il pour une certaine input?»). Ce que nous désirons, c est un algorithme A, unique, qui est capable de répondre à cette question quelque soit le programme P et quelque soit l input I. Nous allons démontrer que cela n est pas possible : Théorème 10 Il n existe pas d algorithme pour résoudre le problème du test d arrêt. 1 Né en 1862 à Königsberg et décédé en 1943 à Göttingen. 2 Il s agit d une équation de la forme p = q où p et q sont deux polynômes à coefficients entiers, d un nombre arbitraire de variables. 3 Né en 1912, TURING est considéré comme un des pères fondateurs de l informatique. Ses travaux permettent de poser les bases de l informatique théorique, telle qu on la conçoit encore aujourd hui. Il aide les alliés pendant la seconde guerre mondiale en découvrant le code de la machine Enigma utilisée par les nazis pour chiffrer leurs messages secrets. Condamné pour homosexualité, il se suicide en 1952, en croquant une pomme trempée dans du poison. La légende veut que le logo de la société californienne Apple Computers a été choisi en hommage à Turing. 4 Né en 1903 et décédé en 1995.

11 149 Preuve. La preuve fonctionne par contradiction. Cela signifie que nous allons supposer que le théorème est faux, et nous allons en dériver une contradiction, ce qui prouvera que notre hypothèse «le théorème est faux» est elle-même fausse (et donc, que le théorème est vrai). Supposons donc qu il existe un algorithme A qui résolve le problème de l arrêt. Cet algorithme peut être exprimé sous la forme d une fonction qui reçoit : 1. Un programme P encodé sous forme d une chaîne de caractères ; 2. Une input I pour le programme P ; et qui renvoie vrai si et seulement si P s arrête quand il est exécuté sur I. Dans la suite, nous dénoterons par P(I) l exécution de P sur I. Afin de rendre la preuve plus aisée nous allons supposer que l input I est toujours une chaîne de caractères. On pourrait croire que cela contredit notre desiderata stipulant que A doit fonctionner pour n importe quel programme. Ce n est en fait pas le cas. En effet, si P n a pas une chaîne de caractères pour input, il est facile de le transformer en un programme P qui a une chaîne de caractères pour input et qui convertit la chaîne dans le bon format avant d appeler P sur le résultat de la conversion. Clairement, P s arrête si et seulement si P s arrête, donc on peut appliquer A sur P pour savoir si P s arrête. Par exemple, si P reçoit deux entiers en input, on construit le programme P qui reçoit une chaîne des caractères qui représente les deux entiers séparés par une virgule (ainsi, 5 et 24 sont représentés par la chaîne 5,24). On peut alors facilement extraire les entiers de la chaîne, et appeler P. Nous avons donc à notre disposition un algorithme A, qui reçoit une chaîne de caractères P (le programme) et une chaîne de caractères I (l input) et qui est tel que : Pour tout P et pour tout I : A(P,I) = vrai ssi P(I) ne cycle pas Nous arrivons maintenant au point central de la preuve, qui tient dans l observation suivante : Comme I est une chaîne de caractères, rien ne nous empêche de choisir un programme (qui est aussi une chaîne de caractères) comme input. On peut donc construire une fonction Paradoxe qui reçoit un programme (donc une chaîne de caractères) en input et se comporte ainsi : Booléen Paradoxe(Chaine P) début si A(P, P) = vrai alors tant que vrai faire Afficher «Bonjour» ; retourner faux ; sinon retourner vrai ; fin Que fait la fonction Paradoxe? Elle appelle l algorithme qui teste l arrêt du programme P quand il est exécuté avec son propre code pour input. Si A renvoie vrai, c est-à-dire si P(P) ne cycle pas, Paradoxe entre alors dans une boucle infinie. Dans

12 150 CHAPITRE 9. CONCLUSION : AUX LIMITES DE L ALGORITHMIQUE le cas contraire, Paradoxe renvoie faux. Autrement dit, l exécution de Paradoxe(P) cycle uniquement si P appelé sur lui-même ne cycle pas. Par ailleurs, Paradoxe(P) ne cycle pas à la seule condition que P exécuté sur lui-même cycle. Bref : Pour tout P : Paradoxe(P) cycle ssi P(P) ne cycle pas (9.1) Comme nous l avons vu, Paradoxe peut être appelée sur n importe quel programme. Donc, en particulier, Paradoxe peut être appelée sur elle-même! Voyons ce que cela signifie. Clairement, il y a deux possibilités : soit Paradoxe cycle quand on l appelle sur elle-même, soit elle ne cycle pas. Considérons cela plus en détail. Nous allons utiliser l information donnée par (9.1) ci-dessus, en remplaçant P (le programme sur lequel Paradoxe est appelée) par Paradoxe : 1. Si Paradoxe(Paradoxe) cycle, nous déduisons de (9.1) que P(P) ne cycle pas, c est-à-dire que Paradoxe(Paradoxe) ne cycle pas Par contre, si Paradoxe(Paradoxe) ne cycle pas, l équation (9.1) nous apprend que Paradoxe(Paradoxe) doit cycler... Nous concluons donc que Paradoxe(Paradoxe) est une exécution qui cycle si et seulement si elle ne cycle pas! Clairement, cela n a pas de sens, et la fonction Paradoxe ne peut donc pas exister. Or, cette fonction ne contient rien d autre qu un appel à A (l algorithme qui résout le problème du test d arrêt) et une boucle infinie. Donc, si Paradoxe n existe pas, c est nécessairement parce que A n existe pas. Ce simple raisonnement nous prouve qu il existe au moins un problème qu aucun algorithme ne peut résoudre. Par le même genre de raisonnement, on peut prouver : qu il n existe pas d algorithme pour savoir si un programme donné atteint toujours une ligne de code donnée ; qu il n existe pas d algorithme pour savoir si une certaine variable peut contenir une certaine valeur dans un certain programme ; qu il n existe pas d algorithme pour savoir si un programme ne cycle jamais (quelque soit son input) ;... À vrai dire, toutes les propriétés un tant soit peu intéressantes des programmes ne peuvent pas être vérifiées par un algorithme. Néanmoins, les limites précises de l algorithmique restent encore à définir. Entre les problèmes insolubles et ceux pour lesquels on connaît des algorithmes, il reste encore beaucoup de questions ouvertes (voir, pour plus de détails, des ouvrages de référence comme [?,?]). Par ailleurs, le fait qu il existe un algorithme pour un problème donné ne signifie pas que tout est dit sur cette matière : il reste certainement de nombreux algorithmes à améliorer, tant sur le plan théorique que pratique. Pour conclure, nous espérons que ces quelques exemples auront suscité la curiosité du lecteur, qui trouvera dans ces questions un sujet de réflexion intéressant et toujours renouvelé...