Yskandar Hamam. et Informatique Industrielle (SC2I)

Transcription

1 L'OPTIMISATION : UN OUTIL DE L'INGENIEUR Yskandar Hamam Laboratoire Systemes de Commande et Informatique Industrielle (SC2I) E.S.I.E.E. Cite Descartes, BP Noisy-le-Grand CEDEX 28 mai 1998

2 Table des matieres Prologue 3 Introduction 4 1 Optimisation des Problemes Lineaires Resolution de problemes avec matrices creuses Problemesdetransport Dualite et structure du probleme Decomposition Extensions aux problemes particuliers Conclusions Optimisation des Problemes Non-Lineaires Methodes basees sur le gradient Methodes basees sur la programmation lineaire Approximation lineaire Linearisations successives Methodes de coupes Optimisation par pas bornes Decomposition Coordination Conclusion Programmation Lineaire en Nombres Entiers Modelisation Methodes de separation et evaluation Lescoupesetlesinegalites valides Separation des variables par la methode de Benders Conclusions

3 4 Les Meta-Heuristiques Le recuit simule Les algorithmes genetiques Les reseaux neuro-mimetiques La logique oue Conclusion Conclusions 34 Curriculum Vitae 37 Activites pedagogiques Activites administratives et d'inter^et collectif Contribution au fonctionnement du Groupe ESIEE Contributions nationales et internationales Autres activites a caractere scientique Theses dirigees Bibliographie 51 Livre ou chapitres dans des ouvrages collectifs Articles de revues Actes de conferences Brevetsetrapports Theses dirigees References generales

4 Prologue A mon avis, il y a deux types de chercheurs : ceux qui s'attachent aun probleme specique en l'explorant par approches successives et incrementales et ceux qui s'attaquent a tous types de problemes en appliquant et adaptant les methodes disponibles. Personnellement, je me place dans cette deuxieme categorie par go^ut et pour tuer l'ennui. Dans ce rapport, je presente une succession de problemes et de methodes pour les traiter. Chaque probleme est souvent attaque par plusieurs methodes, le seul souci, etant de trouver la methode la mieux adaptee a sa resolution. Des annees de recherches m'ont amene a rencontrer des "integristes de la science", des chercheurs ayant un point de vue tres tranche sur les "bonnes" et les "mauvaises" methodes pour la resolution des problemes. Dans ce qui suit, je ne pretend pas presenter une (des) approche(s) pour tout chercheur mais une facon de faire la recherche qui me convient et me permet de ranimer continuellement mon inter^et dans un travail qui devient dans le contexte actuel, essentiellement nancier, de plus en plus dicile a realiser. De plus, mes divers cadres d'activites professionnelles, tant ingenieur qu'enseignant-chercheur, m'inclinent a une approche plut^ot pragmatique. L'essentiel dans tout ce qui va suivreestdoncbiendetrouver la solution optimale, si possible, voire simplement une solution, quelles que soient les methodes employees pour y parvenir. Peu importe alors le manque "d'orthodoxie" dont les "integristes scientiques" ne manqueront pas de qualier ces demarches. J'espere que le lecteur, ainsi averti, prendra autant d'inter^et a lire ce qui va suivre, que j'en ai eu a le realiser. 3

5 Introduction Les premiers travaux importants sur les techniques d'optimisation datent des annees cinquante avec le developpement de la programmation mathematique lineaire et non-lineaire. Depuis d'innombrables travaux ont ete publies traitant de problemes tres varies : continus et combinatoires, lineaires et nonlineaires, algebriques ou dans les graphes, deterministes ou stochastiques. Travailler dans ce domaine necessite une ma^trise de toute la cha^ne:de la modelisation a l'optimisation en passant par l'analyse numerique. Sans un de ces elements, il est dicile de traiter des problemes reels. Avant d'entamer la presentation de mes travaux il me semble necessaire de commencer par quelques remarques d'ordre general pouvant expliquer ma demarche en ce qui concerne la recherche et developpement dans ce domaine. Pour resoudre ce type de probleme, le chercheur va ^etre confronte des l'amorce a une serie de choix determinant pour la suite des operations. En eet, il lui faut tout d'abord choisir un modele. Cette operation est des plus delicates dans la mesure ou ce choix va determiner pour le moins le domaine de validite de la (des) solution(s) obtenue(s). Si le choix se porte sur un modele complexe (plus precis au sens de la realitephysique) la manipulation risque d'^etre co^uteuse (en temps de calcul) voire hasardeuse. Dans le cas ou un modele plus simple est utilise, le risque alors est grand d'obtenir des resultats peu ou pas utilisables. De plus, le choix du modele peut avoir une inuence determinante sur la pertinence des methodes de resolutions utilisees. Des exemples de ce type de probleme sont d'ailleurs largement abordes dans la suite de ce document. Lie au choix du modele une autre consideration doit ^etre prise en compte : 4

6 quid de l'optimalite d'une solution par rapport a un modele qui ne peut, par nature, representer totalement la realite? Et d'ailleurs, faut il eriger en religion la recherche de La Solution Optimale alors que dans beaucoup de cas une Bonne Solution est non seulement susante mais est m^eme la seule solution raisonnable eu egard aux ecarts entre le modele etudieetleprobleme reel? Ne faut il pas plut^ot considerer le critere d'optimalite comme un guide vers une Bonne Solution? Un autre probleme doit ^etre evoque dans cette introduction, probleme auquel, d'ailleurs nous n'apportons pas de solution generale, celui de la robustesse d'une solution optimale. En eet, dans les methodes telles que la programmation lineaire une modication mineure des donnees peut engendrer une solution optimale radicalement dierente de celle obtenue precedemment. Ceci pose de reels problemes quant a la mise en oeuvre sur des systemes reels. Il est aussi essentiel de denir au mieux les criteres d'optimalite qui vont permettre de caracteriser les solutions. Par exemple, dans le cas des robots manipulateurs deux criteres sont couramment utilises : le temps minimal et l'energie minimale. En fait, le premier critere va generer des solutions mettant a dure epreuve les capacites mecaniques de la structure alors que le deuxieme, qui d'ailleurs ne correspond pas vraiment a l'energie minimale, va fournir des commandes souples en limitant les eorts sur les actionneurs. Une ponderation de ces deux criteres fournit des solutions de compromis de bonne qualite. L'optimalite dans cette optique est donc le moyen de permettre a l'utilisateur de choisir a un niveau superieur, voire strategique. Nous nous trouvons dans ce cas face a un veritable outil d'aide a la decision. Dans les premiers temps, les techniques d'optimisations naissantes ont apporte un grand espoir. En eet, les previsions de puissance croissante des moyens de calcul pouvaient laisser croire qu'en utilisant de telles methodes la resolution de pratiquement tous les problemes etait envisageable. Cependant, il faut bien constater que cette certitude n'a pas eteentierementrealisee dans les faits et cela pour diverses raisons. Il a ete demontre que pour de nombreux problemes il n'y a pas de possibilite de solutions optimales en temps polyn^omial ce qui implique l'impossibilite de resolution dans le cas de problemes de taille reelle. Un des exemples les plus frappants etant le placement des composants et le routage dans le cas des V.L.S.I.. 5

7 Cette constatation a provoque le developpement de methodes fournissant des solutions sous-optimales basees sur l'emulation de processus naturels qu'ils soient physiques (recuit simule) ou biologiques (algorithme genetique ou reseaux neuro-mimetiques). D'une part ces methodes visent a l'obtention d'une solution presentantunecart limiteavec l'optimum avec une probabilite proche de l'unite plut^ot que d'assurer la solution optimale. D'autre part elles fournissent un cadre heuristique general permettant l'obtention de solutions ne necessitant qu'un temps de developpement limite. En tout etat de cause et qu'elle que soit la technique retenue les apports croises entre disciplines et/ou domaines scientiques prennent ici toute leur importance. La preuve en sera donnee dans la suite de ce memoire que ce soit au niveau de la confection des modeles ou au niveau de l'utilisation des techniques de resolution. Dans ce type de rapport, on peut d'ailleurs, assez souvent constater un enrichissement mutuel. Ainsi, les reseaux neuromimetiques dont l'apport a l'automatique est aussi important que l'apport de l'automatique a la comprehension de leur dynamique. La redaction de ce memoire a tente de privilegier une approche analytique et qualitative des diverses methodes developpees et/ou utilisees par l'auteur. Ainsi nous nous bornons a presenter de facon generale et succincte l'ensemble de nos travaux, en mettent l'accent plut^ot sur les avantages et les limitations de ces methodes. Le lecteur interesse pourra se reporter avec prot aux articles cites dans la bibliographie. La suite de ce memoire est organisee en quatre chapitres suivis par une conclusion. Cette division reete la diversite des travaux presentes. { Le premier chapitre traite de l'optimisation des problemes lineaires et ses extensions. Les domaines traites couvrent une gamme d'applications tres etendue : reseaux de distribution et de production d'electricite, reseaux de distribution de gaz et d'eau, systemes de chauage, robotique,... { Le deuxieme chapitre reprend l'optimisation des problemes non-lineaires. Les domaines abordes sont aussi varies que dans le premier chapitre et une attention particuliere est portee a l'adequation entre la formulation du probleme et la methode de resolution adoptee. { Le troisieme chapitre traite de la programmation lineaire en nombres 6

8 entiers. { Le quatrieme chapitre fait un point sur diverses "meta-heuristiques" : recuit simule, algorithmes genetiques, reseaux neuro-mimetiques et logique oue. { Enn on essaiera de conclure en faisant la synthese de ces diverses experiences. Un point technique qu'il me faut ici preciser. J'ai pris la liberte, dans cet ouvrage de citer les references bibliographiques en adoptant les conventions suivantes : { Les ouvrages (livres et articles) de references generales sont cites de la facon suivante [Met-53]faisant ainsi apparaitre le nom du ou des auteurs principaux ainsi que la date de parution. { Les livres ou j'apparais en tant que co-auteur ou auquels j'ai contribue pour au moins un chapitre sont cites ainsi [l-00]et sont classes par ordre de parution. {De m^eme les articles de revue dont je suis un des auteurs apparaissent sous la forme [r-01]et sont classes par ordre de parution. { On adoptera le m^eme schema pour les communications edites dans les proceedings des conferences qui sont citees ainsi [c-01]et sont classees par date de parution { Certains documents de type brevets ou rapports d'etudes que j'ai realises (ou encadres), sont libelles ainsi [a-01]et sont classe chronologiquement. { Enn, les theses que j'ai encadrees (ou co-dirigees) apparaissent ainsi [t-01]et sont classees par ordre de parution. 7

9 Chapitre 1 Optimisation des Problemes Lineaires Proposee par C.B.Dantzig en 1949 [Dant-49]la programmation lineaire a permis la resolution des problemes dans la plupart des domaines. Utilisee directement ou comme partie d'un autre algorithme, des problemes de tailles tres variees (quelques variables jusqu'a quelques dizaines de milliers) ont ete resolus par cette methode. Pour que ce type de resolution soit ecace, cette methode necessite une formulation adequate tenant compte de la specicite de chaque probleme traite. 1.1 Resolution de problemes avec matrices creuses Les problemes de grande taille sont rarement d'une grande connectivite. Les reseaux de distribution (e.g. electricite, eau, gaz) possedent un nombre de lignes par noeud tres limitenedependant pas de la taille du systeme. Bien que les matrices de ces reseaux soit grandes le nombre d'elements non nuls est proportionnel au nombre de noeud et non au carre de ce nombre. L'utilisation de methodes adaptees pour le stockage et le traitement des donnees permet de reduire le temps de calculs et donc d'augmenter la taille limite du probleme resolu [r-01], [r-03], [r-07], [r-10], [r-13], [r-14], [r-15], [r-16], [c-04], [c-06], [c-11], [c-13], [c-17], [c-21], [c-26], [l-03]. Il est essentiel d'utiliser ces techniques chaque fois qu'un probleme de ce type se presente. 8

10 Ces methodes sont basees sur deux developpements : { Le premier est mathematique. Il est lieaudeveloppement des methodes de decomposition et factorisation des matrices. { Le deuxieme est informatique. Il est base sur les techniques de traitement des listes dynamiques. Le choix d'une representation dans ce type de probleme a un caractere determinant. Ainsi, dans les cas des reseaux de distribution d'eau ou de gaz, on sera amene pour obtenir les bonnes proprietes (parfois contradictoires) a changer de representation au cours de la resolution [r-01]. 1.2 Problemes de transport Une extension de la programmation lineaire, les methodes de resolution des problemes de transport augmentent l'ecacite du calcul et permettent l'optimisation des problemes de dizaine de milliers de variable. Avant d'entreprendre la resolution d'un probleme d'optimisation, il est important de verier si le probleme peut ^etre ecrit dans cette forme [l-00], [c-07]. Souvent un probleme auxiliaire peut ^etre resolu de cette facon. Les options sont les suivantes : { Une dualisation du probleme peut aboutir a une forme de reseau de transport [r-03],[c-06]. Le probleme lineaire primal doit ^etre caracterise par une matrice avec des elements +1, -1 ou 0, avec 2 elements non nul par ligne seulement. Des formes voisine sont cependant possibles. { Une decomposition des problemes peut egalement produire des sous problemes en forme de probleme de transport [r-05], [r-07], [c-10]. Cette methode est particulierement ecace si la decomposition produit un probleme de petite taille de forme generale et un grand probleme de transport. {Un probleme d'optimisation combinatoire peut ^etre formule an de donner un probleme d'evaluation en forme de reseau de transport [r-04], [r-06], [l-03], [c-06]. La resolution des problemes de transport peut ^etre eectuee soit par la methode matricielle ou par les graphes. La methode basee sur la manipulation des graphes est plus ecace [l-00],[c-07]. La recherche debouche au- 9

11 jourd'hui sur une autre classe de methodes de type relaxation [Ber-88]ou de type Karmarkar [Kar-84]qui se reclame d'une ecacite superieure. 1.3 Dualite et structure du probleme Le probleme dual peut souvent avoir une meilleure structure pour la programmation lineaire que le probleme primal. Dans [c-05]et [r-03], par exemple, le probleme dual, apres transformation, a une structure de reseau de transport avec limites de ux dans les branches. La solution du dual est donc plus ecace que celle du primal necessitant l'utilisation de la methode du simplexe dans sa forme generale. Dans [c-11]apres formulation du dual une reduction du nombre de variables devient possible et une partie de contraintes duales est traitee par une modication du simplexe pour tenir compte de bornes superieures sur les variables. La base du probleme dual a une dimension plusieurs fois inferieures a celle du probleme primal et l'algorithme est donc plus ecace. Un autre exemple est celui de detection de collision pour robot [a-05]. Des contraintes lineaires multiples representent l'enveloppe des surfaces convexes des dierents segments du robot. Le nombre de ces contraintes peut s'elever a plusieurs dizaines. Cependant, le nombre de variables est seulement 3. Une dualisation de ces contraintes produit un probleme a 3contraintes seulement, et donc une base de 3 3. Il devient, alors, possible de resoudre ce probleme en temps reel. 1.4 Decomposition L'utilisation de la decomposition peut ^etre motivee par deux raisons parmi d'autres qui me paraissent essentielles : { La taille du probleme : bien que les ordinateurs soient deplusenplus puissant, il est parfois dicile de resoudre un probleme d'un seul coup. Gr^ace a unedecomposition du probleme en plusieurs sous problemes, il est possible de contourner cette diculte. Les travaux [r-02], [c-02],[c-05] sont une illustration de ce type d'application. 10

12 { La structure du probleme : la decomposition du probleme produit un petit probleme d'une structure generale et un grand probleme d'une structure particuliere. Ce grand probleme pouvant ^etre resolu par un algorithme particulier adapte a cette structure. Dans [r-05], [r-07],[c-10] un probleme de plusieurs milliers de variables est decompose en deux probleme en utilisant la methode de Benders [Ben-62]. { Le premier probleme est d'une forme generale avec des contraintes dont le nombre varie au cours de l'optimisation. Il est resolu dans sa forme duale. Le nombre de variables est de quelques dizaines. {Le deuxieme probleme de taille importante (allant jusqu'a variables) peut prendre deux formes. La premiere forme permet une resolution par ordre de merite et la deuxieme forme permet une resolution basee sur un reseau de transport equivalent. La decomposition est dans ce cas l'outil ideal. Elle produit des solutions optimales dans un temps qui reste limitea quelques minutes. 1.5 Extensions aux problemes particuliers Frequemment les problemes d'optimisation lineaire gurent dans des formes particulieres. Dans la section precedente des sous problemes ont une forme permettant la resolution par des algorithmes adaptes derives de la methode du Simplexe. D'autres problemes peuvent se presenter directement ou apres manipulation dans une forme simple. Ainsi dans [a-02][a-03][a-04]un probleme de commande d'un systeme de chauage de b^atiments se presente comme un probleme de commande optimale lineaire d'un systeme multi-entrees et une sortie. Il est demontre ensuite que tout probleme a plusieurs commandes et possedant une sortie unique peut ^etre resolu par une methode basee sur un ordre de merite. Ceci permet une solution optimale en temps reel sur un processeur d'une capacite de calcul limitee. 1.6 Conclusions La programmation lineaire est un outil indispensable pour l'optimisation des problemes lineaire. Depuis le developpement de la methode du simplexe 11

13 une quantite innombrable d'extensions a ete developpe. Les applications sont egalement tres etendues. Une grande variete de problemes a eteresolue. La resolution ecace necessite une bonne connaissance des outils et une adaptation entre l'outil et le probleme. Dans ce chapitre quelques-unes de ces adaptations ont ete traitees. La methode le plus utilisee pour la resolution des problemes lineaires reste jusqu'a aujourd'hui celle du simplexe. La methode developpee par Karmarkar [Kar-84], cependant, commence a la concurrencer. Une classe de methodes basee sur le m^eme principe (methodes du point interieur) commence a voir le jour et un grand nombre de chercheurs s'y interessent. Le travail presente dans ce chapitre n'a pas l'intention de traiter toutes les methodes (travail presque impossible etant donne larichesse de la litterature dans le domaine) mais de presenter une demarche dans laquelle un optimiseur doit toujours chercher une coherence entre les modeles mathematique et la methode utilisee. 12

14 Chapitre 2 Optimisation des Problemes Non-Lineaires La terminologie de programmation non-lineaire a ete proposee par Kuhn &Tucker [Kuh-51]en 1951 pour designer la recherche de l'optimum d'une fonction de plusieurs variables en presence ou non des contraintes d'egaliteet d'inegalite. Ils presentent egalement les conditions d'optimalite. Les travaux qui ont suivi vont dans plusieurs directions : {ledeveloppement des extensions permettant d'accelerer la convergence par l'utilisation des informations de deuxieme ordre ou la methode converge en un nombre ni d'iterations pour des fonctions quadratique [Fle-64],[Pol-74]. {le developpement des methodes permettant d'accelerer le calcul par l'utilisation des approximations des matrices utilisees dans les algorithmes [Bro-70],[Fle-70],[Gol-70],[Sha-70]. {methodes basees sur la programmation lineaire. {methodes de decomposition pour le traitement des problemes de grande taille. Dans ce chapitre des applications de la programmation non-lineaire a des problemes d'operation et de commande optimale seront traitees. 13

15 2.1 Methodes basees sur le gradient Les methodes d'optimisation basees sur le gradient oulesousgradientont recu une tres grande attention des chercheurs enroles dans la programmation mathematique. Deux grandes classes de problemes existent : { Optimisation sans contraintes { Optimisation avec contraintes La grande majorite des problemes rencontres sont avec contraintes. Ces contraintes sont de type egalite ou inegalite. Les dicultes rencontrees dans l'optimisation sont essentiellementliees a ces contraintes. Un algorithme ecace doit traiter ces contraintes d'une facon adaptee a chaque categorie. Dans le m^eme probleme il est parfois necessaire d'utiliser plusieurs methodes pour le traitement des dierentes contraintes. Ces methodes sont les methodes primales egalement appelees methodes directes et les methodes duales. { Dans le premier cas les contraintes sont traitees directement, ce qui implique leur respect tout au long de la procedure de resolution et notamment a l'initialisation. Dans cette methode nous avons besoin des le depart d'une solution qui respecte les contraintes. Toute solution ulterieure doit de m^eme preserver cette propriete. Dans les cas, frequents, ou il est necessaire de garantir une solution bien que non optimale en temps limite cette methode, si elle est applicable, nous permet de repondre a cette exigence. { Dans le second cas, on convertit un probleme d'optimisation avec contraintes en un probleme d'optimisation sans contraintes en utilisant des multiplicateurs de Lagrange (variables duales) pour traiter les contraintes. Le probleme se ramene donc a un probleme de des variables primales avec minimisation des variables duales. Le gros avantage de cette formulation c'est qu'il n'est nul besoin de disposer d'une solution faisable au depart, mais par la m^eme il est indispensable d'arriver a l'optimum pour ^etre sur que la solution soit faisable. Il est important de noter que les deux approches ne sont pas mutuellement exclusives et qu'il est parfaitement possible de les faire cohabiter dans la 14

16 resolution d'un m^eme probleme, ainsi dans [t-01]les contraintes lies a l'etat nal sont traites par projection alors que les bornes sur les variables sont dualisees. 2.2 Methodes basees sur la programmation lineaire Plusieurs options sont possibles pour la resolution des problemes nonlineaires par la programmation lineaire : { l'approximation des fonctions non-lineaires par une succession de segments lineaires { les methodes de linearisations successives { les methodes basees sur les coupes { programmation convexe Les trois premieres methodes ont ete utilisees par l'auteur. La qualite de la methode du simplexe dans le traitement des contraintes d'inegalite rend cette methode comme une alternative ecace pour les problemes possedants un grand nombre de ces contraintes Approximation lineaire Etant donne une erreur d'approximation il est possible de denir un nombre de segments lineaires pouvant representer une fonction non-lineaire. Des contraintes sont ensuite utilisees pour remplacer la fonction d'origine. Plusieurs variables sont ensuite utilisees [Min-82], [l-06], [c-21]. Ces variables gurent dans la base de la programmation lineaire d'une facon exclusive, soit une a la fois ou deux par deux d'une facon sequentielle. Etant donne la specicite de ces formes, il est important d'adapter les programmes utilises an de reduire le temps de calcul. Une autre precaution a prendre est d'optimiser le choix de segments. Il est important, cependant, d'analyser la convexite des contraintes traitees avant d'entreprendre ce type de methode. 15

17 2.2.2 Linearisations successives Les methodes de programmation non-lineaire basees sur le gradient presentent quelques dicultes de convergence en ce qui concerne les problemes d'optimisation avec un nombre important de contraintes d'inegalite. Un algorithme de resolution des problemes non-lineaire basee sur la linearisation des contraintes peut remedier a ce probleme [r-02]. La linearisation des contraintes dans le voisinage d'une solution permet l'utilisation de la programmation lineaire pour obtenir une solution du sous probleme lineaire. En repetant cette procedure il est possible de resoudre des problemes. Des phenomenes d'oscillation peuvent appara^tre autour de la solution optimale. En denissant une sphere limitant la modication de la solution a chaque iteration cette oscillation peut ^etre amortie Methodes de coupes Dans le cas de convexite de toutes les contraintes, il est possible d'optimiser un probleme non-lineaire en utilisant de coupes successives formant une enveloppe lineaire de l'espace des solutions [a-01], [Gom-59]. On commence par un probleme lineaire delimitant d'une facon large cet espace. La resolution de ce probleme est ensuite utilisee pour ajouter des contraintes lineaires supplementaires. Cette procedure est repetee jusqu'a convergence. Une multitude de travauxderecherche ont ete publies sur la convergence des methodes de coupes. Cette approche est specialement ecace dans le cas ou un petit nombre de variables est susant pour representer le probleme. Dans l'optimisation de reseaux d'eau par exemple les coupes peuvent ^etre representees en fonction des variables de commande seulement, les autres etant calculees a chaque iteration pour tester les contraintes et generer les coupes Optimisation par pas bornes Comme il a ete precise auparavant les methodes precedentes peuvent engendrer certains problemes : { oscillations dans le cas de la methode de linearisations successives 16

18 { problemes de convexite dans le cas de la methode des coupes. Une facon de pallier aux dicultes de ces deux approches est d'utiliser la methode d'optimisation par pas bornes. Dans cette approche, a chaque iteration on construit un espace lineaire borne qui prend en compte aussi bien les contraintes d'origine que les limites de variation sur chaque variable. Ce probleme est alors resolu par l'application de la programmation lineaire. Cette methode equivaut a unemethode de gradients avec projection sur l'ensemble des contraintes (egalites ou inegalites). 2.3 Decomposition Coordination Comme nous l'avons deja evoque dans le premier chapitre sur les problemes lineaires la decomposition coordination va s'appliquer essentiellement aux problemes de grande taille et/ou aux problemes susceptibles d'^etre aisement separes en sous-problemes independants. Ceci etant, les methodes de decomposition et les problemes a resoudre ne sont pas du tout de la m^eme nature. Ainsi dans le cas de la planication de trajectoires de robots [c-22], [c-43], [c-46] la decomposition decoule naturellement de la structure du probleme (chaque robot constitue un sous probleme d'optimisation) et la coordination correspond a l'evitement des collisions entre robots. 2.4 Conclusion L'optimisation des problemes non-lineaires est un domaine tres vaste. Heureusementde nombreuses techniques utilisees pour les problemes lineaires sont applicables comme nous l'avons presente dans ce chapitre. L'essentiel pour l'utilisateur est de bien analyser son probleme an de choisir l'approche la mieux adaptee. Une methode unique ne peut traiter ecacement de tous les problemes. Ainsi un logiciel de CACSD tel que Matrix x qui ne propose qu'une seule methode d'approximation successive quel que soit le probleme devient relativement inecace quand ce probleme atteint une taille realiste ou qu'il sort du cadre des cas d'ecole. 17

19 Chapitre 3 Programmation Lineaire en Nombres Entiers Une grande majorite de problemes d'optimisation dans le milieu industriel se presente en forme d'optimisation combinatoire. Une approximation continue est quelque fois possible, comme dans le cas ou la solution est en nombres entiers mais u les nombres sont susamment grands pour permettre une approximation continue. Cependant, pour le plupart des problemes cette approximation n'est pas susante. Quelques problemes peuvent se resoudre en temps polyn^omial (arbre du poids minimum, ots,...), mais la grande majorite necessite des algorithmes non-polynomiaux. Ces derniers sont diciles a resoudre et necessitent des traitements particuliers. Dans ce chapitre je presente quelques approches pour des cas reels avec leurs avantages et leurs limitations. 3.1 Modelisation Nemhauser et Wolsey[Nem-88] resument l'essentiel de la modelisation des probleme en nombre entier par la constatation suivante : "In integer programming, formulating a good model is of crucial importance to solving the model." Bien que cette constatation soit importante pour beaucoup de problemes, elle est essentielle dans la programmation en nombres entiers. Souventnousavons a resoudre un probleme auxiliaire d'evaluation dans lequel les variables sont 18

20 continues. Ce probleme permet l'obtention des bornes sur la fonction objectif an de contr^oler l'arborescence de l'enumeration. De la qualite de ces bornes depend l'ecacite de la solution : { deux formulations equivalentes pour le m^eme probleme en nombres entiers peuvent donner des bornes tres dierentes pour le probleme d'evaluation. { l'essentiel du temps de calcul est souvent utilise dans la resolution du probleme d'evaluation. Il est donc important que ce probleme soit resolu d'une facon ecace. Quelquefois ces deux criteres peuvent ^etre contradictoires et un compromis est necessaire. Dans les sections suivantes je presente quelques cas rencontres et des approches pour leurs traitements. 3.2 Methodes de separation et evaluation L'optimisation de problemes d'optimisation combinatoire necessite souvent l'exploration des ensembles de solution. Cette exploration peut se reveler co^uteuse et dans beaucoup de cas prohibitive. La methode de separation et evaluation (branch & bound) est basee sur une "exploration intelligente" [Sak-84]du domaine des solutions du probleme d'optimisation combinatoire. Les methodes de separation et evaluation progressive forme la classe la plus populaire de techniques ayant pour but l'obtention d'une solution optimale globale aux problemes de programmation combinatoire. Ces methodes sont basees sur un principe simple et sont applicables tant aux formulations algebrique que dans les graphes. Le principe en est tres simple. Cependant, il ne presente qu'un cadre general a l'interieur duquel beaucoup d'option sont possibles. Dans les vingt dernieres annees des nombreux travaux de recherche ont ete publies dans ce domaine. L'essentiel de ces travaux est oriente vers le choix des methodes de separation ou de l'evaluation. L'ecacite de l'algorithme depend de la methode de separation utilisee mais surtout du choix de la technique d'evaluation des sous-ensembles des solutions. 19

21 Le principe de la methode est le suivant. Une methode d'enumeration arborescente est denie. A chaque sommet dans l'arbre une evaluation est operee. Cette evaluation a pour objet de detecter une des conditions suivantes : { y-a-t-il une solution realisable dans le sous-ensemble de solutions correspondant a ce sommet? { y-a-t-il une solution realisable dans le sous-ensemble de solutions correspondant a ce sommet avec un co^ut meilleur que la meilleure solution deja rencontree? { la solution obtenue en relaxant des contraintes respecte-elle ces contraintes? Si la reponse a une des deux premieres questions est negative ou si elle est positive pour la derniere question on "sterilise" le sommet en arr^etant denitivement la recherche a partir de celui-ci. Si la reponse a la troisieme question est positive et la solution est meilleure que la meilleure solution deja rencontree on remplace celui-ci. Si les reponses sont positives pour les questions un et deux et negative pour trois on opere une separation. La separation est l'operation qui consiste dans le partage de l'espace des solutions en sous-ensembles, chaque sous-ensemble aecte a un nouveau sommet dans l'arbre de l'enumeration. Malgre la simplicite des principes de base, l'utilisation de cette methode necessite le developpement pour chaque probleme d'approches de separation et d'evaluation adaptees. Dans cette section je propose de traiter quelques applications en soulignant les dicultes rencontrees. Une methode frequemmentutilisee pour le probleme de programmation lineaire en nombres entiers est celle basee sur la programmation lineaire. Le probleme d'evaluation est obtenu en relaxant les contraintes d'integrites sur les variables. Les variables sont considerees comme continues entre leurs bornes superieures et inferieures. Dans le cas de minimisation, la resolution du programme lineaire fournie une borne inferieure sur le sous-ensemble des solutions represente par le sommet de l'arbre evalue. La technique de separation depend des variables utilisees. Dans le cas de variables binaires [r-03], [r-04], [r-06], [r-10], [l-03] la separation correspond a une aectation d'une variable a zero ou un. Dans le cas des variables en nombres entiers la fourchette de 20

22 variation d'une variable est separee en deux parties et ainsi a chaque sommet correspond une borne supplementaire sur une variable. Le programme lineaire doit donc traiter ecacement les bornes sur les variables. Deux options sont possibles pour traiter les ces contraintes : {Formulation duale : Dans la formulation duale la branche droite de contraintes devient le co^ut. Ceci a comme avantage que les solutions du probleme a un sommet restent realisables pour les autres sommets. Il est donc possible de reprendre le programme lineaire et de continuer l'optimisation. En favorisant la recherche en profondeur a chaque sommet on modie une seule borne et la solution peut ^etre obtenue en operant un nombre limite d'iterations. {Formulation primale : Dans la formulation primale, chaque variable aura deux contraintes (minimale et maximale). Il est donc important de pouvoir traiter ces contraintes de facon ecace. Une version du Simplexe traitant les bornes sur les variables est necessaire. En plus, dans beaucoup de problemes des contraintes de sommes sur des variables sont rencontres [r-10], [l-03], [c-15], ce qui necessite un algorithme pouvant traiter des bornes superieures generalisees. La resolution du probleme d'evaluation etant la partie necessitant l'essentiel du temps de calcul, il est d'une extr^eme importance de resoudre le probleme en utilisant la technique la mieux adaptee. Le probleme peut ^etre, soit directement ou apres manipulation, representer en forme de probleme de transport [r-03], [c-06]. Ceci a comme resultat de reduire le temps de calcul et d'augmenter la taille des problemes pouvant ^etre resolus. Une option permettant d'obtenir le m^eme type de resultat et la methode de relaxation lagrangienne [Min-82], [Ree-93], [Nem-88]. L'application de cette methode permet l'obtention de problemes d'evaluation pouvant ^etre resolus d'une facon rapide souvent par ordre de merite [Min-82], [r-19]. Il est important de noter que dans quelques cas la relaxation lagrangienne donne des solutions proches de l'optimum et des bornes de bonne qualite. Un avantage de la methode de separation et evaluation est de pouvoir integrer 21

23 des heuristiques sans mettre en cause l'optimalite de la solution : {Toute solution de depart obtenue par une bonne heuristique peut ^etre utilisee. Meilleure est la solution, plus importante est l'action de l'evaluation pour la reduction de l'arborescence. { Apres chaque evaluation on peut utiliser un heuristique permettant l'obtention d'une solution en nombres entiers localement. Cette solution est retenue si elle est meilleure que la meilleure solution disponible (sans la sterilisation du sommet). {Ilestegalement possible d'associer cette approche a d'autres approches de recherche telles que les systemes experts [r-09], [c-16] ou la propagation des contraintes. Dans cette section, j'ai presente quelques options liees aux methodes de separation et d'evaluation. Je suis conscient de n'avoir traite qu'une petite partie des travaux existant dans ce domaine aussi riche qu'important. Un approche generale de l'evaluation a ete presentee. Une evaluation peut ^etre basee sur d'autres techniques et dependre de chaque probleme. Balas [Sak-84], par exemple, propose dans son algorithme "additif" une possibilite pour l'optimisation de problemes binaires. 3.3 Les coupes et les inegalites valides La methode du Simplexe produit des solutions sur les points extr^emes des polyedres convexes. Si ces points extr^emes correspondent aux solutions en nombres entiers la solution optimale obtenue respecte les contraintes d'integrite sur les variables. Un exemple interessant et le probleme de transport ou le probleme de ots a co^ut minimum. Si les charges sur les puits, sur les sommets ainsi que les bornes sur les variables sont en nombres entiers la solution optimale est en nombres entiers. Le probleme d'aectation presente la m^eme propriete. Ainsi ce probleme, qui peut ^etre resolu comme un reseau de transport, produit une solution optimale ou les variables sont zero ou un. Ceci n'est pas le cas pour la grande majorite de problemes. L'idee de base des methodes de coupes est d'ajouter des contraintes au probleme d'optimisation an que l'optimum corresponde a un sommet du nouveau polyedre. 22

24 Le precurseur dans ce domaine est R.E.Gomory [Gom-59]. Il a propose en 1958 un algorithme general pour la production de coupes. Les performances de ces methodes n'etant pas a la mesure des espoirs suscites par la methode, la recherche a ete orientee vers d'autres methodes. L'etude polyedrale introduite par J.Edmonds [Edm-65]en 1965 a ouvert le chemin a une autre approche de coupe,la methode d'inegalites valides. Associee a la methode de separation et evaluation on obtient un probleme d'evaluation d'une qualite superieure. Il s'agit de produire pour chaque probleme des coupes tenant compte de sa specicite. Bien que ne pouvant resoudre de facon generale tous les problemes d'optimisation combinatoires cette approche augmente le nombre des outils disponibles pour traiter des problemes diciles. 3.4 Separation des variables par la methode de Benders De m^eme que dans le chapitre 1, quand un probleme possede pour une partie une structure permettant la resolution avec une approche adaptee, il est interessant de separer ce probleme en sous-problemes. Un exemple et celui ou un probleme contient une grande partie des variables continues et quelques variables en nombres entiers. Dans ce cas, en utilisant la methode de decomposition de Benders [Ben-62]on resout un sous-probleme par la programmation lineaire et un autre comme un probleme d'optimisation combinatoire. 3.5 Conclusions Dans ce chapitre j'ai tente de traiter les problemes d'optimisation lineaire en nombre entiers. Etant donne la complexite du domaine et l'importance de la litterature, il n'est evidement pas possible d'^etre exhaustif. Des methodes adaptees a chaque probleme particulier existent et il est important de bien choisir ces approches. Une grande classe de ces methodes n'a pas ete traitee dans ce chapitre. Cette classe est celle de meta-heuristique : recuit simule, algorithmes genetiques, recherche tabou, reseaux de neurones. Je reserve le traitement de ces methodes au chapitre suivant. 23

25 Chapitre 4 Les Meta-Heuristiques Les methodes d'optimisation combinatoire se sont developpees depuis une quarantaine d'annees de deux facon : { d'un cote les methodes heuristiques, optimales ou non, adaptees aux dierentes classes de problemes. { de l'autre cote les methodes globales telles que les methodes d'enumeration implicite, les methodes de coupes et les methodes de separation et evaluation progressive. Dans le cas ou une heuristique optimale existe et si la complexite de calcul de l'heuristique est bonne (ex. complexite polyn^omiale), le choix de la methode est evident. Par contre si une telle heuristique n'existe pas une formulation permettant la resolution par une methode globale est necessaire. Cette formulation peut ^etre soit sous forme algebrique soit sous forme de graphe. Ainsi l'utilisation d'une des multiples methodes d'optimisation devient possible. Les dicultes rencontrees dans beaucoup de situations ont initie le developpementdesmethodes permettant l'obtention de solutions sous-optimales. Ceci est justie par les criteres suivants : { Dans beaucoup de situations les modeles utilises etant approximatifs, une solution exacte n'est pas necessaire et n'est pas justiee. { Les criteres utilises dans l'optimisation sont egalement souvent d'une nature indicative, et donc une solution sous-optimale est acceptable. { Les dicultes rencontrees dans l'optimisation des problemes, vu la complexite du calcul, justient amplement l'utilisation d'une methode sous 24

26 optimale. En eet, il vaut mieux produire une solution acceptable en temps limite plut^ot qu'une solution optimale dans un temps de calcul inacceptable. De toute facon, dans beaucoup de cas l'utilisateur se trouveegalement dans la situation d'arr^eter une methode globale avant l'obtention de la solution optimale. { Les methodes heuristiques presentees dans ce chapitre demandent un temps de developpement limite, ce qui permet l'obtention d'une solution rapide aux problemes poses. Elles permettent egalement la resolution des problemes avec une formalisation mathematique limitee. Les methodes que nous pouvons appeler meta-heuristiques sont basees sur l'observation suivante : Dans la nature, il n'est nullementnecessaire d'optimiser d'une facon formelle pour aboutir a une evolution dans le bon sens. Les processus physiques peuvent se stabiliser autour d'un point d'energie minimale. Les especes evoluent suivant des criteres de survie permettantuneselection naturelle des meilleurs elements. Dans ce chapitre nous traiterons des applications de ces techniques aux problemes d'optimisation. Dans la premiere section nous traiterons la methode du recuit simule, une methode basee sur l'emulation des processus de recuit des metaux. Les algorithmes genetiques traites dans la deuxieme section sont bases sur la theorie de l'evolution. Les methodes presentees dans la troisieme section, les reseaux neuro-mimetique, sont basees sur l'emulation des processus d'apprentissage du cerveau. Enn les methodes basees sur la logique oue imitent les processus de conduite de l'homme ou les decisions ne sont jamais prises sous une forme \tout-ourien". 4.1 Le recuit simule L'utilisation de la methode de recuit simule pour l'optimisation date des debuts des annees 1980 [Kir-80]. Depuis un grand nombre de publication est apparu dans la litterature. Ces publications couvrent aussi bien les aspects theoriques de l'algorithme que des applications dans des domaines tres 25

27 varies. Nous trouvons par exemple des travaux sur les problemes classiques de l'optimisation combinatoire {voyageur de commerce, { couplage maximum, { coupe minimum, { coloration, { classication, { etc... Aarts et Korst [Aar-89]fournissent une excellente introduction dans le domaine. On y trouvera notamment les demonstrations concernant la convergence de l'algorithme. Contrairement aux algorithmes vus dans les autres chapitres le recuit simule, sous certaines conditions, converge vers la solution optimale avec une probabilite proche de un. Les idees de base du recuit simule sont basees sur l'algorithme de Metropolis [Met-53]. Dans leur publication en 1953 Metropolis et ses collegues presentent un algorithme pour simuler le recuit des materiaux. En chauant les materiaux vers leur temperature de liquefaction, les proprietes structurelles de ces derniers vont dependre du taux de refroidissement. L'algorithme de Metropolis simule l'evolution de l'energie interne jusqu'a \l'etat froid". L'algorithme de recuit simule est base sur l'emulation de ce processus. La fonction objectif remplace l'energie et la temperature est remplacee par un facteur de contr^ole. Il est base sur l'extension de la recherche locale de l'optimum en acceptant a toutes les etapes, avec certaines probabilites, des solutions augmentant la valeur de la fonction objectif, ce qui permet d'echapper aux optimums locaux. Au depart on augmente la temperature (le facteur de contr^ole) an de permettre "presque" toutes les solutions. Ensuite, la temperature est reduite progressivement d'une facon qu'il convient de determiner et a chaque temperature un certain nombre d'essais est eectue. Les solutions sont retenues dans deux cas : { soit une meilleure fonction objectif { soit apres la generation d'un nombre aleatoire entre zero et un et le comparant avec l'exponentielle de l'augmentation (cas de la minimisation) de la fonction objectif divisee par la temperature. 26

28 L'implementation de l'algorithme necessite la resolution de plusieurs problemes : { codage des solutions et structure de voisinage { programme de refroidissement {critere d'arr^et { traitement decontraintes Le codage des solutions est une etape critique de l'application du recuit simule a l'optimisation d'un probleme donne. De ce codage depend l'ecacite de l'algorithme aussi bien dans la separation des solution et dans la mise a jour de la valeur du critere d'optimisation. Le bon choix de la structure de voisinage est primordial pour l'ecacite du calcul. Les problemes d'optimisation combinatoire peuvent sepresenter soit avec des variables continues ou des variables en nombres entiers voire binaires. Dans les cas des variables continues ces variables peuvent^etre codees par une approximation en nombres entiers. Dans ce cas deux types de codes peuvent ^etre utilises : codage des dierents niveaux ou codage binaire. { Dans le premier cas les solutions voisines ont des valeurs proches en ce qui concerne la fonction objective. { Dans le cas du codage binaire le changement d'un bit peut produire une grande modication de la solution d'une iteration a l'autre. Les variables continues peuvent ^etre representees directement comme des reels [c-42], [c-49], [t-10]. Dans ce cas une solution voisine peut ^etre generee d'une facon aleatoire en denissent une amplitude et modulant cette amplitude en la multipliant par un nombre aleatoire entre zero et un. Le codage a une grande inuence sur la convergence de l'algorithme. Pour le probleme de classication des objets en familles suivant leurs attributs [r-19] il est demontre qu'un codage et une structure de voisinage permettant une grande separation des solutions peuvent deboucher sur une convergence plus rapide. Le programme de refroidissement a fait l'objet d'une abondante litterature [Aar-89], [Ree-93]. Ce programme consiste dans le choix de la temperature 27

29 initiale, la temperature nale, le taux de refroidissementetlenombre d'essais a chaque temperature. La temperature initiale est en general choisie de telle facon que la presque totalite des solutions soit acceptee. Un taux de l'ordre de 95% est en general susant. La temperature est determinee soit a partir des connaissances du probleme a traiter [c-52]soit numeriquement. La determination numerique peut ^etre obtenue soit en realisant un nombre important d'instances du probleme a traiter soit en augmentant la temperature jusqu'a l'obtention du taux d'acceptation souhaitee avant de commencer le programme de refroidissement. La temperature est ensuite reduite progressivement jusqu'a la temperature d'arr^et. Un programme simple du type geometrique convient pour le plupart des problemes : on posera alors T k = T k;1 0 < <1. Une valeur de entre 0,8 et 0,99 est en general utilisee. La temperature d'arr^et peut ^etre choisie soit a priori soit en fonction des co^uts. Un nombre de transitions entre solutions a chaque temperature est ensuite utilise. Il se doit d'^etre assez important. De plus ce nombre est en general augmente achaque temperature de facon geometrique : on posera alors L k = L k;1 > 1. Les valeurs de generalement utilisees evoluent entre 1,01 et 1,20. Les contraints peuvent ^etre traitees soit implicitement dans le codage soit par penalisation. Il est important de noter que contrairement aux methodes basees sur le gradient la penalisation ne pose pas de grandes dicultes et permet dans beaucoup de situations d'echapper aux optimums locaux. En conclusion, le recuit simule presente les avantages suivants : { Obtention des resultats proches de la solution optimale globale. { Resolution des multiples problemes d'optimisation combinatoire : probleme non-convexes necessitant dans le plus part de cas un temps nonpolynomial. {Facilite et rapidite d'implementation (des solutions sont obtenues dans un temps de developpement limite). { L'algorithme peut ^etre execute en temps polyn^omial. Cependant, bien que polyn^omial, ce temps d'execution peut ^etre assez important. 28

30 4.2 Les algorithmes genetiques Bien que les premiers developpements connus dans le domaine des Algorithmes Genetiques (AG) remontent a 30 ans, leur application a l'optimisation est assez recente. Les applications initiales se trouvaient essentiellement dansle domaine de l'intelligence articielle comme, par exemple, dans les jeux ou la reconnaissance de formes. C'est seulement recemment que la communaute de la Recherche Operationnelle s'est interessee a ces techniques et que des travaux assez larges ont ete rapportes en optimisation combinatoire. Les travaux de base en Algorithmes Genetiques sont d^u a Holland et son equipe de l'university of Michigan dans les annees 60 et 70. L'ouvrage de Holland [Hol-75]traitant les aspects theorique est paru en Dans cette section nous presenterons ces algorithmes et nous discuterons des extensions ainsi que quelques applications. Les algorithmes genetiques peuvent ^etre consideres comme une facon intelligente d'exploiter la recherche aleatoire d'une solution optimale. L'optimisation de problemes non-convexe et, d'une facon plus specique, la plupart des problemes d'optimisation combinatoire par les methodes de recherche locale aboutissent a des optima locaux souvent loin de l'optimum global. Pour combler ce handicap des methodes de recherche aleatoire ont deja ete proposees. Ces methodes, cependant, necessitentun developpementspecique pour chaque probleme. Les algorithmes genetiques fournissent un cadre heuristique general pour une recherche aleatoire d'ou l'appellation meta-heuristique. L'appellation vient de l'analogie entre la representation des solutions par des structures vectorielles et la representation genetique par des chromosomes. Dans la reproduction les caracteristiques des descendants sont fonctions de la combinaison des chromosomes des parents. D'une facon similaire, dans la recherche des meilleures solutions on groupe des parties de solutions existantes. Un algorithme genetique dans sa forme la plus simple necessite une prise de decision en ce qui concerne les elements suivants : { Codage des solutions et choix d'une population initiale 29