DESS INFORMATIQUE DECISIONNELLE METAHEURISTIQUES

Transcription

1 DESS INFORMATIQUE DECISIONNELLE METAHEURISTIQUES Virginie Gabrel B220ter chap I : Ge ne ralite s sur la re solution des probl`mes combinatoires chap II : Le recuit simule chap III : Les me thodes tabou chap IV : Les algorithmes ge ne tiques 1

2 CHAPITRE I Ge ne ralite s sur la re solution des probl`mes combinatoires I) Introduction Probl`me ge ne rique : Min f (x) x S ous est un ensemble fini mais de tr`s grande taille Pour leur re solution : Me thodes exactes pour de terminer une solution optimale : Programmation dynamique, branch & bound, combinatoire polye drique«me thodes pour de terminer une» bonne à solution (solution de de part pour initialiser une me thode exacte, solution optimale impossible a trouver en un temps acceptable) : Les algorithmes constructifs (gloutons base s sur une heuristique, sur une relaxation sur un partitionnement/de composition ou algorithmes spe cifiques) Les algorithmes de descente (de terministes et ale atoires) Les me taheuristiques (recuit simule, recherche tabou, algorithmes ge ne tiques «) Proce dures de pre -traitement (fixation de variables, e limination ou adjonction de contraintes) Relaxations pour l obtention de bornes infe rieures (continues, lagrangiennes«) 2

3 Glossaire : Espace de recherche : ensemble des solutions re alisables (S) Algorithme approche : algorithme permettant d explorer une partie de l espace de recherche pour trouver une solution re alisable du probl`me en tenant compte de la fonction e conomique. Solution approche e : solution obtenue par un algorithme approche (non ne cessairement optimale) Heuristique : r`gle ou strate gie de» bon sens à pour limiter l espace de recherche. Exemple d algorithme approche : Branch and bound partiel. 3

4 II) Les algorithmes constructifs 1) les algorithmes gloutons base s sur une heuristique - application au probl`me du sac-a-dos Max 12x1 + 7x2 + 16x3 + 25x4 + 3x5 + 20x6 + 16x7 + 9x8 s.c. 2x1 + x2 + 4x3 + 5x4 + x5 + 3x6 + 2x7 + x8 5 xi { 0,1} i = application au probl`me de recouvrement Min 7x1 + 3x2 + 7x3 + 12x4 + 6x5 s.c. x1 + x3 + x4 1 x2 + x4 1 x1 + x5 1 x3 + x5 1 xi { 0,1} i = application au probl`me du voyageur de commerce 4

5 Algorithme glouton pour le probl`me du sac-a-dos Hypo : c a 1 1 c a 2 2 L c a n n Pour tout j allant de 1 a n faire x j 0 Si a j b alors x j 1 b b - a j FinSi FinPour 5

6 Algorithme glouton pour le probl`me de recouvrement Initialement : x j 0 pour tout j Faire determiner r J tel que : c x r 1 n J J\{r} Pour tout i I I r faire m m-1 I I\{i} Pour tout j J J i faire n j n j - 1 FinPour FinPour Tant que m 0 r r c = min n j J j j 6

7 Algo glouton pour le probl`me du voyageur de commerce Probl`me du voyageur de commerce (TSP pour Traveling Salesman Problem): - V : Ensemble de n points (sommets) - Ensemble de coˆ ts c uv : coˆ t pour aller de u a v. E : ensemble des liaisons G=(V,E) : graphe complet - Tour (ou circuit hamiltonien) : circuit qui passe exactement une fois en chacun des sommets de V. - Coˆ t d un tour = somme des coˆ ts des arœtes traverse es TSP : De terminer le tour de coˆ t minimal Pb difficile tr`s e tudie : n! = nombre de solutions possibles Capacite actuelle a re soudre des probl`mes de grande taille (autour de 7000 sommets lorsque les coˆ ts sont proportionnels aux distances euclidiennes) 7

8 Algo glouton pour le probl`me du voyageur de commerce Algorithme du plus proche voisin - Partir d un sommet quelconque - Visiter le nç ud le plus proche non encore visite - Retourner au nç ud de de part quand tous les autres nç uds ont e te visite s Algorithme d insertion e 4 d - Partir d un circuit joignant deux sommets (par exemple les extre mite s d une arœte avec un coˆ t e leve ) - Ajouter les sommets restant a couvrir 1 a 1 de facon a augmenter le î possible le coˆ t du tour (par exemple pour chaque sommet v restant, calculer le coˆ t min pour aller de v a chacun des sommets de ja inclus dans le tour et inse rer le sommet pour lequel ce coˆ t est maximal). f a b c

9 Forme ge ne rale d un algorithme glouton C : Ensemble des choix possibles ordonne s en fonction de g (fonction qui mesure le coˆ t engendre par chacun des choix) x Tant que C faire selectionner s dans C tq x x {s} remettre a jour C FinTantque g(s) = min g(t) t C Algorithme glouton ale atoire : consiste a rendre ale atoire l etape de choix Remarque : Pour certains probl`mes combinatoires spe cifiques, l algorithme glouton peut fournir la solution optimale. Algorithme de Kruskal pour re soudre le probl`me de l arbre couvrant minimal, algorithme de Dijkstra pour de terminer le plus court chemin. 9

10 G=(X,E) non oriente value Algorithme de Kruskal Arbre : graphe connexe sans cycle Arbre couvrant H de G est tel que H=(X,E ) (avec E E) Poids d un arbre couvrant = somme des poids des arœtes de E Probl`me : Trouver un arbre couvrant de poids minimal. Proprie te : Si X =n alors E =n-1. a 5 b f c 8 e 4 d 9 10

11 Algorithme de Kruskal E (e 1, e 2,..., e m ) triees dans lèordre croissant Eè {e 1 } E E \ {e 1 } Tant que Eè n-1 faire e premiêre arˆte de E Si H=(X, Eè {e}) ne contient pas de cycle alors Eè Eè {e} E E \ {e} FinTantque 11

12 2) Algorithmes approche s base s sur une relaxation Relaxation : Min x S' f '(x) avecs S' f'(x*) f (x*) Pb combinatoire = mod`le sous la forme d un programme mathe matique en nombres entiers ou 0-1. Relaxation la plus classique : Relaxation continue et Algorithme approche base sur la relaxation : Conside rer la solution optimale de la relaxation continue et arrondir aux entiers les plus proches les valeurs des variables fractionnaires tout en restant re alisable. 3) Algorithmes approche s base s sur une technique de partitionnement et/ou de de composition 4) Algorithmes approche s spe cifiques : le cas du voyageur de commerce. 12

13 Le cas du voyageur de commerce syme trique Ide e : construire une solution approche e a partir de l arbre couvrant de poids minimal. f a b c f 3 a b 4 c e 4 d e d Algorithme approche : parcours en profondeur de l arbre a partir d un sommet et conserver seulement les premi`res occurrences de chacun des sommets pour de finir un tour. 13

14 Analyse de l algorithme Proprie te : Lorsque que les poids des are tes respectent les in galit s triangulaires, la valeur de la solution obtenue x est au maximum 2 fois plus grande que la valeur de la solution optimale x*. De monstration : Dans le parcours en profondeur d abord de l arbre, chaque arœte d arbre est traverse e exactement 2 fois. v(x) v(parcours en profondeur)=2*v(arbre min) car respect ine galite s triangulaires. Par ailleurs, v(x*)-v(1arœte) v(arbre min) v(x*) v(arbre min) Donc v(x) 2*v(arbre min) 2*v(x*) : 2 = rapport d approximation ALGORITHME A GARANTIE DE PERFORMANCES 14

15 Algorithme de Christofides f a b c f 3 a b 4 c e 4 d e d Nouvelle solution de coˆ t 22 15

16 III) Les me thodes de descente 1) Notion de voisinage 2) Quelques voisinages habituels a) comple mentation b) e change c) insertion-de calage d)inversion 3) Exemple du voyageur de commerce 4) Sche ma ge ne ral d une descente sche ma difficulte s : - le minimum local - solution initiale - exploration voisinage Conclusion IV) Deux e tudes de cas 1) Le voyageur de commerce 2) Dimensionnement d un re seau de te le communications 16

17 Exemple du voyageur de commerce 2-opt : transformation e le mentaire (propose e par Kernighan et Lin) qui consiste a choisir 2 arœtes non adjacentes dans le cycle hamiltonien et a les remplacer par deux autres arœtes de facon a obtenir un nouveau cycle hamiltonien. i i+1 i i+1 j j j+1 j+1 Voisinage de cardinalite n(n-3)/2 17

18 Sche ma ge ne ral d une descente De but Se lectionner une solution initiale x de S Re pe ter Si il existe x dans V(x) tq f(x ) < f(x) alors x x Jusqu ace que f(x ) f(x) pour tout x V(x) Retourner comme solution finale Fin 3 remarques : - La recherche stoppe dans un optimum local - La qualite de la solution fournie par une me thode de descente de pend de la solution initiale - Diffe rentes strate gies d exploration du voisinage sont possibles 18

19 Me thode du Recuit Simule Virginie Gabrel Vincent Mousseau Ce cile Murat 19

20 Me thode du recuit simule 1. Sche ma du recuit simule 2. Mod`les de recuit 3. Interpre tation de la me thode applique e au probl`me du voyageur de commerce 20

21 1. Sche ma du recuit simule Modification de la me thode de descente : on accepte syste matiquement de descendre vers un meilleur voisin, mais aussi dàacc der aun voisin plus mauvais avec une certaine probabilit. la probabilite d accepter une de te rioration provisoire de la fonction objectif de pend de : de l ampleur de la de te rioration de f(x), du degre d avancement de l exe cution. la probabilite d acce der au voisin X j partant de X i est e gale a : P(i,j)=1 si f ij 0 P(i,j)=exp(- f ij /t) si f ij >0 avec - f ij = f(x j )-f(x i ) - t un param`tre (tempe rature) Pour t fixe, plus f ij est grand, plus la probabilite P(i,j) est faible. quand t e leve P(i,j) e leve e f ij quand t proche de 0 P(i,j) e leve e ssi f ij faible 21

22 Initialisation : î Construire une solution re alisable de de part. î Attribuer une valeur initiale pour t. î De finir un voisinage. Ite ration principale : Se lectionner ale atoirement une nouvelle solution X j dans le voisinage de la solution courant X i. Si X j engendre une de te rioration, appliquer la r`gle suivante : î tirer au hasard un nombre p entre 0 et 1, î si p<exp(- f ij /t) on accepte de passer de X i a X j, sinon on refuse. Fixer le nombre de changements de tempe rature (nbt) ainsi que sa de croissance Fixer le nombre d ite rations principales (nbi) pour une tempe rature donne e 22

23 debut fin Algorithme ge ne ral du recuit simule calculer une solution initiale X X* X f* f(x) initialiser la temperature t pour compt1=1 a nbt faire pour compt2=1 a nbi faire fin pour t g(t) fin pour choisir aleatoirement Xè V(X) calculer f=f(xè)-f(x) si f<0 alors X Xè si f*>f(xè) alors finsi X* Xè f* f(xè) sinon ( f 0) tirer au hasard p dans [0,1] finsi si p exp(- f/t) alors X Xè finsi {g decroissante} 23

24 2. Mod`les de recuit Pour mettre en ç uvre un mod`le de recuit, il faut pre ciser six» ingre dientsà : nombre de changements de tempe rature, nombre de transformations e le mentaires propose es a tempe rature fixe e, configuration initiale, valeur initiale de la tempe rature, de croissance de la tempe rature, voisinage. Choix d une solution de de part î en principe, ce choix n est pas primordial, a condition de refroidir suffisamment lentement la tempe rature, î configuration ale atoire, solution gloutonne «î si le choix d une solution initiale n est pas essentiel pour la qualite du re sultat final, une bonne configuration de de part permet d economiser du temps de calcul en partant d une tempe rature plus faible. 24

25 Valeur initiale de la tempe rature t î Doit œtre suffisamment grande pour que de nombreuses transformations coˆ teuses soient accepte es, î Prendre une tempe rature initiale trop e leve e risque d augmenter conside rablement les temps de calculs, î Proposition de Kirkpatrick : choisir une valeur de t e leve e, essayer un certain nombre de transformations calculer π le taux d acceptation : proportion des solutions coˆ teuses accepte es par rapport au nombre de solutions coˆ teuses engendre es, si π est insuffisamment grand (Kirkpatrick propose 0.8 mais souvent 0.5 suffit) alors doubler t et re ite rer jusqu aobtenir une valeur de π suffisamment grande. î Proposition de Aragon & Johnson engendrer un grand nombre de transformations coˆ teuses et calculer leur coˆ t moyen f on se donne un taux d acceptation π a atteindre au de part, la valeur initiale de t est obtenue en re solvant l equation π=exp(- f/t) c est a dire t = - f / ln(π) î On peut toujours de terminer la tempe rature initiale empiriquement quitte a justifier le choix a posteriori 25

26 De croissance de la tempe rature î Mod`le souvent utilise pour la de croissance de t : choisir une suite ge ome trique de tempe ratures tendant vers 0, t i+1 = µ.t i avec 0<µ<1. Souvent une valeur de µ trop e loigne e de 1 plonge trop vite l algorithme dans un optimum local. L expe rience montre que pour µ [0.85, 0.95] on obtient souvent de bons re sultats. î On peut chercher a affiner le mod`le ge ome trique en faisant varier µ en fonction de l avancement de l algorithme : de croissance de t d abord e leve e (faible valeur pour µ), puis plus lente (µ croıt). 26

27 le nombre de changement de tempe rature Ce nombre doit œtre choisi de sorte qu a la fin de l algorithme la tempe rature soit suffisamment faible et que pratiquement aucune transformation coˆ teuse ne soit accepte e, î 1 e re solution : fixer d`s le de part le nombre de changement de tempe rature (entre ~5 et ~100), si t i+1 =0.95 t i, avec 60 changements de t, t final 5%t init. si la probabilite initiale d accepter une solution coˆ teuse est de 0.5, elle n est plus que de apr`s 60 changements de t. î 2 e me solution : stopper l algorithme lorsque le gain sur la fonction f est juge trop faible î 3 e me solution : stopper l algorithme lorsque la meilleure configuration n evolue plus depuis un certain nombre d ite rations. 27

28 le nombre de voisins explore s a une tempe rature donne e î choix le plus simple : nombre d essais de pendant de la taille du probl`me a traiter (ce nombre peut augmenter ou diminuer en cours d algorithme) î On peut lier ce nombre a la quantite de transformations accepte es : on ne modifie pas t tant qu on n a pas accepte n transformations; comme les transformations coˆ teuses deviennent de plus en plus rares au cours de l algorithme, il est judicieux de pre voir une borne sur le nombre d ite rations a t constant Transformation e le mentaire î est spe cifique au probl`me a traiter, î ne doit pas engendrer trop d ope rations pour sa mise en ç uvre, î doit permettre par applications successives d engendrer tout l espace des solutions, 28

29 Comportement d un recuit L algorithme a le potentiel de trouver de bonnes solutions mais en s accordant des temps de calcul assez importants. L algorithme est robuste en ce sens oula solution finale ne de pend pas trop exclusivement de la solution initiale. 29

30 3. Interpre tation de cette me thode applique e au probl`me du voyageur de commerce Les me thodes de descente (utilisant une transformation e le mentaire donne e) conduisent a un optimum local X. Un voisinage plus large peut permettre d obtenir des solutions meilleures que X pour l instant inaccessibles. Exemple du PVC: au lieu d utiliser la transformation 2-opt, on consid`re 3-opt: supprimer simultane ment 3 arœtes puis les remplacer par 3 autres choisies pour reconstituer le cycle hamiltonien. L application du 3-opt revient a 2 applications (non inde pendantes) du 2-opt i i+1 i i+1 3-opt k+1 j k+1 j k j+1 k j+1 30

31 i i+1 i i+1 3-opt k+1 j k+1 j k j+1 k j+1 2-opt i i+1 2-opt i i+1 j = k+1 j j+1 k j+1 3-opt autorise provisoirement une ite ration 2-opt entraınant une de gradation si l ite ration suivante du 2-opt fait plus que compenser la de gradation. k-opt (k ite rations non inde pendantes du 2-opt) admet des transformation interme diaires coˆ teuses mais avantageuses dans leur ensemble. 31

32 Dans le recuit simule, des transformations coˆ teuses sont autorise es. Ces transformations coˆ teuses peuvent intervenir successivement un nombre de fois inconnu a l avance. Le recuit simule apparaıt donc comme une proce dure de descente 2-opt acceptant de temps en temps des 3-opt, 4-opt (plus ge ne ralement k-opt). Ces k-opt interviennent a des moments impre visibles mais re gis par une loi de probabilite qui assure la convergence (quand la tempe rature diminue les probabilite s d occurrence de k-opt, k>2, diminuent). Le recuit simule pre sente les avantages du k-opt (sortir d un minimum local) sans en avoir les inconve nients (nombre de transformation a envisager tr`s e leve ). 32

33 La Me thode Tabou Virginie Gabrel Vincent Mousseau Ce cile Murat 33

34 La Me thode Tabou 1. Principe de la me thode tabou 2. Comparaison Tabou / Recuit simule 3. Ame liorations de la me thode tabou 4. Un exemple d application : le partitionnement des graphes 34

35 1. Principe de la me thode tabou (1) Ide es de veloppe es en 1986 inde pendamment par î Fred Glover î Pierre Hansen & Brigitte Jaumart Ide e de de part : se de placer de solution en solution (en visitant e ventuellement des solutions moins bonnes) en sàinterdisant de revenir aune configuration d jarencontr e. Soit V(X) le voisinage de la solution X et T une liste de toutes les configurations de ja rencontre es. A partir de la configuration courante X, on choisit dans V(X)-T la configuration Y qui minimise f. Puis on ajoute X a T. Inte rœt de T : limiter les risques de cyclages autour d un optimum local!. 35

36 1. Principe de la me thode tabou (2) Liste stricte : solutions taboues Essentiel de choisir un mode astucieux de stockage de T : î T peut prendre une place me moire excessive, î pour savoir quel voisin choisir dans le voisinage de la solution courante, il faut comparer chaque voisin a chaque e le ment de la liste T temps de calcul e leve Liste non stricte : mouvements tabous Limiter la taille de T T (mouvements interdits) est ge re sous la forme d une liste FIFO î si la liste T n est pas pleine, on ajoute a chaque ite ration la transformation inverse interdite, î si la liste T est pleine, on ajoute la transformation inverse interdite courante et on supprime la plus ancienne 36

37 1. Principe de la me thode tabou (3) Choix de la taille de T : î trop petit risque de bouclage, î trop grand limitation exage re e du voisinage de la solution courante, î en ge ne ral entre 3 et 12 (souvent 7!!), mais cela de pend du probl`me a traiter. De finir un crit`re d arrœt souvent un nombre max d ite rations - soit fixe a priori - soit sans changement 37

38 debut fin 1. Principe de la me thode tabou (4) calculer une solution initiale X X * X {X * meilleure solution trouvee} f min f(x * ) T {T liste des modifications interdites } k 0 {k numero de lèiteration courante} tant que k < nbre_max_iter faire k k+1 C V(X)-{m(X), pour m T} determiner lèelement Y=m(X) qui minimise f sur C mettre a jour T si f(y)<f min alors X * Y finsi X Y fin tant que retourner X * f min f(y) 38

39 2. Comparaison Tabou / Recuit simule Recuit simule î stochastique, î sans me moire Me thode Tabou î de terministe, î dispose d une me moire (liste Tabou) nombre de param`tres a fixer plus e leve dans le recuit simule que dans la me thode Tabou î avantage en faveur de Tabou fixer des param`tres est parfois de licat î avantage en faveur du recuit cela donne la possibilite d un re glage fin. Prise en compte du voisinage î recuit simule : un seul voisin î Tabou : le meilleur voisin exploration exhaustive du voisinage (coˆ teux pour un voisinage de grand cardinal on peut alors ne conside rer qu une partie du voisinage, de facon ale atoire ou non) 39

40 3. Ame liorations de la me thode tabou (1) Favoriser une exploration efficace de l espace des solutions S par des r`gles d aspiration, de diversification et d intensification de la recherche Aspiration : chercher a passer outre le caract`re tabou d un mouvement dans certains cas Plusieurs solutions pour de clencher le me canisme d aspiration : î celui propose par Glover et Laguna (1997) : si m est tabou mais que f(m(x)) < f(x*) alors on autorise m applique a X î si le mouvement m a e te rendu tabou lors du passage de la configuration X a Y=m -1 (X), on l`ve le statut tabou d un mouvement s il conduit a une solution meilleure que celle qui avait entraıne son interdiction. î On l`ve le statut de tabou du plus» ancien à 40

41 3. Ame liorations de la me thode tabou (2) Pour sophistiquer le sche ma de base, alterner des phases : d intensification explorer plus en profondeur le voisinage de la solution courante par ex., en augmentant sa taille de diversification constituer comme voisinage de X, des solutions tr`s diffe rentes les unes des autres et de X par ex., en utilisant des listes taboues qui excluent les solutions ressemblant a celles rencontre es re cemment Quelles strate gies pour alterner? pour lancer une diversification de tections de signes de stagnation pour lancer une intensification qd on atteint une zone de solutions prometteuses, diffe rentes des meilleures connues 41

42 3. Ame liorations de la me thode tabou (3) Proce de s utilise s : Pe nalite s ou bonifications introduites dans la fonction objectif pour favoriser ou de favoriser certains types de solutions re sumer l historique de la recherche avec des statistiques : me moire de la fre quence de re pe titions de certaines caracte ristiques (diffe rent de la liste tabou ou seules les derni`res solutions importent) Adaptation de l ensemble des solutions candidates pour le voisinage, faire e voluer au cours de la recherche la mani`re de choisir les e le ments du voisinage Oscillation strate gique faire e voluer la de finition mœme du voisinage par ex., passer provisoirement par des solutions non re alisables pour traverser» des fronti`res à de l espace de recherche Autres strate gies pour diversifier : mani`re radicale repartir d une nouvelle solution initiale path relinking scatter search 42

43 4. Un exemple d application : le partitionnement des graphes (1) Probl`me : G=(X,E) un graphe non-oriente dont chaque arœte e est ponde re e par p(e) Question : de terminer une partition de X tq la somme des poids des arœtes ayant leurs extre mite s dans 2 classes diffe rentes soit minimum Re sultat : pb NP-complet mœme si le nombre de classes est fixe Re solution pour comparer les deux me thodes par Amorim, Barthe lemy et Ribeiro Voisinage utilise : Etant donne e une partition de X, la transformation e le mentaire consiste a de placer un sommet de la classe ouil se trouve a une autre (e ventuellement vide si le nombre de classes n est pas fixe ) Application d une me thode tabou : Crit`re d arrœt : n/2 ite. a fmin inchange Taille de la liste tabou = 5 43

44 4. Un exemple d application : le partitionnement des graphes (2) Application d un recuit simule : Tempe rature initiale = 1 de croissance ge ome trique avec µ =0,85 2 nb d essais a tempe rature fixe e = n / 2 Crit`re d arrœt : la meilleure solution n a pas 2 change pendant n / 2 ite rations Re sultats comparatifs : moyennes des meilleures valeurs obtenues et temps de calcul moyen n Descente Recuit simule (0.28) (2.17) (10.87) (41.58) (372.76) (1763) Me thode tabou (0.05) (0.56) (4.15) (30.6) (338.68) ( ) 44