Variable Neighborhood Search

Transcription

1 Variable Neighborhood Search () Universite de Montreal 6 avril 2010

2 Plan Motivations 1 Motivations 2 3 skewed variable neighborhood search variable neighborhood decomposition search 4

3 Le probleme d optimisation. On essaye de resoudre le probleme suivant : min{f (x) x X, X S} S : espace de solution (probleme combinatoire si S finie et tres grand ) X : ensemble de solutions realisables f : fonction objective a valeur reelle solution optimale x X : f (x ) f (x), x X trouver une solution optimale, une preuve de son optimalite et en un temps fini

4 Resolution par recherche locale Methode classique de resolution : definir une structure de voisinage N definir un operateur de transformation pour ce voisinage chercher iterativement une meilleure solution dans l espace defini par le voisinage eventuellement intensification et diversification La procedure mene a un optimum x : x X : f (x ) f (x), x N

5 Resolution par recherche locale Methode classique de resolution : definir une structure de voisinage N definir un operateur de transformation pour ce voisinage chercher iterativement une meilleure solution dans l espace defini par le voisinage eventuellement intensification et diversification La procedure mene a un optimum x : x X : f (x ) f (x), x N Probleme : la solution obtenue est optimale relativement au voisinage N (pas X!)

6 Motivations Optimisation par une modification systematique du voisinage et une phase de perturbation permettant de s eloigner des (mauvais) minima locaux basee sur les faits suivants :. 1 Un optimum relativement a un voisinage n est pas necessairement optimal par rapport a un autre voisinage 2 Un optimum global est optimal relativement a toute structure de voisinage 3 Pour plusieurs problemes, les minima relativements a differents voisinages sont proches les uns des autres.

10 Motivations Optimisation par une modification systematique du voisinage et une phase de perturbation permettant de s eloigner des (mauvais) minima locaux basee sur les faits suivants : 1 Un optimum relativement a un voisinage n est pas necessairement optimal par rapport a un autre voisinage 2 Un optimum global est optimal relativement a toute structure de voisinage 3 Pour plusieurs problemes, les minima relativements a differents voisinages sont proches les uns des autres. Solution : Resoudre le probleme en utilisant plusieurs voisinages {N k } de facon deterministe, stochastique ou mixte.

11 Structure des voisinages

12 changement de voisinage L idee centrale se trouve dans le changement de voisinage selon la procedure : Algorithm 1: NeighborhoodChange(x, x, y) if f (x ) < f (x) then x x // modifier la solution courante; k 1 // voisinage initial; else k k + 1 // prochain voisinage; return x, k

13 Structure generale du Algorithm 2: (t max ) repeat k 1 // k indice du voisinage; repeat x ChoixSolutionInitiale(k) ; x TrouverMeilleurSolution(x) ; x,k ChangementVoisinage(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x

14 Structure generale du Algorithm 3: (t max ) repeat k 1 // k indice du voisinage; repeat x ChoixSolutionInitiale(k) ; x TrouverMeilleurSolution(x) ; x,k ChangementVoisinage(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x la nature deterministe ou stochastique de l algorithme depend de l implementation de (4) et (5)

15 Methode deterministe : VND Variable Neighborhood Descent : effectuer changement de voisinage N k, k = 1,..., k max de facon deterministe. Algorithm 4: VND(x, k max, t max ) k 1 repeat x arg min y Nk (x) f (y) // meilleur voisin ; x,k NeighborhoodChange(x,x,k) ; until k = k max ; return x x X : f (x ) f (x), k, x N k La solution obtenue est probablement plus proche de l optimum global.

16 Reduced Variable Neighborhood Search (R) R : Methode plus adaptée aux problemes de grandes tailles dans lesquels une descente exhaustive dans chaque voisinage coute cher selection aleatoire (au lieu d une descente) d une solution dans le voisinage critere arret : temps d execution maximal ou nombre d iterations maximal entre 2 ameliorations comparable a une methode de monte carlo mais plus systematique le nombre de voisinage utilise est generalement 2 ou 3

21 Methode stochastique : R Reduced Variable Neighborhood Search : Algorithm 5: R(x, k max ) repeat k 1; repeat x Shake(x, k) // choix aleatoire ; x,k NeighborhoodChange(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x

22 Methodes mixtes Ameliorer les methodes precedentes en combinant changement de voisinage deterministe et stochastique : 1 choisir une solution initial x 2 trouver une direction de descente a partir de x (dans un voisinage N(x)) 3 se deplacer vers le minimum dans N(x) dans cette direction

23 Methodes mixtes Ameliorer les methodes precedentes en combinant changement de voisinage deterministe et stochastique : 1 choisir une solution initial x 2 trouver une direction de descente a partir de x (dans un voisinage N(x)) 3 se deplacer vers le minimum dans N(x) dans cette direction Algorithm 6: BestImprovement(x) repeat x x ; x arg min y Nk (x) f (y) ; until f (x) f (x ) ; return x

24 Basic variable Neighborhood Search (B) Algorithm 7: B(x, k max, t max ) repeat k 1; repeat x Shake(x, k) // choix aleatoire ; x BestImprovement(x ) recherche deterministe; x,k NeighborhoodChange(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x variante : remplacer BestImprovement par FirstImprovement

25 General variable Neighborhood Search (G) G : remplacer la recherche locale par une descente sur un certain nombre de voisinages Algorithm 8: G(x, k max, l max, t max ) repeat k 1; repeat x Shake(x, k) // choix aleatoire ; x VND(x, l max ) //descente; x,k NeighborhoodChange(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x

26 large valleys problem skewed variable neighborhood search variable neighborhood decomposition search

27 solving the problem Motivations skewed variable neighborhood search variable neighborhood decomposition search Contraindre le deplacement vers des solutions eloignees en modifiant la procedure de changement de voisinage : Algorithm 9: NeighborhoodChange(x, x, y) if f (x ) αρ(x, x ) < f (x) then x x // modifier la solution courante; k 1 // voisinage initial; else k k + 1 // prochain voisinage; return x, k

28 skewed variable neighborhood search variable neighborhood decomposition search Skewed Variable Neighborhood Search (S) Algorithm 10: S(x, k max, l max, t max, α) repeat k 1; repeat x Shake(x, k) // choix aleatoire ; x FirstImprove(x, l max ) // descente; x,k NeighborhoodChange(x,x,k) ; until k = k max ; x best keepbest(x best, x) ; x x best ; t cputime(); until t > t max ; return x

29 Principe du VNDS Motivations skewed variable neighborhood search variable neighborhood decomposition search generer des sous problemes en fixant certaines composantes (garder k composantes libres) effectuer une recherche locale sur les k composantes libres

30 skewed variable neighborhood search variable neighborhood decomposition search Variable Neighborhood Decomposition Search Algorithm 11: VDNS(x, k max, l max, t max, t d ) repeat k 1; repeat x Shake(x, k) // choix aleatoire ; t FreeComponents(x, x ); t FirstImprovement(t); x InjecComponents(t, s ) //mise a jour de s ; x,k NeighborhoodChange(x,x,k) ; until k = k max ; t cputime() until t > t max ; return x

31 Decisions de conception L application du a un probleme necessite de choisir : 1 nombre et type de voisinage a utiliser 2 ordre d exploration des voisinages pendant la recherche 3 strategie de changement de voisinage 4 methode de recherche locale 5 critere d arret

37 Exemple : TSP Motivations Application au Trading Salesman Problem avec les choix : 1 definition de voisinage k-opt, i.e, N k (x) est l ensemble des solutions ayant k arcs differents de x 2 la methode de recherche locale utilisee est 2-opt 3 changement de voisinage dans l ordre des indices k

41 Exemple : TSP Motivations Application au Trading Salesman Problem avec les choix : 1 definition de voisinage k-opt, i.e, N k (x) est l ensemble des solutions ayant k arcs differents de x 2 la methode de recherche locale utilisee est 2-opt 3 changement de voisinage dans l ordre des indices k Remarque : de meilleures performances peuvent etre obtenues en utilisant GENIUS

42

43 Annexes Bibliographie Annexe I Variable Neighborhood Search P. Hansen et al. Handbook of Metaheuristics. Springer New York, 2003.