Introduction à l optimisation combinatoire

Transcription

1 Introduction à l optimisation combinatoire S. Ben Ismail Majeure Informatique INF413 C5 2 e semestre 2012

2 Objectifs pédagogiques À l'issue de ce cours, vous devriez être capables de : connaitre la diérence entre "heuristique" et "méta-heuristique" comprendre la classication générale des méthodes d'optimisation combinatoire et les concepts sous-jacents décrire le fonctionnement des méthodes classiques modéliser un problème et lui appliquer une méthode d'optimisation (cf PC) Avec un peu plus de temps et de pratique : évaluer et comparer plusieurs méthodes d'optimisation sur un problème donné combiner diérentes méthodes de manière performante 1 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

3 Plan du cours 1 Introduction 2 Méthodes d'optimisation 3 Construction 4 Recherche locale 5 Évolution 6 Hybridation 7 Conclusion 2 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

4 Sommaire 1 Introduction 2 Méthodes d'optimisation 3 Construction 4 Recherche locale 5 Évolution 6 Hybridation 7 Conclusion 3 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

5 Optimisation : késako? Langue française optimiser (v.) : permettre d'obtenir le meilleur résultat possible par une action adaptée synonymes : améliorer, maximiser, mettre au point, optimaliser Mathématiques : la branche optimisation soit f : Ω R, trouver x Ω tel que f (x ) = min x Ωf (x) (notation x = arg min(f )) Terminologie Ω (ou S) : espace de recherche, espace des {états, congurations, solutions, alternatives} f : fonction objectif, coût/perte à minimiser (si gain à maximiser, considérer g = f ) x (ou s ) : optimum, minimum 4 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

6 Exemples de problèmes d'optimisation : cas continu Ω = R n, fonction de Ackley Ω = R 20e n n i =0 x 2 i f (x) = 1 n e n i =1 cos(2πx ) i + 20 e n = 2, x = (0, 0) optimum global : x tq x Ω, f (x ) f (x) optimum local : x tq ɛ x Ω, f (x ) f (x) 5 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

7 Exemples de problèmes d'optimisation : cas discret Problème du Voyageur du Commerce (Traveling Salesman Problem (TSP)) données : n villes, une matrice de distances D = (d ij ) problème : trouver un chemin passant une fois et une seule par chaque ville et minimisant la distance totale parcourue Ω ensemble des partitions d'un ensemble à n éléments Ω = (n 1)! 2 pour un problème symétrique optimisation discrète ( vs continue) Optimisation combinatoire minimisation d'une fonction sur un ensemble ni (mais potentiellement très grand) 6 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

8 Énumération exhaustive 1. générer tous les trajets possibles 2. calculer leurs distances 3. choisir le trajet ayant la distance minimale n Ω Temps de calcul microsecondes ,18 seconde milliards 12 heures 20 6 E siècles 25 3 E+23 9,8 milliards d'années 30 4 E+30 1,4 millions de millards de siècles 1. un trajet évalué en une microseconde (1 million de solutions par seconde) 7 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

9 Et avec des machines plus puissantes? On exécute un algorithme de complexité linéaire/quadratique/cubique/exponentielle sur une machine N : taille maximale de problème pouvant être traité Machine actuelle 100x plus rapide 1000x plus rapide n N N N 1 n² N 2 10 N N 2 n³ N N 3 10 N 3 2 n N 4 N N Puissance de calcul vs avancées algorithmiques écart entre la croissance de la rapidité des machines et la taille des données traitables ne pas compter uniquement sur l'augmentation des capacités matérielles mais surtout sur l'innovation algorithmique 8 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

10 Et à part le TSP? sac à dos (Knapsack Problem) : découpage de matière première allocation de fréquences pour les réseaux radio-mobiles positionnement d'antennes pour les réseaux radio-mobiles routage dans les réseaux télécom résolution de conits de trac aérien, roulage en aéroport (ENAC/Eurocontrol) ordonnoncement de tâches dans un atelier de production (Jobshop Scheduling) (Airbus) aectation de personnel (Air France) répartition des charges dans les camions/conténaires (Bin Packing)... équipes de R&D à EDF, SNCF, France Télécom etc. ores de travail en optimisation : https ://portail.telecom-bretagne.eu 9 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

12 Optimisation = modélisation + résolution 1. modélisation d'un problème : espace de recherche, solutions 2. formulation mathématique : fonction objectif, contraintes 3. application d'une méthode d'optimisation 4. obtention d'une solution 11 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

13 Terminologie méthode complète trouve toujours une solution méthode optimale trouve toujours la meilleure solution (optimum global) méthode exacte (exhaustive) explore l'espace de recherche dans sa totalité (énumération intelligente) => optimale méthode approchée (approximative) explore une sous-partie de l'espace de recherche méthode déterministe exécute toujours la même suite d'opérations méthode probabiliste (ou stochastique) fait des choix probabilistes guidés par des tirages aléatoires 12 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

14 Classication des méthodes d'optimisation combinatoire 1. Les méthodes exactes ne sont ecaces que pour les instances de problèmes de petite taille, 2. On ne s'intéressera ici qu'aux méthodes approchées. 13 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

15 Heuristique étymologie : du grec ancien eurisko, trouver méthode approchée conçue pour un problème d'optimisation particulier permettant de trouver des solutions avec un temps de calcul raisonnable traduit une stratégie, une manière de penser, s'appuyant sur notre connaissance du problème indispensable pour les problèmes NP diciles car généralement en temps polynomial Heuristique Algorithme exact algorithme exact : garantit une solution optimale heuristique : pas de garantie d'optimalité 14 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

16 Métaheuristique (ou méta-heuristique) une heuristique est spécique à un problème et ne peut pas être généralisée méta + heuristique = au-delà + trouver = trouver avec un plus haut niveau d'abstraction une méta-heuristique est un ensemble de concepts : voisinage (modication d'une solution), utilisation de la mémoire, inspiration de la physique ou la nature... une méta-heuristique est une heuristique généraliste, pouvant s'appliquer à plusieurs problèmes d'optimisation classication habituelle des métaheuristiques : en fonction du nombre de solutions qu'elles manipulent métaheuristiques à solution unique métaheuristiques à population de solutions 15 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

17 Paradigmes des méthodes approchées (heuristiques et métaheuristiques) Construction solution construite par une suite de choix Recherche locale (ou voisinage) une solution initiale modiée itérativement Évolution une population de solutions évolue par des opérateurs génétiques (sélection, croisement, mutation) Hybridation mélange des approches précédantes 16 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

19 Principe des heuristiques constructives Fonction HeuristiqueConstructive() : solution s s : solution, s ; Fin Tant que ( s n'est pas une solution complete) faire choisir un nouvel element de solution e s s + e ; Fait Retourner s ; 18 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

20 Heuristiques constructives gloutonnes Dénition Un algorithme glouton (greedy) est un algorithme qui, à chaque étape de la résolution d'un problème, fait un choix optimal dans l'espoir que le résultat nal soit optimal. Heuristique constructive gloutonne : à chaque étape, ajouter le meilleur élément de solution e Exemple : rendu de monnaie comment rendre 8 avec des pièces de 6, 4 et 1? 8 = (or 8 = 4 + 4) les valeurs des pièces de monnaie du système monétaire sont choisies pour qu'un algorithme glouton soit optimal 19 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

21 Problème du sac à dos (Knapsack Problem (KP)) données : sac à dos vide, objets ayant chacun un poids et une valeur objectif : maximiser la valeur totale des objets dans le sac contrainte : poids maximal autorisé dans le sac $4 12 kg? 15 kg $2 2 kg $2 1 kg $1 1 kg $10 4 kg http ://fr.wikipedia.org/wiki/problème_du_sac_à_dos 20 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

22 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ valeur=0, poids=0 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

23 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ valeur=10, poids=9 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

24 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➊ valeur=10+7=17, poids=9+12=21 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

25 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➍ valeur=10+1=11, poids=9+2=11 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

26 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➍ ➋ valeur=11+3=14, poids=11+7=18 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

27 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➍ ➎ valeur=11+2=13, poids=11+5=16 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

28 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➍ valeur=11, poids=11 kg 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

29 Heuristique constructive gloutonne pour le KP stratégie : rajouter en priorité les objets ayant le meilleur rapport valeur/poids, jusqu'à ce que le sac soit rempli. objet valeur ($) poids (kg) rapport valeur/poids ($/kg) ➊ ➋ ➌ ➍ ➎ ➌ ➍ valeur=11, poids=11 kg or ➌ ➎ valeur=10+2=12, poids=9+5=14 kg 21 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

30 TSP : heuristique du plus proche voisin plus proche voisin (nearest neighbour) 1. initialisation : choisir aléatoirement une première ville 2. à chaque étape, une suite de villes a été construite y rajouter la ville la plus proche de la ville courante (dernière ville) 3. relier la dernière ville à la première (pour obtenir un cycle) 22 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

31 PPV : illustration Rouen Reims Metz Rennes Chartres Poitiers Lyon Annecy Toulouse Nice 23 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

32 PPV : illustration v 10 v 8 v 9 v 6 v 7 v 5 v 3 v 4 v 1 v 2 23 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

43 Heuristiques d'insertion pour le TSP idée de construction : 1. initialisation : choisir aléatoirement une première ville 2. à chaque étape, un cycle de villes a été constuit y insérer LA ville qui minimise un critère donné insertion du plus proche voisin (nearest insertion) : insérer la ville la plus proche des villes déjà visitées moindre coût (cheapest insertion) : insérer la ville ayant le moindre coût d'insertion (engeandrant la plus petite augmentation de la longueur du cyle) illustration : OptimGUI.jar (http ://mr-nutz.no-ip.org/valentin/projets.php?page=0) 24 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

44 Insertion du PPV : illustration v 10 v 8 v 9 v 6 v 7 v 5 v 3 v 4 v 1 v 2 25 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

55 Récapitulatif Approches constructives gloutonnes en O(n) (ou polynomial) une succession de choix localement optimaux ne garantit pas une solution optimale 26 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

57 Introduction à la recherche locale La fable des randonneurs : il était une fois... [1] 4 randonneurs perdus à la montagne en 4 endroits diérents il faut rejoindre la vallée de plus basse altitude, là où les secours passent régulièrement brouillard (ou la nuit avec une lampe frontale) => observation de l'environnement immédiat à un croisement de sentiers : on ne peut examiner qu'un chemin à la fois, en s'y ebgageant moyens : un altimètre et une boussole Stratégies déployées : que faire quand on se trouve à croisement de sentiers? Dernières nouvelles (selon l'équipe de secours qui est allée les chercher)? 28 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

58 Randonneur 1 a oublié son cours de complexité stratégie : je suis sportif, j'explore tous les chemins possibles! résultat : le pauvre, il court toujours dans la montagne!... mais il n'est pas encore mort de lassitude. Il doit être bien motivé Moralité la recherche exhaustive énumérative ne fut pas un choix judicieux! 29 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

59 Randonneur 2 meilleur que son ami stratégie : descendre pour aller en bas, quoi de plus normal? : tant que je peux descendre, je le fais! résultat : pas de chance, il a terminé dans une cuvette. Après une nuit glaciale il s'est rendu compte que ce n'était pas le point le plus bas. Il s'est remis en marche pour enn descendre, épuisé, au bon endroit. Moralité la recherche gloutonne basique peut marcher, mais pas cette fois-ci! avec un autre point de départ ça aurait pu mieux se passer. descendre toujours peut conduire à une impasse! 30 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

60 Randonneur 3 a suivi la MAJ INFO stratégie : je descends, mais j'autorise, de temps à autre (joue aux dés), des chemins qui montent. tient compte de l'inclinaison des chemins qui montent à un certain moment, il a marché (sans le savoir) sur les pas du 2ème randonneur résultat : il est arrivé à un point très bas, qu'il n'a pas quitté, et les équipes de secours l'ont trouvé Moralité des dégradations occasionnelles de la fonction objectif peuvent nous faire échapper d'un optimum local 31 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

61 Randonneur 4 était attentif en INF 413 stratégie : tant que je peux descendre, je le fais en empruntant le chemin de plus grande pente si je ne peux plus descendre, j'emprunte le chemin qui remonte avec la plus faible pente je mémorise les derniers chemins que je viens d'emprunter pour ne pas emprunter les emprunter tout de suite. résultat : idem que le 3ème mais qui du 3ème et du 4ème arriva premier? l'histoire ne le dit pas Moralité avec une mémoire à court terme, on peut s'épargner des boucles innies 32 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

62 Principe de la recherche locale Idée on s'attend à ce que les bonnes solutions partagent des structures similaires donc, les meilleures solutions devraient pouvoir être obtenues après des petites modications de bonnes solutions, etc... Principe Voisinage solution initiale transformations successives fonction Ω 2 Ω : x ϑ(x) Ω traduit la notion de solutions proches, semblables, voisines suite de solutions : une trajectoire dans l'espace de recherche 33 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

63 Structure générale d'une recherche locale Fonction RechercheLocale(f, Ω, s 0 ) : meilleure solution s s : solution, z : reel s s 0 ; z f (s ) ; Fin Tant que ( s dans ϑ(s ) ET acceptable(s )) faire s s ; z f (s ) ; Fait Retourner s ; 34 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

64 Exemples de voisinages pour le TSP Soit u et v deux villes, x et y leurs villes consécutives respectives dans la solution d'un TSP opérateurs de voisinage : insertion - supprimer u et l'insérer après v - supprimer u et x, et insérer (u,x) après v - supprimer u et x, et insérer (x,u) après v échange (swap) 2-opt - échanger u et v - échanger (u,x) et v - échanger (u,x) et (v,y) - remplacer (u,x) et (v,y) par (u,v) et (x,y) 35 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

65 Insertion : illustration 1 u = 7 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 36 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

66 Insertion : illustration 1 u = 7 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 36 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

67 Insertion : illustration 2 u = 7, x = 3 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 37 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

68 Insertion : illustration 2 u = 7, x = 3 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 37 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

69 Échange : illustration u = 7 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 38 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

70 Échange : illustration u = 7 v = 10 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 38 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

71 2-opt : illustration u = 7, x = 3 v = 10 y = 8 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 39 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

72 2-opt : illustration u = 7, x = 3 v = 10 y = 8 v 10 v 8 v 9 v 10 v 8 v 9 v 6 v 7 v 6 v 7 v 5 v 3 v 4 v 5 v 3 v 4 v 1 v 2 v 1 v 2 39 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

73 Méthodes de descente du gradient Algorithme du gradient en optimisation continue 2 schéma itératif utilisé : x k+1 = x k α k f (x k ) Adaptation au cas discret : méthode de descente du gradient (Hill Climbing) choix de la solution s : première (descente simple) ou meilleure amélioration (plus grande pente) 2. cf TC131 : Méthodes et outils pour l'analyse numérique - PC1 - STP2 Introduction à l'optimisation 40 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

74 Descente du gradient Fonction HillClimbing(f, Ω, s 0 ) : meilleure solution s s : solution, z : reel s s 0 ; z f (s ) ; Fin Tant que ( s dans ϑ(s ) ET f (s ) < z) faire s s ; z f (s ) ; Fait Retourner s ; 41 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

75 Plus grande pente Fonction SteepestHillClimbing(f, Ω, s 0 ) : meilleure solution s s : solution, z : reel s s 0 ; z f (s ) ; Fin Tant que ( s dans ϑ(s ) ET s ϑ(s)\{s }, f (s ) < f (s )) faire s s ; z f (s ) ; Fait Retourner s ; 42 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

76 Méthodes de descente : avantages et inconvénients une méthode locale basique, rapide, mais s'arrête au premier optimum local trouvé elle s'y trouve piégée (2ème randonneur de la fable) Idée d'amélioration : 3ème et 4ème randonneurs de la fable autoriser, de temps en temps, une dégradation de la solution courante contrôler la dégradation pour éviter la divergence de l'algorithme 43 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

77 Recuit simulé (Simulated Annealing ), 1983 analogie avec la thermodynamique (métallurgie) 1. initialement, un métal est chaué à haute température 2. puis refroidissement de la température brutalement (trempe) état solide amorphe progressivement état solide cristallin métallurgie énergie état amorphe état cristallin température recuit optimisation f minimum local minimum global paramètre de contrôle recuit simulé : déplacement dans Ω (recherche locale) 44 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

78 Principe du RS Fonction RecuitSimule(f, Ω, s 0, T 0, ɛ, k) : meilleure solution s s : solution T : reel //temperature s s 0 ; T T 0 ; Tant que (T > ɛ) faire choisir s aleatoirement dans ϑ(s ), f f (s ) f (s) Si ( f 0) Alors s s ; //accepter s Sinon s s ; avec la probabilite e f T Fin Si T k.t //refroidir la temperature (k = par ex.) Fait Retourner s ; Fin 45 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

79 Remarque méthode stochastique probabilité d'acceptation p( f, T ) = e f T probabilité de Métropolis en thermodynamique : e E E T f : si dégradation énorme probabilité plus petite T : plus la température descent, plus la probabilité d'acceptation devient petite on autorise plus de dégradation au début qu'à la n : convergence vers un état d'énergie minimale 46 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

80 Recherche tabou (Tabu Search), 1989 (Glover) Principe (4ème randonneur) mémoire à court terme : on mémorise les dernières congurations visitées (liste tabou) choisir un des meilleurs voisins qui n'appartient pas à la liste tabou, même s'il dégrade f pas de tirages aléatoires paramètres : nombre maximal d'itérations fonctionnement de la liste tabou : le taille de la liste tabou : statique ou dynamique 47 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

81 Recherche locale : conclusion I L'élément qui caractérise une recherche locale est le choix de la solution voisine s dans le voisinage V (s) Descente : s est une solution voisine plus performante que s : f (s ) f (s) s est LA solution voisine LA plus performante f (s ) f (s) et s V (s) f (s ) f (s ) Recuit simulé : s est choisie au hasard - acceptée si plus performante que s - acceptée si moins performante que s avec une probabilité donnée Recherche tabou : s est l'une des meilleures solutions voisines de s, n'apparteneant pas à la liste tabou 48 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

82 Recherche locale : conclusion II Comparaison Descente (2ème randonneur) : méthode rapide, mais se termine au premier optimum local rencontré Recuit & Tabou (3ème et 4ème randonneurs) : ne s'arrêtent pas au premier optimum local rencontré (grâce aux dégradations de f ) 49 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

83 Dilemme Intensication vs Diversication Intensication (exploitation) : focaliser l'eort de recherche sur une zone particulière de l'espace de recherche (autour des meilleures solutions rencontrées) Diversication (exploration) : explorer des nouvelles zones prometteuses de l'espace de recherche pour trouver potentiellement d'autres bonnes solutions Un bon compromis à trouver! En recherche locale : essentiellement de l'exploitation, diversication dans RS et RT 50 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

85 Algorithmes génétiques, 1975 (Holland) Idée générale : inspiration naturelle recherche dans l'espace de congurations : faire évoluer (recombiner et modier) un ensemble de solutions du problème, et en sélectionner la meilleure à la n Terminologie : une solution constitue un individu ayant une évaluation (ou fonction de performance) (tness) un ensemble de solutions constitue une population une combinaison de deux solutions est un croisement (parents, enfants) une modication d'une solution est une mutation 52 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

86 Principe Fonctionnement 1. évaluation des individus 2. sélection des meilleurs parmi eux 3. croisements 4. mutations convergence : apparition des individus les plus performants les bons parents donnent lieu à de bons enfants par héritage les mutation permettent de diversier la population (explorer ailleurs) 53 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

87 Ingrédients principaux codage des solutions (chromosomes) génération d'une population initiale processus de sélection opérateurs de mutation et de croisement paramètres : taille de la population, critère d'arrêt (nombre total de générations, stagnation), probabilité de mutation 54 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

88 Opérateurs génétiques 55 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

89 Exemple basique : optimisation de fonction réelle alliot minimiser f (x) = 4x(x 1), Ω = [0, 1[ codage d'une solution : séquence de 8 bits égale à la représentation binaire de E(x 2 8 ) exemple : x = 0.3 [0, 1[, x 2 8 =76.8, E(x 2 8 ) [0, 2 8 1[ 76 en binaire donne séquence valeur f (x) / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

90 Application au TSP chromosome : tableau contenant l'indice des villes tness : distance totale parcourue croisement : cf PC mutation : échange de 2 villes tout à l'heure en PC : extension au problème de routage de véhicules (VRP : plusieurs TSP en même temps) 57 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

91 Autres méthodes à base de population colonies de fourmis (ACO) essaims particulères (PSO) 58 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

93 cf PC Hybridation exploitation de la recherche locale dans un algorithme génétique population initiale opérateur de mutation remplacé par une procédure de recherche locale => algorithme mémétique amélioration des enfants générés 60 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

95 Adéquation méthode/problème étant donné un problème d'optimisation, quelle méthode choisir pour produire une solution optimale (ou acceptable) avec un temps de calcul raisonnable? Pas de recette miracle! essayer plusieurs méthode (avec plusieurs paramétrages) peut être nécessaire pour trouver la bonne appel au savoir-faire et à l'expérience de l'utilisateur No Free Lunch Theorm (1997) : En moyenne, sur toutes les fonctions de coût possibles, tous les algorithmes d'optimisation ont des performances équivalentes avec un temps d'exécution ni il n'y pas d'algorithme d'optimisation meilleur que tous les autres 62 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

96 Directives pour bien utiliser les métaheuristiques [2] méthodes de recherche locale on doit pouvoir générer facilement une solution dans S les solutions dans le voisinage V (s) doivent être "proches" de s méthodes de recherche à base de population il faut que l'information pertinente se transmette durant la phase de croisement la combination de deux parents équivalents ne doit pas produire une progéniture diérente des parents la diversité doit être préservée dans la population Do it simple! 63 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

97 Quelques recettes tuning des paramètres : source de diculté algorithmes stochastiques => ne jamais se contenter d'une seule exécution exécutions (runs) nombreuses, indépendantes faire des mesures statistiques (moyennes, écart-types) faire des tests statistiques pour appuyer des conclusions choses à mesurer : résultat moyen pour un temps donné temps moyen pour atteindre un résultat proportion des exécutions à % de l'optimum meilleures solutions obtenues 64 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

98 Pour terminer domaine de recherche riche et en constante évolution (revues et conférences spécialisées) en tant qu'ingénieurs : savoir qu'on dispose de plusieurs méthodes choisir la mieux adaptée : au problème d'optimisation (espace de recherche, fonction objectif...) à ce que l'on cherche : une "bonne" solution trouvée rapidement, ou LA solution à x% de l'optimum pour une bonne performance : bonne fomalisation/modélisation du problème adaptation "intelligente" d'une métaheuristique : intégration des connaissances spéciques + structures de données ecaces 65 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

99 Lectures complémentaires 3 3. http ://cs.gmu.edu/ sean/book/metaheuristics/ 66 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

100 La suite en PC Un problème d'optimisation résolu avec plusieurs heuristiques et métaheuristiques 67 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire

101 Références Bibliographiques I I. Charon, A. Germa, and O. Hudry. Méthodes d'optimisation combinatoire. Masson, Alain Hertz and Marino Widmer. Guidelines for the use of meta-heuristics in combinatorial optimization. European Journal of Operational Research, 151(2) : , Meta-heuristics in combinatorial optimization. 68 / 68 S. Ben Ismail Introduction à l'optimisation combinatoire