Ant Colony Optimisation.

Transcription

1 Ant Colony Optimisation 1/77

2 Plan Fourragement fourmis Algorithmes fourmis Ant Colony Optimisation appliqué au TSP Généralisation ACO Analyse de l'algorithme 2/77

3 Fourragement ches les fourmis Mecanisme de recherche de nourriture chez fourmis 3/77

4 Fourragement ches les fourmis 4/77

5 Fourragement ches les fourmis 5/77

6 Fourragement ches les fourmis Mecanisme de recherche de nourriture chez fourmis Quand on observe des fourmis Lignes de fourmis Suivent un chemin Comment ce chemin est il construit? Question philosophe Touche à la notion d'emergence / holisme Organe / corps 6/77

7 Fourragement ches les fourmis Mecanisme de recherche de nourriture chez fourmis Quand on observe des fourmis Lignes de fourmis Suivent un chemin Comment ce chemin est il construit? Experiences éthologie 7/77

8 Double bridge experiment Deneubourg (1990) 8/77

9 Résultats observés (Deneubourg) Une colonie de fourmis Chemins de taille identique Interpretation? 9/77

10 Résultats observés (Deneubourg) Une colonie de fourmis Chemins de taille identique Interpretation? Brisure de symétrie Toutes les fourmis empruntent le meme chemin 10/77

11 Résultats observés (Deneubourg) Une colonie de fourmis Chemins de tailles différentes Interpretation? 11/77

12 Résultats observés (Deneubourg) Une colonie de fourmis Chemins de tailles différentes Interpretation? La colonie suit le chemin le plus court 12/77

13 Avec une fourmi Quand on dispose une seule fourmi Elle suit de manière indifférenciée un chemin Que les chemins ont la meme taille ou non Ou se trouve l'intelligence? Quell est la source de l'intelligence? 13/77

14 Avec une fourmi Quand on dispose une seule fourmi Elle suit de manière indifférenciée un chemin Que les chemins ont la meme taille ou non Ou se trouve l'intelligence? Quell est la source de l'intelligence? Une réponse Plutot que faire un système complexe Faire des individus simples en interaction 14/77

15 Stigmergie Principe fondamental de coordination Origine Grasse[59] et termites Adaptent leur comportement Localement Theraulaz, construction de nids 15/77

16 Stigmergie Principe fondamental de coordination Origine Grasse[59] et termites Adaptent leur comportement Localement Principe Environnement stocke mémoire du groupe Communication indirecte "le travail guide l'ouvrier" ==> solution complexité collective 16/77

17 Stigmergie Communication indirecte environnement 17/77

24 Fourragement fourmis Principe Fourmis déposent des phéromones + mécanisme evaporation Quand elles ramènent la nourriture Les phéromones se dissipent Boucle amplificatrice Certains chemins deviennent marqués Évaporation Les chemins les plus courts deviennent les plus marqués Ils attirent le plus de fourmis Ces chemins deviennent plus marqués 24/77

25 Fourragement fourmis Principe Fourmis déposent des phéromones + mécanisme evaporation Quand elles ramènent la nourriture Les phéromones se dissipent Boucle amplificatrice Certains chemins deviennent marqués Brisure de symétrie Évaporation Les chemins les plus courts deviennent les plus marqués de petites différences Ils attirent leamplification plus de fourmis Ces chemins deviennent plus marqués 25/77

27 Algorithme fourmi Ant colony Optimisation Dorigo 1995 Principe Deplacer des fourmis virtuelles Créer des chemins Algorithme global Faire évoluer fourmis Decisions en fonction des phéromones vues Retour des fourmis Depot de phéromones 27/77

28 Algorithme fourmi - décision Prise de décision A partir des phéromones Les chemins plus ou moins marqués τij 28/77

29 Algorithme fourmi - décision Prise de décision Les chemins A partir des phéromones plus ou moins marqués τij Décision stochastique de la fourmi Suivre globalement plus marqué α p ij = β τij. ηij τ αil. ηβil l 29/77

30 Algorithme fourmi - décision Prise de décision Les chemins A partir des phéromones plus ou moins marqués τij Décision stochastique de la fourmi Suivre globalement plus marqué τij. ηij + eventuellement Liste taboue τ αil. ηβil Pour éviter revenir α p ij = β l 30/77

31 Algorithme fourmi - décision Pij Probabilité de suivre chemin ij Tauij Quantité de pheromone en ij Etaij Heuristique à ajouter p ij = α ij β ij τ.η τ l α il β il.η Interet a priori de suivre chemin Beta et alpha Rapport heuristique / passé Exploration vs exploitation Alpha == 0 --> dépend que des heuristiques Beta == 0 --> dépend que des pheromones 31/77

32 Algorithme fourmi MaJ Phéromones Mise à jour phéromones A partir de la fonction objectif Évaporation τ ij =(1 ρ) τ ij +g (s) A partir de l'objectif Une fois le chemin terminé Ajout aux chemins parcouru d'une quantité g(s) Mises à jour prend différentes formes Evaporation Rho désigne taux évaporation 32/77

33 Algorithme fourmi général Initialisation des pistes de phéromone ; Tant que critère d'arrêt non atteint : Déplacer les fourmis mise à jour des pistes de phéromone ; Fin de la boucle. 33/77

34 Dilemne exploration/exploitation Principe Fourmis explorent continuellement Elles exploitent avec phéromones Decouverte de nouveaux chemins Raffinement des chemins Comment? Collectivité permet exploration constante Tout en exploitant Système dynamique capable de s'adapter 34/77

35 Simulations algorithmes fourmis Regarder Plateforme madkit Plateforme netlogo Demonstration 35/77

37 Algorithme fourmi et résolution de probleme Algorithme précédent Cherche plus court chemin Reproduit experiences biologiques Comment en faire un principe de résolution? Exemple TSP 37/77

38 Ant Colony Optimization ACO ACO webpage Ant Colony Optimisation (dorigo 1995) Quasiment devenu un champ disciplinaire Conférence sur les algorithmes Fourmis,... 38/77

39 ACO et voyageur de commerce Principe global Faire évoluer des fourmis sur le graphe Quand une fourmi finit cycle prise de décision Liste taboue villes visitées Renforcer chemins parcourus Avec g(s)=1 / distance Résultats Parmi les meilleurs observés /77

40 ACO et voyageur de commerce Question Quel est l'espace de recherche? Quel est l'espace de déplacement des fourmis? Comment généraliser le principe? 40/77

41 ACO et voyageur de commerce Question Quel est l'espace de recherche? On cherche une permutation Quel est l'espace de déplacement des fourmis? Comment généraliser le principe? 41/77

42 ACO et voyageur de commerce Question Quel est l'espace de recherche? Quel est l'espace de déplacement des fourmis? On cherche une permutation Pas dans l'espace des permutations Dans l'espace du graphe Comment généraliser le principe? 42/77

43 ACO et voyageur de commerce Question Quel est l'espace de recherche? Quel est l'espace de déplacement des fourmis? On cherche une permutation Pas dans l'espace des permutations Dans l'espace du graphe Comment généraliser le principe? Transforme un probleme statique en dynamique Construire un comportement qui génére une solution 43/77

44 ACO principe général fourmis construisent une solution de manière incrémentale A chaque instant, décision choisissent variable definissant pb Ex: ville suivante Une fois une solution construite Évaluent et mise à jour Ex : longueur du cycle 44/77

45 ACO construction dynamique Solution incrémentale Part de X0 Itération : Xi (u0,,uj-1) --> Xi+1 (u0,,uj-1,uj) Xi solution partielle de longueur i satisfiable Plusieurs choix possibles à chaque étape Pour chaque xi on définit U(xi) les actions possibles Vu comme un problème de décisions multiples Identique à problème de contrôle Trouver la commande a faire à chaque étape pour obtenir la solution optimale 45/77

46 ACO construction dynamique Part X0 vide 46/77

47 ACO construction dynamique Commandes possibles 47/77

48 ACO construction dynamique Choix d une commande 48/77

49 ACO construction dynamique Solution Partielle X1 49/77

50 ACO construction dynamique Commandes Possibles restantes 50/77

51 ACO construction dynamique 51/77

52 ACO controle dynamique En theorie un controleur dans chaque état État == historique des villes parcourues Explosion combinatoire Cela revient à tout tester 52/77

53 ACO controle dynamique, factorisation Gr G 53/77

54 ACO controle dynamique, factorisation Birattari2002 Factorisation fourmi markovienne Probabilité ne dépend que de la ville où on se trouve Gr G 54/77

55 Plan Fourragement fourmis Algorithmes fourmis Ant Colony Optimisation appliqué au TSP Analyse de l'algorithme 55/77

56 Pourquoi ca marche? Algorithmes fourmis Deux types de preuve graph based ant system and convergence (Gutjahr 2002) Ant colony optimization and stochastic gradient descent (Meuleau, Dorigo 2002) 56/77

57 Gutjahr 2002 Graph ant system En deux mots Mémorisation du meilleur chemin global visité Mise àjour uniquement sur le meilleur chemin Preuve Probabilité de prendre ce chemin augmente avec le temps Ce chemin sera donc pris à un instant Et le système se stabilise 57/77

58 Meuleau, Dorigo 2002 Principe ACO Transforme un probleme statique en probleme dynamique Idée Comprendre comment controleur est construit 58/77

59 Meuleau, Dorigo 2002 Phéromones Fourmis 59/77

60 Meuleau, Dorigo 2002 Phéromones probabilités Politique Individuelle Fourmis 60/77

61 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Politique Individuelle évoluer 61/77

62 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Politique Individuelle évoluer Chemin 62/77

63 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Politique Individuelle évoluer Chemin Distance 63/77

64 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Politique Individuelle évoluer Delta Phéromones Chemin Distance 64/77

65 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Politique Individuelle évoluer Delta Phéromones Chemin Distance 65/77

66 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Valeur Moyenne Politique Individuelle évoluer Plusieurs fourmis Chemin Distance 66/77

67 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Cherche à optimiser Valeur Moyenne Politique Individuelle évoluer Plusieurs fourmis Chemin Distance 67/77

68 Phéromones probabilités Fourmis Politique Individuelle évoluer Chemin Descente de gradient Valeur Moyenne Plusieurs fourmis Distance 68/77

69 Meuleau, Dorigo 2002 Phéromones probabilités Fourmis Estimer Gradient M Selon T Valeur Moyenne Politique Individuelle évoluer Plusieurs fourmis Chemin Distance 69/77

70 Meuleau, Dorigo 2002 Phéromones T probabilités De déplacer Selon M Fourmis Estimer Gradient M Selon T Valeur Moyenne Politique Individuelle évoluer Plusieurs fourmis Chemin Distance 70/77

71 Meuleau, Dorigo 2002 Phéromones T probabilités De déplacer Selon M Fourmis Estimer Gradient M Selon T Valeur Moyenne Politique Individuelle évoluer Plusieurs fourmis Chemin Distance 71/77

72 Meuleau, Dorigo 2002 Démarche Dans l espace des phéromones Optimiser la valeur moyenne Modifier phéromones Descente de gradient : Évaluer la variation de v en fonction de T(x,y) Bouger dans cette direction 72/77

73 Meuleau, Dorigo 2002 Ce qu on cherche à optimiser Erreur: = moyenne de 1/distnace Gradient De/dT(x,y)=E(Tx,y/distance ) sur chemin sachant T Tx,y = eligibility Evaluer ce gradient Monte carlo : forward : je lance fourmi Sur chemin, somme Tx,y/distance (estimation du gradient) Je modifie pheromones en fonction de cela 73/77

74 Plan Fourragement fourmis Algorithmes fourmis Ant Colony Optimisation appliqué au TSP Analyse de l'algorithme Exemple applications 74/77

75 Utilité des algorithmes fourmis Mise à jour dynamique Plein de questions sur l'adaptabilité Exemple Fourragement disparition de sources Recherche de nouvelles sources Routage dans les réseaux (antnet Di Caro, Dorigo) Reconnaissance d'images (ramos Digital image habitats) Etc... 75/77

76 Autres exemples 76/77

77 Autres exemples inspiration biologique PSO Particule swarm optimization Brood sorting Tri (lumer et faieta) Systèmes immunitaires artificiels Etc... 77/77