République Algérienne Démocratique et Populaire Université des Sciences et de la Technologie d Oran Mohamed Boudiaf (USTO) Module : optimisation avancée Présentation de : La méthode l'entropie croisée MASTER 2 : Option RFIA Présenté par : HENNI Farid 12 Enseigné par : Mr Benyettou Mohamed.
1. Introduction 2. Définition et Historique 3. Principe 4. L organigramme de l algorithme EC 5. Algorithme 6. Exemple simple 7. Avantage et Inconvénient 8. Conclusion 9. Bibliographie
1. Introduction (les problèmes difficiles) Une métaheuristique est un algorithme d optimisation visant à résoudre des problèmes d optimisation difficile, on distingue en réalité deux types de problèmes d optimisation les problèmes discret ou combinatoire et les problèmes à variables contenues. Pour fixer les idées, citons deux exemples : Parmi les problèmes discrets, on trouve le célèbre problème de voyageur de commerce il s agit de minimiser la longueur de la tournée d un voyageur de commerce qui doit visiter un certain nombre de villes, avant de retourner à la ville de départ. Un exemple classique de problème continu est celui de la recherche des valeurs à affecter aux paramètres d un modèle numérique de processus, pour que ce modèle reproduise au mieux le comportement réel observé. En pratique on rencontre aussi des problèmes mixtes, qui comportent à la fois des variables discrètes et des variables continues. La méthode l'entropie croisée utilisée pour résoudre les problèmes difficiles. 2. Définition et historique La méthode de l'entropie-croisée (CE) (Reuven Rubinstein 1997) est une méthode générale d'optimisation de type Monte-Carlo, pour l'optimisation combinatoire et continue. La méthode a été conçue à l'origine pour la simulation d'événements rares, où des densités de probabilités très faibles doivent être estimées correctement, par exemple dans l'analyse de la sécurité des réseaux, les modèles de file d'attente, ou l'analyse des performances des systèmes de télécommunication. La méthode CE peut être appliquée à tout problème d'optimisation combinatoire où les observations sont bruitées comme le problème du voyageur de commerce, l'optimisation quadratique, le problème d'alignement de séquences d'adn, le problème de la coupure maximale et les problèmes d'allocation de mémoire. 3. Principe La méthode CE implique un processus itératif où chaque itération peut être décomposée en deux phases : 1. Génération aléatoire d'un échantillon d'information (trajectoires, vecteurs, etc.) selon un mécanisme bien déterminé. 2. Mise à jour de paramètres de la génération aléatoire. Cette phase implique la minimisation selon le principe d'entropie croisée ou la divergence de Kullback Leiber.
3. L organigramme de l algorithme EC La figure 1 décrit l'algorithme CE pour l'optimisation Initialiser une loi de probabilité représentative du problème Tirer un échantillon de valeurs suivant cette loi Evaluer les valeurs tirées Sélectionner les meilleurs Déformer la loi de probabilité en fonction de meilleures valeurs Répéter jusqu'à convergence Figure 1 : l Organigramme de l algorithme EC
4. Algorithme La méthode d entropie croisée est un algorithme stochastique itératif qui cherche à résoudre un Problème d optimisation de la forme : = arg max S( ) Entrées: (μ0,σ0) : moyenne et écart-type initiaux de la distribution des paramètres evaluer () : une fonction qui estime la fonction à optimiser S pour un certain vecteur ϴ P : la fraction de vecteurs sélectionnés Zt : le bruit ajouté à chaque itération N : le nombre de vecteurs générés à chaque itération Sorties : paramètres optimisés = μt Répéter : Générer N vecteurs 1, 2... N selon N(μ, σ 2 ) Evaluer chaque vecteur à l aide de la fonction évaluer () Sélectionner les p N vecteurs ayant reçu les meilleures évaluations μ (moyenne des vecteurs sélectionnés) σ 2 (variance des vecteurs sélectionnés) +Zt Fin
5. Exemple simple Le même algorithme CE peut être utilisé pour l'optimisation et l'estimation. Soit le problème consistant à maximiser une fonction S(x), par exemple : Pour utiliser l'entropie croisée on doit d'abord considérer le problème stochastique associé de l'estimation de Pϴ : pour un niveau donné, et une famille de distributions de probabilité paramétriques par exemple la loi normale à une dimension, dont les paramètres sont :
la moyenne μt et la variance σ 2 t tel que ϴ= (μ0,σ0) Ainsi, pour un donné, l'objectif est de déterminer ϴ tel que la quantité soit minimisée. Ce qui est fait en utilisant la version échantillonnée (contrepartie stochastique) du problème de la minimisation de la divergence KL. Il se trouve que pour ce choix de distribution les paramètres qui minimisent la version stochastique du problème sont la moyenne et la variance empirique de l'échantillon d'élite qui est composé des tirages dont la valeur de la fonction score est. Le plus mauvais des éléments de l'échantillon d'élite sert de paramètre de niveau à l'itération suivante. Pseudo code matlab : mu:=-6; sigma2 =100; t:=0; maxits=100; // Initialisation des paramètres N=100; Ne=10; While t < maxits and sigma2 > epsilon // Tant que l'on n'a pas convergé et que maxits n'est pas dépassé X = SampleGaussian(mu, sigma2,n); // Génère N échantillon à partir de la distribution S = exp(-(x-2)^2) + 0.8 exp(-(x+2)^2); // Calcule le score de chaque échantillon X = sort(x, S); // Classe X selon le score (de façon descendante) mu = mean(x(1:ne)); sigma2=var(x(1:ne)); // Mise à jour des paramètres de la distribution t = t+1; return mu // Incrémentation du nombre d'itérations // Renvoie la moyenne des derniers échantillons comme la solution 6. Avantages et inconvénients La méthode CE est une méthode d'optimisation stochastique basée sur le principe d'échantillonnage préférentiel. Elle fait partie des méthodes de simulation de Monte-Carlo. En tant que méthode de simulation, elle s'adapte à des données difficiles à formaliser. Le principal inconvénient qu'elle présente est le temps de calcul important.
7. Conclusion Dans ce rapport, nous avons expliqué brièvement le principe de la méthode CE. Cette méthode, qui trouve ses origines dans le domaine de simulations des événements rares, elle est aujourd'hui utilisée dans plusieurs domaines. La méthode CE peut être appliquée à tout problème d'optimisation combinatoire où les observations sont bruitées comme le problème du voyageur de commerce, le problème d'affectation quadratique, le problème d'alignement de séquences et le problème de la coupure maximale, tout comme des problèmes d'optimisation continue. Sites : Pdfs : Bibliographie 1. http://fr.wikipedia.org/wiki/méthode_de_l'entropie_croisée 2. http://iew3.technion.ac.il/ce/ 1. http://hal.inria.fr/docs/00/41/89/22/pdf/article.pdf 2. http://tel.archives-ouvertes.fr/docs/00/55/79/12/pdf/rapportsarrabouallagui.pdf 3. http://zanutti.perso.info.unicaen.fr/jfpda2011/marin.pdf