Optimisation par réduction d incertitudes Victor Picheny 1 Collaborations : R. Faivre, R. Trépos, D. Da Silva, E. Costes AG MIA, Ecully 17 mars 2014 1. INRA - Unité de Mathématiques et Informatique Appliquées de Toulouse
Plan de l exposé 1 Contexte : optimisation à l aide de métamodèles 2 Optimisation par réduction d incertitudes 3 Objectifs multiples, contraintes 4 Application à la conception d idéotypes 2/21
Introduction Contexte : exploitation de simulateurs numériques Entrée vectorielle (d 50), continue, sortie scalaire ou petite dimension Boîte noire : pas d information sur la relation entrée / sortie Temps de calcul élevé Entrées x Modèle Sortie(s) : y(x) Objectif : optimisation Recherche du meilleur jeu de paramètres : x = arg min x X y(x) Echantillonnage adaptatif 3/21
Exemple : recherche d idéotypes performants avec MappleT (Markov Apple Tree) Traits géométriques : Performance : Distance internoeuds Surface feuille Diamètre branche Angle MappleT + VPLANT Interception lumineuse Un calcul = 45min Han, Costes, Boudon, Cokelaer, Pradal, Da Silva, Faivre (2012) Investigating the Influence of Geometrical Traits on Light Interception Efficiency of Apple Trees : a Modelling Study with MAppleT 4/21
Une solution classique : métamodélisation x Simulateur y(x) Plan d'exp. Objectif Métamodèle S... S x 1,..., x N y 1,..., y N S ŷ(x) enrichissement Utiliser au mieux le métamodèle pour piloter les nouvelles expériences y(x) 4000 2000 0 2000 4000 x Prédicteur Observations 5/21
Métamodélisation par processus gaussiens Hypothèse fondamentale y est une réalisation de Y (x) PG ( µ(x), k(x, x ) ) Métamodèle = loi conditionnelle aux observations Métamodèle probabiliste Beaucoup d information exploitable pour l optimisation! Sacks, Welch, Mitchell & Wynn Design and analysis of computer experiments Statistical science, 409-423 (1989) y(x) 4000 2000 0 2000 4000 x Prédicteur Observations 6/21
Stratégies d enrichissement adaptatif Principe : critères d échantillonnage Mesure de l intérêt d une observation potentielle grâce au métamodèle Stratégie : on effectue l observation maximisant le critère Critères pour l optimisation Référence : Amélioration espérée = plus grand gain attendu sur l objectif Jones, Schonlau & Welch, Efficient global optimization of expensive black-box functions Journal of Global optimization 13 (4), 455-492 (1998) 4000 2000 0 2000 4000 0.0 1.0 2.0 Critère 7/21
Défis / limites des méthodes existantes Problèmes complexes Contraintes non explicites Multi-critère Robuste (sous incertitudes) Objectifs Stratégies (critères) adaptées Efficaces Cohérentes statistiquement 8/21
Plan de l exposé 1 Contexte : optimisation à l aide de métamodèles 2 Optimisation par réduction d incertitudes 3 Objectifs multiples, contraintes 4 Application à la conception d idéotypes 9/21
Stepwise uncertainty reduction (SUR) Principe Mesure d incertitude (Γ n ) par rapport à l objectif à atteindre Ajout du point qui diminuera le plus cette incertitude : x n+1 = arg min E(Γ n+1 ) Difficulté majeure : estimer hors ligne l effet d une observation potentielle Processus gaussiens : conditionnement! Chevalier, Bect, Ginsbourger, Vazquez, Picheny, Richet, Fast parallel kriging-based stepwise uncertainty reduction with application to the identification of an excursion set, Technometrics (2014) SUR et optimisation Meilleure observation trouvée : y min = min(y(x 1 ),..., y(x n )) Quelle incertitude sur le résultat d optimisation? 10/21
Probabilité de dépassement Une mesure d incertitude En tout point : proba. cond. d être meilleur : P(Y (x) y min ) Volume sous y min : Γ n = P(Y (x) y min )dx X Γ n incertitude sur l optimum x Futur volume E(Γ n+1 ) calculable! V. Picheny (2014) Multiobjective optimization using Gaussian process emulators via stepwise uncertainty reduction Statistics and Computing (under review) 0.0 0.5 1.0 Modèle GP Volume sous le min 11/21 0.0 0.2 0.4 0.6
Illustration : réduction espérée du volume Modèle GP Volume sous le min 0.0 0.5 1.0 0.0 0.2 0.4 0.6 0.0 0.5 1.0 On dispose d un critère pour choisir les simulations En pratique : compétitif par rapport à l état de l art 12/21
Plan de l exposé 1 Contexte : optimisation à l aide de métamodèles 2 Optimisation par réduction d incertitudes 3 Objectifs multiples, contraintes 4 Application à la conception d idéotypes 13/21
Deux problèmes difficiles Contraintes implicites min x X f 1 (x) s.c. f 2 (x) 0. f p (x) 0 Domaine admissible inconnu Risque de choisir un grand nombre de points non admissibles Multiobjectif. min x X min x X f 1 (x) f p (x) Recherche du front de Pareto Approche par métamodélisation Typiquement : simulateur multi-sorties Modèle PG pour chaque f i stratégie d échantillonnage jointe 14/21
Adaptation au cas contraint Modification de la mesure d incertitude Proba d être meilleur proba d être meilleur ET admissible : Γ n = P(F 1 (x) f min F 2 (x) 0)dx X Réduction du volume si nouveau point meilleur et/ou contrainte mieux estimée Le futur volume reste calculable analytiquement (décompositions en différents cas : nouveau point admissible ou pas, meilleur...) Avantages Compromis automatique entre apprentissage des contraintes et recherche de l optimum Cohérent statistiquement 15/21
Illustration : problème 2D Couleur : fonction objectif (vert sombre : minimum) Trait noir : frontière d admissibilité Symboles : points ajoutés (en gras : optimum) Final Estimated fea 0.0 0.2 0.4 0.6 16/21
Adaptation au cas multicritère Probabilité d être derrière le front Gain restant espéré : Γ n = P (Y(x) non dominé) X Découpage de l espace en hyper-rectangles on se rapporte à des probabilités de dépassement Réduction d incertitude calculable Compromis automatique entre objectifs / couverture du front de Pareto Obj2 0.2 0.4 0.6 0.8 1.0 Obj1 17/21
Plan de l exposé 1 Contexte : optimisation à l aide de métamodèles 2 Optimisation par réduction d incertitudes 3 Objectifs multiples, contraintes 4 Application à la conception d idéotypes 18/21
Conception d idéotypes avec MappleT Traits géométriques : Performance : Distance internoeuds Surface feuille Diamètre branche Angle MappleT + VPLANT Interception lumineuse Un problème multiobjectifs Prise en compte des corrélations et des difficultés à concevoir des variétés : critère coût de conception Coût de conception = proximité d une combinaison de traits à des phénotypes réels (122 observations) Antagoniste avec la performance (interception lumineuse) { min -Performance min Coût de conception 19/21
Résultats : front de Pareto Configuration Initialisation : 50 observations 110 itérations de l algorithme 1 min pour trouver la nouvelle observation (45min par simulation) Résultats Front étendu malgré le faible nombre de simulations Ensemble de variétés potentielles Feasability 5 0 5 10 15 20 Croix : observations initiales Cercles : nouvelles observations 350 250 150 50 Performance 20/21
Conclusion et perspectives Métamodélisation et échantillonnage adaptatif pour l étude de simulateurs coûteux Nombreux problèmes ouverts Multiples heuristiques possibles Approche par réduction d incertitudes : concept flexible, efficace? Travaux en cours et futurs Traitement des incertitudes liées au simulateur (climat?) Transposition à d autres types de métamodèles 21/21
Annexe : fonction coût de conception Coût - densité de probabilité (gaussienne) des 122 observations Area 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 20 25 30 35 40 45 50 3 4 5 6 7 8 0 20 40 60 80 INL 20 30 40 50 20 30 40 50 3 4 5 6 7 8 0 20 40 60 80 Diameter 3 4 5 6 7 8 0 20 40 60 80 Angle 21/21
Annexe : 3 arbres Pareto-optimaux 21/21