JFMS Toulouse 24, 25, 26 mars 2010 AK-MCS : une méthode d apprentissage alliant krigeage et simulation Monte Carlo pour évaluer efficacement P f Benjamin Echard Nicolas Gayton Maurice Lemaire LaMI Laboratoire de Mécanique et Ingénieries
Introduction Constat de départ : On a un modèle stochastique avec une fonction de performance G dont on cherche à prédire la probabilité de défaillance P f à partir d un plan d expériences de points évalués sur G : (X,Y) ( ) (1) ( p) ( i) n (1) ( p) ( i) X = x x, x G Y = ( y y ), y G est considéré comme ayant un coût de calcul important et Monte Carlo n est donc pas applicable. Objectifs : On cherche à obtenir P f en limitant le plus possible le nombre d appels à G (et donc la taille du plan d expériences) : introduction des métamodèles On choisit judicieusement le point suivant à évaluer sur G et à ajouter au plan d expériences pour améliorer au maximum la prédiction. 2
Principes du krigeage Issu de la géostatistique Krige & Matheron (1960 s) Principes : G(x) est vue comme la réalisation d un processus gaussien g(x) On cherche à identifier g(x) et la trajectoire qui passe par les points du plan d expériences. Prédiction Ĝ(x) du résultat de G(x) à partir d un BLUP (Meilleur estimateur linéaire sans biais) Intérêt du krigeage par rapport aux autres métamodèles : Interpolateur exact : G ˆ ( x) = G( x), x X Mesure de l incertitude de la prédiction Ĝ(x) par la variance de krigeage: σ Ĝ2 (x) Méthode par apprentissage : A l itération k, on cherche le point x* qui, si on l évaluait sur G pour le rajouter au plan d expériences, améliorerait le plus, à l itération k+1, la réponse du métamodèle. 3
Théorie du krigeage G(x) est la réalisation à identifier d un processus gaussien g(x) à identifier Bref aperçu de la théorie du krigeage : 1. Définition du Processus Gaussien : Soit g(x) un processus gaussien modélisé par : g( x) = F( x, β) + z( x) T F(x,β) : Modèle de régression : F ( x, β) = f( x) β Ici, le krigeage ordinaire est utilisé : F( x, β) = β, β z(x) : Processus gaussien de moyenne nulle et de covariance : n 2 2 z θ θ θi i i i= 1 cov( z( x), z( w)) = σ R ( x, w) avec R ( x, w) = exp ( x w) θ, β, σ z sont estimés par maximum de vraisemblance 4
Théorie du krigeage 2. Prédiction Par le BLUP, Best (minimise l erreur quadratique moyenne ou variance de krigeage σ Ĝ2 (x)) Linear Unbiased Predictor : Gˆ ( x ) r ( x ) R Y σ T 1 = β + ( β1p ) ( ˆ ) σz ( 1p 1p) ( ) x x x x x r r 2 1 2 2 T T 1 T 1 ˆ ( ) = E G( ) G( ) = 1 + u( ) R u( ) R G 1 et u( ) p R ( ) 1 () i ( j) (1) ( p) ( R ) ( R R ) T θ x x r x θ x x θ x x avec les corrélations: R = (, ) ; ( ) = (, ) (, ) ; le vecteur 1 rempli de 1 et de taille p; x p = 1 r x i, j= 1 p 5
Méthode AK-MCS Objectifs : On cherche à obtenir P f en limitant le plus possible le nombre d appels à G On choisit judicieusement le point suivant à évaluer sur G pour améliorer au maximum la prédiction. Proposition : AK-MCS, an Active learning reliability method combining Kriging and Monte Carlo Simulation Principes : Réaliser une simulation Monte Carlo sans évaluer tous les points de la population sur G Prédiction de tous les points d une population de Monte Carlo à partir de quelques uns choisis judicieusement pour être évalués sur G (plan d expériences de petite taille) A chaque itération, on recherche le point améliorant le plus le métamodèle et on l ajoute au plan d expériences (en l évaluant sur G). 6
Méthode AK-MCS Explication de AK-MCS : = + + { x1 x2} Gx (, x) 0.5x 1.5x 6 2 3 1 2 1 2, N(0,1) G(x) G(x)=0 7
Méthode AK-MCS S 1) Génération d une population S : n MC points N call = 0 2) Plan d expériences initial : N 1 points de S N call = 10 8
Méthode AK-MCS Plan d expériences (X,Y) 3) Définition du modèle de krigeage DACE σ z, β, θ Ĝ(x)=0 Ĝ(x)>0 G(x) G(x)=0 4) Prédiction Ĝ et σ Ĝ2 des points de S 5) Estimation de P f avec Ĝ(x), x S Ĝ(x)<0 Pˆ f n = n Gˆ 0 MC 9
Méthode AK-MCS 6) Calcul de la fonction d apprentissage U(x), x S Chercher le point de S avec la plus grande chance de changer de signe de prédiction D après le krigeage : ( ˆ ) G ˆ N G ˆ( x ), σ ( ) G x G ˆ ( x ) U ( x ) σ ( ) 0 G ˆ x = Gˆ ( x ) U ( x) = σ x ( ) G ˆ Probabilité que le signe de Ĝ(x) change Le meilleur point x * de S à ajouter au plan d expériences a la plus petite valeur de U 10
Méthode AK-MCS 7) Condition d arrêt de l apprentissage Rappel : le meilleur point x * de S à ajouter au sens de U est min( U( x* )), x* S Condition d arrêt : min( U( x)) 2, x S Si la condition n est pas satisfaite, on évalue G(x*) et on l ajoute au plan d expériences. On repart de l étape 3 pour définir le modèle mis à jour de krigeage à partir du nouveau plan d expériences. Ĝ(x)=0 Ĝ(x)>0 min(u(x)) G(x)=0 G(x) Ĝ(x)<0 11
Méthode AK-MCS 7) Condition d arrêt de l apprentissage Rappel : le meilleur point x * de S à ajouter au sens de U est min( U( x* )), x* S Condition d arrêt : min( U( x)) 2, x S Si la condition n est pas satisfaite, on évalue G(x*) et on l ajoute au plan d expériences. On repart de l étape 3 pour définir le modèle mis à jour de krigeage à partir du nouveau plan d expériences. N call = 11 12
Méthode AK-MCS 7) Condition d arrêt de l apprentissage Rappel : le meilleur point x * de S à ajouter au sens de U est min( U( x* )), x* S Condition d arrêt : min( U( x)) 2, x S Si la condition est satisfaite, on arrête d enrichir le plan d expériences et on vérifie que le COV de P f est suffisamment bas (ici 5%). COV( Pˆ ) = f 1 Pˆ Pˆ n f f MC P f vs N call N call = 18 13
Méthode AK-MCS 1) Génération d une population S : n MC points G évaluation 2) Plan d expériences initial : N 1 points de S N i+1 =N i +1 - Evaluation sur G du meilleur point à ajouter vis-à-vis de U -Ajout du point au DoE 3) Définition du modèle de krigeage 4) Prédiction Ĝ(x) et σ Ĝ2 (x) de la population S 5) Estimation de P f avec le signe de Ĝ(x) 6) Calcul de la fonction d apprentissage U(x) Méthode d apprentissage non non min(u(x))>2 oui COV(P f )<5% oui MàJ population Fin 14
Applications AK-MCS Minimum de 4 fonctions { x x }, N(0,1) 1 2 G 2 3 + ( x1 x2) /10 ( x1+ x2)/ 2;( x1 x2) + 6/ 2; = min 3 ( 2 + x1 x2 ) /10 + ( x1+ x2 )/ 2;( x2 x1 ) + 6/ 2 Résultats Méthode N call P f (covp f ) β Ĝ(x)<0 Ĝ(x)>0 MCS 10 6 4.42 10-3 (1.5%) 2.62 AK-MCS 117 4.42 10-3 2.62 Ĝ(x)=0 Prédiction précise seulement pour les points de S G(x)=0 15
Applications AK-MCS Minimum de 4 fonctions { x x }, N(0,1) 1 2 G 2 3 + ( x1 x2) /10 ( x1+ x2)/ 2;( x1 x2) + 6/ 2; = min 3 ( 2 + x1 x2 ) /10 + ( x1+ x2 )/ 2;( x2 x1 ) + 6/ 2 Résultats G(x)=0 Normalised P f 3 2 1 Number of calls to G 4 Ĝ(x)=0 P. Exp initial Points ajoutés 16
Applications AK-MCS Fonction de Rastrigin modifiée { x x }, N(0,1) 1 2 2 2 ( i π i ) Gx ( ) = 10 x 5cos(2 x) i= 1 Résultats G(x)=0 Ĝ(x)>0 Méthode N call P f (COV(P f )) β MCS 60000 7.34.10-2 (1.5%) 1.45 AK-MCS 446 7.34.10-2 1.45 Krigeage très souple et capable de travailler en non-connexité Ĝ(x)<0 Ĝ(x)=0 17
Applications AK-MCS Fonction de Rastrigin modifiée { x x }, N(0,1) 1 2 2 2 ( i π i ) Gx ( ) = 10 x 5cos(2 x) i= 1 Résultats P f normée N call P. Exp initial Points ajoutés 18
Applications AK-MCS MEF Cornière et critère de Dang Van G = 1 Γ( Feq, L, e1, e2, R) Variable P.D.F. Moy. COV F eq (N) Normal 150 0.2 L (mm) Normal 70 0.05 e 1 (mm) Normal 15 0.05 e 2 (mm) Normal 15 0.05 R (mm) Normal 10 0.1 Résultats Méthode N call P f β n MC COV(P f ) AK-MCS 452 4.87.10-4 3.30 10 6 4.5% P f Fonction de performance implicite N call 19
Conclusion Méthode performante : Mais : Utilisation du krigeage pour classifier une population de points générée par Monte Carlo (on se concentre seulement sur les points avec une densité suffisante pour avoir un effet sur P f ) Modèles fortement non linéaires, non convexes, non connexes Krigeage est très souple Trèsfaibles probabilités (trop de prédictions par itération) Améliorations possibles : Diminution du nombre de points estimés à chaque itération (les points dont les signes sont sûrs, sont retirés, par ex : U(x)>5 durant 5 itérations consécutives) AK-IS, AK-SUBSET, 20
Merci pour votre attention Questions? JFMS Toulouse 24, 25, 26 mars 2010