Analyse de sensibilité des modèles de simulation. Samuel Buis UMR 1114 EMMAH Avignon

Transcription

1 Analyse de sensblté des modèles de smulaton Samuel Bus UMR 1114 EMMAH Avgnon Formaton Modélsaton ECCORE, 26 octobre 2014

2 Plan Introducton des concepts Quelques eemples de méthodes L analyse de sensblté en pratque

3 Plan Introducton des concepts Quelques eemples de méthodes L analyse de sensblté en pratque

4 Introducton des concepts Problématque Les modèles devennent complees trop complees! Le modèle onctonne t l correctement? Répondl de manère approprée au varatons des paramètres? Quels processus sont prédomnant dans le système étudé? Quels processus nteragssent? Quel est le pods des ncerttudes des dérents paramètres d entrée sur la smulaton des sortes? Quels paramètres devras je estmer avec plus de précson pour rédure les ncerttudes de la sorte smulée? Quels sont ceu que je peu er sans conséquences? On souhate étuder l eet respect des entrées d un modèle sur ses varables de sorte : c est l analyse de sensblté

5 Introducton des concepts Le Modèle Code normatque : D k D y l CI,CL,orçages, paramètres y mpact arables smulées Facteurs arables d ntérêt Analyse de sensblté

6 Introducton des concepts Les dérvées partelles ~ tau d accrossement d une varable par rapport à un acteur en un pont donné Calculable par dérences nes ou par code adjont Inormaton purement locale partelle en cas de ortes nonlnéartés. Y 1 2

7 Introducton des concepts Méthodes locales et globales Méthodes Locales : eet d une able perturbaton autour d un pont de l espace des acteurs. Y D D y La perturbaton est applquée acteur par acteur méthodes One At a Tme) approches détermnstes normatves sur phénomènes locau applcables au modèles coûteu et/ou à beaucoup de paramètres modèle spatau, ).

8 Introducton des concepts Méthodes locales et globales Méthodes Globales : les acteurs varent smultanément et dans toute la gamme de valeurs étudée. Approches stochastques basées sur un échantllonnage de l espace des acteurs, Souvent gourmandes en nombre de smulatons. E. : Méthodes basées sur la varance et Y sont consdérées comme des varables aléatores. On cherche à estmer la proporton de varance de Y eplquée par les dérents acteurs étant donnée leur lo de dstrbuton. Source : Saltell et al. 2000

9 k k j j j ),, ), ) ) Pour tout modèle ) dén et ntégrable sur le domane D, l este une décomposton onctonnelle unque Hoedng 1948, Sobol 1993) : Sot la varable aléatore Y=), avec varable aléatore de lo de probablté ée. Introducton des concepts Décomposton de la varance I) où les onctons * sont mutuellement orthogonales sur le domane D... ) ) ), ), ) ) ) j j j j j j Y E Y E Y E

10 Introducton des concepts Décomposton de la varance II) k k j j j Y )),..., )), )) ) S les sont ndépendantes entre elles, on a alors : j j j j j Y E Y E j j )), )), )) )), ~ ~, Avec : On peut donc eprmer la varance de Y en oncton de la somme des contrbutons ndvduelles des dérents acteurs et de leurs nteractons.

11 Introducton des concepts Indces de Sobol I) On dént ans les ndces de sensblté de Sobol Sobol 1993) : S E ~ Y Y ) )) Indce de premer ordre : part de varance de Y eplquée par les varatons de ndépendamment de la valeur des autres acteurs S j j Indce d ordre 2 : part de varance de Y due au varatons de et j non eplquée par la somme de leurs eets propres On a : S S S 1 j j 12k Donc : 1 S 1alors le modèle est addt 1 0ndque la présence d nteractons)

12 Introducton des concepts Indces de Sobol II) Le nombre total d ndce étant égal à 2 k 1, en pratque on calcule souvent l eet total Homma et Saltell 1996) : ST S S En utlsant le théorème de la varance totale, on a : ST 1 ~ E Y Y ) «a good, synthetc, though non ehaustve charactersaton o the senstvty pattern or a model wth k actors s gven by the total set o rst order terms plus the total eects.» Saltell et al 2006). )) E ~ ~ Y Y ) ~ j )) j S 12 k

13 Introducton des concepts Remarques concernant les méthodes globales Les méthodes globales peuvent être basées sur autre chose que la varance : probablté de dépasser un seul, entèreté de la dstrbuton Borgonovo 2006), Il y a un len théorque entre dérvées partelles et ndces de Sobol Kucherenko et al 2009, Roustant et al 2013)

14 Introducton des concepts Les dérentes amlles de méthodes Il este une grande varété de méthodes c. Saltell et al 2008, Favre et al 2013). Elle peuvent être classées de dérentes açons : Locales / Globales / Screenng crblage : premer tr des acteurs à able coût) Quanttatves / Qualtatves Graphques / Détermnstes / Stochastques Sans hypothèses sur le modèle model ree ou boîtes nores) / avec hypothèses sur le modèle boîtes blanches)

15 Plan Introducton des concepts Quelques eemples de méthodes L analyse de sensblté en pratque

16 Quelques eemples de méthodes Méthodes graphques : nuages de ponts I) Echantllonner avec N>>k, Réalser les smulatons correspondantes, Tracer les nuages de ponts de Y en oncton des. Modèle d Ishgam Ishgam and Homma,1990) Y sn j ~U p,p), A=7 et B=0.1 N= A sn 2 B 3 sn normatons qualtatves plus ou mons apparentes sur l eet des paramètres : orce, sens de varaton, présence d nteractons, 1

17 Quelques eemples de méthodes Méthodes graphques : nuages de ponts II) S E ~ Y Y ) )) arance eplquée par le modèle de régresson Y ) E ~ Théorème de la varance totale : Y ) E Y )) E ~ Y ~ )) Eets lés au autres paramètres = erreur résduelle du modèle de régresson Y ) E ~

18 Quelques eemples de méthodes Méthodes graphques : nuages de ponts III) Une estmaton grossère de S peut être obtenue en calculant la varance emprque d une estmaton de la moyenne condtonnelle moyenne moble, méthodes à noyau, polynômes locau, ). S ST aleurs théorque des ndces de Sobol pour le modèle Ishgam S aleurs approchées des ndces prncpau n=300, estmaton de la moyenne condtonnelle par méthode à noyau).

19 Quelques eemples de méthodes Méthodes graphques : à vor auss Interacton plot CUSUNORO plot Plschke 2012) Cobweb plot Technques globales, acles à mettre en œuvre. Complémentares des ndces quanttats ntégrateurs Eets paros dcles à détecter et qualer surtout s beaucoup de acteurs. Etape consellée avant toute analyse globale quanttatve.

20 Quelques eemples de méthodes Méthodes de screenng : la méthode de Morrs Morrs 1991, Campolongo 2007) Eets élémentares One At a Tme : EE Plan d epérence : Trage aléatore de r ponts sur une grlle régulère de dmenson k et à p nveau Créaton de r trajectores de k+1 ponts en augmentant ou dmnuant tour à tour d un nveau chaque composante du vecteur des acteurs. Coût : rk+1) smulatons 1 1 ),, 1,,,, k ) )

21 Quelques eemples de méthodes Méthodes de screenng : la méthode de Morrs Indces de sensblté : μ la moyenne des EE, σ l écart type des EE, μ * la moyenne des EE Source : Campolongo et al 2007 μ* permet de classer les acteurs par ordre d mportance. σ able μ able acteur néglgeable μ élevée acteur nluent, eet lnéare σ élevé acteur nluent, eet non monotone et/ou nteractons acteur nluent, eet non lnéare et/ou nteractons

22 Quelques eemples de méthodes Méthodes de screenng : la méthode de Morrs permet à mondre coût et sans hypothèses sur la orme du modèle de détermner quels acteurs peuvent être consdérés comme ayant un eet : néglgeable, lnéare et addt, non lnéare ou en nteracton avec d autres paramètres. or Campolongo et al 1999, 2007), Carbon et al 2007) pour des applcatons.

23 Quelques eemples de méthodes Méthodes de screenng : à vor auss Dervatve based Global Senstvty Measure DGSM : Kucherenko et al 2009, Sobol et Kucherenko 2009) Des méthodes peu vore très peu coûteuses mas nécesstant des hypothèses sur la orme du modèle : Plan ractonnares Plans supersaturés, crblage par groupe, burcaton séquentelle, c. Klejnen 2005)

24 Eemples de méthodes Méthodes basées sur la varance : La méthode de Sobol Y Y E S ) )) ~ ] [ ] ] [ [ ]] [ [ ] ] [ [ ]) [ ~ ~ ~ ~ E Y Y E E Y E E Y E E Y E 2 1 ) ~ ) ~ ), ), 1 ˆ Y N N m A m B m A m A m où A et B sont 2 N échantllons de réalsatons du vecteur d entrée et est la moyenne emprque. Sobol 1993) propose :

25 A B C 2 1 ) ~ ) ~ ), ), 1 ˆ Y N N m A m B m A m A m Nk+1) smulatons pour estmer tous les ndces de 1 er ordre A) C ) B k N B N B k B,,1 1, 1,1 B k N B N B k B,,1 1, 1,1 Eemples de méthodes Méthodes basées sur la varance : La méthode de Sobol

26 2 2 ~ ~ 2 ~ 2 ~ ~ ~ ~ ] [ ] ] [ [ ]] [ [ ] ] [ [ 1 ) )) 1 ~ ~ ~ ~ E Y Y E E Y E E Y E E Y Y E ST Selon le même prncpe, on a : N smulatons supplémentares pour estmer l ndce total d un acteur Eemples de méthodes Méthodes basées sur la varance : La méthode de Sobol 2 ) ~ 1 ) ~ ~ ), ), 1 ˆ Y N B m A m N m A m A m

27 Eemples de méthodes Méthodes basées sur la varance : La méthode de Sobol De nombreuse améloratons ont été apportées à cette méthode en asant un melleur usage des smulatons ou en proposant des méthodes d échantllonnages adaptées. Parm celles c : Saltell et al : les ndces S et ST peuvent être calculés en Nk+2) évaluatons, N2k+2) pour avor en plus les ndces de second ordre Mara 2008, Tssot 2012 : estmaton des ndces S ndépendante de k Sobol 2007, Owen 2013 : améloraton des ormules pour les petts ndces Owen 2012 : revue des travau récents

28 Eemples de méthodes Méthodes basées sur la varance Ces méthodes ne nécesstent aucune hypothèse sur la orme du modèle et permettent d eplorer tout l espace des acteurs en prenant en compte les nteractons. Mas elles nécesstent pluseurs mllers à pluseurs dzanes de mllers de smulatons D autres méthodes que la méthode de Sobol permettent de calculer les ndces de Sobol : La méthode FAST et ses varantes Cuker 1973, Saltell 1999, Tarantola et al 2006, Mara 2009) Calcul analytque des ndces sur un métamodèle Sudret 2008, )

29 Plan Introducton des concepts Quelques eemples de méthodes L analyse de sensblté en pratque

30 L analyse de sensblté en pratque Les dérentes étapes Dénr l object Sélectonner les acteurs et dénr leur espace de varaton Chosr les ndces approprés et la méthode pour les calculer Calculer les ndces

31 Essentel pour : L Analyse de Sensblté en pratque Dénr l object er le cadre de l étude et chosr les acteurs, leur domane de dénton, les varables d ntérêt, les ndces et les méthodes. Evter les erreurs de Type III Dunn 1997) : répondre correctement à la mauvase queston. Eemple : Quels paramètres pus je er à une valeur nomnale sans que cela n mpacte la sorte y j? Sur quelles entrées du modèle aut l rédure l ncerttude pour dmnuer sgncatvement l ncerttude sur les sortes? Quelles entrées du modèle condusent la sorte y j au dessus d un seul é?

32 L Analyse de Sensblté en pratque Dénr l espace de varaton des acteurs Dérentes sources d normatons eplotables : lttérature, epertse élctaton, c. Oakley et O Hagan 2007), mesures epérmentales drectes ou ndrectes méthodes nverses), Etape ondamentale car ces cho peuvent mpacter ortement les résultats Eemple des ndces de Sobol pour le modèle Ishgam pour : a) 1~U[, ] ; 2~U[, ] ; 3~U[, ] b) 1~U[/2, ] ; 2~U[/2, ] ; 3~U[0, /2] a) b)

33 L Analyse de Sensblté en pratque Chosr la méthode Le cho de la méthode dépend : De l normaton requse qualtatve / quanttatve, type d ndce, ) Du nombre de acteurs étudés, De la nature des acteurs dscrets, contnus), Du coût en temps de calcul du modèle et des moyens de calcul à dsposton, De la completé du modèle non lnéartés, dscontnutés, non monotone, ntéractons, ).

34 L Analyse de Sensblté en pratque Chosr la méthode Saltell et al 2004 décrvent des classes de problème et leur len avec les ndces de Sobol : Factor Fng : Identer les acteurs dont l nluence sur une sorte d ntérêt est néglgeable > ST très able ; Factor Prortsaton : Identer la lste des acteurs à estmer pour rédure au mamum l ncerttude sur une sorte d ntérêt : S les plus élevés ; Factor Mappng : Identer les acteurs qu mènent une sorte dans une régon d ntérêt : analyse de sensblté régonale RSA) ; arance Cuttng : Identer la lste mnmale de acteur pour are basser la varance d une sorte en dessous d un seul donné : mn tel que 1

35 L Analyse de Sensblté en pratque Chosr la méthode Carbon et al 2007) proposent un dagramme qu classe quelques méthodes classques en oncton du coût du modèle et du nombre de acteurs :

36 L Analyse de Sensblté en pratque Chosr la méthode Iooss 2011) propose un dagramme plus détallé oncton du nombre d évaluaton du modèle et de sa completé :

37 L Analyse de Sensblté en pratque Chosr la méthode L utlsaton successve de pluseurs méthodes est réquente : en cas de nombre de acteurs élevé : crblage pus méthode quanttatve c. Campolongo et al 1999, Carbon et al 2007) ; quand on souhate eplorer le comportement du modèle, pour proter de la complémentarté des normatons apportées par les méthodes graphques, locales, Morrs, basées sur la varance, ndépendantes des moments, )

38 L Analyse de Sensblté en pratque Calculer les ndces en pratque : les dérentes étapes La plupart des méthodes sont basées sur 3 étapes successves : 1. Génératon du plan d epérence 2. Réalsaton des smulatons 1,1 2,1 1, k 2, k ) y y 1,1 2,1 y y 1, l 2, l 3. Calcul des ndces S, Sj, ST µ, σ

39 L Analyse de Sensblté en pratque Calculer les ndces en pratque : le plan d epérence Souvent lé à la méthode de calcul des ndces mas pas toujours : EASI Plschke 2010), méthode ndépendante des moments Plschke 2013), méthodes basées sur la régresson SRC, ), Pour les méthodes stochastques, basé sur un échantllonnage de la lo de probablté des acteurs : Dérentes méthodes : Pseudo Random, Quas Monte Carlo, Hypercube Latn LHS), c. Favre et al 2013) Quelle talle pour l échantllon? Le cho de N dépend de la dmenson du problème, de la completé du modèle, de la précson souhatée sur les ndces, Évaluer la précson des ndces et ajuster N en oncton.

40 L Analyse de Sensblté en pratque Calculer les ndces en pratque : réalsaton des smulatons Phase crtque pour le coût de l analyse de sensblté : pluseurs dzanes de smulatons à pluseurs dzanes de mllers de smulatons nécessares selon les méthodes. mas la plupart des méthodes sont hautement et aclement parallélsable.

41 L Analyse de Sensblté en pratque Calculer les ndces en pratque : Logcels Package R : senstvty, planor, Dce***, CompModSA, Fonctons Matlab : c. ste du JRC, SAnterace DACE Autres : OpenTURNS lbrare Python) SIMLAB, TAPENADE logcel de dérentaton automatque)

42 L Analyse de Sensblté en pratque Calculer les ndces en pratque : ncerttudes sur les ndces Qualté d estmaton des ndces des méthodes globales lée au plan d epérence évaluer l ncerttude sur les ndces : en répétant l analyse avec des échantllonnages dérents ou par une procédure de ré échantllonnage bootstrap) Prncpe du bootstrap applqué à la méthode de Sobol

43 L Analyse de Sensblté en pratque Quelques problématques avancées Sortes multvarées Lambon et al 2011a) Facteurs dépendants Jacques et al 2006, Rabtz 2010, Mara et Tarantola 2012, Kucherenko et al 2012, Chastang et al 2012) Modèle spatau Llburne et Tarantola 2009, Sant Geours et al 2014) Len entre analyse de sensblté globale et estmaton de paramètres Lambon et al 2011b, Dobre et al 2010)

44 L Analyse de Sensblté en pratque Pour plus d normatons Une revue récente : Iooss 2011 Des ouvrages : Sur le web : Jont Research Centre meco.r/ mascotnum.r/

45 Bblographe I) Borgonovo, E., Measurng Uncertanty Importance: Investgaton and Comparson o Alternatve Approaches. Rsk Analyss 26, Carbon, J., Gatell, D., Lska, R., Saltell, A., The role o senstvty analyss n ecologcal modellng. Ecologcal Modellng 203, Campolongo, F., Tarantola, S., & Saltell, A. 1999). Tacklng quanttatvely large dmensonalty problems. Computer physcs communcatons, 1171), Campolongo, F., Carbon, J., Saltell, A., An eectve screenng desgn or senstvty analyss o large models. Envronmental Modellng & Sotware 22, Chastang, G., Gamboa, F., & Preur, C. 2012). Generalzed hoedng Sobol decomposton or dependent varablesapplcaton to senstvty analyss. Electronc Journal o Statstcs, 6, Cuker, R. I. and Fortun, C. M. and Shuler, K. E. and Petschek, A. G. and Schably J. H. 1973), Study o the senstvty o coupled reacton systems to uncertantes n rate coecents. I Theory, The journal o chemcal physcs, 59, Dobre, S., Bastogne, T., & Rchard, A. 2010, July). Global senstvty and dentablty mplcatons n systems bology. In 11th IFAC Symposum on Computer Applcatons n Botechnology, CAB Favre R., Iooss B., Mahévas S., Makowsk D., Monod H., edtors. Analyse de sensblté et eploraton de modèles. Applcatons au modèles envronnementau. Collecton «Savor Fare», Quae, ersalles, 2013, 352p. HOEFFDING W. : A class o statstcs wth asymptotcally normal dstrbutons. Annals o Mathematcal Statstcs,19: ,1948. HOMMA, T, A. SALTELLI : Importance measures n global senstvty analyss o non lnear models. Relablty. Engneerng and System Saety,52:1 17,1996. B. Iooss. Revue sur l analyse de sensblté globale de modèles numérques.journal de la Socété Françase de Statstque, 1521):3 25, Ishgam, T. and Homma, T. 1990), An mportance quantcaton technque n uncertanty analyss or computer models., n: Proceedngs o the ISUMA 90, Frst Internatonal Symposum on uncertanty modellng and analyss, Unversty o Maryland, USA, December 3 5, 1990, Jacques, J., Lavergne, C., & Devctor, N. 2006). Senstvty analyss n presence o model uncertanty and correlated nputs. Relablty Engneerng & System Saety, 9110),

46 Bblographe II) Klejnen, J.P.C., An overvew o the desgn and analyss o smulaton eperments or senstvty analyss. European Journal o Operatonal Research 164, Kucherenko, S., Rodrguez Fernandez, M., Panteldes, C., Shah, N., Monte Carlo evaluaton o dervatve based global senstvty measures. Relablty Engneerng & System Saety 94, Kucherenko, S., Tarantola, S., Annon, P., Estmaton o global senstvty ndces or models wth dependent varables. Computer Physcs Communcatons 183, Lambon, M., Monod, H., Makowsk, D., 2011a. Multvarate senstvty analyss to measure global contrbuton o nput actors n dynamc models. Relablty Engneerng & System Saety 96, Lambon, M., Makowsk, D., & Monod, H. 2011b). Indces de sensblté, sélecton de paramètres et erreur quadratque de prédcton: des lasons dangereuses?. Journal de la Socété Françase de Statstque, 1521), Llburne, L., Tarantola, S., Senstvty analyss o spatal models. Internatonal Journal o Geographcal Inormaton Scence 23, Mara, T.A., Joseph, O.R., Comparson o some ecent methods to evaluate the man eect o computer model actors. Journal o Statstcal Computaton and Smulaton 78, Mara, T.A., Etenson o the RBD FAST method to the computaton o global senstvty ndces. Relablty Engneerng & System Saety 94, Mara,T.A., Tarantola,S., arance based senstvty ndces or models wth dependent nputs. Relablty Engneerng & System Saety 107, Morrs, M.D., Factoral samplng plans or prelmnary computatonal eperments. Technometrcs 33, Oakley, J. E., & O'Hagan, A. 2007). Uncertanty n pror elctatons: a nonparametrc approach. Bometrka, 942), Owen, A. B. Better estmaton o small Sobol' senstvty ndces. ACM Transactons on Modelng and Computer Smulaton TOMACS), 232):11,2013 Owen, A. B. arancecomponents andgeneralzedsobol' ndces. Journal o Uncertanty Quantcaton, 11):19{41, Plschke, E., An eectve algorthm or computng global senstvty ndces EASI). Relablty Engneerng & System Saety 95, Plschke E. An adaptve correlaton rato method usng the cumulatve sum o the reordered output. Relab Eng Syst Sa. 2012;107:

47 Bblographe III) Plschke, E., Borgonovo, E., Smth, C.L., Global senstvty measures rom gven data. European Journal o Operatonal Research 226, Rabtz, H., Global Senstvty Analyss or Systems wth Independent and/or Correlated Inputs. Proceda Socal and Behavoral Scences 2, Roustant, O., Fruth, J., Iooss, B., Kuhnt, S., Crossed dervatve based senstvty measures or nteracton screenng. Mathematcs and Computers n Smulaton 105, Sant Geours, N., Bally, J. S., Grelot, F., Lavergne, C., Mult scale spatal senstvty analyss o a model or economc apprasal o lood rsk management polces. Envronmental Modellng & Sotware 60, Saltell, A., Bolado, R., An alternatve way to compute Fourer ampltude senstvty test FAST). Computatonal Statstcs & Data Analyss 26, SALTELLI, A., K. CHAN et E.M. SCOTT, édteurs. Senstvty analyss. Wley Seres n Probablty and Statstcs. Wley,2000. Saltell, A., Makng best use o model evaluatons to compute senstvty ndces. Computer Physcs Communcatons 145, A. Saltell, S. Tarantola, F. Campolongo, and M. Ratto, Senstvty Analyss n Practce. A Gude to Assessng Scentc Models, John Wley & Sons publshers, Saltell A., Ratto M., Andres T., Campolongo F., Carbon J., Gatell D., Sasana M., Tarantola S. 2008). Global Senstvty Analyss. The Prmer. Wley. Sobol, I.M. 1993), Senstvty Analyss or Nonlnear Mathematcal Models, Mathematcal Modelng & Computatonal Eperment, 1, Sobol, I.M., Kucherenko, S., Dervatve based global senstvty measures and ther lnk wth global senstvty ndces. Mathematcs and Computers n Smulaton 79, Sobol, I.M., Tarantola, S., Gatell, D., Kucherenko, S.S., Mauntz, W., Estmatng the appromaton error when ng unessental actors n global senstvty analyss. Relablty Engneerng & System Saety 92, Sudret, B., Global senstvty analyss usng polynomal chaos epansons. Relablty Engneerng & System Saety 93, Tarantola, S., Gatell, D., Mara, T.A., Random balance desgns or the estmaton o rst order global senstvty ndces. Relablty Engneerng & System Saety 91,