Méthodes Stochastiques en Analyse de Risques

Transcription

1 Méthodes Stochastiques en Analyse de Risques P. Del Moral (Équipe INRIA ALEA) INRIA & Bordeaux Mathematical Institute & X CMAP Horizon Maths, Fondation Sciences Mathématiques de Paris AREVA, 12 Déc., 2011 Quelques refs et liens Feynman-Kac formulae, Genealogical & Interacting Particle Systems with appl., Springer (2004) Sequential Monte Carlo Samplers for Rare Events. (joint work with Johansen, Doucet) (2006) Branching and Interacting Particle Interpretations of Rare Event Probabilities Springer (2006). [+ Réfs] Plus de références delmoral/index.html [+ Liens]

2 Introduction Quelques exemples d actualité La notion de risque Outils mathématiques Formalisation mathématique Méthodes de Monte Carlo Echantillonnage d importance Méthodes particulaires Ilustrations Fiabilité de plateformes offshores en conditions extrêmes Sécurité et fiabilité de centrales nucléaires Fiabilité de codes de Tardos pour le fingerprinting Fiabilité réseaux de communication par fibres optiques Risques alimentaires et propagations d épidémies Analyse des performances Modèles de simulation particulaires Estimateurs particulaires Taux d erreurs exponentiellement faibles Perspectives et projets en cours

3 Introduction Quelques exemples d actualité La notion de risque Outils mathématiques Formalisation mathématique Méthodes de Monte Carlo Ilustrations Analyse des performances Perspectives et projets en cours

4 Exemples d actualité Risques sanitaires : propagations d épidémies, développement tumeurs, risques cardio-vasculaires, traitements et risques de rechutes, risques alimentaires, prolifération bactérienne. Fiabilité de systèmes : chaînes de production et d exploitation, plateformes offshore, surcharge de réseaux de communication, sécurité informatique. Sécurité du traffic aérien : défaillances, risques de collision. Sécurité nucléaire : stockage, fissures de cuves de centrales. Risques éco. et financiers : krachs boursiers, défauts de paiement. Risques naturels : climatiques, inondations, tremblements de terre... /...

5 La notion de risque Phénomènes peu documentés : peu d observation, manque de données statistiques. modèles empiriques peu formalisés. Systèmes imprévisibles complexes : interaction multi-niveaux, multi-échelles. systèmes chaotiques et instables. combinaison d aléa dans des espaces de grande dimension.

6 Outils mathématiques Calibration de modèles : 1. Estimation statistique directe : Étude empirique sur de faible jeux de données. Analyse et théorie des valeurs extrêmes. 2. Calibration de systèmes formalisés en fonction d observation partielles et des événements critiques étudiés : Quantification des incertitudes et des aléas. Estimation des paramètres de modèles. Formalisation des erreurs de modèles. Méthodes stochastiques : Filtrage de processus, inférence bayésienne, méthodes de Monte Carlo séquentielles, algorithmes de simulation particulaires, mesures de sensibilité, gradients de semigroupes.

7 Outils mathématiques (suite) Analyse des propagations d incertitudes dans ces modèles formalisés. Simulation d événements rares : estimation des probabilités de réalisation. simulation des arbres de défauts. Calcul de mesures de sensibilité : stabilité et robustesse des estimations. sensibilité par rapport à des conditions initiales, sensibilité par rapport à des variations de paramètres. Méthodes stochastiques : Simulation par des systèmes de particules en interaction (accept.-rejet+recyclage) généalogie des défaillances, branchement multi-niveaux, Calcul de gradient d énergie libre, lois conditionnelles trajectorielles, échantillonnage d importance non intrusif, modèles d îlots particulaires de type génétiques (calcul parallèle).

8 Formalisation mathématique X = variable ou processus aléatoire (variable statique, trajectoire, excursion) W = les aléas du phénomène (erreurs de modèles, incertitudes, variables externes au système) Θ = paramètre du modèle (condition initiale, paramètre cinétique, variable de contrôle) A = un événement critique (P(X A) )

9 Formalisation mathématique X = variable ou processus aléatoire (variable statique, trajectoire, excursion) W = les aléas du phénomène (erreurs de modèles, incertitudes, variables externes au système) Θ = paramètre du modèle (condition initiale, paramètre cinétique, variable de contrôle) A = un événement critique (P(X A) ) Objectifs P(X A) et Loi (X X A)? P((W, Θ) tels que X A) et Loi ((W, Θ) X A)?

10 Formalisation mathématique X = variable ou processus aléatoire (variable statique, trajectoire, excursion) W = les aléas du phénomène (erreurs de modèles, incertitudes, variables externes au système) Θ = paramètre du modèle (condition initiale, paramètre cinétique, variable de contrôle) A = un événement critique (P(X A) ) Objectifs P(X A) et Loi (X X A)? P((W, Θ) tels que X A) et Loi ((W, Θ) X A)? Mesures de sensibilité : θ θ P(X A) et θ E (f (X ) X A)?

11 Introduction Méthodes de Monte Carlo Echantillonnage d importance Méthodes particulaires Ilustrations Analyse des performances Perspectives et projets en cours

12 Echantillonnage d importance P(X A) = P X (A) = Trouver P Y t.q. P Y (A) = P(Y A) 1 Simulation Monte Carlo classique Y i i.i.d. P Y dpx dp Y (y) 1 A (y) P Y (dy) = P X (A) P N X (A) := 1 N 1 i N dp X dp Y (Y i ) 1 A (Y i ) Variance = dpx dp Y (x) 1 A (x) P X (dx) P X (A) 2

13 Echantillonnage d importance P(X A) = P X (A) = Trouver P Y t.q. P Y (A) = P(Y A) 1 Simulation Monte Carlo classique Y i i.i.d. P Y dpx dp Y (y) 1 A (y) P Y (dy) = P X (A) P N X (A) := 1 N 1 i N dp X dp Y (Y i ) 1 A (Y i ) Variance = dpx dp Y (x) 1 A (x) P X (dx) P X (A) 2 Loi d importance optimale Variance = 0 P Y (dx) = 1 A(x) P X (A) P X (dx) = P (X dx X A)

14 Echantillonnage d importance (suite) Les défauts de la méthode Systèmes complexes Choix difficile de la loi d importance. Problèmes de robustesse : énorme variance si Y mal choisi. Ex.: Processus aléatoire X = (X 0,..., X n ) dp n dq n (X ) := n k=0 p k (X k X k 1 ) q k (X k X k 1 ) martingale 0 produit dégénéré Méthode intrusive : on simule Y et non X.

15 Méthodes particulaires Un événement critique = Une cascade d événements (moins rares) Exemples : niveaux d énergie croissants, passerelles physiques/chimiques, excursions de plus en plus critiques, configurations d entrées de codes numériques conduisant à des sorties critiques,...

16 Méthodes particulaires Un événement critique = Une cascade d événements (moins rares) Exemples : niveaux d énergie croissants, passerelles physiques/chimiques, excursions de plus en plus critiques, configurations d entrées de codes numériques conduisant à des sorties critiques,... Mesures conditionnelles = Lois d échantillonnage optimales n η n = Loi(v.a., état ou trajectoire n événements intermédiaires) Les proba d événements rares = constantes de normalisation Z n = P (n événements intermédiaires)

17 Algorithme de type génétique avec N individus (ξ i n) 1 i N Explorations/propositions/prédiction/exploration locale de l espace des aléas du système (transitions, aléas internes, erreurs de modèles) Branchements-Selection-Duplication des prédictions & individus simulés conduisant le système dans les régimes critiques supérieurs.

18 Algorithme de type génétique avec N individus (ξ i n) 1 i N Explorations/propositions/prédiction/exploration locale de l espace des aléas du système (transitions, aléas internes, erreurs de modèles) Branchements-Selection-Duplication des prédictions & individus simulés conduisant le système dans les régimes critiques supérieurs. Estimations particulaires: η n = Loi(aléas, états ou trajectoire n événements) N ηn N := Mesure d occupation d un arbre généalogique Estimation non biaisée : Z n = P(n événements successifs) = P(n-ième (n 1) précédents)... P(2nd le premier) P(le premier) N Zn N := [% succès (n 1) n ]... [% succès 1 2 ] [% dans 1 ]

19 Illustration graphique : η n η N n := 1 N 1 i N δ ξ i n

38 Introduction Méthodes de Monte Carlo Ilustrations Fiabilité de plateformes offshores en conditions extrêmes Sécurité et fiabilité de centrales nucléaires Fiabilité de codes de Tardos pour le fingerprinting Fiabilité réseaux de communication par fibres optiques Risques alimentaires et propagations d épidémies Analyse des performances Perspectives et projets en cours

39 Code IFREMER : hydro. + mécanique (contrat ALEA-IFREMER 2010) Entrées I : hauteur de vagues, données météo, courbes de température, incertitudes+paramètres. (ex. de formalisation : I = 2000 v.a. gaussiennes) Sortie O : courbes de forces t F t (I) exercées sur une plateforme offshore (méthanier, éolienne, plateforme pétrolière). Événement rare : dépassement d un seuil/niveau de force critique a sur un intervalle de temps [0, T ]. { } A = B(a) = I telles que sup 0 t T F t (I) a Loi (Entrées I I A )

40 Code IFREMER : hydro. + mécanique (contrat ALEA-IFREMER 2010) Entrées I : hauteur de vagues, données météo, courbes de température, incertitudes+paramètres. (ex. de formalisation : I = 2000 v.a. gaussiennes) Sortie O : courbes de forces t F t (I) exercées sur une plateforme offshore (méthanier, éolienne, plateforme pétrolière). Événement rare : dépassement d un seuil/niveau de force critique a sur un intervalle de temps [0, T ]. { } A = B(a) = I telles que sup 0 t T F t (I) a Loi (Entrées I I A ) Algorithme de branchement multi-niveaux A n = B(a n ) avec a n Exploration de type MCMC des niveaux A n. Sélection des individus A n+1 ( choix adaptatif de A n+1 )

41 Sécurité et fiabilité de centrales nucléaires (Contrat CIFRE, ALEA-EDF R&D Risques industriels) Entrées I : grandeurs/défauts matériaux, température d injection, incertitudes et paramètres du modèle. (ex. de formalisation : I = 20 v.a. gaussiennes) Sortie codes neutroniques/mécaniques/hydrau. : O = F(I) Événement rare : G(O) R fonct. de risque (G 1 {0}=surface de défaillance) A = {I tels que G F(I) < 0} Loi (I I A )

42 Sécurité et fiabilité de centrales nucléaires (Contrat CIFRE, ALEA-EDF R&D Risques industriels) Entrées I : grandeurs/défauts matériaux, température d injection, incertitudes et paramètres du modèle. (ex. de formalisation : I = 20 v.a. gaussiennes) Sortie codes neutroniques/mécaniques/hydrau. : O = F(I) Événement rare : G(O) R fonct. de risque (G 1 {0}=surface de défaillance) A = {I tels que G F(I) < 0} Loi (I I A ) Même algorithme de branchement multi-niveaux A n Analyse de sensibilité (corrélation entre v.a., paramètres)

43 Watermarking & Digital fingerprinting (détection de copies illégales) (ANR Nebbiano 06-09, INRIA ALEA-ASPI-TEMICS) V.a. aléatoires : message caché (empreinte) Formalisation : série de bits X = (X 1,..., X d ) {0, 1}, v.a. Gauss. Événement rare : Accuser un innocent (copie illégale).

44 Watermarking & Digital fingerprinting (détection de copies illégales) (ANR Nebbiano 06-09, INRIA ALEA-ASPI-TEMICS) V.a. aléatoires : message caché (empreinte) Formalisation : série de bits X = (X 1,..., X d ) {0, 1}, v.a. Gauss. Événement rare : Accuser un innocent (copie illégale). Le doc. trouvé contient un code y = (y 1,..., y d ). Degré d accusation à tord dépassement de niveau d une fonction : F(X ) = y i f i (X i ) a Codes Tardos 1 i d F(X ) = X, u / X a Zero-bit watermarking ( u = 1) A = {X tels que F(X ) a} Loi (X F(X ) a )

45 Watermarking & Digital fingerprinting (détection de copies illégales) (ANR Nebbiano 06-09, INRIA ALEA-ASPI-TEMICS) V.a. aléatoires : message caché (empreinte) Formalisation : série de bits X = (X 1,..., X d ) {0, 1}, v.a. Gauss. Événement rare : Accuser un innocent (copie illégale). Le doc. trouvé contient un code y = (y 1,..., y d ). Degré d accusation à tord dépassement de niveau d une fonction : F(X ) = y i f i (X i ) a Codes Tardos 1 i d F(X ) = X, u / X a Zero-bit watermarking ( u = 1) A = {X tels que F(X ) a} Loi (X F(X ) a ) Même algorithme de branchement multi-niveaux A n Analyse de sensibilité (corrélation entre v.a., paramètres)

46 Communication par fibres optiques DM + J. Garnier. Simulations of rare events in fiber optics by interacting particle systems. Optics Communications (2006). DM + J. Garnier. Genealogical particle analysis of rare events. Ann. Appl. Probab. (2005). Modèle probabiliste : Impulsions élémentaires X k dans les k-ième segment de fibre (fictif) : profils d impulsions type solitons. Aléas : ω k = perturbations aléatoires dans chaque section. (fluctuations des dispersions de vitesses) X k = F k (X k 1, ω k ) } {{ } éq. de Schrödinger non linéaire Événement rare : dépassement de niveau d une grandeur caractéristique V (X T ) (largeur du profil d impulsion, dispersion modale, puissance). P (V (X T ) a) & Loi ((X t ) 0 t T V (X T ) a )

47 Communication par fibres optiques Algorithme particulaire = N particules ξt i = (Xt i, Xt+1 i ) Exploration libre selon les transitions X t 1 X t = F t (X t 1, ω t ). Sélection des transitions niveaux (critère e α(v (Xt) V (Xt 1)) )

48 Communication par fibres optiques Algorithme particulaire = N particules ξt i = (Xt i, Xt+1 i ) Exploration libre selon les transitions X t 1 X t = F t (X t 1, ω t ). Sélection des transitions niveaux (critère e α(v (Xt) V (Xt 1)) ) Estimation non biaisée des constantes de normalisation Z T = P(V T (X T ) a) ( = E 1 VT (X T ) a e αv (X T ) { 0 t T eα(v (Xt) V (Xt 1)) }) ( ) 1 N N 1 i N 1 V T (X it ) a e αv (X i T ) 0 t T 1 N 1 i N eα(v (X i t ) V (X i )) t 1 Arbres généalogiques N Arbre des défaillances

49 Risques alimentaires et propagations d épidémies ANR VIROSCOPY 08-11: Epidemic propagations analysis INRIA-ENST. ARC EPS INRA-INRIA : Eco-microbiologie previsonnelle (09-10). Projet CNRS : ENS Paris et Institut de Maths de Bordeaux ( ). Modéles cinétiques d évolution paramètres inconnus Θ : X k = F k (X k 1, ω k, Θ) Calibration : observations partielles et bruitées (web, mesures stat.) filtres particulaires, méthodes de Monte Carlo séquentielles. Analyse de risques : dépassement de niveau de grandeurs caractéristiques V (X ) > a, régimes et excursions critiques,... Mêmes algorithmes particulaires (branchement, selection)

50 Introduction Méthodes de Monte Carlo Ilustrations Analyse des performances Modèles de simulation particulaires Estimateurs particulaires Taux d erreurs exponentiellement faibles Perspectives et projets en cours

51 Modèles particulaires de type génétique Algorithme de simulation interactif + adaptatif + universel Mutation-Propositions : transitions de Markov X n 1 X n E n. Selection-Accept/Rejet-Recyclage : critères locaux fonction G n.

52 Modèles d arbres généalogiques (Taille population, horizon de temps)=(n, n) = (3, 3) = = =

53 Modèles d arbres généalogiques (Taille population, horizon de temps)=(n, n) = (3, 3) = = = Théorème (96-98 ): Les lignes ancestrales v.a. i.i.d. de loi = mesure de Feynman-Kac Q n := 1 G Z n p (X p ) P n avec P n := Loi (X 0,..., X n ) 0 p<n

54 Modèles d arbres généalogiques (Taille population, horizon de temps)=(n, n) = (3, 3) = = = Théorème (96-98 ): Les lignes ancestrales v.a. i.i.d. de loi = mesure de Feynman-Kac Q n := 1 G Z n p (X p ) P n avec P n := Loi (X 0,..., X n ) Exemple 0 p<n G n = 1 An Q n = Loi((X 0,..., X n ) X p A p, p < n)

55 Mesures de sensibilité θ R d=1 ( ) Xn θ, Gn θ, Q θ n Z n (θ) = P(événement critique θ) = E 0 p<n Gp θ (Xp θ )

56 Mesures de sensibilité θ R d=1 ( ) Xn θ, Gn θ, Q θ n Z n (θ) = P(événement critique θ) = E θ log Z n(θ) = x=trajectoires avec la fonctionnelle additive f n (x 0,..., x n ) = 1 n 0 p<n 0 p<n Gp θ (Xp θ ) Q θ n(dx) f n (x) := Q θ n (f n ) θ log ( p θ (x p+1 x p ) Gp θ (x p ) )

57 Mesures de sensibilité θ R d=1 ( ) Xn θ, Gn θ, Q θ n Z n (θ) = P(événement critique θ) = E θ log Z n(θ) = x=trajectoires avec la fonctionnelle additive f n (x 0,..., x n ) = 1 n 0 p<n 0 p<n Gp θ (Xp θ ) Q θ n(dx) f n (x) := Q θ n (f n ) θ log ( p θ (x p+1 x p ) Gp θ (x p ) ) Approximations particulaires θ log Z n(θ) = Q θ 1 n (f n ) N N 1 i N f n (ligne ancestrale n (i))

58 En résumé Arbre généalogique A N n (f n ) = N 1 N 1 i N f n (ligne ancestrale n (i)) Q n (f n ) = E (f n (X 0,..., X n ) événement critique)

59 En résumé Arbre généalogique A N n (f n ) = N 1 N 1 i N f n (ligne ancestrale n (i)) Q n (f n ) = E (f n (X 0,..., X n ) événement critique) Population courante ηn N (f n ) := 1 f n (ξ i N n) N η n (f n ) = E (f n (X n ) événement critique) 1 i N

60 En résumé Arbre généalogique A N n (f n ) = N 1 N 1 i N f n (ligne ancestrale n (i)) Q n (f n ) = E (f n (X 0,..., X n ) événement critique) Population courante η N n (f n ) := 1 N 1 i N f n (ξ i n) N η n (f n ) = E (f n (X n ) événement critique) Approximation particulaire non biaisée Z N n = 0 p<n 1 N 1 i N G p (ξ i p) N Z n = P (événement critique)

61 En résumé Arbre généalogique A N n (f n ) = N 1 N 1 i N f n (ligne ancestrale n (i)) Q n (f n ) = E (f n (X 0,..., X n ) événement critique) Population courante η N n (f n ) := 1 N 1 i N f n (ξ i n) N η n (f n ) = E (f n (X n ) événement critique) Approximation particulaire non biaisée Z N n = 0 p<n 1 N 1 i N G p (ξ i p) N Z n = P (événement critique) Exemple : G n = 1 An Z N n = % de succès P(X p A p, p < n)

62 Arbre généalogique complet = [ (ξ i p) 1 i N, 0 p n ] Formulation markovienne à rebours Q N n (ξ i0 0, ξi1 1,..., ξin n ) := 1 N MN n (i n, i n 1 )... M N 2 (i 2, i 1 ) M N 1 (i 1, i 0 ) avec les transitions aléatoires : (p n =densité des transitions x n 1 x n ) M N p n+1 (ξ in+1 n+1 n+1(i n+1, i n ) = ξin n )G n (ξn in ) 1 k N p n+1(ξ in+1 n+1 ξk n )G n (ξn k )

63 Arbre généalogique complet = [ (ξ i p) 1 i N, 0 p n ] Formulation markovienne à rebours Q N n (ξ i0 0, ξi1 1,..., ξin n ) := 1 N MN n (i n, i n 1 )... M N 2 (i 2, i 1 ) M N 1 (i 1, i 0 ) avec les transitions aléatoires : (p n =densité des transitions x n 1 x n ) M N p n+1 (ξ in+1 n+1 n+1(i n+1, i n ) = ξin n )G n (ξn in ) 1 k N p n+1(ξ in+1 n+1 ξk n )G n (ξn k ) Exemple: Intégration de fonctionnelles additives normalisées Q n (f n ) N Q N n (f n ) := 1 n + 1 f n (x 0,..., x n ) = 1 n p n 0 p n f p (x p ) [ 1 N,..., 1 ] M N n M N n 1... M N p+1 N f p (ξp) 1. f p (ξp N )

64 Inégalités de concentration Constantes (c 1, c 2 ) liées au (biais,variance) n, c cte universelle, f n 1, et F n fonctionnelle additive normalisée (x 0, n 0, N 1, ɛ {+1, 1}), la probabilité des inégalités suivante est supérieure à 1 e x : [ η N n η n ] (fn ) c 1 N ( 1 + x + x ) + c 2 N x [ A N n Q n ] (fn ) c 1 n + 1 N ( 1 + x + x ) + c2 (n + 1) N x [ ] Q N 1 n Q n (Fn ) c 1 N (1 + (x + x x)) + c 2 N(n + 1) ɛ n log ZN n c 1 Z n N ( 1 + x + x ) + c 2 N x

65 Introduction Méthodes de Monte Carlo Ilustrations Analyse des performances Perspectives et projets en cours

66 Perspectives et projets en cours Arbres généalogiques = Arbres de défauts = Trajectoires typiques liées aux événements rares Estimation de paramètres/aléas favorisant l événement critique Contrôle de processus évoluant dans des régimes critiques Augmentation du degré de fiabilité de systèmes Prédiction des phénomènes en fonction d observations réelles