Détection statistique d anomalies en présence de paramètres de nuisance

Transcription

1 Détection statistique d anomalies en présence de paramètres de nuisance Lionel Fillatre ENST Bretagne, département Signal & Communication Lionel Fillatre (département SC) Détection d anomalies 1 / 29

2 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 2 / 29

3 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 3 / 29

4 Introduction Motivation générale : proposer des outils originaux pour inspecter des systèmes industriels. Problème traité : détection d une éventuelle anomalie dans un environnement inconnu, considéré comme un paramètre de nuisance, à partir d un nombre limité de données bruitées. Applications envisageables : contrôle non destructif industriel, imagerie médicale, imagerie radar, surveillance des réseaux de télécommunications,... Application considérée : contrôle non destructif par rayons X. Lionel Fillatre (département SC) Détection d anomalies 4 / 29

5 Surveillance des systèmes Modèle général : Y k = F(θ k, X k, ξ k ), k = 1, 2,... lacements Paramètres informatifs (anomalie) Nature Analyste θ k Paramètres non-informatifs (nuisance) F X k Système Y k Détection Localisation Bruit ξ k Reconfiguration Lionel Fillatre (département SC) Détection d anomalies 5 / 29

6 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 6 / 29

7 Description du système étudié nts y l = 0 Source X Projection X d une fonction s : X s (t, ω)= L 0 s(t cos ω l sin ω, t sin ω+l cos ω)dl l d O lie t ω X s (t, ω) s : D s(x, y) = h(x, y) Photon X Environnement l = L x Détecteur k-ième capteur t Lionel Fillatre (département SC) Détection d anomalies 7 / 29

8 Description du système étudié nts y l = 0 Source X Anomalie Projection X d une fonction s : X s (t, ω)= L 0 s(t cos ω l sin ω, t sin ω+l cos ω)dl l d s : D s(x, y) = h(x, y) + f(x, y) O t ω X s (t, ω) Photon X Environnement l = L x Détecteur k-ième capteur t Lionel Fillatre (département SC) Détection d anomalies 7 / 29

9 Objectifs généraux Il s agit de détecter des anomalies en respectant les contraintes suivantes : Manque de données : le nombre N de projections tomographiques est très faible recherche d un modèle parcimonieux. Environnement inconnu : la présence d un paramètre de nuisance doit interférer le moins possible avec la prise de décision recherche de tests invariants. Qualité de l inspection : il est souhaitable de contrôler précisément la probabilité de fausses alarmes et la probabilité de détection de défauts lors de la procédure d inspection recherche des critères d optimalité. Lionel Fillatre (département SC) Détection d anomalies 8 / 29

10 Innovations principales des travaux Approche non bayésienne : l environnement paramétrique peut être construit par un adversaire dont le comportement ne peut pas être décrit a priori pas de distribution a priori sur les coefficients du modèle paramétrique. Optimalité vectorielle : adaptation et interprétation des critères d optimalité proposés par Wald dans le cas de la détection d anomalies interprétation précise de l optimalité. Pertes d optimalité limitées : les pertes d optimalité des procédures proposées, quand elles sont inévitables, doivent être quantifiées précisément développement de tests ε-optimaux. Lionel Fillatre (département SC) Détection d anomalies 9 / 29

11 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 10 / 29

12 Modélisation de l environnement Hypothèse : l environnement est limité dans l espace et contenu dans une partie compacte D connue de R 2 (la généralisation à R 3 est immédiate). L environnement h est supposé linéairement paramétré : m h(x, y) = h µ (x, y) = µ k h k (x, y), (x, y) D, k=1 où {h 1,..., h m } est une famille connue de fonctions carrées-intégrables sur D µ = (µ 1,..., µ m ) T R m est inconnu (paramètres de nuisance). Exemple (environnement polynômial de degré 2) : h µ (x, y) = µ 1 + µ 2 x + µ 3 y + µ 4 xy + µ 5 x 2 + µ 6 y 2. Lionel Fillatre (département SC) Détection d anomalies 11 / 29

13 Modélisation de l anomalie Hypothèse : l anomalie g est définie sur un compact d D. Le contraste entre l anomalie et l environnement est défini par : g(x, y) h µ (x, y) si (x, y) d f g,µ (x, y) =. 0 si (x, y) D \ d Exemple (contraste circulaire) : f d si (x x 0 ) 2 + (y y 0 ) 2 R 2 f g,µ (x, y) = 0 sinon, avec R > 0 et (f d, x 0, y 0 ) R 3. Lionel Fillatre (département SC) Détection d anomalies 12 / 29

14 Modélisation des observations (1/2) Soient les hypothèses H 0 : { il n y a pas d anomalie } et H 1 : { une anomalie est présente }. La scène observée s est alors définie par : { h s(x, y)= µ (x, y) sous H 0, (x, y) D. f g,µ (x, y) + h µ (x, y) sous H 1 Lionel Fillatre (département SC) Détection d anomalies 13 / 29

15 Modélisation des observations (1/2) Soient les hypothèses H 0 : { il n y a pas d anomalie } et H 1 : { une anomalie est présente }. La scène observée s est alors définie par : { h s(x, y)= µ (x, y) sous H 0, (x, y) D. f g,µ (x, y) + h µ (x, y) sous H 1 Après un échantillonnage de X s (t, ω) selon les abscisses {t 1, t 2,..., t n }, le vecteur des observations Y = (X s (t 1, ω), X s (t 2, ω),..., X s (t n, ω)) T R n est : Y = θ + Hµ + ξ, avec : θ = ( X fg,µ (t 1, ω),..., X fg,µ (t n, ω) ) T H = (H 1 ω,..., H m ω ) où H k ω = (X hk (t 1, ω),..., X hk (t n, ω)) T ξ N (0, σ 2 I n ) (σ 2 connu). Lionel Fillatre (département SC) Détection d anomalies 13 / 29

16 ents Modélisation des observations (2/2) Source X Source X Photon X s ti (l) = s(t i cos ω l sin ω, t i sin ω+l cos ω) l =0 l =0 s ti (l) Environnement (x, y) h µ(x, y) (a) (b) D ω l Environnement (x, y) h µ(x, y) t l =L l =L Anomalie t i Détecteur y i = L 0 sti(l) dl (x, y) g(x, y) Détecteur H 0 : ξ + Y =Hµ+ξ H 1 : ξ + Y =θ+hµ+ξ d l D y i = L 0 sti(l) dl Lionel Fillatre (département SC) Détection d anomalies 14 / 29

17 Définition du problème statistique Au vu sur l observation Y = θ + Hµ + ξ, choisir entre H 0 ={θ =0, µ R m } et H 1 ={θ 0, µ R m }. Ce problème est invariant par rapport aux translations Y Y + HC, C R m, ce qui conduit au modèle réduit : Z = W Y = W θ + ζ avec ζ N (0, σ 2 I n q ), avec q =rank (H), W est la matrice de réjection telle que W H = 0 et W T W =P H (les lignes de W forment une base orthonormée du noyau de H), P H est la projection sur le noyau de H (P H H =0). Lionel Fillatre (département SC) Détection d anomalies 15 / 29

18 Détecteur optimal Résultat (test UPPC) Le test δ défini par : H 0 si Λ(Y ) = 1 P δ σ (Y )= 2 H Y 2 2 < λ α H 1 sinon, avec Pr (Λ(Y )>λ α θ =0)=α, est invariant, possède Uniformément la Plus grande Puissance Constante (UPPC) sur les surfaces } S c : { PH θ 2 2 = σ2 c 2 pour tout c ]0; + [. Lionel Fillatre (département SC) Détection d anomalies 16 / 29

19 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements Droite engendrée par H θ Hµ P H Y S c : θ T P H θ = σ2 c 2 P H Y 2 Y ξ P H θ y 1 O Espace noyau de H y 2 Lionel Fillatre (département SC) Détection d anomalies 17 / 29

20 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements θ Droite engendrée par H O y 2 Hµ P H Y S c : θ T P H θ = σ2 c 2 P H Y 2 Y ξ P H θ y 1 Espace noyau de H Lionel Fillatre (département SC) Détection d anomalies 17 / 29

21 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements θ Hµ Droite engendrée par H O y 2 P H Y S c : θ T P H θ = σ2 c 2 P H Y 2 Y ξ P H θ y 1 Espace noyau de H Lionel Fillatre (département SC) Détection d anomalies 17 / 29

22 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements θ Hµ ξ Droite engendrée par H O y 2 P H Y S c : θ T P H θ = σ2 c 2 P H Y 2 Y P H θ y 1 Espace noyau de H Lionel Fillatre (département SC) Détection d anomalies 17 / 29

23 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements θ Hµ Y ξ Droite engendrée par H O y 2 P H Y S c : θ T P H θ = σ2 c 2 P H Y 2 y 1 Espace noyau de H P H θ Lionel Fillatre (département SC) Détection d anomalies 17 / 29

24 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements P H Y θ Hµ Y ξ P H Y 2 Droite engendrée par H O y 2 S c : θ T P H θ = σ2 c 2 Espace noyau de H y 1 P H θ Lionel Fillatre (département SC) Détection d anomalies 17 / 29

25 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements P H Y θ Hµ Y ξ P H Y 2 Droite engendrée par H P H θ O y 2 S c : θ T P H θ = σ2 c 2 Espace noyau de H y 1 Lionel Fillatre (département SC) Détection d anomalies 17 / 29

26 Exemple graphique pour n=3 et m=1 y 3 PSfrag replacements P H Y θ Hµ Y ξ P H Y 2 Droite engendrée par H S c : θ T P H θ = σ2 c 2 P H θ O y 2 Espace noyau de H y 1 Lionel Fillatre (département SC) Détection d anomalies 17 / 29

27 Exemple numérique : géométrie connue Défaut circulaire dans un environnement polynomial Scène originale Projection à 50 : Y Λ(Y ) = < (= λ 0.01) Z = W Y y 2 0 y i z i ments x PSfrag replacements i : indice du capteur PSfrag replacements i : indice du capteur Scène originale Projection à 50 : Y Λ(Y ) = > (= λ 0.01) Anomalie Z = W Y Anomalie 6 40 y y i Anomalie z i ments PSfrag replacements PSfrag replacements x i : indice du capteur i : indice du capteur Lionel Fillatre (département SC) Détection d anomalies 18 / 29

28 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 19 / 29

29 Frontières imprécises ents Source X X-photon y D 1 (η 1 ) ϱ malie d O ω t X h (t, ω) ω ξ + Y x t Détecteur X Lionel Fillatre (département SC) Détection d anomalies 20 / 29

30 Frontières imprécises ents Source X X-photon y ϱ ϱ D 1 (η 1 ) malie d O ω t X h (t, ω) ω ξ + Y x t Détecteur X Lionel Fillatre (département SC) Détection d anomalies 20 / 29

31 Frontières imprécises ents y Source X X-photon ϱ ϱ D 1 (η 1 ) { 1 si (x, y) I D1 (η 1 ) (x, y) = D1 (η 1 ) 0 sinon { }} { (x, y) h(x, y) = µ 1 h 1 (x, y) I A D 1 (η 1 ) malie d O ω t X h (t, ω) ω ξ + Y x t Détecteur X Lionel Fillatre (département SC) Détection d anomalies 20 / 29

32 Frontières imprécises ents y Source X X-photon ϱ ϱ D 1 (η 1 ) { 1 si (x, y) I D1 (η 1 ) (x, y) = D1 (η 1 ) 0 sinon { }} { (x, y) h(x, y) = µ 1 h 1 (x, y) I A D 1 (η 1 ) } {{ } malie d O ω t X h (t, ω) ω ξ + x t Détecteur X Y =H(µ)+ξ ) ( µ1 µ = η 1 Lionel Fillatre (département SC) Détection d anomalies 20 / 29

33 Frontières imprécises ents y Source X X-photon ϱ ϱ Anomalie d D 1 (η 1 ) { 1 si (x, y) I D1 (η 1 ) (x, y) = D1 (η 1 ) 0 sinon { }} { (x, y) h(x, y) = µ 1 h 1 (x, y) I A D 1 (η 1 ) } {{ } O ω t X h (t, ω) ω ξ + x t Détecteur X Y =θ+h(µ)+ξ ) ( µ1 µ = η 1 Lionel Fillatre (département SC) Détection d anomalies 20 / 29

34 Rapport de Vraisemblance Généralisé (RVG) Motivation : lorsque la géométrie est connue, le test δ est confondu avec δ RVG. Définition : le test δ RVG est défini par : H 0 si Λ RVG (Y )= ˆε 2 2 =min σ δ RVG (Y )= 2 µ R m Y H(µ) 2 2 <λ σ 2 α H 1 sinon où λ α est choisi tel que Pr(δ RVG (Y ) = H 1 θ = 0 ) = α. Inconvénients majeurs : Propriétés d optimalité inconnues dans le cas général, Calcul souvent délicat de l estimateur du maximum de vraisemblance ˆµ : ˆµ = arg min µ R m Y H(µ) 2. Lionel Fillatre (département SC) Détection d anomalies 21 / 29

35 E-optimalité : test UPPC (1/2) Motivation : les limitations du test du RVG : biais de l estimateur ˆµ, difficulté à initialiser l algorithme calculant ˆµ, instabilité numérique de l algorithme. Lionel Fillatre (département SC) Détection d anomalies 22 / 29

36 E-optimalité : test UPPC (1/2) Motivation : les limitations du test du RVG : biais de l estimateur ˆµ, difficulté à initialiser l algorithme calculant ˆµ, instabilité numérique de l algorithme. La non-linéarité de H(µ) dépend souvent d un sous-ensemble de paramètres. Exemple : H(µ) = F (r)a + Gb avec µ = (r, a, b) T et F (r), G des matrices connues. Lionel Fillatre (département SC) Détection d anomalies 22 / 29

37 E-optimalité : test UPPC (1/2) Motivation : les limitations du test du RVG : biais de l estimateur ˆµ, difficulté à initialiser l algorithme calculant ˆµ, instabilité numérique de l algorithme. La non-linéarité de H(µ) dépend souvent d un sous-ensemble de paramètres. Exemple : H(µ) = F (r)a + Gb avec µ = (r, a, b) T et F (r), G des matrices connues. Linéarisation autour des paramètres porteurs de la non-linéarité. Exemple : Y = θ + H(µ) + ξ θ + H 0 x + ξ, avec H 0 connue et x = (a, b, c) T où c désigne des paramètres de nuisance additionnels. Lionel Fillatre (département SC) Détection d anomalies 22 / 29

38 E-optimalité : test UPPC (2/2) Dans le cas idéalement linéaire Y = θ + Hµ + ξ lorsque les paramètres non-linéaires sont tous connus, les résidus ˆε = P H Y du test optimal δ sont non-biaisés. Lionel Fillatre (département SC) Détection d anomalies 23 / 29

39 E-optimalité : test UPPC (2/2) Dans le cas idéalement linéaire Y = θ + Hµ + ξ lorsque les paramètres non-linéaires sont tous connus, les résidus ˆε = P H Y du test optimal δ sont non-biaisés. Dans le cas linéarisé Y θ + H 0 x + ξ, la courbure du modèle induit un biais dans les résidus ˆε = P H 0 Y du test δ associé. Lionel Fillatre (département SC) Détection d anomalies 23 / 29

40 E-optimalité : test UPPC (2/2) Dans le cas idéalement linéaire Y = θ + Hµ + ξ lorsque les paramètres non-linéaires sont tous connus, les résidus ˆε = P H Y du test optimal δ sont non-biaisés. Dans le cas linéarisé Y θ + H 0 x + ξ, la courbure du modèle induit un biais dans les résidus ˆε = P H 0 Y du test δ associé. Si la courbure du modèle est faible et si les nuisances sont bornées par un compact K, il existe une petite constante ε 0 > 0 telle que sup sup β δ (θ, x) β δ (θ) ε 0 θ Θ m x K où β δ (θ, x) = Pr(δ(y) = H 1 θ, x), β δ (θ) = Pr(δ (y) = H 1 θ), Θ m est l ensemble des anomalies détectables selon la matrice H 0. Lionel Fillatre (département SC) Détection d anomalies 23 / 29

41 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 24 / 29

42 Inspection de crayons de combustible ts D D Corps du crayon Compensateur Source X Photon X Bouchon z x y O ) yi,j Zone de soudure Détecteur i Lionel Fillatre (département SC) Détection d anomalies 25 / 29

43 Inspection de crayons de combustible ts D D Source X y Corps du crayon PSfrag replacements Compensateur Photon X Corps Zone Bouchon de soudure Rayon interne ri ya Compensateur Axe du crayon z x y O ) yi,j Zone de soudure Détecteur r Rayon externe Bouchon Zone de soudure i O x Lionel Fillatre (département SC) Détection d anomalies 25 / 29

44 Inspection de crayons de combustible ts D D Source X y Corps du crayon PSfrag replacements Compensateur Photon X Corps Zone Bouchon de soudure Rayon interne ri ya Compensateur Axe du crayon z x y O ) yi,j Zone de soudure Détecteur r Rayon externe Bouchon Zone de soudure i O x Modèle de mesures : y i,j θ i,j + h i,j (r, a, b) + ξ i,j θ i,j : atténuation de l anomalie, h i,j (r, a, b) : approximation de l atténuation du crayon (avec prise en compte du durcissement de spectre et du rayonnement diffusé), ξ i,j : bruit de mesure Gaussien. Lionel Fillatre (département SC) Détection d anomalies 25 / 29

45 Test UPPC sur données réelles PSfrag replacements y x PSfrag replacements y x Radiographie sans défaut Résidu ˆε ˆε 2 2 = < λ 0.01(= 5 222) Comparaison radiographie/résidus Radiographie PSfrag replacements Intensité Résidus p q p q y Lionel Fillatre (département SC) Détection d anomalies 26 / 29

46 Test UPPC sur données réelles PSfrag replacements y y x x PSfrag replacements PSfrag replacements y y x x Radiographie sans défaut Résidu ˆε ˆε 2 2 = < λ 0.01(= 5 222) Comparaison radiographie/résidus Radiographie PSfrag replacements Intensité Résidus p q Radiographie avec défaut p q Résidu ˆε ˆε 2 2 = > λ y Comparaison radiographie/résidus Anomalie Radiographie PSfrag replacements Intensité Anomalie Résidus PSfrag replacements pq p q y Lionel Fillatre (département SC) Détection d anomalies 26 / 29

47 E-optimalité Enveloppes ε-optimales de la courbe de puissance 10 0 Probabilité de détection PSfrag replacements β + (λ(θ)) β (λ(θ)) λ(θ) = P H θ 2 (paramètre de non-centralité pour un test idéalement linéaire) Lionel Fillatre (département SC) Détection d anomalies 27 / 29

48 Structure de l exposé 1 Introduction 2 Position du problème 3 Détection d anomalies (modèle linéaire) 4 Détection d anomalies (modèle non-linéaire) 5 Résultats expérimentaux 6 Conclusions Lionel Fillatre (département SC) Détection d anomalies 28 / 29

49 Conclusions Approche proposée : le problème de détection d une anomalie dans un environnement inconnu est traité d un point de vue statistique. Contrainte principale : les approches paramétriques contre-balancent le manque de projections mais elle nécessite une modélisation fiable des objets. Précaution d usage : il est nécessaire de bien étudier les effets secondaires de l élimination des paramètres de nuisances (linéaire ou non) : détectabilité, impact de la non-linéarité,... Lionel Fillatre (département SC) Détection d anomalies 29 / 29