Techniques de post-classification pour la détection de changements Techniques et algortihmes pour les séries d images multi-temporelles

Transcription

1 Techniques de post-classification pour la détection de changements Techniques et algortihmes pour les séries d images multi-temporelles GdR ISIS / CNES CCT Traitement du Signal et des Images le 7 juin 2012 Grégoire Mercier avec Bassam Abdel Latif et ZhunGa Liu TELECOM Bretagne gregoire.mercier@telecom-bretagne.eu

2 Contexte de la détection de changements par post-classification Position du problème Soit une série d images : I t1, I t2,..., I tn (recalées) Les images sont classifiées globalement ou individuellement : C t1, C t2,..., C tn Chaque image classifiée continent K t classes... Chaque pixel est caractérisé par une évolution : C k1 ;t 1 C k2 ;t 2... C kn ;t N La séquence C k1 ;t 1... C kn ;t N représente-t-elle un changement ou une situation stable? page 2 G Mercier et al. Techniques de post-classification pour la détetion de changements

3 Contexte de la détection de changements par post-classification Les problèmes du problème Comment faire l association des classses (similaires) d une date à une autre? C k;t1 = C l;t2? Comment faire l association entre les classes si les images sont hétérogènes et/ou si les classifieurs sont différents? C k;t1 C k;t2? Comment comparer les classes si K t évolue au cours du temps? C KN ;t N =? Quel changement est-il le plus important entre C k1 ;t 1 C k2 ;t 2 ou C k1 ;t 1 C k3 ;t 2 page 3 G Mercier et al. Techniques de post-classification pour la détetion de changements

4 Contents Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement 1 Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement 2 3 page 4 G Mercier et al. Techniques de post-classification pour la détetion de changements

5 La carte de Kohonen Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement Propriétés de la carte de Kohonen Réseau de neurones à une couche complètement connectée. Peut être entraînée de façon supervisée ou non supervisée Correspond à une transformation non linéaire R n = R, R 2 or R 3 Visualisation (réduction de dimension) Compression Les neurones voisins une valeur (poids synaptique) similaire Self-Organizing Map (SOM) Classification (son effet est similaire à une classification par K-means) page 5 G Mercier et al. Techniques de post-classification pour la détetion de changements

6 Entraînement d une carte de Kohonen Utilisation d une carte de kohonen Classification du parcours de changement Initialization aléatoire des neurones (c m) Un échantillon d entraînement x est choisi aléatoirement. On cherche le neurone gagnant c mx le plus proche x : x c mx = min x cm m {1,...,M} Mise à jour de poids synaptique du neurone gagnant et de son voisinage sur la carte : c m(t + 1) = c m(t) + h m,mx (t)[x(t) c m(t)] Répétition jusqu à convergence... page 6 G Mercier et al. Techniques de post-classification pour la détetion de changements

12 Classification du parcours de changement Utilisation d une carte de kohonen Classification du parcours de changement Evolution des neurones gagnants La suite d images I 1 I 2 I N devient pour chaque pixel mais aussi c mx1 c mx2 c mxn (i, j) 1 (i, j) 2 (i, j) N Une seule carte valable pour toute les dates (le classifieur est identique pour toutes les dates) page 7 G Mercier et al. Techniques de post-classification pour la détetion de changements

13 Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement Classification du parcours de changement 1) Suivre l e volution des indices (2 a 2) sur la carte Distance des indices, I0 vs. I1 page 8 G Mercier et al. Distance des indices cumule e (I0 /I1, I1 /I2, I2 /I3 ) Techniques de post-classification pour la de tetion de changements

14 Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement Classification du parcours de changement 2) Classification des indices (i, j)n sur la carte Re-classification des indices (i, j)n des neurones gagnants... par une carte de Kohonen. (a) Image des indices de classe (cf. type de rotation culturale) (b) Image de l activation des classes correspondantes Dans l image (b), les pixels clairs repre sentent les classes tre s fre quentes, les sombles sont plus exceptionnels (cf. changement ou anomalie par rapport aux rotations culturales usuelles?) page 9 G Mercier et al. Techniques de post-classification pour la de tetion de changements

15 Classification du parcours de changement Par la carte de Kohonen Utilisation d une carte de kohonen Classification du parcours de changement Bilan La préservation topologique permet de prendre en compte la ressemblance entre les classes (et les indices de classe) Facilite l analyse des parcours de changements La classification des indices et l utilisation de la carte d activation permet de distinguer les évolutions normales (fréquences) des évolutions anormales (exceptionnelles). Détection d anomalie? Mais une seule carte est définie pour une série temporelle complète Exhaustivité a priori de la classification de la série Exclusivité des classes (malgré la proximité des classes similaires) page 10 G Mercier et al. Techniques de post-classification pour la détetion de changements

16 Contents Parcours de changements 1 Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement 2 3 page 11 G Mercier et al. Techniques de post-classification pour la détetion de changements

17 sur les classes Deux classes Θ = {θ 1, θ 2 } P (Θ) = 2 Θ = {θ 1, θ 2, {θ 1, θ 2 }, } Trois classes Θ = {θ 1, θ 2, θ 3 } P (Θ) = 2 Θ = {θ 1, θ 2, θ 3, {θ 1, θ 2 }, {θ 1, θ 3 }, {θ 2, θ 3 } {θ 1, θ 2, θ 3 }, } Masses Une fonction de masse m( ) est définie à partir de sous-ensembles de Θ: m( ) : 2 Θ [0, 1] m( ) = 0, A 2 Θ m(a) = m(a) = 1. A Θ page 12 G Mercier et al. Techniques de post-classification pour la détetion de changements

18 sur les classes La Croyance La Plausibilité Bel(A) = B A m (B) Pl(A) = m (B) A B A Θ A Θ page 13 G Mercier et al. Techniques de post-classification pour la détetion de changements

19 sur les classes Fusion par la règle de Dempster et Shafer Idée: Normaliser le consensus conjonctif A P (Θ), A Θ, m( ) = 0 m(a) = m 1 m 2 (A) = 1 m 1 (B)m 2 (C) 1 K B C=A Où K représente le conflit entre les sources S 1 et S 2. K = m 1 (B)m 2 (C) B C= page 14 G Mercier et al. Techniques de post-classification pour la détetion de changements

20 et paradoxal sur les classes Cadre de discernement généralisé (théorie de Dezert-Smarandache) : Si Θ = {θ 1, θ 2} 2 Θ = {θ 1, θ 2, θ 1 θ 2} D Θ = {θ 1, θ 2, θ 1 θ 2, θ 1 θ 2} En général A, B D Θ, A B D Θ et A B D Θ θ 1 θ 2 θ 1 θ 2 θ 1 θ 2 page 15 G Mercier et al. Techniques de post-classification pour la détetion de changements

21 et paradoxal sur les classes Fusion par la DSmT Il n y a plus de conflit K dans la DSmT! Le conflit est transféré à la combinaison des masses du type m( ) Définition: C D Θ m(c) = [m 1 m 2 ](C) = m 1 (A)m 2 (B) A,B D Θ A B=C page 16 G Mercier et al. Techniques de post-classification pour la détetion de changements

22 et paradoxal sur les classes Fusion avec un modèle libre m (θ 1) m (θ 1 θ 2) m (θ 1 θ 2 θ 3 ) m (θ 2) m (θ 1 θ 3) m (θ 2 θ 3) m (θ 1 θ 3) m (θ 2 θ 3) m (θ 3) page 17 G Mercier et al. Techniques de post-classification pour la détetion de changements

23 et paradoxal sur les classes Fusion avec un modèle hybride m (θ 1) m (θ 1 θ 3) m (θ 1 θ 2) m (θ 2) m (θ 3) page 18 G Mercier et al. Techniques de post-classification pour la détetion de changements

24 et paradoxal sur les classes Fusion avec un modèle hybride m (θ 1) m (θ 1 θ 2) m (θ 2) m (θ 3) page 18 G Mercier et al. Techniques de post-classification pour la détetion de changements

25 Fusion Multitemporelle Parcours de changements Les problèmes de la DST et DSmT dans le contexte temporel Le conflit n est pas révélateur du changement! Une nouvelle classe? (cf. Exhaustivité) Une orientation temporelle? A B ne représente pas une transition de type A B ou B A page 19 G Mercier et al. Techniques de post-classification pour la détetion de changements

26 Fusion Multitemporelle Parcours de changements Notion temporelle Définition d un opérateur de changement ( ) ayant les propriétés suivantes Transition impossibles (forward) A Transition impossible (backward) A Distribution de par rapport à idem pour (A B) C = (A C) (B C) Distribution de par rapport à idem pour A (B C) = (A B) (A C) Associativité (A B) C = A (B C) = A B C page 20 G Mercier et al. Techniques de post-classification pour la détetion de changements

27 Fusion Multitemporelle Parcours de changements Notations A B noté t A,B t A,B t B,A sauf si A = B t A,A = A A représente l absence de transition θ 1 θ 2 θ n est noté t 1,2,...,n θ i (θ j θ k ) est noté t i,j k page 21 G Mercier et al. Techniques de post-classification pour la détetion de changements

28 Parcours de changements Cadre de discernement dynamique Contexte général Θ 1 n = Θ 1 Θ 2... Θ n = {t θ1,θ 2,...,θ n θ i Θ i, i = 1, 2,..., n} Plus simplement (Dans le contexte DS) n {}}{ Tn Θ = 2 Θ 1 n = 2 Θ Θ... Θ Définition de l incertain (opérateur sur Θ 1 n) t X, t Y T Θ n, t X t Y = t X Y. Conséquence t 1,2 t 2,1 = t (1,2) (2,1) t (1 2),(2 1) = t (1,2) (1,1) (2,2) (2,1) page 22 G Mercier et al. Techniques de post-classification pour la détetion de changements

29 Parcours de changements Définitions de base Croyance Plausibilité Probabilité pignistique Bel(A) = Pl(A) = A,B T Θ n ;B A m(b) A,B T Θ n ;A B m(b) #(A B) BetP(A) = m(b) #(B) A,B Tn Θ,A B page 23 G Mercier et al. Techniques de post-classification pour la détetion de changements

30 Parcours de changements Règles de combinaison Pour le modèle libre t θ1,θ 2 T Θ 2, m 1 2(t θ1,θ 2 ) = m 1(θ 1)m 2(θ 2) Et plus généralement pour n sources t θ1,θ 2,...,θ n T Θ n, m 1 n(t θ1,θ 2,...,θ n ) = m 1(θ 1)m 2(θ 2) m n(θ n) page 24 G Mercier et al. Techniques de post-classification pour la détetion de changements

31 Parcours de changements Règles de combinaison Exemple : combinaison de 3 sources à 2 hypothèses simples Θ = {θ 1, θ 2} Combinaison par DSmT : Combinaison par DERf : θ 1 θ 2 θ 1 θ 2 m m m θ 1 θ 2 θ 1 θ 2 θ 1 θ 2 m t 1,2,2 t 1,2,1 2 t 1 2,2,1 2 t 1 2,2,2 m page 25 G Mercier et al. Techniques de post-classification pour la détetion de changements

34 Parcours de changements Règles de combinaison Exemple : combinaison de 3 sources à 2 hypothèses simples Θ = {θ 1, θ 2} Prise de décision θ 1 θ 2 θ 1 θ 2 m m m Bel( ) BetP( ) Pl( ) t 1,2, t 1,2, t 2,2, t 2,2, page 26 G Mercier et al. Techniques de post-classification pour la détetion de changements

35 Parcours de changements Règles de combinaison Pour le modèle contraint modèle hybride On étend a priori la définition de l ensemble vide : { M, } On note t A,B M = t une transition A B relativement à un modèle M qui interdit certaines combinaisons. La combinaison pas à pas est définie par : t n 1 Tn 1 Θ, θn 2Θn 2 Θ, t n Tn Θ, n 2 m 1 n 1 (t n 1 )m n(θ n) M t tn 1,θn = tn m 1 n (t n) = 1 K Conflit K = t tn 1,θn m 1 n 1 (t n 1 )m n(θ n) page 27 G Mercier et al. Techniques de post-classification pour la détetion de changements

36 Parcours de changements Règles de combinaison Pour le modèle contraint modèle hybride On étend a priori la définition de l ensemble vide : { M, } On note t A,B M = t une transition A B relativement à un modèle M qui interdit certaines combinaisons. La combinaison de n sources est donnée par : t n Tn Θ, et θ i 2 Θ, i = 1, 2,..., n m 1 n (t n) = m 1 (θ 1 ) m n(θ n) M t θ1,θ 2,...,θn = tn Conflit K = 1 K t θ1,θ 2,...,θn m 1 (θ 1 ) m n(θ n) page 27 G Mercier et al. Techniques de post-classification pour la détetion de changements

37 Parcours de changements Règles de combinaison Exemple de 2 sources par un modèle hybride Θ = {θ 1, θ 2 } M {t 1,2, t 2,2 } T Θ 2 = { M, t 1,1, t 2,1, t 1 2,1 } Conflit (temporel!) θ 1 θ 2 θ 1 θ 2 m m K = m 1(θ 1)m 2(θ 2) + m 1(θ 2)m 2(θ 2) = 0.2 page 28 G Mercier et al. Techniques de post-classification pour la détetion de changements

38 Parcours de changements Règles de combinaison Exemple de 2 sources par un modèle hybride Θ = {θ 1, θ 2 } M {t 1,2, t 2,2 } T Θ 2 = { M, t 1,1, t 2,1, t 1 2,1 } Conjonction θ 1 θ 2 θ 1 θ 2 m m m (t 1,1) = m 1(θ 1)m 2(θ 1) = 0.20 m (t 1,1 2) = m 1(θ 1)m 2(θ 1 θ 2) = 0.12 m (t 2,1) = m 1(θ 2)m 2(θ 1) = 0.30 m (t 2,1 2) = m 1(θ 2)m 2(θ 1 θ 2) = 0.18 page 28 G Mercier et al. Techniques de post-classification pour la détetion de changements

39 Parcours de changements Règles de combinaison Exemple de 2 sources par un modèle hybride Θ = {θ 1, θ 2 } M {t 1,2, t 2,2 } T Θ 2 = { M, t 1,1, t 2,1, t 1 2,1 } Combinaison DER DS θ 1 θ 2 θ 1 θ 2 m m m (t1,1) + m (t1,1 2) m(t 1,1) = = K m (t2,1) + m (t2,1 2) m(t 2,1) = = K page 28 G Mercier et al. Techniques de post-classification pour la détetion de changements

40 Parcours de changements Règles de combinaison Exemple de 2 sources par un modèle hybride Θ = {θ 1, θ 2 } M {t 1,2, t 2,2 } T Θ 2 = { M, t 1,1, t 2,1, t 1 2,1 } θ 1 θ 2 θ 1 θ 2 m m Contraintes d intégrité : t 1,2 M =, t 2,2 M = { t 1,1 2 = t 1,1 t 1,2 M = t 1,1 = t 1,1 t 2,1 2 = t 2,1 t 2,2 M = t 2,1 = t 2,1 page 28 G Mercier et al. Techniques de post-classification pour la détetion de changements

41 Parcours de changements Règles de combinaison Exemple de 2 sources par un modèle hybride Θ = {θ 1, θ 2 } M {t 1,2, t 2,2 } T Θ 2 = { M, t 1,1, t 2,1, t 1 2,1 } Combinaison DER DS θ 1 θ 2 θ 1 θ 2 m m m (t1,1) + m (t1,1 2) m(t 1,1) = = 0.40 = m (t 1,1) + m (t 1,1) 1 K m (t2,1) + m (t2,1 2) m(t 2,1) = = 0.60 = m (t 2,1) + m (t 2,1) 1 K page 28 G Mercier et al. Techniques de post-classification pour la détetion de changements

42 Contexte de la détection de changements Inondation Dans le cadre d une catastrophe majeure Inondation à Gloucester (octobre 2000) CNES SPOT 5 septembre 1999 SPOT 21 octobre 2000 page 29 G Mercier et al. Techniques de post-classification pour la détetion de changements

43 Contexte de la détection de changements Inondation Dans le cadre d une catastrophe majeure Inondation à Gloucester (octobre 2000) Changements temporels Θ 1 = {foret, végétation, sol nu1, sol nu 2} Θ 2 = {Θ 1, zone inondée} Transitions θ i θ i uniquement Transitions Sol nu zone inondée Décision m=par maximum de DetP page 30 G Mercier et al. Techniques de post-classification pour la détetion de changements

44 Contexte de la détection de changements Inondation Dans le cadre d une catastrophe majeure Inondation à Gloucester (octobre 2000) Changements temporels Θ 1 = {foret, végétation, sol nu1, sol nu 2} Θ 2 = {Θ 1, zone inondée} Transitions θ i θ i uniquement Transitions Sol nu zone inondée Décision m=par maximum de DetP page 30 G Mercier et al. Techniques de post-classification pour la détetion de changements

45 Parcours de changements Le point de vue cre dibiliste Application a la de tection de changements Contexte de la de tection de changements Tremblement de Terre Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 a Boumerde s Quickbird du 22 avril 2002 Quickbird du 23 mai 2003 SERTIT, distribution CNES page 31 G Mercier et al. Techniques de post-classification pour la de tetion de changements

46 Contexte de la détection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 à Boumerdès Classification initiale en 4 classes par Evidential C-Means (ECM) Θ 1 = {Végétation ombre, Zone agricole, bâtiments route, terre blanche, classe de rejet} Classification de la 2e image en 5 classes par ECM Θ 2 = {Θ 1, Ruines Nv batiments} Modèle hybride On autorise θ i θ i (absence de changements) Et la destruction : Zone agricole Ruines Nv batiments batiments route Ruines Nv batiments page 32 G Mercier et al. Techniques de post-classification pour la détetion de changements

47 Contexte de la détection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 à Boumerdès Maximum de probabilité pignistique (BetP) sur les transitions t i,j dans le modèle hybride page 33 G Mercier et al. Techniques de post-classification pour la détetion de changements

48 Contexte de la détection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 à Boumerdès Selection des classes t 2,5 et t 3,5 page 34 G Mercier et al. Techniques de post-classification pour la détetion de changements

49 Parcours de changements Le point de vue cre dibiliste Application a la de tection de changements Contexte de la de tection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 a Boumerde s Quickbird du 22 avril 2002 Quickbird du 23 mai 2003 SERTIT, distribution CNES page 35 G Mercier et al. Techniques de post-classification pour la de tetion de changements

50 Contexte de la détection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 à Boumerdès Changements (restreints) entre le 22 avril 2002 et 23 mai 2003 page 36 G Mercier et al. Techniques de post-classification pour la détetion de changements

51 Contexte de la détection de changements Dans le cadre d une catastrophe majeure Tremblement de terre du 21 mai 2003 à Boumerdès Changements (effectifs) entre le 22 avril 2002 et 23 mai 2003 page 37 G Mercier et al. Techniques de post-classification pour la détetion de changements

52 Raisonnement Evidentiel Dynamique :-) Etend le point de vue évidentiel au contexte dynamique (compatible avec DST, DSmT) :-) Permet de suivre l évolution de classifications imprecises (compatible avec le point de vue bayésien) :-/ Doit être supervisé pour réduire la combatoire des successions de classes? Classes vecteur? Fusion temporelle avec des bases de données vecteurs qui ne sont ni bayésiennes ni évidentielles page 38 G Mercier et al. Techniques de post-classification pour la détetion de changements

53 Contents Parcours de changements 1 Parcours de changements Utilisation d une carte de kohonen Classification du parcours de changement 2 3 page 39 G Mercier et al. Techniques de post-classification pour la détetion de changements

54 Détection de changements par post-classification Les problèmes résolus? Comment faire l association des classses (similaires) d une date à une autre? C k;t1 = C l;t2? Par approche supervisée, incrémentale ou une classification unique Comment faire l association entre les classes si les images sont hétérogènes et/ou si les classifieurs sont différents? C k;t1 C k;t2? Par une assignation d index (ou une encapsulation en meta-classes) Comment comparer les classes si K t évolue au cours du temps? C KN ;t N =? Par une approche supervisée ou hiérarchique Quel changement est-il le plus important entre C k1 ;t 1 C k2 ;t 2 ou C k1 ;t 1 C k3 ;t 2 Par une approche supervisée ou hiérarchique page 40 G Mercier et al. Techniques de post-classification pour la détetion de changements