Introduction à la classification spectrale

Transcription

1 Introduction à la claification pectrale L. Macaire - LAGIS - UMR CNRS 8146 Réunion Clapec du 23 mar

2 Clutering par k-mean 2

3 Notation [Halawana Mater Recherche 2006] Enemble de n donnée l-dimenionnelle à claifier: S={ 1,..., n } Le graphe non orienté G(V,E) et une tructure repréentant le paire de relation entre le donnée. V:Enemble de noeud { i } et E: enemble de arc pondéré {w ij } 3

4 Repréentation d'un Graphe i j 4

5 Valuation de arc w i,j : Meure de imilarité entre le donnée i et j Propriété d'une meure de imilarité im( i, j ): (éloignée) 0 <= im( i, j ) <= 1 (proche) im( i, j ) = im ( j, i ) Exemple: im( i,, j )= exp (- i, - j ²/σ²) 5

6 Exemple de graphe S1 0.1 S5 S2 0.6 S6 S3 0.2 S

7 Contruction de clae par le cut minimum [Wu Leahy IEEE PAMI 93] Minimier le poid de connection entre 2 ou-graphe A et B J min cut A,B =min cut A,B cut A,B = i A,j B w ij S1 0.1 S5 S2 0.6 S6 S3 0.2 S

8 Contruction de clae A, B par le cut minimum Minimier le poid de connection entre 2 ou-graphe A et B A J min cut A,B =min cut A,B cut A,B = i A,j B S2 0.6 S1 S S4 S5 0.7 w ij S6 B 8

9 Théorie pectrale du graphe Optimiation complexe -> optimiation linéaire Minimiation du cut -> problème pectral matriciel Graphe pondéré => matrice de imilarité 9

10 Contruction de clae A, B par le cut minimum W: matrice de imilarité [w ij ] A S1 0.1 S5 B S2 0.6 S6 S3 0.2 S

11 Contruction de clae A, B par le cut minimum D: matrice diagonale de degré [d ij ] d ii = k d ij =0 w ik A S1 0.1 S5 B S2 0.6 S6 0.2 S4 0.7 S3 11

12 Contruction de clae A, B par le cut minimum D: matrice diagonale de degré [d ij ] A S1 0.1 S5 B S2 0.6 S6 S3 0.2 S

13 Contruction de clae A, B par le cut minimum D: matrice diagonale de degré [d ij ] A S1 0.1 S5 B S2 0.6 S6 S3 0.2 S

14 Contruction de clae A, B par le cut minimum D-W: matrice laplacienne A S1 0.1 S5 B S6 S S4 0.7 S3 14

15 Contruction de clae A, B par le cut minimum D-W: matrice laplacienne A S1 0.1 S5 B S6 S S4 0.7 S3 15

16 Contruction de clae A, B par le cut minimum Exprime une bi-partition (A,B) comme un vecteur q de dimenion n q i =+1 => i aigné à A; q i =-1 => i aigné à B 16

17 Contruction de clae A, B par le cut minimum Exprime une bi-partition (A,B) comme un vecteur q de dimenion n q i =+1 => i aigné à A; q i =-1 => i aigné à B J mincut (A,B) = argmin q (q T (D-W)q) 17

18 Contruction de clae A, B par le cut minimum Exprime une bi-partition (A,B) comme un vecteur q de dimenion n q i =+1 => i aigné à A; q i =-1 => i aigné à B J mincut (A,B) = argmin q (q T (D-W)q) La olution optimale et l'une de olution de (D-W)q =λq 18

19 Contruction de clae A, B par le cut minimum Calcul de valeur et vecteur propre de (D-W) λ={0,0.3,2.2,2.3,2.5,3} La econde valeur propre la plu bae et la olution optimale 19

20 Contruction de clae A, B par le cut minimum Vecteur propre de λ A S1 0.1 S5 B S6 S S4 0.7 S3 20

21 3 Etape d'un claification pectrale 1 Pre-traitement Contruction d'une matrice de imilarité entre le donnée multi-dimenionnelle. 2 Décompoition Calcul de vecteur et valeur propre d'une matrice Laplacienne. Projection de chaque donnée dan un epace de repréentation de dimenion réduite compoé de vecteur propre. 21

22 3 Etape d'un claification pectrale 3 Claification Aignation de point en 2 clae (ou plu) à partir de cette repréentation. 22

23 Contruction de clae A, B par le cut minimum Favorie le petite clae iolée J min cut A,B =min cut A,B cut A,B = i A,j B w ij A S1 0.1 S5 B S2 0.6 S3 0.2 S S6 S

24 Contruction de clae A, B par le cut minimum Favorie le petite clae iolée J min cut A,B =min cut A,B cut A,B = i A,j B w ij A S1 0.1 S5 B S2 0.6 S3 0.2 S S6 0.1 S7 24

25 Contruction de clae A, B par le minimum cut normalié [Shi Malik IEEE PAMI 2000] Normaliation par le volume de clae J Normalizedcut A,B =min cut A,B = i A,j B w ij = cut A,B vol A q i 0, q j 0 cut A,B Vol B w ij.q i.q j vol A = i A, j S w ij vol A = i A, j S w ij = q i 0 d i J Normalizedcut q =min w ij. q i. q j q i 0, q j 0 q i 0 d i w ij. q i. q j q i 0,q j 0 q i 0 d i 25

26 Contruction de clae A, B par le minimum cut normalié Normaliation par le volume de clae J Normalizedcut q =min w ij. q i. q j q i 0, q j 0 q i 0 d i w ij. q i. q j q i 0,q j 0 q i 0 d i Soit 1: vecteur n-dimenionnel unitaire i q i 0 d i = 1 T D 1 d i =k. 1 T D 1 avec d i q k = i 0 i d i 26

27 Contruction de clae A, B par le minimum cut normalié J Normalizedcut q =min w ij. q i. q j q i 0, q j 0 k 1 T D1 w ij. q i. q j q i 0, q j 0 1 k 1 T D 1 (1+q)/2 et (1-q)/2 indiquent que q i >0 et q i <0 J Normalizedcut q =min 1 q T D W 1 q k 1 T D1 1 q T D W 1 q 1 k 1 T D 1 27

28 Contruction de clae A, B par le minimum cut normalié y= 1 q k 1 k. 1 q J Normalizedcut q =min y T D W y y T Dy Sou le condition que y T D1=0 et y i compri entre 0 et k /(1-k) Minimiation de cette expreion en réolvant le ytème de valeur propre: (D-W)y = λdy Ce qui revient à réoudre D -1/2 (D-W)D -1/2 z = λz avec z =D 1/2 y 28

29 Contruction de clae A, B par le minimum cut normalié Réolution D -1/2 (D-W)D -1/2 z = λz avec z =D 1/2 y Z 0 =D 1/2 1 et un vecteur propre aocié à la valeur propre 0 Retenir le vecteur aocié à la 2 nde valeur propre la plu faible 29

30 exemple[6.867 Machine learning, lecture 18 (Jaakkola)] Donnée Graphe 30

31 exemple[6.867 Machine learning, lecture 18 (Jaakkola)] Claification Vecteur propre lié à λ 2 31

32 Exemple [CS195-5:Introduction to Machine Learning Lecture25 Greg Shakhnarovich] Graphe avec 5 voiin Vecteur propre correpondant à λ2 Point claifié 32

33 Exemple [CS195-5:Introduction to Machine Learning Lecture25 Greg Shakhnarovich] 33

34 Exemple 34

35 Partition en k clae Projection de donnée dan l'epace de k vecteur propre Soit Z i =[z 1i,z 2i,..,z ki ] T compoé de la i eme coordonnée de k vecteur propre Kmean ur le point Z i 35

36 Paramètre Fonction de imilarité utiliée Nombre de voiin pour le calcul de la imilarité Nombre k de clae 36

37 Evaluation de claification[verma - Meila] Avec une vérité terrain CV Matrice de confuion entre le clae Taux de donnée mal claée 37

38 Evaluation de claification[verma - Meila] Variation d'information VI de la partition C Entropie avec P(k) = card (C k ) Info mutuelle K H C = k=1 P k log P k I CV,C = kv =1 avec P(kV,k) = card (CV kv,c k )/n VI(CV,C) = H(C) + H(CV) -2I (CV,C) C identique à CV => VI =0 K K k=1 P kv,k log P kv, k P kv. P k 38

39 Evaluation de claification (problème) Indice de Wallace WI(CV,C) WI CV,C = K k=1 K k =1 card CV k C k card CV k Card CV k 1 /2 C et CV ont identique => WI (CV,C) = 1 C et CV différent en tou point =>WI (CV,C)= 0 39