SAS tutorials: CLASSIFICATION

Transcription

1 SAS tutorials: CLASSIFICATION Didier Chauveau MAPMO - UMR Université d Orléans D. Chauveau (Université d Orléans) SAS tutorials / 16

2 Contexte classification/apprentissage Données : X = matrice (n, p) des descripteurs : p variables numériques sur n individus individu i décrit par X i = (Xi 1,..., X p i ) D. Chauveau (Université d Orléans) SAS tutorials / 16

3 Contexte classification/apprentissage Données : X = matrice (n, p) des descripteurs : p variables numériques sur n individus individu i décrit par X i = (Xi 1,..., X p i ) Z = (Z 1,..., Z n ) = vecteur des étiquettes, Z i {1,..., K } indicateur de la classe de X i D. Chauveau (Université d Orléans) SAS tutorials / 16

4 Contexte classification/apprentissage Données : X = matrice (n, p) des descripteurs : p variables numériques sur n individus individu i décrit par X i = (Xi 1,..., X p i ) Z = (Z 1,..., Z n ) = vecteur des étiquettes, Z i {1,..., K } indicateur de la classe de X i On peut observer : (X, Z) apprentissage sur données supervisées (X, Z Z) classification semi-supervisées seulement X classification non supervisée D. Chauveau (Université d Orléans) SAS tutorials / 16

5 Exemples sur données bivariéees simulées Modèle : observations gaussiennes bivariées indépendantes provenant de K classes Un point (X, Y ) est de loi gaussienne dont les paramètres (moyenne, variance) dépendent de la classe Z = j dans laquelle est le point : D. Chauveau (Université d Orléans) SAS tutorials / 16

6 Exemples sur données bivariéees simulées Modèle : observations gaussiennes bivariées indépendantes provenant de K classes Un point (X, Y ) est de loi gaussienne dont les paramètres (moyenne, variance) dépendent de la classe Z = j dans laquelle est le point : avec (X, Y ) Z = j N 2 ( µj ; V j ), µ j = [ Ej (X) E j (Y ) ] [, V j = Gaussienne bi-dimensionnelle, var j (X) cov j (X, Y ) cov j (X, Y ) var j (Y ) V j matrice de variances-covariances de la classe j ] D. Chauveau (Université d Orléans) SAS tutorials / 16

7 Exemple 3 classes convexes sphériques Lois sphériques (mêmes variances) et coordonnées indépendantes (covariances= 0) [ ] σ 2 [ ] V j = j 0 0 σj 2 = σj = σ j Id 3 Classes de même poids, variances sphériques unité : σ 2 j = 1 classe j = 1 : N 2 ([ 0 0 classe j = 2 : N 2 ([ 8 0 classe j = 3 : N 2 ([ 4 8 ] ) ; Id ] ) ; Id ] ) ; Id D. Chauveau (Université d Orléans) SAS tutorials / 16

8 Exemple 3 classes convexes sphériques Lois sphériques (mêmes variances) et coordonnées indépendantes (covariances= 0) [ ] σ 2 [ ] V j = j 0 0 σj 2 = σj = σ j Id 3 Classes de même poids, variances sphériques unité : σ 2 j = 1 classe j = 1 : N 2 ([ 0 0 classe j = 2 : N 2 ([ 8 0 classe j = 3 : N 2 ([ 4 8 ] ) ; Id ] ) ; Id ] ) ; Id D. Chauveau (Université d Orléans) SAS tutorials / 16

9 Simulation pseudo-aléatoire avec SAS Génération de 3 classes gaussiennes bivariées, exemple précédent title1 Classes gaussiennes separees ; DATA simul1; n=100; mx=0; my=0; z=1; link simul; mx=8; my=0; z=2; link simul; mx=4; my=8; z=3; link simul; DROP n i mx my; STOP; simul: DO i=1 TO n; x=rannor(0)+mx; y=rannor(0)+my; OUTPUT; END; RETURN; RUN; D. Chauveau (Université d Orléans) SAS tutorials / 16

10 Simulation pseudo-aléatoire avec SAS Nuage des données (X, Z) simulées avec Z en facteur title2 "vraies classes"; PROC gplot; PLOT y*x=z ; symbol1 V=PLUS; D. Chauveau (Université d Orléans) SAS tutorials / 16

11 Exemple de nuage Avec ellipsoides de confiance gaussiens D. Chauveau (Université d Orléans) SAS tutorials / 16

12 FASTCLUS : Classification par centres mobiles PROC FASTCLUS data=simul1 MAXC=3 /* nb de classes */ out=fc /* TableSAS sortie */ REPLACE=FULL; /* centres initiaux */ VAR X Y; PROC PRINT; RUN; D. Chauveau (Université d Orléans) SAS tutorials / 16

13 FASTCLUS : Classification par centres mobiles PROC FASTCLUS data=simul1 MAXC=3 /* nb de classes */ out=fc /* TableSAS sortie */ REPLACE=FULL; /* centres initiaux */ VAR X Y; PROC PRINT; RUN; Nuage avec variable classifiante CLUSTER title2 "Resultat de FASTCLUS"; PROC GPLOT; PLOT y*x=cluster; RUN; D. Chauveau (Université d Orléans) SAS tutorials / 16

14 CAH, CLUSTER CLUSTER : Classification Hiérarchique (CAH) PROC CLUSTER DATA=simul1 OUTTREE=tree /* tablesas pour dendrogramme */ METHOD=ward /* critère de fusion */ PRINT=5; /* 5 dernières générations */ VAR x y; COPY z; D. Chauveau (Université d Orléans) SAS tutorials / 16

15 CAH, CLUSTER CLUSTER : Classification Hiérarchique (CAH) PROC CLUSTER DATA=simul1 OUTTREE=tree /* tablesas pour dendrogramme */ METHOD=ward /* critère de fusion */ PRINT=5; /* 5 dernières générations */ VAR x y; COPY z; Construction du dendrogramme PROC TREE DATA=tree OUT=out /* tablesas avec variable CLUSTER */ NCL=3 ; /* couper a 3 classes */ COPY x y z; RUN; D. Chauveau (Université d Orléans) SAS tutorials / 16

16 CAH, CLUSTER CLUSTER : Classification Hiérarchique (CAH) Vérification de la qualité de la classification PROC FREQ DATA=out ; TABLES z*cluster/nocol; D. Chauveau (Université d Orléans) SAS tutorials / 16

17 CAH, CLUSTER sortie graphique de CLUSTER DATA ta; SET out; cl = PUT(cluster,1.); X=x; Y=y; TEXT=cl; XSYS= 2 ;YSYS= 2 ; IF cluster=1 THEN color= red ; IF cluster=2 THEN color= blue ; PROC gplot; PLOT y*x=1/annotate=ta; title2 resultat de CLUSTER ; symbol1 I=NONE V=NONE; D. Chauveau (Université d Orléans) SAS tutorials / 16

18 CAH, CLUSTER Simulation de 2 classes convexes non sphériques DATA simul2; DROP i sx mx a b; n=300; sx=3; mx=10;a=2;b=0; c=1; link simul; sx=3; mx=10;a=2;b=30;c=2; link simul; STOP; simul: do i=1 to n; x=rannor(0)*sx + mx; y=a*x+ b + rannor(0); output; end; return; RUN; D. Chauveau (Université d Orléans) SAS tutorials / 16

19 CAH, CLUSTER Exemple de nuage D. Chauveau (Université d Orléans) SAS tutorials / 16

20 CAH, CLUSTER Simulation de 2 classes non convexes DATA simul3; DROP i sx mx a b p; n=200; sx=4; mx=5 ;a=2;b=0; p=2; c=1; link simul; sx=4; mx=5 ;a=2;b=500;p=2 ;c=2; link simul; STOP; simul: do i=1 to n; x=rannor(0)*sx + mx; y=a*x**p+ b + 50*rannor(0); output; end; return; RUN; PROC gplot; PLOT y*x=c; D. Chauveau (Université d Orléans) SAS tutorials / 16

21 CAH, CLUSTER Exemple de nuage D. Chauveau (Université d Orléans) SAS tutorials / 16

22 CAH du Jussac Exemple du canidé de Jussac DATA jussac; INFILE.../jussac3.txt ; INPUT label $ x1-x6; race = substr(label,1,1); /* juste C, L, ou J */ PROC standard data=jussac mean=0 std=1 out=jcstd; VAR x1-x6; /* centrage et réduction du nuage */ PROC cluster data=jussac outtree=tree method=ward; VAR x1-x6; COPY race; ID label; /* reperage des obs au sommet de l arbre */ PROC TREE data=tree out=jus2 n=2; /* a 2 classes */ copy race; ID label; PROC FREQ; TABLES race*cluster; D. Chauveau (Université d Orléans) SAS tutorials / 16