classification non supervisée : pas de classes prédéfinies Applications typiques

Transcription

1 Qu est ce que le clusterng? analyse de clusterng regroupement des obets en clusters un cluster : une collecton d obets smlares au sen d un même cluster dssmlares au obets appartenant à d autres clusters classfcaton non supervsée : pas de classes prédéfnes Applcatons typques afn de meu comprendre les données comme prétratement avant d autres analyses

2 Qu est ce qu un bon clusterng? Une bonne méthode va produre des clusters dont les éléments ont une forte smlarté ntra classe une fable smlarté nter classe La qualté d un clusterng dépend d de la mesure de smlarté La qualté d une méthode peut auss être mesurée par sa capacté à trouver quelques ou tous les motfs ntéressants

3 Caractérstques des méthodes de clusterng 3 Mse à l échelle ll Capacté à gérer dfférents types d attrbuts Découverte de clusters avec des formes arbtrares Beson mnmum deconnassances du domane pour détermner les paramètres Capacté à gérer le brut et les eceptons Indfférent à l ordre des données en entrée Nombre de dmensons Incorporaton decontrantes par l utlsateur Interprétablté et utlsablté

4 Structure de données 4 Matrce de données Mt Matrce de dstance (ou dssmlarté) n f f nf p p np 0 d(,) 0 d(3, ) d (3,) 0 : : : d ( n,) d ( n,) 0

5 Smlarté et dssmlarté 5 Métrque de smlarté/dssmlarté l l é: eprmée en termes d une foncton de dstance, typquement d(,) Foncton de dstance dépend du type des données : bnares, nomnales, ordnales ou contnues Pondératon des dmensons selon l applcaton et la sémantque des données Dffculté de défnr «suffsamment smlares» la réponse est très subectve

6 Types de données 6 contnue sur un ntervalle e : pods, talle bnare nomnale e : couleur ordnale à échelle varable e : crossance optmale des bactéres, durée de Mte la radoactvté

7 Valeurs contnues sur un ntervalle, normalsaton 7 Normalser les données : s affranchr ff des untés é de mesures écart absolu à la moyenne s f ( n m m m f f f f nf f Calculer la mesure normalsée (z score) z f f m s L utlsaton de l écart absolu est plus robuste que celle de l écart lécart type f f )

8 Valeurs contnues sur un ntervalle, Foncton de dstance D t d M k k 8 Dstance de Mnkowsk : q q p p q q d ) ( ), ( avec (,,, p ) et (,,, p ) deu obets à p dmensons, et q un enter postf p p enter postf s q : dstance de Manhattan ) (, p p d s q :dstance eucldenne p p ) ( ) ( d Proprétés d( ) ) ( ), ( p p d d(,) 0 d(,) 0 (postve) d(,) d(,) (symétrque) d(,) d(,k) d(k,) (négalté trangulare)

9 Valeurs bnares 9 table de contngence Obet 0 Obet 0 a c b d coeffcent smple d apparement (nvarant, s la varable est symétrque) d (, ) a b b c c coeffcent de Jaccard (non nvarant, s la varable est asymétrque) d (, ) a b b c c d

10 Dssmlarté de valeurs bnares 0 Eemple Nom See Fèvre Tousse Test- Test- Test-3 Test-4 Jacques M O N P N N N Mare F O N P N P N Jean M O P N N N N see est symétrque les autres sont asymétrques sot O et P, et N 0 d d d ( ( ( acques, mare acques, ean ean, mare ) ) 0 )

11 Varables nomnales généralsaton é des valeurs bnares : plus de états t méthode : apparement smple m : nombre d apparements, p : nombre total de varables bl d (, ) p p m méthode : utlser un grand nombre de varables bnares créaton d une varable bnare pour chacun des états t d une varable bl nomnale

12 Varable ordnale l ordre est mportant t: rang peut être tratée comme une varable contnue sur un ntervalle remplace f par son rang {,, M { f transforme chaque varable sur [0,] en remplaçant le ème obet de la f ème varable z f r M f f r f calcule la dssmlarté en utlsant les méthodes de valeurs contnues sur un ntervalle }

13 à échelle varable 3 mesure postve sur une éhll échelle non lnéare, éhll échelle eponentelle qu sut appromatvement Ae BT ou Ae BT Méthodes les trater comme des varables contnues sur un ntervalles : mauvas cho applquer une transformaton logarthmque pus les trater comme des varables contnues sur un ntervalle y f log( f ) les trater comme des varables ordnales en tratant leur rang

14 Varables de type mte 4 Les obets peuvent être décrts avec tous les types de données bnare symétrque, bnare asymétrque, nomnale, ordnale, Utlsaton d une formule pondérée pour combner leurs effets d (, ) Σ p f Σ δ p f ( f δ ) ( d f ( ) f )

15 Prncpales approches 5 parttonnement parttonne les obets et évalue les parttons hérarchque décomposton hérarchque d ensembles d obets dobets densté basée sur une foncton de densté ou de connectvté grlle basée sur une structure de granularté à pluseurs nveau

16 Parttonnement 6 Construre une partton de la base de données D contenant tn obets en un ensemble de k clusters Etant donné ék, trouvé une partton en k clusters qu optmsent le crtère de parttonnement Optmum global l: trater toutes les parttons ehaustvement Heurstque : k means ou k médoïdes k means : chaque cluster est représenté par son centre k médoïdes ou PAM (partton around medods) : chaque cluster est représentéparundesobets par ducluster

17 k means 7 4 étapes. Parttonne les obets en k ensembles non vdes. Calcule le centroïde de chaque partton/cluster 3. Assgne à chaque obet le cluster dont le centroïde est le plus proche 4. boucle en, usqu à ce les clusters soent stables.

18 k means, eemple

19 k means. Remarques Avantages Relatvement effcace : O(tkn), avec n le nombre d obets, t le nombre d tératons et en général t et k << n Termne souvent sur un optmum local. L optmum global peut être attent en utlsant des technques telles que les algorthmes génétques Fablesses Utlsable seulement lorsque la moyenne est défne Que fare dans le Utlsable seulement lorsque la moyenne est défne. Que fare dans le cas de données nomnales? Beson de spécfer k à l avance Ne gère pas le brut et les eceptons Ne trouve que des clusters de forme convee 9

20 k médoïdes Trouve desreprésentants représentants, appelés médoïdes, dans les clusters PAM médoïde : l obet d un cluster pour lequel la dstance moyenne à tous les autres obets du cluster est mnmale k crtère d erreur : Algorthme E p C d( p, m. Sélectonner k obets arbtrarement. Assgner le reste des obets au médoïde le plus proche 3. Sélectonner un obet non médoïdeet échanger éh s le crtère d erreur peut être rédut 4. Répéter et 3 usqu à ne plus pouvor rédure le crtère d erreur ) 0

21 PAM. Eemple E -E<0 E -E>0 E -E<0

22 Clusterng hérarchque Utlsaton d une matrce de dstance : ne nécesste pas de spécfer le nombre de clusters Step 0 Step Step Step 3 Step 4 a a b b abcde c c d e d d e e Step 4 Step 3 Step Step Step 0 agglomeratve (AGNES) sépatatve (DIANA)

23 AGNES (Agglomeratve Nestng) é 3 Utlse une matrce de dssmlarté Fusonne les nœuds les mons dssmlares Fusonne les nœuds les mons dssmlares

24 Un dendrogramme llustre comment les clusters sont fusonnés hérarchquement 4 Décompose les données en pluseurs nveau mbrqués de parttonnement Un clusterng est obtenu en coupant le dendogramme au nveau chos

25 Mesures de smlarté entre clusters 5 complete lnkage plus pette smlarté/plus grande dstance entre toutes les pares de gènes entre clusters average lnkage smlarté l témoyenne entre les pares de gènes sngle lnkage plus grande smlarté/plus pette dstance entre gènes de clusters

26 Méthodes basées sur la densté 6 Prncpales caractérstques Cluster de forme arbtrare Geston du brut Beson d un paramètre de densté comme crtère è d arrêt paramètres Eps : rayon mamal de vosnage MnPts : nombre mnmal de ponts dans le vosnage défn par Eps q p N Eps (p) : { q D dst(p,q) Eps} un pont p est drectement attegnable d un dun pont q s p appartent à N Eps (q) N Eps (q) MnEps un pont p est attegnable d un pont q s l este une chaîne de ponts p,, p n telle que p q et p p et que les p sont drectement attegnables des p n p q un pont p est connecté à un pont q s l este un pont o tel que p et q sont attegnables depus o q o p p

27 Méthodes basées sur une grlle 7 Utlsaton d une grlle à des résolutons multples l l comme structure de données L espace est dvsé en cellules rectangulares

28 Méthodes basées sur une grlle Chaque cellule de nveau est dvsée en un certan nombre de cellules plus pettes au nveau Informatonsstatstques statstques calculées et stockées à chaque nveau Approche descendante Suppresson des cellules non pertnentes pour les tératons t suvantes Répéter le processus usqu à attendre le nveau le plus bas Avantages parallélsable, mse à our ncrémentale O(k), où k est le nombre de cellule au plus bas nveau Fablesse lesbords des clusters sont sot horzontau sot vertcau, pas de dagonale! 8

29 Salary (0, 000) Vacaton (week) age age Vacaton τ age