Classification non supervisée hiérarchique

Transcription

1 1/14 Classification non supervisée hiérarchique 5MS04 - Analyse des donnees Master 2 spécialité Statistiques Université Pierre et Marie Curie B. Michel

2 d e a b c 2/14 Introduction Données : X = {x 1,..., x n } x i X un espace muni d une dissimilarité d. Une des faiblesses de l approche k-means : les partitions obtenues en faisant varier k n ont a priori aucun lien (d inclusion) entre les elles. La classification hierarchique au contraire permet de hiérarchiser les données", c est à dire de les regrouper progressivement à l aide d une suite de partitions emboîtées.

3 3/14 Hiérarchie Définition : Hiérarchie Une hiérarchie H est un ensemble de parties de X satisfaisant : 1. 1 i n, {x i } H 2. X H 3. A, B H, A B = ou A B ou B A Exemple : {{1}, {2}, {3}, {4}, {1, 2}, {3, 4}, {1, 2, 3, 4}} est une hiérarchie de {1, 2, 3, 4}. Définition : Hiérarchie indicée Une hiérarchie indicée est un couple (H, h) où H est une hiérarchie et h : H R + satisfait : 1. A H, h(a) = 0 A est un singleton 2. A, B H, A B, A B h(a) h(b)

4 4/14 Représentation par dendrogramme d une hiérarchie indicée H = {{a}, {b}, {c}, {d}, {e}, {d, e}, {a, b}, {a, b, d, e}, {a, b, c, d, e}} h({x}) = 0, x {a, b, c, d, e} h({d, e}) = 0.5 h({a, b}) = 3 h({a, b, d, e}) = 4 h({a, b, c, d, e}) = 7 d e a b c

5 5/14 Algorithme général de CAH 1. Initialisation : on part de la partition en singletons C n = {{x 1 },..., {x n }} 2. Étapes agrégatives : partant d une partition C K = {C 1,..., C K } en K classes, on agrège les deux classes C k et C k qui minimisent une mesure d agrégation D(C k, C k ) : C k k = C k C k. On obtient ainsi une partition en K 1 classes 3. On recommence l étape d agrégation jusqu à obtenir une partition en une seuleméthodes classe hiérarchiques Les approches de type CAH (Classification Ascendante Hiérarchique) Hiérarchie (indicée) i C10 C8 C5 C10 C9 C2 C4 C9 C3 C6 C2 C8 C5 C4 C7 C1 C6 C3 C1 C7

6 6/14 Mesures d agrégation entre classes Lien simple (Single linkage) D(C k, C k ) = min d(x i, x l ) i C k, l C k Classes avec des diamètres très différents Effet de chaînage : tendance à l agrégation plutôt qu à la création de nouvelles classes Sensibilité aux individus bruités

7 7/14 Mesures d agrégation entre classes Lien complet (Complete linkage) D(C k, C k ) = max d(x i, x l ) i C k, l C k Crée des classes compactes (contrôle du diamètre) : cette fusion engendre l accroissement le plus faible des diamètres Pas de contrôle de la séparation : classes arbitrairement proches Sensibilité aux individus bruités

8 8/14 Mesures d agrégation entre classes Lien moyen (Average linkage) D(C k, C k ) = 1 d(x i, x l ) C k C k i C k l C k Compromis entre les deux liens précédents : bon équilibre entre séparation des classes et diamètre des classes Tendance à produire des classes de variance proche

9 9/14 Mesures d agrégation entre classes Distance de Ward dans le cas euclidien D(C k, C k ) = C k C k n( C k + C k ) d(m k, m k ) 2 où m k (resp. m k ) centre de gravité de C k (resp. C k ) et d est une distance euclidienne. Tendance à construire des classes ayant des effectifs égaux pour un niveau de hiérarchie donné Favorise les classes sphériques

10 10/14 Méthode de Ward Dans le cas euclidien : Proposition Soit P K = {C 1,..., C K } une partition des données et soit k k. Si l on rassemble les deux classes C k et C k en une classe notée C k k alors l inertie interclasse diminue (l inertie intraclasse augmente) de : C k C k n( C k + C k ) d(m k, m k ) 2. La méthode de Ward consiste à choisir à chaque étape les deux classes dont le regroupement implique une augmentation minimale de l inertie intraclasse.

11 11/14 Indicer la hiérarchie En général on indice la hiérarchie en utilisant la distance définie entre classes : A, B H, h(a B) = D(A, B) Si (H, h) ainsi définie ne vérifie pas les propriétés d une hiérarchie indicée, on peut toujours utiliser la relation suivante : A, B H, h(a B) = max [D(A, B), h(a), h(b)]

12 12/14 Coupure du dendrogramme La coupure du dendrogramme définit le clustering final : il suffit de considérer les sous arbres du dendrogramme ainsi défini. Animation On peut définir la coupure du dendrogramme en déterminant à l avance le nombre de classes dans lesquels on désire répartir l ensemble des données Critère de silhouettes (voir slides k-means). Critères fondés sur les inerties.

13 13/14 Propriétés de la CAH Méthode flexible pour le niveau de finesse de la classification Les partitions successives sont emboîtées Prise en compte facile de distances et d indices de similarité de n importe quel type Il faut un critère pour choisir à quel niveau couper" l arbre coût algorithmique élevé : de O(n 2 ) à O(n 3 ) pour les cas les plus défavorables.

14 14/14 Cluster Dendrogram Height Quitter l animation hclust (*, "ward")