de la classification Approche pragmatique t Editions TECHNIP 27 rue Cinoux, PARIS Cedex 15, FRANCE Arbres hiérarchiques Partitionnements

Transcription

1 Jean-Pierre NAKACHE Ingénieur de recherche CNRS détaché à l'inserm Chargé de cours à l'isup Josiane CONFAIS Ingénieur d'études chargée des enseignements pratiques à l'isup Approche pragmatique de la classification Arbres hiérarchiques Partitionnements SUB Gôttmgen ' " " "! Ilfflt III» 2005 A t Editions TECHNIP 27 rue Cinoux, PARIS Cedex 15, FRANCE

2 Préface, Gilbert Saporta lll Avant-propos V Introduction 1 Généralités 7 1. Distances et indices de similarité Distance d définie sur un ensemble E Similarité définie sur un ensemble E Dissimilarité définie sur un ensemble E 8 2. Mesures de ressemblance entre individus Données numériques Données ordinales Données de fréquences Données binaires Données nominales Données mixtes Mesures de similarité entre variables Données numériques Données ordinales Données de fréquences Données binaires Données nominales Données mixtes.' Qualités d'une classification Préparation des données en vue d'une classification 15 Chapitre 1 Classification ascendante hiérarchique Hiérarchie totale de parties d'un ensemble E Hiérarchie de parties indicée Arbre hiérarchique indicé Choix du nombre de classes par coupure de l'arbre Distances ultramétriques et arbres hiérarchiques Distances ultramétriques Boules ultramétriques Propriétés Equivalence entre hiérarchie indicée et distance ultramétrique Toute hiérarchie totale indicée H E permet de définir sur E une distance ultramétrique... 22

3 VIII Table des matières A toute distance ultramétrique d u définie sur E, on peut faire correspondre une hiérarchie totale indicée Conséquence de l'équivalence entre hiérarchie indicée HE et distance ultramétrique d u Algorithme de Lerman Construction d'un arbre hiérarchique ascendant Algorithme de base Algorithme de Roux Axiome de la médiane Algorithme des voisins réciproques Algorithmes d'agrégation fondés sur un lien métrique Le critère du saut minimal Le critère du diamètre Le critère de la moyenne Le critère de Ward (perte d'inertie minimale) Application Mise à jour des distances : utilisation de la formule de Lance et Williams Algorithmes d'agrégation fondés sur la densité Méthode des k- plus proches voisins Méthode des noyaux uniformes Méthode EML Avantages et inconvénients des algorithmes hiérarchiques Comparaison de deux arbres hiérarchiques ascendants Ordonnance associée à une matrice des distances d entre individus d'un ensemble E : Od Définition mathématique d'une pré-ordonnance Graphe d'une ordonnance Ecart entre deux ordonnances Ecart entre deux hiérarchies ascendantes Algorithmes hiérarchiques avec obtention de classes déforme arbitraire CURE ROCK BIRCH CHAMELEON Classification spatiale hiérarchique 60 Chapitre 2 Perte d'inertie minimale et saut minimal Perte d'inertie minimale Passage d'une partition à la suivante Procédure d'agrégation suivant le critère de Ward Exemples illustratifs Application du critère de Ward aux données Ester et al Saut minimal Ultramétrique sous-dominante S de la distance d Lien avec l'arbre de longueur minimale Construction de l'arbre de longueur minimale par l'algorithme de Kruskal Application numérique Représentation simultanée : arbre de longueur minimale et arbre hiérarchique Effet de chaîne Application aux données Ester et al 85 Chapitre 3 Classification hiérarchique descendante Classification non supervisée : classes monothétiques Variables quantitatives Variables de nature mixte 90

4 IX Variables binaires : méthode de Williams et Lambert Applications Classification non supervisée : approche conceptuelle Fonctions PU et CU Algorithme COBWEB Algorithme CLASSIT Classification de grandes collections de documents : algorithme PDDP Classification supervisée Méthode CART Méthode CHAID 106 Chapitre 4 Classification par partition Méthodes k-means Méthode des centres mobiles Méthode des nuées dynamiques Extension de la méthode k-means aux variables qualitatives ou mixtes Algorithme k-modes Algorithme k-prototypes Autres méthodes Méthode des k-medoids PAM Autres méthodes : CLARA, CLARANS, FINDIT Mélange de distributions 124 Chapitre 5 Classification conjointe (hiérarchie et partition) appliquée aux grands tableaux de données mixtes Différentes étapes Codage des données sous forme disjonctive complète Analyse factorielle du tableau disjonctif complet Classification hiérarchique des individus repérés par leurs composantes factorielles Partition autour des centres mobiles et détermination des groupements stables Classification hiérarchique des groupements stables Consolidation de la partition finale Application de la classification conjointe : utilisation du logiciel SPAD Utilisation du logiciel SAS pour effectuer une classification conjointe Les outils proposés par SAS/STAT Les méthodes d'agrégation de la procédure CLUSTER Classification k-means avec la procédure FASTCLUS Enchaînement FASTCLUS - CLUSTER, 147 Chapitre 6 Techniques particulières de classification pour le Data Mining Méthodes de classification fondées sur la densité Méthode DBSCAN Méthodes dérivées de DBSCAN : GDBSCAN, OPTICS BRIDGE : utilisation conjointe de k-means et DBSCAN Autres méthodes Méthodes de classification fondées sur un modèle Approche neuronale : le modèle de Kohonen Autres approches probabilistes Approche basée sur la notion de fonction d'influence : DENCLUE 174

5 6.3. Méthodes fondées sur le quadrillage de l'espace Classification simultanée des individus et des variables Ré-ordonnancement du tableau après classification séparée des lignes et des colonnes du tableau Ré-ordonnancement des lignes et des colonnes d'un tableau de contingence Méthode d'agrégation de relations binaires 184 Chapitre 7 Nombre de classes à retenir Utilisation de l'échelle des similarités associée à un arbre hiérarchique Autres indices graphiques Indices fondés sur la somme de carrés Indices fondés sur des pseudo-statistiques Indice dérivé d'une classification fondée sur la densité : BIC Graphique «silhouette» Autres indices Comparaison de deux partitions 201 Chapitre 8 Caractérisation des classes Caractérisation unidimensionnelle Caractérisation par des variables illustratives Extension aux variables actives Application : données Cancer Description des classes retenues Valeurs-test Autres caractérisations unidimensionnelles Graphiques en étoiles Graphiques des profils Caractérisation multidimensionnelle Représentation graphique des variables et classes sur le meilleur plan factoriel Utilisation d'une méthode explicative multidimensionnelle 217 Chapitre 9 Classification d'un ensemble de variables Procédure VARCLUS : Algorithme Exemple illustratif Cas de variables binaires à classer : application aux données NHP Cas de variables mixtes à classer : application aux données Cancer Variante de VARCLUS : méthode de Qannari et Vigneau Méthode de Lerman Méthode de Bertin 236 Logiciels et algorithmes 241 Références bibliographiques 247 Index 257