REDUCTION DE BASE DE DONNEES PAR LA CLASSIFICATION AUTOMATIQUE

Transcription

1 INSTITUT DE LA FRANCOPHONIE POUR L INFORMATIQUE RAPPORT DU STAGE REDUCTION DE BASE DE DONNEES PAR LA CLASSIFICATION AUTOMATIQUE Sous la drecton de Pr. Georges HEBRAIL, ENST Pars Réalsé par LE Anh Tuan, IFI Hano Décembre 2004

2 Remercements Je tens à remercer mon encadrant du stage, Monseur Georges Hébral, le professeur du département Informatque et Réseaux (INFRES), ENST Pars, pour sa dsponblté, son soutent et son ade préceuse pendant toute la durée du stage. Je voudras également remercer chaleureusement Madame Sophe Bzart, le secrétare du département INFRES de m avor accuell et son ade pendant le stage. Un grand merc à l IFI d avor ben préparé mon stage. J a le plasr de remercer tous les stagares au département INFRES, ENST qu m ont porté leur amté. J exprme mon entère reconnassance à ma famlle et mes ams pour leurs soutens, leurs ades et leurs encouragements. 1

3 Table de matères Résumé... 4 Abstract... 4 Chaptre 1. Introducton... 5 Chaptre 2. Etat de l art Classfcaton de données Types de données et les mesures ) Classfcaton basée sur la talle de domane : ) Classfcaton basée sur l échelle de mesure : Méthodes de classfcaton ) Méthodes hérarchques (herarchcal clusterng) CURE ) Méthodes de parttonnement (parttonal clusterng): K-medods K-means ) Méthodes basées sur la densté DBSCAN DENCLUE ) Méthodes basées sur la grlle STING WaveCluster CLIQUE ) Algorthmes pour des données de haute dmenson Sélecton d attrbuts Réducton de dmensonnalté Classfcaton dans sous-espaces...24 v. Co-classfcaton ) Algorthmes pour les données qualtatves (catégore) ROCK STIRR CACTUS...27 Chaptre 4. Classfcaton sur le flux de données Classfcaton sur le flux de données STREAM-LOCALSEARCH GenIc Algorthmes BIRCH et CLUSTREAM ) BIRCH Arbre des CFs Algorthme Cluster Feature et la dstance dans BIRCH ) CLUSTREAM Mantenance en lgne des mcros classes Créaton des macros classes Analyse d évoluton des classes...45 Chaptre 3. Implémentaton et expérmentaton Implémentaton du BIRCH Expérmentaton du BIRCH...51 Chaptre 4. Concluson et perspectves...52 Annexe 1. Sommare des algorthmes de classfcaton

4 Annexe 2. Lste des fgures...55 Références

5 Résumé Aujourd hu, l y a plus en plus des applcatons dont la base de données est très grosse et les données apparassent sous la forme d un flux de données nfn comme des enregstrements de coup de téléphone, la survellance de réseaux... Pour ce type de données, les systèmes de geston de base de données (SGBDs) tradtonnels semblent ne pas convenables parce que ls ne tratent que des données à talle lmtée. Pour exploter effcacement des données massves en utlsant un espace de stockage lmté, l faut trouver un tratement spécal qu rédut les données afn d obtenr des nformatons nécessares appelées des résumés à partr de ces données. Il y a certanes méthodes pour ce fat : échantllonnage, compresson et classfcaton. Parm eux, la classfcaton est la soluton la plus convenable. Dans ce rapport, nous parlons des algorthmes de classfcaton en général et partculèrement de ceux qu sont pour le flux de données. Après avor découvert pluseurs algorthmes de classfcaton, nous avons trouvé que l algorthme BIRCH est une soluton de réducton de données très bonnes et le modèle CLUSTREAM permet de trater effcacement les données sur un flux de données. Nous avons également mplémenté l algorthme BIRCH pour tester sa performance. Abstract Today, there s more and more applcatons whose database s very large and the data appear n the form of an nfnte data stream lke records of telephone call, the montorng of networks... For ths type of data, the tradtonal database management systems (DBMS) seem not sutable because they treat only data wth lmted sze. To explot effectvely massve data by usng a space of lmted storage, t s necessary to fnd a specal processng whch reduces the data n order to obtan necessary nformaton called the summares from these data. There are certan methods for ths: samplng, compresson and clusterng. Among them, clusterng s the most sutable soluton. In ths report, we talk about the general clusterng algorthms and partcularly about those whch are for the data flow. After havng studed several clusterng algorthms, we found that BIRCH algorthm s a very good data reducton soluton and the CLUSTREAM s a model whch allows to effectvely treatng the data stream. We also mplemented algorthm BIRCH to test ts performance. 4

6 Chaptre 1. Introducton Aujourd hu, l y a pluseurs applcatons qu ont beson d un autre modèle de stockage des données que le modèle des SGBD (Système de Geston de Base de Données) tradtonnel. Un modèle de SGBD tradtonnel stocke des jeux de données fns et persstants, donc l n est appropré qu aux applcatons dont le volume de données n est pas ggantesque, dont des partes sgnfcatves de données sont souvent requses et dont les mses à jour sont relatvement peu fréquentes. On peut trouver de telles nouvelles applcatons dans les télécommuncatons, la survellance des réseaux, les affares, les marchés fnancers, les flux de clcs sur les pages web Dans ces applcatons, les données arrvent sous la forme d un flux de données,.e. un gros volume de données qu arrve contnuellement. Les données ne sont accessbles que par ordre d arrvée, les accès aléatores ne sont pas perms. La mémore réservée aux données est relatvement plus pette que le volume total du flux de données, donc l n y a qu une pette quantté de données qu peut être gardée. Dans les télécommuncatons, par exemple, les enregstrements d appel sont contnuellement générés. Typquement, la plupart de tratements sont fats en examnant un enregstrement une seule fos. Après, l ne sera plus examné. Il exste des méthodes pour réalser un comproms entre un gros volume de données qu arrvent et un espace de stockage et pett. On peut échantllonner les données qu arrvent et utlser les échantllons obtenus dans les opératons de l applcaton. Cette méthode perd beaucoup d nformatons concernant le jeu enter de données. Une autre méthode est de compresser les données et d utlser les données compressées au leu des données orgnales. Dans ce cas, les données compressées ne peuvent pas être effcacement nterprétées et drectement utlsées sans être décompressées. La classfcaton automatque est auss une technque de compresson (réducton) de données mas les données sont ben compressées en sens que le jeu de données peut être ben nterprété en n utlsant que les données compressées. La classfcaton automatque des données consste à dvser un jeu de données en sous-ensembles de données appelés classes pour que tous les ndvdus dans même une classe soent smlares et les ndvdus de classes dstnctes soent dssmlares. Typquement, chaque classe est représentée par un ndvdu qu s appelle le centre de la classe ou par certanes nformatons dérvées de tous les ndvdus de la classe qu sont suffsantes de décrre la classe. Il y a pluseurs algorthmes de classfcaton des données. Ils dffèrent par la nature de données qu ls tratent (données numérques ou données de catégore, pett jeu de données ou gros jeu de données, données de dmenson élevée ou mons élevée, sur un flux de données ou pas ), par les méthodes de dstrbuton des données en classes, par la représentaton des classes Ce stage de fn d étude a eu leu à l Ecole Natonale Supéreure des Télécommuncatons de Pars, France. J a travallé sous la drecton du professeur Georges HEBRAIL. Mon traval dans ce stage est de découvrr tout d abord le domane de classfcaton de données en général. Ce traval consste à fare 5

7 connassance le concept de classfcaton des données, les problèmes concernant du domane, une classfcaton des algorthmes de classfcaton dfférents afn de trouver que l algorthme BIRCH et le modèle CLUSTREAM est une bonne soluton pour le problème de classfcaton sur le flux de données. Nous avons également mplémenté l algorthme BIRCH et fat des expérmentatons pour évaluer sa performance. Une smulaton smple de classfcaton sur un flux de données est également réalsée en se basant sur cet algorthme. Ce rapport est organsé comme suvant : Le chaptre 2 décrt le problème de classfcaton de données en général et de dfférents algorthmes de classfcaton. Le chaptre 3 parle de l algorthme BIRCH et CLUSTREAM. Le chaptre 4 décrt notre mplémentaton et expérmentaton de l algorthme BIRCH. Le chaptre 5 est une concluson avec quelques perspectves. 6

8 Chaptre 2. Etat de l art 1. Classfcaton de données La classfcaton est une méthode qu a pour but de grouper les ndvdus d une populaton en des classes dsjontes telles que dans une même classe, les membres sont smlares et dans les classes dfférentes, les ndvdus sont dssmlares. Il faut dstnguer la classfcaton (la classfcaton non supervsée) avec le classement (la classfcaton supervsée) [1][3] : - Classfcaton supervsée: Etant donné un ensemble des classes déjà dentfées et un ndvdu, l s agt de trouver la melleure classe à laquelle cet ndvdu appartent. - Classfcaton non supervsée : Etant donné un ensemble des ndvdus, l s agt de structurer des classes pas encore dentfées qu groupent ces ndvdus. Nous nous ntéressons à la classfcaton non supervsée dans la foulle de données dans laquelle les exgences prncpales sont la capacté de tratement d un gros jeu de données et la capacté de tratement des dfférents types de données. Le processus de classfcaton comprend les étapes suvantes [2] [3] : (1) représentaton des ndvdus, (2) défnton d une mesure de smlarté approprée aux données, (3) classfcaton, (4) abstracton des données, (5) valdaton du résultat. La représentaton des ndvdus (patterns) a pour but de détermner les nformatons concernant les données : le nombre de classes désré, le nombre d ndvdus dsponbles, le nombre, le type et l échelle des attrbuts de données. Ces nformatons sont utlsées dans l algorthme de classfcaton. La proxmté des ndvdus est souvent mesurée par une foncton de dstance entre chaque par d ndvdus. De nombreuses mesures de proxmté sont proposées, se basant sur la nature de données. La classfcaton est une phase de groupement des ndvdus dans les classes. Pluseurs algorthmes de classfcaton sont proposés. La dfférence entre eux est la manère dont ls groupent les ndvdus telles que la méthode hérarchque, la méthode de partton, le type de données qu ls tratent comme des données numérques, de catégore, le flux de données, la mesure de proxmté des ndvdus et des classes qu ls utlsent, telles que la dstance eucldenne, la dstance de Mnkowsk, le len smple ou le len complet ou le crtère selon lequel on construt des classes. L abstracton des données est un processus d extracton d une représentaton smple et compacte pour un jeu de données. Typquement, une abstracton des données est une descrpton compacte de chaque classe, souvent en terme de prototypes des classes ou d ndvdus représentatfs des classes comme le centre des classes. La valdaton du résultat vse à détermner s les classes fournes sont sgnfcatves en utlsant un crtère spécfque d optmalté. Cependant, un tel crtère est souvent subjectf, donc l y a peu de manères standard pour valder la classfcaton sauf dans certans domanes ben décrts à pror. 7

9 La classfcaton est utle dans une varété de domanes comme : reconnassance des formes, apprentssage, foulle de données, recherche de documents, segmentaton d mages 2. Types de données et les mesures Dans la classfcaton, le type d objets tratés est dvers (des personnes, des avs, des enttés ). Ces objets dovent être sogneusement présentés en termes de leurs caractérstques. Ces caractérstques sont les varables prncpales du problème et leur chox nfluence consdérablement sur les résultats d'un algorthme de classfcaton. Nous présentons une classfcaton basée sur deux caractérstques : la talle de domane et l échelle de mesure [1][24]. 1) Classfcaton basée sur la talle de domane : Cette classfcaton dstngue des objets sur une varable en se basant sur la talle de leur domane,.e. le nombre de valeurs dstnctes de la varable. - Un attrbut est contnu s son domane n est pas compté et nfn,.e. ses éléments ne peuvent pas être ms dans une bjecton avec l'ensemble de nombres enters postfs. Cela sgnfe qu entre deux valeurs quelconques de l'attrbut, l exste un nombre nfn de valeurs. - Un attrbut est dscret s son domane est un ensemble fn,.e. un ensemble dont les éléments peuvent être ms dans une bjecton avec un sous-ensemble fn des nombres enters postfs. - Un attrbut est bnare s l est un attrbut dont le domane content exactement 2 valeurs. 2) Classfcaton basée sur l échelle de mesure : Cette classfcaton dstngue des attrbuts selon leur échelle de mesure. Supposons que x = ( x 1,..., x k ), y = ( y 1,..., y k ) et z = ( z 1,..., z k ) sont des objets dans un jeu de données D en k dmensons, x, y, z sont des attrbuts, = 1,, k. - Une échelle nomnale dstngue les catégores. Cela sgnfe que nous pouvons seulement dre s x = y ou x y. Les valeurs ne peuvent pas être totalement ordonnées. Elles sont smplement une généralsaton des attrbuts bnares, avec un domane à plus de deux valeurs dscrètes. - Une échelle ordnale mplque des attrbuts d échelle nomnale utlsant un dspostf addtonnel pour que leurs valeurs soent totalement mses en ordre, mas les dfférences entre les valeurs ne peuvent pas être quantfées. Par conséquent, au leu de dre x = y ou x y on peut dre x < y ou x > y. - Une échelle d'ntervalle mesure des valeurs dans l échelle lnéare. Avec l échelle d'ntervalle nous pouvons dre non seulement s une valeur se trouve avant ou après une autre, mas auss à quelle dstance avant ou après. Pusque des valeurs sont mses sur une échelle lnéare, s x > y alors nous pouvons également ndquer que x est dfférent de x y untés de y pour l attrbut. - Une échelle de rapport est une échelle d'ntervalle avec un pont nul sgnfcatf. 8

10 Des attrbuts d échelle nomnale et ordnale s appellent des attrbuts qualtatfs (ou catégorques), alors que l échelle d'ntervalle et de rapport s appelle des attrbuts quanttatfs. Il est évdent que des attrbuts quanttatfs sont mesurés en utlsant les untés spécfques, telles que des klogrammes et des centmètres. Les untés de mesure affectent les résultats d'analyse des classes, pusque, par exemple, les untés changeantes de mesure des klogrammes à lvres pour le pods, peuvent mener à un résultat dfférent. Le remède à ce problème s'appelle la standardsaton. Etant donné un attrbut, phases dans la standardsaton : 1 k et n objets x 1, x 2,, x n. Il s agt de deux - Trouver la dévaton absolue moyenne s de, pour tous les objets : 1 ( x m + x m + + x ) n m 1 2 s =..., tels que x 1, x 2,, x n sont n n valeurs de l attrbut dans n objets, et m est la moyenne de l attrbut. j j x m - Détermner la mesure standardsée : z =, 1 n s Une fos que les caractérstques des données ont été détermnées, nous sommes confrontés au problème de trouver des moyens approprés de décder à quelle dstance un objet se trouve de l autre. Les calculs de proxmté sont des mesures de la ressemblance ou de l assocaton entre les pares d'objets de données. Un calcul de proxmté peut mesurer la smlarté ou la dssmlarté : plus deux objets se ressemblent, plus leur smlarté est grande et plus leur dssmlarté est pette. La dssmlarté peut être mesurée de dfférentes manères, l une est la dstance. Quant à elle, la dstance peut également être mesurée de pluseurs façons. Chaque mesure de dstance est dépendante des caractérstques des données qu on trate. Les métrques sont les mesures de dstance les plus mportantes. Une métrque dot satsfare 4 condtons : non négatve, défntve (la dstance entre un objet et somême dot être à zéro), symétrque et l néquaton trangulare. En conséquence, une métrque est toujours une mesure mas l nverse n est pas toujours vra. Nous présentons une descrpton brève de mesures pour chaque type d attrbut de données : - Attrbuts d échelle d ntervalle: Après la standardsaton, la dssmlarté entre deux objets x et y peut être calculé par les métrques suvantes : n q + Dstance de Mnkowsk : d( x, y) = x y = 1 n 2 + Dstance eucldenne : ( ) d( x, y) = x y (Mnkowsk, q = 2). = 1 + Dstance de Manhattan : d( x, y) = x y (Mnkowsk, q = 1). n = 1 = max n =1 + Dstance maxmum: d( x, y) x y. (Mnkowsk, p ). 1 q 9

11 En cas où les attrbuts sont assgnés à des pods, l faut transformer les formules de dstance en formules pondérées, e.g.: w est le pods pour l attrbut, =1,, k. + Dstance de Mahanalobs : k 2 d( x, y) = w ( x y ), tel que 1 = 1 d( x, y) = ( x y) ( x y), tel que est une matrce de covarance d échantllon ou une matrce de covarance connue du processus de génératon d ndvdus. - Attrbuts bnares : Supposons que les attrbuts de 2 objets x et y n aent que les valeurs 1 et 0. α +δ + Smple Matchng Coeffcent : d ( x, y) = (x et y sont symétrques) τ α + Jaccard Coeffcent : d ( x, y) = (x et y sont asymétrques) α + β + γ Tels que α est le nombre de valeurs d attrbut qu sont égales à 1 dans tous les deux objets, β est le nombre de valeurs d attrbut qu sont égales à 1 dans x mas 0 dans y, γ est le nombre de valeurs d attrbut qu sont égales à 0 dans x mas 1 dans y, δ est le nombre de valeurs d attrbut qu sont égales à 0 dans tous les deux objets, τ = α + β + γ + δ p m - Attrbuts d échelle nomnale : d( x, y) =, tels que m est le nombre p d attrbuts dont la valeur est parelle dans tous les deux objets, p est le nombre total d attrbuts. - Attrbuts d échelle ordnale : Ce type d attrbuts peut être traté comme celu d ntervalle mas l a beson d être convert en une forme convenable. T Supposons que est un attrbut d échelle ordnale dont le domane content M valeurs. Ces valeurs sont mses en ordre [1 M ], donc on peut remplacer chaque valeur par son rang correspondant r { 1,..., M }. Chaque attrbut ordnal pourrat avor une talle dfférente de domane, donc l est souvent nécessare de convertr chaque valeur en une valeur se trouvant dans l ntervalle [0.0, 1.1] en utlsant la formule j j r 1 suvante : z = M 1 Après la transformaton, on peut calculer la dssmlarté entre les objets par les mesures des attrbuts d ntervalle en applquant ces mesures sur les z j. - Attrbuts d échelle de rapport : Il y a pluseurs méthodes pour calculer la dssmlarté entre ces attrbuts. Une soluton est d applquer une formule logarthmque sur chaque attrbut. Le résultat peut être traté comme un attrbut d ntervalle. L utlsaton d une transformaton dépend de la défnton des attrbuts et de l applcaton. 10

12 - Attrbuts mélangés : k attrbuts mélangés, f δ xy d( x, y) k f f δ xy d xy f = 1 = k f δ xy f = 1, tels que x et y sont des objets de sgnfe le degré de dssmlarté entre x et y à l attrbut f et f d xy est la contrbuton de l attrbut f à la dssmlarté entre x et y. 3. Méthodes de classfcaton De nombreux algorthmes ont été nventés dans le domane. Ils se dffèrent grâce aux facteurs : le type d attrbuts de données qu ls tratent (numérques, de catégore, taxonomques ) donc la structure de données utlsée est dfférente, la capacté de trater un gros jeu de données, la capacté de trater des données en haute dmenson, la capacté de trater des observatons aberrantes, la complexté de l algorthme (temps de calcul), la dépendance de l ordre des données qu arrvent, la dépendance des paramètres prédéfns par utlsateurs ou la connassance a pror sur les données Selon ces crtères et leurs combnasons, l y a pluseurs types d algorthmes de classfcaton. Tradtonnellement et souvent, les méthodes de classfcaton sont dvsées en 2 catégores prncpales : Méthodes hérarchques et méthodes de parttonnement selon la manère dont on construt les classes. Tands que les premères établssent graduellement les classes, les dernères apprennent drectement les classes. C'est-à-dre qu elles les découvrent en fasant bouger des ponts entre les classes. Ensute, les algorthmes se dffèrent grâce aux autres crtères comme le nombre de passes d accès aux données, le nombre de dmensons, le type de données tratées, la forme des classes Ces algorthmes sont sot hérarchques, sot de type parttonnement, sot une combnason de ces deux types, et ls utlsent dfférents mécansmes d organsaton des données, de recherche, de constructon des classes Fare une classfcaton pour tous les crtères n est pas facle, donc c nous ne fasons qu une dstncton entre les 2 types fondamentaux et nous décrrons certanes famlles d algorthmes qu jouent un rôle mportant dans la communauté de classfcaton. Ce sont [1] [2] [3] : Méthodes hérarchques, méthodes de parttonnement, méthodes basant sur la grlle, méthodes basant sur la densté, algorthmes pour les données qualtatves (catégore), algorthmes pour les données en haute dmenson et algorthmes pour le flux de données. 1) Méthodes hérarchques (herarchcal clusterng) Ces méthodes construsent les classes graduellement sous une forme hérarchque, autrement dt, un arbre des classes qu est appelé un dendrogramme. Elles sont dvsées en 2 sous-types : Agglomératon (ascendant) et dvson (descendant). - Agglomératon : On commence en consdérant chaque pont comme une classe et on essaye de fusonner deux ou pluseurs classes approprées (selon une 11

13 smlarté) pour former une nouvelle classe. Le processus est téré jusqu à ce que tous les ponts se trouvent dans une même classe ou ben jusqu à ce qu on l arrête. - Dvson : En consdérant tous les ponts comme une seule classe au début, on dvse successvement les classes en classes plus raffnées. Le processus marche jusqu à ce que chaque classe contenne un seul pont ou ben s l on attent un nombre de classes désré. Les méthodes hérarchques ont les avantages: La flexblté pour le nveau de granularté (on peut attendre une classe la plus fne ou la plus épasse comme souhat), la capacté de trater n mporte quelle mesure de smlarté ou dstance et l applcaton sur n mporte quel type d attrbuts. A côté, elles ont les nconvénents : la crtère de termnason est souvent vague et le beson de mult accès aux données. La plupart des méthodes hérarchques utlsent le len smple (sngle-lnk), len complet (complete-lnk) ou le len moyen pour mesurer la smlarté entre les classes [1] [3]: - Dans le len smple, la dstance entre 2 classes est la valeur mnmum des dstances entre toutes les pares d ndvdus, l un de la premère classe, l autre de la deuxème. - Dans le len complet, la dstance entre 2 classes est la valeur maxmum des dstances entre toutes les pares d ndvdus - Dans le len moyen, la dstance entre 2 classes est la valeur moyenne des dstances entre toutes les pares d ndvdus, l un de la premère classe, l autre de la deuxème. Fgure 1: Classfcaton de len smple (gauche) et complet (drote) d objets contenant 2 classes 1 et 2 avec le brut *. L'algorthme de len complet produt des classes étrotement lées ou compactes. En revanche, l'algorthme de len smple souffre d'un effet d'enchaînement. Il a une tendance de produre des classes qu sont prolongées (Vor la fgure c-dessus). Cependant l'algorthme de len smple est plus souple que l'algorthme de len complet. D un pont de vue pragmatque, on a observé que l'algorthme de len complet produt des hérarches plus utles dans beaucoup d'applcatons que l'algorthme de len smple [3]. Il y a de nombreux algorthmes qu sont proposés. Les algorthmes hérarchques les plus connus sont CURE, COBWEB, CACTUS, BIRCH. Nous décrrons COBWEB et CACTUS dans la secton algorthmes pour les données qualtatves, et BIRCH dans une secton propre. 12

14 . CURE CURE (Clusterng Usng REpresentatves) a été proposé par Guha, Rastag et Sm [20]. Il est une approche hybrde : utlser tous les ponts de données et ans un un centrod pour former les classes) : Il représente une classe par un nombre constant de ponts de représentaton appelés les représentants. Pour obtenr ces ponts, tout d abord, on chost les ponts qu s éparpllent ben autour d une classe. Ensute on les fat rétrécr vers le centrod de la classe par une fracton quelconque. Ces ponts éparpllés après le rétrécssement seront utlsés comme les représentants de la classe. Les représentants vsent à capturer la forme et l ampleur de la classe. Le rétrécssement des ponts éparpllés vers le mean de la classe par un facteur a pour but de débarrasser les surfaces anormales et dmnuer les effets des ponts aberrants. L dée est basée sur le fat que les aberrants se trouvent normalement lon du centre de la classe. En conséquence, le rétrécssement pourrat fat déplacer les aberrants plus vers le centre tands que les représentants sont mons déplacés. Le grand déplacement des aberrants peut rédure de mauvases fusons des classes. La dstance entre deux classes utlsée dans le processus d agglomératon n est n le len smple n len moyen. Seuls les ponts de représentants sont utlsés pour la calculer. La dstance est défne comme le mnmum de dstances entre deux représentants de deux classes. CURE est conçu pour trater de gros jeux de données. Pour ce fare, on dvse l algorthme en 2 passes. Dans la premère, l algorthme utlse des échantllonnages aléatores qu sont retrés du jeu de données et classfé pour former des parttons partelles. Après, ces parttons partelles sont classfées pendant la deuxème passe pour former les classes désrées. Pour chaque classe, on stocke son mean, un ensemble de représentants pour le calcul de la dstance entre elle et une autre classe et la classe la plus proche d elle. L algorthme commence en consdérant chaque pont d entrée comme une classe et successvement fusonne chaque pare de classes les plus proches. Intalement, les représentants d une classe sont les ponts dans la classe. Chaque classe est fusonnée avec sa classe la plus proche en fasant smplement une unon des ponts de deux classes. Dans la nouvelle classe, les représentants sont calculés en tout d abord chosssant par tératons les ponts ben éparpllés et après en les rétrécssant vers le centre de la classe. Dans la premère tératon, le pont le plus lon du centre dans la classe est chos comme le premer pont éparpllé. Dans chaque tératon suvante, le pont le plus lon des ponts éparpllés précédents est chos. Après avor chos les ponts ben éparpllés, les représentants sont obtenus par rétrécssement de ces ponts par une fracton vers le centre de la classe. L algorthme utlse un arbre kd (kd-tree) où sont stockés les ponts représentants des classes qu sont prs pour calculer la classe la plus proche d une classe. La complexté de temps du pre cas est O (n 2 log n). S la dmenson des données est pette, la complexté de temps peut être rédute à O (n 2 ) [20]. La complexté d espace est O (n). 13

15 2) Méthodes de parttonnement (parttonal clusterng): Ces méthodes produsent une seule partton des données au leu d une structure des classes. Elles créent les classes en optmsant une foncton objectve qu est défne d une façon locale (sur un sous-ensemble des données) ou globale (sur toutes les données) [3]. Le coût de constructon des classes est cher, donc des heurstques sont utlsées pour l optmsaton d tératons sous la forme de mécansme de réallocaton qu réaffectent les ponts entre les classes. Ces méthodes raffnent graduellement les classes et donc peuvent donner les classes de melleure qualté. En fat, les algorthmes ont beson d exécuter pluseurs fos avec dfférents états ntaux afn d obtenr un melleur résultat. Une approche est d utlser un pont de vue conceptuel pour dentfer les classes en supposant que les données vennent d un mélange de certanes populatons Une autre approche travalle avec une foncton objectve défne sur chaque classe. Dépendant de la représentaton d une classe, on classfe ces types d algorthmes en deux : k-medods et k-means.. K-medods Dans ces algorthmes, une classe est représentée par un de ses ponts, qu s appelle medod. Une telle représentaton nous donne deux avantages : elle s adapte à n mporte quel type d attrbuts, et le médod est chos comme une fracton des ponts prédomnants dans une classe, donc l n est pas sensble aux aberrants. S les médods sont choss, les classes sont défnes comme les sous-ensembles de ponts proches du médod correspondant. Et la foncton objectve sera défne comme la dstance (ou d autres mesures de dssmlarté) moyenne entre un pont et le medod. [11] Les algorthmes les plus connus sont PAM, CLARA et CLARANS [1] [2] [10] - PAM (Parttonng around Medods) a été développé par Kaufman and Rousseeuw [12]. PAM recherche les medods des classes. Intalement, PAM chost k ponts représentatfs à partr des données de N ponts (k est le nombre de classes, N est le nombre total de ponts). Ensute, N-k ponts restants sont classfés en se basant sur leur dstance aux medods : chaque pont restant appartent à une classe s la dstance entre ce pont et le medod de cette classe est la plus pette. Pus, PAM échange 2 ponts : l un de l ensemble de medods, et l autre de l ensemble de nonmedods. Le crtère de la sélecton est que la somme de dstance de tous les ponts à leur medod correspondant dot dmnuer et avor la décrossance la plus forte. PAM calcule le changement de la dstance après un échange pour toutes les pares (medod et non-medod). Il chosra le par dont la valeur de changement est la plus pette (cette valeur est toujours négatve). S l n y a plus de pares dont le changement est négatf, cela sgnfe que la classe courante est bonne, donc que PAM s arrête et renvoe k medods. Les classes seront formées en calculant les dstances entre les ponts et ces medods. La complexté d une seule tératon (un échange) de PAM est O (k (N-k) 2 ). Donc le coût total de calcul est vrament cher car l a de plus beson de nombreuses tératons avant de termner. 14

16 - CLARA (Clusterng LARge Applcatons) est auss développé par Kaufman et Rousseeuw [12]. L améloraton de CLARAN par rapport de PAM est qu l ne se base pas sur l ensemble enter de ponts, l travalle sur les échantllons des ponts. On prend une pette parte de données pour les représenter et k medods sont détermnés en applquant PAM sur cet échantllon. S cet échantllon est chos d une manère aléatore, alors l représente ben les données entères, donc les medods sont smlares à ceux qu sont créés à partr des données tout entères. L algorthme est exécuté sur pluseurs échantllons pour obtenr le melleur résultat. En conséquence, CLARA peut trater un plus gros jeu de données que PAM. La complexté d une tératon est O (ks 2 +k (n-k)) avec S est la talle d un échantllon. Les auteurs ont ndqué, sute à leurs expérmentatons, que la talle d un échantllon de 40+2k donne un bon résultat. Un nconvénent de cet algorthme est qu un pont qu serat le melleur medod n apparaît dans aucun échantllon, alors CLARA ne trouvera jamas le melleur résultat. - CLARANS (Clusterng Large Applcatons based on RANdomzed Search) est une combnason de PAM et CLARA. Il a été développé par Raymon Ng et Jawe Han [12]. Dans cet algorthme, les auteurs ont utlsé une abstracton de graphe pour représenter le problème de recherche des k melleurs medods. On construt un graphe dont chaque nœud est un ensemble de k ponts (ntutvement, ce sont k medods). Deux nœuds sont dts vosnages s ls ne dffèrent que par un seul pont. En conséquence, le problème de détermner un ensemble de k melleurs medods devent le problème de recherche dans ce graphe du melleur nœud. Le crtère pour estmer qu un nœud est melleur qu un autre est comme dans le PAM : on mnmse le changement dans la dstance s un medod est remplacé par un pont non medod en parcourant d un nœud à un nœud vosn. Ce changement est appelé le coût dfférentel de remplacement d un medod par un pont non medod. PAM le fat en parcourant tous les nœuds vosns d un nœud donc c est trop cher. CLARAN le fat en parcourant un sous graphe. En conséquence, cela ne donne pas toujours un bon résultat car l travalle sur une régon localsée. CLARANS est une combnason des deux algorthmes. C est à dre à partr d un nœud dans le graphe, l n examne pas tous les vosnages. Il chost un nombre (donné comme un paramètre de l algorthme) de vosns aléatores (ce n est pas tous les vosns) pour rechercher un vosn dont le coût de remplacement de ce nœud par son vosn est mnmsé. S ce coût est négatf,.e. le remplacement ne peut optmser plus le résultat, le nœud trouvé est le melleur résultat, et le processus peut s arrêter. Théorquement, la complexté de CLARA est O (k 3 +nk) pour chaque tératon, tands que celle de CLARANS est lnéare par rapport au nombre de ponts, donc le deuxème est théorquement melleur que le premer. L expérmentaton des auteurs prouve également que CLARANS est melleur que CLARA dans tous les cas [12]. K-means Cet algorthme est le plus connu dans la communauté de classfcaton des données. Dans cet algorthme, chaque classe est représentée par la moyenne (mean) ou la moyenne pondérée qu est nommée le centrod. K-means est un algorthme tératf. Il commence avec un ensemble de k ponts de référence (centrod) chos par l utlsateur. Au début, les ponts de données sont parttonnés dans k classes : Un pont appartent à une classe s le pont de référence de cette classe est le plus proche 15

17 de lu. La mse à jour des ponts de référence et l affectaton des ponts de données aux classes sont réalsées pendant les tératons successves. Il y a pluseurs versons de k-means. On peut les dstnguer selon deux crtères : la dfférence dans la mse à jour des classes et le crtère pour fare cette mse à jour. Pour le premer crtère, les algorthmes de ce type dffèrent dans le détal de la génératon et de l ajustement des classes. Il y a 3 algorthmes de base de ce type : Standard K-means, l algorthme de Lloyd, et contnuous K-means qu a été proposé par McQueen en 1967 [15]. - L algorthme de Lloyd : L ntalsaton de l algorthme est smlare à la descrpton c-dessus. Les ajustements sont réalsés en calculant le centrod pour chaque classe et en utlsant ces centrods comme les ponts de référence dans l tératon suvante pour tous les ponts de données. La mse à jour des centrods n est fate qu après une tératon. - Standard k-means: Cet algorthme est melleur que celu de Lloyd en terme de l utlsaton plus effcace de l nformaton à chaque pas d tératon. C est à dre la mse à jour des centrods est fate pendant et après une tératon. S un pont appartent à une classe et que pour lu, le centrod de cette classe est le pont de référence le plus proche, alors l n y aura aucun ajustement. Mas s après avor affecté un pont x à une classe A, on trouve qu l y a une autre classe B dont le centrod est le pont de référence plus proche de x que celu de A, alors l faut réaffecter x à la classe B et recalculer les centrods de toutes les deux classes, et les ponts de référence de ces deux classes se déplacent aux nouveaux centrods. - Contnuous k-means: Cet algorthme dffère au standard k-means par le chox des ponts de référence ntaux et la sélecton des ponts pour la mse à jour des classes. Dans la premère dfférence, pas comme dans Lloyd ou standard k-means où les ponts de référence ntaux sont arbtrarement choss, dans cet algorthme, ces ponts sont choss comme un échantllon aléatore de la populaton entère des ponts. S l échantllon est assez gros, alors la dstrbuton des ponts de référence ntaux pourrat refléter celle des ponts de la populaton. La deuxème dfférence, contrarement au standard k-means où tous les ponts sont séquentellement examnés, cet algorthme n examne qu un échantllon aléatore des ponts. S le jeu de données est gros et l échantllon est représentatf du jeu de données, alors l algorthme peut converger plus vte qu un algorthme qu dot examner séquentellement tous les ponts. Pour le deuxème, l y a deux versons de l optmsaton tératve de k- means [1]: - L algorthme de Forgy, est smlare à l algorthme EM et ses tératons dsposent de deux pas : réaffecter tous les ponts à leur centrod le plus proche et recalculer les centrods des nouveaux groupes créés. Les tératons contnuent jusqu à ce qu on attegne un crtère de termnason (par exemple, l n y a plus de réaffecton). Les avantages sont la capacté de travaller sur toutes les normes L p, la faclté de parallélser, l nsensblté à l ordre des données. 16

18 - L algorthme d optmsaton tératve réaffecte les ponts en se basant sur une analyse plus détallée des effets sur la foncton objectve quand un pont est déplacé de sa classe à une classe potentelle. S l effet est postf, ce pont sera réaffecté et deux centrods seront recalculés. L expérmentaton prouve que la verson classque est souvent melleure que celle de Forgy [4]. K-means est populare et beaucoup utlsé grâce à sa smplcté. En fat, l a pas mal des nconvénents : Le résultat est vrament dépendant des centrods ntaux, l optmum local calculé est trop dfférent de la valeur globale, l n est pas facle de détermner un bon nombre de classes utlsé pour l algorthme, le processus est sensble aux aberrants, l algorthme n est pas extensble et l algorthme ne travalle que sur les données numérques. Pour reméder à ces nconvénents, certanes améloratons et extensons sont proposées comme ISODATA qu permet de détermner automatquement un bon nombre de classes utlsé pour donner un bon résultat, k-modes, k-prototypes pour manpuler sur les données catégore [5] ou l accélératon de k-means par l néquaton trangulare, sngle pass k-means pour travaller sur un gros jeu de données [6] - ISODATA : Comme on a vu, le nombre de classes K est toujours détermné à pror pour k-means. ISODATA a été proposé pour reméder à cet nconvénent. Il ntercale des phases de fuson et d éclatement de groupes dans k-means [14] : fusonner 2 classes s la dstance entre elles est fable (nféreure à un seul) et éclater une classe en 2 classes s son nerte est trop grande (supéreure à un seul). Intalement, on donne un nombre k assez grand comme l entrée du nombre de classes de k-means. Après avor applqué k-means sur ces données, on fat la fuson et l éclatement pour trouver un bon nombre de classes. La dffculté est que l on a beson détermner deux seuls pour la phase supplémentare. - K-modes, k-prototypes sont développés par Z. Huang [5]. On sat que K- means ne travalle que sur les données numérques sur lesquelles on utlse la dstance eucldenne pour calculer la dssmlarté entre les ponts ou les classes. Pour que cet algorthme pusse marcher avec les données catégorques, Z. Huang a proposé deux extensons de k-means en défnssant une mesure de dssmlarté pour comparer les objets de données. En conséquence, on utlse les modes au leu des means et une méthode basée sur la fréquence pour mettre à jour les modes. Etant donnés 2 objets de type catégore, la dssmlarté entre eux est défne comme le nombre d attrbuts dfférents correspondants entre ces deux objets. n 0 s x = y d( x, y) = δ ( x, y ) Tel que δ ( x, y ) = = 1 1 s x y Le mode d une classe est l objet qu apparaît le plus dans la classe. L algorthme k-modes a pour but de trater seulement les données catégore, k- prototypes vse à manpuler les données mélangées (numérque et catégore) en addtonnant la dstance eucldenne pour les attrbuts numérques avec la dstance décrte c-dessus pour les attrbuts catégorques avec un pods (la somme pondérée) : 17

19 d = d n + λ. d c, tels que d n est la dstance numérque et d c est la dstance catégorque, λ est un pods qu équlbre la domnaton des attrbuts catégore sur les attrbuts numérques. Cette dstance est utlsée dans l algorthme k-means. - Sngle pass k-means (Scalable k-means): Cet algorthme a été développé par Bradley, Fayyad et Rena [6]. Il vse à augmenter l extensblté de k-means pour de gros jeux de données. L dée de cet algorthme est basée sur la noton que les solutons effectves de classfcaton peuvent être obtenues en sélectonnant et stockant des partes mportantes de données et résumant les autres. Il est capable d dentfer les régons de données qu sont compressbles, les régons qu dovent être gardées dans la mémore et les régons qu peuvent être supprmées. Pour représenter un groupe de données (une sous-classe) sous une forme compressée, l algorthme utlse un trplet de statstque (SUM, SQUAREDSUM, N) tels que SUM est la somme lnéare de tous les ponts dans le groupe, SQUAREDSUM est la somme des écarts carrés des ponts au centrod, et N est le nombre de ponts dans ce groupe. Il a beson de 3 types de jeu de données stockés dans la mémore : DS- jeu de données supprmées, CS- jeu de données compressées et RS- jeu de données gardées. Notons que DS et CS stocke les statstques de données. L algorthme comprend 2 étapes de compresson : la compresson prmare a pour but de détermner les données qu sont supprmées (donc stockées dans DS). La compresson secondare vse à compresser les données qu ne sont pas supprmées dans la premère phase (le résultat est stocké dans CS). Les données qu ne sont pas tratées dans ces 2 étapes de compresson sont stockées dans RS. Les ponts qu sont supprmés dans la premère étape sont ceux qu ne se déplacent quasment jamas à une autre classe. Cette tâche est effectuée en utlsant le seullage d un rayon de Mahalanobs autour du centre d une classe. Les ponts se trouvent dans ce rayon sont compressés. Chaque classe a un jeu de données supprmées représenté par le trplet cdessus pour représenter tous les ponts appartenant à cette classe. La premère étape trouve les régons denses (les sous-classes) qu ne sont pas compressées par la premère étape en applquant l algorthme k-means avec un nombre de classes k > k. Après avor trouvé k sous-classes, on applque un crtère de compacté (dense) sur ces k classes comme un fltre: une sous-classe dont la covarance est nféreure à un seul est passée ce fltre. Les sous-classes fltrées sont fusonnées avec celles stockées dans CS et les autres ponts par une classfcaton hérarchque d agglomératon. - Accélératon de k-means : En utlsant l négalté trangulare, Elkan a proposé une améloraton qu permet de dmnuer le coût de calcul des dstances dans k-means [13]. L dée est basée sur le fat que la plupart des calculs de dstance sont redondants. S un pont se trouve très lon d un centre, alors ce n est pas nécessare de calculer la dstance exacte entre lu et ce centre afn de savor s ce pont peut être affecté à ce centre. En plus, s un pont est vrament plus proche d un centre que tous les autres centres, on n a pas beson de calculer les dstances exactes pour décder s le pont appartent à ce centre. 3) Méthodes basées sur la densté C est des méthodes hérarchques dans lesquelles les classes sont consdérées comme des régons en haute densté qu sont séparées par des régons en fable 18

20 densté. La densté est représentée par le nombre d objets de données dans le vosnage. C est pourquo ces méthodes sont capables de chercher des classes de forme arbtrare. Elles ne travallent que dans un espace métrque, donc elles sont utlsées dans la classfcaton de données spatales. Pour rédure le coût de calcul lors de la classfcaton, les données sont ndexées, par exemple R*-tree (cf. secton Méthodes de recherche de vosnage), donc elles ne sont effcaces qu avec les données en basse dmenson. Il y a deux approches dans ce type de classfcaton, l une est basée sur la connectvté de densté, l autre est basée sur la foncton de densté. Les algorthmes les plus connus de ce type sont DBSCAN (connectvté de densté) et DENCLUE (foncton de densté).. DBSCAN DBSCAN (Densty Based Spatal Clusterng of Applcatons wth Nose) est un algorthme très populare dans ce type d algorthme de classfcaton [2] [18]. Pour chaque objet, l cherche le vosnage qu content un nombre mnmum d objets. Une classe est formée par tous les objets qu sont transtvement connectés par leurs vosnages. Un vosnage de rayon Eps contenant au mons MnPts objets d un objet est appelé le vosnage Eps-MnPts de cet objet. On utlse la noton connecté-densté pour former des classes : - Un objet est dt drectement accessble-densté Eps-MnPts d un autre objet s l se trouve dans le vosnage Eps-MnPts de cet objet. - Un objet est dt accessble-densté Eps-MnPts d un autre objet s l y a une chaîne d objets entre eux dont tous les 2 objets successfs sont drectement accessble densté Eps-MnPts. - Un objet est dt connecté-densté Eps-MnPts d un autre objet s l y a un objet duquel tous les deux objets sont accessbles-densté. Une classe avec Eps et MnPts prédéfns est défne comme un ensemble non vde d objets qu satsfat 2 condtons, l une est la condton de connectvté,.e. tous les objets de la classe dovent être connectés-densté, l autre est la condton de maxmum,.e. tous les objets qu se trouvent dans le vosnage Eps-MnPts d un objet de la classe dovent appartenr à cette classe. classe. Le brut est défn comme un ensemble d objets qu n appartennent à aucune Il y a deux objets dfférents qu sont prs en compte dans la classfcaton : l objet de noyau et non noyau. Un objet de noyau est celu qu a un vosnage Eps- MnPts. Un objet non noyau est celu qu n a pas un tel vosnage. Un objet non noyau peut être un objet de frontère ou un brut. L algorthme commence en prenant en compte d un objet arbtrare et cherche tous les objets accessbles densté. S l est objet de noyau, alors cette phase forme une classe. S l est un objet de frontère et qu l n y a aucun objet qu est accessble densté depus lu, alors c est un brut, l algorthme passe à un autre objet. 19

21 Normalement, la complexté de la recherche du vosnage est O(N 2 ). Pour accélérer cette recherche, on peut utlser certanes méthodes d accès spatal comme l arbre R* ou l arbre M pour obtenr une complexté de O (N logn). On les verra dans la secton de Méthodes de recherche d un vosnage. DBSCAN peut chercher les classes de forme arbtrare. Il est nsensble à l ordre d entrée des objets. Il est ncrémental car un nouvel objet qu arrve peut affecter certans vosnages. A côté, l algorthme a des nconvénents : l est dffcle à précser le rayon Eps et le seul de la cardnalté d un vosnage et la performance peut être dmnuée pour les données de haute dmenson.. DENCLUE DENCLUE (DENsty CLUstErng) est une approche de classfcaton basée sur la densté mas travalle d une manère plus formelle que DBSCAN en modélsant la densté globale d'un ensemble de ponts comme somme des fonctons d nfluence de densté assocées à chaque pont. La foncton de densté globale aura des maxma locaux de densté, ces maxma peuvent être choss pour défnr des classes d'une manère smple. Typquement la foncton d'nfluence est symétrque (.e. elle est la même dans toutes les drectons) et sa valeur (contrbuton) dmnue s la dstance du pont au centre augmente. Une foncton d nfluence très connue est la foncton gaussenne 2 ds tan ce( x, y) 2 2 σ K( x) = e Fgure 2 : La foncton d nfluence gaussenne, un jeu de ponts et la foncton de densté globale DENCLUE a deux étapes, une étape de prétratement et une étape de classfcaton. Dans l'étape de prétratement, une grlle pour les données est créée en dvsant l hyper rectangle englobant mnmal en hyper rectangles d dmensonnels avec la longueur d arête égale à 2 σ. Les cellules de grlle qu contennent des ponts sont alors détermnées (seulement les cellules occupées de grlle dovent être construtes). Les cellules de grlle sont numérotées selon une orgne partculère (sur une arête de l hyper rectangle englobant) et les clefs sont stockées dans un arbre de recherche pour fournr un accès effcace au tratement ultéreur. Pour chaque cellule de grlle, le nombre de ponts, la somme des ponts dans la cellule, et des connexons aux cellules vosnes sont également stockés. 20

22 Pour l'étape de classfcaton, DENCLUE ne consdère que les cellules fortement denses et les cellules qu leur sont relées. Pour chaque pont x, la foncton locale de densté est calculée en consdérant seulement les ponts qu se trouvent aux cellules de grlle qu sont proches de x. L algorthme jette des classes assocées à un attracteur de densté dont la densté est mons queξ. Enfn, DENCLUE fusonne les attracteurs de densté qu peuvent être jonts par un chemn des ponts, qu ont une densté plus grande queξ. DENCLUE peut être paramétré de sorte qu'l se comporte comme DBSCAN, mas l est beaucoup plus effcace que DBSCAN. DENCLUE peut également se comporter comme K-means par le chox d une valeurσ convenable et en omettant l'étape qu fusonne les classes de centre défn dans les classes de forme arbtrare. En outre, en répétant la classfcaton pour dfférentes valeurs deσ, on peut obtenr une classfcaton hérarchque. La complexté de l algorthme est O (n log n). 4) Méthodes basées sur la grlle L dée de ces méthodes est qu on dvse l espace de données en cellules. Donc ce type d algorthme est conçu pour des données spatales. Une cellule peut être un cube, une régon, un hyper rectangle. En fat, elle est un produt cartésen de sous ntervalles d attrbuts de données. Avec une telle représentaton des données, au leu de fare la classfcaton dans l espace de données, on la fat dans l espace spatal en utlsant des nformatons statstques des ponts dans la cellule. Les méthodes de ce type sont hérarchques ou de parttonnement. Les algorthmes les plus connus sont STING, CLIQUE, WaveCluster.. STING STING (STatstcal Informaton Grd) découpe l espace spatal de données en un nombre fn de cellules sous une structure hérarchque : Chaque cellule est récursvement découpée en 4 sous-cellules. On commence en consdérant l espace enter comme une cellule ancêtre de la hérarche et on s arrête s l on attent un crtère de termnason : le nombre des ponts dans une cellule est nféreur à un seul. Chaque cellule possède certanes nformatons nécessares pour l affectaton d un pont : c est la moyenne de toutes les valeurs dans la cellule, la varance de toutes les valeurs d attrbut dans la cellule, la valeur d attrbut mnmum, maxmum dans la cellule et le type de dstrbuton de la cellule (normale, unforme, exponentelle ou smplement une énumératon). Quand on remonte dans la hérarche, ces nformatons statstques sont calculées à l ade de celles du nveau nféreur. On trouve que STING est vrament extensble car l a beson d une seule passe sur les données et un nouvel objet qu arrve peut être faclement nséré dans la grlle en vstant les cellules approprées à chaque nveau de la hérarche. La classfcaton est effectuée dans ces cellules de feulle au leu de toutes les données, donc le coût de calcul est vrament rédut (O (K) au leu de O (N) tels que K est le nombre de cellules et N est le nombre de ponts de données). 21

23 . WaveCluster C est un algorthme qu est conçu pour travaller sur des données spatales. Dans l algorthme, on consdère les données spatales comme les sgnaux multdmensonnels et on applque une technque de tratement de sgnal qu s appelle la transformaton wavelet pour transformer l espace de données vers un domane de fréquence [16]. L dée est basée sur le fat que les partes de haute fréquence du sgnal correspondent aux régons de l espace spatal de données où l y a un changement brusque dans la dstrbuton des objets. Ce sont les frontères des classes. Au contrare, les partes de basse fréquence du sgnal correspondent aux régons de l espace de données où les objets sont concentrés. Autrement dt, ce sont les classes. Tout d abord, l algorthme quantfe l espace de données (dvse l espace en cellules) et affecte les objets aux cellules. Ensute, l applque la transformaton wavelet pour l espace quantfé afn d obtenr un espace transformé. Pus l cherche les composantes connectées (les classes) dans les sous bandes (l espace transformé est un espace de fréquence). Deux composantes sont dtes connectées s le nombre d objets de chacune dans l espace transformé est supéreur à un seul et s elles sont epslons vosns (la dstance entre eux est nféreure à epslon). Enfn, l étquette les cellules et réaffecte les objets à leurs classes correspondantes. WaveCluster est capable de trater effcacement les gros jeux de données spatales donc en basse dmenson. Il peut découvrr des classes de forme arbtrare et ben trater le brut. En plus, grâce au tratement du sgnal applqué, WaveCluster nous donne la mult résoluton,.e. l peut donner des classes de dfférent nveau du détal. La complexté de la phase de quantfcaton est O (N) et celle de la phase de transformaton wavelet est au plus de O (4/3K) tel que K est le nombre de cellules [16].. CLIQUE Au leu de construre les classes dans l espace orgnal comme les autres algorthmes, CLIQUE (CLusterng In QUEst) le fat dans des sous-espaces en dmenson la plus haute s possble [2] [17]. L dée est basée sur le fat que s une collecton de ponts S est une classe dans un espace de k dmensons, alors S est ans une parte d une classe dans n mporte quelle projecton en k-1 dmensons de cet espace. L algorthme travalle en nveaux. Tout d abord, l détermne toutes les untés denses en 1 dmenson en balayant une fos les données. Après avor détermné les untés denses en (k-1) dmensons, l détermne les untés denses canddates en k dmensons en utlsant une procédure qu génère les untés canddates. La procédure de génératon utlse l ensemble de toutes les untés denses en k- 1 dmensons D k-1. Elle jont D k-1 avec elle-même sous une condton où les untés qu sont jontes partagent les premères k-2 dmensons pour obtenr un ensemble de canddates C k. On supprmera les untés denses de C k qu ont une projecton en k dmensons qu ne sont pas ncluse dans C k-1. L algorthme se termne lorsqu l n y a plus de canddatures générées. CLIQUE est une soluton pour la classfcaton de données en haute dmenson. Il est nsensble à l ordre des données. Cependant, sa complexté est 22