THESE. Applications des algorithmes d'auto-organisation à la classification et à la prévision

Transcription

1 UNIVERSITE PARIS I PANTHEON SORBONNE U.F.R. DE MATHEMATIQUES et INFORMATIQUE Année 999 THESE Pour obtenir le rade de DOCTEUR DE L'UNIVERSITE PARIS I Discipline : Mathéatiques Présentée et soutenue publiqueent Par Patric ROUSSET Titre : Applications des alorithes d'auto-oranisation à la classification et à la prévision Directeur de Thèse : Marie COTTRELL Michel Verleysen Jeanny Herault Marie Cottrell Jean-Pierre Fénelon François Gardes Stephane Canu JURY

2 Reercieents Si pour beaucoup la thèse est le oyen de trouver un eploi dans la recherche ou l'enseineent, c'est on travail à 'université et une expérience préalable d'enseineent qui 'ont donné l'envie de faire celle-ci. Elle 'a peris de continuer à découvrir et proresser, de concrétiser des idées nées de rencontres et de lectures, ainsi que de ieux e connaître. Au oent de conclure ce travail, es preières pensées vont à es parents et es proches. Etre le téoin priviléié de la destinée de es élèves a élari l'anle de vue sur on propre parcours, c'est pourquoi je suis heureux d'avoir ici l'opportunité de reercier tous ceux qui 'ont aidé, encouraé ou soutenu tout au lon de es études. En ce qui concerne la thèse, elle-êe, je dois son aboutisseent aux professeurs Marie Cottrell et Bernard Girard. Décrire leur contribution en réduirait l'iportance. Je les reercie donc succincteent d'avoir ajouté à leur rande copétence la entillesse et la disponibilité. Ces qualités se trouvent d'ailleurs facileent au SAMOS (ainsi que la réponse à la plupart de es questions). Merci aussi à Yvonne Girard et au SCIPRE de 'avoir fourni atériel et assistance, à Chaiya pour la qualité des ipressions couleurs et à a cousine Doinique pour sa relecture. J'ai eu aussi plaisir à travailler en collaboration avec Patrice Gaubert, Christiane Guinot, François Gardes, Yvonne Girard, Bertrand Maillet, Christian Derquenne et Moran Maneas, à avoir une rencontre fructueuse avec Michael Jordan. Je voudrais reercier aussi Michel Verleysen et Jeanny Herault pour avoir accepté la chare de rapporter cette thèse, pour leurs rearques et leurs encouraeents ainsi que les ebres du jury Stéphane Canu, Jean-Pierre Fénelon et François Gardes. Un clin d'œil à Krystyna, Thierry, Arnaud, Olivier, Salah,... et aux habitants de Sari d'orcino. Mes encouraeents enfin pour Elena, Maxence, Alexandre, Mia, Clara, Laura, Huo et les autres pour qui le chein est encore lon.

3 TABLE DES MATIERES Introduction ère PARTIE : ANALYSE DE DONNEES A L'AIDE DES CARTES DE KOHONEN. 5 Analyse de données Problèe et exeples Le problèe Présentation de trois exeples de bases de données La classification de Kohonen Introduction de l alorithe de Kohonen Quelques alorithes de classification Alorithe de Kohonen La relation entre la éthode basée sur la classification de Kohonen et les autres éthodes Analyse de données en utilisant les cartes de Kohonen Analyse de données appliquées en pratique Analyse linéaire des données Analyse de données à l aide des réseaux de neurones Analyse de données à l aide des cartes de Kohonen niveaux de classification Représentation des distances inter classes Contenu des classes et hooénéité Croiseent de la classification avec une variable qualitative Analyse restreinte à une réion de la carte Projection des observations de A dans le plan P(A) Représentation des classes voisines Coparaison avec les éthodes classiques L'exeple du fer à cheval Les représentations issues de l'acp Utilisation de la classification à l'aide de l'alorithe de Kohonen Coparaison entre la classification de Kohonen et l'analyse factorielle èe PARTIE : PREVISION A L'AIDE DES CARTES DE KOHONEN Probléatique Problèe Doaine d'application Exeple

4 4.4 Les odèles classiques Un odèle linéaire: L'Arax Un odèle neuronal: Le perceptron ulticouches Conclusion La MEP : une éthode de prévision dans le cas d'une série chronoloique qui cuule deux évolutions de teps ayant chacune sa cadence propre Définition et notations Méthode de prévision Application de la MEP à l'exeple de la prévision de la consoation électrique nationale polonaise Classification des profils Utilisation d'une classification hiérarchique Utilisation de la classification de Kohonen Variantes de l'alorithe de Kohonen susceptible d'aéliorer la classification des courbes de chare Classification et prévision des profils Estiation des courbes de chares électriques et perforances Estiation des courbes de chares électriques par la éthode MPE. 6.. Un odèle de référence pour valider la éthode par coparaison Perforances de la MEP Analyse de l'erreur Analyse de l'erreur de prévision du profil Analyse de l'erreur de prévision de la courbe de chare Quelques réflexions sur la éthode Noralisation de l'estié du profil et renoralisation des poids à chaque itération de l'apprentissae Options techniques Choix de la classification Liites Conclusion et perspectives

5 INTRODUCTION Les travaux scientifiques nécessitent souvent une confrontation entre les nouvelles techniques et celles existantes. On aura éaleent cette exience dans la suite, c'est pourquoi il peut être intéressant de faire un point soaire sur l'évolution des outils statistiques et de se deander ce que l'on attend d'une nouveauté. En particulier, quelles caractéristiques elle doit posséder pour répondre à l'évolution des oyens coe par exeple le atériel et pour servir de relais aux éthodes existantes pour résoudre les problèes. Evolution de la statistique : Les statistiques ont rapideent évolué au cours des dernières décennies. Les techniques se sont en effet beaucoup développées et de nouvelles sont apparues. De plus, son doaine d'application s'est élari et la population des utilisateurs s'est diversifiée. Cette évolution provient des prorès de l'inforatique qui a d'abord révolutionné le onde de la statistique à son arrivée et l'a, depuis, fait évoluer continuelleent. La capacité randissante des ordinateurs a iposé un renouvelleent très fréquent des techniques. Pari les rands axes d'influence de l'inforatique sur les techniques, on peut citer trois exeples.

6 La capacité de stocae des ordinateurs a peris un accroisseent de la taille des bases de données dans des proportions telles qu'il est aujourd'hui courant de disposer de recueil de données dont le nobre d'individus s'exprie en illions et celui des variables en centaines. Ce phénoène réclae naturelleent une approche et des techniques nouvelles. Les prorès des outils inforatiques pour réaliser des représentations raphiques ont orienté les statistiques vers des techniques qui aboutissent à des résultats qui se traduisent par des représentations raphiques sous fore de tableaux ou de cartes. Par exeple, les analyses factorielles, dont le but est de représenter "au ieux" l'inforation sur des plans, ont pris une rande iportance dans l'analyse de données ultidiensionnelles. D'autre part, la vitesse d'exécution randissante des ordinateurs a peris d'envisaer l'utilisation d'alorithes qui ont un coût élevé en tere de teps de calcul. En particulier, cela a provoqué une diversification des techniques de classification. Outre l'évolution des techniques, l'inforatique a aussi odifié le cadre d'application des statistiques. Les doaines d'étude se sont diversifiés et les techniques sont de plus en plus utilisées par des non statisticiens, spécialistes d'autres sciences coe l'éconoie, la finance, l'assurance, ou de façon plus énérale la plupart des inénieurs. Cette évolution provient de la ise à disposition des loiciels qui proposent une ae de odèles statistiques qu'il suffit d'exécuter sur son ordinateur personnel. Il est à noter que les sorties sous fore de raphiques et de tableaux ont lareent contribué à la vularisation des techniques statistiques. En êe teps de l'inforatique, le développeent récent des réseaux de neurones apporte aussi une source de renouvelleent pour les statistiques. De nouveaux alorithes répondent ainsi au besoin d'approches nouvelles déjà évoqué. En particulier, ils perettent une étude non linéaire ieux adaptée à certaines structures. "Quelles caractéristiques pourrait avoir un nouvel alorithe qui s'inscrirait dans l'évolution des statistiques?" : D'après le bilan historique fait précédeent, il apparaît que c'est plus au besoin d'analyse qu'il doit répondre qu'au problèe des oyens (les problèes de calcul étant oindres). Il doit fournir un oyen de traiter des bases de données de plus en plus iportantes et coplexes. Un alorithe issu des réseaux de neurones peut par exeple répondre à cette deande. De plus, pour être appliqué par des non spécialistes et suivre ainsi l'évolution de l'analyse classique, il doit être relativeent siple à utiliser et doit fournir des sorties sous une fore qui facilite leur interprétation. C'est-à-dire sous fore de tableaux ou

7 de raphiques. Il est d'ailleurs possible d'envisaer des représentations raphiques autres que les projections linéaires. Avant de présenter les avantaes de celles proposées dans la suite, nous ne résistons pas au plaisir de contepler une de celles produites par un analyste plus doué : Picasso : L'acrobate Contexte et objectif de la thèse : L'esprit dans lequel nous avons essayé de concevoir un odèle de prévision des courbes de consoation nationale électrique française est à rapprocher d'une citation de Jean-Paul Benzécri présente dans l'introduction de l'ouvrae "Statistiques exploratoire utidiensionnelle" [68], "le odèle doit suivre les données et non l'inverse". On a, ainsi, is au point une éthode de prévision qui s'appuie sur une analyse de données, car cela paraissait ieux adapté à cette série chronoloique. On a choisi de le faire à partir de la classification de Kohonen car elle offrait plus de possibilités. On a développé les outils 3

8 d'interprétation de cette dernière pour aéliorer notre potentiel d'analyse et par là êe la qualité de notre prévision. En parallèle, d'autres études se sont présentées, elles appartenaient à des doaines variés tels que l'analyse de la consoation des canadiens ou du chôae qui sont fournies en annexe. Les outils précités se sont avérés perforants pour les analyser, ais on a souvent dû les faire évoluer ou en ajouter d'autres. Cet échane entre les problèes et les solutions a abouti à un enseble de oyens d'analyse copléentaires et adaptatifs. C'est pourquoi, dans la suite, l'analyse de données sera présentée indépendaent de la prévision. Elle constituera la preière partie, la prévision étant le sujet de la seconde. Pour ontrer l'adaptabilité des outils développés, on illustrera leur utilisation à l'aide d'exeples de bases de données variées, souvent issues d'études réelles. Par contre, leurs études coplètes fournies en annexe ne sont pas traitées. A la suite de la présentation de l'analyse de données et de sa coparaison à l'association classification analyse factorielle, on ontrera dans la seconde partie coent s'appuyer sur celle-ci pour ettre au point une éthode de prévision qui s'écarte des éthodes récursives et s'adapte à des contextes nouveaux. En particulier, on l'appliquera aux données de consoation électrique polonaise, is entient à notre disposition par le professeur Osowsi de l'université Warsaw Technical, pour lesquelles les techniques précitées ont ontré à la fois leurs qualités et leurs liites. L'étude de la consoation française est présentée en annexe. 4

9 ère PARTIE ANALYSE DE DONNEES A L'AIDE DES CARTES DE KOHONEN Chap. Chap. Chap.3 Analyse de données Problèe et exeples La classification de Kohonen Analyse de données en utilisant les cartes de Kohonen

10

11 Analyse de données - Problèe et exeples. Analyse de données - Problèe et exeples.. Le problèe L'apparition puis le développeent des ordinateurs ont peris d'envisaer de nouvelles techniques d'analyse de données, notaent en exécutant rapideent certains calculs tels que l'inversion de atrice ou la diaonalisation. C'est le cas des analyses factorielles coe par exeple l'analyse en coposantes principales ou ACP qui ont répondu au besoin de visualiser les données. Ces éthodes réalisent en effet, des projections sur les plans dits "principaux" (contenant le axiu d'inertie) où l'on voit le ieux le nuae de points. Mais il existe un besoin de copléter ces éthodes par de nouvelles qui seraient capables de traiter des bases de données de rande taille, ayant une structure non linéaire, et par conséquent al expliquées par les outils traditionnels. Certains réseaux de neurones, coe le perceptron ulticouche, perettent de replacer les analyses classiques. Mais ils n offrent pas toujours de représentations raphiques et les interprétations sont parfois 7

12 Analyse de données à l'aide des cartes de ohonen difficiles. La classification de Kohonen a, quant à elle, le double avantae de faire une analyse non linéaire de la base de données et de se prêter à des représentations raphiques faciles à utiliser. Dans ce chapitre vont être développées différentes façons d exploiter cette dernière éthode pour répondre à plusieurs problèes de l analyse de données tels que la classification, l analyse de la dispersion, la caractérisation des individus par des variables explicatives qualitatives, etc. Les techniques qui vont être présentées seront appliquées à des exeples siulés pour l'illustration ou issus d'études pratiques dont le lecteur pourra trouver les analyses coplètes en annexe.. Présentation de trois exeples de bases de données. Soit une base de données X de N observations dans laquelle chaque individu i est décrit par p variables quantitatives et q variables qualitatives. On note x i =(x i,, x j i,,x p i ) le vecteur de R p constitué des p variables quantitatives. Trois exeples de bases de données vont servir à illustrer les techniques que nous proposons. L objectif n est pas d en faire l étude, ais d exploiter la spécificité de chacune pour illustrer les différentes parties développées par la suite. Le preier exeple, d effectif réduit, est construit artificielleent pour visualiser le écanise d apprentissae de l alorithe de Kohonen. Le deuxièe issu d'une étude pratique peret d effectuer des analyses qui cobinent des variables quantitatives et qualitatives, il servira de plus à donner un exeple de classification avec la distance du χ. Enfin, le troisièe utilise une notion teporelle qui facilitera l interprétation des rapprocheents des classes à l intérieur des cartes de Kohonen. 8

13 Analyse de données - Problèe et exeples. er exeple : Le preier exeple est constitué d une base de données siulées contenant 300 individus et variables. Chaque individu est construit à partir du élane aléatoire des 3 fores a, b, c de R de la fiure ieux visualisées par le type de représentation de la fiure, adopté pour la suite, qui joint les points indiquant les valeurs. Ceci revient à prendre une cobinaison linéaire des trois vecteurs de base a, b et c fixés du type αa+βb+γc où α, β et γ sont des scalaires aléatoires copris entre 0 et afin d'obtenir des fores variées, coe par exeple celles de la fiure 3. * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * a b c Fiure : Les trois fores a, b et c sont construites à partir de variables 9

14 Analyse de données à l'aide des cartes de ohonen a b c Fiure : Les points sont joints pour ettre en évidence la fore Fiure 3 : Exeple d'une fore construite à partir du élane de a, b et c avec α=0.44, β=0.7 et γ=0. 0

15 Analyse de données - Problèe et exeples. èe exeple : Cet exeple est issu de deux enquêtes de consoation réalisées par Statistiques Canada entre 986 et 99 auprès d environ 0000 énaes. Un individu est défini par son profil de consoation, c est-à-dire par la répartition de sa consoation dans 0 produits (Loeent, achat de véhicule etc. ). Pour un individu, la valeur associée à une variable représente le ratio de la consoation de ce produit rapporté à la consoation totale (par exeple, consoation dans le loeent / consoation totale). Les variables sont donc des pourcentaes, elles prennent des valeurs positives et leur soe vaut. j=,, 0 x j 0 et 0 j= x j = Coparer deux individus revient à coparer deux profils. Lorsque les observations sont des pourcentaes, il est classique de choisir la distance du χ, c est donc celle qui sera utilisée dans cet exeple. La fiure 4 représente la consoation d un individu i. Sur l axe des abscisses sont indiqués les produits de consoation, l ordre est alphabétique et n a donc aucun sens (ce n est pas un axe teporel). De êe, les points sont reliés entre eux dans le seul but de rendre le profil plus lisible. consoation 0, 0,5 0, 0,05 0 alcool al.do al.ext chares co. divers don educ. habill. loeent loisirs loterie eubles santé secu soin tabac tr.pers tr.pub. veh. Fiure 4 : Profil de consoation de l'individu i La liste exhaustive des variables de consoation est la suivante : alcool, alientation au doicile, alientation à l'extérieur, chares, counication (dépense de téléphone), divers (intérêts des prêts personnels, produits d'entretien), dons, éducation, habilleent, loeent, loisirs, loterie, eubles, santé, dépenses de sécurité (assurance chôae, vie, retraite), soins, tabac, transport personnel, transport public, achat de véhicule

16 Analyse de données à l'aide des cartes de ohonen Cette enquête fournit aussi des caractéristiques qualitatives copléentaires sur les individus : le niveau d éducation, la tranche d âe, la détention de loeent et le niveau de pauvreté. Cet exeple perettra donc, dans la suite, d'illustrer la façon dont on peut utiliser les cartes de Kohonen qui réalisent une classification des individus par rapport des variables quantitatives (ici la consoation) afin de réaliser la cartoraphie d'un autre critère qui n a pas servi à la classification (par exeple la détention de loeent). 3 èe exeple : Cet exeple a été construit artificielleent à partir d une base de données réelles. Il contient 000 observations qui représentent les relevés journaliers d une esure faite toute les deux heures (la preière valeur est le relevé à 0h00, le deuxièe à h00, le troisièe à 4h00, etc.). Sur les fiures 5 et 6 sont représentées les esures d'une journée pour les individus i et i de la base de données. On exploitera cet exeple pour illustrer les études sur la dispersion et les relations entre les unités de la carte de Kohonen qui s expliquent dans ce cas particulier par une notion failière aux statisticiens, l évolution teporelle. Cet exeple perettra ainsi de faire le lien avec l exploitation des cartes de Kohonen dans le cadre de la prévision présentée au chapitre. Le niveau de pauvreté a été évalué par des éconoistes à partir de critères dont l un est la consoation.

17 Analyse de données - Problèe et exeples h00 h00 4h00 6h00 8h00 0h00 h00 4h00 6h00 8h00 0h00 h00 heure Fiure 5 :Relevé bi-horaire du jour i h00 h00 4h00 6h00 8h00 0h00 h00 6h00 8h00 0h00 h00 4h00 Fiure 6 :Relevé bi-horaire du jour i 3

18 Analyse de données à l'aide des cartes de ohonen 4

19 La classification de Kohonen La classification de Kohonen. Introduction de l alorithe de Kohonen. Teuvo Kohonen a proposé dès 98 (Kohonen, 98 [6, 63]) un alorithe qui produit une carte d oranisation topoloique ([64, 65]). Le processus ne dépend que des entrées et ne nécessite pas l intervention d un superviseur, on parle dans ce cas d'autooranisation. Sa fonction principale est de faire correspondre les éléents de l'espace d'entrée avec des unités ordonnées sur une carte qui est une représentation raphique où chaque unité est entourée de ses voisines, les voisinaes ayant été définis à priori. Le résultat est une fonction de l'espace des entrées vers l'enseble des unités, telle que les iaes de deux éléents voisins au sens d'une certaine distance dans l'espace des entrées sont la êe unité ou des unités voisines sur la carte. 5

20 Analyse de données à l'aide des cartes de Kohonen Les propriétés de l alorithe et de ses cartes de sortie perettent conjointeent d analyser des données qui ont une structure non linéaire et de réaliser des représentations raphiques qui ettent en évidence certaines de leurs caractéristiques. L'application la plus courante est la classification de l espace d entrée, où l'on définit une notion de voisinae entre les classes qui n'est pas prise en copte par les éthodes de classification classiques.. Quelques alorithes de classification. Introduction : On distinue deux randes catéories d'alorithes de classification. La preière consiste à effectuer une partition de l espace en un nobre de classes fixé, c est le cas de la éthode des centres obiles et ses variantes issues des travaux de Fory (965) [43], Thorndie (953) [95], Mac Queen (967) [79], Ball et Hall (967) [6]. La deuxièe fournit une classification pour chaque niveau de reroupeent, chacune se déduisant de l aréation ou de la dissociation des classes du niveau précédent. La classification hiérarchique de type WARD procède par exeple par aréation (Ward J.H. (963) [99]). Ces éthodes sont présentées dans les ouvraes de statistiques classiques tels que Statistique Exploratoire Multidiensionnelle (Lebart, Morineau, Piron (995) [68]) ou Probabilités Analyse de Données et Statistiques (Saporta, S. (990) [94] ). 6

21 La classification de Kohonen èr type de classification : les classifications à nobre de classes fixé. a) La éthode des centres obiles : Cette éthode, dont la paternité est attribuée à Fory, est particulièreent adaptée aux données de rande taille. En effet, dans sa ise en place inforatique, le tableau de données conservé en éoire auxiliaire est lu plusieurs fois ais de façon séquentielle, et ainsi n occupe jaais de zone éoire iportante. Son efficacité est en rande partie attestée par les seuls résultats expérientaux. Ce type de classification est souvent utilisé coe technique de description et de réduction en association avec des analyses factorielles. Pour plus de précisions, on peut se rapporter aux ouvraes de Soal et Sneath (963) [93], Lance et Willias (967) [66] ou plus réceent Gordon (987) [5]. - L alorithe : Considérons l enseble X de N individus décrits par p variables à partitionner en U classes à l aide d une distance d (souvent la distance euclidienne ou celle du χ ). Les étapes de l alorithe sont les suivantes : Etape0: On déterine U centres provisoires de classes, les centres {G 0,..., G 0,..., G 0 U } (tirés selon un tirae pseudo aléatoire sans reise de U individus dans la population coe le préconise Mac Queen ( Mac Queen J. B. (967) [79]). Les U centres induisent une preière partition {C 0,..., C 0,...,C 0 U }. L individu i appartient à la classe C 0 s il est plus proche de G 0 que de tous les autres centres. Etape: On définit U nouveaux centres de classes {G,..., G,..., G U } en déterinant les centres de ravité des classes C 0,..., C 0,..., C 0 U. Ces nouveaux centres induisent une nouvelle partition forée des classes notées {C,..., C,..., C U }. Etape : On déterine U nouveaux centres de classe {G,..., G,..., G U } en prenant les centres de ravité des classes C -,..., C -,..., C - U, ce qui induit la nouvelle partition {C,...,C,..., C U.}. 7

22 Analyse de données à l'aide des cartes de Kohonen - Montrons que le processus convere : On note v() la esure de la dispersion autour des centres de classes à l étape : v( ) = U = i C x i G Considérons la soe des carrés des écarts à la oyenne intra classe à l étape, V() U V ( ) = x G où G + étant le centre de ravité de la classe C. = i C i + On va ontrer que v() V() v(+) : Ceci ontrera la converence vers le iniu à la fois de la dispersion autour des centres de classes et de la soe des carrés des écarts à la oyenne intra classe. D après le théorèe de Huyens, U v( ) = V ( ) + n G G où n est l effectif de C = + d où et v() V() v()=v() =,,U G + =G Montrons que V() v(+) : A l étape + v( + ) = U = + i C x i G + L expression de V() est identique à celle de v(+) si on replace C par C +. Or par définition C + est celui qui iniise la dispersion autour de {G + } =,,U d où + xi G + i C i C x i G + donc Conclusion V() v(+). v() V() v(+). avec () v()=v() =,,U G + = G 8

23 La classification de Kohonen Une suite positive stricteent décroissante convere, donc l alorithe convere vers un iniu local. De plus, si deux étapes conduisent à la êe partition, cette dernière est une solution de l alorithe. b) Siple copetitive learnin ou alorithe de Lloyd : une version stochastique en line des centres obiles : L'alorithe SCL est une version stochastique de l'alorithe de Fory présenté au pararaphe précédent, qui a la particularité de déplacer un seul centre de classe à la fois lors de la présentation d'un individu, ce qui le rend ieux adapté aux randes bases de données. Son principe, dont le détail peut être trouvé dans les ouvraes Hertz J. et al. (99) [54] Linde Y. et al. (980) [74], Lloyd S.P. (98) [75] et Mac Queen J. (967) [79], est le suivant : Les centres de classes G,, G U sont initialisés de façon aléatoire. A l'étape t, on présente l'observation x= x(t+) extraite au hasard. Puis, on définit l'indice anant u 0 coe celui du centre de classe qui iniise la distance euclidienne au vecteur présenté: x G u0 ( t) = in u x G u Gu 0 est alors odifié selon la forule: G u0 ( t + ) = G ( t) + ε( t)( x G u0 u0 ( t)) où le paraètre d'adaptation ε(t) décroît vers 0 en satisfaisant la condition de Robbins- Monro ( ε(t) = et ε ( t) < ). On peut ajouter une autre version stochastique des centres obiles appelée K-eans introduite par Mac Queen (967) et analoue à celle de Fory. On ontre que ces trois alorithes converent vers un iniu local de la soe des carrés des écarts aux centres de classes. Celui de Lloyd est très proche de l'alorithe de Kohonen présenté au pararaphe.3. 9

24 Analyse de données à l'aide des cartes de Kohonen èe type de classification : pari les classifications qui fournissent un reroupeent pour chaque niveau, on utilise en particulier les classifications hiérarchiques, avec la distance de WARD : Le principe de la classification ascendante hiérarchique consiste à créer, à chaque étape, une nouvelle partition de l enseble des données en aréeant les deux éléents les plus proches selon une distance choisie à priori. - Principe de l alorithe (coun à toutes les distances) : L'alorithe consiste à calculer à chaque étape s la atrice des distances entre les n s représentants des classes et à déteriner les deux classes dont les représentants sont les plus proches afin de les aréer et d obtenir (n s -) classes à l étape suivante. A l étape 0, il y a autant de classes que d individus dans la base de données. A l étape s, on en trouve n-s. A la fin, il ne reste plus qu une classe. - Définitions: Pour tout, on note le barycentre de la classe C et son effectif et désine le barycentre de toutes les données. On appelle soe des carrés des écarts aux centres de classes, notée SC W (pour soe des carrés intra ou within), la quantité. SC W = s = i C x i La soe des carrés des écarts entre les centres de classes et le centre de ravité est notée SC B (pour soe des carrés inter ou between)et vaut SC B = s = La soe des carrés des écarts au centre de ravité, notée SC T (pour soe des carrés totale) s'écrit SC T = s = i C x i La relation de Huyens induit la propriété suivante : SC T = SC B + SC W - La classification hiérarchique qui utilise la distance de WARD : 0

25 La classification de Kohonen La stratéie consiste, ici, à choisir à chaque étape l aréation entre deux classes qui fait le oins varier la soe des carrés des écarts aux centres de classes. C est-à-dire qu on cherche à obtenir à chaque pas un iniu local de la quantité SC W ou de façon équivalente un axiu de SC B. Considérons le passae de la partition P s à s classes à P s- forée de s- classes par l aréation des classes ), ( C et ), ( C qui donne la classe C. On peut calculer son effectif t et son barycentre s t. On a t + = et t + + = Avant l'aréation des classes, la soe des carrés des écarts entre les centres de classes et le centre de ravité s'écrit: SC B (s)= = = + + = s s & Après l'aréation des classes, elle s'écrit: SC B (s-)= = + s & t t La diinution de la quantité SC B, notée s, vaut: s t t + = Le théorèe de Huyens s écrit : t t t t + + = + et la diinution de la quantité SC B, s due au passae de s à s- classes devient : s + =. De plus t + + = d'où ), ²( s x x d + = + = Les barycentres

26 Analyse de données à l'aide des cartes de Kohonen A chaque étape, on cherche les classes C et C qui correspondent au plus petit s. s est appelé indice de niveau et on vérifie que la soe des indices de niveaux est l inertie totale des n éléents. - Résultat: Les classifications hiérarchiques déterinent une notion de paternité qui se traduit par un dendrorae indiquant pour chaque niveau, le reroupeent effectué. Mais il ne fournit pas d oranisation des classes qui perette d associer facileent à l une d entre elles celles qui lui sont proches. En effet, les fiures 7 et 8 ontrent deux représentations possibles de la êe classification hiérarchique. Il n est donc pas possible, à partir de l arbre, de donner les classes les plus proches de la classe autres que la classe issue du êe père. Il faudrait une notion de voisinae entre les classes pour pouvoir les disposer sur le raphique selon un ordre qui reflète leur proxiité. C'est préciséent cette notion centrale dans l'alorithe de Kohonen qui va fournir des représentations raphiques qui identifient les classes voisines dans le cas de la classification présentée au chapitre suivant. 3 4 Fiure 7 : Dendrorae, la classe est représentée entre la classe et de la classe3