Séminaire. Nicoleta ROGOVSCHI

Transcription

1 Séminaire 20 décembre 2012 LSIS - Université Sud Toulon Var Classification à base de modèles de mélanges topologiques Nicoleta ROGOVSCHI LIPADE, Université Paris 5 1

2 Plan Contexte Problématique Difficultés Cadre formel Modèles de mélanges Classification topologique Mes contributions Données catégorielles et mixtes (BeSOM, PrMTM) Données structurées (THMM, 3M-SOM) Conclusions et perspectives 2

3 Problématique : clustering Classification supervisée Classification non supervisée Les classes et le nombre des classes sont connus n Les classes et le nombre des classes ne sont pas disponibles???? Les difficultés : - Existence réelle d une structure - Choix de similarité - Choix du nombre de groupes (Combinatoire) 71 observations - Validation (absence de labels) - Nature des données 3

4 Données de différent types Image satellitaire réelles Capteurs Réelles/ qualitatives Algorithmes adaptés enquêtes qualitatives Web Réelles/ qualitatives. Sources Comment partitionner ces données? (former des groupes «clusters») Quelle distance ou loi de probabilité utiliser? Comment avoir des prototypes du même type que les données? 4

5 nature Complexité des données Peut-être mesurée selon plusieurs axes Dimension (nb. composantes) Quantité (nb.observations) Densité Structure (arbre, matrice, ) Nature Vitesse : flux des données dimension 5

6 Ma démarche Classification non supervisée à base de prototypes (SOM) Visualisation des partitions (structure topologique des données) Revisiter les carte SOM (Self-Organizing Map) en utilisant un formalisme de modèles de mélanges Formalisme riche et mathématiquement fondé 6

7 Modèle de base : SOM (Self Organizing Map) x w référent 7

8 Formalisme probabiliste bayésien p(x)= Mélange de mélanges locales de lois de probabilité 8

9 Données binaires BeSOM (Bernoulli Self-Organizing Map)

10 BeSOM (Bernoulli Self-Organizing Map) ( ) x k identique à w k c avec la probabilité 1- k c et diffèrent avec la probabilité k c [Nadif et al 98] Loi de Bernoulli p( c * ) 10

11 BeSOM (Bernoulli Self Organizing Map) Maximiser la vraisemblance X; Utiliser E-M 11

12 Un exemple : Chiffres manuscrits 2000 chiffres Chiffre = Image binaire (1/0) Zoo data Congressional Vote Data Winsconsis Breast Cancer Handwritten data Image = 15 x 16 = 240 variables binaires 12

13 BeSOM (Résultats) 13

14 BeSOM (Résultats) Approche probabiliste Analyse fine du comportement du modèle 14

15 BeSOM (différents niveaux de pertinences) e-01 Pertinence des variables Sélection de variable Caractérisation des groupes Pertinence des prototypes Elagage de neurones Échantillonnage optimisé Plus d information Pertinence de la carte Sélection de modèle 15

16 Données mixtes PrMTM (Probabilistic Mixed Topological Map)

17 PrMTM (Probabilistic Mixed Topological Map) w c x k identique à w k c avec la probabilité 1- k c et diffèrent avec la probabilité k c [Nadif et al 98] Loi de Bernoulli, BeSOM Loi Gaussienne PRSOM, GTM 17

18 Jeux de données artificielles SOM : 1x 5 SOM : 1 x 10 SOM : 10 x 10 SOM : 10 x 10 18

19 Des jeux de données réelles Bases de données dim. qualit dim. quantitative # obs # classes Cleve Credit Thyroid

20 Les données «Cleve» 20

21 Approche déterministe vs approche probabiliste PrMTM fournit plus d information 21

22 Données structurées en séquences: Données textuelles T-HMM

23 Données structurées en séquences 23

24 Données structurées en séquences 24

25 Classification topologique Markovienne SOM=HMM 1 HMM 2. HMM K Approche locale Approche globale SOM=HMM 25

26 Approche locale Classification topologique non supervisée de séquences de longueur variable Modèles utilisés: Markov Model (MM) modéliser la dynamique des séquences d événements Self Organizing Map (SOM) apport topologique à la classification non supervisée 26

27 Schéma de l approche locale Définition automatique des structures des HMM Propagation de l élagage sur SOM 27

28 Validation: Contexte et objectif Un corpus de récits d'accidents A partir d une indexation des verbes selon la classification de Vendler (Etat, Accomplissement, Activité, Achèvement ), le temps, le lemme et d autres critères. Etablir une classification de récits Observer les rapports entre les catégories de Vendler et l usage des temps grammaticaux 28

29 Exemple de récit Texte A1 (ppr:acc:se rendre) Me rendant à Beaumont sur Oise depuis Cergy, je me suis retrouvée à un carrefour juste après la sortie Beaumont sur Oise. J'étais à un stop avec 2 voitures devant moi tournant à droite vers Mours. Alors que la première voiture passait ce stop je fis mon contrôle à gauche et je démarrais mais je percutais la deuxième voiture qui n'avait pas encore passé le stop. (IM:etat:être) S1 -> (ppr:acc:se rendre) (PC:ach:se retrouver). S2 -> (IM:etat:être) (ppr:acc:tourner). S3 -> (IM:ach:passer) (PS:acc:faire un contrôle) (IM:acc:démarrer) (IM:ach :percuter). S4 -> (PQP:ach:passer). 29

30 Topologie Causes effectives, le choc et ses conséquences Actions menant à l accident Circonstances ou la survenue d un incident Circonstances avant l accident 30

31 t y p i q u e s ( o u a c h. ) d é b u t d u r é c i t d é b u t e t m i l i e u m i l i e u d e r é c i t f i n d e r é c i t C a u s a l i t é f a i b l e i m p o r t a n t e F o r t e C h o c f a i b l e f a i b l e f o r t F o c u s b a c k g r o u n d + B u t s e t a l t e r n a t i v e s f o r e g r o u n d b a c k g r o u n d + f o r e g r o u n d b a c k g r o u n d f o r e g r o u n d f o r e g r o u n d + + t r è s i m p o r t a n t t r è s f a i b l e i m p o r t a n t m o y e n Cluster CECC CECC : causes effectives,les chocs et conséquences Cluster CAA (jaune) CSI (bleu) AMA (turquoise) CECC (marron) Séquences état (act.) état (act) état acc ou ach acc ach. acc. (ou ach.) (ou ach.) ach IM ppr IM IM INF INF INF PC zone favorisée IM INF IM PC PC INF PC PC

32 Conclusions Décrire SOM dans un cadre probabiliste pour des données binaires, mixtes et structurées en séquences ; Enrichir les résultats de la classification avec plus d information et de précision sur le comportement du modèle ; Définir des prototypes de la même nature que les données (intérêt pour l expert) ; Classification automatique des données séquentielles d une manière locale et globale ; Ajustement du modèle à la complexité de la tache (HMMélagage- SOM optimisée). 32

33 Perspectives Extension des modèles BeSOM et PrMTM à la classification croisée en utilisant le formalisme probabiliste des cartes topologiques. Extension vers un modèle "on-line" serait assez intéressante pour traiter des flux de données. 33