Hélène Desmier ab, Pascale Kuntz a & Ivan Kojadinovic a. Pauc, Nantes. {prenom.nom}@polytech.univ-nantes.fr

Transcription

1 Une classification hiérarchique de variables discrètes basée sur l information mutuelle en pré-traitement d un algorithme de sélection de variables pertinentes. Hélène Desmier ab, Pascale Kuntz a & Ivan Kojadinovic a a LINA CNRS FRE 2729, Site Polytech Nantes, rue Christian Pauc, Nantes b PerformanSe SAS, Atlanpole La Fleuriaye, Carquefou {prenom.nom}@polytech.univ-nantes.fr RIAs 2006

2 Introduction Une procédure de sélection de variables permet de sélectionner un sous-ensemble de variables potentiellement discriminantes parmi un nombre élevé de variables explicatives de la classe. Une procédure de sélection de variables est composée de deux éléments fondamentaux : une mesure de pertinence pour mesurer l influence d un sous-ensemble de variables sur la variable à expliquer, un algorithme de recherche pour parcourir l ensemble des sous-ensembles de variables. Ce travail s intéresse au cas où les variables potentiellement discriminantes sont toutes discrètes et nous proposons : une mesure de pertinence moins coûteuse en terme de temps de calcul fondée sur une troncature k-additive de l information mutuelle, une réduction de l espace de recherche en structurant l espace des variables potentiellement discriminantes par le biais d une classification ascendante hiérarchique.

3 Formalisation du problème Soient ℵ := {X 1,..., X m }, un ensemble de variables aléatoires potentiellement discriminantes et Y, un vecteur aléatoire à expliquer. Toutes les variables sont discrètes et prennent un nombre fini de valeurs. Les sous-ensembles de ℵ sont notés par des majuscules doubles, e.g. X, et, étant donné un sous-ensemble X ℵ de r variables aléatoires, X désigne un vecteur aléatoire de dimension r dont les composantes sont des éléments distincts de X. ω est la mesure de pertinence et ˆω sa version estimée à partir des données.

4 Plan de la présentation Une approximation de l information mutuelle comme mesure de pertinence Définition de l information mutuelle Définition de la mesure de pertinence Généralisation de l information mutuelle Approximation de la mesure de pertinence Une classification des variables en pré-traitement Caractéristiques de la classification Une réduction de l espace de recherche Les premiers résultats Présentation du jeu de données test Résultats Les applications pour PerformanSe

5 Définition de l information mutuelle Un sous-ensemble X non vide de ℵ est d autant plus pertinent que le degré de dépendance fonctionnelle entre X et Y est élevé. L information mutuelle peut être vue comme la H-information obtenue à partir de l entropie de Shannon. L information mutuelle peut donc être interprétée comme une mesure de réduction d incertitude. Soit un couple discret ( X, Y ) prenant un nombre fini de valeurs, I ( X ; Y ) = H(p X ) + H(p Y ) H(p ( X, Y ) ). (1)

6 Définition de la mesure de pertinence Nous définissons la pertinence d un sous-ensemble X de ℵ par { 0, si X = ω(x) := I ( X ; Y ), sinon (2) Cette mesure de pertinence est monotone par rapport à l inclusion. La normalisation de ω est faite en utilisant le coefficient d incertitude asymétrique ω(x) := I ( X ; Y ), X ℵ, X. H(p Y ) Il peut être interprété comme la réduction relative d incertitude contenue dans Y sachant X.

7 Généralisation de l information mutuelle L information mutuelle se généralise à plusieurs vecteurs aléatoires. Pour trois vecteurs aléatoires X, Y et Z, elle est définie par I ( X ; Y ; Z ) := H(p X ) + H(p Y ) + H(p Z ) H(p ( X, Y ) ) H(p ( X, Z ) ) H(p ( Y, Z ) ) + H(p ( X, Y, Z ) ). Elle s interprète comme une mesure de leur interaction simultanée. Si elle est nulle, les r vecteurs aléatoires n interagissent pas simultanément. L information mutuelle entre plus de deux vecteurs aléatoires n est pas nécessairement positive.

8 Approximation de la mesure de pertinence On montre que la pertinence d un ensemble peut se réécrire ω(x) = I (X j ; Y ) I (X j ; X k ; Y ) X j X {X j,x k } X + I (X j ; X k ; X l ; Y ) +( 1) r+1 I (X i1 ;... ; X ir ; Y ). {X j,x k,x l } X La pertinence de X peut donc être réécrite et se calcule d abord en sommant les pertinences des singletons contenus dans X, puis en soustrayant les informations mutuelles entre paires de variables de X et Y, ensuite en ajoutant les informations mutuelles entre variables des sous-ensembles de 3 éléments de X et Y, etc. Les informations mutuelles qui sont rajoutées ou enlevées peuvent être vues comme des termes correcteurs ou des termes d ordre supérieur. (3)

9 Approximation de la mesure de pertinence La troncature 2-additive de ω pour un k {1,..., m} consiste à négliger les termes correcteurs d ordre supérieur à 2. On montre que : ω (2) (X) = ω({x i }). {X i,x j } X ω({x i, X j }) ( X 2) X i X Cette troncature est équivalente à considérer que l information mutuelle entre plus de 2 variables potentiellement discriminantes et Y est nulle. La troncature 2-additive est complètement définie à partir de ses valeurs sur les singletons et les paires de variables potentiellement discriminantes.

10 Caractéristiques de la classification La mesure de similarité : Dans le cas de variables aléatoires discrètes prenant un nombre fini de valeurs, la similarité entre variables est généralement mesurée en terme d écart à l indépendance. Nous avons choisi l information mutuelle. Nous choisissons ici une normalisation symétrique : I ( X ; Y ) := I ( X ; Y ) min[h(p X ), H(p Y )]. Le critère d agrégation : nous avons choisi le lien moyen.

11 Une réduction de l espace de recherche Dans un premier temps k est déterminé par des approches classiques (homogénéité et séparation). Après une classification ascendante hiérarchique sur l ensemble des potentiellement discriminantes, ℵ est structuré en k classes C 1, C 2,..., C k Notre heuristique est de supposer que des variables d une même classe sont suffisamment dépendantes pour n en garder qu une seule par classe. Une partition en k classes permet donc de générer des sous-ensembles de variables potentiellement explicatives de dimension k. Un parcours exhaustif de tous les sous-ensembles de l espace revient donc à parcourir C 1. C 2... C k.

12 Présentation du jeu de données test Un jeu de dix variables discrètes potentiellement explicatives d une onzième : X1, X2, X3, X4 et X5 distribuées selon une loi binômiale X6, X7 et X8 fonction de, respectivement, X1, X4 et X5 (variables redondantes) Y, la variable à expliquer, Y=X1+X2*X3+min(X4,X5) X9 et X10 distribuées selon une loi binômiale indépendantes de Y (variables non pertinentes) Les tests faits : recherche du sous-ensemble (classification préalable) le plus pertinent de chaque taille (au sens de l information mutuelle 2-additive)

13 Résultats Les partitions obtenues : Partition en 4 classes : (X1,X3,X5,X6,X8),(X2),(X4,X7,X9),(X10) Partition en 5 classes : (X1,X3,X5,X6,X8),(X2),(X4,X7),(X10),(X9) Partition en 6 classes : (X1,X6),(X2),(X9),(X10),(X4,X7),(X3,X5,X8) Partition en 7 classes : (X1,X6),(X2),(X9),(X10),(X4,X7),(X3),(X5,X8)

14 Résultats Avec une classification préalable : Ss-ens taille 4 Ss-ens taille 5 Ss-ens taille ind X2,X4,X5,X10 X2,X3,X4,X5,X10 X1,X2,X3,X4,X5,X ind X3,X5,X9,X10 X3,X4,X5,X9,X10 X1,X3,X4,X5,X9,X ind X1,X2,X9,X10 X1,X2,X4,X9,X10 X1,X2,X3,X4,X9,X ind X1,X3,X9,X10 X1,X2,X3,X9,X10 X1,X2,X3,X5,X9,X ind X2,X3,X9,X10 X2,X3,X4,X9,X10 X1,X2,X3,X4,X9,X10

15 Applications pour l entreprise PerformanSe Etude de parcours professionnels décrits par de nombreuses variables (formation, âge, sexe, maladie...) Etude de profils comportementaux selon des variables discrètes (extraversion, dynamisme intellectuel...).