Analyse Discriminante Décisionnelle

Transcription

1 1 Anayse Disciminante Décisionnee Anayse Disciminante Décisionnee Résumé Une vaiabe quaitative Y à m modaités est modéisé pa p vaiabes quantitatives X j, j = 1,..., p. L objectif est a pévision de a casse d un ou de nouveaux individus su esques es vaiabes X j, j = 1,..., p sont égaement obsevés. Difféents modèes d anayse disciminante décisionnee sont considéés : ège inéaie et quadatique de décision dans e cas gaussien, ège non paamétique et k pus poches voisins. Retou au pan du cous 1 Intoduction I s agit de a modéisation d une vaiabe quaitative Y à m modaités pa p vaiabes quantitatives X j, j = 1,..., p obsevées su un même échantion Ω de taie n. L objectif de anayse disciminante décisionnee débode e simpe cade desciptif de anayse factoiee disciminante (AFD). Disposant d individus su esques on a obsevé es X j mais pas Y, i s agit de décide de a modaité T de Y (ou de a casse coespondante) de ces individus. On pae aussi de pobème d affectation. L ADD s appique donc égaement à a situation pécédente de a égession ogistique (m = 2) mais aussi osque e nombe de casses est pus gand que 2. Pou cea, on va défini et étudie dans ce chapite des èges de décision (ou d affectation) et donne ensuite es moyens de es évaue su un seu individu ; x = (x 1,..., x p ) désigne es obsevations des vaiabes expicatives su cet individu, {g ; = 1,..., m} es baycentes des casses cacués su échantion et x e baycente goba. La matice de covaiance empiique se décompose en S = S e + S. où S est appeée vaiance intacasse (within) ou ésiduee : m S = X DX = w i (x i g )(x i g ), =1 et S e a vaiance intecasse (between) ou expiquée : m S e = G DG = X edx e = w (g x)(g x). =1 2 Rège de décision issue de AFD 2.1 Cas généa : m queconque DÉFINITION 1. On affectea individu x à a modaité de Y minimisant : Cette distance se décompose en d 2 (x, g S 1 ), = 1,..., m. d 2 (x, g S 1 ) = x g 2 S 1 = (x g ) S 1 (x g ) et e pobème evient donc à maximise g S 1 x 1 2 g S 1 g. I s agit bien d une ège inéaie en x ca ee peut s écie : A x + b. 2.2 Cas paticuie : m=2 Dans ce cas, a dimension de AFD vaut 1. I n y a qu une seue vaeu pope non nue λ 1, un seu vecteu disciminant v 1 et un seu axe disciminant 1. Les 2 baycentes g 1 et g 2 sont su 1, de sote que v 1 est coinéaie à g 1 g 2. L appication de a ège de décision pemet d affecte x à T 1 si : g 1S 1 c est-à-die encoe si x 1 2 g 1S 1 g 1 > g 2S 1 x 1 2 g 2S 1 (g 1 g 2 ) S 1 x > (g 1 g 2 ) S 1 g 2 g 1 + g 2. 2

2 2 Anayse Disciminante Décisionnee Remaque La ège de décision iée à AFD est simpe mais ee est imitée et insuffisante notamment si es vaiances des casses ne sont pas identiques. De pus, ee ne tient pas compte de échantionnage pou x : tous es goupes n ont pas nécessaiement a même pobabiité d occuence. 3 Rège de décision bayésienne 3.1 Intoduction Dans cette optique, on considèe que a vaiabe Y, qui indique e goupe d appatenance d un individu, pend ses vaeus dans {T 1,..., T m } et est munie d une oi de pobabiité π 1,..., π m. Les pobabiités π = P [T ] epésentent es pobabiités a pioi des casses ou goupes ω. On suppose que es vecteus x des obsevations des vaiabes expicatives suivent, connaissant eu casse, une oi de densité f (x) = P [x T ] pa appot à une mesue de éféence Définition Une ège de décision est une appication δ de Ω dans {T 1,..., T m } qui, à tout individu, ui affecte une casse connaissant x. Sa définition dépend du contexte de étude et pend en compte a connaissance ou non de coûts de mauvais cassement, connaissance ou non des ois a pioi su es casses, natue aéatoie ou non de échantion. On désigne pa c k e coût du cassement dans T d un individu de T k. Le isque de Bayes d une ège de décision δ expime aos e coût moyen : m m R δ = c k f k (x)dx k=1 π k =1 {x δ(x)=t } où {x δ(x)=t } f k(x)dx epésente a pobabiité d affecté x à T aos qu i est dans T k. 1. La mesue de Lebesgues pou des vaiabes éees, cee de comptage pou des vaiabes quaitatives 3.3 Coûts inconnus L estimation des coûts n est pas du essot de a Statistique et, s is ne sont pas connus, on suppose simpement qu is sont tous égaux. La minimisation du isque ou ège de Bayes evient aos à affecte tout x à a casse a pus pobabe c est-à-die à cee qui maximise a pobabiité conditionnee a posteioi : P [T x]. Pa e théoème de Bayes, on a : P [T x] = P [T et x] P [x] = P [T ].P [x T ] P [x] avec e pincipe des pobabiités totaes : P [x] = m =1 P [T ].P [x T ]. Comme P [x] ne dépend pas de, a ège consistea à choisi T maximisant P [T ].P [x T ] = π.p [x T ]; P [x T ] est a pobabiité d obseve x au sein de a casse T. Pou une oi discète, i s agit d une pobabiité du type P [x = x k T ] et d une densité f(x T ) pou une oi continue. Dans tous es cas nous utiiseons a notation f (x). La ège de décision s écit finaement sous a fome : δ(x) = ag max π f (x). =1,...,m 3.4 Détemination des a pioi Les pobabiités a pioi π peuvent effectivement ête connues a pioi : popotions de dives goupes dans une popuation, de diveses maadies... ; sinon ees sont estimées su échantion d appentissage : π = w = n (si tous es individus ont e même poids) n à condition qu i soit bien un échantion aéatoie susceptibe de founi des estimations coectes des féquences. Dans e cas contaie i este à considée tous es π égaux. 3.5 Cas paticuies Dans e cas où es pobabiités a pioi sont égaes, c est pa exempe e cas du choix de pobabiités non infomatives, a ège de décision bayésienne evient aos à maximise f (x) qui est a vaisembance, au sein

3 3 Anayse Disciminante Décisionnee de T, de obsevation x. La ège consiste aos à choisi a casse pou aquee cette vaisembance est maximum. Dans e cas où m = 2, on affecte x à T 1 si : f 1 (x) f 2 (x) > π 2 π 1 faisant ainsi appaaîte un appot de vaisembance. D aute pat, intoduction de coûts de mauvais cassement difféents seon es casses amène à modifie a vaeu imite π 2 /π 1. Finaement, i este à estime es densités conditionnees f (x). Les difféentes méthodes d estimation considéées conduisent aux méthodes cassiques de discimination bayésienne objets des sections suivantes. 4 Rège bayésienne avec modèe noma On suppose dans cette section que, conditionneement à T, x = (x 1,..., x p ) est obsevation d un vecteu aéatoie gaussien N (µ, Σ ) ; µ est un vecteu de R p et Σ une matice (p p) symétique et définie-positive. La densité de a oi, au sein de a casse T, s écit donc : [ 1 f (x) = 2π(det(Σ )) exp 1 ] 1/2 2 (x µ ) Σ 1 (x µ ). L affectation de x à une casse se fait en maximisant π.f (x) pa appot à soit encoe a quantité : n(π ) 1 2 n(det(σ )) 1 2 (x µ ) Σ 1 (x µ ). 4.1 Hétéoscédasticité Dans e cas généa, i n y a pas d hypothèse suppémentaie su a oi de x et donc es matices Σ sont fonction de. Le citèe d affectation est aos quadatique en x. Les pobabiités π sont supposées connues mais i est nécessaie d estime es moyennes µ ainsi que es covaiances Σ en maximisant, compte tenu de hypothèse de nomaité, a vaisembance. Ceci conduit à estime a moyenne µ = g pa a moyenne empiique de x dans a casse pou échantion d appentissage et Σ pa a matice de covaiance empiique S R : pou ce même échantion. 4.2 Homoscédasticité S R = 1 (x i g )(x i g ) n 1 On suppose dans ce cas que es ois de chaque casse patagent a même stuctue de covaiance Σ = Σ. Suppimant es temes indépendants de, e citèe à maximise devient n(π ) 1 2 µ Σ 1 µ + µ Σ 1 x qui est cette fois inéaie en x. Les moyennes µ sont estimées comme pécédemment tandis que Σ est estimée pa a matice de covaiance intacasse empiique : S R = 1 n m m =1 (x i g )(x i g ). Si, de pus, es pobabiités π sont égaes, apès estimation e citèe s écit : x S 1 R x 1 2 x S 1 R x. On etouve aos e citèe de a section 2 issu de AFD. 4.3 Commentaie Les hypothèses : nomaité, éventueement homoscédasticité, doivent ête véifiées pa a connaissance a pioi du phénomène ou pa une étude péaabe de échantion d appentissage. L hypothèse d homoscédasticité, oqu ee est véifiée, pemet de éduie tès sensibement e nombe de paamètes à estime et d abouti à des estimateus pus fiabes ca de vaiance moins éevée. Dans e cas contaie, échantion d appentissage doit ête de taie impotante.

4 4 Anayse Disciminante Décisionnee 5 Rège bayésienne avec estimation non paamétique 5.1 Intoduction En Statistique, on pae d estimation non paamétique ou fonctionnee osque e nombe de paamètes à estime est infini. L objet statistique à estime est aos une fonction pa exempe de égession y = f(x) ou encoe une densité de pobabiité. Dans ce cas, au ieu de suppose qu on a affaie à une densité de type connu (nomae) dont on estime es paamètes, on cheche une estimation f de a fonction de densité f. Pou tout x de R, f(x) est donc estimée pa f(x). Cette appoche tès soupe a avantage de ne pas nécessite d hypothèse paticuièe su a oi (seuement a éguaité de f pou de bonnes popiétés de convegence), en evanche ee n est appicabe qu avec des échantions de gande taie d autant pus que e nombe de dimensions p est gand (cuse of dimensionaity). Dans e cade de anayse disciminante, ces méthodes pemettent d estime diectement es densités f (x). On considèe ici deux appoches : a méthode du noyau et cee des k pus poches voisins. 5.2 Méthode du noyau Estimation de densité Soit y 1,..., y n n obsevations équipondéées d une v.a.. continue Y de densité f inconnue. Soit K(y) (e noyau) une densité de pobabiité unidimensionnee (sans appot avec f) et h un ée stictement positif. On appee estimation de f pa a méthode du noyau a fonction f(y) = 1 nh I est immédiat de véifie que y R, f(y) 0 n ( ) y yi K. h i=1 et + f(y)dy = 1; h est appeé ageu de fenête ou paamète de issage ; pus h est gand, pus estimation f de f est éguièe. Le noyau K est choisi centé en 0, unimoda et symétique. Les cas es pus usues sont a densité gaussienne, cee unifome su [ 1, 1] ou tianguaie : K(x) = [1 x ]1 [ 1,1] (x). La fome du noyau n est pas tès déteminante su a quaité de estimation contaiement à a vaeu de h. Appication à anayse disciminante La méthode du noyau est utiisée pou cacue une estimation non paamétique de chaque densité f (x) qui sont aos des fonctions définies dans R p. Le noyau K dont donc ête choisi mutidimensionne et ( x xi f (x) = 1 n h p K Un noyau mutidimensionne peut ête défini à pati de a densité usuee de ois : mutinomae N p (0, Σ p ) ou unifome su a sphèe unité ou encoe pa poduit de noyaux unidimensionnes : p K (x) = K(x j ). 5.3 k pus poches voisins j=1 Cette méthode d affectation d un vecteu x consiste à enchaîne es étapes décites dans agoithme ci-dessous. Agoithme des k pus poches voisins (k-nn) 1. Choix d un entie k : 1 k n. 2. Cacue es distances d M (x, x i ), i = 1,..., n où M est a métique de Mahaanobis c est-à-die a matice invese de a matice de vaiance (ou de vaiance intacasse). 3. Reteni es k obsevations x (1),..., x (k) pou esquees ces distances sont es pus petites. 4. Compte es nombes de fois k 1,..., k m que ces k obsevations appaaissent dans chacune des casses. h ).

5 5 Anayse Disciminante Décisionnee TABLE 1 Cance : estimations des taux d eeus de pévision obtenus pa difféents types d anayse disciminante Méthode appentissage vaidations coisée test inéaie 1,8 3,8 3,6 knn 2,5 2,7 2,9 TABLE 2 Ozone : estimations des taux d eeus de pévision obtenus pa difféents types d anayse disciminante Méthode appentissage vaidations coisée test inéaie 11,9 12,5 12,0 quadatique 12,7 14,8 12,5 5. Estime ocaement es densités conditionnees pa f (x) = k kv k (x) ; où V k (x) est e voume de eipsoïde {z (z x) M(z x) = d M (x, x (k) )}. Pou k = 1, x est affecté à a casse du pus poche éément. Comme toute technique, cees pésentées ci-dessus nécessitent e égage d un paamète (ageu de fenête ou nombe de voisins considéés). Ce choix s appaente à un choix de modèe et nécessite e même type d appoche à savoi optimisation d un citèe (eeu de cassement, vaidation coisée. 6 Exempes 6.1 Cance du sein Pa pincipe, anayse disciminante s appique à des vaiabes expicatives quantitatives. Ce n est pas e cas des données qui sont au mieux odinaes. I est cai que constuie une fonction de discimination comme combinaison de ces vaiabes n a guèe de sens. Néanmoins, en s attachant uniquement à a quaité de pévision sans essaye de constuie une intepétation du pan ou de a suface de discimination, i est d usage d utiise anayse disciminante de façon "sauvage". Les ésutats obtenus sont ésumés dans e tabeau 1. L anayse disciminante quadatique, avec matice de vaiance estimée pou chaque casse n a pas pu ête cacuée. Une des matices n est pas invesibe. TABLE 3 Banque : estimations des taux d eeus de pévision obtenus pa difféents types d anayse disciminante Méthode appentissage vaidations coisée test inéaie 16,5 18,3 18 quadatique 17,8 22,0 30 knn 23,5 29, Concentation d ozone Dans cet exempe aussi, deux vaiabes sont quaitatives : e type de jou à 2 modaités ne pose pas de pobème mais empace a station pa un entie est putôt abusif. D aieus, a méthode des pus poches voisins ne acceptent pas, une tansfomation des données seait nécessaie. 6.3 Cate visa Comme pou es données su e cance, es données bancaies posent un pobème ca ees associent difféents types de vaiabes. I est possibe de e contoune, pou cees binaies, en considéant quantitative, indicatice de a modaité (0 ou 1). Pou es autes, cetaines pocédues (DISQUAL pou discimination su vaiabes quaitatives) poposent de passe pa une anayse factoiee mutipe des coespondances pou ende tout quantitatif mais ceci n est pas impémenté de façon standad dans es ogicies d oigine améicaine. Pou anayse disciminante, R ne popose pas de séection automatique de vaiabe mais incut une estimation de eeu pa vaidation coisée. Les ésutats touvés sont ésumés dans e tabeau 3. Seue une discimination inéaie

6 6 Anayse Disciminante Décisionnee FIGURE 1 Banque : Deux exécutions de optimisation du choix de k pa vaidation coisée. sembe founi des ésutats aisonnabes, a echeche d une discimination quadatique n appote ien pou ces données. De son côté, SAS popose une séection automatique (pocédue stepdisc) mais es ésutats obtenus ne sont pas sensibement meieus apès séection. Le choix de k dans a méthode des k pus poches voisins est souvent déicat ; chaque exécution de estimation de eeu pa vaidation coisée conduit à des ésutats aéatoies et tès difféents et k optima oscie ente 10 et 30 (fig. 1)!