Notes de cours Analyse Discriminante Linéaire Analyse Discriminante Quadratique

Transcription

1 M de Statistique, Uiversité Pierre et Marie Curie Bertrad MICHEL Notes de cours Aalyse Discrimiate Liéaire Aalyse Discrimiate Quadratique O dispose d ue populatio composée de k sous-populatios défiies par ue variable catégorielle à k modalités que l o ote y. Quitte à reommer les classes, o suppose que l esemble des modalités est {,..., k}. Chaque idividu de la populatio est aussi décrit par des variables explicatives x,..., x j,..., x p. Nuages et décompositio de la variace Das cette sectio, o suppose que les variables explicatives x,..., x j,..., x p sot toutes de type cotiu. Soit M la matrice associée au uage des idividus mesurés sur chacue des p variables explicatives : x... x p M =.... x... x p O appelle uage de R p le -uplet des observatios (x,..., x ), où chacu des vecteurs x i de R p est u poit du uage. Par abus o otera aussi M le uage. Das la suite o supposera toujours que le uage est cetré : ( ) x j i = 0. i=... j=...p La matrice de variace-covariace des variables du uage M est défiie par : S :=. Géométrie d u seul uage [ ] cov(x j, x j ) = j,j p M M = x i x i Avat de décrire la géométrie des k uages, cosidéros le cas d u seul uage e laissat de côté pour le momet le problème de la classificatio supervisée. L aalyse e composates pricipales (voir le cours dédié) ous dit que l orietatio du uage M peut être décrite à partir de la décompositio e valeurs propres de la matrice S. Plus précisémet, la première directio propre (pour la plus grade valeur propre) correspod à la directio de R p pour laquelle les doées du uage M sot le plus dispersée. La secode directio propre doe la directio orthogoale à la première pour laquelle les doées sot le plus dispersée, etc.... Géométrie des k uages Nous supposos désormais que k uages sot observés : la variable y présete k modalités distictes. Pour simplifier les otatios, les idividus sot umérotés de telle sorte que les premiers idividus sot ceux du groupe, puis ceux du groupe : M = x... x p... x... x p = M(). M(k) i=

2 où M(l) est la matrice des doées du groupe l. Les k groupes iduits par la variable catégorielle y défiisset k uages das l espace R p des variables explicatives. O supposera de plus que k p <. O ote : I l la liste des idividus du groupe l, l l effectif de la sous-populatio l, g l le cetre de gravité du groupe l : g l = (g l,..., gp l ) avec g j l = l i I l x j i. g Chacu des k uages M(l) a ue orietatio R p qui peut être décrite par sa matrice de variacecovariace S l (c.f. paragraphe précédet) où S l := l (M(l) e l g l ) (M(l) e l g l ) = l i I l (x i g l )(x i g l ). où e k desige le vecteur (,..., ) de R k. O défiit alors la matrice de variace itra-classe par W := l=...k l S l p p Cette matrice est la moyee podérée des matrices de variace-covariace des k uages. Elle correspod doc à l orietatio moyee des k uages. La première directio pricipale de W correspod à la directio selo laquelle les uages sot le plus étalés, etc... E gééral, la matrice W est iversible, ce que l o supposera das la suite. g ḡ g g g Premiere directio pricipale de W g Secode directio pricipale de W Figure Trois uages avec des orietatios comparables. Soit G la matrice k p du uage des cetres des k uages. Le cetre de gravité ḡ de G podéré des l vérifie ḡ := l g l = x = 0. l=...k La matrice de variace-covariace B des k cetres de gravité podérés par les l est appelée matrice

3 de variace iter-classes : B := ( l=...k l (g j l ḡj )(g u l ḡu ) ) j,u k = G Diag(,..., k )G car ḡj = ḡ u = 0 = l g l g l p p l=...k Puisque l=...k lg l = 0, le uage des g l est coteu das u sous-espace vectoriel de R p de dimesio k et la matrice B est pas iversible. La matrice B décrit la géométrie du uage des k cetres de gravité. Les variaces itra et iter classes permettet de décomposer la variace totale du uage : Propositio. La variace du uage M se décompose e variace itra-classe et variace iterclasses : S = W + B. Aalyses discrimiates liéaire et quadratique O suppose das cette sectio que les variables aléatoires X j sot toutes de type cotiu.. Modélisatio O suppose que les variables e jeu sot des variables aléatoires otées Y et X j, dot o observe des réalisatios x j,... xj et y,..., y. Supposos de plus que la distributio de Y admet k modalités. Pour chacue de ces modalités o cosidère la loi coditioelle de X = (X,..., X p ) sachat Y = l et o suppose que cette loi coditioelle admet ue desité f l pour la mesure de Lebesgue sur R p (que l o ote ici λ p ). O cosidère π l = P (Y = l) : la probabilité a priori d apparteace au groupe l. P (Y = l X = x) : la probabilité a posteriori d apparteace au groupe l. Propositio. Sous les hypothèses précédetes :. La distributio du vecteur aléatoire (X, Y ) admet la desité f : R p {,... k} R + (x, y) k l= f l(x)π l y=l par rapport à la mesure λ p δ k, où δ k désige la mesure poctuelle d atomes {,..., k}.. La distributio du vecteur X admet la desité suivate par rapport à λ p : k f X = π l f l.. Pour tout l {..., k}, la probabilité a posteriori d apparteace au groupe l vérifie : l= P (Y = l X = x) = π l f l (x) k s= π sf s (x) Les méthodes d aalyse discrimiate liéaire et quadratique sot des méthodes d aalyse discrimiates de type décisioel. Pour prédire la variable Y à partir des variables X,..., X p, il est aturel de s appuyer sur les probabilités a posteriori. Plus précisémet, la règle bayésiee d attributio cosiste à attribuer ue observatio au groupe le plus probable pour celle-ci, c est-à-dire celui pour lequel la probabilité a posteriori est maximale, ce qui équivaut d après la relatio () à choisir Ŷ (x) = Argmax f l (x)π l. l=...k Cepedat, e pratique ces quatités sot icoues et il faut les estimer à partir des observatios dispoibles. Pour cela o proposera différetes hypothèses de modélisatio sur la loi de X sachat Y. ()

4 Hypothèse gaussiee. Pour modéliser le fait que les observatios de chaque groupe l sot orgaisés e clusters, ous allos supposer que la loi du vecteur X = (X,..., X p ) peut être modélisée par ue loi ormale multivariée de desité sur R p : [ x R p, f l (x) = (π) p/ exp ] det Σ l (x µ l) Σ l (x µ l ). Comme das le cas de la régressio liéaire, cette hypothèse est jamais rigoureusemet vérifiée pour des doées réelles. Cepedat, cette modélisatio est souvet suffisammet souple pour approcher efficacemet la véritable loi des doées (que l o e coaît évidemmet pas e pratique). ADL et ADQ. Si toutes les matrices de variace-covariace sot égales : Σ = = Σ k = Σ, il s agit de l aalyse discrimiate liéaire (ADL) : Au cotraire, si les matrices de variace-covariace e sot pas supposées égales, il s agit de l aalyse discrimiate quadratique (ADQ) :. Aalyse Discrimiate Liéaire (ADL) Das le but de détermier les frotières etre les zoes d attributio, o cosidère le logarithme des rapports etre probabilités a posteriori : x R p log P (Y = l X = x) P (Y = h X = x) = log π l π h + log f l(x) f h (x) = log π l π h (x µ l) Σ (x µ l ) + (x µ h) Σ (x µ h ) () = log π l π h µ l Σ µ l + µ h Σ µ h + x Σ (µ l µ h ) O défiit ue foctio discrimiate s l pour chaque groupe l par : x R p, s l (x) := x Σ µ l + log π l µ l Σ µ l. La règle de Bayes cosiste ici à affecter ue observatio x au groupe y(x) de score maximum : y(x) = argmax s l (x). l=...k Ces foctios discrimiates (ou scores) sot liéaires e x, d où l appellatio d aalyse discrimiate liéaire. 4

5 Iférece. E pratique, les quatités Σ, µ,..., µ k et π,..., π k sot icoues. O peut cepedat les estimer par la méthode du maximum de vraisemblace : Propositio. E supposat que la loi coditioelle de (X Y = l) est celle d ue loi ormale multivariée p-dimesioel dot la matrice de variace-covariace est iversible et e déped pas de l (hypothèse ADL), les estimateurs du maximum de vraisemblace de Σ, µ l et π l vérifiet : Σ = W = l=...k l S l, ˆµ l = g l = l i y i =l x i et ˆπ l = l. Remarque. O utilise aussi parfois l estimateur sas biais de la matrice de variace-covariace k W. Attributio. où La règle d affectio effective pour ue observatio x est fialemet doée par ŷ(x) = argmax ŝ l (x) l=...k ŝ l (x) := x W g l + log l g l W g l. Cas de deux groupes. affie d équatio Si k =, l espace R est séparé e deux zoes dot la frotière est l hyperpla log (g + g ) W (g g ) + x W (g g ) = 0 Zoes de séparatio. De faço plus géérale, la zoe de séparatio etre les régios d attributio des classes l et h est la régio B l,h R p défiie par l équatio ŝ l (x) = ŝ h (x). Cette régio B l,h est u hyperpla affie car les foctios discrimiates ŝ l sot liéaires :. Métrique de Mahalaobis et ADL Si les probabilités a priori sot égales, l égalité () motre que la règle d attributio reviet à affecter ue observatio x i au groupe pour lequel la quatité (x g l ) Σ (x g l ) est miimale. Cette quatité peut être iterprétée comme ue distace pour ue métrique particulière : la métrique de Mahalaobis. Celle-ci est défiie das R p par le produit scalaire < u, v > W := u W v. Pour cette métrique, les poits situés sur u ellipsoïde d équatio (x g l ) W (x g l ) = c sot tous équidistats du poit g l. Cette ormalisatio par W permet d éviter que les directios relatives aux 5

6 grades valeurs propres de W soiet trop prépodérates das le calcul des distaces. Par exemple, das l exemple ci-dessous, les deux uages ot des orietatios comparables et u étalemet importat selo la première directio de W. g x i Premiere directio pricipale de W Secode directio pricipale de W g Le poit x i est plus proche de g que de g pour la métrique euclidiee mais e réalité il est plus aturel d affecter ce poit au groupe. E effet l étalemet das la première directio de W est tel que certais poits du groupe sot à proximité de x i, alors que ce est pas le cas pour les poits du groupe. Pour la métrique de Mahalaobis x i est plus proche de g que de g. Pour mieux compredre l effet de cette métrique, cosidéros le cas où il y a qu ue seule classe, o a alors W = S. Soit Z = MW / le uage reormalisé : la matrice de variace-covariace vaut l idetité et le uage a ue forme sphérique. O peut vérifier que d W (x i ; x s ) = d (z i ; z s ) où d désige la distace euclidiee. La métrique de Mahalaobis reviet à cosidérer la distace euclidiee pour u uage associé pour lequel les variables sot o corrélées et de même variace. Das le cas de k classes, W est la matrice de variace-covariace moyee des k uages. La correspodace précédete etre d W et d est plus rigoureusemet exacte car e gééral les matrices S l e coïcidet pas exactemet. Cepedat si ces derières e diffèret pas trop, à l itérieur d ue même uage la métrique de Mahalaobis reviet e première approximatio à cosidérer la distace euclidiee pour u uage reormalisé (dot les matrices de variace-covariace sot des matrices idetités)..4 Aalyse discrimiate quadratique (ADQ) Cotrairemet à l ADL, l aalyse discrimiate quadratique autorise les matrices de variacecovariace des uages à être différetes. Le logarithme des rapports etre probabilités a posteriori de deux classes l et h vérifie x R p, log P (Y = l X = x) P (Y = h X = x) = log π l + log f l(x) π h f h (x) = s l (x) s h (x) où s l est la foctio discrimiate du groupe l défiie par s l = log π l log det Σ l (x µ l) Σ l (x µ l ). Iférece. Comme das le cas de l ADL, les quatités Σ, µ,..., µ k et π,..., π k peuvet être estimées par la méthode du maximum de vraisemblace : 6

7 Propositio 4. E supposat que la loi coditioelle de (X Y = l) est celle d ue loi ormale multivariée p-dimesioel (sas supposer ici que les k matrices de variaces-covariaces sot égales : hypothèse ADQ), les estimateurs du maximum de vraisemblace de µ l, Σ l et π l vérifiet : ˆπ l = l, ˆµ l = g l et Σl = S l. Remarque. O utilise aussi parfois les estimateurs sas biais des matrices de variace-covariace l l S l). Attributio. par où La règle d affectio effective pour ue observatio x est comme précédemmet doée ŷ(x) = argmax ŝ l (x) l=...k ŝ l = log l log det S l (x g l) S l (x g l ). Zoes de séparatio. La zoe de séparatio etre les régios d attributio des classes l et h est l hypersurface de R p défiie par l équatio ŝ l (x) = ŝ h (x)..5 Choisir etre ADL et ADQ Il est possible de costruire u test sur l égalité des matrices de variace-covariace à l aide de la statistique : ( ) [( ) Z := p + p 6(p + )(k ) l ( k) log k k W ] ( l ) log l l S l. l=...k l=...k O peut e effet motrer (admis) que sous l hypothèse H 0 : S =... S k et sous de boes coditios, la statistique Z coverge vers ue loi du χ à p(p+)(k ) degrés de liberté. Cette propriété permet aisi de costruire le test de Box (voir par exemple [Aderso, 00], chap 0). Attetio cepedat : même si le test rejette H 0, l ADQ e doe pas écessairemet ue meilleure classificatio que l ADL car l ADQ écessite d estimer beaucoup plus de coefficiets que l ADL. Ue stratégie parfois itéressate cosiste à utiliser l ADL e erichissat la famille des variables explicatives de variables quadratiques (x j ) et de variables d iteractio x j x j. Cette méthode est e effet mois «cosommatrice» e paramètres. Das tous les cas, o évaluera les erreurs de classemet pour comparer les méthodes (voir plus loi). 7

8 .6 Ue versio o paramétrique Les estimateurs à oyau sot des estimateurs o paramétriques courammet utilisés e statistique. Ils permettet otammet d estimer ue desité sas hypothèse d apparteace à ue famille paramétrique de loi. O les défiit par : x R p, ˆf(u) = h i=... ( ) x xi K h où h > 0 est la feêtre d estimatio et K : R p R + est u oyau i.e. ue foctio symétrique, à valeurs positives ou ulles et d itégrale (ex : oyau gaussie, K = [,] ). O parle alors d estimatio o paramétrique. Das le cotexte de l aalyse discrimiate, o estime doc pour chaque groupe l la desité joite des variables explicatives par x R p, ˆfl (x) = ( ) x xi K. l h h i I l Comme pour les modèles gaussies précédets, o utilise esuite la formule de Bayes pour estimer P (Y = l X = x) = et ue observatio est attribuée au groupe le plus probable selo la règle de Bayes. Référeces ˆf l (x)ˆπ l k j= ˆπ j ˆf j (x) [Aderso, 00] Aderso, T. W. (00). A itroductio to multivariate statistical aalysis,third editio. Wiley, New Jersey. 8