Université de Bordeaux - Master MIMSE - 2ème année. Scoring. Marie Chavent machaven/

Transcription

1 Uiversité de Bordeaux - Master MIMSE - 2ème aée Scorig Marie Chavet machave/ Itroductio L idée géérale est d affecter ue ote (u score) global à u idividu à partir de otes partielles. A partir de cette ote, o affectera cet idividu à u groupe. U score peut être défiit comme u outil statistique ou probabiliste de detectio de risque. O peut citer etre autre : Les scores de risque de type : risque de credit ou credit scorig : prédire le retard de remboursemet de crédit. risque fiacier : prédire la boe ou mauvaise saté d ue etreprise. risque médical. Les scores e marketig : score d attritio (chur e aglais) : prédire le risque qu u cliet passe à la cocurrece ou résilie so aboemet. score d appétece : prédire l appétece d u cliet à acheter tel ou tel type de produit. Les pricipales étapes de la costructio d u score sot : 1. Choix de la variable à expliquer Y. O parle aussi de critère à modéliser ou ecore de variable cible. La variable Y sera qualitative gééralemet biaire à deux modalités. Chaque modalité défiit u groupe. 2. Choix d u vecteur de variables explicatives X = (X 1,..., X p ). Les p variables explicatives X j, j = 1... p, peuvet être quatitatives ou qualitatives. 3. Choix des doées et de l échatillo. L échatillo doit être représetatif de la populatio. O dispose alors d u échatillo de taille (ombre d idividus) sur lequel 1

2 sot mesurées simultaémet les p variables explicatives X 1,..., X p et la variable à expliquer Y. 4. Choix de la méthode de costructio du score. Ue foctio score S(X) doe ue ote à u idividu e foctio de ses valeurs sur X = (X 1,..., X p ). Parmi les méthodes classiques de costructio de scores, o peut citer : L aalyse factorielle discrimiate (AFD) : variables explicatives quatitatives. outil descriptif de visualisatio des doées. L aalyse discrimiate géométrique : variables explicatives quatitatives. affectatio d u ouvel idividu au groupe le plus proche. L aalyse discrimiate probabiliste : variables explicatives quatitatives Y et X = (X 1,..., Xp) aléatoires. affectatio d u ouvel idividu au groupe le plus probable. aalyse discrimiate liéaire (ADL) ou discrimiate liear aalysis (LDA) : cas homoscédastique gaussie. aalyse quadratique discrimiate (AQD) ou quadratic discrimiat aalysis (QDA) : cas hétéroscédastique gaussie. La régressio logistique : variables explicatives quatitatives ou qualitatives. Y biaire et aléatoire et X = (X 1,..., X p ) o aléatoire. 5. Costructio d ue règle de décisio. Das le cas où Y est biaire, ses deux modalités formet deux groupes d idividus et o peux fixer u seuil c pour obteir la règle suivate : S(X) c l idividu est affecté au groupe 1 S(X) > c l idividu est affecté au groupe 2 6. Evaluatio du score (courbe ROC, AUC,...) et évaluatio de la règle de décisio (taux d erreur, sesibilité, spécificité...) e utilisat les méthodes de l échatillo test, de validatio croisée... O distigue doc deux problèmes : 2

3 1. costruire u score, 2. costruire ue règle de décisio. Exemples des fichiers ifarctus.xls, farms.xls, credit.xls Quelques lies. "Aalyse discrimiate, Applicatio au risque et scorig fiacier", M. Bardos, Duod Notatios et défiitios Les outils statistique de scorig retret das le cadre de la modélisatio d ue variable Y qualitative à K modalités à partir de p variables explicatives X = (X 1,..., X p ) quatitatives ou qualitatives. O parle gééralemet das ce cadre de classificatio (d appretissage) supervisée, chaque modalité de Y représetat ue classe (u groupe) d idividus. Nous supposos disposer d u échatillo de observatios de Y et de X : sur les idividus de l échatillo, o a mesuré ue variable qualitative à K modalités et p variables quatitatives. E effet, das ce cours, o e se place das le cas où toutes les variables explicatives sot umériques. E otat y i la valeur de la variable à expliquer mesurée sur les ième idividu, o obtiet le vecteur y = (y 1,..., y ) {1,..., K}. E otat x j i à la valeur de la jème variable explicative mesurée sur le ième idividu, o obtiet aisi la matrice de doées de dimesio p suivate : 1... j... p 1.. X = i... x j i..... Notos : 3

4 x i = (x 1 i,..., x p i ) R p ue lige de X décrivat le ième idividu. x j = (x j 1,..., x j ) R ue coloe de X décrivat la jème variable. E k est le groupe des idividus des l échatillo qui possèdet la modalité k. k = card(e k ) est le ombre d idividus qui possèdet la modalité k. Si les idividus sot affectés des poids p 1,..., p, (tels que i = 1,...,, p i 0 et i=1 p i = 1) alors le poids de chaque groupe E k est : P k = i E k p i E gééral, o pred p i = 1 et doc P k = k. O a alors les défiitios suivates : Le cetre de gravité global est le vecteur de R p défii par : g = p i x i = 1 i=1 x i. i=1 Le cetre de gravité du groupe E k est le vecteur de R p défii par : g k = 1 p i x i = 1 x i. P k k i E k i E k La matrice p p de variace-covariace globale est défiie par : V = p i (x i g)(x i g) = 1 i=1 (x i g)(x i g). i=1 La matrice p p de variace-covariace du groupe E k est défiie par : V k = 1 p i (x i g k )(x i g k ) = 1 (x i g k )(x i g k ). P k k i E k i E k La matrice p p de variace-covariace itra-groupe est défiie par : W = P k V k = k V k. La matrice p p de variace-covariace iter-groupe est défiie par : B = P k (g k g)(g k g) = k (g k g)(g k g). Cette matrice est la matrice de variace-covariace des p cetres de gravités g k podérés par P k (e gééral k ). 4

5 Remarque : e règle géérale, W est iversible tadis que B est pas iversible. E effet, les K cetres de gravité g k sot das u sous-espace de dimesio K 1 de R p, et si K 1 < p (ce qui est gééralemet le cas), alors la matrice B (qui est de dimesio p p) est pas iversible. O a les relatios suivates classiques suivates : g = P k g k = k g k, (1) et V = W + B. (2) Les expressios doées e (1) et (2) sot de ature assez usuelles e statistique : moyee totale (globale) = moyee (podérée) des moyees margiales, variace totale = moyee (podérée) des variaces margiales + variace des moyees margiales. Exercice : démotrez (1) et (2). 3 L aalyse factorielle discrimiate L aalyse factorielle discrimiate (AFD) est essetiellemet descriptive. L objectif est ici de chercher quelles sot les combiaisos liéaires des variables quatitatives qui permettet de séparer le mieux possible les k catégories et de doer ue représetatio graphique (comme pour les méthodes factorielles telles que l aalyse e composates pricipales) qui rede au mieux compte de cette opératio. Cette visualisatio sur le ou les plas factoriels appropriés permet aussi de décrire les liaisos etre la variable à expliquer et les p variables explicatives. 3.1 Cetrage des doées E AFD comme e aalyse e composates pricipales (ACP), o suppose que g = 0 p, c est à dire que les doées sot cetrées. Cela reviet à traslater le uage de poits de g (acie cetre de gravité) vers l origie. La structure du uage de poits est pas modifiée, 5

6 mais les calculs ultérieurs serot simplifiés. L écriture des matrices de variace-covariace globale et iter-groupe sot simplifiées : V = i=1 1 x ix i et B = k g kg k, et o obtiet l écriture matricielle V = 1 X X. 3.2 Axes, facteurs et variables discrimiates L AFD cosiste à rechercher de ouvelles variables, qui serot appelées variables discrimiates, correspodat à des directios de R p qui séparet le mieux possible e projectio les K groupes d idividus. L objectif. Il s agit de trouver ue ouvelle variable, combiaiso liéaire des variables explicatives, qui discrimie au mieux les groupes défiis par les modalités de la variable à expliquer. Cette variable otée s est défiie ici comme u vecteur de R, combiaiso liéaire des vecteurs x 1,..., x p (coloes de X) : s = Xu = u 1 x u p x p, où u = (u 1,..., u p ) R p est le vecteur des coefficiets de cette combiaiso liéaire. Il va doc falloir défiir : commet mesurer que s discrimie bie, commet trouver u pour que s = Xu discrimie au mieux. Défiitios. E AFD, o mui R p d ue métrique M et o projette les poits de R p x 1,..., x (les liges de X) sur u axe de vecteur directeur a. O effectue des projectios M-orthogoales et a est M-ormé à 1. La liste des coordoées s i = x ima des idividus sur forme la ouvelle variable s et o a doc : s = (s 1,..., s ) = XMa = Xu, où a R p est appelé l axe discrimiat (a Ma = 1), u R p est appelé le facteur discrimiat (u M 1 u = 1), s est appelé la variable discrimiate. 6

7 Exemple Le critère à optimiser O défiit maiteat le critère qui mesurat la capacité d u axe à discrimier les groupes. U axe sera discrimiat si les groupes sot bie séparés e projectio. Pour cela, o utilise la variace itra-groupe et la variace iter-groupe de la variable discrimiate s costituée des coordoées des projectios des idividus sur l axe. O a les défiitios suivates : La variace de s est défiie par : où s est la moyee de s. V ar(s) = 1 (s i s) 2 i=1 La variace itra-groupe de s est défiie par : Itra(s) = = u Vu (3) k où s k est la moyee de s das le groupe k. La variace iter-groupe de s est défiie par : Exercice : Démotrez (3) (4) et (5). i E k 1 k (s i s k ) 2 = u Wu (4) Iter(s) = k ( s s k) 2 = u Bu (5) O a doc la relatio classique V ar(s) = Itra(s) + Iter(s) qui s écrit : u Vu = u Wu + u Bu (6) 7

8 La quatité u Vu état idépedate des groupes, miimiser u Wu est équivalet à maximiser u Bu. O aura ue boe discrimiatio des groupes si : les cetres de gravité projetés sot bie éloigés i.e. Iter(s) = u Wu est maximum, les groupes projetés e sot pas trop dispersés i.e. Itra(s) = u Bu est miimum. Le critère à maximiser, u Bu u Vu [0, 1], (7) est la proportio de la variace de s expliquée par y ecore appelé le rapport de corrélatio etre s et y. Ce critère désige égalemet le pouvoir discrimiat de l axe. Das le cadre de la discrimiatio parfaite, ce rapport serait égal à 1. Plus gééralemet, la discrimiatio est d autat meilleure que le ratio est proche de Solutio du problème d optimisatio O veut maximiser le rapport etre la variace iter-groupe et la variace totale. La première variable discrimiate s = Xu est telle que le facteur discrimiat u vérifie : u Bu max u R p u Vu. (8) Rappels sur la maximisatio du quotiet de deux formes quadratiques. Soiet A et B deux matrices symétriques de même dimesio, B état supposée iversible. Alors, le rapport u Au u Bu est maximal pour u 1 vecteur propre de B 1 A associé à la plus grade valeur propre otée λ 1, la valeur du maximum état λ 1. Exercice : Démotrez le résultat ci-dessus. O déduit du rappel ci-dessus que, pour otre problème d optimisatio (8), le vecteur u solutio est le vecteur propre de V 1 B associé à la plus grade valeur propre λ 1. E pratique, si o utilise la métrique M = V 1 par exemple, o peut choisir parmi tous les vecteurs propres coliéaires, celui qui est V-ormé à 1 (u Vu = V ar(s) = 1). Si o utilise ue autre métrique M, l axe discrimiat a = M 1 u est modifié mais le facteur discrimiat u est le même (à ue costate près) et la variable discrimiate s = XMa = Xu (coordoées des projectios des idividus sur la droite egedrée par l axe discrimiat) est doc égalemet la même (à ue costate près). La valeur du maximum, c est à dire le pouvoir discrimiat, 8

9 quad à lui est ichagé. Le choix de la métrique M est doc idifférete pour la costructio de variables et des facteurs discrimiats, seule la orme chage. Avec la métrique M = W 1 par exemple, si u est W-ormé à 1, alors u Wu = Itra(s) = 1. O a alors les défiitios suivates : Le premier facteur discrimiat est u 1, le premier vecteur propre de V 1 B. La première variable discrimiate est s 1 = Xu 1. Le pouvoir discrimiat est λ 1 = u 1 Bu 1 u 1 Vu 1. Remarques : Cas où λ 1 = 1 : e projectio sur la droite discrimiate, les dispersios itragroupe sot ulles ; cela correspod au fait que les K sous-uages sot doc chacu das des hyperplas orthogoaux à. Il y a alors évidemmet discrimiatio parfaite si les cetres de gravités se projettet e des poits différets sur la droite. Cas où λ 1 = 0 : ici le meilleur axe discrimiat e permet pas de séparer les K cetres de gravité g k. C est par exemple le cas si ces deriers sot cofodus ; cela peut correspodre au cas de figure où les K sous-uages sot cocetriques et doc aucue séparatio liéaire est possible. Remarquos qu il peut cepedat exister ue possibilité de discrimiatio o liéaire (du type quadratique par exemple, si l o pese à la distace au cetre de gravité qui permet de séparer les groupes das le cas de sous-uages cocetriques). Notos efi que la valeur propre λ est u mesure pessimiste du pouvoir discrimiat. E effet, même s il est possible de discrimier parfaitemet les groupes, o peut avoir λ < 1. La décompositio spéctrale de V 1 B doe aussi les autres axes discrimiats de l AFD. E effet, o cherche esuite s 2 = Xu 2, o corrélée à s 1, telle que u 2 Bu 2 u 2 Vu 2 soit maximum et aisi de suite. O peux motrer que les vecteurs propres de V 1 B sot les facteurs discrimiats et les valeurs propres λ 1,..., λ K 1 sot les pouvoirs discrimiats. O pourra costruire K 1 axes discrimiats car le rag de V 1 B est au plus mi(p, K 1) et o suppose que K 1 < p. Remarques : Il faut que la matrice de variace-covariace V soit iversible et que doc la matrice de doées X soit de plei rag. Il faudra doc faire attetio e AFD, comme e 9

10 régressio liéaire multiple, au problème de la multicoliéarité des coloes de X. L AFD peut être vue comme ue ACP (Aalyse e composate pricipale) des cetres de gravités g k avec la métrique V 1. L AFD est aussi u cas particulier de l aalyse caoique. Elle correspod e effet à l aalyse caoique des tableaux A et X, où A (de dimesio K) représete l esemble des variables idicatrices associées à la variable qualitative à expliquer Les aglo-saxos E AFD, d autres critères ot été utilisés pour défiir les facteurs discrimiats et doc les variables discrimiates. Les aglo-saxos utiliset souvet comme critère pour mesurer la qualité de la discrimiatio d ue variable discrimiate s = XMa = Xu : Le problème d optimisatio s écrit : u Bu u Wu = Iter(s) Itra(s). max u R p u Bu u Wu. (9) La solutio est le vecteur propre u de W 1 B associé à la plus grad valeur propre µ. Ce problème d optimisatio est équivalet e terme de facteurs discrimiats au problème (8) mais les maximums sot différets. E d autres termes, les matrices W 1 B et V 1 B ot les mêmes vecteurs propres et µ = Prevue : O suppose W iversible. λ. 1 λ u vecteur propre de V 1 B V 1 Bu = λu Bu = λvu = λ(b + W)u (1 λ)bu = λwu Bu = λ 1 λ Wu W 1 Bu = λ 1 λ u u vecteur propre de W 1 B et λ 1 λ est la valeur propre µ O retrouve doc les mêmes variables discrimiates qu avec l autre critère (au sige et à ue costate près). E revache le critère λ varie etre 0 et 1 et s iterprète facilemet tadis que le critère µ varie etre zero et l ifii et s iterprète doc mois bie. 10

11 3.2.4 Le cas particulier de deux groupes E pratique, o étudie souvet le cas particulier où K = 2 (bo cliet/mauvais cliet, sai/malade...). O e recherche ici qu ue seule variable discrimiate puisque K 1 = 1. Nous allos voir qu il est possible de défiir aalytiquemet l expressio de l uique valeur propre de V 1 B et du vecteur propre associé. Das u premier temps, o motre que : a) B = (g 1 g 2 )(g 1 g 2 ). b) V 1 (g 1 g 2 ) est vecteur propre de V 1 B, λ = (g 1 g 2 ) V 1 (g 1 g 2 ) est la valeur propre de W 1 B. Exercice : Motrez les résultats ci-dessus. O e déduit qu avec la métrique M = V 1 et le critère u Bu = Itra(s) o a : u Vu V ar(s) u = V 1 (g 1 g 2 ) est le facteur discrimiat, a = (g 1 g 2 ) est l axe discrimiat, s = XV 1 (g 1 g 2 ) est la variable discrimiate, λ = 1 2 d 2 2 V (g 1 1, g 2 ) est le pouvoir discrimiat Itra(s). V ar(s) où d 2 V 1 (g 1, g 2 ) = (g 1 g 2 ) V 1 (g 1 g 2 ) est le carré de la distace etre g 1 et g 2. Remarque : Il existe ue ifiité de vecteurs propres coliéaires à u. Le carré de la V-orme de u = V 1 (g 1 g 2 ) est : V 1 (g 1 g 2 ) 2 V = (g 1 g 2 ) V 1 (g 1 g 2 ) = d 2 V 1(g 1, g 2 ). O e déduit qu e divisat u, a et s par d V 1(g 1, g 2 ), le facteur discrimiat est V-ormé à 1 (u Vu = 1), l axe discrimiat est V 1 -ormé à 1 (a V 1 a = 1), et la variace de la variable discrimiate est égale à 1 (V ar(s) = 1). De la même maière, avec la métrique est M = W 1 et le critère u Bu = Itra(s) o a : u Wu Iter(s) u = W 1 (g 1 g 2 ) est le facteur discrimiat, a = (g 1 g 2 ) est l axe discrimiat, s = s = XW 1 (g 1 g 2 ) est la variable discrimiate, µ = 1 2 d 2 2 W (g 1 1, g 2 ) est le pouvoir discrimiat Itra(s). Iter(s) où d 2 W 1 (g 1, g 2 ) = (g 1 g 2 ) W 1 (g 1 g 2 ) est le carré de la distace etre g 1 et g 2. 11

12 Remarque : Il faut diviser u, a et s par d W 1(g 1, g 2 ) pour que le facteur discrimiat soit W-ormé à 1, l axe discrimiat soit W 1 -ormé à 1 et la variace itra-groupe de la variable discrimiate soit égale à 1 (Itra(s) = 1). Fialemet, das le cas particulier de deux groupes, tout se calcule aalytiquemet à partir des cetres de gravité g 1 et g 2 et l axe discrimiat egedre la droite reliat g 1 et g 2. Ceci a rie de surpreat vu que l o a précoisé que l axe discrimiat doit être tel qu e projectio sur, les K cetres de gravité doivet être aussi séparés que possible. Le choix de la métrique M = V 1 (ou M = W 1 ) a ue iterprétatio géométrique. E effet, o projette le uage des idividus sur la droite (passat par g 1 et g 2 ) e teat compte de l orietatio des uages par rapport à cette droite. La règle de Fisher (1936). La première variable discrimiate peut être utilisée comme score pour costruire ue règle de décisio simple e fixat u seuil c. O fixe comme seuil c le milieu des scores des deux cetres de gravité g 1 et g 2 sur la première (et uique...) variable discrimiate (les coordoées de leur projectio sur l axe discrimiat). E d autre termes, le seuil c est le milieu des moyees des 2 groupes sur la variable discrimiate s = Xu. O ote s 1 et s 2 ces deux moyees et o utilise ici la métrique M = W 1 (mais ce serait équivalet d utiliser M = V 1 ). O a : s 1 = 1 1 s i = g 1W 1 a i E 1 projectio W 1 orthogoale de g 1 sur, s 2 = 1 s i = g 2W 1 a 2 i E 2 projectio W 1 orthogoale de g 2 sur, avec ici a = (g 1 g 2 ). O pred alors comme seuil : c = s 1 + s 2 2 = 1 2 (g 1W 1 a + g 2W 1 a) = 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) O peut alors défiir la règle de décisio : s i c l idividu i est affecté au groupe 1, s i < c l idividu i est affecté au groupe 2. 12

13 Cette règle se réécrit doc : x iw 1 (g 1 g 2 ) 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) 0 l idividu i est affecté au groupe 1, x iw 1 (g 1 g 2 ) 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) < 0 l idividu i est affecté au groupe 2. O retrouve la règle de Mahalaobis-Fisher das le cas de deux groupes. 4 Aalyse discrimiate géométrique O va préseter ici ue approche puremet géométrique (sas aucue hypothèse probabiliste) de l aalyse discrimiate décisioelle. Ayat trouvé la meilleure représetatio de la séparatio e K groupes des idividus, o va chercher ici à affecter ue ouvelle observatio à l u de ces groupes. Notos x le vecteur des valeurs des p variables quatitatives mesurées sur ce ouvel idividu. La règle géométrique cosiste à calculer les distaces de cette observatio à chacu des K cetres de gravité et à affecter aturellemet cette observatio au groupe le plus proche. Pour cela, il faut préciser la métrique à utiliser das le calcul des distaces. La règle la plus utilisée est celle de Mahalaobis-Fisher qui cosiste à predre la métrique W 1 (ou V 1 ce qui est équivalet). La distace du ouvel idividu au groupe k est alors : d 2 (x, g k ) = (x g k ) W 1 (x g k ). (10) 4.1 Foctios liéaires discrimiates La règle géométrique classe la ouvelle observatio x das le groupe k tel que : k = arg mi,...,k d2 (x, g k ), (11) ce qui se réécrit : où k = arg max,...,k L k(x), (12) L k (x) = x W 1 g k 1 2 g kw 1 g k. (13) L k (x) est la foctio liéaire discrimiate du groupe k (ecore appelée foctio liéaire de classemet). 13

14 Preuve : W 1 état symétrique o a : d 2 (x, g k ) = (x g k ) W 1 (x g k ) = x } W{{ 1 x} +g kw 1 g k 2x W 1 g k idépedat de k Doc miimiser d 2 est équivalet à maximiser 2x W 1 g k g k W 1 g k 2 = L k (x). Chaque foctio liéaire discrimiate défiie ue foctio score qui doe ue ote à l observatio x das chaque groupe. Cette observatio est doc affectée au groupe pour lequel le score est le plus grad. 4.2 Le cas particulier de deux groupes O peut das ce cas particulier où K = 2, calculer la différece etre les foctios liéaires discrimiates du groupe 1 et du groupe 2 pour défiir ue ouvelle foctio score que l o comparera à zero pour affecter ue ouvelle observatio. O défiit aisi la ouvelle foctio liéaire discrimiate (foctio score) : 1/2 (x) = L 1 (x) L 2 (x) = x W 1 (g 1 g 2 ) 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) (14) Preuve : L 1 (x) L 2 (x) = x W 1 g g 1W 1 g 1 (x W 1 g 2 12 ) g 2W 1 g 2 = x W 1 (g 1 g 2 ) 1 g 2 1W 1 g 1 g 2W 1 g } {{ } 2 (g 1 +g 2 ) W 1 (g 1 g 2 ) O retrouve alors la règle de Mahalaobis-Fisher itroduite e AFD : x W 1 (g 1 g 2 ) 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) 0 l idividu i est affecté au groupe 1, x W 1 (g 1 g 2 ) 1 2 (g 1 + g 2 ) W 1 (g 1 g 2 ) < 0 l idividu i est affecté au groupe 2. 14

15 Das le cas particulier de 2 groupes, la règle géométrique reviet doc à projeter l observatio x avec la métrique W 1 sur le premier axe discrimiat (calcule du score x W 1 (g 1 g 2 )) et à classer x selo u seuil c qui est le milieu des moyees des groupes sur ce score (c = 1(g g 2 ) W 1 (g 1 g 2 )). De plus, 1/2 (x) s écrit : 1/2 (x) = (x g 1 + g 2 ) W 1 (g 1 g 2 ). (15) 2 Doc la frotière etre les groupes 1 et 2 (aussi appelée frotière de décisio) est l hyperpla d équatio : x g 1 + g 2, g 1 g 2 W 1 = 0. 2 L hyperpla séparateur est doc l hyperpla W 1 -orthogoal à la droite reliat les poits g 1 et g 2 et passat par le milieu de g 1 et g Isuffisaces de la règle géométrique L utilisatio de la règle d affectatio géométrique que l o viet de préseter peut coduire à des affectatios icorrectes lorsque les dispersios des groupes sot très différetes etre elles. E fait das ce cadre-là, rie e justifie l utilisatio de la même métrique pour les différets groupes. Exemple. La solutio pour pallier ce problème peut être d utiliser des métriques locales M k à chaque sous-uage E k, proportioelles à V 1 k et de calculer les distaces d 2 k (x, g l) = (x g k ) M k (x g k ). La questio de l optimalité de la règle géométrique d affectatio e peut être résolue sas référece à u modèle probabiliste. E effet, ue questio est de savoir commet se comportera cette règle pour de ouvelles observatios, ce qui va imposer de faire des hypothèses distributioelles sur la répartitio des idividus das l espace. 15

16 Cette première approche de l aalyse discrimiate décisioelle atteit doc ici clairemet ses limites, d où la écessité de passer à la sectio suivate das laquelle serot présetées des méthodes probalistes d affectatio qui coduirot à des règles optimales (e u certai ses). 5 Aalyse discrimiate probabiliste Das la sectio précédete, o disposait d u échatillo de taille sur lequel étaiet mesurées simultaémet les p variables explicatives quatitatives et la variable qualitative à expliquer. Gééralemet cet échatillo est appelé échatillo d appretissage. O a vu que, lorsque l o dispose d u ouvel idividu sur lequel o a mesuré uiquemet les p variables explicatives (et dot o e coaît pas sa valeur de la variable qualitative), o doit décider du groupe k auquel appartiet ce ouvel idividu. O a alors défii ue règle de décisio (d affectatio) fodée seulemet sur des argumets géométriques (calcul des distaces de cet idividu aux cetres de gravité de chaque groupe et affectatio au groupe le plus proche ). Das cette sectio, o va défiir des règles de décisio bayésiee qui vot permettre d affecter le ouvel idividu à la classe la plus probable. Pour cela, il va être écessaire de faire des hypothèses probabilistes sur les doées, d où l appellatio de méthodes probabilistes (par oppositio aux méthodes puremet géométriques). 5.1 Le cadre probabiliste O suppose maiteat que l échatillo d appretissage est issu d ue populatio e K groupes G 1,..., G k et que : Y est ue variable aléatoire qui pred ses valeurs das {1,..., K}. X = (X 1,..., X p ) est u vecteur de variables aléatoires réelles. O otera : (p 1,..., p K ) la distributio de Y où p k = P (Y = k) est la proportio théorique de G k ecore appelée probabilité à priori de G k. f k : R p [0, 1] la desité de X das le groupe k. Exemple : 2 groupes et p=1 16

17 la desité de X est ue desité de mélage : X p k f k (x) O supposera que l o dispose d ue échatillo i.i.d. (X 1, Y 1 ),..., (X, Y ) de même moi que (X, Y ). 5.2 Règle du maximum à posteriori La règle du MAP (maximum à posteriori) affecte ue ouvelle observatio x das le groupe k le plus probable sachat x : k = arg max,...,k P (G k x), (16) où P (G k x) = P (Y = k X = x) est la probabilité coditioelle appelée la probabilité à posteriori de G k. Les probabilités à posteriori P (G k x) sot parfois qualifiées de scores (otes) et o affecte doc ue ouvelle observatio au groupe pour lequel le score est le plus grad. Cette règle se réécrit : O parle alors souvet de règle de Bayes. Preuve : O utilise le théorème de Bayes qui doe : k = arg max,...,k p kf k (x). (17) P (G k x) = P (Y = k X = x) = f k(x)p (Y = k) f X (X) = f k(x)p k f X (X) Or f X (x) est idépedate de k doc il suffit de maximiser f k (x)p k. Plusieurs approches sot possibles. a) Les approches paramétriques : O peut supposer que f k (x) a ue forme paramétrique et estimer les paramètres sur l échatillo d appretissage. Par exemple, f k (x) est ue desité N (µ k, Σ k ) pour les méthodes LDA et QDA. O peut supposer que la probabilité à posteriori P (G k x) a ue expressio paramétrique et l estimer directemet. Par exemple P (G 1 x) = exp(β 0+β x) 1+exp(β 0 +β x) pour la régressio logistique (pour K = 2). 17

18 b) Les approches o paramétriques : o cherche à estimer directemet à partir des doées les desités f k. O parle d estimatio o paramétrique (ou estimatio foctioelle) lorsque le ombre de paramètres à estimer est ifii. L objet à estimer est alors ue foctio que l o supposera par exemple cotiue et dérivable. Cette approche très souple a doc l avatage de e pas écessiter d hypothèses particulières sur la desité f k (seulemet la régularité de f k pour avoir de boes propriétés de covergece). E revache, elle est applicable d u poit de vue pratique qu avec des échatillos de grade taille d autat plus que la dimesio p augmete. Exemple : méthodes à oyaux. Ici o se place das le cadre paramétrique gaussie. 5.3 Le cas gaussie O suppose maiteat que X N (µ k, Σ k ) das chaque groupe G k : ( 1 f k (x) = exp 1 ) (2π) p/2 (det(σ k )) 1/2 2 (x µ k) Σ 1 k (x µ k), (18) avec µ k R p le vecteur des moyees théoriques et Σ k la matrice p p des variacescovariaces théoriques. Das ce cas, la règle de Bayes se réécrit : où k = arg mi,...,k D2 k(x), (19) D 2 k(x) = (x µ k ) Σ 1 k (x µ k) 2 l(p k ) + l(det Σ k ), (20) est appelé le carré de la distace de Mahalaobis théorique gééralisée das SAS. Preuve : Maximiser p k f k (x) est équivalet à maximiser l(p k f k (x)) et l(p k f k (x)) = l(p k ) + l(f k (x)), = l(p k ) p 2 l(2π) 1 2 l(det(σ k)) 1 2 (x µ k) Σ 1 k (x µ k). Doc avec p 2 l(2π) qui est idépedat de k, maximiser l(p kf k (x)) est équivalet à miimiser 2 ( l(p k ) 1 2 l(det(σ k)) 1 2 (x µ k) Σ 1 k (x µ k) ) = D k (x) 2. 18

19 5.3.1 Estimatio des paramètres A partir de l échatillo d appretissage, o veut estimer le paramètre θ = (p 1,..., p K, µ 1,..., µ K, Σ 1,..., Σ K ). La méthode du maximum de vraisemblace peut être utilisée. La vraisemblace s écrit : L(θ) = K f X (x i ) = i=1 x i E k p k f k (x i ), et o e déduit que la log-vraissemblace s écrit : l(l(θ)) = x i E k ( l(p k ) p 2 l(2π) 1 2 l(det(σ k)) 1 ) 2 (x i µ k ) Σ 1 k (x i µ k ). O obtiet alors les estimateurs du maximum de vraisemblace suivat : ˆp k = k ˆµ k = 1 k i E k x i ˆΣ = ˆΣ 1 k = K i E k (x i µ k )(x i µ k ) das le cas homoscédastique, ˆΣ k = 1 k i E k (x i µ k )(x i µ k ) das le cas hétéroscédastique. Les estimateurs de ˆΣ k état biaisé, o a les estimateurs sas biais suivats : ˆΣ = 1 K ˆΣ k = 1 k 1 (x i µ k )(x i µ k ), i E k (x i µ k )(x i µ k ). i E k Aalyse discrimiate quadratique (QDA e aglais) O se place das le cas où k k tel que Σ k Σ k appelé cas hétéroscédastique. O estime alors les paramètres sur l échatillo d appretissage et e repreat les otatios de la sectio 2 : µ k est estimée par g k = 1 k i E k x i, Σ k est estimée par V k = 1 k i E k (x i g k )(x i g k ) ou ecore par sa versio sas biais : p k est estimée par π k = k. V k = 1 (x i g k )(x i g k ), k 1 i E k 19

20 Avec ces estimateurs, la règle de Bayes se réécrit : k = arg mi Q k(x), (21),...,K où Q k (x) = (x g k ) V 1 k (x g k) 2 l(π k ) + l(det(v k )), (22) est la foctio quadratique discrimiate du groupe k (ecore appelée foctio quadratique de classemet). Chaque foctio quadratique discrimiate défiie ue foctio score et ue ouvelle observatio sera affectée au groupe pour lequel le score sera le plus petit Aalyse discrimiate liéaire (LDA e aglais) O se place das le cas où Σ 1 =... = Σ K = Σ appelé cas homoscédastique. Das ce cas, la règle de Bayes se réécrit : k = arg max,...,k x Σ 1 µ k 1 2 µ kσ 1 µ k + l(p k ). (23) Preuve : Σ k = Σ pour tout k = 1,..., K doc D 2 k(x) = (x µ k ) Σ 1 (x µ k ) 2 l(p k ) + l(det Σ), = x } Σ{{ 1 x} idép. de k 2x Σ 1 µ k } {{ } car Σ 1 sym. +µ kσ 1 µ k 2 l(p k ) + l(det(σ)). } {{ } idép. de k Doc miimiser D 2 k (x) est équivalet à maximiser 1 2 (2x Σ 1 µ k + µ k Σ 1 µ k 2 l(p k )). O estime alors les paramètres sur l échatillo d appretissage et e repreat les otatios de la sectio 2 : µ k est estimée par g k = 1 k i E k x i, la matrice de variaces-covariaces Σ commue aux différets groupes est estimée par W = 1 i E k (x i g k )(x i g k ) ou ecore par la versio sas biais : W = 1 (x i g k )(x i g k ), K i E k p k est estimée par π k = k. Avec ces estimateurs, la règle de Bayes se réécrit : k = arg max,...,k L k(x), (24) 20

21 où L k (x) = x W 1 g k 1 2 g kw 1 g k + l(π k ), (25) est la foctio liéaire discrimiate du groupe k (ecore appelée foctio liéaire de classemet). Chaque foctio liéaire discrimiate défiie ue foctio score et ue ouvelle observatio sera affectée au groupe pour lequel le score sera le plus grad. Remarque : O retrouve la foctio liéaire discrimiate (13) de l aalyse discrimiate géométrique avec le terme l(π k ) e plus. Das le cas où l o fait l hypothèse d égalité des probabilités à priori (p 1 =... = p K ), la règle de l aalyse discrimiate liéaire (LDA) est équivalete à la règle de l aalyse discrimiate géométrique Estimatio des probabilités à posteriori O peut motrer que das le cas gaussie, o a : P (G k x) = exp( 1 2 D2 k (x)) K l=1 exp( 1 2 D2 l (x)) (26) où Dk 2 (x) est le carré de la distace de Mahalaobis théorique gééralisée du logiciel SAS défiie e (20). Preuve : D après le théorème de Bayes : P (G k x) = p kf k (x) K l=1 p lf l (x), (27) et o a l(p k f k (x)) = 1 2 D2 k (x) p l(2π), d où : 2 p k f k (x) = exp( 1 2 D2 k p 2 l(2π)) = exp( 1 2 D2 k) (2π) p 2. Doc e mettat (2π) p 2 e facteur au déomiateur de (27), le terme se simplifie au umérateur et o retrouve (26). E pratique, o estime les probabilités à posteriori par : ˆP (G k x) = exp( 1 ˆD 2 2 k (x)) K l=1 exp( (28) 1 2 D2 l (x)), où ˆD 2 k(x) = (x ˆµ k ) ˆΣ 1 k (x ˆµ k) + g 1 (x) + g 2 (x), (29) 21