Proposer une estimation fiable de P(Y=+/X) dans un problème de discrimination. Ricco RAKOTOMALALA

Transcription

1 Proposer une estmaton fable de P(Y=+/X) dans un problème de dscrmnaton Rcco RAKOTOMALALA 1

2 1. Pourquo normalser les scores? 2. Évaluaton de la qualté d un score 3. Méthode de Platt 4. Méthode de la Régresson Isotonque 2

3 Classement et crédblté du classement On se place dans le cadre bnare dans ce cours (X1) V10 vs. (X2) V17 by (Y) CLASS 6 5 Les deux ponts sont classés «postfs», mas l un est plus postf que l autre! negatve postve Un ndcateur de crédblté de l affectaton est souhatable : on parle souvent de SCORE on peut le prendre c comme un ndcateur du degré d élognement par rapport à la frontère, l peut être lu autrement dans d autres cas. Il est proportonnel à P(Y=+/X) ç.-à-d. le score permet de classer les observatons de la même manère que P(Y=+/X) l n est pas «calbré» ç.-à-d. l vare a pror entre oo et +oo et peut prendre des plages de valeurs dfférentes d un classfeur à l autre 3

4 Problème du score non-calbré Le problème des dspartés entre les plages de valeurs (1) Le SCORE brut est suffsant pour le classement : SCORE > 0 Y = + (2) Il est adapté également au scorng pusqu l s agt smplement de trer la base de données selon l appétence mas n est pas appropré dans la plupart des autres contextes Interprétaton des résultats et déploement Pour un expert du domane, que veut dre un SCORE = 28? Il faut des «vraes» probabltés dès que l on veut applquer des coûts Comparason des classfeurs S la méthode A fournt SCORE = 3 et la méthode B = -1, laquelle crore? Combnason des classfeurs S on veut fare coopérer pluseurs méthodes, évter qu une d entre elles, avec ses plages de valeurs élevées, «écrase» les autres. Passage du classement bnare au mult-classes Pour les méthodes fondamentalement bnares (ex. SVM, Reg. Logstque, etc.), le passage à K classes passe par la combnason d une sére de classfeurs bnares avec dfférentes stratéges de combnason (ex. 1-vs-All, 1-vs.-1, ECOC, etc.) basé sur les scores, l faut avor des scores comparables. 4

5 Problème du score non-calbré Ramener le score dans l ntervalle [0 ; 1] ne sufft pas Une technque smple pour ramener les scores dans le même ntervalle [0 ; 1] p = s s s s max mn mn Dstrbuton des scores ramenés dans [0 ; 1] mas non-calbrés Mas s le problème des plages de valeurs est résolu, le problème de la dsparté des dstrbutons des valeurs demeure Reg Logs tque SVM Rbf Boos tng C4.5 Nave Bayes Les comparasons ne sont pas possbles!

6 Problème du score non-calbré Y a-t-l des méthodes naturellement ben calbrées? Les méthodes fournssant des scores en adéquaton avec P(Y=+/X) La plupart des méthodes qu proposent des estmatons de P(Y=+/X) sans pour autant reposer sur des hypothèses trop contragnantes Régresson Logstque Analyse Dscrmnante Random Forest + Baggng Arbres Perceptron (RNA) Méthodes à base de noyaux (estmaton non-paramétrque des probabltés) Les méthodes fournssant des scores systématquement extrêmes (proches de 0 ou 1 lorsqu ls sont ramenés dans [0 ; 1]) Bayesen naïf (modèle d ndépendance condtonnelle) Les méthodes fournssant des scores agglutnés autour de la valeur centrale (0.5 lorsqu ls sont ramenés dans [0 ; 1] Les méthodes maxmsant la marge SVM Boostng Arbres 6

7 Fcher de traval et démarche de normalsaton («calbraton», en anglas) des scores Fcher «WAVE» expurgée de la 3ème classe Les classes restantes sont équlbrées (X1) V 10 v s. (X2) V 17 by (Y ) CLA SS Tranng Set (500 obs.) Il sert à construre les modèles de prédcton (Régresson logstque, SVM Rbf, Boostng C4.5 et Nave Bayes). C est à partr de ces classfeurs que l on peut produre les scores non-calbrés. 500 obsv. Tunng Set (500 obs.) Il sert à normalser les scores. Il s agt donc d une sorte de deuxème fcher d apprentssage pusqu l sert à calculer ou à détermner les valeurs «optmales» de paramètres. Partcpant en parte à l apprentssage, l ne peut être utlsé pour évaluer les performances de la technque ou du dspostf ms en place. Test Set (10000 obs.) Il sert unquement à évaluer le(s) dspostf(s) ms en place. negatv e pos tve 7

8 Évaluaton de la qualté d un score Un bon score dot varer entre 0 et 1 et être une bonne estmaton de P(Y=+/X) Le dagramme de fablté (Relablty Dagram, DeGroot & Fenberger, 1982) Idée : Vérfer que dans chaque ntervalle de scores (ex , ,, ), la proporton des postfs est en adéquaton avec la valeur moyenne du score. S ou, le score est ben calbré, c est un bon estmateur de P(Y=+/X). Démarche : Travaller sur le fcher test Applquer le modèle pour obtenr le score de chaque observaton Trer le fcher selon le score crossant Subdvser les données en quantles (ex. décles, quartles, etc.) Dans chaque ntervalle, calculer la proporton des postfs et calculer la moyenne des scores S les chffres concordent dans tous les ntervalles le score est ben calbré Ex. Régresson Logstque ( ndvdus en test) Proporton de postfs dans chaque ntervalle de score Moyenne des scores des observatons dans chaque ntervalle NB CLASS CLASS Plage negatve postve Total P(Y=+) % % % % % Total X Y Moyenne SRegLog Plage Somme % % % % % Le dagramme de fablté est un graphque XY avec en abscsse la proporton de «+» et en ordonnée la moyenne des scores 8

9 Évaluaton de la qualté d un score Dagramme de fablté -- Dstorson selon les méthodes Une méthode fournt des scores ben calbrés s elle permet d élaborer un dagramme proche de la dagonale prncpale. Da g ra m m e d e f a b lt é Dag ram m e d e fa b lt é % % 90.00% 90.00% 80.00% 80.00% Moyenne des scores dans les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% Moyenne des scores dans d les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proport on de s postf s da ns le s nte rva lle s Proporton de s postfs da ns le s nte rva lle s Régresson Logstque Score ben calbré Boostng C4.5 Score mal calbré (ex. ntervalle ) Ex. Dans le deuxème ntervalle ( ), la moyenne des scores est de 30%, et la proporton des postfs dans ce même ntervalle est de #16% 9

10 Normalsaton des scores Méthode de Platt (1999) Utlser la foncton sgmoïde Idée : Une «bonne» foncton de répartton prend «souvent» une forme sgmoïde. Démarche : Travaller sur le tunng set Estmer par maxmum de vrasemblance les paramètres d un foncton sgmoïde qu prend en entrée le score «brut» (s) et renvoe en «sorte» le score calbré (p) Pour chaque ndvdu à «scorer», applquer la transformaton sur son score brut pour obtenr le score normalsé, comparable aux autres méthodes Équaton de transformaton p a s + b 1 = 1 + e Estmé sur le «tunng» set a = 9.53 b = 4.77 Score normalsé Tra nf orm a t on sg m od e d u score Boostng C Score brut 10

11 Normalsaton des scores Méthode de Platt (1999) Utlser la foncton sgmoïde Détal des calculs La (log)vrasemblance L à maxmser est égale à (de manère équvalente, on peut mnmser L) L = y ln( p ) + (1 y La maxmsaton (mnmsaton) s appue souvent sur une méthode d optmsaton numérque (ex. Newton-Raphson, etc.) ) ln(1 p ) avec p a s + b y 1 = 1 + e n n = n ,, s s y ( ) y ( ) Utlsé à la place de y={0,1} pour relatvser l appartenance à Y=+ ou Y=-. On ntrodut ans un «lssage» qu prévent le surapprentssage, surtout sensble lorsque le learnng set sert également de tunng set. = = + Ex. Boostng C4.5 a = -1 et b=0 -L = / en utlsant le «solveur» d Excel :a = -9.53, b = L = 188 Dagramme de fablté Dagram m e de fablté % % 90.00% 90.00% 80.00% 80.00% Moyenne des scores dans les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% Moyenne des scores dans les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton des postfs dans les ntervalles 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton des postfs dans les ntervalles Avant normalsaton, score brut Après, score calbré presque auss ben que la régresson logstque!!! 11

12 Normalsaton des scores Méthode de Platt (1999) Quelques comparasons Dst rb ut on d e s score s a p rè s co rre ct on Reg Logs tque SVM Rbf Boos tng C4.5 Nave Bayes Tous les scores calbrés sont à peu près dstrbués de la même manère mantenant ls sont comparables d une méthode à l autre, sauf pour Nave Bayes qu dffère sgnfcatvement. En fat, elle a été mal normalsée par la méthode de Platt s on se réfère au dagramme de fablté (la normalsaton a même dégradé la stuaton ntale) Da g ra m m e d e f a b lté Da g ra m m e d e f a b lt é % % 90.00% 90.00% 80.00% 80.00% Moyenne des scores dans les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% Moyenne des scores dans les ntervalles 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton de s post f s da ns le s nte rva lle s 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton de s p ostfs da ns le s nte rva lle s Avant normalsaton. Après normalsaton. 12

13 Normalsaton des scores La régresson sotonque Prncpe (Zadrozny & Elkan, 2001) Idée : Construre une foncton de transformaton «m» monotone crossante (sotonque) Équaton de régresson : y = m( ) + ε s avec y 1, s = 0, s y( ) = + y( ) = Crtère des mondres carrés : mn ( y m( )) s 2 Deux éléments de dfférencaton avec l approche précédente (Transf. Sgmoïde) : on optmse le crtère des mondres carrés (et non plus la vrasemblance) la forme de la foncton «m» n est pas spécfée, on cherche parm toutes les fonctons sotonques possbles (N.B. la foncton sgmoïde état sotonque d alleurs ) Démarche : Utlsaton de l algorthme PAV (Pool Adjacent Volators) Travaller sur le tunng set Calculer le score brut et trer les observatons par score brut décrossant Rajouter une colonne des scores normalsés, la premère observaton a un score égal à 1, le derner égal à 0, et par l algorthme PAV, remplr le reste de la colonne Dans le fcher test et en déploement, pour un nouvel ndvdu à «scorer», calculer son score brut Pus, par nterpolaton, avec les deux colonnes scores bruts et scores normalsés du «tunng set», trouver la poston du score brut et attrbuer le score normalsé correspondant 13

14 Normalsaton des scores La régresson sotonque L algorthme PAV (Pool Adjacent Volators) cf. Fawcett & Nculescu-Mzl, 2006 Quelques dées maîtresses : le tableau est tré par score brut décrossant «ntal» correspond à l appartenance aux groupes cette colonne est transformée pett à pett en score normalsé l ne dot pas y avor de «pares contradctores» c.-à-d. un score normalsé plus pett placé devant un score normalsé plus grand (sachant que le tableau a été tré de manère décrossante sur le score brut) nous obtenons une foncton en escaler qu transforme le score brut en score normalsé on peut l utlser pour normalser n mporte quel score brut en déploement 14

15 Normalsaton des scores Régresson sotonque Déploement et évaluaton (Boostng C4.5) Foncton de transformaton T r a n f o r m a t o n s o t o n q u e d u s c o r e B o o s t n g C Score normalsé Rappel Foncton sgmoïde Tra n f o rm a t o n sg m o d e d u sco re Bo o st n g C S c o re b ru t Score normalsé S c o r e b r u t Dagramme de fablté D a g ra m m e d e f a b lt é % % D a g r a m m e d e f a b lt é Moyenne des scores dans les ntervalles % % 80 Rappel.00 % Foncton sgmoïde % % % % % % % 0.00 % 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton des postfs dans les ntervalles Moyenne des scores dans les ntervalles % % % % % % % % % % % % % % % P r o p o r t o n d e s p o s t f s d a n s l e s n t e r v a l l e s La transformaton est ben en escaler, l produt des ex-æquo là où l n y en avat pas sur les scores bruts (c est un nconvénent), mas ça fonctonne ben (dxt le dagramme de fablté) 15

16 Normalsaton des scores Régresson sotonque Déploement et évaluaton (Naïve Bayes) Foncton de transformaton Remarques : Il y a beaucoup d ex-aequo, c est nhérent à la technque C est d autant plus crant que Naïve Bayes produt elle auss un score brut avec beaucoup d ex-æquo (cf. dscrétsaton, les observatons dans les mêmes ntervalles se voent attrbuer le même score) dans le cas présent, la foncton de transformaton adéquate est lnéare et non sgmoïde, en s affranchssant de la forme de la foncton, la méthode sotonque a pu la trouver!!! T ra n f o rm a t o n st o n q u e d u sco re N a ve B a ye s S co r e b r ut Dagramme de fablté % D a g ra m m e d e f a b lt é La qualté de transformaton est remarquable!!! Moyenne des scores dans les ntervalles Da g ra m m e d e fa b lté % 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Proporton des postfs dans les ntervalles Avant norm alsaton. Moyenne des scores dans les ntervalles 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% % Pro p o rt o n d e s p o st f s d a n s le s n t e rva lle s 16

17 Références Transformaton sgmoïde J. Platt, «Probablstc outputs for support vector machnes and comparson to regularzed lkelhood methods», Advances n Large Margn Classfers, pp , Régresson sotonque B. Zadrozny, C. Elkan, «Obtanng calbrated probablty estmates from decson trees and nave Bayesan classfers», Proc. ICML, Comparason emprque et mse en œuvre avec pluseurs méthodes supervsées A. Mzl, R. Caruana, «Predctng Good Probabltes wth Supervsed Learnng», Proc. ICML,

18 Concluson Calbrer les scores est mportant dès qu on veut les nterpréter, applquer des coûts de mauvase affectaton, comparer ou combner des scores. Certanes méthodes fournssent des scores naturellement ben calbrés et/ou se prêtent à des transformaton analytques smples et reconnues (cf. régresson logstque, analyse dscrmnante, arbres de décson, baggng, etc.). D autres méthodes, en revanche, sont mal calbrées (cf. SVM, Nave Bayes, Boostng, etc.) Il y a deux technques de transformaton : la transformaton sgmoïde (Platt, 1999), très smple mas pas toujours approprée ; et la régresson sotonque (Zadrozny & Elkan, 2001), plus générque mas lourde et complquée à mettre en œuvre. 18