Arbres de décision. Définition. Apprentissage par partitionnement. Principe. Frontière de décision. Découpes orthogonales : iris.

Transcription

1 Définition Arbrs d décision Maria Rifqi arbr prmttant d classr ds nrgistrmnts par division hiérarchiqu n sousclasss un noud rprésnt un class d plus n plus fin dpuis la racin un arc rprésnt un prédicat d partitionnmnt d la class sourc put êtr intrprété comm ds règls d déduction problèms : commnt choisir ls attributs commnt isolr ls valurs discriminants Princip Classification basé sur un séqunc d qustions portant sur un attribut. La qustion st rprésnté par un nœud On prnd la branch qui corrspond à la répons jusqu à la qustion suivant. La fuill désign la class corrspondant à l objt à classr. Apprntissag par partitionnmnt Objctif : on vut construir ds sousgroups ls plus «homogèns» du point d vu d la variabl à prédir La variabl qualitativ Y prnd ss valurs dans {, } L sousgroup st complètmnt pur du point d vu d Y, il n possèd qu ds individus portant la valur d Y Frontièr d décision Découps orthogonals : iris Partition rctangulair d l spac ds caractéristiqus : ls arbrs tracnt ds frontièrs prpndiculairs aux axs découpnt ds hyprrctangls Pour un arbr suffisammnt grand, on put approximr n import qull frontièr d décision. R2 R3 R

2 Choix du tst Titanic Sur ls 220 passagrs du Titanic, nous connaissons l sort ds 2/3 : survivants : 476 (32.3%) morts : 962 (67.7%) Tout c qu'on sait n plus : la class d la cabin où ils voyagaint èr3èm 0 pour l'équipag Qustion : A partir d cs donnés, commnt prédir l sort ds autrs passagrs? Class Sort Survi Survi Survi Arbr d décision à nivau Titanic : ls donnés complèts Règl d classification par défaut : prédir la class majoritair (mort) > taux d bin classés (TBC) : 67.7% Commnt fair miux? Exploitr notr uniqu variabl prédictiv! partitionnr ls donnés suivant ls différnts valurs pour chaqu partition, prédir la class majoritair 443 Surv 44 Class Surv 35 Surv 8 Surv 6 TBC=7% Miux qu la règl par défaut Ls donnés historiqus sur ls passagrs du Titanic Variabls prédictivs Class : discrèt {0,,2,3} class 0 = l équipag Ag : discrèt {adult, nfant} Sx : discrèt {m, f} Variabl cibl Sort : survi (7 x = 32.3%) mort (490 x. = 67.7%) Class Ag Enfan t Sx M M M F F Sort Survi Survi Survi Arbrs d décision : généralisation à p> variabls Il suffit d rprndr la méthod d partitionnmnt d manièr récursiv. Algorithm d construction d'un arbr d décision S = nsmbl d apprntissag X = ns. variabls prédictivs Y = variabl cibl (class) DT (S, X, Y) crér nœud T si tous ls cas d S Î un class y alors rtournr T avc préd = y si X = f alors rtournr T avc préd = class majoritair dans S. x < choisir attribut à tstr dans X Pour chaqu valur v d x Sv < sousnsmbl d S ayant X = v DT (Sv, X {x}, Y) 2

3 Exmpl Day outlook tmp humidity wind play D sunny hot high wak No D2 sunny hot high strong No D3 ovrcast hot high wak Ys D4 rain mild high wak Ys D5 rain cool normal wak Ys D6 rain cool normal strong No D7 ovrcast cool normal strong Ys D8 sunny mild high wak No D9 sunny cool normal wak Ys D0 rain mild normal wak Ys D sunny mild normal strong Ys D2 ovrcast mild high strong Ys D3 ovrcast hot normal wak Ys D4 rain mild high strong No Classr ls xmpls par humidity fournit un plus grand gain d information qu par wind. Dans c cas, cpndant, on put vérifir Qu outlook a l plus grand gain d information, Il st donc sélctionné comm racin d l arbr. S: [9,5] (E = 0.940) humidity? high normal [3,4] (E = 0.985) [6,] (E = 0.592) Gain(S, humidity) =.940 (7/4)*.985 (7/4)*.592 =.5 S: [9,5] (E = 0.940) wind? wak strong [6,2] (E = 0.8) [3,3] (E =.00) Gain(S, wind) =.940 (8/4)*.8 (8/4)*.0 =.048 Arbr d décision t règls d décision no humidity outlook sunny ovrcast rain ys windy > 75%<= 75% > 20 <= 20 ys no ys Règl : If (outlook= sunny ) AND (humidity<=0.75) Thn (play= ys ) Règl 2: If (outlook= rainy ) AND (wind>20) Thn (play= no ) Règl 3: If (outlook= ovrcast ) Thn (play= ys )... Évaluation ds prformancs Pour évalur un systèm d apprntissag ntraînr sur un nsmbl d apprntissag TRN évalur sur un nsmbl d tst TST x. 2/3/3, 5050, tc., suivant la taill ds donnés disponibls Commnt intrprétr l TBC? règl par défaut : choisir la class modal (la plus fréqunt) l pourcntag d la class modal : référnc d bas ("baslin") pour jugr l taux d réussit obtnu un TBC d 99.% n'st pas imprssionnant si la class modal rprésnt 99% Ex. du Titanic : TBC du classifiur généré par C5 = 78% : amélioration significativ sur l taux d bas (68%) Validr l arbr Validation statistiqu variabls qualitativs : msurr un matric d confusion Taux d rrur : proportion d individus mal classés variabls quantitativs : utilisation d la varianc Validation opérationnll : analysr l profil dscriptif (règls) d crtains groups par simpl bon sns évitr d découvrir ds évidncs (règls inutils) Évaluation ds résultats Un indicatur d prformanc : l taux d rrur Proportion d individus mal classés Appliqué sur l échantillon d apprntissag, taux d rrur n rsubstitution Biais d stimation : c st un taux trop optimist (un ds objctifs d l apprntissag étant d minimisr l rrur, l classifiur a d forts chancs d êtr millur sur l échantillon d apprntissag) Schéma apprntissagvalidation : On subdivis aléatoirmnt l échantillon d travail n dux fractions : La prmièr srt classiqumnt à l apprntissag La scond, applé validation, st utilisé pour évalur ls prformancs du classifiur Évaluation ds résultats La crossvalidation Répons au problèm d la trop grand dépndanc visàvis du fichir d validation Ctt tchniqu procèd à un répétition du schéma apprntissag/validation sur différnts fractions constitués à partir ds donnés initials 3

4 Snsibilité / spécificité Snsibilité / spécificité Snsibilité : fréqunc d la présnc d un sign chz ls malads (ffctif d faux positifs parmi ls nonmalads) Spécificité : fréqunc d l absnc d un sign chz ls non malads (ffctif d vrais positifs parmi ls malads) Courb ROC Ls courbs ROC (Rcivr Oprating Charactristic) prmttnt d'étudir ls variations d la spécificité t d la snsibilité d'un tst pour différnts valurs du suil d discrimination. En Y l taux d vrais positifs (Snsibilité ) En X l taux d faux positifs ( spécificité) Critèr d arrêt d la construction d l arbr Au départ, ls critèrs d arrêt étaint : l absnc d apport informationnl ds attributs prédictifs ( G = 0, I= 0, tc.) l homogénéité total d la partition construit Ls donnés puvnt êtr bruités par ds rrurs d msurs, d saisi ou l concpt sousjacnt put n pas êtr détrminist Partionnmnt xcssif Nécssité d trouvr un règl d arrêt lors d l xpansion d l arbr Taill minimal d un sommt : Ls règls d production sont xtraits ds sommts trminaux ls groups corrspondant doivnt avoir un cardinal suffisammnt important Ls règls induits doivnt êtr «statistiqumnt» intérssants Tout décomposition ntraînant au moins un group d cardinal infériur à la taill limit st rfusé (mêm si ls autrs groups présntnt ds caractéristiqus intérssants) Choix d la valur limit : souvnt un valur d 5 préconisé Critèr d arrêt d la construction d l arbr Critèr statistiqu (id3) L princip résult d l obsrvation slon laqull tout partition ngndr d l information C gain stil suffisammnt significatif t non pas résultant du hasard d l échantillonnag? Utilisation du tst du χ2 : un partition local st accpté si on rjtt l indépndanc ntr ls classs t l attribut candidat Élagag Divrss méthods Optimisation d un critèr d classmnt, utilisation d un échantillon tst Élagag n utilisant un critèr statistiqu Evitr l surapprntissag Phnomèn d surapprntissag: Améliorr un modèl n l rndant millur sur l nsmbl d apprntissag t d plus n plus compliqué Accroît l risqu d modélisr l bruit t d fair concidr l modèl avc la bas d apprntissag Réduit l pouvoir d prédiction d un xmpl inconnu Approchr un courb avc trop d paramètrs Surapprntissag : Définition Errur d l hypothès h sur La bas d aprntissag: rrur app (h) La distribution total D ds donnés: rrur D (h) Hypothès h H surapprnd la bas d aprntissag si il y a un hypothès altrnativ h H tll qu : rrur app (h) < rrur D (h ) t rrur D (h) > rrur app (h ) 4

5 Surapprntissag : xmpl Surapprntissag : fft sur l taux d prédiction air probablmnt avc ds mauvaiss prédictions Phénomèn typiqu lors d un surapprntissag : L taux d prédiction augmnt sur la bas d apprntissag L taux d prédiction commnc à baissr sur ls xmpls inconnus accuracy ovrfitting starts about hr accuracy on training data accuracy on unsn data siz of tr Élagur l arbr Élagag d l arbr Objctif : minimisr la longuur d la dscription ds donnés par un arbr Ctt méthod coup ds partis d l'arbr n choisissant un noud t n nlvant tout son sousarbr. Cci fait donc du noud un fuill t on lui attribut la valur d classification qui rvint l plus souvnt. Ds nouds sont nlvés sulmnt si l'arbr résultant n'st pas pir qu l'arbr initial sur ls xmpls d validation. On continu tant qu l'arbr résultant offr d millurs résultats sur ls xmpls d validation. Cci a pour but d réduir l'arbr n nlvant ds branchs qui auraint été ajoutés par un rrur dans ls xmpls. Si on ajout un rrur dans l xmpl du tnnis n modifiant l prmir xmpl, on obtint l arbr suivant : Journé Cil Tmpératur Humidité Vnt JourTnnis J Solil Chaud Élvé Faibl Non J Solil Chaud Normal Faibl Non L'élagag pour ct arbr consist à nlvr l noud Tmpératur qui vint d'êtr ajouté avc l'rrur. Par la suit, on tst l nouvl arbr élagué sur ls xmpls d validation. Si la prformanc n'st pas diminué, alors on consrv l'arbr élagué. outlook humidity high normal outlook sunny ovrcast rain P windy tru fals high N sunny ovrcast rain humidity normal tmpratur P N windy tru fals P N P N P cool mild hot N P P Valurs d'attributs manquants S il y a ds valurs pour crtains attributs qui n sont pas disponibls, alors on put : Donnr la valur moynn pour ct attribut. On rgard ls autrs xmpls t on calcul la moynn ds valurs présnts. On utilis ctt moynn pour stimr la valur manquant dans l calcul du gain d'information. Attribur un probabilité pour la valur manquant. On rgard ls autrs xmpls t on calcul la probabilité d chaqu valur possibl pour l'attribut. On utilis par la suit ss probabilités pour calculr l gain d'information. Pour la prmièr stratégi, ls calculs n changnt pas. On n fait qu'utilisr la valur moynn pour rmplacr la valur manquant. Pour la duxièm stratégi, ls calculs sont un ptit pu modifiés pour utilisr ls probabilités. On commnc par calculr la probabilité d chacun ds valurs possibls pour l'attribut manquant. Par xmpl, supposons qu'il nous manqurait un valur pour l'attribut Vnt. La probabilité qu l vnt soit faibl, slon nos xmpls d'ntraînmnt st d 8/4 * 00 = 57%. La probabilité qu l vnt soit fort st d 6/4 * 00 = 43%. Cci va nous donnr ds fractions d'xmpls dans nos calculs Attributs multivalués Il y a un ptit problèm avc la fonction d gain d'information. Lorsqu ls attributs ont baucoup d valurs possibls, comm par xmpl un attribut dat, lur gain st très élvé, car il classifi parfaitmnt ls xmpls. Par contr, ils vont générr un arbr d décision d'un profondur d qui n sra pas très bon pour ls instancs futurs. Solution : on put utilisr un fonction qui s nomm GainRatio qui pénalis ls attributs qui ont trop d valurs possibls. 5

6 Attributs à valurs continus On utilis un point d coup pour obtnir un discrétisation ds variabls continus. Ex: la variabl Tmpératur st continu t on a ls 6 xmpls suivants. Tmpératur JourTnnis Non Non Oui Oui Oui Non On mt ls valurs n ordr croissant t on rgard ls ndroits ou la class chang d valur. À cs ndroits, on choisit la médian comm valur d coup. On compar touts ls valurs d coup t on choisit cll qui apport l plus grand gain d'information. 6