Processus Data Mining. couple «description, classe»

Transcription

1 Méthdes de classificatin supervisées Les méthdes de segmentatin u les arbres de décisin ves Lechevallier INRIA-Rcquencurt 7853 Le Chesnay Cedex E_mail : ves.lechevallier@inria.fr Phase A : Entrepôt de dnnées Entrepôt de dnnées Dnnées Opératinnelles Prcessus Data Mining Phase B : Explratin Ensemble d apprentissage Ensemble validatin Ensemble de test Phase D: Chix du mdèle Phase E: Prédictin / Scring Phase C Mdélisatin Ensemble de règles Classifieurs Scres Règles 2 Méthdes de classement Discriminatin Les méthdes de classement nt pur bjet d identifier la classe d appartenance d bjets définis par leur descriptin Un bjet à classer est une entité appartenant à une ppulatin thérique cnstituant l ensembles des bjets susceptibles d avir à être classés. Cette ppulatin est suppsée cnnue de façn exhaustive. 3 Ntatins cuple «descriptin, classe» Objectif des méthdes de classement est muni d une partitin (,,. {,,} la fnctin de classement D espace de descriptin (suvent R p Un cuple (x,y ùxreprésente sa descriptin et y l indice de sa classe d appartenance. D Un cuple (x,y ùx représente sa descriptin et y l indice de sa classe d appartenance. Truver une prcédure de classement, dite fnctin de décisin, qui à tute descriptin de D furnit l indice d une classe de. D ^ Cette prcédure devra être aussi bnne que pssible et furnir le classement des bjets de à partir de leur descriptin

2 Fnctin de décisin Fnctin de décisin Espace de descriptin D Tute fnctin de décisin induit sur une partitin en classes ( R,..., R,..., R appelées régin d'affectatin de { x D / ( x } R ( Pur un descripteur et une fnctin de décisin n peut définir sur une partitin en classes d'affectatin. 7 Tus les bjets appartenant à une même classe d'affectatin snt attribués de la même façn par D ( ( ˆ R ^ ˆ,..., ˆ,..., ˆ ( (,...,,..., 8 élément de E D 9 j valeur dans D p Classes a priri Fnctin de décisin Tableau de dnnées élément de E valeur dans D élément de E valeur dans D Tableau de dnnées (mdèle «vectriel»,, j p j R p Représentatin dans R p de tris Iris. 2 ˆ ( ( ˆ R D 0 ˆ,..., ˆ,..., ˆ ( D Web Site : 2

3 Visualisatin des iris Thérie de la décisin bayésienne Cncepts prbabilistes On sélectinne deux variables: Sepalwidth et Sepallength Les tris classes snt représentées par 3 culeurs différentes 3 Cette l apprche statistique de la recnnaissance des frmes. Cette apprche est basée sur une quantificatin de différentes classificatins utilisant les cûts et les prbabilités accmpagnant ces classificatins. Un ramasseur de champignn désire éliminer les amanites phallïdes de sa réclte. Il suppse que 5% des champignns des sus bis qu'il fréquente snt des amanites phallïdes. Il pense que 90% des amanites phallïdes présentent une vlve à la base du pied alrs que ce caractère n'est présent que chez 20% des autres espèces qu'il est susceptible de ramasser. Si un champignn présente une vlve quelle décisin dit-il adpter? 4 La ppulatin est munie d'une mesure de prbabilité Pr ce qui permet de relativiser la pssibilité d'apparitin des différents bjets à classer. Dans le cas général, la mesure de prbabilité Pr n'est pas cnnue. Elle permet de définir la prbabilité d'apparitin des classes d'une part et les lis régissant les variatins ptentielles des descriptins d'autre part. La prbabilité assciée à chacune des classes dite prbabilité a priri π Pr( Pr( 5 Vraisemblance Vraisemblance cnditinnelle Thérie de la décisin bayésienne La li de prbabilité de est appelée la vraisemblance de. Si l'espace de descriptin est discret n peut écrire ( L ( Pr Sinn c est la densité de prbabilité de au pint x. Une descriptin particulière x est d'autant plus vraisemblable qu'elle a une frte chance d'apparaître. 6 Une descriptin particulière x est d'autant plus vraisemblable, pur une classe, qu'elle a une frte chance d'apparaître chez les bjets de cette classe. L ( Pr x / ( L'aspect cnditinnel de la vraisemblance prend en cmpte la structure distributinnelle différenciée des descriptins dans chacune des classes. Si le descripteur était identiquement distribué dans chaque classe, et si dnc chaque descriptin était aussi «vraisemblable» dans chacune des classes, n ne purrait pas prétendre utiliser pur classer les bjets. Seule la fréquence des classes servirait à la discriminatin. 7 Nus avns deux états de la nature, les amanites phallïdes: avec P( P[]0.05. et les autres champignns: 2 avec P( 2 P[2]0.95. Le descripteur est la questin «présence d une vlve» qui est la variable aléatire discrète ayant deux réalisatins u mdalités «Oui» «Nn». La prbabilité d avir une vlve sachant que le champignn est une amanite phallïde est de 0.9 d ù : P[ Oui/]0.9 et P[ Oui/2]0.2. 8

4 Frmule de Bayes Erreur de classement Fnctin de cût Le prmeneur bserve que ce champignn pssède une vlve. Quel est la prbabilité que ce champignn est une amanite phallïde? Cette prbabilité est P[/ Oui] Sachant que la prbabilité jinte sur et peut être écrite suivante deux frmes :P[ x et y] P[ x/y].p[y]p[y/x].p[x] D ù P[/ Oui] P[ Oui/].P[]/ P[ Oui] P[ Oui]P[ Oui et ] P[ Oui et 2] P[ Oui]P[ Oui /].P[] P[ Oui/2].P[2] qui est la frmule de Bayes. Cette frmule peut exprimer par : a psteriri ( vraisemblance x a priri/ évidence 9 A chaque fnctin de décisin n a une règle de décisin Si ( alrs x ˆ La perfrmance glbale R( de la fnctin de décisin est la myenne des prbabilités d'erreur de cette fnctin de décisin sur l'espace de descriptin. ( ˆ Pr( ˆ h. R( Pr[ ] Pr h * La règle d'affectatin est la règle de bayes d'erreur minimale si elle est vérifie : ˆ R( R( * 20 Il faut d'intrduire une fnctin de cût capable de quantifier le risque d'un mauvais classement. Le caractère mrtel de l'amanite phallïde cnduit à pser cmme fnctin de cût : C( amanites phallïde/ amanites phallïde 0 C( amanites phallïde/ amanites phallïde La règle d'affectatin de Bayes de risque minimal cnduit alrs à rejeter systématiquement tut champignn présentant une vlve. Les cnséquences d'une erreur étant infinies, le risque est réduit en adptant une règle d'exclusin systématique des champignns ayant une vlve. C'est la réactin naturelle de beaucup de prmeneurs 2 Cût de la décisin Thérème de Bayes Deux frmes symétriques Pur une fnctin de décisin de Φ et la distributin a priri des états le cût myen est égal à : [ ( ( / y ] C( ( / y f ( x, y dxdy ρ( π, E C xr p qui est le cût de remplacer (x,y par ( x, ˆ( 22 On nte : π(y la densité crrespndant à l état y; f y ( la densité sur R p si l état y est chisi. P[y] P[x/y] p x (y la densité sur si la réalisatin x est bservée P[y/x] la densité dans R p D après de thérème de Bayes nus avns P[x] π( y. f y( px ( y avec f( π( d 23 [ ( ( / y ] C( ( / y ( f ( x dxdy ρ( π, E C π y xr p Fnctin de risque asscié à cnditinnellement lrsque l état y est réalisé : ρ( π, R( y, π( y dy avec R( y, C( ( / y f y ( dx R p 2 Fnctin de risque assciée à cnditinnellement lrsque la réalisatin x est bservée (risque à psteriri ρ( π, r( x, ˆ dx p R avec r( x, C( ( / y π ( y dy x 24

5 Les slutins de Bayes Sit π une mesure de prbabilité sur (ensemble des états de la nature. On appelle slutin de Bayes par rapprt à π tute fnctin de décisin telle que : Ŷ π ρ( π, π ρ( π, Φ Si n peut truver une fnctin de décisin telle que : r( x, r( x, π Φ x R alrs est une slutin de Bayes par rapprt à π. La décisin π qui minimise le risque à psteriri est une slutin de Bayes. 25 Ŷ π p Le cût myen de l'affectatin à la classe Ce cût myen est l'espérance mathématique de la fnctin cût, cnditinnellement à la descriptin x et est égal à : C ( / h C( / h Pr( h / La règle d'affectatin lcalement ptimale en x cnsiste alrs à attribuer l'bjet décrit par x à la classe qui minimise ce cût myen. x *( ù est tel quec( / minc ( h/ En myenne, c'est la règle «la mins cûteuse». On l'appelle la règle d'affectatin de Bayes de risque minimum. 26 Apprche Bayésienne Prbabilités a priri des classes π Les lis de prbabilité L ( du vecteur x dans chaque classe a priri. Une fnctin C de cût du classement d un bjet de la classe a priri P dans la classe d affectatin P h cût C(h/ Une fnctin de décisin *. 27 Règle de Bayes d erreur minimale x *( ù est telquepr( / maxpr( h / Cette définitin est peu pératinnelle, en effet, n cnnaît rarement la prbabilité d'un classement sachant une descriptin. Thérème de Bayes π L x Pr[ ] Pr( / L ( L( ( Pr[ x / ] est la densité de la classe *( ù est telquepr( / max L ( 28 π π Les descriptins suivent une li nrmale Le descripteur des exemples est cnstitué de p descripteurs numériques et que sa distributin, cnditinnellement aux classes, suit une li nrmale multidimensinnelle centrée sur le vecteur µ et de matrice de variance-cvariance Σ. La vraisemblance cnditinnelle de pur la classe s'écrit alrs p 2 t ((2π det Σ ex ( x µ Σ ( x L ( µ 29 2 densité -> L ( densité de deux lis nrmales de variances égales x -> mu.67, sigma 0. F mu.76, sigma 0. H Exemple densité -> Pr( / L ( L( π prbabilité a psteriri Les variances et les prbabilités a priri snt égales x -> psteriri F psteriri H 30

6 Exemple 2 énéralisatin énéralisatin densité -> L ( Pr( / Les variances snt inégales égales Les prbabilités a priri snt égales L ( L( densité de deux lis nrmales de variances # prbabilité a psteriri.0 mu.67, sigma 0.07 F psteriri F mu.76, sigma 0. H.0 psteriri H x -> x -> 3 densité -> π Capacité de bien affecter de nuvelles dnnées Mdèle simple 32 Mdèle un peu trp flexible Cmplexité du mdèle : Cmment adapter au mieux le mdèle aux dnnées sachant que l n ne pssède qu un échantilln? 33 Cmplexité du mdèle Cmment amélirer cette slutin? Les arbres de décisin Analyse discriminante linéaire Perceptrn 2 b a Un arbre de décisin est un enchaînement hiérarchique de règles lgiques u de prductin cnstruites de manière autmatique à partir de E. La cnstructin de l arbre de décisin cnsiste à utiliser les descripteurs, pur les subdiviser prgressivement l ensemble E en sus-ensembles de plus en plus fins

7 Exemple d arbre binaire Segmentatin/arbres de décisin Cnstructin d'un arbre de décisin rge nn irritée Bien-prtants 9 Malades Bien-prtant Température < 37.5 Bien-prtants 97 Malades 38 rge irritée Règle : [température > 37.5] Bien-prtants 00 Malades 00 Bien-prtants 6 Malades 37 Malade Température > 37.5 Bien-prtants 3 Malades 62 Malade Règle 2 : [température < 37.5] ET [grge irritée]: Règle 3 : température < 37.5] ET NON[grge irritée] "Malade" Règle Règle 2 "Bien-prtant" Règle 3 37 Décupage successif de E à l aide d une séquence de règles de prductin. Dans chaque sus-ensemble, une nuvelle évaluatin est faite, celle-ci va permettre un nuveau décupage. Les ensembles terminaux snt appelés feuilles et les ensembles intermédiaires snt appelés nœuds. 38 un mde d'écriture des questins binaires, une règle d'étiquetage de chacun des segments terminaux, un critère d'évaluatin de la qualité d'une subdivisin pur déterminer la meilleure subdivisin d'un nœud intermédiaire, un critère d arrêt permettant d'arrêter la cnstructin de l'arbre et décider si un nœud est une feuille. 39 Définitin d'un arbre binaire Un arbre binaire est défini par un triplet (T, g, d cnstitué d'un ensemble T nn vide d'entiers psitifs et de deux fnctins g et d définies sur T. Les fnctins g et d respectent les deux prpriétés caractéristiques : ( g( 0 d ( 0 ( g( > 0 d ( > 0 Autre que le plus petit entier de T, il existe pur chaque t un élément unique s de T tel que ( t g( s ( t d( s Les éléments de T snt les nœuds de l'arbre et le plus petit élément de T la racine de l'arbre. 40 Définitins si ( s g( ( s d( alrs le nœud t est appelé père de s. si si s g( alrs s est appelé fils gauche du nœud t s d( alrs s est appelé fils drit de t Si g( 0 d ( 0 appelé nœud terminal. le nœud t n'a pas de fils alrs il est Dans le cas cntraire t est appelé nœud nn terminal de T. On nte T l'ensemble des segments terminaux de T. A chaque segment terminal n peut asscier une régin de D 4 Sus-arbre élagué 4 Sus-arbre Sus-arbre quelcnque T est appelé sus-arbre de T si les tris éléments T, g' et d' définissent un arbre Un sus-arbre est dit «élagué» s il pssède la racine et dans ce cas l ensemble des segments terminaux frme une partitin de D 42

8 variable cntinue [ > 3.5]? Questin binaire Q 0 Q g( t Dans le cas d une variable cntinue n évalue tutes cupures pssibles c est-à-dire au maximum n- Pur une variable qualitative rdnnée, n évalue ainsi au maximum m- bipartitins t Dans le cas d'une variable qualitative nn rdnnée, n se heurte vite à un prblème de cmplexité, le nmbre de dichtmies du dmaine d'bservatin étant alrs égal à 2 m- -. d( t Variable qualitative [ { m,..., m }]? h 43 Règle ptimale d'étiquetage d'un segment terminal Une règle d'étiquetage d'un arbre T est une applicatin définie sur l'ensemble T des segments terminaux de l'arbre T dans C( / h C ( / Pr( h / h La perfrmance glbale est mesurée par le risque asscié à sn utilisatin C C ( t * *.Pr( t T À partir des fréquences empiriques ( Cˆ( / C( / h υ( t h υ Cˆ Cˆ ˆ ( t T υ( n 44 Chix d'un critère d'évaluatin Il y a étiquetages pssibles pur t. La myenne pndérée des risques assciés à ces différentes étiquettes s'écrit sus la frme. C ( C ( / Pr( / h C( / hpr( h / Pr( / Cette quantité représente également l'espérance mathématique du risque encuru à affecter aléatirement les descriptins de t suivant la li Pr( ˆ( / x Pr( / Le gradient du risque, induit par une questin Q au nœud t ( Q, C ( C g( Pr g( / t C d( Pr d( t [ ( ( ( ( ] C / Rechercher * ( Q, max C Q C ( Q, 45 Cas ù les cûts d'un mauvais classement snt identiques Si les cûts d'un mauvais classement snt tus identiques alrs le risque asscié au segment t prend la frme de l'indice d'impureté de ini utilisé dans CART i ( Pr( / Pr( h / h h La ntin d'impureté a été intrduite par Breiman et al. [BRE84] et elle caractérise un cncept très utile dans les méthdes de segmentatin. 46 Impureté Pur mesurer la qualité d une cupure au nœud t et le puvir discriminant de l arbre n va utiliser la ntin d impureté qui caractérisera le degré de mélange du nœud. Un nœud est dit pur si le segment qui lui est asscié ne cntient que des descriptins d'éléments d'une même classe. Inversement un segment est d'impureté maximum quand les classes snt équiprbables dans ce segment. 47 i( : impureté d un nœud t Cupure du nœud t tg n g, n 2g,, n g t n, n 2,, n t d n d, n 2d,, n d L algrithme cnsiste à maximiser de diminutin de l impureté [ t i( t t i( t ] i i( g g d d avec n( / N, t / et t n( t / n( g 48 g

9 Prpriétés de l impureté i( Φ( /, 2 /,..., / être une fnctin symétrique des / être minimum si le nœud est pur (/,,/(,0,..,0 u (0,,..,0 u (0,.., Être maximum si le mélange est identique à la distributin de départ (parfai (/,,/(n /n, n 2 /n,.., n /n Être une fnctin cncave afin que la diminutin d impureté sit tujurs psitive u nulle La diminutin est nulle si quel que sit n a : //t g 49 Quelques définitins de l impureté Indice de diversité de ini (CART i( r s, s r r / s / r L entrpie de Shannn (ID3 i( i r r / lg 2 r / [ r / ] r 2 p ( r / 50 Impureté de l arbre T est l ensemble des nœuds terminaux, l impureté de l arbre T est: I( T I( i( t T t T On a : I( T I( T I( T t t t i( Minimiser l impureté à chaque cupure revient à minimiser l impureté ttale de l arbre 5 g d Règle de décisin Critères d arrêt de l arbre Validatin de l arbre Règle d affectatin d un nœud Le nœud t est affecté à la classe j si j/ est supérieur à tus les / r( max / j / r ; r r / r( est le taux apparent de mauvais classement du nœud t Taux apparent de mauvais classement de l arbre R( T t T r( 52 j On arrête le décupage du nœud t si: t est pur l impureté est au dessus d un seuil s variatin de l impureté trp faible nmbre d individus dans t est trp faible t est presque pur On btient ainsi l arbre maximal Tmax 53 La crissance de l arbre permet de faire cnverger l estimateur de p ( / vers / t Au nœud t quand le nmbre de nœuds crît il y une réductin du biais n ( E / n ( n ( une augmentatin de la variance Var / ( / n( n( Cmprmis biais/variance 54

10 Le cmprmis biais/variance la cmplexité du mdèle est elle suffisante pur réaliser une apprximatin crrecte de la fnctin de décisin *? L erreur d estimatin réalisée sur l échantilln est un bn indicateur de la perfrmance du mdèle sur les dnnées futures? L estimatin de * est elle très dépendante de l échantilln? 55 Recherche de l arbre ptimal Élagage de l arbre: L arbre maximal Tmax est cnstruit en minimisant l impureté. L arbre est trp dévelppé pur être rbuste En élaguant prgressivement l arbre maximal, n cnstruit une suite de sus-arbres qui snt tus embîtés avec l arbre maximal 56 Critère de réductin de la cmplexité R ( T R( T α T α α est un cefficient de pénalité Pur α dnné, n chisit l arbre élagué T α ptimal en minimisant, sur l échantilln test u par validatin crisée, le risque myen R α (T. Puis, parmi ces arbres, le meilleur est retenu. Existe-t-il parmi ces sus-arbres un arbre T qui minimise ce risque? Est-il pssible de cnstruire un algrithme d élagage efficace? 57 Avantages des arbres Avantages Méthde est nn paramétrique et insensible aux valeurs extrêmes Elle permet de traiter de variables de natures différentes Elle cmprte une sélectin des variables Elle détermine des sus-ppulatins définies par des règles facilement interprétables. On peut isler certains nœuds et définir des classes de risque Incnvénients des arbres Incnvénients La méthde peut être peu rbuste car elle sélectinne pas à pas les variables Elle est liée à la définitin de seuils dnc elle est sensible à de légères perturbatins sur les dnnées La cnstructin est assez délicate en particulier au mment de l élagage. Il est difficile de sélectinner l arbre ptimal 58 59