Combiner des apprenants: le boosting

Transcription

1 Types d expers Combner des apprenans: le boosng A. Cornuéjols IAA (basé sur Rob Schapre s IJCAI 99 alk)! Un seul exper sur l ensemble de X! Un exper par sous-régons de X (e.g. arbres de décsons)! Pluseurs expers, ous sur l ensemble de X! Pluseurs expers spécalsés sur des sousrégons de X Boosng 2 Types d expers Types d apprenssage Domane(s) Exper(s) Sur X Sous-régons de X! Chaque exper apprend sur l ensemble d apprenssage S m! Ulsaon de dfférens arbus (e.g. arbres de décsons, co-learnng) Un exper Ensemble d expers Classque Boosng Arbres de décsons! Ulsaon de dfférens ensembles d apprenssage pour chaque exper (e.g. boosng)! Combnason de ou cela Boosng 3 Boosng 4

2 Prédcon de courses hppques Commen gagner aux courses?! On nerroge des pareurs professonnels! Supposons: Que les professonnels ne pussen pas fournr une règle de par smple e performane Mas que face à des cas de courses, ls pussen oujours produre des règles un peu melleures que le hasard! Pouvons-nous devenr rche? Boosng 5 Boosng 6 Idée Quesons! Demander à l exper des heursques! Recuellr un ensemble de cas pour lesquels ces heursques échouen (cas dffcles)! Ré-nerroger l exper pour qu l fournsse des heursques pour les cas dffcles! E ans de sue! Combner oues ces heursques! Commen chosr les courses à chaque éape?! Se concenrer sur les courses les plus dffcles (celles sur lesquelles les heursques précédenes son les mons performanes)! Commen combner les heursques (règles de prédcon) en une seule règle de prédcon?! Prendre une voe (pondéré) majorare de ces règles! Un exper peu auss ben êre un algorhme d apprenssage peu performan (weak learner) Boosng 7 Boosng 8

3 Boosng Illusraon! boosng = méhode générale pour converr des règles de prédcon peu performanes en une règle de prédcon (rès) performane! Plus précsémen : Éan donné un algorhme d apprenssage fable qu peu oujours reourner une hypohèse de aux d erreur!1/2-" Un algorhme de boosng peu consrure (de manère prouvée) une règle de décson (hypohèse) de aux d erreur! #! So X un espace d enrée à 10 dmensons! Les arbus son ndépendans e de dsrbuon gaussenne! L équee es défne par : avec : u =! 2000 exemples d apprenssages (1000+;1000-)! exemples de es 2 $ 1 s " j=1,10 x % j & #1 snon! 2 10 (0,5) = 9,34! Apprenssage d arbres de décson >! 2 10 (0,5) Boosng 9 Boosng 10 Illusraon (con.) Plan 0,5 0,4 0,3 0,2 0,1 0,0 Arbre à un noeud Arbre à 400 noeuds Arbres à un nœud avec boosng! Inroducon au boosng (AdaBoos)! Expérences! Concluson! Analyse de l erreur en apprenssage! Analyse de l erreur en généralsaon basée sur la héore des marges! Exensons! Bblographe Boosng 11 Boosng 12

4 Boosng : vue formelle Le prncpe général! Éan donné l échanllon d apprenssage S!= {(x 1,y 1 ),,(x m,y m )}! y ${%1,+1} équee de l exemple x $ S D T X h T! Pour = 1,,T: Consrure la dsrbuon D sur {1,,m} Trouver l hypohèse fable ( heursque ) h : S & {%1,+1} avec erreur pee # sur D : " = PrD [ h ( x )! y ] D 2 D 1 X h 2 X h 1 H fnale (x) = sgn # $ % T " = 0 &!. h (x) '(! Reourner l hypohèse fnale h fnal D 0 X h 0! Commen passer de D à D +1? Boosng 13! Commen calculer la pondéraon '? Boosng 14 AdaBoos [Freund&Schapre 97]! consrure D : Éan donnée D e h : D + 1 D ( ) 1 = &' D # e f y = h ( x ) = % " ' Z! e f y $ h ( x ) D =! exp( "#! y! h ( x )) Z 1 m où: Z = consane de normalsaon 1 & 1' ( # ) ln > 0 2 $! = % ( "! Hypohèse fnale : & # H fnal ( x) = sgn$ '( h ( x)! % " AdaBoos en plus gros ) D = & 1' ( # ln > 0 2 $! % ( " = D Z # e %"! e &' ' f f y = h ( x ) y $ h ( x ) & # H fnal ( x) = sgn$ '( h ( x)! % " Boosng 15 Boosng 16

5 Exemple joue Éape 1 Boosng 17 Boosng 18 Éape 2 Éape 3 Boosng 19 Boosng 20

6 Hypohèse fnale Une Apple Boosng hp:// Boosng 21 Boosng 22 Analyse héorque! Vor [R. Mer & G. Räsch. «An nroducon o boosng and leveragng» In S. Mendelson and A. Smola (eds.) Advanced lecures on Machne Learnng, LNCS, pp , Sprnger 2003]! Lens avec les méhodes par maxmsaon de la marge! Encore en dscusson Boosng e maxmsaon de la marge! Adaboos e SVM effecuen des recherches de classfeurs dans des espaces de grande dmenson, mas : Les normes ulsées son dfférenes, donc les espaces explorés son dfférens Opmsaon sous conranes : quadraque pour SVM Lnéare pour boosng Recherches dfférenes : Globale par la méhode des noyaux : SVM Glouonne (1 coordonnée à la fos) pour les boosng Boosng 23 Boosng 24

7 Avanages praques de AdaBoos Aspecs praques! (rès) rapde! smple + facle à programmer! Une seul paramère à régler : le nombre d éapes de boosng (T)! Applcable à de nombreux domanes par un bon chox de classfeur fable (neuro ne, C4.5, )! Pas de sur-spécalsaon par la maxmsaon des marges! Peu êre adapé au cas où h : X & R ; la classe es défne par le sgne de h (x) ; la confance es donnée par h (x)! Peu êre adapé aux problèmes mul-classes où y $ {1,..,c} e aux problèmes mul-équees! Perme de rouver les exemples aberrans (oulers) Avanages Un mea-algorhme d apprenssage : ulser n mpore quel algorhme d apprenssage fable En prncpe, un seul paramère à régler (le nombre T d éraons) Facle e asé à programmer Performances héorques garanes Dffculés Dffcle d ncorporer des connassances a pror Dffcle de savor commen régularser Le melleur chox d un appren fable n es pas évden Les fronères de décson en ulsan des méhodes parallèles aux axes es souven rès rrégulère (non nerpréable) Boosng 25 Boosng 26 Applcaons Boosng : résumé! La prédcon fnale es ssue d une combnason (voe pondéré) de pluseurs prédcons! Méhode : Iérave Chaque classfeur dépend des précédens (les classfeurs ne son donc pas ndépendans comme dans d aures méhodes de voe) Les exemples son pondérés dfféremmen Le pods des exemples reflèe la dffculé des classfeurs précédens à les apprendre Boosng 27 Boosng 28

8 Baggng [Breman,96] Baggng (sue)! Généraon de k échanllons «ndépendans» par rage avec remse dans l échanllon S m! Pour chaque échanllon, apprenssage d un classfeur en ulsan le même algorhme d apprenssage! La prédcon fnale pour un nouvel exemple es obenue par voe (smple) des classfeurs! Il es souven d que : Le baggng fonconne en rédusan la varance en lassan le bas nchangé Seulemen pour la foncon de coû quadraque Pas vra pour la foncon de pere 0-1! Mas, encore ncomplèemen comprs Vor [Yves Grandvale : «Baggng equalzes nfluence», Machne Learnng, 55(3), pages , 2004.] Boosng 29 Boosng 30 Ea de l ar (hsorque)! [Valan 84] nroduced heorecal PAC model for sudyng machne learnng! [Kearns & Valan 88] open problem of fndng a boosng algorhm! [Schapre 89], [Freund 90] frs polynomal-me boosng algorhms! [Drucker, Schapre & Smard 92] frs expermens usng boosng Ea de l ar (sue)! [Freund & Schapre 95] nroduced AdaBoos algorhm srong praccal advanages over prevous boosng algorhms! expermens usng AdaBoos: [Drucker & Cores 95] [Schapre & Snger 98] [Jackson & Cravon 96] [Macln & Opz 97] [Freund & Schapre 96] [Bauer & Kohav 97] [Qunlan 96] [Schwenk & Bengo 98] [Breman 96] [ Deerch 98]! connung developmen of heory & algorhms: [Schapre,Freund,Barle & Lee 97] [Schapre & Snger 98] [Breman 97] [Mason, Barle & Baxer 98] [Grve and Schuurmans 98][Fredman, Hase & Tbshran 98] Boosng 31 Boosng 32

9 Bblographe! Hase, T., Tbshran, R. and Fredman, J. (2001) The elemens of sascal learnng. Daa mnng, nference and predcon. Sprnger Verlag, Boosng 33