APPRENTISSAGE PAR COMBINAISON DE CLASSIFIEURS ELEMENTAIRES («dopage» ou «Boosting»)

Transcription

1 APPRENISSAGE PAR COMBINAISON DE CLASSIFIEURS ELEMENAIRES («dopage» ou «Boosng») Pr. Faben Mouarde Cenre de Roboque (CAOR) MINES Pars ech (ENSMP) PSL Research Unversy hp://people.mnes-parsech.fr/faben.mouarde Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 Prncpe essenel : l unon fa la force Erreur ndvduelle ε Réunr un «comé d expers» chacun peu se romper, mas en combnan les avs, on a plus de chance d avor la bonne prédcon!! Jusfcaon héorque : supposons N classfeurs ndépendans, fasan chacun une erreur E gen = ε s on décde «à la majoré», alors on se rompe s e seulemen s plus de la moé du «comé» se rompe ( ε ) Décson foremen amélorée, (sous réserve que ε<0.5!!) e ce d auan plus qu on augmene le nombre N d expers Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév N k Erreur ensemble = C k ε N k= N / 2 N k

2 Dverses méhodes pour produre les classfeurs à combner Ulser des algos oalemen dfférens Même algo mas avec des paramères e/ou nalsaons dfféren(e)s Fare varer l ensemble d apprenssage Base d exemples nale Dverses varanes de la base (rages aléaores, pondéraons dfférenes, ) Classfeurs élémenares obenus par la même procédure, mas chacun sur une varane dfférene de la base Classfeur global («comé») Méhodes rès générales, applcables avec n mpore quel algorhme «élémenare» Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév Le «baggng» Varanes de la base d apprenssage obenues par rages aléaores avec remse depus la base nale (sore de «boosrap» duplcaon/dsparon aléaores de cerans exemples selon varanes) Ule e effcace en parculer s l algo de base ulsé es «nsable» (au sens «sensble au bru des données») car dfférences enre varanes de base classfeurs élémenares rès dfférens Eve «over-fng» (sur-apprenssage), car on «moyenne» des classfeurs consrus avec dfférenes réalsaons aléaores des mêmes données Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 4

3 Le «boosng» (dopage) Méhode érave pour l ajou des classfeurs : varanes de la base d apprenssage obenues par des pondéraons successves des mêmes exemples (calculées pour «se focalser» sur les exemples «dffcles»,.e. mal classés par pluseurs classfeurs déjà assemblés) éape éape 2 éape 3 Classfeur global Augmenaon/dmnuon des pods selon que ben/mal classés par h Augmenaon/dmnuon des pods selon que ben/mal classés par h2 Somme pondérée des classfeurs élémenares Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév L algorhme adaboos adaboos («adapve Boosng») Base d exemples nale : S={(x,u ),...,(x k,u k )}, avec u {+, }, =,k Pods naux : w 0 (x )= /m pour ou =,k (ou/2p pr pos e /2n pr neg) Pour chaque éape («round») de à, fare :. apprendre/chosr règle de classfcaon h sur (S,w ) par l algorhme A 2. calculer l erreur pondérée de h sur (S,w ) : ε = w x h x u = ε 3. en dédure la «fablé» de h : α = ln [α >0 s ε <0.5, e + s ε 0] 2 ε 4. modfer les pods,.e. pour de à k fare : α ( ) ( ) w e s h ( x ) = u (. e. x ben classé) x w+ x = + α Z e s h ( x ) u (. e. x mal classé) Fournr en sore le classfeur global : H k ( x) sgne α h ( x) = = ( ) ( ) Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 6

4 héorème de convergence Freund e Schapre (qu on proposé l algo) on démonré le héorème suvan : S chaque classfeur élémenare assemblé a une erreur <0.5, alors l erreur emprque de H sur S décro exponenellemen avec le nombre d éapes Plus précsémen, E ( H ) = H ( x ) u es bornée ans : emp ( ε ) [ 2 ε ] = E emp ( H ) 4γ = k k = (où γ = 0,5-ε es l améloraon de h par rappor à une décson aléaore) = 2 Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév Avanages e nconvénens du boosng On peu obenr de rès bons classfeurs smplemen en assemblan un grand nombre de classfeurs «fables» (c.-à-d. fasan juse un peu meux que décson aléaore,.e. avec ε juse légèremen nféreur à 0.5) Peu s ulser avec absolumen n mpore quel algorhme A (le «weak learner») de chox/consrucon du classfeur En parculer, le «weak learner» peu par exemple séleconner un «feaure» (noammen vsuel dans cas classfcaon d mage) parm une famlle adaboos ser alors smulanémen d algo d apprenssage e d oul de «sélecon de feaures» (cf. ravaux de Vola e Jones). Inconvénens : durée apprenssage souven longue rsque poenel de sur-apprenssage (over-fng) Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 8

5 «Success sory» Reconnassance vsuelle de caégore d obje par sélecon-boosng de «Haar feaures» ; exemple nal = déecon de vsages par Vola&Jones (200) Classfeurs fables = comparason des sommes de valeurs de pxels dans recangles adjacens Résula classfeur for applqué à mulples sous-fenêres à dverses échelles e posons («wndow-scannng) Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév Boosng e marges Courbe d erreur ypque du boosng : l erreur de généralsaon connue à dmnuer longemps après que l erreur emprque sur la base d aprenssage es devenue nulle!! Cec s explque parce que le boosng, même une fos l erreur nulle sur la base, connue à augmener les «marges» des exemples, e donc la séparaon enre posfs e négafs Marge m du classfeur global H sur exemple x : m ( H x ) = u α h ( x ), α = = m(x ) [-;+], e x ben classé par H m(x )>0, mas plus m grand, plus on augmene la séparaon enre exemples posfs e négafs - 0 Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 0

6 Boosng, over-fng, e marges L écar enre l erreur emprque la généralsaon peu êre borné par : δ ( ) ( ) E < + gen H Eemp H O n (où es le nombre d éapes de boosng, n le nombre d exemples, e δ la VC-dmenson de l espace des h ) Rsque over-fng?? (cf auss survalorsaon des exemples «ambgüs») Heureusemen une borne plus néressane es : E gen ndépendan de!! ( H ) ( ) < Pr m( H, x) θ + O 2 nθ s P(m(H,x)<θ) rès fable pour un θ assez grand, alors on a une garane de bonne généralsaon Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 δ Résumé sur le boosng ros prncpes essenels :. Combner les avs/esmaons de dfférens expers 2. Modfer, avan chaque ajou d un exper, la dsrbuon des exemples en surpondéran au fur e à mesure les exemples mal classés 3. Au fnal, ulser une moyenne des «voes» des expers, pondérée par leurs fablés respecves Perme d obenr un rès bon classfeur en assocan des classfeurs rès «fables» Problème essenel : déermner le «weak learner»,.e. l algo employé à chaque éape («round») de boosng pour chosr/enraîner le classfeur fable h Apprenssage par dopage («boosng») Pr. Faben Mouarde, CAOR, MINES Parsech, PSL Fév.207 2