Introduction au Boosting et algorithme

Dimension: px

Commencer à balayer dès la page:

Download "Introduction au Boosting et algorithme"

Louis Martin
il y a 6 ans
Total affichages :

1 au et algorithme SUPELEC - Campus de Metz - Equipe IMS Rennes, 11 juin 2010

2 Sommaire

3 Supports de cours externes Sites Web Page de Robert Schapire [Schapire] : http :// schapire Page de Mickael Kearns [Kearns] : http :// mkearns Page dédiée au boosting : http :// Slides sur ma page : http ://ims.metz.supelec.fr/ pietquin En particulier Liste de références dans le document fourni.

4 But de ce cours Thèmes abordés Principes du boosting Buts Connaître les grands principes Comprendre pourquoi ça marche Savoir quand l appliquer Pas de mathématiques compliquées

5 Sommaire

6 Idée générale I But Classification Souvent bi-classes On dispose d une base d exemples Principe : faire simple pour faire compliqué! [Kearns1988, Schapire1990] On peut trouver facilement plusieurs classificateurs grossiers qui font mieux que le hasard (pile ou face + ɛ) Chacun fonctionne sur des exemples différents (règle valable pour certains exemples et pas pour d autres) Est-ce qu on peut les combiner pour faire un classificateur plus forts?

7 Idée générale II Exemple : détecter des mots au pluriel Règle faible 1 : les mots se terminant par s sont au pluriel. (majorité des cas) On se concentre sur les mots pour lesquels la règle 1 ne fonctionne pas Règle faible 2 : les mots se terminant par x sont au pluriel Règle forte : les mots se terminant par s OU x sont au pluriel.

8 Idée générale III Remarques La règle faible 1 permet de résoudre le problème pour la plus grande partie des cas (meilleure règle faible) C est en éliminant les mots bien classés par la règle faible 1 qu on trouve la règle faible 2 Questions Comment choisir les exemples qui permettent de sélectionner les règles faibles qui améliorent le plus la règle forte à chaque étape. Comment combiner optimalement les règles faibles pour obtenir la meilleure règle forte.

9 Plus Formellement I Définitions Une base d exemples x i avec leurs labels y i, soit un ensemble de couples {(x 1, y 1 ),..., (x N, y N )}. Les x i appartiennent au domaine X (x i X, i) Les y i appartiennent à un ensemble Y (y i Y, i). Pour le cas de la classification binaire : Y = {+1, 1} On dispose d un ensemble d algorithmes d apprentissage faibles (weak learners ou base learners en anglais) qui produisent, une fois entraînés, des hypothèses faibles h j (x) {+1, 1} sur leurs entrées.

10 Plus Formellement II But? Le but du boosting est de trouver une combinaisons linéaires de ces hypothèses qui produisent une hypothèse forte H(x) {+1, 1} sur l entrée x. Les classificateurs faibles sont sélectionnés itérativement et l hypothèse du classificateur sélectionné à l itération t est notées h t (x). L hypothèse forte est obtenue par : H(x) = sign( t α t h t (x)) où les α i sont les poids de la combinaison linéaire qu il s agit de trouver.

11 Plus Formellement III Rappel de l exemple du pluriel Les 2 catégories sont pluriel (+1) et singulier (-1) les exemples x i sont les mots qu on cherche à classer Le résultat de l entraînement de l algorithme faible pourrait être la lettre qui, quand elle est placée à la fin d un mot, permet de classifier le plus grand nombre de mots dans la catégorie pluriel.

12 Sommaire

13 (Adaptive ) [Freund and Schapire1996] Principe Associer une distribution de poids D t (i) à tous les exemples x i de la base de données. Cette distribution change après chaque itération Des poids plus importants sont affectés aux exemples qui sont mal classifiés par le classificateur fort. Exemple des mots au pluriel Des poids identiques pour tous les mots à la première itération Des poids de 0 à tous les mots qui prennent s au pluriel à la deuxième itération.

14 Exemple

15 Exemple

16 Exemple

17 Exemple

18 Exemple

19 Exemple

20 Exemple

21 Given a training set {(x i, y i )} where i = 1,..., N, x i X and y i { 1, +1} Initialize t = 1, example distrib. D t (i) = 1/n i and E = 1 while E > ξ do Train weak classifiers using D t Get weak hypothesis h t : X { 1, +1} Compute weak class. weighted er. ɛ t = h t (x i ) y i D t (i) Choose α t = 1 2 ln( 1 ɛ t ɛ t ) Update D t+1 (i) = D t (i) exp( α P t y i h t (x i )) i D t+1(i) Compute strong hypotheses H(x i ) = sign( t α th t (x i )) Compute strong classifier error E = H(x i ) y i 1 N t + + Output the final hypothesis H(x) = sign( t α th t (x))

22 Pourquoi ça marche? Mise à jour des coefficients ɛ t = P Di (t)(h t (x i ) y i ) = probabilité d erreur du classificateur faible = 0.5 γ t (γ t > 0) α t = 1 2 ln( 1 ɛ t ɛ t ) (rapport de 2 probas) Mise à jour de la distribution de poids D t+1 (i) = D t (i) exp( α P t y i h t (x i )) t D t+1 If h t (x i ) = y i : D t+1 (i) = D t (i) Pi D t+1(i) exp( α t) If h t (x i ) y i : D t+1 (i) = exp(α t ) = cst 1 ɛ t ɛ t > Cst et exp( α t ) = cst < Cst ɛ t 1 ɛ t D t (i) Pi D t+1(i) exp(α t)

23 Analyse I Evolution de l erreur d entraînement EH T = t [2ɛ t(1 ɛ t )] = t 1 γt 4 exp( 2 t γ2 t ) Borne de l erreur de généralisation Marge d un couple (x, y) = y P Pt α t h t (x) t α t EH G P(Marge(x, y) < θ) + O( d mθ 2 )

24 Analyse II Lien avec les SVM Maximisation de la marge minimum : max min y i ( t α th t (x i )) α i α h(x i ) : α 1 = t α t et h t (x i ) = max t h t (x i ) SVM : α 2 et h t (x i ) 2

25 Sommaire

26 d objet [Viola and Jones2001] I Classificateur faible f j (x) =, θ j = threshold, p j {+1, 1} { 1 if pj f h j (x) = j (x) < p j θ j 0 otherwise

27 d objet [Viola and Jones2001] II Classificateur appris Truc pour real time Image intégrale Cascade de classificateurs

28 Sommaire

29 I Yoav Freund and Robert Schapire. Experiments with a new boosting algorithm. In Proceedings of the Thirteenth International Conference on Machine Learning, pages , http :// schapire/uncompress-papers.cgi/freundsc96.ps. Mickael Kearns. Homepage. http :// mkearns. Mickael Kearns. Thoughts on hypothesis boosting. Unpublished manuscript, Harvard University, http :// mkearns/papers/boostnote.pdf. Robert Schapire. Homepage. http :// schapire/. Robert Schapire. The strength of weak learnability. Machine Learning, 5(2) : , http :// schapire/papers/strengthofweak.pdf. Paul Viola and Michael Jones. Robust real-time object detection. In International Journal of Computer Vision, http ://research.microsoft.com/en-us/um/people/viola/pubs/detect/violajones IJCV.pdf.

Documents pareils

21 mars 2012. Simulations et Méthodes de Monte Carlo. DADI Charles-Abner. Objectifs et intérêt de ce T.E.R. Générer l'aléatoire.

21 mars 2012. Simulations et Méthodes de Monte Carlo. DADI Charles-Abner. Objectifs et intérêt de ce T.E.R. Générer l'aléatoire. de 21 mars 2012 () 21 mars 2012 1 / 6 de 1 2 3 4 5 () 21 mars 2012 2 / 6 1 de 2 3 4 5 () 21 mars 2012 3 / 6 1 2 de 3 4 5 () 21 mars 2012 4 / 6 1 2 de 3 4 de 5 () 21 mars 2012 5 / 6 de 1 2 3 4 5 () 21 mars