Ecoe Centrae de Lyon Cours: SVM Support Vector Machne Séparateurs à Vastes Marges Par : Lmng Chen Lmng.chen@ec-yon.fr 9/03/007 Ecoe Centrae de Lyon Support Vector Machnes SVM Une méthodooge d nférence basée sur a théore d apprentssage de Vapnk Idées prncpaes : Mamze Margns Do the Dua Construct Kernes 9/03/007 Ecoe Centrae de Lyon
Dscrmnaton de données néarement séparabes 9/03/007 Ecoe Centrae de Lyon 3 Le meeur séparateur néare? 9/03/007 Ecoe Centrae de Lyon 4
Le meeur séparateur néare? 9/03/007 Ecoe Centrae de Lyon 5 Le meeur séparateur néare? 9/03/007 Ecoe Centrae de Lyon 6
Le meeur séparateur néare? 9/03/007 Ecoe Centrae de Lyon 7 Le meeur séparateur néare? 9/03/007 Ecoe Centrae de Lyon 8
Fnd Cosest Ponts n Conve Hus d c 9/03/007 Ecoe Centrae de Lyon 9 Pane Bsect Cosest Ponts b d c d c 9/03/007 Ecoe Centrae de Lyon 0
Fnd usng quadratc program mn st.. c d c d 0,..., τ Many estng and ne sovers. 9/03/007 Ecoe Centrae de Lyon Best Lnear Separator: Supportng Pane Method H : D t -b0 Mamze dstance Beteen to parae supportng panes H : t -b Dstance Margn H : t -b- 9/03/007 Ecoe Centrae de Lyon
Mamze margn usng quadratc program mn b, st. b+ Cass b Cass 9/03/007 Ecoe Centrae de Lyon 3 Dua of Cosest Ponts Method s Support Pane Method mn y mn st.. st.. y b 9/03/007 Ecoe Centrae de Lyon 4 b, 0,.., Souton ony depends on support vectors: > 0 Cass y y : Cass
The cassfer SVM Σ y Cassfcaton of a ne obect Dsgn.-b sgn Σ y.-b sgnσ y.-b Marge mamae Hyperpan vade D > Vecteurs de support D < - Hyperpan optma D + D - D 0 9/03/007 Ecoe Centrae de Lyon 5 SVMs : un probème d optmsaton quadratque I faut donc détermner et b mnmsant : η afn de mamser e pouvor de générasaton EXPRESSION PRIMAIRE sous es contrantes hyperpan séparateur : [. b], n y,..., 9/03/007 Ecoe Centrae de Lyon 6
9/03/007 Ecoe Centrae de Lyon 7 Transformaton du probème d optmsaton Méthode des mutpcateurs de Lagrange Probème dua + 0 }. {,, b b L y y y y 0 0. ma EXPRESSION DUALE 9/03/007 Ecoe Centrae de Lyon 8 Souton du probème d optmsaton Proprété : seus es a correspondant au ponts es pus proches sont non-nus ponts de support ponts de support eempes crtques. Proprété : seus ntervennent es produts scaares produts scaares entre entre es observatons es observatons dans e probème d optmsaton. * : estmé S,y S étant n'mporte que pont de support m s s m y y b y b D * * * * * *..
Cas de données non néarement séparabe 9/03/007 Ecoe Centrae de Lyon 9 Nonnear Cassfcaton [ ab, ] a+ b θ abab,,, a, b + + 3 + 4 + 5 θ a b ab a b 9/03/007 Ecoe Centrae de Lyon 0
Re-descrpton Espace d'entrées X Espace des représentatons nternes Φ h Espace de sorte y Redescrpton non néare Séparaton néare 9/03/007 Ecoe Centrae de Lyon Eempe de a redescrpton Sot un espace d entrée à dmensons Tout vecteur, peut être redécrt à ade de poynômes d ordre 6 Nouve espace de descrpteurs à 6 dmensons fonctons de base: g, g, g 3, g 4, g 5, g 6, 3 g 7, 3 g 0, g 8, g 9, g, 3 g, 3 g 3, 3 g 4, 3 g 5, g 6, 3 3 9/03/007 Ecoe Centrae de Lyon
Eempe de redescrpton Sot Kz, Æ,zæ Aors :,z z + z z + z z + z Æ, z z z z z z æ Sot : F,,,, 9/03/007 Ecoe Centrae de Lyon 3 Non near SVM cassfer Σ y φ Cassfcaton of a ne obect Dsgn. φ-b sgn Σ y.φ.φ-b sgnσ y φ.φ-b sgnσ y k,-b K,y kerne functon k,yφ.φy 9/03/007 Ecoe Centrae de Lyon 4
Schéma de fonctonnement des SVMs sgnσ u K, + 0 Σ Sorte : sgnσ u K, + 0 3 4 K K K K Comparason : K, Échanton,, 3,... Vecteur d'entrée 9/03/007 Ecoe Centrae de Lyon 5 Fonctons noyau usuees Poynomae : Les poynomes de degré q ont pour foncton noyau assocée : RBF : Les fcts à base radae : ont pour fct noyau assocée : Sgmoïde : n h sgn y K, '.' + q ep σ h sgn n K,' e ' σ Les réseau de neurones à fcts d'actvaton : ont pour fct noyau assocée : K, ' tanh a. ' b { } + b tanh v. + a 9/03/007 Ecoe Centrae de Lyon 6
Fonctons noyau usuees Constructon à partr de fonctons noyau de base Proprétés de côture K,z K,z + K,z K,z a K,z K,z K,z. K,z Constructon de fonctons noyau dédées Spnes B m Epanson de Fourrer Ondeettes... 9/03/007 Ecoe Centrae de Lyon 7 Les condtons de Mercer Sot une foncton K symétrque, este une foncton F tq: ss, pour toute foncton f tee que : on a : K, ' Φ. Φ' g. g ' S cette condton est vérfée, on peut appquer es SVMs MAIS cea ne dt pas comment construre Φ m K,' f f ' d d' 0 f d est fne 9/03/007 Ecoe Centrae de Lyon 8
Iustraton : e cas du XOR Inde y, - -,- 3 -,- - - 4 -, 9/03/007 Ecoe Centrae de Lyon 9 Iustraton : e cas du XOR Foncton noyau poynomae de d : K,y [ + T. y] sot : K,y + y + y y + y + y + y correspondant à a proecton F, : [,, v,, v, v ] T 9/03/007 Ecoe Centrae de Lyon 30
Iustraton : e cas du XOR Ic : ma 0 y 0 Q + + 3 + 4 y y K, 9 3 + 4 + 9 + 3 4 + 9 3 3 4 + 9 4 9/03/007 Ecoe Centrae de Lyon 3 Iustraton : e cas du XOR L'optmsaton de Qa en foncton des mutpcateurs de Lagrange condut au système d'équatons : 9 3 + 4 9 3 + 4 9 3 + 4 3 + 9 4 La vaeur optmae des mutpcateurs de Lagrange est : * * 3 * 4 * 8 9/03/007 Ecoe Centrae de Lyon 3
Iustraton : e cas du XOR Les 4 eempes sont donc des eempes crtques "support vectors" Q * 4 La vaeur optmae de Qa est : * Et : sot : * 4 9/03/007 Ecoe Centrae de Lyon 33 Iustraton : e cas du XOR Les 4 eempes sont donc des eempes crtques "support vectors" ", a? 0 La foncton de décson s écrt : m s D yk, b 4 D y + 8 [ ] Ou D 0 9/03/007 Ecoe Centrae de Lyon 34
9/03/007 Ecoe Centrae de Lyon 35 Iustraton : e cas du XOR En revenant dans espace d orgne : Le vecteur pods optma est : + + 0 0 0 0 0 8 * [ ] 8 4 3 * Φ + Φ + Φ Φ sot : 9/03/007 Ecoe Centrae de Lyon 36 Iustraton : e cas du XOR L'hyperpan optma correspond à : * T.Φ 0, 0,, 0, 0, 0 0
Iustraton : e cas du XOR Séparatrce dans 'espace d'entrée D - Séparatrce dans 'espace ΦX espace à 6 dmensons 0 9/03/007 Ecoe Centrae de Lyon 37 Cas de Séparaton mparfate 9/03/007 Ecoe Centrae de Lyon 38
9/03/007 Ecoe Centrae de Lyon 39 Probème non séparabe : marges douces Introducton des varabes ressort qu pénasent erreur commse : Le probème dua a a même forme à ecepton d une constante C y C 0 0. ma + b C ξ ξ. mn y 9/03/007 Ecoe Centrae de Lyon 40 Cas du probème non séparabe : marges douces Introducton des varabes ressort qu pénasent erreur commse : Souton et cassfcaton Σ y Cassfcaton of a ne obect Dsgn.-b sgn Σ y.-b sgnσ y.-b y C 0 0. ma + b C ξ ξ. mn y
Condtons KKT R y t -b- 0 R 0 ; 0< <C R 0 ; C R 0 Marge mamae Hyperpan vade D > Vecteurs de support D < - Hyperpan optma D + D - D 0 9/03/007 Ecoe Centrae de Lyon 4 La mse en pratque I faut chosr : Le type de foncton noyau K Sa forme Ses paramètres La vaeur de a constante C La séecton rgoureuse de ces paramètres ege une estmaton de a dmenson de Vapnk-Chervonenks et appcaton de a borne de générasaton e Dans e cas séparabe, est possbe de détermner ces paramètres Dans e cas non séparabe, faut tester avec des méthodes emprques pour fare e meeur cho 9/03/007 Ecoe Centrae de Lyon 4
Effet des paramètres de contrôe Apprentssage de deu casses eempes trés unformément sur 'échquer SVM à fonctons noyau gaussenne K, ' e Ic deu vaeurs de s En haut : pette vaeur En bas : grande vaeur Les gros ponts sont des eempes crtques Pus en haut qu'en bas ' σ 9/03/007 Ecoe Centrae de Lyon 43 Les données d'apprentssage 9/03/007 Ecoe Centrae de Lyon 44
Paramètres de contrôe : es fonctons noyau http://svm.dcs.rhbnc.ac.uk/pagesne /GPat.shtm 47 eempes +, 5 - Eempes crtques : 4 + et 3 - Ic foncton poynomae de degré 5 et C 0000 9/03/007 Ecoe Centrae de Lyon 45 Paramètres de contrôe : es fonctons noyau 5-, 4+ 3-, 4+ 5-, 4+ 47 eempes +, 5 - Ic foncton poynomae de degré, 5, 8 et C 0000 Eempes crtques : 4 + et 3-0-, + 8-, 6+ 4-, 5+ Ic foncton Gaussenne de σ, 5, 0, 0 et C 0000 9/03/007 Ecoe Centrae de Lyon 46
Aout de queques ponts... http://svm.dcs.rhbnc.ac.uk/pagesne /GPat.shtm 47 + 8 eempes 30 +, 5 - Eempes crtques : 5 + et 8 - Ic foncton poynomae de degré 5 et C 0000 9/03/007 Ecoe Centrae de Lyon 47 Sources documentares Ouvrages / artces Cornuéos & Mcet 0 : Apprentsage artfce. Concepts et agorthmes. Eyroes, 00. Crstann & Shae-Tayor 00 : Support Vector Machnes and other kernebased earnng methods. Cambrdge Unversty Press, 000. Herbrch 0 : Learnng kerne cassfers. MIT Press, 00. Schökopf, Burges & Smoa eds 98 : Advances n Kerne Methods : Support Vector Learnng. MIT Press, 998. Schökopf & Smoa 0 : Learnng th kernes. MIT Press, 00. Smoa, Bartett, Schökopf & Schuurmans 00 : Advances n arge margn cassfers. MIT Press, 000. Vapnk 95 : The nature of statstca earnng. Sprnger-Verag, 995. Stes eb http://.kerne-machnes.org/ pont d entrée http://.support-vector.net pont d entrée 9/03/007 Ecoe Centrae de Lyon 48
Condtons Optmaes KKT Constructon de Karush-Kuhn-Tucker KKT L Σ k,n k /Σ k,,n k y k y t k à mamser Assuette à a contrante 0< k <C Σ k,n y k k 0, 0< k, k,,n k y k a t k + ξ k -0 β k ξ k 0 Tros cas pour k k 0, aors β k C- k C>0 : y k a t k ->0 0< k <C, aors β k C- k C>0 : y k a t k + ξ k - z k a t y k -0 k C, aors y k a t k + ξ k -0, y k a t k + ξ k -0, y k a t k -<0 9/03/007 Ecoe Centrae de Lyon 49 Condtons optmaes de KKT Méthode de Lagrange Mnmsaton de La, ξ,,β/ a +CΣ,N ξ -Σ k,n k [y k a t k -] - Σ k,n β k ξ k Avec k >0, β k >0 Souton a Σ k,n k y k k Constructon de Karush-Kuhn-Tucker KKT L Σ k,n k /Σ k,,n k y k y t k à mamser Assuette à a contrante 0< k <C Σ k,n z k k 0, 0< k, k,,n 9/03/007 Ecoe Centrae de Lyon 50