5 e Cooque transfrontaer CLUSE Rsques maeurs: percepton, gobaosaton et management Unversté de Genève, - septembre 000 Axe : Management des rsques, dspostf de sécurté et prncpe de précauton Appcaton des méthodes d apprentssage pour étude des rsques de pouton dans e Lac Léman. Ncoas GILARDI,, Aex GAMMERMAN 3, Mkha KANEVSKI,3, Mche MAIGNAN, Tom MELLUISH 3, Crag SAUNDERS 3, Vooda VOVK 3 : Insttut de Mnéraoge, Unversté de Lausanne, Lausanne, Susse : Insttut Dae Moe d Integence Artfcee Perceptve (IDIAP), Martgny, Susse 3 : Department of Computer Scence, Roya Hooway, Unversty of London, Egham, UK 4 : Insttute of Nucear Safety (IBRAE), Moscow, Russa Introducton Depus queques années, de nouvees méthodes d apprentssage se déveoppent sur a base de a Théore de Apprentssage Statstque (Statstca Learnng Theory) de Vapnk et Chervonenks [Vapnk, 995]. L une de ces méthodes, appeée Machne à Vecteur de Support ou SVM (Support Vector Machne) [Cortes et a., 995], permet de réaser des estmatons en cassfcaton (à deux casses ou pus) [Burges, 998] ou en régresson [Smoa et a., 998]. De tees méthodes permettent généraement de s affranchr de contrantes statstques sur es données étudées comme a normaté de a dstrbuton. De pus, ees sont non néares ce qu eur donne un pouvor de générasaton supéreur dans certans cas, aux méthodes de régressons pus cassques. Cependant, ces méthodes, comme beaucoup d autres, ne permettent pas d obtenr d ntervae de confance sur estmaton effectuée. Ce probème est résou par es méthodes de «transducton unversee» déveoppées à Unversté du Roya Hooway [Gammerman et a., 998]. Sur a base d une méthode de cassfcaton ou de régresson queconque, ces méthodes permettent d étabr une probabté de dépasser une vaeur donnée. Dans ce document, nous présenterons tout d abord une théore de a cassfcaton avec es SVM pus es résutats de utsaton de cette méthode pour étude de a pouton des sédments du Lac Léman. Ensute, nous expquerons es grandes gnes du prncpe de a méthode de transducton déveoppée par es chercheurs du Roya Hooway. Et en concuson, nous montrerons comment ces deux méthodes peuvent, de par eur prncpe même, se révéer compémentares dans e déveoppement de cartes de rsque. Théore des Support Vector Machnes Les Support Vector Machnes sont une casse d agorthmes basés sur e prncpe de mnmsaton du «rsque structure» décrt par a Théore de Apprentssage Statstque de Vapnk et Chervonenks [Vapnk, 995] [Schökopf et a., 999]. - -
Mnmsaton du rsque structure Lorsque on utse des méthodes d apprentssage, on utse généraement deux eux de données prncpaux : e eu d entraînement et e eu de test. Le eu d entraînement représente a part des données d orgne utsée pour cacuer e modèe, et e eu de test est autre parte, nconnue de agorthme d apprentssage et utsée pour évauer es performances de générasaton du modèe. La quaté de ce modèe est aors ugée à sa capacté à rédure erreur de test ou de «générasaton». Cependant, comme e modèe n est pas construt en utsant e eu de test, erreur de générasaton ne peut pas être évauée exactement car ee dépend de a dstrbuton de probabté des données : R = dp( x, y) [ f ] Q( x) où Q est a foncton d erreur (erreur absoue dans e cas des SVM), x est e vecteur d entrée, et P(x,y) est a dstrbuton des données (qu nous est nconnue). La seue nformaton dont nous dsposons comme évauaton de erreur est erreur d entraînement : où est e nombre de ponts d entraînement. R emp [ f ] = Q( x ) Ce n est pas suffsant. La rason en est que on peut facement trouver un modèe mnmsant erreur d entraînement mas pour eque erreur de générasaton sera très grande. Un exempe smpe est a régresson de données néares brutées au moyen d une foncton poynomae : pus e degré du poynôme sera grand, pus erreur d entraînement sera fabe, mas pus erreur de générasaton sera éevée. On peut donc comprendre que cette dernère est auss ée à a fame de foncton utsée comme modèe. Cette dépendance est nommée «rsque structure». Dans eur Théore de Apprentssage Statstque, Vapnk et Chervonenks ont prouvé qu est possbe de défnr une maoraton du rsque structure en foncton de a fame de foncton utsée pour e modèe. L une de ces maoratons peut être cacuée en utsant a dmenson de Vapnk-Chervonenks (dmenson VC) qu représente e pus grand nombre de ponts pouvant être séparés de toutes es façons possbes par un membre de ensembe de foncton. La borne VC est aors défne ans : s a dmenson VC h de a fame de foncton utsée est nféreure au nombre de ponts d entraînement, aors avec une probabté d au mons η, on a: = R [ f ] R [ f ] emp + η h og + og h 4 - -
Cassfcaton par hyperpan N Consdérons mantenant ponts x R, =,...,, séparés en deux casses défnes par f ( x ) = et f, néarement séparabes dans R N. Cassons ces ponts en utsant une fame de fonctons ( x ) =,, de sorte que f ( x) (( w x) + b) N néares défne par ( w x) + b = 0, avec w R b R = sgn. I a été démontré que maxmser a dstance (a marge) entre un hyperpan de cette fame de foncton et chacune des deux casses de ponts rédut a dmenson VC de a fame de foncton décrvant e cassfeur. De pus, exste un seu hyperpan pour eque a marge est maxmum. Donc pour trouver e meeur cassfeur, en terme de mnmsaton du rsque structure, faut résoudre e probème d optmsaton sous contrante suvant : mnmser τ ( ) w = w sachant que y ( ( w x ) + b), f ( x ) = y, =,..., Agorthme des Support Vectors Ce genre de probème d optmsaton se résout en ntrodusant des mutpcateurs de Lagrange α 0 et e Lagrangen L ( w, b, α ) = w α ( y ( ( x w) + b) ) = D autres contrantes sont nécessares pour résoudre ce probème car e Lagrangen dot être mnmsé seon w et b et maxmsé seon α. Cec condut à une formuaton duae de notre probème, pus smpe, qu est expresson de agorthme des Support Vectors pour des données néarement séparabes : maxmser W ( α ) = α α α y y ( x x ) =, = sachant que α 0, =,...,, and α y = 0 a foncton de décson est aors : f = ( x) sgn ( y α ( x x )) + b = = Cette foncton de décson est donc seuement nfuencée par es ponts correspondants à des vaeurs non nues de α. Ces ponts sont appeés es Vecteurs de Support (Support Vectors). Is correspondent, dans un cas néarement séparabe, aux ponts es pus proches de a mte de décson, c est à dre aux ponts se trouvant exactement sur a marge. I s agt à d une proprété très ntéressante des SVM : seus es Support Vectors sont nécessares pour décrre cette mte de décson, et e nombre de SV pour e modèe optma est généraement pett devant e nombre de données d entraînement. - 3 -
Générasaton Ben sûr, est assez rare d avor des données néarement séparabes. Afn de trater égaement des données brutées ou non néarement séparabes, es SVM ont été générasées grâce à deux outs : a «marge soupe» (soft margn) et es «fonctons noyau» (kerne functons). Le prncpe de a marge soupe est d autorser des erreurs de cassfcaton. La nouvee formuaton du probème d optmsaton est aors : = mnmser τ ( w, ξ ) w + C, C > 0 ξ = sachant que y ( ( w x ) + b) ξ, ξ 0, f ( x ) = y, =,..., Le paramètre C est défn par utsateur. I peut être nterprété comme une toérance au brut du cassfeur : pour de grandes vaeurs de C, seues de très fabes vaeurs de ξ sont autorsées, et par conséquent, e nombre de ponts ma cassés sera très fabe (données fabement brutées). A contraro, s C est pett, ξ peut devenr très grand, et on autorse aors ben pus d erreur de cassfcaton (données fortement brutées). Le nouve agorthme est donc : maxmser W ( α ) = α α α y y ( x x ) =, = sachant que 0 α C, =,...,, and α y = 0 = La seue dfférence avec e cas néarement séparabe est donc ntroducton d une borne supéreure pour es paramètres α. I est égaement ntéressant de noter que es ponts se trouvant, par ntroducton de cette technque, du «mauvas» côté de a mte de décson sont tous des Support Vectors, quee que sot eur dstance à cette mte, ce qu sgnfe qu s exercent une nfuence sur e cacu de cette mte. Mantenant, que fare s es données ne sont pas néarement séparabes? L dée est de proeter notre espace d entrée dans un espace de pus grande dmenson afn d obtenr une confguraton néarement séparabe (à approxmaton de a marge soupe près) de nos données, et d appquer aors agorthme nta des SVM. Le nouve agorthme peut donc être écrt ans : partant de Φ : R N R M, M > N maxmser W ( α ) = α α α y y ( Φ( x ) Φ( x ) =, = sachant que 0 α C, =,...,, and α y = 0 = Mas ce genre de transformaton peut devenr très coûteux du pont de vue cacu pour de grandes vaeurs de M. Afn d évter ce probème, dée est d utser es fonctons noyau de Mercer. La - 4 -
N M prncpae proprété de ces fonctons est que, partant d une proecton Φ : R R et deux vecteurs N x, y R, on a k( x, y) = Φ( x) Φ( y). De ce fat, n est pas nécessare de procéder à cette proecton : a foncton noyau donne e même résutat dans espace d entrée. Une dffcuté possbe reste de chosr une foncton noyau effcace. Nous avons mantenant un agorthme généra pour résoudre n mporte que probème de cassfcaton : maxmser W ( α ) = α α α y y k( x x ) =, = sachant que 0 α C, =,...,, and α y = 0 = et a nouvee foncton de décson est aors : f ( x) sgn ( y α k( x x )) + b = = Appcaton à des études de pouton Afn d évauer effcacté de ces méthodes pour trater des données spataes, nous es avons comparées à des technques pus cassques, comme e krgeage des ndcatrces [Gard et a., 999]. Nous avons pour cea utsé un eu de données fourn par a CIPEL (Commsson Internatonae pour a Protecton des Eaux du Léman). I s agt d une sére d anayses physco-chmques effectuées sur es sédments du Lac Léman au cours des années 978, 983 et 988. Pour nos expérences, nous avons utsé es anayses de 988 de concentraton en Cadmum. Les données de a CIPEL étant contnues, nous avons défn nos casses seon e prncpe de a vaeur seu : au-dessus d une certane teneur, nous consdérons que e pont appartent à a casse -, en dessous, appartent à a casse +. Cette méthode nous permet donc de dresser une carte des zones du Lac dépassant une certane concentraton de cadmum dans eurs sédments. Les teneurs utsées, en mcrogrammes de cadmum par grammes de sédments, sont de 0,8 et,0. Le chox de ces vaeurs, proche de a concentraton moyenne, n a aucune orgne égae ou santare. I est avant tout motvé par e désr d avor un nombre suffsant de représentants des deux casses. Cassfcatons optmaes pour es nveaux 0.8 ppm et.0 ppm de Cd - 5 -
Les résutats de ces cassfcatons se sont révéés conformes à ceux de a méthode par krgeage des ndcatrces et ont montré un bon potente des SVM pour trater des données spataes. Mas s, dans e cas d une étude envronnementae, est ntéressant de posséder une méthode qu fournt une bonne évauaton des zones pouées, est encore pus ntéressant de posséder une nformaton de «confance» sur cette évauaton. Cec permet d évter que es queques erreurs fates par a méthode ne pussent avor de graves conséquences. C est ce que se propose de fare a méthode dte de «p-vaue Transducton» déveoppée au département d nformatque de unversté de Roya Hooway [Gammerman et a., 998] Théore de a «p-vaue Transducton» Seon a défnton de Vapnk [Vapnk,995], e terme de transducton s appque à des méthodes d apprentssage s attachant à résoudre, à ade de données partcuères, un probème partcuer. Cec s oppose à a méthode nductve qu, touours à partr de données partcuères, produt un résutat généra (un modèe) et appque ensute de façon dentque à toute nouvee donnée. Dans absou, une méthode transductve construra autant de modèes qu y aura de ponts à estmer. L appcaton de ce prncpe a donné eu à de mutpes appcatons ayant montré d exceents résutats en terme de générasaton. La méthode présentée c s ntéresse d avantage à évauaton d un ntervae de confance et d une mesure de crédbté du résutat qu à a quaté du résutat u-même. La méthode présentée c-dessous évaue ces ntervaes à partr d une cassfcaton par SVM [Saunders et a., 999]. D autres travaux ont montré qu état possbe d appquer ce même prncpe à d autres types de cassfeur, mas auss à a régresson. Prncpe Comme montré dans e paragraphe «Agorthme des Support Vectors», a méthode des SVM consste à résoudre un probème d optmsaton quadratque dont es soutons sont es mutpcateurs de Lagrange α. La vaeur de ces mutpcateurs ndque e pods reatf des ponts de ensembe d entraînement dans a constructon de a mte de décson entre es casses : es ponts pour esques ces mutpcateurs sont nus n ntervennent pas du tout dans a constructon de cette mte. Par conséquent, dée de dre que ces paramètres représentent, d une certane façon, «étrangeté» d un pont parat approprée : pus son mutpcateur de Lagrange est grand et mons est représentatf de a casse à aquee appartent. C est cette mesure d étrangeté qu va nous permettre de construre nos ntervaes de confance. Des travaux sur ce suet sont menés par Tom Meush : thomasm@dcs.rhbnc.ac.uk. I n y a pas de paradoxe à cea : agorthme des SVM modése a mte entre es casses et non eurs zones d nfuence. Par conséquent ce sont es ponts «mtes» qu servent de base à a modésaton et non es ponts représentatfs. - 6 -
Défntons des p-vaues Supposons mantenant qu à partr de ponts d entraînement réparts en casses, nous souhatons détermner a casse à aquee appartent un nouveau pont mas égaement a confance que nous pouvons accorder à notre résutat. Nous aons donc construre deux modèes de SVM : un dans eque nous supposerons que notre nouveau pont appartent à a casse -, et autre supposant qu appartent à a casse +. De ces deux modèes, nous aons obtenr pour notre pont deux vaeurs du mutpcateur de Lagrange correspondant α n. S on suppose que nos données sont dentquement et ndépendamment dstrbuées (d), aors on peut P { α n > maxα} + dre que a probabté que α n at a pus grande vaeur parm tous es α du modèe étudé est : Les p-vaues correspondant à notre nouveau pont sont défnes ans: connassant e rang n de a vaeur α n au sen de ensembe des vaeurs α, a p-vaue assocée est a probabté que e rang de α n sot supéreur à n. Autrement dt, a p-vaue est a probabté que notre pont sot «conforme» à a casse à aquee est assocé. { } nbr : α p vaue = α n + Cette probabté peut s écrre comme sut, touours en supposant nos données d: Dans e cas de notre exempe, nous aons obtenr deux p-vaues: une pour chaque cassfcaton. I est ben évdent que une de ces deux cassfcatons est mauvase, notre pont appartenant à une et seuement une des deux casses. C est a pus grande des vaeurs des p-vaues qu va donc nous donner a casse que notre agorthme de SVM a estmé être a bonne. Confance et crédbté Mantenant, qu en est- de a confance (probabté que e résutat sot uste) à accorder à notre cassfcaton? Dans [Gammerman et a., 998] et [Saunders et a. 999], est expqué que s nous appeons P a pus grande des deux p-vaues, et P a pus pette, nous pouvons dre que cette confance est de -P. Par conséquent, pus P sera fabe, mons a probabté que notre pont sot conforme à a «mauvase» casse sera grande, et pus nous aurons de confance dans notre résutat. Une autre proprété ntéressante concernant ces p-vaues, décrte dans ces artces, est que on peut égaement fournr une nformaton de crédbté de nos données. En effet, s P est reatvement fabe (ben que supéreure à P), un doute peut subsster sur a quaté de notre cassfcaton. C est pourquo a crédbté du pont traté est défne par a vaeur -P. I est ben évdent que toutes ces mesures de probabtés reposent sur nos données d entraînement. I est donc très mportant qu ees soent ben représentatves du phénomène étudé, ou tout du mons de ce que on connaît de u. - 7 -
Concuson Le déveoppement des méthodes d apprentssage sur a base de a Théore de Apprentssage Statstque a fourn de préceux outs de cassfcaton et de régresson. L un d entre eux, es SVM, s est révéé tout à fat effcace pour anayser des probèmes envronnementaux és à des phénomènes dstrbués spataement. L aout à cette méthode, grâce à une approche transductve, de a possbté d évauer un ntervae de confance ans qu une nformaton sur a crédbté des données, ouvre de formdabes possbtés pour a constructon de cartes de rsque. Basée unquement sur nformaton portée par es données, cette méthode en devent pus fabe et pus unversee que des approches mposant une dstrbuton normae ou og-normae. La phosophe transductve est égaement partcuèrement adaptée à étabssement de carte de rsque orsque nformaton désrée ne s étend pas à tout une régon, mas se mte à queques zones partcuères (masons, zones urbanes, acs, cours d eaux, etc ), ce qu est souvent e cas. Références A. Gammerman, V. Vapnk, V. Vovk, Learnng by Transducton, Uncertanty n Artfca Integence, 998 C. Saunders, A. Gammerman, V. Vovk, Transducton wth Confdence and Credbty, 999. B. Schökopf, C.J.C. Burges, and A.J. Smoa. Advances n kerne methods-support Vector Learnng. MIT Press, 999 C. Cortes and V. Vapnk. Support vector networks. Machne Learnng, 0: 73 97, 995. V. Vapnk, The Nature of Statstca Learnng Theory, Sprnger-Verag, New York, 995. C.J.C Burges. A tutora on Support Vector Machnes for patterns recognton. Data Mnng and Knowedge Dscovery, ():-67, 998. A.J. Smoa and B. Schökopf. A tutora on Support Vector Regresson, NeuroCOLT Technca Report Seres, NC-TR-998-030. October 998. J. Weston, A. Gammerman, M. Sttson, V. Vapnk, V. Vovk, C. Watkns, Densty Estmaton usng Support Vector Machnes, Technca Report, Csd-TR-97-3. February 998. N. Gard, M. Kanevsk, E. Mayoraz, M. Magnan, Envronmenta and Pouton Spata Data Cassfcaton wth Support Vector Machnes and Geostatstcs, 999. Mots-cefs Machnes à vecteurs de support, SVM, transducton, pouton, apprentssage, données spataes, carte de rsque. - 8 -