RAPPORT DE STAGE. Approcher la frontière d'une sous-partie de l'espace ainsi que la distance à cette frontière. Sujet : Master II : SIAD

Transcription

1 UFR SCIENCES ET TECHNOLOGIES DEPARTEMENT DE MATHEMATIQUES ET INFORMATIQUE AUBIERE CEDEX Année Master II : SIAD RAPPORT DE STAGE Sujet : Approcher la frontère d'une sous-parte de l'espace ans que la dstance à cette frontère Présenté par : We WEI Responsable de stage : Gullaume DEFFUANT Tuteur de stage : Raoul MEDINA Jury de stage : Lhouar NOURINE Leu de stage : Cemagref (LISC) Avrl 2009 Septembre mos Soutenu le 7 Septembre 2009

2 Remercements Durant ces cnq mos de stage, j'a bénéfcé de soutent moral et technque de pluseurs personnes ce qu a rendu mon séjour très agréable. Je tens tout d'abord à remercer Monseur Gullaume DEFFUANT, responsable de stage, de m'avor gudé et soutenu tout au long de celu-c. Il s est montré dès le premer jour accuellant, chaleureux et dsponble. J'a beaucoup apprécé ses qualtés humanes tout à fat hors du commun, en outre, des ngrédents nécessares au bon déroulement du stage. Un grand merc à Benoît GANDAR, pour les explcatons théorques qu'l m'a fournes, l'ade et les consels concernant les mssons évoquées dans ce rapport, qu'l m'a apportés lors des dfférents suvs. Je remerce également Monseur Raoul MEDINA, tuteur de stage, pour ses consels préceux m'ont perms de surmonter mes dffcultés et de progresser dans mes études. Je remerce auss Monseur Lhouar NOURINE, jury de stage, pour l'ntérêt qu'l porte à ce stage. Je n'ouble pas auss de remerce Maxme LENORMAND, pour m'avor adé dans la correcton du rapport. En derner, je tens à remercer tous les membres du LISC, pour la bonne humeur, qu a fat que ces cnq mos ont été s agréables à vvre : Clarsse, Sylve, Therry, Clare, Thomas, Ncolas, Nabl, Jean Dens, Sôna et Florana. 1

3 Tables des fgures Fgure 1 : Le Cemagref en régon Fgure 2 : L'hyperplan optmal avec la marge maxmale Fgure 3 : L'ensemble de contrante et le noyau de vablté Fgure 4 : Un exemple de bulle Fgure 5 : Reconstrure la foncton à partr de ponts postfs ou négatfs Fgure 6 : Structure des ponts Fgure 7 : Chosr les ponts de base Fgure 8 : Résultat du couleur de lgne et la couleur erreur Fgure 9 : Graphque en dmensons Fgure 10 : Table des résultats Fgure 11 : Le temps de calcul en foncton des ponts de base Fgure 12 : Fenêtre prncpale de KAVIAR Fgure 13 : L'erreur des bulles Fgure 14 : Dstrbuton de l'erreur de sgne Fgure 15 : Un ensemble de ponts postfs et négatfs Fgure 16 : L'erreur des postons de pont base Fgure 17 : Résultats de la nouvelle méthode Fgure 18 : Les résultats après modfcaton de l'algorthme Fgure 19 : Exemple de foncton à obtenr (a) et son approxmaton (b) Fgure 20 : Nuages de ponts, le temps de calcul en foncton de ponts de base Fgure 21 : Cartographe de lgne des couleurs

4 Résumé Les "Support Vector Machnes" (SVMs) sont des outls d'apprentssage statstque qu ont connu un développement consdérable au cours de la dernère décenne et qu sont utlsés dans dfférentes applcatons du LISC. Cependant, lorsque l'on cherche à approxmer précsément la frontère d'une zone de l'espace, les SVMs ne fournssent pas des résultats globaux corrects tout le temps. Nous avons alors beson de trouver une méthode dfférente des SVMs pour assurer de bons résultats. Nous supposons que notre espace d'étude se compose de ponts dsposant d'un label sot postf, sot négatf. Le but de ce stage est de construre, à partr de ponts postfs et négatfs dsposés près de la frontère des zones de changement de label, une foncton qu à tout pont de l'espace assoce la dstance de celu-c à la frontère ans que son label. Ce problème est dffcle car la vértable frontère est nconnue : l s'agt ben d'un problème d'apprentssage. Nous avons alors développé un algorthme sur la base des réseaux des neurones. Il se résout faclement en théore, mas en pratque le nombre de ponts nécessare est mportant et n'est pas compatble avec les outls nformatques actuels, notamment quand la dmenson du problème augmente. Nous proposons des méthodes pour chosr correctement les paramètres de cet algorthme. Mots-clés: SVM, apprentssage, frontère, base, reconstrure, dstance. Abstract Support vector machnes (SVMs) are tools of Machne Learnng whch have grown consderably over the last decade and are used n varous applcatons of LISC. However, when we attempt to approxmate precsely the border of a zone of space, they are not able to provde correct results all the tme. We need to fnd a method dfferent from SVMs for nsurng good results. We suppose that our space study s composed by ponts wth a label ether postve or negatve. The target of ths feld wor s to construct, from these ponts postve and negatve arranged near the border zones of label, a functon that at all the pont of space assorted the dstance of ths pont to the border and ts label. Ths problem s dffcult because the border s unnown: t s about a problem of learnng. We developped an algorthm based on the neural networs. It s easly solved n theory, but n practce the number of ponts necessary s mportant and doesn't compatble wth the tools computer exst, especally when the dmenson of the problem ncreases. We propose methods to choose the correct parameters of ths algorthm. Key word: SVM, Machne Learnng, border, bass, rebuld, dstance. 3

5 Table des matères Remercement 1 Table des fgures... 2 Résumé/Abstract... 3 Table des matères... 4 Introducton... 6 I. Connassance établssement Le Cemagref Les départements scentfques Les untés de recherche Le Cemagref en régon Le LISC II. Les outls utlsés Algorthme apprentssage Support Vector Machne Résumé ntutf Prncpe général Dscrmnaton lnéare et hyperplan séparateur Marge maxmale Chox de la foncton noyau Sclab Java Java langage JAMA 18 III. La problématque Le noyau de vablté Reconstructon de la foncton La structure des données Constructon des fonctons de base Chox des ponts de base IV. Développement Premère verson (en Sclab) Programmaton Observaton

6 4.2 Deuxème verson (en Java) Pourquo Java Programmaton Développement d'algorthme Observaton Concluson Blan Perspectves Bblographque Annexes Interface du Sclab Foncton prncpale de Sclab Classe Ponts de KAVIAR Ressource d'arth Cartographe

7 Introducton L'essor de l'nformatque a toujours apporté aux scentfques des outls et des méthodes amélorant leurs recherches. La banalsaton des statons de traval et l'évoluton perpétuelle de leurs capactés sont à l'orgne de méthodes très coûteuses en calcul mas donnant des résultats remarquables. Cependant, malgré ces avancées, les méthodes numérques permettant de calculer des poltques d'actons vables ou réslentes de systèmes dynamques se heurtent toujours à "la malédcton de la dmensonnalté": elles requèrent des ressources en mémore et en temps de calcul qu augmentent exponentellement avec la dmensonnalté du problème, et qu sont souvent hors de portée. Par conséquence, ces méthodes ne sont applcables qu'à des systèmes dynamques de dmenson fable (Inféreur à 3). Pour ader le calcul de poltques d'acton sur des écosystèmes ou des systèmes socaux qu sont généralement des systèmes de dmenson supéreure, l est donc ndspensable d'amélorer les performances de ces méthodes. Le LISC, Laboratore d'ingénere pour les Systèmes Complexes dans lequel j'a réalsé mon stage, est une unté de recherche appartenant au Cemagref, nsttut publc de recherche pour l'ngénere de l'agrculture et de l'envronnement. Il développe le logcel KAVIAR qu permet d'approcher des noyaux de vablté de systèmes et de calculer des poltques d'acton permettant au système de rester dans son ensemble de contrantes (vor [6]). Il utlse pour cela l'algorthme de classfcaton des SVMs (Séparateurs à Vastes Marges). L'algorthme des SVMs, permet de défnr des surfaces complexes dans des espaces de dmensons mportantes, avec des représentatons très concses. Cependant celu-c peut ntrodure des erreurs lon des zones proches de la frontère de classfcaton. On peut constater l'apparton de "bulles",.e. de frontères non contrantes par un vecteur support. Le logcel KAVIAR, basé sur cet algorthme, délvre alors des résultats érodés, ce que peut avor des conséquences néfastes sur les calculs de poltques d'actons. Pour résoudre ce problème, nous nous nsprons des travaux de WALDER & al [1]. Ils ont proposé un algorthme qu se base sur la reconstructon d'une surface à partr d'un ensemble de ponts. Dfférentes méthodes ont été proposées, nous avons chosssons la méthode suvant : ensemble de Splnes avec des largeurs de bandes dfférentes. Mon sujet de stage consste donc à développer cet algorthme d'apprentssage, en m'appuyant des travaux de thèse de Benoît GANDAR. L'objectf du stage est de régler les paramètres de l'algorthme (chox des Splnes,.e. ponts de bases, et largeurs de bandes assocées) pour ntégrer nos résultats dans KAVIAR afn d'évter les erreurs des SVMs. Pour tester et vsualser les résultats, j'a commencé par utlser le logcel SCILAB, pus, ensute, en foncton des résultats trouvés, j'a développé une applcaton Java. 6

8 Plan du stage Dans la premère parte du stage, j'a étudé les documents relatfs au problème et mplémenté la premère verson de l'algorthme en langage Sclab pour tester. Nous avons obtenu des résultats ntéressants. Mas à cause d'nconvénents propre au logcel Sclab, je ne pouvas pas lancer le programme avec beaucoup de ponts, car la mémore du logcel état trop pette et le temps de calcul trop mportant. Nous avons donc transms les codes en Java et utlsé les structures du logcel Kavar qu est développé par LISC. Avec l'ade de Java, nous avons pett à pett améloré notre algorthme, notamment le chox de ses paramètres. 7

9 Chaptre 1 Connassance établssement 1.1. Le Cemagref Le Cemagref ou l'nsttut de recherche fnalsée de référence pour la geston durable des eaux et des terrtores (et orgnellement Centre natonal du machnsme agrcole, du géne rural, des eaux et des forêts) est un organsme de recherche fnalsée sur la geston des eaux et des terrtores. Il a le statut d'établssement publc à caractère scentfque et technologque. Ses recherches sont orentées vers la producton de connassances nouvelles et d nnovatons technques utlsées par les gestonnares, les décdeurs et les entreprses pour répondre à des questons concrètes de socété dans les domanes de la geston des ressources, de l aménagement et de l utlsaton de l espace. Ses thèmes de recherche sont centrés sur les ressources en eau de surface, les systèmes écologques aquatques et terrestres, les espaces à domnante rurale, les technologes pour l eau, les agro-systèmes et la sûreté des alments. Ses recherches contrbuent au développement durable des terrtores. Elles adent à protéger et gérer les hydro systèmes et les mleux terrestres, à dynamser les actvtés qu les valorsent et à prévenr les rsques qu leur sont assocés. Ses objets d'études sont donc le plus souvent des systèmes complexes, en relaton avec des questons de socété et sa démarche est presque toujours nterdscplnare Les départements scentfques Les orentatons scentfques du Cemagref sont au cœur des enjeux du développement durable. Les recherches sont organsées en 27 thèmes de recherche regroupés en 9 thématques : La geston de l eau et des servces publcs assocés. Les rsques lés à l eau. Les technologes et procédés de l eau et des déchets. La qualté des systèmes écologques aquatques. Les systèmes écologques terrestres. L agrculture multfonctonnelle et les nouvelles ruraltés. Les technologes pour des systèmes agrcoles durables. Les technologes et procédés physques pour la sûreté des alments. Les méthodes pour la recherche sur les systèmes envronnementaux. 8

10 1.1.2 Les untés Le Cemagref compte actuellement 21 untés de recherche propres, 6 untés mxtes de recherche (UMR) et une équpe de recherche technologque (ERT).Chaque unté de recherche est placée sous la responsablté fonctonnelle de l un des chefs de département ou de la drecton scentfque (pour les deux untés de recherche méthodologques), et sous la responsablté hérarchque du drecteur régonal du leu d mplantaton. Les untés sont des leux de geston des compétences et des pôles relatonnels locaux. Chacune des UR est consttuée d équpes ben dentfées, chaque équpe assurant la mse en œuvre totale ou partelle d un thème de recherche. Untés de recherche propres Ouvrages hydraulques et hydrologe OHAX - Ax en Provence Hydrosystèmes et boprocédés HBAN - Antony Hydrologe hydraulque HHLY - Lyon Éroson torrentelle, nege et avalanches ETGR - Grenoble Hydrobologe HYAX - Ax en Provence Écosystèmes estuarens et possons mgrateurs amphhalns EPBX - Bordeaux Réseaux, épuraton et qualté des eaux REBX - Bordeaux Bologe des écosystèmes aquatques BELY - Lyon Qualté des eaux et préventon des pollutons QELY - Lyon Geston envronnementale et tratement bologque des déchets GERE - Rennes Écosystèmes médterranéens et rsques EMAX - Ax en Provence Améntés et dynamques des espaces ruraux ADBX - Bordeaux Développement des terrtores montagnards DTGR - Grenoble Écosystèmes montagnards EMGR - Grenoble Écosystèmes foresters EFNO - Nogent Agrculture et espace nsulare AEMA - Martnque Géne des procédés frgorfques GPAN - Antony Technologes pour la sécurté et les performances des agroéqupements TSAN - Antony Technologes et systèmes d nformaton pour les agrosystèmes TSCF Ferrand Technologes des équpements agroalmentares TERE - Rennes Ingénere pour les systèmes complexes LISC - Clermont-Ferrand Unté mxte de recherche - Clermont- Geston des servces publcs GSP Strasbourg (Groupement de Lyon) Geston de l'eau, acteurs, usages G-EAU Montpeller Mutatons des actvtés, des espaces et des formes d organsaton dans les terrtores ruraux - Clermont-Ferrand Géne ndustrel almentare GENIAL - Antony Informaton et technologe pour les agro-procédés ITAP - Montpeller Terrtores, envronnement, télédétecton et nformaton spatale TETIS - Montpeller Equpe de recherche technologque Restauraton de la contnuté écologque des cours d'eau à possons mgrateurs ERT Toulouse 9

11 1.1.3 Le Cemagref en régon Tous les untés de recherche se présentés c-dessus sont répartr sur 9 mplantatons régonales comme le graphe dessous (Fgure 1). Le Cemagref en régon Martnque Bretagne, Pays de Lore Rennes Aqutane, Potou-Charentes, Md-Pyrénées Bordeaux Ile-de-France, Haute et Basse-Normande, Pcarde, Champagne-Ardenne, Lorrane, Nord-Pas-de-Calas Antony Centre, Bourgogne Nogent-sur- Vernsson Rhône-Alpes, Franche-Comté, Alsace Lyon Grenoble Auvergne, Lmousn Clermont-Ferrand Languedoc-Roussllon Montpeller Provence-Alpes- Côte d Azur, Corse Ax-en-Provence Journées des nouveaux recrutés 30 & 31 ma 2007 Fgure 1 - Le Cemagref en régon 1.2. Le LISC Le LISC (Laboratore d'ingénere pour les Systèmes Complexes) partcpe à des projets multdscplnares, souvent européens, dans lesquels collaborent nformatcens, mathématcens et spécalstes des écosystèmes ou des scences socales. Elle est membre de la Fédératon de Recherches CNRS TIMS, Technologes de l'informaton, de la Moblté et de la Sûreté. Pour comprendre l'évoluton des forêts, le comportement de populatons d'anmaux dans leur mleu, et même les évolutons socales dans les zones rurales, les chercheurs font appel à des modèles nformatques de plus en plus détallés. Ils sont ans amenés à créer un modèle de chacun des ndvdus d'une populaton végétale, anmale ou humane, ntégré dans un programme nformatque qu smule les nteractons de chaque ndvdu avec ses pares ou son mleu. Les smulatons révèlent des effets collectfs nattendus, sont la théore mathématque est parfos très dffcle à établr. Ce passage de l'ndvduel au collectf, qu est 10

12 au cœur des théores récentes de la complexté, de manfeste dans la plupart des dynamques envronnementales ou socales. Les membres du LISC étudent ces comportements globaux, ssus d'nteractons ndvduelles et ls les modélsent. Ils développent un outl logcel pour meux condure des expérmentatons numérques afn d'observer les comportements globaux lorsque les paramètres varent. Ils construsent ensute des modèles plus smples et plus faclement utlsables en pratque. Ans, ls peuvent calculer sur ces modèles robustes des poltques d'acton qu mantennent la vablté ou la réslence du système. 11

13 Chaptre 2 Les outls utlsés 2.1 Algorthme apprentssage L'apprentssage artfcel est une dscplne scentfque qu recouvre pluseurs domanes d'études mathématques, statstques et algorthmques. La dversté de ces ancrages contrbue très certanement au succès de cette récente dscplne dont les travaux se caractérsent par : une grande créatvté dans la concepton de méthodes algorthmques; la recherche de fondements mathématques soldes pour étayer les méthodes développées; une attenton aux mécansmes naturels d'apprentssage et de généralsaton; de très nombreux domanes d'applcatons comme en témogne l'essor exponentel de l'apprentssage dans des domanes comme ceux de la foulle de données ou encore de la reconnassance des formes[2]. Les algorthmes d'apprentssage peuvent se catégorser selon le type d'apprentssage qu'ls emploent : L'apprentssage supervsé : un expert est employé pour étqueter correctement des exemples. L'apprenant dot alors trouver ou approxmer la foncton qu permet d'affecter la bonne étquette à ces exemples. L'analyse dscrmnante lnéare ou les SVM sont des exemples typques. L'apprentssage non-supervsé : aucun expert n'est dsponble. L'algorthme dot découvrr par lu-même la structure des données. Le clusterng et les modèles de mélanges de gaussennes sont des exemple d'algorthmes d'apprentssage non supervsés. L'apprentssage par renforcement : l'algorthme apprend un comportement étant donné une observaton. L'acton de l'algorthme sur l'envronnement produt une valeur de retour qu gude l'algorthme d'apprentssage. L'algorthme de Q-learnng est un exemple classque. Les algorthmes qu l'on rencontre le plus souvent dans ce domane sont : Les machnes à vecteur de support (SVM). Le boostng. Les réseaux de neurones pour un apprentssage supervsé ou non-supervsé. La méthode des plus proche vosns pour un apprentssage supervsé. Les arbres de décson. Les méthodes statstques comme par exemples le modèle de mxture gaussenne. La régresson logstque. L'analyse dscrmnante lnéare. La logque floue. Les algorthmes génétques et la programmaton génétque. 12

14 Ces méthodes sont souvent combnées pour obtenr dverses varantes d'apprentssage. L'utlsaton de tel ou tel algorthme dépend fortement de la tâche à résoudre (classfcaton, estmaton de valeurs, etc.) L'apprentssage automatque est utlsé dans un spectre très large d'applcatons : moteur de recherche, ade au dagnostc, bo-nformatque, détecton de fraudes, analyse des marchés fnancers, reconnassance de la parole, de l'écrture manuscrte, analyse et ndexaton d'mages et de vdéo, robotque 2.1 Support Vector Machne Résumé ntutf Les machnes à vecteurs de support ou séparateurs à vaste marge (en anglas Support Vector Machne, SVM) sont un ensemble de technques d'apprentssage supervsé destnées à résoudre des problèmes de dscrmnaton et de régresson. Les SVMs ont été développés dans les années 1990 à partr des consdératons théorques de Vladmr Vapn sur le développement d'une théore statstque de l'apprentssage : La Théore de Vapn-Chervonens. Les SVMs ont rapdement étés adoptés pour leur capacté à travaller avec des données de grandes dmensons, le fable nombre d'hyper paramètres, le fat qu'ls soent ben fondés théorquement, et leurs bons résultats en pratque. Les séparateurs à vastes marges sont des classfeurs qu reposent sur deux dées clés qu permettent de trater des problèmes de dscrmnaton non-lnéare, et de reformuler le problème de classement comme un problème d'optmsaton quadratque. La premère dée clé est la noton de marge maxmale. La marge est la dstance entre la frontère de séparaton et les échantllons les plus proches. Ces derners sont appelés vecteurs supports. Dans les SVMs, la frontère de séparaton est chose comme celle qu maxmse la marge. Ce chox est justfé par la théore de Vapn-Chervonens (ou théore statstque de l'apprentssage), qu montre que la frontère de séparaton de marge maxmale possède la plus pette capacté. Le problème est de trouver cette frontère séparatrce optmale, à partr d'un ensemble d'apprentssage. Cec est fat en formulant le problème comme un problème d'optmsaton quadratque, pour lequel l exste des algorthmes connus. Afn de pouvor trater des cas où les données ne sont pas lnéarement séparables, la deuxème dée clé des SVMs est de transformer l'espace de représentaton des données d'entrées en un espace de plus grande dmenson (possblement de dmenson nfne), dans lequel l est probable qu'l exste un séparateur lnéare. Cec est réalsé grâce à une foncton noyau, qu dot respecter certanes condtons, et qu a l'avantage de ne pas nécesster la connassance explcte de la transformaton à applquer pour le changement d'espace. Les fonctons noyau permettent de transformer un produt scalare dans un espace de grande dmenson, ce qu est coûteux, en une smple évaluaton ponctuelle d'une foncton. Cette technque est connue sous le nom de ernel trc. 13

15 2.1.2 Prncpe général Les SVMs peuvent être utlsés pour résoudre des problèmes de dscrmnaton, c'est-àdre décder à quelle classe appartent un échantllon, ou de régresson, c'est à dre prédre la valeur numérque d'une varable. La résoluton de ces deux problèmes passe par la constructon d'une foncton f qu à un vecteur d'entrée x fat correspondre une sorte y : y = f(x) On se lmte à un problème de dscrmnaton à deux classes (dscrmnaton bnare), c'est-àdre, le vecteur d'entrée x étant dans un espace X mun d'un produt scalare. On peut prendre par exemple Dscrmnaton lnéare et hyperplan séparateur Pour rappel, le cas smple est le cas d'une foncton dscrmnante lnéare, obtenue par combnason lnéare du vecteur d'entrée : h(x) = w T x + w 0 Il est alors décdé que x est de classe 1 s h(x) 0 et de classe -1 snon. C'est un classfeur lnéare. La frontère de décson h(x) = 0 est un hyperplan, appelé hyperplan séparateur, ou séparatrce. Rappelons que le but d'un algorthme d'apprentssage supervsé est d'apprendre la foncton h(x) par le bas d'un ensemble d'apprentssage : { 1,1} où les L sont les labels, p est la talle de l'ensemble d'apprentssage, N la dmenson des vecteurs d'entrée. S le problème est lnéarement séparable, on dot alors avor : Marge maxmale On se place désormas dans le cas où le problème est lnéarement séparable. Même dans ce cas smple, le chox de l'hyperplan séparateur n'est pas évdent. Il exste en effet une nfnté d'hyperplans séparateurs, dont les performances en apprentssage sont dentques (le rsque emprque est le même), mas dont les performances en généralsaton peuvent être très dfférentes. Pour résoudre ce problème, l a été montré qu'l exste un unque hyperplan optmal, défn comme l'hyperplan qu maxmse la marge entre les échantllons et l'hyperplan séparateur. Il exste des rasons théorques à ce chox. Vapn a montré que la capacté des classes d'hyperplans séparateurs dmnue lorsque leur marge augmente. 14

16 Fgure 2 - L'hyperplan optmal (en rouge) avec la marge maxmale. Les échantllons entourés sont des vecteurs supports. La marge est la dstance entre l'hyperplan et les échantllons le plus proches. Ces derners sont appelés vecteurs supports. L'hyperplan qu maxmse la marge est donné par : Il s'agt donc de trouver w et w 0 remplssant ces condtons, afn de détermner l'équaton de l'hyperplan séparateur : h(x) = w T x + w 0 = Chox de la foncton noyau Plus formellement, on applque aux vecteurs d'entrée x une transformaton non-lnéare φ. L'espace d'arrvée φ(x) est appelé espace de redescrpton. Dans cet espace, on cherche alors l'hyperplan h(x) = w T φ(x) + w 0 qu vérfe l h(x ) > 0, pour tous les ponts x de l'ensemble d'apprentssage, c'est-à-dre l'hyperplan séparateur dans l'espace de redescrpton. En pratque, on ne connaît pas la transformaton φ, on construt plutôt drectement une foncton noyau. Celle c dot respecter certanes condtons, elle dot correspondre à un produt scalare dans un espace de grande dmenson. Le théorème de Mercer explcte les condtons que K dot satsfare pour être une foncton noyau : elle dot être symétrque, sem-défne postve. L'exemple le plus smple de foncton noyau est le noyau lnéare : 15

17 On se ramène donc au cas d'un classfeur lnéare, sans changement d'espace. L'approche par Kernel trc généralse donc l'approche lnéare en en fasant un cas partculer. Le noyau lnéare est parfos employé pour évaluer la dffculté du problème. Les noyaux usuels employés pour les SVM sont: le noyau polynomal le noyau gaussen 2.3 Sclab Sclab est un logcel lbre de calcul numérque fournssant un envronnement de calcul pour des applcatons scentfques. Développé depus 1990 par des chercheurs de l'inria (Insttut Natonal de Recherche en Informatque et Automatque), nous pouvons dre que Sclab est un pseudo-clone lbre de Matlab. Sclab est un pussant envronnement de programmaton nteractf pour le calcul numérque. C'est un gros logcel : envron fchers, plus de lgnes de code source (en C et Fortran), lgnes de code Sclab (lbrares spécalsées), lgnes de "man" (help en lgne et doc), le tout géré sous Lnux par lgnes de fchers de confguraton (scrpts et Maefles). Sclab comporte un langage de programmaton et un nterpréteur qu travalle sur des objets de type numérques mas pouvant être structurés selon les besons de l'utlsateur. C'est un système complètement ouvert, pusque c'est l'utlsateur qu défnt ses propres fonctons à partr des pussantes prmtves de calcul qu sont fournes. Sclab est dstrbué sous forme bnare pour les PC-Lnux, Wndows et les statons Unx "classques" (Sun HP, DEC, SGI,...), mas construre Sclab sous Lnux à partr de la verson source ne pose aucun problème car les complateurs gcc et g77 sont dans les dstrbutons standards. Un "confgure" suv d'un "mae all" et c'est part pour la complaton : 10 à 15 mnutes plus tard (avec un pentum assez récent!) Sclab est prêt à démarrer. Le code exécutable (sclex) se trouve dans le sous répertore bn et fat à peu près 5 Mégas. Evdemment, les sources et les Maefles étant dsponbles, l'utlsateur plus courageux peut même se recompler un Sclab personnalsé à son goût. L'nterface du Sclab vot annexe 1. Sclab est un envronnement agréable pour fare du calcul numérque car on dspose sous la man des méthodes usuelles de cette dscplne (c'est auss la rason pourquo nous chosssons le Sclab pour tester), par exemple : Résoluton de systèmes lnéares. Calcul de valeurs propres, vecteurs propres. Décomposton en valeurs sngulères, pseudo-nverse. Transformée de Fourer rapde. Pluseurs méthodes de résoluton d'équatons dfférentelles. Pluseurs algorthmes d'optmsaton. 16

18 Résoluton d'équatons non-lnéare. Génératon de nombres aléatores. De nombreuses prmtves d'algèbre lnéare utles pour l'automatque. D'autre part, Sclab dspose auss de toute une battere d'nstructons graphques, de bas-nveau (comme tracer un polygone, récupérer les coordonnées du ponteur de la sours, etc ) et de plus haut nveau (pour vsualser des courbes, des surfaces) ans que d un langage de programmaton assez smple mas pussant et agréable car l ntègre les notatons matrcelles. Quand vous testez un de vos programmes écrt en langage Sclab, la phase de mse au pont est généralement assez rapde car vous pouvez examner faclement vos varables : c est comme s l on avat un débogueur. Enfn, s les calculs sont trop longs (le langage est nterprété ) vous pouvez écrre les passages fatdques comme des sousprogrammes C ou fortran (77) et les ler à Sclab assez faclement. Au tout début Sclab peut s utlser smplement comme une calculette capable d effectuer des opératons sur des vecteurs et matrces de réels et/ou complexes (mas auss sur de smples scalares) et de vsualser graphquement des courbes et surfaces. Dans ce cas basque d utlsaton, vous avez unquement beson du logcel Sclab. Cependant, assez rapdement, on est amené à écrre des scrpts (sute d nstructons Sclab), pus des fonctons et l est nécessare de travaller de par avec un édteur de texte comme par exemple, emacs (sous Unx et Wndows), wordpad (sous Wndows), ou encore nedt, v (sous Unx) Pour tout rensegnement, consulter la "Sclab home page" : http ://sclabsoft.nra.fr 2.4 Java Java langage Le langage Java est un langage de programmaton nformatque orenté objet créé par James Goslng et Patrc Naughton employés de Sun Mcrosystems avec le souten de Bll Joy (cofondateur de Sun Mcrosystems en 1982), présenté offcellement le 23 ma 1995 au SunWorld. Le langage Java a la partcularté prncpale que les logcels écrts avec ce derner sont très faclement portables sur pluseurs systèmes d explotaton tels que UNIX, Mcrosoft Wndows, Mac OS ou Lnux avec peu ou pas de modfcatons C est la plate-forme qu garantt la portablté des applcatons développées en Java. Le langage reprend en grande parte la syntaxe du langage C++, très utlsé par les nformatcens. Néanmons, Java a été épurée des concepts les plus subtls du C++ et à la fos les plus déroutants, tels que l hértage multple remplacé par l mplémentaton des nterfaces. Les concepteurs ont prvlégé l approche orentée objet de sorte qu en Java, tout est objet à l excepton des types prmtfs (nombres enters, nombres à vrgule flottante, etc.) Java permet de développer des applcatons clent-serveur. Côté clent, les applets sont à l orgne de la notorété du langage. C est surtout côté serveur que Java s est mposé dans le mleu de l entreprse grâce aux servlets, le pendant serveur des applets, et plus récemment les JSP (JavaServer Pages) qu peuvent se substtuer à PHP, ASP et ASP.NET. 17

19 Java a donné nassance à un système d'explotaton (JavaOS), à un envronnement de développement (eclpse/jdk), des machnes vrtuelles (MSJVM, JRE) applcatves multplates-formes (JVM), une bblothèque Java (J2ME) avec nterface graphque (AWT/Swng), des applcatons Java (logcels, servlet, applet). La portablté du code Java est assurée par la machne vrtuelle. JRE la machne vrtuelle qu effectue la traducton et l'exécuton du bytecode en code natf supporte pluseurs processus de complaton (à la volée/bytecode, natf). La portablté est dépendante de la qualté de portage des JVM sur chaque OS. L utlsaton natve du langage Java pour des applcatons sur un poste de traval restat jusqu'à présent relatvement rare à cause de leur manque de rapdté. Cependant, avec l accrossement rapde de la pussance des ordnateurs, les améloratons au cours de la dernère décenne de la machne vrtuelle Java et de la qualté des complateurs, pluseurs technologes ont gagné du terran comme par exemple Netbeans et l envronnement Eclpse. Java est auss utlsé dans le programme de mathématque Matlab au nveau de l nterface homme machne et pour le calcul formel. Les applcatons Swng apparassent également comme une alternatve à la technologe.net. Le langage Java a connu pluseurs évolutons depus le JDK 1.0 (Java Development Kt) avec l ajout de nombreuses classes et pacages à la bblothèque standard. Depus le J2SE1.4, l évoluton de Java est drgée par le JCP (Java Communty Process) qu utlse les JSR (Java Specfcatons Requests) pour proposer des ajouts et des changements sur la plateforme Java. Le langage est spécfé par le JLS (Java Language Specfcaton). Les modfcatons du JLS sont gérées sous le code JSR 901. Nous utlsons la lbrare JAMA dans l'mplémentaton du code JAMA JAMA est un pacage de base d'algèbre lnéare pour java. Il est fourn à l'utlsateur pour la constructon de la manpulaton le dfférent type des matrces. Il est destné à fournr suffsamment de fonctonnaltés pour des problèmes courants. Il est adopté une manère qu est naturel et compréhensble pour les non-experts. Il est composé sx classes java : Matrx. CholesyDecomposton. LUDecomposton. QRDecomposton. SngularValueDecomposton. EgenvalueDecomposton. En cours de programmaton, l s'agt des calculs de matrces et leurs caractérstques. Cette lbrare JAMA est donc une bblothèque très ntéressant pour nous. 18

20 Chaptre 3 La problématque Les machnes à vecteurs de support ou séparateurs à vaste marge (en anglas Support Vector Machne, SVM) sont un ensemble de technques d'apprentssage supervsé destnées à résoudre des problèmes de dscrmnaton et de régresson. Une applcaton de SVM est de calculer la foncton de noyau de vablté d'un système dynamque. 3.1 Le noyau de vablté Le problème prncpal auquel nous nous ntéressons dans ce stage est celu de la vablté d'un système dynamque dans un ensemble de contrantes K. Le problème est de trouver une poltque d'acton sur le système, qu le mantenne ndéfnment à l'ntéreur de cet ensemble de contrantes. Ce problème est fréquent en écologe ou robotque, lorsque le système meurt ou se détérore lorsqu'l qutte une certane régon de l'espace. Le but n'est pas alors pas de chosr une soluton 'optmale' en foncton d'un certan crtère, mas de sélectonner des actons 'vables', dans le sens où elles permettent au système de se mantenr dans un ensemble de contrantes. La fgure 3 représente un exemple d'ensemble de contrantes K d'un système dynamque (de forme ovale). Les ponts de couleur blanche sont les ponts pour lesquels l n'exste pas de contrôle vables (courbes rouges), et n'appartennent donc pas au noyau de vablté du système. Le domane bleu est le domane pour lesquels l exste au mons une poltque d'acton vable (courbe verte), et appartennent donc au noyau de vablté. Fgure 3 - L'ensemble de contrante et le noyau de vablté en bleu. 19