Préom Nom Recoaissace des formes: Feêtre de Parze Pricipes de l'appretissage o paramétrique Estimatio o paramétrique de la desité Feêtres de Parze vs. k plus proches voisis Feêtres de Parze Réseau de euroes probabiliste
Pricipes de l'appretissage o paramétrique Il 'est pas toujours possible de modéliser les foctios de desité sous forme paramétrique surtout das les cas de distributios complees ou multimodales avec plusieurs maima locau L'appretissage o paramétrique cosiste à estimer ces desités directemet à partir des échatillos d'appretissage Deu techiques serot étudiées la méthode des feêtres de Parze la méthode des k plus proches voisis Prof. Rolf Igold
Estimatio de la desité La probabilité qu'u poit se trouve à l'itérieur d'ue régio R est doée par P p ' d' R Aisi, P peut être cosidérée comme ue forme lissée de la foctio de desité p Soit u esemble de échatillos aléatoires idépedats distribués selo p; la probabilité que k d'etre eu tombet das R suit ue loi biomiale k Pk P P k k pour k doé l espérace est de E[k]P Prof. Rolf Igold
Estimatio de la desité 2 Or, si est grad, k/ est u bo estimateur de la probabilité P, et doc aussi pour la foctio de desité lissée de p De plus, si p est cotiue et si R est suffisammet petit, alors R p ' d' p V où V est le volume de R, i.e. V d' R E coséquece, o peut déduire l'estimateur suivat pour p k / p V Prof. Rolf Igold
Estimatio de la desité 3 Pour obteir le vrai p et o pas ue estimatio, il y a potetiellemet u problème de covergece : si o fie le volume V et que l o fait tedre le ombre d échatillos vers l ifii, o obtiet ue estimatio de la moyee de p das la régio R, c'est à dire ue estimatio de P/V si o fie et o fait tedre V vers 0, la régio deviet si petite qu'à la fi elle e cotiet plus d'échatillos et l estimatio de p vaudra presque toujours 0 Prof. Rolf Igold P V R p ' d' R d' et si, au cotraire, elle cotiet u échatillo, l estimatio tedra vers!
Estimatio de la desité 4 Par cotre, o peut cosidérer ue suite de régios R, R 2,..., R où V est le volume de R k est le ombre d'échatillos das R Das ce cas, la suite des estimatios p k / V coverge vers p pour si et seulemet si les 3 coditios suivates sot satisfaites lim V 0 lim k lim k / 0 Prof. Rolf Igold
Feêtres de Parze vs. k-ppv Il eiste deu techiques pour egedrer ue suite de régios qui satisfot ces coditios e fiat le volume de la régio comme ue foctio de, par eemple V / c'est la méthode des feêtres de Parze e adaptat la taille des régios au ombre d'échatillos k fié e foctio de, par eemple k c'est la méthode des k plus proches voisis k-ppv Prof. Rolf Igold
Feêtres de Parze vs. k-ppv 2 Illustratio des deu méthodes feêtres de Parze k plus proches voisis Prof. Rolf Igold
Foctio feêtre hypercube Ue foctio feêtre est ue foctio de desité; elle satisfait doc ϕ u 0 ϕ u du Comme foctio feêtre, o peut cosidérer u hypercube de dimesio d, cetré e 0, soit ϕ u 0 u j sio / 2 Prof. Rolf Igold
Prof. Rolf Igold Pricipe des feêtres de Parze O cosidère, des régios R de type hypercubes d'arêtes h et de dimesio d le volume de R est égal à V h d Le ombre d'échatillos qui tombet das ue régio R cetrée e est égal à Par coséquet, la desité de p peut être estimée à l'aide de ϕ i i h k ϕ i i h V V k p /
Gééralisatio des feêtres de Parze L'approche peut être gééralisée à d'autres foctios feêtres ϕ ayat la propriété d'ue foctio de desité ϕ u 0 ϕ u du Si o cosidère toujours que V h d, alors p possède les mêmes propriétés Soit la foctio δ défiie par δ ϕ V h Alors p peut être écrite comme ue moyee p δ i i Prof. Rolf Igold
Iterprétatio des feêtres de Parze L'équatio p δ i i peut être iterprétée comme ue moyee podérée où chaque i cotribue à l'estimatio de p avec u poids qui déped de sa distace à Prof. Rolf Igold
Prof. Rolf Igold Rôle de la largeur de feêtre O peut écrire où Pour toute valeur de h la distributio est ormalisée, c'est-à-dire que Lorsque h ted vers 0, δ - i coverge vers ue foctio de Dirac cetrée e i ϕ h V δ δ i i p ϕ ϕ δ u u d d h V d i i
Ifluece de la largeur de feêtre h ifluece à la fois l'amplitude et la largeur de δ si h est trop petit, l'appretissage sera trop sesible au échatillos problème de sur-appretissage si h est trop grad, l'appretissage produira des régios de décisio avec trop peu de résolutio Prof. Rolf Igold
Coditios de covergece Eamios sous quelles coditios p coverge vers p supposos que p a comme moyee µ et comme variace σ 2. o peut dire que p coverge vers p si et seulemet si les deu coditios suivates sot réuies lim µ p lim σ 2 0 Prof. Rolf Igold
Prof. Rolf Igold Aalyse de la covergece de la moyee O peut poser Aisi µ, la moyee de p est ue covolutio etre la desité recherchée et la foctio feêtre lorsque, V ted vers 0 et δ -v coverge vers ue foctio de Dirac aisi p coverge vers p pour autat que p soit cotiue [ ] v v v v v v d p δ d p h V h V p k k ϕ ϕ µ E E
Prof. Rolf Igold Aalyse de la covergece de la variace O peut poser Pour que cette epressio tede vers 0, il faut que V tede vers l'ifii et que supϕ... soit boré k k k V h d p h V V h V h V sup 2 2 2 2 2 2 2 2 v v v v µ ϕ µ ϕ µ ϕ µ ϕ σ E E
Coditios de covergece 2 Les résultats précédets démotret que les coditios suivates assuret que p coverge vers p supϕ u < u lim V lim V 0 Pour satisfaire les deu derières coditios, o peut choisir V V 0 la théorie des feêtres de Parze établit doc ue relatio etre la largeur de la feêtre et le ombre d'échatillos d'appretissage mais le choi de V 0 déped du problème traité et parfois même de la valeur de! Prof. Rolf Igold
Feêtres de Parze pour distributio ormale Prof. Rolf Igold
Feêtres de Parze pour dist. bimodale Prof. Rolf Igold
Feêtres de Parze pour distr. ormale 2D Prof. Rolf Igold
Frotières de décisio des feêtres de Parze das u espace à deu dimesios Prof. Rolf Igold
Réseau de euroes probabiliste La méthode des feêtres de Parze peut être implémetée au moye d'u réseau de euroes artificiels composé de d uités d'etrée d dim. de l'espace des caractéristiques uités cachées b d'échatillos d'appretissage complètemet coectées au uités d'etrée c uités de sortie c b de classes coectée chacue à ue uité caché Prof. Rolf Igold
Foctioemet du réseau Les échatillos sot présetés au uités d'etrée sous forme ormalisée i.e Chaque uité cachée représete u échatillo d'appretissage elle reçoit les sigau des cellules d'etrée proportioels au poids w jk puis elle applique ue foctio de trasfert et e k / σ 2 avec et k w k Chaque uité de sortie correspod à ue classe elle cumule les résultats des uités cachées de cette classe représeté par a ij La décisio reviet à sélectioer la classe avec la répose maimale L'appretissage cosiste à détermier les poids w jk et a ij Prof. Rolf Igold
Algorithme d'appretissage pour j,..., faire // soit [j] l'échatillo d'appretissage sum : 0; pour k,...,d faire sum + [j,k]^2; orm : sqrtsum; pour k,...,d faire w[j,k] : [j,k]/orm; pour i,...,c faire si [j] appartiet à la classe i alors a[i,j] : ; sio a[i,j] : 0; Prof. Rolf Igold
Algorithme de classemet pour i :,...,c faire g[i] : 0; // soit u échatillo à classer sum : 0; pour k,...,d faire sum + [k]^2; orm : sqrtsum; pour k,..., faire et[k] : 0; pour j :,...,d faire et[k] + w[k,j]*[j]/orm; si a[i,k] alors g[i] + ep[et[k]-/sigma^2] m ; pour i : 2,...,c faire si g[j]>g[m] alors m : j; retourer m; Prof. Rolf Igold