Apprentissage numérique III. B. Gas - V 0.6 (2014) UE 5AI02/5AK03 - ISIR/UPMC

Transcription

1 Apprentssage numérque III B. Gas - V 0.6 (014) UE 5AI0/5AK03 - ISIR/UPMC

2 MLP classfeurs - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Décson bayésenne Prncpe du «Wnner taes all» Estmaton des probabltés a posteror Rejet Confusons

3 Rappels de probabltés - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Probabltés dscrètes : a est un évènement parm un ensemble Ad'évenements : 0 P(a) 1 et P(a) + P(b) P(z) =1 Varable aléatore : assoce à une éventualté (résultat du hasard) un nombre Densté de probablté : p( θ ) non majorée par 1 + Probablté a pror : p( θ) dθ = 1 x+δx Px ( X x+δ x) = p( θ) dθ x Sot à classer un caractère nconnu en ne dsposant d aucune nformaton n ndce mesuré Sur ce caractère. Assemblons une grande quantté de caractères et en mesurons les fractons De ces caractères qu appartennent à chacune des dfférentes classes de caractères. On formalse cec comme la probablté a pror d appartenance d une mage à une classe De caractères : nombre d'mages de caractères de la classe PC ( ) = lm N nombre total d'mages N

4 Théorème de Bayes - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Probabltés condtonnelles : La probablté condtonnelle d appartenance de l mage à une classe sachant Le résultat d une mesure pratquée sur cette mage s écrt : PC ( x) = probablté d'appartenance de l'mage à la classe C sachant la Et vérfe : le résultat x d'une mesure pratquée sur l'mage PC (, x) = PC ( xpx ) ( ) = Px ( C) PC ( ) D où l on tre l expresson (théorème de Bayes) : PC ( x) = Probablté a posteror (probablté après mesure) PxC ( ) PC ( ) Px ( ) Probabltés a pror (en dehors de toute mesure)

5 Décson Bayesenne - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Pour une nouvelle mage de caractérstque x, la probablté de mauvase classfcaton est mnmsée s l on assgne à l mage nconnue la classe qu maxmse les probabltés a posteror : Assgner la classe C qu mnmse la probablté a posteror P( C x) Cette règle de décson est appelée décson bayesenne quoque le théorème de bayes est en fat lé à l estmaton des probabltés a posteror : Estmaton des probablté a posteror Décson Le gros avantage du théorème de Bayes est de permettre d exprmer les probabltés a posteror en foncton des densté de probablté, plus facles à estmer Le problème reste mantenant d estmer les denstés de probabltés (cf. cours de RdF) Les Réseaux MLP utlsés en classfcaton sont, sous certanes Condtons, des approxmateurs des probabltés a posteror

6 Décson avec rejet Dans certans cas, l ensemble des probabltés calculées sont fables. Il peut être préférable alors de ne pas effectuer de classfcaton s l on souhate mnmser Le rsque de fare des erreurs de classfcaton : Rejet «dstance» : Pr. a posteror : PC ( x) Seul de rejet : θ décson rejet - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Rejet «ambguïté» : Pr. a posteror : PC ( x) Seul de rejet : θ décson rejet Classe : C Classe : C Les rejets peuvent être tratés par des méthodes de classfcaton alternatves

7 Wnner taes all En classfcaton, l objectf donné au réseau est d assocer à un vecteur de caractérstques donné en entré une classe d appartenance en sorte. On a deux possbltés : Réseau dscrmnant Décson drecte x Classe d appartenance - Décson bayésenne - Wnner taes all - Probabltés a posteror Forme Vecteur de caractérstques Réseau Une cellule de sorte par classe. Chaque sorte évalue une probablté a posteror Décson Bayesenne ou WTA - Rejet - Confusons x PC ( x) = 1,..., K Classe d appartenance Probabltés a posteror Le deuxème procédé est plus ntéressant car on peut exploter nombre de résultats théorques

8 Exemples (1) - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons à A (score=0.43) à A (score=0.83) Rétne d entrée : 13x13 (centrage+réducton) Couche de sorte: 6 cellules, 1 par classe Couche cachée: 30 à 40 neurones Apprentssage: Rétro-propagaton de l erreur à B (score=0.74)

9 Exemples () - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Erreur! I avec score 0.44

10 Exemples (3) - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons F ben reconnu mas score = -0.: ERREUR: T (-0.16) de justesse au leu de I

11 Modélser les probabltés a posteror (1) - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Parm les résultats théorques applcables aux réseaux WTA : Mnmsaton de l erreur de décson : Mnmser les probabltés a posteror revent à mnmser l erreur de classfcaton On n est pas tenu d mposer des valeurs bnares aux sortes. (Forcer l apprentssage des exemples ne générant pas des sortes proches des valeurs cbles perturbe les dstrbutons en empêchant le réseau de modélser les probabltés a posteror correctes) Sommaton à 1 des sortes : Pusque les sortes du réseau approxment les probabltés a posteror elles devraent sommer à 1 pusque : K x, P( C x) = 1 = 1 = 1,..., K On peut obtenr explctement ce résultat en utlsant des fonctons de transton softmax sur les N cellules de sorte : y = N e j= 1 V e V j La foncton softmax est une généralsaton de la foncton «sgmoïde logque» : 1 V y avec A A ln j = V e j = + ( ) 1 e

12 Modélser les probabltés a posteror () - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Compenser un déséqulbre de la base d apprentssage : Comme vu en haut, on peut estmer les probabltés a pror à partr d une grande collecton d exemples de classe connue. De ce fat, la base d apprentssage véhcule des nformatons a pror concernant les classes : On dot pouvor retrouver ces probabltés par calcul de la moyenne des sortes du réseau sur tous les exemples pusque : PC ( ) PC ( x) pxdx ( ) lm PC ( x) PC ( x) y K ( ) = = ; = K K = 1 K K S les probabltés a pror estmées à partr du réseau ne coïncdent pas avec celles attendues, c est à dre que les nformatons a pror véhculées par la base ne sont pas correctes, on peut compenser l écart observé : y N PC ( ); N PC ( ) y PC ˆ( ) Proba. correctes Proba. estmées sur la base

13 Modélser les probabltés a posteror : rejet - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons Combner les sortes de pluseurs réseaux : Il est possble de subdvser un problème complexe en pluseurs problèmes smples et autant de réseaux. A condton de dvser les sortes des réseaux par les probabltés a pror utlsées durant l apprentssage, l devent possble de les multpler entre elles à condton toutefos que les entrées partagées sur les dfférents réseaux soent ndépendantes les unes des autres. Fare du rejet : Comme vu plus haut, le fat que les sortes soent des probabltés a posteror permet de d effectuer du rejet d exemples lorsque les sortes du réseau ne sont pas suffsamment Élevées (rejet dstance) ou que les deux sortes les plus actves sont trop proches l une de l autre (rejet ambguïté). Contrantes à respecter : On montre que lorsque la foncton de coût est du type EQM et que les denstés de probablté sont gaussennes ou tout au mons de la famlle des denstés exponentelles, les sortes du réseau approxment les probabltés a posteror. Densté de probablté condtonnelle aux classes PC ( x) = PxC ( ) PC ( ) Px ( ) A noter que les réseaux ne nécesstent pas l estmaton des denstés de probablté

14 Confusons La matrce des confusons est défne sur une base d exemples labellsés, c est à dre dont on connaît les classes d appartenance. Les réponses données par le réseau (ou tout autre système de RdF) sont cumulées selon le prncpe d un hstogramme des classes : Classes proposées par le réseau R Exemples rejetés - Décson bayésenne - Wnner taes all - Probabltés a posteror - Rejet - Confusons % des exemples de Label 6 ont été rejetés =100% % des exemples de label 6 ont été classés comme des 7 : confuson Labels des exemples 45% des exemple de label 6 ont été classés comme tels, donc correctement

15 MLP : Généralsaton L objectf de l apprentssage d un réseau n est pas de mémorser une représentaton exacte des données d apprentssage mas plutôt de construre une modélsaton statstque du modèle qu les a généré. Un moyen de vérfer s un réseau a construt une bonne modélsaton est de tester ses capactés en généralsaton, c est à dre ça capacté de donner de bonnes réponses pour des données non apprses. Base de test (30%) Ensemble des données Dsponbles (100%) Base d apprentssage (70%) Modèle hx ( ) et approxmatons polynomales 1ere approxmaton (Trop de coeffcents) exemples de mauvase généralsaton ème approxmaton (Pas assez de coeffcents) Données d apprentssages (brutées) x Deux voes : Stablsaton structurelle Régularsaton

16 MLP : Généralsaton Stablsaton structurelle Contrôler la complexté du réseau par ajout ou élagage de connexons et/ou cellules Deux voes à explorer Régularsaton Contrôler l apprentssage par adjoncton à la foncton erreur d un terme de pénalté ou d un crtère d arrêt

17 Formalsaton probablste L objectf de l apprentssage d un réseau n est pas de mémorser parfatement les données d apprentssage mas plutôt de modélser correctement le processus qu les a généré. Ans, le réseau devra donner la melleur prédcton de la cble z lorsqu on lu présente en entrée une donnée nouvelle x. x y Erreur de prédcton Processus z= hx ( ) z=y d Sortes y du réseau Données apprses Données non apprses x La descrpton la plus générale et complète d un générateur de données est celle donnée par la densté de probablté dans l espace jont des entrées/cbles : p(x,z)

18 Foncton de coût Pour les problèmes de prédcton, l est commode de séparer la densté de probablté jonte en le produt de la densté condtonnelle de probablté des données cbles, relatvement aux données d entrée, par la densté ncondtonnelle de probablté des entrées : p( xz, ) = p( z x) p( x) Densté de probablté de z sachant la valeur de x Dot être modélsée pour pouvor réalser des prédctons de Z à partr de x Densté de probablté ncondtonnelle de x Joue un rôle mportant dans les Réseaux RBF La plupart des fonctons de coût trouvent leur explcaton dans le prncpe du maxmum de vrasemblance : ( z x ) ( x ) {( x z )} ( x z ) pour un ensemble de données d'apprentssage, on défnt la vrasemblance par L= p, on a : L= p p on préfère mnmser le logarthme de 1/ L: E = -log L appelé foncton de cout : E = - logp ( z x ) log p( x ) E ( ) = - log p z x Ne dépend pas des paramètres du réseau Les denstés condtonnelles sont modélsées par le réseau

19 Foncton de coût () On a c dédut l erreur EQM à partr du prncpe du maxmum de vrasemblance et sous l hypothèse d une dstrbuton gaussenne des données. E ( z x ) ( x ) = 1 = 1 ( x z ) Dans un problème à N classes, la vrasemblance s'écrt L= p, N ( ) = - log p z x Pour les problèmes d nterpolaton, les cbles z sont des quanttés contnues que l on cherche à prédre ( x Ω) sot : E = log p N log p Pour les problèmes de classfcaton, les cbles z sont des labels représentant des classes d appartenance ou, plus généralement, des probabltés de classe d appartenance. Sot y, l'une des N sortes calculées par le réseau (1 cellule par classe) On suppose que la cble z est générée par un processus bruté tel que : z = h( x) + ε On suppose également que ε sut une lo normale de moyenne nulle et de varance σ : ( Ω z) ( ε ) y( x, ) 1 1 p( z x ) = p( ε) = exp = exp πσ σ πσ σ ( x Ω) Où l'on a remplacé le modèle détermnste h ( x) par le notre y, 1 Alors : E = σ N ( y ( x ) ) = 1 NK, Ω z + NKlogσ + log( π) N

20 Cbles brutées Une proprété mportante est l approxmaton par les sortes d un réseau de l espérance condtonnelle des données cbles, lorsque l on mnmse l EQM. S l'on suppose que la talle N de la base d'apprentssage tend vers l'nfn N ( ( ) ) ( ( ) ) ( ) 1 1 On a : E = lm y x, Ω z = y x, Ω z p z, x dzdx N N et on montre que cela tend vers : = E = ( y (, Ω) z ) p( ) d + z x x x x x avec les espérances condtonnelles suvantes : ( x) z x = z p z dz ( x) z x = z p z dz ( ) ( ) z x p x dx z pz ( x0 ) Peut être néglgé car ne dépend pas des pods yx ( 0) x L EQM touche sont mnmum lorsque ce terme tend vers 0, c est à dre quand : y * ( x ), Ω = z x x 0 Données d apprentssages (cbles brutées)

21 Le bas et la varance Idéalement, la foncton optmale y(x) réalsée par le réseau est telle que y(x)=<z x>. Dans la pratque, on se heurte au problème de la fntude de la base d apprentssage : Une mesure de la dstance de la foncton réalsée par le réseau avec la foncton cble ( y( x) z x ) est donnée par : Mas cette mesure dépend de la base A utlsée pour apprendre le réseau. On peut élmner ce problème en calculant l espérance sur l ensemble des ensembles d apprentssage possbles : ( ( x) x ) E A y z Idéalement toujours nulle Non nulle car en moyenne, le réseau ne modélse pas la bonne foncton C est le bas Non nulle car la foncton réalsée est sensble à l ensemble d apprentssage utlsé C est la varance ( ( ) ) ( ) ( ) ( ( ) ( ) ) On montre : E A y x z x = EA y z + EA y EA y x x x x

22 Mnmsaton des pods La melleure généralsaton s obtent lorsque l on mnmse smultanément le bas et la varance. Ce cas arrve lorsque l on fat tendre la talle de l ensemble d apprentssage vers l nfn! Dans la réalté, cet ensemble est fn. Réseau trop complexe Réseau trop smple Méthodes de régularsaton Varance élevée Bas élevé Une varance élevée se tradut par des courbures fortes de la foncton Réalsée par le réseau. L obtenton de telles courbures s obtent par : Des valeurs absolues des pods du réseau plus élevées Un temps d apprentssage accru Lmter la valeur absolue des pods (weghts decay) Lmter le temps d apprentssage (cross-valdaton) 1 E% = E + η ω Apprentssage avec brut (Pods partagés) crtère d'arret

23 Cross-valdaton Taux d erreur Apprentssage = Estmaton des paramètres du réseau à partr d un ensemble d exemples appelé ensemble d apprentssage Généralsaton = Capacté du classfeur à classer corectement des formes non apprses et appartenant à l ensemble de test Valdaton crosée = Mesure des performances en généralsaton pendant l apprentssage : ensemble de cross valdaton Données de Cross Valdaton Données d apprentssage Nb Iteratons Arrêt recommandé

24 Performances d un classfeur Sur l ensemble de test : Qualté de l ensemble d apprentssage : bonne % formes ben classées % formes mal classées % formes non classées facteur de qualté étude des confusons crtères de rejet mauvase échantllons nombreux densté homogène échantllons en fable nombre densté non homogène

25 Représentaton des formes (1) RF : représentaton des formes reconnassance RC : représentaton des classes Formes codage classfcaton Classes

26 Représentaton des formes () Hypothèse 1 : bonne qualté de l ensemble d apprentssage RF bonne bonne RC Séparaton lnéare RF moyenne bonne RC Présence d exemples dans les enclaves RF mauvase mauvase RC Recouvrement des classes

27 Représentaton des formes (3) Hypothèse : mauvase qualté de l ensemble d apprentssage RF bonne mauvase RC mauvase en généralsaton Plus la RF est mauvase, melleur dot être la qualté de l ensemble d apprentssage