Cours 4 24 octobre. 4.1 Estimation de lois à partir de données (Suite)

Transcription

1 Itroductio aux modèles graphiques 007/008 Cours 4 4 octobre Eseigat: Fracis Bach Scribe: Mathieu Galtier, Carlos Ferádez Grada 4.1 Estimatio de lois à partir de doées Suite Estimatio de loi gaussiee Soit ue variable x R. Nous supposos qu elle suit ue loi ormale parametrée par sa moyee µ et sa variace σ : px µ, σ e x µ σ 4.1 πσ Soit u échatillo x 1,...,x i.i.d. idépedat et idetiquemet distribué. La log-vraisemblace est doée par : l µ, σ log p x 1,..., x µ, σ log p µ, σ log πσ x i µ E dérivat par rapport à µ et σ ous trouvos les estimateurs µ et σ qui maximiset la vraisemblace : µ 4. Notos que cette valeur est exactemet la moyee empirique. σ µ 4.3 Cette valeur est presque la variace empirique il faudrait chager par 1 das le deomiateur Estimatio de loi gaussiee multivariée Soit ue variable x R k. Nous supposos qu elle suit ue loi ormale multivariée parametrée par u vecteur de moyees µ R k et ue matrice de covariace Σ R k k : σ px µ, Σ e x µ T Σ 1 x µ 4.4 π k det Σ 4-1

2 Cours 4 4 octobre 007/008 Soit u échatillo x 1,...,x i.i.d.. La log-vraisemblace est doée par : l µ, Σ log p x 1,...,x µ, Σ log p µ, Σ log π k log det Σ µ T Σ 1 µ Das ce cas otre foctio est cocave. O peut dériver par rapport à µ pour trouver l estimateur qui maximise la log-vraisemblace. Pour calculer la dérivé ous utiliseros la propositio suivate : Propositio 4.1 Soit u vecteur v R k et ue matrice Q R k k : v T Qv Qv v E appliquat cette propositio : l µ, Σ Σ 1 µ µ Σ µ 1 Si o cosidère que cette expressio vaut zéro o trouve l estimateur du vecteur de moyees : µ 4.5 Pour calculer l estimateur de la matrice de covariace d abord o maipule l expressio de la log-vraisemblace pour faciliter les opératios. O otera Λ Σ 1. log det Λ l µ, Σ cost + x µt Σ 1 x µ Le derier terme peut être traité de la faço suivate : x µ T Λ x µ tr x µ T Λ x µ tr Λ x µ x µt tr Λ x µx µt 4-

3 Cours 4 4 octobre 007/008 Défiitio 4. Matrice de covariace empirique x µx µ T Σ L expressio de la log-vraisemblace deviet alors : log det Λ tr Λ Σ l µ, Λ cost + La foctio est la somme d ue foctio cocave et d ue foctio liéaire, elle est doc cocave. O pourrait essayer de dériver par rapport à chaque élemet Λ ij. Mais il est plus pratique de dériver par rapport à toute la matrice : l µ, Λ Λ 1 Si o égale cette expressio à zéro o trouve : Λ 1 Σ Σ L estimateur de la matrice de covariace est alors la matrice de covariace empirique. 1 e jamais essayer de dériver par rapport à chaque élémet de la matrice Σ ou Λ ; toujours vérifier das les produits matriciels que les dimesios sot compatibles. 4. Régressio liéaire O modélise le rapport etre ue variable x R k et ue variable y R. O otera chaque composate de x. O suppose que la probabilité de y coditioée à x est de la forme : py x Nθ T x, σ 4.6 O pred e compte aussi les dépedaces où la moyee de la distributio gaussiee est de la forme θ T x + θ 0. Il faut juste redéfiir x comme x x, 1 R k+1. Les doées qu ot utilise pour estimer les paramètres sot de la forme x 1 i...x q i, y i avec i 1..., x j i R et y i R. Il s agit de doées i.i.d. par paires : x 1 i... x q i, y i x 1 j...x q j, y j i j 4.7 O utilise ecore la foctio de log-vraisamblace pour trouver ue estimatio des paramètres : l θ, σ yi θ T log π log σ σ log σ yi θ T cost σ cost log σ 4-3 y Xθ σ

4 Cours 4 4 octobre 007/008 X R q est ue matrice dot la lige k est de la forme x 1 k...xq k. Pour dériver par rapport à θ o utilisera la propositio suivate : Propositio 4.3 Soit u vecteur v R k et ue matrice Q R k k : Qv T Qv QQ T v v O obtiet alors : l θ, σ XT Xθ y θ σ Si cette expressio vaut zéro o obtiet les Equatios Normales : L estimateur pour θ est alors : L estimateur pour σ est : X T Xθ X T Y 4.8 θ X T X 1 X T Y 4.9 y i θ T σ Le chapitre 6 du livre décrit l estimatio e lige de θ. 4.3 Classificatio Liéaire 4.10 Ici ous cosidéros le cas où les sorties preet leurs valeurs parmis u ombre fii de possibilités : Y {1,.., q} et où les etrées sot vectorielles ie : X X 1,...,X k R k. Cette situatio s apparete à u problème de classificatio. O pourrait appliquer la méthode de régressio liéaire décrite das la sectio précedete, mais o trouve deux problèmes : La desité parametrée qu o obtiet est pas restreite sur les poits y i. Il faut particulariser la distributio cotiue e ces poits. La miimisatio de l écart quadratique péalise les classificatios qui seraiet parfaites. La distace yi θ T x peut être grade, tadis que x correspod à la classe i. Il faut alors utiliser d autres méthodes. Il y a deux méthodes pricipales pour approcher ce problème : la méthode discrimiative et la méthode géérative Méthode discrimiative Pour cette méthode o suppose qu o coait explicitemet ue expressio de py x, θ, ie o coait f telle que py x, θ fx, θ. La méthode du maximum de vraisemblace permet de trouver u estimateur de θ de maière à ce que otre modèle colle au modèle prédictif : le but est pas de modéliser à la fois x et y mais de modéliser x sachat y. Ceci est à cotraster avec la méthode dite géérative. 4-4

5 Cours 4 4 octobre 007/ Méthode géérative Ici ous avos pas de d expressio explicite de py x. O défiit ue loi joite px, y à partir de laquelle o peut calculer py x. Afi d estimer les paramêtres, la méthode géérative va maximiser la vraisemblace joite px, y par rapport aux paramêtres au lieu de maximiser la vraisemblace coditioelle das le cas géérative. Le modèle est le suivat : Y suit ue loi multiomiale de vecteur Π j {1,..., q} X Y j suit ue loi ormale : Nµ j, Σ j Le but du jeu est doc de trouver les µ j, Σ j et Π tels que l o colle au mieux possible à os doées : les couples, y i. D après le règle de Bayes o a doc py i x px y i py i 1 1 π k/ detσ i 1/exp 1 detσ i 1/exp 1 xt Σ 1 i 1 x µ i T Σ 1 i x µ i x 1 µt i Σ 1 i µ i + µ T i Σ 1 i x Π i Π i Si o fait l hypothèse supplémetaire correspodat à LDA Liear Discrimiat Aalysis, i.e., i {1,...,q} Σ i Σ, o a : py i x Π i exp 1 µt i Σ 1 µ i exp x T Σ 1 µ i expb i expx T θ i E cosidérat que b i 1 µt i Σ 1 µ i + logπ i et θ i Σ 1 µ i. E reormalisat o obtiet que py i x e xt θ i +b i q j1 ext θ j +b j 4.11 Défiitio 4.4 foctio softmax La foctio softmax allat de R q das R q associe à chaque vecteur z 1,...,z q le vecteur Sz 1,..., z q dot la ième composate s écrit : Sz 1,...,z q i e z i P q j1 ez j. O a bie : q j1 Sz 1,...,z q 1 et Sz 1,..., z q 0 Avec ce formalisme o peut dire que : py i x Sx T θ 1 + b 1,...,x T θ q + b q i 4.1 Si o cosidère le cas où Σ i Σ j i j, ommé QDA Quadratic Discrimiat Aalysis, alors les termes quadratiques e s aulet pas. Voir DM Afi d estimer les paramêtres, la maximizatio de la vraisemblace joite permet d estimer les paramêtres µ j, Π j et Σ voir DM qui permettet alors de calculer θ j et b j. Das le cadre discrimiatif, les paramêtres θ j et b j sot directemet estimés. 4-5

6 Cours 4 4 octobre 007/ Regressio logistiques : le cas q O peut de la même faço cosidérer que Y {0, 1}, Y {1, 1} ou Y {1, }, le choix déped de ce qu o veut faire. Pour ce cours ous cosidèreros que Y {0, 1}. O a doc d après ce qui précède : e xt θ 1 +b 1 py 1 x e xt θ 0 +b 0 + e x T θ 1 +b e x T θ 1 θ 0 +b 1 b 0 σ x T θ 1 θ 0 + b 1 b 0 où σ est la foctio sigmoïde ie : σz 1 1+e z. E utilisat la même astuce que pour la régressio liéaire, o peut s affrachir du terme costat et cosidérer le modèle : py 1 x, θ σθ T x. Calculos désormais la log-vraisemblace afi de la maximiser pour obteir l estimateur ˆθ : lθ i i i log py y i, θ log py 1, θ δ y i 1 py 0, θ δ y i 0 y i log py 1, θ + 1 y i log 1 py 1, θ Il viet : lθ i y i log σθ T + 1 y i log 1 σθ T 4.13 O ote maiteat que logσz log 1 1+e z log1 + e z et 1 σz σ z sot cocaves. Doc la log vraisemblace est cocave et o peut lui trouver u maximum. Bie qu il y ai pas de formule aalytique pour exprimer ce max o peut utiliser des méthodes umériques d approximatio du maximum pour s e rapprocher. Méthode de Newto-Raphso La méthode de Newto-Raphso est ue méthode itérative, ie telle que x t+1 est foctio de x t, qui vise à trouver l argmax d u foctio f. O fait u développemet de Taylor autour de x t, ce qui doe : fx fx t + f x x t 1 T f x x t + x xt x x x t x x T t +o x x t }{{} ˆf tx 4-6

7 Cours 4 4 octobre 007/008 Le pricipe de la méthode de Newto-Raphso est de détermier x t+1 à partir de ˆf t. Plus précisémet o défiit x t+1 comme suit : x t+1 miˆft x. x Or ˆf t f x x x t + f x x x T t x x t 0 1 f f x x x T t x x t x x t 1 x x t f f x x x T t x x t Défiitio 4.5 Algorithme de Newto-Raphso x 0 est quelcoque o passe du rag t à t+1 grâce à l itératio de Newto : 1 f x t+1 x t x x x f t T x x t O otera que das le cas gééral il peut y avoir différets problèmes lors du déroulemet de l agorithme de Newto-Raphso, par exemple si la hessiee est pas iversible; Par ailleurs das certais cas o observe des oscillatios autour de la valeur cherchée. E revache tout se passe bie das le cas d ue foctio cocave. Théorème 4.6 L algorithme de Newto est globalemet coverget pour lθ. Pour arriver à ue approximatio coveables o peut raisoablemet faire ue tretaie d itératios. Applicatio de la méthode de Newto-Raphso à la régressio logistique Remarquos das u premier temps que la dérivée de la foctio sigmoïde est : σ z e z 1 + e z 1 σz σz Aisi o peut dériver lθ i y i log σθ T + 1 y i log 1 σθ T : dl dθ θ i σθ T y i 1 σθ T x σθ T i 1 y i σθt 1 σθ T x 1 σθ T i + i yi σθ T 4-7

8 Cours 4 4 octobre 007/008 O défiit µ tel que i {1,..., } µ i σθ T. Alors o a : dl dθ θ y i µ i X T y µ Calculos maiteat : l θ θ θ T µ i T θ µ i 1 µ i x T i O défiit W diag µ i 1 µ i. Aisi l θ θ T θ XT WX Défiitio 4.7 algorithme IRLS Das le cas précis de régressio logistique l algorithme de Newto-Raphso est appelé IRLS Iterative Reweighted Least Square. Il est implémeté comme suit : θ 0 0 θ t+1 θ t + X T WX 1 X T y µ Critère d arrèt : pour ǫ petit, e pratique de l ordre de θ t+1 θ t < ǫ lθ t+1 lθ t < ǫ 4-8