INTRODUCTION A LA STATISTIQUE BAYÉSIENNE NON PARAMÉTRIQUE

Transcription

1 INTRODUCTION A LA STATISTIQUE BAYÉSIENNE NON PARAMÉTRIQUE Jea-Perre Flores Uversté Toulouse (IDEI, GREMAQ) Maufacture des Tabacs Bât F 2, allée de Bree 3000 Toulouse Résumé L obectf prcpal de cet exposé est de rappeler le modèle de base de la statstque bayésee o paramétrque costtué d u échatlloage..d. et d ue probablté a pror sur sa dstrbuto apparteat à la classe des processus de Drchlet. Cette los de probablté a pror est «aturelle couguée» à l échatlloage..d. O s téressera aux proprétés de représetato des processus de Drchlet qu permettet d aalyser par smulato la dstrbuto a pror et a posteror de foctoelles de la lo de probablté coue. L applcato la plus pertete cosste à étuder par smulato la dstrbuto de paramètres caractérsés par ue équato de momet. Le processus de Drchlet egedre que des los de probablté dscrètes. Cette caractérstque, tmemet assocée à sa ature «aturelle couguée», red évdemmet mpossble l estmato de foctoelles défes à partr de los lsses. O évoquera les extesos du processus de Drchlet permettat de trater ce problème. Abstract Ths lecture presets the basc oparametrc bayesa model costructed by a..d. samplg process ad a Drchlet pror process. Ths pror s a atural cougate pror dstrbuto. We focus our presetato o represetatos of Drchlet processes. A aalyss by smulato of fuctoal trasformatos of pror ad posteror Drchlet processes follows from the represetatos. A mportat applcato s gve by ferece of a parameter characterzed by a momet equato. Drchlet processes oly geerate dscrete probablty measures ad fuctoal trasformatos defed for smouth probabltes oly are the udefed. We cosder at the ed of the presetato some extesos of Drchlet processes whch cover some of these cases.. Itroducto L obectf de cet exposé est de préseter brèvemet les prcpales caractérstques du modèle bayése o paramétrque élémetare et d evsager quelques us de ses prologemets. Par modèle élémetare ous etedos u échatlloage..d. d ue dstrbuto coue mue d ue probablté a pror de la famlle des processus de Drchlet. O motre alors que la probablté a posteror de cette dstrbuto est ecore u processus de Drchlet. Les processus de Drchlet sot des mesures aléatores egedrat presque sûremet des probabltés dscrètes a support au plus déombrable et l o rappellera la caractérsato des traectores egedrées par ces processus as qu ue techque smple de smulato de processus de Drchlet approchés. Ce mode de smulato doe ue terprétato bayésee au bootstrap et permet d aalyser la dstrbuto de certaes foctoelles assocées à la dstrbuto coue. O doera as ue verso bayésee de la méthode des momets gééralsée.

2 Nous evsageros u prologemet de ce modèle élémetare qu cosste e ue modfcato de la probablté a pror permettat d obter ue mesure aléatore a posteror géératrce de dstrbutos lsses. 2. Le modèle bayése o paramétrque élémetare Le modèle bayése o paramétrque gééralse le modèle de l échatlloage multomal avec probablté a pror de Drchlet. Cosdéros u élemet aléatore X à valeur das l esemble f P X p. Le paramètre cou de ce modèle est le vecteur,..., vérfat p p p,..., du smplexe S de dmeso. Le vecteur p est mu d ue a pror de Drchlet de desté,..., > 0 et. où 0 G f p p p S Dr Õ Î ÕG 0 O vérfe alors que s l o dspose d u échatlloage..d. de talle, les ombres,..., de réalsatos de chaque modalté formet ue statstque exhaustve. La lo de probablté a posteror de p est ecore ue lo de Drchlet de paramètre * 0 + ",...,.,..., avec * * * mm Das le modèle o paramétrque o dscret l élémet aléatore X ÎX R et est egedré par la probablté P. L élémet cou P est lu-même mu d ue lo de probablté ommée processus de Drchlet et caractérsé par ue probablté doée P 0 et u réel postf 0. O otera cette hypothèse P : D P, et cette mesure aléatore est défe par la proprété : " B,... BL partto de P B X, P B,..., L sut ue lo de Drchlet de L Cosdéros u échatllo..d. de la lo P oté assocée à cet échatllo : S de paramètres,..., L P B P B. x,..., x et P est la lo de probablté emprque P x où x est la mesure de Drac e x. O motre alors que la probablté a posteror de P est ecore u processus de Drchlet de paramètres : S P Q, : D et s B est u esemble mesurable o a + P P + P * 0 * 0. 2

3 Q B Q B E P B Q B et Var P B. + E applquat ces résultats aux processus a pror et a posteror o vot e partculer que P x est l espérace a posteror de P qu a le même comportemet asymptotque que la probablté emprque P. Chosr 0 D P,. O appellera ce processus le processus de Drchlet d échatlloage. O cosdère que ce processus a D P, possède très pett mplque que P a posteror sut u processus de Drchlet posteror est obteu e l absece d formatos a pror be que le processus u comportemet e correspodat pas à l tuto quad 0 0. Il est ef téressat d examer la lo margale (ou prédctve) de l échatllo x,..., x après tégrato de P par rapport au processus a pror. Nous examos c le cas où 0 est quelcoque. Ue descrpto de cette lo cosste à remarquer que 0 0 x : P0, x2 x : P0 +,..., x + + x + x,..., x : P0 + P + + où P est la lo emprque assocée à x,..., x m. Cette lo de probablté sur R egedre avec ue probablté postve des ex aequo. 3. Représetato des processus de Drchlet Le modèle o paramétrque précédemmet décrt a été préseté par Ferguros (973 et 974). Il est apparu das ces travaux que les processus de Drchlet egedret que des probabltés dscrètes a support au plus déombrable ce qu pose la questo de l adéquato du modèle au cas où la lo géératrce des doées est supposée cotue as que la questo de l estmato de foctoelles de P état défes que pour des los lsses (desté). Les travaux de Rol (92 a et b) et Sethurama (92) permettet ue descrpto des traectores du processus de Drchlet plus smple que celle des travaux orgaux de Ferguso. A partr d u résultat gééral préseté das Flores et Rol (994) o motre les résultats suvats : - S P sut le processus de Drchlet d échatlloage P P, presque sûre: P vecteur aléatore % x% où x,...,,..., % : D o a alors la représetato % représete les valeurs dstctes de l échatllo et où le % sut ue lo de Drchlet de paramètres J,..., J % s J est l ordre de multplcté das l échatllo de x%. E partculer s l échatllo e possède que des valeurs dstctes, le vecteur,..., sot ue lo uforme sur le smplexe. U tel vecteur est egedré e ormalsat expoetelles dépedates de paramètre. - S P sut le processus de Drchlet a pror P P0, 0 P a où est u trage..d. de 0 et sot..d. de lo Beta de paramètres et 0. : D et s P 0 a pas de pot de masse o a P et a Õ. Les sot dépedats des O pourra smuler P e troquat la somme fe à. L erreur d approxmato a ue lo coue 3

4 focto de 0. Ef s P sut u processus de Drchlet a posteror P P*, * g a g % x% P + : D o vérfe que où les a, et sot egedrés dépedammet comme précédemmet et où g, dépedat des gradeurs aléatores précédetes, sot ue lo Beta de paramètre et Estmato d ue foctoelle de P et bootstrap bayése La smplcté apparete du processus de Drchlet e dot pas cacher la dffculté réelle de dédure de sa dstrbuto celle de foctoelles vectorelles de P. Le problème le plus smple est celu de la dstrbuto de où : D, ò m x P dx P Q qu a e gééral pas de soluto sous forme d ue dstrbuto coue (vor Yamato (984)). O trouvera das Flores et Rol (994) les codtos d exstece de cette tégrale. U moye smple pour coaître sa dstrbuto est de procéder à des smulatos à l ade des représetatos précédetes. S P P, : D o a par exemple : * * m % m x% g a + g et l sufft d egedrer les, a, et g pour obter des trages de. Cette procédure gééralse le bootstrap bayése au cas d ue dstrbuto a pror formatve. De faço plus géérale o s téressera à des paramètres mplctemet par ue relato A P, 0. d Î R foctos de P et défs S P est u trage d u processus de Drchlet, P est ue lo dscrète et doc l opérateur A dot être déf pour les los dscrètes. C est e partculer le cas quad est déf par ue équato de momet, auss appelée équato estmate : P d A P, E h X, 0 h X, Î R. La lo de probablté de a pas d expresso aalytque e gééral mas o peut smuler P et résoudre e pour obter ue smulato de. Das le cas de la méthode des momets gééralsée dm h > d. Le problème de surdetfcato as posé est resolu par u chagemet de défto de. Das la lge des travaux d échatlloage, o défra comme la soluto des codtos de premer ordre de la mmsato de E p h X, Var p h X, E P h X,. 4

5 O remplacera P das ces tros composates par ses smulatos et o dédut par mmsato des smulatos de. Le modèle de régresso léare fourt u exemple d applcato de cette démarche. X Y, Z et supposos que le paramètre d térêt est Cosdéros le cas de deux varables E YZ E Z 2. S P est la lo de X et s P a pror est P, pror e calculat a a 2 D o obtedra u trage des par la lo a ou, est u trage..d. de P 0 et a vecteur de pods aléatores précédemmet déf. U trage a posteror sera obteu, das le cas d observatos dstctes, e egedrat a a + z y z avec là ecore,..., uforme sur le smplexe S. 5. Mélage de Drchlet a pror et estmato de la desté Pluseurs approches ot été développées af de cotourer le fat que le processus de Drchlet egedre que des los à support au plus déombrable. Parm ces méthodes ctos les mélages de Drchlet dot l térêt est la smltude avec les méthodes de lssage par oyau. (vor m Escobar et West (995), Flores et al (992) et (999)). Sot X Î R de lo P. O se lmtera pour smplfer au mélage par covoluto suvat. Sot D Q, u processus de Drchlet et R ue m probablté a desté sur R. O supposera que la lo a pror de P est telle que P * Q ou Q est tré par le processus de Drchlet et * le produt de covoluto : ò P B Q B R d R B Q d ò La secode expresso permet de vérfer que P admet ue desté a pror où est la dérvée de. ò p x r x Q d r R Cette expresso permet de motrer que la desté a posteror de P peut être smulée par p( x) a r( x ). Malheureusemet le calcul a posteror est plus dffcle. Sot C ue partto de,..., e A,..., A de ombre d élémets,..., et cosdéros les modèles auxlares p s p 5

6 x,, m l + l xl l Î R m,..., p l,..., où les l sot d de lo R, les paramètres correspodates à l élémet la probablté de où les est dstrbué selo Q 0 et où les x l sot les observatos A de la partto de. Par la formule de Bayes, o calcule alors obteue par ce modèle. O motre alors que la desté a posteror vérfe : p,...,, ( g) a + g p x x x C r x r x sot u trage d de Q. Cette expresso est codtoelle à C, cofgurato d exaequo de la predctve dédute du processus de Drchlet. O dot auss effectuer la sommato sur toutes les parttos possbles e podérat par leurs probabltés codtoelles à l échatllo. La dmeso de ce calcul le red mpossble mas ue stratége par échatlloage de Gbbs a été proposée das la lttérature (Escobar et West 995). Q 6. Cocluso Cet exposé e fat qu trodure à l aalyse Bayésee oparamétrque. Parm les multples domaes o évoqués ctos le tratemet de doées cesurées et l utlsato de probabltés a pror gééralsat le processus de Drchlet (processus Beta ou polya tree pror par exemple vor Ghosh et Ramamoorth (2003)). Bblographe [] Escobar, A. et West, M. (995) Bayesa desty estmato ad ferece usg mxtures, Joural of the Amerca Statstcal Assocato, 90, [2] Ferguso, T.S. (973) A Bayesa Aalyss of Some Noparametrc Problems, Aals of Statstcs,, [3] Ferguso, T.S. (974) A Pror Dstrbutos o Spaces of Probablty Measures, Aals of Statstcs, 2, [4] Flores, J.P., Mouchart, M. et Rol, J.M. (992) Bayesa Aalyss of Mxtures: Some Results o Exact Estmablty ad Idetfcato, Bayesa Statstcs, 4, 27 45, Eds J. M. Berardo, J.O. Berger, A.P. Dawd et A.F.M. Smth, Oxford Scece Publcatos. [5] Flores, J.P. et Rol, J.M. (994) Bayes, Bootstrap, Momets, Dscusso paper 943, Isttut de Statstque, Uversté catholque de Louva, Louva-la-Neuve, Belgum. [6] Flores, J.P., Mouchart, M. et Rol, J.M. (999) Sem- ad No-parametrc Bayesa Aalyss of Durato Models wth Drchlet Prors: a Survey, Iteratoal Statstcal Revew, 67, [7] Ghosh, J.. et Ramamoorth, R.V. (2003) Bayesa Noparametrcs, Sprger, New Yor. [8] Sethurama, J. (994) A Costructve Defto of the Drchlet Pror, Statstca Sca, 2, [9] Yamato, H. (984) Propertes of samples from dstrbutos chose from a Drchlet process, Bullet of Iformatcs ad Cyberetcs, 2,