Estimation paramétrique

Transcription

1 stmaton aamétque Maa João enas Laboatoe I3S, CS-USA féve 7

2 Les enttés s e base e l'estmaton aamétque sace es aamètes sace es obsevatons sace es aamètes vae valeu nconnue [ ] obsevatons mesuées ˆ estmateu foncton étemnste es obsevatons Θ Θ : obablté contonnelle es obsevatons ou chaque valeu ossble e ans Θ

3 Objectf: étemne la foncton ˆ e façon à aoxme au meux la valeu nconnue, non-obsevée e. emaque : L alcaton e Θ en est aléatoe: écte a la stbuton contonnelle e sachant est une vaable aléatoe ˆ

4 xemle caactésaton un système automatque e lancement [ me, gauche, ote ] [,,, ], k {su la me, à gauche, à ote} Θ M 3 3. {su la me, à gauche, à ote} me ?

5 me, gauche, ote, me + gauche + ote ésultat e tages néenantes avec le même système 8 ote me Imossble 'mose ˆ,!! gauche eu estmaton: ε ˆ

6 L'eeu ˆ est auss une vaable aléatoe! ε Pou cet exemle, conséons l estmateu suvant: me gauche ote ˆ,, eu estmaton ans les tages néenantes avec le même système.5 ε ote ε gauche.75 ε me

7 Défnton: Foncton e vasemblance ote: Pou chaque, comme foncton e, est une foncton ensté e obablté contonnelle sachant la valeu e, qu est fxe Pou fxe une fos les obsevatons acquses, comme foncton e, est aelée foncton e vasemblance elle n'a onc lus les oétés 'une ensté e obablté! La foncton e vasemblance joue un ôle fonamentale ans la théoe e l'estmaton statstque

8 Moèle bnomal n - -n / n log q nlog/ - +log- Σ n n n

9 log n

10 Ctèes es estmaton ou comae et onc chos! es estmateus Bas estmaton { ˆ } Iéalement, { ˆ } : estmateu non-basé stmaton e la moyenne a la lo es gans nombes tages ote me { ˆ } [ , ] [..7.] gauche

11 stmateu consstant oété asymtotque lm ˆ avec obab. w.. : nombe 'obsevatons talle e

12 onnées:,,..., {,} estmateu: ˆ #{ }/n / moèle P : hstogamme es estmees,,5,,5 5 La stbuton es estmées est e lus en lus concentée autou e xéence su ééttons ou chaque valeu e

13 Vaance e l estmateu va [ ˆ ] ˆ B Iéalement, [ ˆ ] { ˆ } va 8 6 Pou l'exemle e la me, avec tages: Σ Pou éflexon: exlque la coélaton négatve e l eeu estmaton ou cet exemle

14 Bone e Came-ao cas scalae ˆ Pou tout estmateu non-basé, la vaance e l eeu estmaton est bonée a une lmte qu ne éen que e la foncton e vasemblance bone e Came-ao:

15 Démonstaton { } ˆ ˆ stmateu non-basé { } [ ] ˆ ˆ ˆ Mas ˆ ˆ g f g f L négalté e Schwatz affme [ ] ˆ ˆ ˆ

16 exesson altenatve ˆ Démonstaton comme + + ˆ

17 Cas vectoel Cas vectoel vo émonstaton ans les notes e cous J est la matce e Fshe ˆ ˆ J J j j j

18 stmateu effcace: Un estmateu est effcace s sa matce e covaance véfe avec égalté la bone e Came-ao : ˆ ˆ J héoème Un estmateu non-basé est effcace ss s et seulement s l véfe l'équaton suvante s J ˆ émonstaton ans le notes e cous

19 Ctèes sommae Bas noton 'estmateu non-basé Consstance o. asym. Vaance e l'estmateu Bone e Came-ao ffcacté o. asym.

20 stmateu u Maxmum e Vasemblance ˆ >, ˆ mv mv Foncton e vasemblance ˆ ag max L, ag max Λ,, Λ, mv log

21 Pou l exemle e la me L,, me gauche M gauche,, me ote ote M me gauche ote Foncton e vasemblance Pou eux obsevatons fféentes M

22 xecce Soent x,...,x échantllons néenants une vaable aléatoe e Posson e aamète. Monte que la foncton e vasemblance e ces obsevatons est e x k, k xn n stme au sens su Maxmum e Vasemblance le aamète e la stbuton.!! x n

23 L estmateu e maxmum e vasemblance est la valeu moyenne es obsevatons véfe cette affmaton ˆ mv x n n Sa valeu moyenne et sa covaance sont [ ˆ mv ] mv ˆ La évée u logathme e la foncton e vasemblance est x + k + x n n et onc J est La bone nféeue ou l eeu quaatque e toutes les estmées non-basées e est onc. J x x n n ˆ Ces ésultats montent que ou obten ``la même eeu'' on ot ene lus échantllons quan le aamète e la stbuton est gan. S nous comaons la vaance e l'estmateu u maxmum e vasemblance avec le ésultat écéent, nous ouvons constate qu l est effcace cec auat u ête obtenu en alquant le théoème qu onne la conton nécessae et suffsante ou qu'un estmateu sot consstant

24 S maxmum ans l ntéeu e Θ, conton nécessae: ˆ mv Poétés es estmateus u MV: ffcacté S l exste un estmateu qu attent la bone e Came-ao, l coïnce avec l'estmateu MV. Poétés asymtotques, Consstance omalté ˆ ˆ, J µ,σ: ensté Gaussenne, moyenne µ et matce e covaance Σ

25 xecce Sot Xx o,x eux échantllons statstquement néenants une vaable aléatoe unfome ans l ntevalle [,]. Détemne l'estmateu e Maxmum e Vasemblance e.

26 La ensté contonnelle qu éct les obsevatons est Écvons mantenant cette foncton comme foncton e : On eut onc véfe que la foncton e vasemblance est maxmale ou Cet exemle lluste le cas où la foncton e vasemblance n est as contnue, et l estmée ne eut as ête étemnée a fféencaton. <, max,, max,, x x x x x x > > ou, s, et, s,., x x x x x x x x x, max, ˆ x x x x ml

27 Foncton ensté e obablté x,x

28 Foncton e vasemblance x,x

29 Le moèle Le moèle éae éae K w m +,,...,, [ ] ex ex / / / / π π S t m m K K : vecteu e aamètes à estme e menson K m : foncton connue es aamètes nconnus : but obsevaton w,m, { } ` w m m S

30 Dévés e fonctons scalaes 'une matce Dévés e fonctons scalaes 'une matce a a a a / / / Qm m Qm m b b b Q Q Q Q Q n n a a a a a a a [ ] [ ] [ ] L L t L t L t [ ] L L t L t et et et

31 q n S t S t t n n n...,, +,, S q n S t n,...,, n t n t q n m m m m t,...,,, m S m mv ˆ ˆ m ˆ

32 S σ I mˆ ˆ mv stmée e la moyenne es obsevatons: mˆ mv ˆ mv mˆ Matce e ojecton othogonale ans l esace engené a les colonnes e Bone e Came-ao: J j j J On eut véfe que l'estmée u MV ou les moèles éaes est effcace

33 exemle, K3,

34

35

36 xecce Sot y le vecteu es échantllons butés un sgnal contnu ans les nstants k k t,,..., y [ y, y... y ] y y k k On ése ajuste un moèle olynomal à la coube yt :. y t nt n n

37 Selon ce moèle les obsevatons suvent un moèle éae : où est la matce e Vanemone et est le vecteu e coeffcents w y + [ ]

38 Ientfcaton Ientfcaton [ ] h h h K w +,,...,, K, π [ ] m mv ˆ ˆ [ ] m P m mv ˆ ˆ ˆ [ ] P [ ] [ ]m P I P I m m m C m P m P C te te mv ˆ ˆ ˆ ˆ ˆ ˆ ˆ, [ ] [ ]m P I P I m mv ˆ ˆ ag mn ˆ otmsaton non-éae mult-vaable

39 Dans les notes e cous nous allons les étue en D/P stmaton MV es aamètes 'un moèle AMA n a n y t n bnutn, a n Méthoe e Pony exonentelles amotes s/ but Méthoe e Psaenko exonentelles, but x n γ e j e α n+ jπf n j jπf n x n γ e e + w n utlse ectement les échantllons u sgnal stuctue e la matce e coélaton

40 Pochan cous stmaton e aamètes ans es moèles avec es aamètes e nusance aamètes nconnus, mas que l'on ne souhate as estme L'algothme M Le Maxmum e Vasemblance Généalsé Le MDL Mnmum Descton Length