Vje be - Statistika II. dioVjeºbe - Statistika II. dio Optimalnost u ropcjeni Nepristran...

Optimalnost u procjeni Nepristran procjenitelj minimalne varijance Cramer-Rao donja granica - e�kasnost Konzistentnost

Vjeºbe - Statistika

II. dio


Optimalnost u procjeni

Procjenitelja ima puno, pa treba imati kriterije za usporedbu izme�unjih.

Radi jednostavnosti promatramo samo jednodimenzionalneparametre θ ∈ Θ ⊆ RFunkcija gubitka (loss function)

L(θ, θ) = L : Θ×Θ→ [0,+∞)

pokazuje koli£inu odstupanja procjenitelja θ od parametra θ. Npr.

L(a, b) = (a− b)2,

L1(a, b) = |a− b|,

L2(a, b) =ba− 1− ln(

ba

).

Uvijek koristimo L(a, b) = (a− b)2, osim ako nije druga£ijenazna£eno.


Funkcija rizika (risc function) je

R(θ, θ) = EθL(θ, θ), θ ∈ Θ.

To je o£ekivano odstupanje u procesu procjenjivanja parametra θ.

Za L(a, b) = (a− b)2 dobijemo srednju kvadratnu gre²ku (MSE)

R(θ, θ) = Eθ(θ − θ)2,

De�nicija 1.

Za danu funkciju gubitka L, procjenitelj θ je nedopustiv za θ ako postojiprocjenitelj θ1 tako da je

R(θ1; θ) ≤ R(θ; θ), ∀θ ∈ Θ

iR(θ1; θ0) < R(θ; θ0) za neki θ ∈ Θ.

U suprotnom je procjenitelj dopustiv.


Nepristranost procjenitelja

�elimo onaj procjenitelj koji ima najmanji rizik - optimalan usrednjekvadratnom smislu.

De�nicija 2.

Procjenitelj θ nepoznatog parametra θ iz statisti£kog modela {Fθ; θ ∈ Θ}je nepristran ako je

Eθ θ = θ, ∀θ ∈ Θ.

Ako procjenitelj nije nepristran, onda kaºemo da je pristran.Pristranost procjenitelja θ de�niramo kao razliku

bθ(θ) = Eθ θ − θ.


Napomena 1.

Nepristranost ima veze s optimalno²¢u u srednje kvadratnom smislu.Naime, moºe se pokazati da vrijedi

R(θ, θ) = Var(θ) +(bθ(θ)

)2,

odakle se vidi da nepristran procjenitelj ima najmanji rizik me�u svimprocjeniteljima s istom varijancom.Osim toga, vidimo i da je rizik nepristranog procjenitelja jednak njegovojvarijanci.


Zadaci

Zadatak 1.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz familije{Fµ, µ = EXi ∈ R}. Ispitajte je li Xn nepristran procjenitelj za µ.


Zadatak 2.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz distribucije svarijancom σ2. Pokaºite da S2

n = 1

n

∑n

i=1(Xi − Xn)2 nije nepristran

procjenitelj za σ2, no da je procjenitelj S2

n = 1

n−1∑n

i=1(Xi − Xn)2

nepristran za σ2. Nazivamo ga "popravljena uzora£ka varijanca".


Zadatak 3.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz U [0, θ].

(a) Odredite a tako da statistika θ = aX(n) bude nepristran procjeniteljparametra θ, pri £emu je X(n) maksimalna statistika poretka.

(b) Izra£unajte kvadratnu funkciju rizika za dobiveni θ.


Zadatak 4.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz U [0, θ].Provjerite je li θ = 2Xn nepristran procjenitelj za θ, te na�ite funkcijurizika tog procjenitelja.


Zadatak 5.

Neka su θ1, θ2 nepristrani procjenitelji za θ1 i θ2, redom.

(a) Je li aθ1 + bθ2 nepristran procjenitelj za aθ1 + bθ2?

(b) Je li θ21nepristran procjenitelj za θ2

1?


Zadatak 6.

Neka su S2

1i S2

2nepristrani procjenitelji varijance neke distribucije

dobiveni iz jednostavnih slu£ajnih uzoraka (X1, . . . ,Xn1) i (X1, . . . ,Xn2).Dokaºite da je statistika

S2 =(n1 − 1)S2

1+ (n2 − 1)S2

2

n1 + n2 − 2

tako�er nepristran procjenitelj varijance te distribucije.


Zadatak 7.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz binomne B(n, p)distribucije. Pokaºite da je statistika

θ =Xi (n − Xi )

n − 1, i = 1, . . . , n,

nepristran procjenitelj varijance VarXi = npq.


Zadatak 8.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz eksponencijalneE(λ), λ > 0 distribucije s pripadnom funkcijom gusto¢e

f (x ;λ) = λe−λx1(0,∞)(x).

Izra£unajte EX1,VarX1, te na�ite funkciju rizika procjenitelja λ = X(1)

nepoznatog parametra λ, pri £emu je X(1) minimalna statistika poretka.


Zadatak 9.

Na osnovi danih mjerenja stranice kvadrata a u milimetrima dobiveni supodaci 321, 323, 318, 327, 324, ²to su realizacije nezavisnih, jednakodistribuiranih slu£ajnih varijabli X1, . . . ,X5. Odredite nepristranprocjenitelj povr²ine a2.


Zadatak 10.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak. Neka jeθ = K

∑n−1k=1

(Xk+1 − Xk)2 procjenitelj za VarX1. Koji uvjet mora bitiispunjen da bi θ bio nepristran procjenitelj za VarX1 ?


Zadatak 11 (DZ).Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz U [a, b], gdje jepoznata duljina h = b − a, ali nije poznato sredi²te intervalac = (a + b)/2. Za procjenitelja od c uzima se

c =X(1) + X(n)

2.

Provjerite njegovu nepristranost.


Zadatak 12 (DZ).Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz distribucije sgusto¢om

f (x ;λ) =1

2λ√xe−√x

λ 1(0,∞(x).

Provjerite je li

λ =1n

n∑i=1

√Xi

nepristran procjenitelj za λ.


Nepristran procjenitelj minimalne varijance

U klasi svih procjenitelja htjeli bi prona¢i onaj koji ima najmanjusrednju kvadratnu gre²ku.

Pokazuje se da je takav pristup nemogu¢ u klasi svih procjenitelja(θ = 12?!), traºimo takav procjenitelj me�u svim nepristranimprocjeniteljima nepoznatog parametra.

To ¢e onda biti nepristrani procjenitelj minimalne varijance - jo² gazovemo i najbolji nepristrani procjenitelj ili UMVU procjenitelj(unifomly minimum variance unbiased)

Postoji nekoliko pristupa traºenju UMVU procjenitelja.


Rao-Blackwell pristup

Sljede¢i teorem ukazuje na put kojim moºemo i¢i u smanjenjuvarijance procjenitelja, ali jo² uvijek ne kaºe kako posti¢i minimalnuvarijancu u klasi nepristranih procjenitelja.

Teorem 1 (Rao-Blackwell).

Neka je X = (X1, . . . ,Xn) slu£ajan uzorak iz parametarskog statisti£kogmodela {Fθ(x) : θ ∈ Θ} i neka je T = t(X) dovoljna statistika za θ.Neka je S = S(X) nepristran procjenitelj za g(θ), g : Θ→ R kona£nevarijance za sve θ ∈ Θ. De�niramo li S∗ = Eθ(S |T ) onda je

(i) S∗ nepristran procjenitelj za g(θ)

(ii) VarθS∗ < VarθS osim ako Pθ(S∗ = S) = 1.


Napomena 2.

Ovaj teorem sugerira da svaki nepristran procjenitelj treba biti funkcijadovoljne statistike (onda ¢e biti S∗ = S). Ako nije, moºemo konstruiratiprocjenitelj manje varijance njegovim uvjetovanjem na dovoljnu satistiku.

Napomena 3.

Uo£imo da S∗ = Eθ(S |T ) ne ovisi o θ jer je T dovoljna statistika.Pobolj²ani procjenitelj S∗ naziva se Rao-Blackwellov procjenitelj, apostupak njegova dobivanja se ponekad naziva Rao-Blackwellizacija.


Zadaci

Zadatak 13.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz B(20, p) populacije.

(a) Na�ite nepristran procjenitelj za parametar g(p) = 4p(1− p)19 ufunkciji od X1.

(b) Popravite dobiveni procjenitelj teoremom Rao-Blackwell.


Zadatak 14.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz Poissonovedistribucije s parametrom θ > 0, tj. Xi ∼ P(θ).

(a) Na�ite procjenitelj S u funkciji od X1 za g(θ) = θ2e−θ.

(b) Popravite S teoremom Rao-Blackwell.


Zadatak 15.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz Poissonovedistribucije s parametrom λ > 0, tj. Xi ∼ P(λ).

(a) Na�ite nepristrani procjenitelj S za g(λ) = e−λ(1 + λ) u funkciji odX1

(b) Popravite S teoremom Rao-Blackwell.


Lehmann-Sche�e pristup

Ve¢ smo rekli da dovoljnih statistika ima puno. S kojom od njihtreba uvjetovati procjenitelj u teoremu Rao-Blackwell da bi se dobio²to bolji procjenitelj?

Teorem 2 (Lehmann-Sche�e).

Neka je T potpuna dovoljna statistika za θ i neka je S nepristranprocjenitelj za g(θ), g : Θ→ R kona£ne varijance za sve θ ∈ Θ. Tada

S∗ = Eθ(S |T )

ima najmanju varijancu me�u svim nepristranim procjeniteljima kona£nevarijance za g(θ) i jedinstven je Pθ-g.s. za sve θ.


Ovaj fantasti£an rezultat ima nekoliko posljedica u modelima u kojimapostoji potpuna dovoljna statistika:

(i) Ako postoji bilo koji nepristran procjenitelj kona£ne varijance ondamoºemo na¢i UMVU procjenitelj.

(ii) Ako postoji UMVU procjenitelj on je funkcija potpune dovoljnestatistike i jedinstven je (Pθ-g.s.).

(iii) Ako je neki nepristran procjenitelj kona£ne varijance funkcijapotpune dovoljne statistike on je jedinstveni UMVU procjenitelj.


Zadaci

Zadatak 16.

Jesu li Rao-Blackwell procjenitelji iz prethodnih zadataka UMVUprocjenitelji?


Zadatak 17.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N (µ, σ2).

(a) Je li Xn UMVU procjenitelj za µ?

(b) Je li S2

n UMVU procjenitelj za σ2?


Zadatak 18.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz P(λ). Na�iteUMVU procjenitelj za λ.


Zadatak 19.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz distribucije sgusto¢om

f (x ; θ) =1θx

1−θθ 1(0,1)(x), θ > 0.

Na�ite UMVU procjenitelj za θ.


Zadatak 20.

Na�ite UMVU procjenitelj za parametar θ na osnovu jednostavnogslu£ajnog uzorka iz U(0, θ) distribucije.


Cramer-Rao donja granica - e�kasnost

Ovdje su opisani rezultati koji se mogu iskoristiti u potrazi zanepristranim procjeniteljima minimalne varijance.

Zbog jednostavnosti pretpostavljamo da je parametarski prostorΘ ⊆ R.

Ovi rezultati odnose se na tzv. regularne modele.


De�nicija 3.

Neka je s {f (x ; θ) : θ ∈ Θ ⊆ R} dan statisti£ki model zaX = (X1, . . . ,Xn), gdje je f funkcija gusto¢e. Re¢i ¢emo da je modelregularan ako vrijedi

(i) skup A = {x : f (x ; θ) > 0} ne ovisi o θ

(ii) Θ je otvoreni interval

(iii) za svaki x funkcija θ 7→ f (x ; θ) je diferencijabilna na Θ

(iv) Fisherova informacija uzorka

I(θ) = Eθ

[(∂

∂θln f (X , θ)

)2]

zadovoljava 0 < I(θ) <∞(v)

∂

∂θ

∫Rn

f (x ; θ)dx =

∫Rn

∂

∂θf (x ; θ)dx .


Fisherova informacija uzorka mjeri koli£inu informacija onepoznatom parametru sadrºanu u uzorku.

Ako je (X1, . . . ,Xn) jednostavan slu£ajan uzorak, Fisherovuinformaciju uzorka ra£unamo kao

I(θ) =

n∫R

(∂

∂θln f (x , θ)

)2

f (x , θ)dx , X neprekidna s.v.,

n∑j∈N

(∂

∂θlnPθ(X = ξj)

)2

Pθ(X = ξj), X diskretna s.v.


Primjer 1.

Izra£unajte Fisherovu informaciju jednostavnog slu£ajnog uzorka(X1, . . . ,Xn) koji dolazi iz populacije s funkcijom gusto¢e

fθ(x) = 2θ2x3e−θx2

1[0,∞)(x), θ > 0.


Teorem 3 (Cramer-Rao).

Neka je X = (X1, . . . ,Xn) slu£ajan uzorak iz regularnog modela{f (x ; θ) : θ ∈ Θ ⊆ R}. Ako statistika T = t(X ) zadovoljava uvjete

(i) Eθ|T | <∞, ∀θ ∈ Θ

(ii) g(θ) = EθT je diferencijabilna

(iii)g ′(θ) = Eθ[T Uθ(X )], ∀θ,

gdje je Uθ(x) = ∂∂θ ln f (x ; θ).

tada vrijedi

Var θT ≥(g ′(θ))

2

I(θ),

gdje je Iθ = Eθ(U2

θ ) Fisherova informacija uzorka.

Napomena 4.

�to je informacija o parametru ve¢a, to je granica za varijancunepristranog procjenitelja manja.


De�nicija 4.

Nepristran procjenitelj T za g(θ) u regularnom modelu zovemo e�kasan

procjenitelj ako postiºe Cramer-Rao donju granicu, tj. ako vrijedi

VarθT =(g ′(θ))2

I(θ).

De�nicija 5.

Neka su θ1 i θ2 nepristrani procjenitelji za θ. Ako je Var θ1 < Var θ2kaºemo da je θ1 e�kasniji od θ2.


Cramer-Rao nam nudi jo² jedan na£in kako prona¢i UMVUprocjenitelj.

Ako je procjenitelj e�kasan, onda je on i UMVU.

Obratno ne mora vrijediti, tj. postoje modeli u kojima se ne moºeposti¢i Cramer-Rao granica. To je nedostatak ovog pristupa.

Ipak, u jednoparametarskim eksponencijalnim modelima CR granicase postiºe.


Zadaci

Zadatak 21.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz E(λ), λ > 0. Na�iteFisherovu informaciju eksponencijalne razdiobe za parametar 1

λ , teispitajte e�kasnost statistike Xn za taj parametar. Je li Xn UMVUprocjenitelj?


Zadatak 22.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz X ∼ P(λ), λ > 0.Na�ite Fisherovu informaciju danog uzorka, te ispitajte e�kasnoststatistike Xn za nepoznati parametar λ.


Zadatak 23.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N(µ, σ2) gdje jevarijanca σ2 poznata. Koriste¢i CR nejednakost ispitajte je li uzora£kasredina Xn e�kasan procjenitelj nepoznatog parametra µ.


Zadatak 24.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz U [0, θ], θ > 0.Poznato je da je θn = n+1

nX(n) nepristrani procjenitelj parametra θ.

Ispitajte koji je od procjenitelja θ i 2Xn e�kasniji za nepoznati parametarθ.


Zadatak 25.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N(µ, 1). Za procjenunepoznatog parametra µ predloºeni su procjenitelji

θ1 = nX1 − (X2 + . . .+ Xn),

θ2 = (n − 1)X1 + X2

2− (X3 + . . .+ Xn).

Provjerite njihovu nepristranost. Koji je procjenitelj e�kasniji?


Konzistentnost procjenitelja

De�nicija 6.

U ovisnosti o dimenziji uzorka n pratimo jednostavan slu£ajan uzorak(X1, . . . ,Xn). Niz procjenitelja (θn, n ∈ N) za parametar θ jekonzistentan (po vjerojatnosti) ako vrijedi da ∀ε > 0

limx→∞

Pθ(|θn − θ| > ε

)= 0, ∀θ ∈ Θ

De�nicija 7.

Niz procjenitelja (θn, n ∈ N) za parametar θ je konzistentan usrednjekvadratnom smislu ako

limx→∞

E (θn − θ)2 = limx→∞

R(θ) = 0, θ ∈ Θ


Napomena 5.

Iz �ebi²evljeve nejednakosti

Pθ(|θn − θ| > ε

)≤ E (θn − θ)2

ε2

slijedi da konzistentnost u srednjekvadratnom smislu povla£ikonzistentnost po vjerojatnosti.


Zadaci

Zadatak 26.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N (m,m). Tada suXn i S2

n nepristrani procjenitelji nepoznatog parametra m. Pokaºite da suti procjenitelji konzistentni te ispitajte koji je e�kasniji.


Zadatak 27.

Neka je (X1, . . . ,Xn) niz nezavisnih slu£ajnih varijabli takvih da je

EXi = βti

VarXi = σ2

gdje su ti , i = 1 . . . n poznati realni brojevi, a β je nepoznati parametar.Ovo je model jednostavne linearne regresije tipa Xi = βti + εi , i = 1 . . . n.Pokaºite da je

βn =

∑n

i=1tiXi∑n

i=1t2i

nepristran procjenitelj za β, te ispitajte kada je on konzistentan.

Vje be - Statistika II. dioVjeºbe - Statistika II. dio Optimalnost u ropcjeni Nepristran...

Documents

Transcript of Vje be - Statistika II. dioVjeºbe - Statistika II. dio Optimalnost u ropcjeni Nepristran...