Post on 03-Feb-2021
STATYSTYKARafał Kucharski
Uniwersytet Ekonomiczny w Katowicach 2015/16ROND, Finanse i Rachunkowość, rok 2
Rachunek prawdopodobieństwaRzucamy 10 razy monetą, dla której prawdopodobieństwo wyrzuceniaorła w pojedynczym rzucie wynosi 1/2.
Jakie jest prawdopodobieństwo wyrzucenia 5 orłów?
Statystyka matematycznaW 10 rzutach monetą wypadło 5 orłów.
Jakie jest prawdopodobieństwo wypadnięcia orła wpojedynczym rzucie?
Czy moneta jest sprawiedliwa?
Model statystyczny
I X = (X1, . . . ,Xn) – ciąg zmiennych losowych – wynikeksperymentu, pomiaru, obserwacji,
I X – przestrzeń próby – zbiór wszystkich możliwych wartości X ,I P = {Pθ : θ ∈ Θ} – rodzina rozkładów prawdopodobieństwa na
przestrzeni prób X ,I θ – parametr, Θ – zbiór możliwych wartości parametru θ,I (X ,P) – model statystyczny (przestrzeń statystyczna),I f : X → R – statystyka (nie zależy bezpośrednio od θ),I prościej: statystka z próby to zmienna losowa będąca funkcją
obserwowanych w próbie zmiennych losowych,I Próba prosta (z rozkładu Pθ): X = (X1,X2, . . . ,Xn) – niezależne
zmienne losowe o tym samym rozkładzie (Pθ).
I X1,X2, . . . ,Xn – próba (zmienne losowe),I statystyki z próby (zmienne losowe):
X̄ =1n
n∑i=1
Xi , S2 =1n
n∑i=1
(Xi − X̄ )2,
I x1, x2, . . . , xn – realizacje próby (wartości przyjęte przez zmiennelosowe),
I oceny statystyk (liczby):
x̄ =1n
n∑i=1
xi , s2 =1n
n∑i=1
(xi − x̄)2,
Estymacja
I estymacja parametryczna – szacowanie nieznanych wartościparametrów rozkładu cechy statystycznej w populacji generalnej,
I estymacja nieparametryczna – szacowanie nieznanego rozkładubadanych cech w populacji generalnej,
I estymacja punktowa – za ocenę wartości przyjmujemy jednąwartość (dodając błąd szacunku),
I estymacja przedziałowa – wyznaczamy przedział, w którym z dużymprawdopodobieństwem znajduje się wartość szacowanegoparametru.
Estymator
I Estymator to statystyka, która służy oszacowaniu parametru(ów)rozkładu.
I Estymatorem parametru θ rozkładu zmiennej losowej X nazywamystatystykę θ̂n = fn(X1, . . . ,Xn), której rozkład prawdopodobieństwazależy od θ.
I Liczbę fn(x1, . . . , xn) jaką przyjmuje estymator θ̂n dla realizacjipróby (x1, . . . , xn) nazywamy oceną parametru θ.
Pożądane cechy estymatorówI Liczbę B(θ̂n) = E(θ̂n − θ) nazywamy obciążeniem estymatora,I Estymator nazywamy nieobciążonym, jeśli
B(θ̂n) = 0, czyli E(θ̂n) = θ.
I Estymator nazywamy asymptotycznie nieobciążonym, jeśli
limn→∞B(θ̂n) = 0, czyli limn→∞E(θ̂n) = θ.
I Estymator nazywamy zgodnym, jeśli (zbieżność wedługprawdopodobieństwa (stochastyczna))
limn→∞
P(|θ̂n − θ| < ε) = 1 dla każdego ε > 0.
I Jeśli estymator jest zgodny, to jest asymptotycznie nieobciążony.I Jeśli estymator jest asymptotycznie nieobciążony i jego wariancja
maleje wraz ze wzrostem liczebności próby do zera, to jest zgodny.
Prawo wielkich liczb BernoulliegoJeśli k oznacza liczbę sukcesów w n próbach Bernoulliego, to
limn→∞
P(∣∣∣∣kn − p
∣∣∣∣ < ε) = 1, dla każdego ε > 0,gdzie p jest prawdopodobieństwem sukcesu w pojedynczymdoświadczeniu.
Prawo wielkich liczb ChinczynaJeśli (Xn) jest ciągiem niezależnych zmiennych losowych o tym samymrozkładzie i skończonej wartości oczekiwanej E(X1) = µ, to
limn→∞
P(∣∣∣∣∣1n
n∑i=1
Xi − µ∣∣∣∣∣ < ε
)= 1, dla każdego ε > 0.
Średnia z próby
Niech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.
X̄ =1n
n∑i=1
Xi ,
E(X̄ ) = E(1n
n∑i=1
Xi
)=1n
n∑i=1
E(Xi ) =1nnµ = µ,
D2(X̄ ) = D2(1n
n∑i=1
Xi
)=1n2
n∑i=1
D2(Xi ) =1n2nσ2 =
σ2
n,
D(X̄ ) =σ√n.
Wariancja z próbyNiech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.
S2 =1n
n∑i=1
(Xi − X̄ )2 =1n
n∑i=1
X 2i −(1n
n∑i=1
Xi
)2,
E(S2) = E
1n
n∑i=1
X 2i −(1n
n∑i=1
Xi
)2 ==1n
n∑i=1
E(X 2i)− 1n2
E
n∑i ,j=1
XiXj
==1nn(σ2 + µ2)− 1
n2
n∑i=1
E(X 2i)
+n∑
i ,j=1,i 6=jE (XiXj)
== σ2 + µ2 − 1
n2
(n(σ2 + µ2) + (n2 − n)µ2
)=
= σ2 + µ2 − 1n2
(nσ2 + n2µ2
)=
(1− 1n
)σ2 =
n − 1n
σ2.
Nieobciążony estymator wariancjiNiech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.
Ŝ2 =1n − 1
n∑i=1
(Xi − X̄ )2 =nn − 1
S2,
E(Ŝ2) =nn − 1
E(S2) =nn − 1
· n − 1n
σ2 = σ2.
Ale dla statystyki S2µ =1n∑ni=1(Xi − µ)2 mamy
E(S2µ) =1nE(n∑i=1
X 2i − 2µn∑i=1
Xi + nµ2)
=
=1n
n∑i=1
E(X 2i )− 2µ1n
n∑i=1
E(Xi ) + µ2 =
=1n
n∑i=1
(σ2 + µ2)− 2µ2 + µ2 =
= σ2 + µ2 − µ2 = σ2.
Pożądane cechy estymatorów c.d.
I Wariancja estymatora:
D2(θ̂n) = E(θ̂n − E(θ̂n))2.
I Błąd średniokwadratowy estymatora:
MSE (θ̂n) = E(θ̂n − θ)2
I MamyMSE (θ̂n) = D2(θ̂n) + [B(θ̂n)]2
I Jeśli estymator jest nieobciążony, to MSE (θ̂n) = D2(θ̂n).I D(θ̂n) nazywamy wówczas średnim (standardowym) błędem
szacunku parametru θ,I D(θ̂n)/θ jest względnym błędem szacunku.
Pożądane cechy estymatorów c.d.
I Estymator nazywamy najefektywniejszym w danej klasieestymatorów, jeśli ma w tej klasie najmniejszą wariancję.
I Zwykle efektywność rozważamy w klasie estymatorównieobciążonych.
I Estymator efektywny w sensie Rao-Cramera: estymatornieobciążony realizujący dolne ograniczenie w nierównościRao-Cramera
D2(θ̂n) (nE[(
∂ ln f (x ; θ)∂θ
)2])−1,
gdzie f (x ; θ) jest funkcją gęstości lub funkcją prawdopodobieństwapopulacji generalnej.
Xi ∼ N(µ, σ2),
f (x ;µ) =1√2πσ2
exp
(−(x − µ)
2
2σ2
),
ln f (x ;µ) = − ln(√2πσ2)− (x − µ)
2
2σ2,
∂ ln f (x ;µ)∂µ
=2(x − µ)2σ2
=x − µσ2
,
E[(
∂ ln f (x ;µ)∂µ
)2]= E
[(x − µσ2
)2]=
E((x − µ)2)σ4
=σ2
σ4=1σ2,
(nE[(
∂ ln f (x ;µ)∂µ
)2])−1=σ2
n.
Metody uzyskiwania estymatorów
I metoda najmniejszych kwadratów,I metoda momentów,I metoda największej wiarygodności,
I Funkcją wiarygodności próby nazywamy wyrażenie:
L(x1, . . . , xn; θ) =n∏i=1
f (xi ; θ).
I Za θ̂ przyjmujemy wielkość maksymalizującą funkcję wiarygodności(lub jej logarytm),
I Przy dość ogólnych założeniach estymatory MNW są zgodne,asymptotycznie normalne, asymptotycznie nieobciążone iasymptotycznie najefektywniejsze.
Własności rozkładu normalnegoJeśli X1,X2, . . . ,Xn są niezależne o rozkładach normalnych:Xi ∼ N(µi , σ2i ), to:
n∑i=1
Xi ∼ N(n∑i=1
µi ,n∑i=1
σ2i
).
Jeśli X1,X2, . . . ,Xn jest próbą prostą z rozkładu normalnego N(µ, σ2),to:
n∑i=1
Xi ∼ N(nµ, nσ2
),
X̄ =1n
n∑i=1
Xi ∼ N(µ,σ2
n
),
X̄ − µσ
√n ∼ N(0, 1).
Rozkłady t-Studenta, χ2 oraz FJeśli X1,X2, . . . ,Xn jest próbą prostą z rozkładu normalnego N(µ, σ2),to:
nS2
σ2=1σ2
n∑i=1
(Xi − X̄ )2 ∼ χ2n−1,
X̄ − µS
√n − 1 = X̄ − µ
Ŝ
√n ∼ tn−1,
Jeśli X1, . . . ,Xn1 oraz Y1, . . . ,Yn2 są niezależnymi próbami prostymi zrozkładu normalnego, odpowiednio: N(µ1, σ2) i N(µ2, σ2) (σ2 jestnieznane, ale takie samo w obu rozkładach!), to:
Ŝ2XŜ2Y∼ Fn1−1,n2−1.
Przypomnienie: Centralne Twierdzenie GraniczneLindeberga-Levy’ego
Jeśli (Xn)n∈N jest ciągiem niezależnych zmiennych losowych ojednakowym rozkładzie, E(X1) = µ, D2(X1) = σ2
Estymacja przedziałowaI Jerzy Spława-Neyman (1894.04.16 – 1981.08.05)I cecha X ma w populacji rozkład z nieznanym parametrem θ,I na podstawie wylosowanej z tej populacji próby (X1, . . . ,Xn)
wyznaczamy
θ = θ(X1, . . . ,Xn), θ = θ(X1, . . . ,Xn)
aby dla przyjętego prawdopodobieństwa 1− α zachodził warunek
P(θ(X1, . . . ,Xn) < θ < θ(X1, . . . ,Xn)
)= 1− α.
I losowy przedział (θ, θ) nazywamy przedziałem ufności parametru θ,I liczbę 1− α nazywamy współczynnikiem (poziomem) ufności,I długość przedziału ufności θ − θ określa dokładność estymacji,I zależy nam na największej dokładności – szukamy najkrótszych
przedziałów ufności.
Przedział ufności dla średniej w populacji normalnej oznanej wariancji
I Cecha X ma rozkład N(µ, σ2), gdzie wariancja σ2 jest znana.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.
I X̄ =1n∑ni=1 Xi ∼ N
(µ, σ
2
n
)⇐⇒ Z = X̄ − µ
σ
√n ∼ N(0, 1).
I Niech zα będzie taką liczbą, że
P(−zα < Z < zα) = 1− α.
I Wówczas
1− α = P(−zα <
X̄ − µσ
√n < zα
)=
= P(−X̄ − zα
σ√n< −µ < −X̄ + zα
σ√n
)=
= P(X̄ − zα
σ√n< µ < X̄ + zα
σ√n
).
Przedział ufności dla średniej w populacji normalnej oznanej wariancji, c.d.
I otrzymaliśmy
θ = X̄ − zασ√n, θ = X̄ + zα
σ√n.
I zauważmy, że długość przedziału ufności wynosi tutaj 2zασ√n
i niezależy od wartości w próbie,
I mamy
P(−zα < Z < zα) = 1− α ⇐⇒ zα = Φ−1(1− α2
).
Przedział ufności dla średniej w populacji normalnej znieznaną wariancją
I Cecha X ma rozkład N(µ, σ2), gdzie wariancja σ2 jest nieznana.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.
I t =X̄ − µS
√n − 1 ∼ tn−1 (gdzie S =
√1n
∑ni=1(Xi − X̄ )2).
I Niech tα,n−1 będzie taką liczbą, że
P(−tα,n−1 < t < tα,n−1) = 1− α.
I Wówczas
1− α = P(−tα,n−1 <
X̄ − µS
√n − 1 < tα,n−1
)=
= P(−X̄ − tα,n−1
S√n − 1
< −µ < −X̄ + tα,n−1S√n − 1
)=
= P(X̄ − tα,n−1
S√n − 1
< µ < X̄ + tα,n−1S√n − 1
).
Przedział ufności dla średniej w populacji o nieznanymrozkładzie
I Cecha X ma dowolny rozkład, ze znaną wariancją σ2.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.
I Z =X̄ − µσ
√n n→∞−−−→ N(0, 1).
I Zatem, jeśli n jest dostatecznie duże, to
1− α = P(X̄ − zα
σ√n< µ < X̄ + zα
σ√n
),
gdzie zα jest taką liczbą, że
P(−zα < Z < zα) = 1− α.
I Jeśli σ2 jest nieznane, to dla dużego n możemy przyjąć σ = S ,otrzymując przedział ufności
1− α = P(X̄ − zα
S√n< µ < X̄ + zα
S√n
).
PrzykładI Zmierzono wytrzymałość 10 losowo wybranych elementów i
otrzymano następujące wyniki:
383, 284, 339, 340, 305, 386, 387, 335, 344, 346 [Pa].
Przy założeniu, że wytrzymałość tych elementów jest zmiennąlosową N(µ, σ2) o nieznanych parametrach µ i σ2, wyznaczyć napodstawie tej próbki 95% realizację przedziału ufności dla µ.
I Ponieważ
x̄ = 344, s210 = 986.8, s10 = 31.13, t0.05,9 = 2.26,
więc szukana realizacja przedziału ufności ma postać(344− 2.26 · 31.13
3, 344+ 2.26 · 31.13
3
)= (320.5, 367.5).
Przedział ufności dla wariancji w populacji normalnejI Cecha X ma rozkład N(µ, σ2), z nieznanymi parametrami µ i σ2.I Wyznaczymy przedział ufności dla parametru σ2.
I χ2 =nS2
σ2∼ χ2n−1.
I Wyznaczamy takie liczby χ2α/2,n−1, χ21−α/2,n−1, dla których
P(χ2 χ2α/2,n−1) =α
2, P(χ2 ¬ χ21−α/2,n−1) =
α
2,
skądP(χ21−α/2,n−1 ¬ χ
2 ¬ χ2α/2,n−1) = 1− α.I Wówczas
P(χ21−α/2,n−1 ¬
nS2
σ2¬ χ2α/2,n−1
)= 1− α,
czyli
P(nS2
χ2α/2,n−1¬ σ2 ¬ nS
2
χ21−α/2,n−1
)= 1− α.
Przykład
I W celu zbadania jakości miernika wykonano nim n = 12 pomiarówtego samego wzorca. Otrzymano następujące wyniki:
275, 273, 279, 267, 276, 272, 271, 269, 270, 265, 268, 277.
Przy założeniu, że wyniki pomiarów mają rozkład normalny onieznanych µ i σ2, gdzie µ jest prawdziwą wartością wzorca, a σ2jest wariancją błędu pomiaru) należy wyznaczyć 90% realizacjęprzedziału ufności dla σ.
I W wyniku obliczeń otrzymujemy x̄ = 271.8333, s = 4.119736.Znajdujemy χ20.05,11 = 19.67514, χ20.95,11 = 4.574813.
I Podstawiając do powyższego wzoru otrzymujemy przedział ufnościdla wariancji σ2: (10.35147, 44.51912), a stąd dla odchyleniastandardowego σ: (3.217371, 6.672265).
Przedział ufności dla wariancji w populacji normalnej,duża próba
I Niech X1, . . . ,Xn będzie próba prostą z rozkładu N(µ, σ2) gdzie µi σ2 są nieznane, natomiast n > 30.
I Możemy skorzystać z faktu, iż statystyka Sn ma asymptotycznyrozkład N(σ, σ/
√2n), więc
Z =Sn − σσ
√2n n→∞−−−→ N(0, 1).
I Zatem dla zα = Φ−1(1− α/2) mamy
P(−zα <
Sn − σσ
√2n < zα
)≈ 1− α,
więc przedział ufności dla σ na poziomie ufności 1− α ma postać
P(Sn
1+ zα√2n
< σ <Sn
1− zα√2n
)= 1− α,
lub w przybliżeniu
P(Sn(1− zα√
2n
)< σ < Sn
(1+ zα√
2n
))= 1− α.
Przedział ufności dla frakcjiI Cecha ma rozkład zero-jedynkowy z nieznanym parametrem p.I Niech X oznacza liczbę sukcesów w próbie n-elementowej.I Jeśli n jest dostatecznie duże oraz 0.04 ¬ p ¬ 0.96, to w
przybliżeniu
W =Xn∼ N
p,√p(1− p)n
⇐⇒ Z = W − p√W (1−W )n
∼ N(0, 1).
I Jeśli zα jest taką liczbą, że P(−zα < Z < zα) = 1− α, to
1− α = P
−zα < W − p√W (1−W )n
< zα
== P
W − zα√W (1−W )n
< p
Problem minimalnej liczebności próbyI d∗ =
θ − θ2
– maksymalny błąd szacunku.I Dla ustalonej wartości d dobieramy liczebność próby, aby d∗ ¬ d .I W przypadku średniej w populacji normalnej ze znaną wariancją
mamy d∗ = zασ√n
, więc
zασ√n¬ d ⇐⇒ zα
σ
d¬√n ⇐⇒ n z
2ασ2
d2.
I W przypadku frakcji d∗ = zα
√p(1− p)n
, zatem
zα
√p(1− p)n
¬ d ⇐⇒ zα√p(1− p)d
¬√n ⇐⇒ n z
2αp(1− p)d2
.
I Jeśli nie mamy informacji o wielkości p, to zawsze możemyszacować z góry
p(1− p) ¬ 14.
PrzykładI Przypuśćmy, że w badaniach (poparcia dla kandydata w wyborach)
interesuje nas liczność próby wystarczająca do wyznaczeniaprzedziału ufności na poziomie ufności 0.9, którego dopuszczalnadługość nie przekracza 5% = 0.05.
I Otrzymujemy warunekz0.95√4n¬ 0.052⇐⇒ n z
20.95
4 · 0.0252=1.6448542
4 · 0.0252= 1083.
I Zazwyczaj po przeprowadzeniu badania długość przedziału ufnościbędzie mniejsza.
I Na przykład, gdy n = 1083, X = 345, to W = 3451083 = 0.3185596,√W (1−W )n = 0.01415778, a realizacja przedziału ufności dla p ma
postać:(0.2952721, 0.341847).
I Możemy wówczas powiedzieć, że na danego kandydatazdecydowanych jest głosować 31.9% wyborców (z dopuszczalnymbłędem statystycznym ln/2 = 2.3%, na poziomie ufności 0.9).
I Uniwersalny (dla dowolnego rozkładu) przedział ufności dlawartości oczekiwanej otrzymujemy z nierówności Czebyszewa:
P(|X − E(X )| < ε) 1− D2(X )ε2
.
I Stąd dla 1− α = 1− D2(X )ε2
⇐⇒ ε = D(X )√α
mamy
P(X − D(X )√
α< E(X ) < X +
D(X )√α
) 1− α.
I Jeśli X1, . . . ,Xn jest próba prostą, E(X1) = µ, D2(X1) = σ2, towynikający z nierówności Czebyszewa przedział ufności ma postać:
P(X̄ − σ√
nα< µ < X̄ +
σ√nα
) 1− α.
I Na przykład dla 1− α = 0.99 otrzymujemy
P(X̄ − 10σ√
n< µ < X̄ +
10σ√n
) 0.99.