Tesadüfi Değişken Olarak Regresyon Katsayıları

Tesadüfi Değişken Olarak Regresyon Katsayıları

uXY 21

XbbY 21ˆ

Regresyon katsayıları tesadüfi değişkenlerin özel tipidir. X ile Y

arasındaki ilişkiyi gösteren basit regresyon modelini kullanarak bu durumu

açıklayalım. Yukarıdaki iki eşitlik gerçek model ve tahmin edilen

regresyon modelini gösterir. 1

Gerçek model

Tahmin edilen model


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0

)(Var),(Cov),(Cov),(Cov

)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

Yukarıda gösterilen eğim katsayısının basit EKK tahmincisinin davranışını araştıralım.

2


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

Burada b2, X ve Y’ye bağlı iken, diğer taraftan Y’deki değişim X, u ve 1 ve

2 parametrelerine bağlıdır. Bu nedenle Y’nin davranışı sonuçta X, u, ve

parametreler tarafından etkilenmektedir.3


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

b2’nin davranışını gereği gibi açıklamak için, Y yerine gerçek modeli yerine yazıyoruz.

4


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

İlk kovaryans kuralını kullanarak , payı üç kısma ayıralım.

5


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

1 Sabit olduğundan, Cov(X,1)sıfırdır.

6


uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

İkinci kovaryans kuralını kullanarak, 2’yi orta terimin dışına alabiliriz.

7


uXY 21

XbbY 21ˆ

Cov(X, X) ile Var(X) ayni ifadedir. Böylece b2’ iki kısma ayrılabilir : gerçek değer, 2, ve hata terimi.

8

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b


uXY 21

XbbY 21ˆ

Hata terimi, örnekteki her gözlemin karışıklık teriminin(disturbance term ) değerine bağlıdır, ve böylece tesadüfi değişkenin özel biçimi olmaktadır.

9

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b

10


Biz onun b2 üzerindeki etkisini iki şekilde araştırabiliyoruz : İlki doğrudan Monte Carlo denemelerini kullanmak, ikinci ise analitik olarak .

uXY 21

XbbY 21ˆ

)(Var),(Cov

)(Var),(Cov),(Cov0


)(Var])[,(Cov

)(Var),(Cov

2

2

21

212

XuX

XuXXX

XuXXXX

XuXX

XYX

b


Y’nin X parametre değerleri ve u tarafından belirlendiği

modeli seçin

X için veri seçin

Parametre değerlerini

seçin

u’nun dağılımını

seçin

Model

Y’nin değerlerini

üretin

Bir monte Carlo denemesi kontrol edilebilen şartlar altında regresyon tahmincilerinin özelliklerini değerlendirmek amacıyla laboratuar benzeri deneme yapmaktır. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği

modeli seçin

X için veri seçin


seçin


seçin

Model


üretin

Basit doğrusal regresyon uygulandığında EKK regresyon katsayılarının davranışını araştıralım.

11



modeli seçin

X için veri seçin


seçin


seçin

Model


üretin

Y’nin X-değişkeni ile hata terimi tarafından belirlendiğini varsayalım. Sonra X değişkeni değerleri ile parametre değerleri seçelim.

11



modeli seçin

X için veri seçin


seçin


seçin

Model


üretin

Ayrıca bilinen bir dağılımdan karışıklık terimleri (disturbance term) değerlerini üretelim .

11



modeli seçin

X için veri seçin


seçin


seçin

Model


üretin

Örnekteki Y’nin değerleri, X değişkeninin değerleri, parametreler ve karışıklık terimi tarafından belirlenecektir.

11


Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin

X için veri seçin


seçin


seçin

Model

Y’nin değerlerini üretin

Tahminciler

Parametrelerin değerlerinin tahmini

Ve sonra yalnızca Y ve X’ler kullanarak parametre tahminleri elde etmek için regresyon tekniğini kullanacağız.

16



X için veri seçin


seçin


seçin

Model


Tahminciler


Tesadüfi olarak elde edeceğimiz yeni karışıklık terimlerini kullanarak ayni X değişkeni ve ayni parametre değerleri ile süreci sonsuz sayıda tekrar edebiliriz. 16



X için veri seçin


seçin


seçin

Model


Tahminciler


Bu şekilde, regresyon tahmincileri için olasılık dağılımını elde edebiliriz. Ve ayrıca onların sapmalı ya da sapmasız olup olmadıklarını kontrol edebiliriz. 16



X için veri seçin


seçin


seçin

Model


Tahminciler


Y = 1 + 2X + u

X =1, 2, ... ,

20

1 = 2.02 = 0.5

u bağımsız olup N(0,1)

Y = 2.0 + 0.5X + u


Bu denemede örneğimizde 20 gözlem vardır. X, 1, 2, ..., 20 değerlerini almaktadır. 1 =2.0 ve 2 = 0.5’dir.

19



X için veri seçin


seçin


seçin

Model


Tahminciler


Y = 1 + 2X + u

X =1, 2, ... ,

20

1 = 2.02 = 0.5


Y = 2.0 + 0.5X + u


(disturbance term) sıfır ortalamaya ve birim varyansa sahip olacak şekilde normal dağılım kullanılarak tesadüfi olarak üretilir. Böylece Y değerlerini üretiriz. 19



X için veri seçin


seçin


seçin

Model


Tahminciler


Y = 1 + 2X + u

X =1, 2, ... ,

20

1 = 2.02 = 0.5


Y = 2.0 + 0.5X + u


19

b2 = Cov(X, Y)/Var(X);

Parametrelerin değerlerini tahmin edin

EEK tahmin tekniğini kullanarak Y’nin X’e göre regresyonu tahmin edip 1 ve 2 gerçek değerlerine göre b1 and b2 tahminlerimizin nasıl olduğunu göreceğiz.


X 2.0+0.5X u Y X 2.0+0.5X u Y

1 11

2 12

3 13

4 14

5 15

6 16

7 17

8 18

9 19

10 20

Y = 2.0 + 0.5X + u

Burada keyfi birim esasına göre seçilen X değerleri vardır.

22


X 2.0+0.5X u Y X 2.0+0.5X u Y

1 2.5 11 7.5

2 3.0 12 8.0

3 3.5 13 8.5

4 4.0 14 9.0

5 4.5 15 9.5

6 5.0 16 10.0

7 5.5 17 10.5

8 6.0 18 11.0

9 6.5 19 11.5

10 7.0 20 12.0

Y = 2.0 + 0.5X + u

Verilen 1 ve 2 katsayılarını kullanarak, Y’nin stokastik olmayan unsurunu elde edebiliriz.

23


Stokastik olmayan unsur grafiksel olarak gösterilebilir.

24

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

XY 5.00.2 Y

X


X 2.0+0.5X u Y X 2.0+0.5X u Y

1 2.5 -0.59 11 7.5 1.59

2 3.0 -0.24 12 8.0 -0.92

3 3.5 -0.83 13 8.5 -0.71

4 4.0 0.03 14 9.0 -0.25

5 4.5 -0.38 15 9.5 1.69

6 5.0 -2.19 16 10.0 0.15

7 5.5 1.03 17 10.5 0.02

8 6.0 0.24 18 11.0 -0.11

9 6.5 2.53 19 11.5 -0.91

10 7.0 -0.13 20 12.0 1.42

Y = 2.0 + 0.5X + u

Sonra N(0,1) dağılımını kullanarak her bir gözlem için tesadüfi bir şekilde karışıklık terimi değeri üretilir.

25


X 2.0+0.5X u Y X 2.0+0.5X u Y

1 2.5 -0.59 1.91 11 7.5 1.59

2 3.0 -0.24 12 8.0 -0.92

3 3.5 -0.83 13 8.5 -0.71

4 4.0 0.03 14 9.0 -0.25

5 4.5 -0.38 15 9.5 1.69

6 5.0 -2.19 16 10.0 0.15

7 5.5 1.03 17 10.5 0.02

8 6.0 0.24 18 11.0 -0.11

9 6.5 2.53 19 11.5 -0.91

10 7.0 -0.13 20 12.0 1.42

Y = 2.0 + 0.5X + u

Örneğin ilk gözlem için Y’nin değeri 2.50 değil 1.91 olarak elde edilir.

26


X 2.0+0.5X u Y X 2.0+0.5X u Y

1 2.5 -0.59 1.91 11 7.5 1.59 9.09

2 3.0 -0.24 2.76 12 8.0 -0.92 7.08

3 3.5 -0.83 2.67 13 8.5 -0.71 7.79

4 4.0 0.03 4.03 14 9.0 -0.25 8.75

5 4.5 -0.38 4.12 15 9.5 1.69 11.19

6 5.0 -2.19 2.81 16 10.0 0.15 10.15

7 5.5 1.03 6.53 17 10.5 0.02 10.52

8 6.0 0.24 6.24 18 11.0 -0.11 10.89

9 6.5 2.53 9.03 19 11.5 -0.91 10.59

10 7.0 -0.13 6.87 20 12.0 1.42 13.42

27

Benzer şekilde diğer 19 gözlem için Y’nin değerleri üretilir.

Y = 2.0 + 0.5X + u


20 gözlemin dağılımı yukarıdadır.

28

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X



X için veri seçin


seçin


seçin

Model


Tahminciler


Y = 1 + 2X + u

X =1, 2, ... ,

20

1 = 2.02 = 0.5


Y = 2.0 + 0.5X + u


19

Bu noktada biz Monte Carlo denemelerine ulaştık.



X için veri seçin


seçin


seçin

Model


Tahminciler


Y = 1 + 2X + u

X =1, 2, ... ,

20

1 = 2.02 = 0.5


Y = 2.0 + 0.5X + u


19

b2 = Cov(X, Y)/Var(X);

Parametrelerin değerlerini tahmin edin

Şimdi X ve Y verilerine b1ve b2 için EKK tahmincileri uygulayıp gerçek değerlere göre nasıl tahminler elde edeceğimizi göreceğiz.


Tekrar dağılma diyagramını inceleyelim.

31

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X


Regresyon tahmincileri yalnızca gözlenen X ve Y verilerini kullanır.

32

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X


Burada verilere uydurulan regresyon denklemi vardır.

33

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 54.063.1ˆ


Karşılaştırma için, gerçek ilişkinin stokastik olmayan unsuruda gösterilmiştir. 2 (gerçek değeri 0.50) aşırı tahmin edilirken 1 (gerçek değer 2.00) aşağıda tahmin edilmiştir..

34

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 54.063.1ˆ


Y = 2.0 + 0.5X + u

Y’nin ayni stokastik olmayan unsuruyla başlayarak süreci tekrar inceliyoruz.

35

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 5.00.2


Daha önceden gösterildiği üzere, Y’nin değerleri tesadüfi olarak üretilen karışıklık terimi değerleri ilave edilerek elde edilir. 36

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X


Karışıklık teriminin yeni değerleri daha önceden olduğu gibi ayni N(0,1) dağılımından çekilirken yalnızca bir tanesi şansa bağlı değildir. 37

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X


Bu defa eğim katsayısı gerçek değerinin altında, sabit ise gerçek değerinin üzerinde tahmin edilmiştir.

38

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 48.052.2ˆ


Y = 2.0 + 0.5X + u

Süreci bir kez daha tekrar edelim.

39

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 5.00.2


Tesadüfi sayıların yeni seti Y’nin değerlerinin üretilmesinde kullanılmıştır.

40

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X


Burada da, gerçek değerlerden eğim katsayısı altta, sabit katsayı ise üstte tahmin edilmiştir.

41

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

0.00 5.00 10.00 15.00 20.00

Y

X

XY 45.013.2ˆ


Y = 2.0 + 0.5X + u

Tablo üç regresyon ve ayrıca sürecin 7 kez tekrar edilmesiyle elde edilen sonuçlar özetlenmiştir.

42

Tekerrür b1 b2

1 1.63 0.54

2 2.52 0.48

3 2.13 0.45

4 2.14 0.50

5 1.71 0.56

6 1.81 0.51

7 1.72 0.56

8 3.18 0.41

9 1.26 0.58

10 1.94 0.52


Burada 2 tahminlerinin histogramı vardır. Ancak henüz hiçbir şey net olarak görülmemektedir.

43

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

10 replications


Burada sürecin ilave 40 tekerrüründen elde edilen 2

tahminleri vardır. 44

1-10 11-20 21-30 31-40 41-50

0.54 0.49 0.54 0.52 0.49

0.48 0.54 0.46 0.47 0.50

0.45 0.49 0.45 0.54 0.48

0.50 0.54 0.50 0.53 0.44

0.56 0.54 0.41 0.51 0.53

0.51 0.52 0.53 0.51 0.48

0.56 0.49 0.53 0.47 0.47

0.41 0.53 0.47 0.55 0.50

0.58 0.60 0.51 0.51 0.53

0.52 0.48 0.47 0.58 0.51


Histogram merkezi eğilim göstermeye başlamıştır.

45

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

50 tekerrür


Bu 100 tekerrürün histogramıdır. Burada şunu görebiliriz: gerçek değerin etrafında simetrik bir şekilde ortaya çıkmaktadır ki buda tahmincilerin sapmasız olduğunu gösterir.

46

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

100 tekerrür


Yine de , dağılım hala oldukça girintili çıkıntılıdır. Aslında biz bu süreci en az 1000 tekrar etmeliyiz.

47

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

100 tekerrür


Kırmızı çizgi dağılımın biçiminin sınırlarını göstermektedir. Gerçek değerin etrafında simetrik olup, tahmincinin sapmasız olduğunu doğrulamaktadır.

48

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

100 tekerrür


Dağılım normaldir. Karışıklık terimleri normal dağılımdan çekilmiştir.

49

0

2

4

6

8

10

12

0.40 0.45 0.50 0.55 0.60

100 tekerrür


Tesadüfi Değişken Olarak Regresyon Katsayıları

Documents

Transcript of Tesadüfi Değişken Olarak Regresyon Katsayıları