Erkan Özata

Regresyon Analizi Regresyon analizi bağımlı bir değişken (Y) ile bir veya

daha fazla açıklayıcı değişken (X1, X2, .....,Xk) arasındaki ilişkiyi açıklamak ve değerlendirmek ile ilgilidir.

Açıklayıcı (bağımsız) değişkenlerin sabit veya bilinen değerlerine bağlı olarak açıklanan (bağımlı) değişkenin ortalama değerini tahmin etmeye veya öngörmeye çalışırız.

Dr. Erkan Özata

Regresyon Analizi Açıklanan değişken =f (açıklayıcı değişken(ler))

Ortalama Değer Sabit veya bilinen değer

Dr. Erkan Özata

Regresyonla ilgili önemli noktalar Regresyon analizi bir neden sonuç ilişkisini ifade

etmez.

X neden Y sonuç değildir Regresyon analizi ile korelasyon analizi birbirine

karıştırılmamalıdır.Değişkenlerin ele alınış biçimleri farklı

1 2t t tY X uβ β= + +

Dr. Erkan Özata

Örnek

Dr. Erkan Özata

Örnek 60 tane hanehalkından oluşan bir hayali topluluk ele

alıyoruz. Bu aileleri ilgilendiren gelir tüketim ilişkisini ortaya

koymaya çalışıyoruz. 10 tane gelir grubu oluşturup buna bağlı olarak 60

hanehalkının haftalık tüketim harcamalarını gözlüyoruz.

Dr. Erkan Özata

Örnek K0şulsuz ortalama tüketim

7272/60 = 121,20 E(Y) = 121,20Ailelerin gelir durumunu hiç dikkate almadık.

Koşullu ortalama tüketim Veri bir gelir grubunda haftalık tüketim harcamalarının hesaplanmasıE(Y|X=80)=65E(Y|X=100)=77

Dr. Erkan Özata

Regresyon Analizi Regresyon bir koşullu ortalamadır. Bilinen haftalık gelir rakamlarını kullanarak

hanehalklarının ortalama tüketim harcamalarını tahmin etmek istiyoruz.

Koşullu ortalamaları birleştirdiğimizde ana kütle regresyon doğrusunu elde etmiş oluruz.

Dr. Erkan Özata

Regresyon Doğrusu

Dr. Erkan Özata

Regresyon Doğrusu E(Y|X=80) = 65 Regresyon doğrusu üzerindeki 1. nokta

E(Y|X=100)=77 Regresyon doğrusu üzerindeki 2. nokta ------------- ------------- E(Y|X=260)=173 Regresyon doğrusu üzerindeki son nokta Bu noktaları birleştirerek ana kütle regresyon

fonksiyonunu (PRF) elde ederiz.

Dr. Erkan Özata

Ana kütle regresyon fonksiyonu Olasılıklı olmayan biçimi

PRF’de ve ye regresyon katsayıları veya parametreleri adı verilir.Sabit terim veya kesişme terimiEğim katsayısı

Bu ilişkinin tamamına ana kütle regresyon fonksiyonu, regresyon modeli ya da kısaca regresyon diyoruz.

1 2 2( | )iE Y X Xβ β= +

1β 2β

1β

2β

Dr. Erkan Özata

Ana kütle regresyon fonksiyonu Stokastik (olasılıklı biçimi)

Ailelerin geliri artarken ortalama tüketim harcamaları da artar. Ancak bireysel bir ailenin tüketim harcaması gelir düzeyi artarken artmayabilir.

( | )i i iY E Y X u= + 1 2i i iY X uβ β= + +

Dr. Erkan Özata

Stokastik hata terimi Xi gelir düzeyi veri iken bir ailenin tüketim harcaması

o gelir düzeyinde tüm ailelerin ortalama tüketimharcamalarının yani koşullu beklenen değerinetrafında kümelendiğini görürüz.

Beklenen değer etrafında Yi’nin sapması aşağıdakigibidir.

Burada pozitif veya negatif değerlen alan gözlenemeyen tesadüfi bir değişkendir. Teknik olarak stokastik hata terimi olarak bilinir.

( | ) ( | )i i i i i iu Y E Y X veya Y E Y X u= − = +

iu

Dr. Erkan Özata

Örnek Bireysel tüketim harcamaları X=80 için şöyle

yazılabilir

Ana kütle regresyon fonksiyonunun olasılıklı olan ve olasılıklı olmayan kısımları arasında bir ilişki yoktur.

1 1 2 1

2 1 2 2

3 1 2 3

4 1 2 4

5 1 2 5

55 (80)60 (80)65 (80)70 (80)75 (80)

Y uY uY uY uY u

β ββ ββ ββ ββ β

= = + += = + += = + += = + += = + +

( | ) ( | ) ( | )i i i i iE Y X E Y X E u X= +

( | ) 0i iE u X =

Dr. Erkan Özata

Doğrusallık1) Fonksiyonel ilişkide yer alan değişkenler açısından

Doğrusal fonksiyon değil

2) Eşitlikte yer alan parametreler açısındanE(Y|Xi)’nin ların doğrusal bir fonksiyonu olması

21 2( | )i iE Y X Xβ β= +

β

Dr. Erkan Özata

DoğrusallıkHem parametrelerde hem de değişkenlerde doğrusal

Parametrelerde doğrusal, değişkenlerde doğrusal değil

Parametrelerde doğrusal değil, değişkenlerde doğrusal

Doğrusal ana kütle regresyon fonksiyonundaki doğrusallık, parametrelerde doğrusallığı ifade eder.

1 2( | )i iE Y X Xβ β= +

21 2( | )i iE Y X Xβ β= +

1 2( | )i iE Y X Xβ β= +

Dr. Erkan Özata

Hata terimi eşitlikte neden yer alır

1) Modelde ihmal edilen, yani modelde olması gerekip de modele dahil edilmeyen değişkenler olması

2) Verilerin bulunamaması3) Değişkenlerdeki ölçüm hataları4) İnsan davranışlarının doğasında yer alan tesadüfilik5) İlişkiyi ifade eden fonksiyonel biçimin yanlış

seçilmesi

Dr. Erkan Özata

Örnek Regresyon Fonksiyonu Gerçek yaşamda ana kütle parametrelerini bilmek gibi

bir şansımız çoğu zaman olmaz. Ana kütle parametreleri ile ilgili bilgi elde etmek için

örnek regresyon fonksiyonunu (SRF) kullanırız.

regresyon katsayıları, parametrelerdir.

1 2 i i iY b b X e= + +

1 2ˆ i iY b b X= +

1 2 b ve b

1 1 2 2 ' ' nin tahmincisidirb in ve bβ βDr. Erkan Özata

Olasılıklı Biçimi

Olasılıklı Olmayan Biçimi

Hata terimi ve artık terimie

Dr. Erkan Özata

Hata terimi ve artık terim Gözlenen Yi değeri ile örnek regresyon doğrusu

arasındaki düşey uzaklık artık terimi verir.

Gözlenen Yi değeri ile anakütle regresyon doğrusu arasındaki düşey uzaklık hata terimini verir.

Dr. Erkan Özata

Klasik doğrusal regresyon modelinin varsayımları

1) Veri herbir X değerine karşılık gelen Y değeridir.2) Hata teriminin beklenen değeri sıfırdır 3) Hata terimi varyansı gözlemden gözleme değişmez,

sabittir ve ye eşittir. Sabit varyanslılık

4) Hata terimleri arasında ilişki yoktur. Birbirini izleyen iki hata terimi arasındaki ortak varyans sıfırdır.

Hata terimleri arasında otokorelasyon yoktur.

( ) 0iE u =

2σ 2 2( )iE u σ=

2( ) ( )i iVar u Var Y σ= =

( , ) 0 ( , ) 0 i j i jCov u u Cov Y Y i j= ⇒ = ≠

Dr. Erkan Özata

Klasik doğrusal regresyon modelinin varsayımları

5) X değişkeni rassal değildir, tekrarlanan örneklemlerde sabit değerler alır ama X’e ait en az 2 değerin birbirinden farklı olması gerekir.

6) Hata terimleri normal dağılıma sahiptir.

Bu varsayım hipotez testi ve aralık tahmini için gerekli.7) Modelin olasılıklı olan ve olasılıklı olmayan kısımları

arasında ilişki yoktur.

2 21 2(0, ) ( , )i i iu N Y N Xσ β β σ+

( , ) ( | ) 0i i i iCov u X E u X= =

Dr. Erkan Özata