0.1 REGRESI LINIER 3

terdapat suatu peubah terikat yang tunggal atau disebut respon Y yang tidak dikontroldalam percobaan tersebut. Respon bergantung pada suatu atau lebih peubah bebas, mis-alnya x1, x2, x3, ..., xn yang GALAT PENGUKURANNYA DAPAT DIABAIKANdan sesuangguhnya sering peubah bebas tersebut dikendalilkan dalam percobaan. Jadipeubah bebas misalnya X1, X2, X3, ..., Xk bukanlah peubah acak acak tapi k besaran yangditentukan sebelumnya oleh peneliti dan tidak mempunyai sifat distribusi.

Definisi [3.1]Persamaan Regresi adalah Hubungan antara peubah bebas dan respon, yang dicocokanpada data percobaan, ditandai dengan persamaan prediksi.

Bila Y dan X masing-masing tunggal, persoalannya menjadi regresi linear Y atas X Bilaada k peubah bebas maka dikatakan regresi Y atas X1, X2, X3, ..., Xk

Nyatakanlah sampel acak ukuran n dengan himpunan (xi, yi), i = 1, 2, 3, ..., n Bila diambilsampel tambahan pada sejumlah harga x yang tepat sama, maka kita yakin harga y akanberbeda beda. Jadi harga yi pada pasangan terurut (xi, yi) merupakan harga dari suatupeubah acak Y . Untuk mudahnya, akan ditulis Y |X menyatakan peubah acak Y yangberkaitan dengan suatu nilai tetap x. Distribusi peluang Y |x dinyatakan dengan f(y|x).Jelas, bahwa bila x = xi maka lambang Y |xi menyatakan peubah acak Yi.Istilah regresi linear bearti bahwa rataan Y |X berkaitan linear dengan x dalam bentukpersamaan linear biasa.

µY |X = α + βx

α dan β merupakan 2 parameter yang akan ditaksir dari data sampel. Bila taksiran un-tuk kedua parameter itu masing-masing dinyatakan dengan α dan β maka taksiran untukrespon y dapat diperoleh dari bentuk garis regresi berdasarkan sampel.

Regresi Linear Sederhana [3.2] Bila dimisalkan bahwa rataan µY |Xi terletak padagaris lurus, maka peubah acak yi = µY |xi dapat ditulis sebagai

Yi = µY |xi + Ei = α + βxi + Ei

dengan Ei PEUBAH ACAK YANG MEMILIKI RATAAN NOLSetiap pengamatan (xi, yi) dalam sampel memiliki hubungan

yi = α + βxi + Ei

dengan nilai Ei nilai yang dicapai Ei bila Yi berharga yi. Demikian juga dengan meng-gunakan Regresi

y = a+ bx

tiap pasangan memenuhi yi = a+ bxi + ei dimana ei adalah sisa.Cara peminimuman untuk menaksir parameter dinamakan Metode Kuadrat Terkecil.Jadi akan dicari nilai a dan b sehingga diperoleh hasil yang minimum, yakni

n∑i=1

yi = na+n∑i=1

bxi

1

Penaksir Parameter α dan βGaris regresi µY |X = α + βx ditaksir dari sampel (xi, yi); i = 1, 2, 3, ..., n dengan garisy = a+ bx, dengan

b =

nn∑i=1

xiyi − (n∑i=1

xi)(n∑i=1

yi)

nn∑i=1

(xi)2 − (

n∑i=1

xi)2

a = y − bx

Sifat Penaksir Kuadrat TerkceliMisalnyaEi berdistribusi normal dengan variansi sama dengan σ2 dan bahwa E1, E2, ..., Ensaling bebas dari suatu pengamatan ke pengamatan berikutnya dalam percobaan. Den-gan anggapan normalitas, maka kita dapat mencari rattan dan variansi untuk menaksirα dan β. Perlu diingat bahwa a dan b adalah taksiran untuk parameter sebenarnya αdan β yang didasarkan pada sampel sebesar n pengamatan.Teorema 3.1

Suatu taksiran tak bias untuk σ2 diberikan oleh S2 =JKG

n− 2=Jyy − bJxyn− 2

Dimana

Jyy =n∑i=1

(yi − y)2 =n∑i=1

y2i −

(n∑i=1

yi

)2

n

Jxx =n∑i=1

(xi − x)2 =n∑i=1

x2i −

(n∑i=1

xi

)2

n

Jxy =n∑i=1

(xi − x)(yi − y) =n∑i=1

xiyi −

(n∑i=1

xi

)(n∑i=1

yi

)n

Selang Kepercayaan dan Uji KeberartianDisamping penaksir hubungan linear antara x dan y untuk tujuan peramalan, peneli-tia juga mungkin tertarik untuk menarik interpretasi mengenai kemiringan (koefisienarah) perpotongan garis regresi dengan sumbu Y, ataupun sifat menyeluruh dari garisregresi yang ditaksir.Namun, seringkali malahan hasil regresi dilaporkan oleh penelititanpa menyebutkan berapa baiknya b menaksir β ataupun bagaimana baiknya menaksirgaris regresi meramalkan respon.

Selang Kepercayaan untuk β

Suatu kepercayaan untuk β suatu selang sebesar (1− α)100% untuk parameter β dalampersamaan regresi µY |x = α + βx adalah

2

b−tα

2s√

Jxx< β < b+

tα2s√

Jxx

Dalam rumus ini tα2

menyatakan nilai distribusi t dengan derajat kebebasan n− 2.

untuk menguji Hipotesis nol (H0) bahwa β = β0, lawan suatu alternatif sesuai denganpersoalan, kemudian digunakan distribusi t dengan derajat kebebasan n− 2 untuk men-dapatkan suatu daerah kritis dan kemudian mendasarkan keputusan atas nilai

t =b− β0

sJxx

Selang Kepercayaan untuk αSuatu kepercayaan untuk α suatu selang sebesar (1− α)100% untuk parameter α dalampersamaan regresi µY |x = α + βx adalah

a−tα

2s

√n∑i=1

x2i

√nJxx

< α < a+

tα2s

√n∑i=1

x2i

√nJxx

Dalam rumus ini tα2

menyatakan nilai distribusi t dengan derajat kebebasan n− 2.Selang Kepercayaan untuk µY |x0Suatu selang kepercayaan untuk rataan respon µY |x0 diberikan oleh

y0 − tα2s

√1

n+

(x0 − x2)Jxx

< µY |x0 < y0 + tα2s

√1

n+

(x0 − x2)Jxx

Dalam rumus ini tα2

menyatakan nilai distribusi t dengan derajat kebebasan n− 2.Jenis selang lain yang sering disalah tafsirkan dan dikacaukan dengan yang diberikanuntuk µY |x ialah selang prediksi untuk respon amatan yang mendatang. Sesungguhnya,dalam banyak hal selang prediksi ini lebih berguna bagi peneliti daripada selang keper-cayaan untuk rataan.Selang Kepercayaan untuk y0Suatu selang kepercayaan (1− α)100% untuk respon y0 yang tunggal diberikan oleh

y0 − tα2s

√1 +

1

n+

(x0 − x)2

Jxx< y0 < y0 + tα

2s

√1 +

1

n+

(x0 − x)2

Jxx

Dalam rumus ini tα2

menyatakan nilai distribusi t dengan derajat kebebasan n− 2.

PEMILIHAN MODEL REGRESISudah barang tentu, tidak dapat diharapkan bahwa ramalan respon akan baik apabila adabeberapa peubah bebas yang tidak diikutka dalam model namun mempengaruhi respondan berubah dalam sistem. Disamping itu, ramalah tidak akan memuaskan bila hubungansesungguhnya mengaitkan µY |x dengan x jauh dari linear dalam rentangan peubah yangdipandang.Sering regresi linear sederhana digunakan kendatipun disadari bahwa modelnya tidak

3

linear atau hubungan sesungguhnya tidak diketahui. Pendekatan semacam ini masihcukup baik apalagi rentangan x sempit.Misalnya model sebenarnya adalah linear dalam dua peubah yang berbentuk

µY |x1,x2 = α + βx1 + γx2

dan model ini tidak diketahui oleh yang melakukan percobaan.

Pendekatan Melalui Analisis VariansiSering penilaian atas baik tidaknya taksiran garis regresi dilakukan melalui pendekatananalisis variansi. Dipunyai n titik data percobaan dalam bentuk yang biasa (xi, yi) dankita mungkin menaksir persamaan regresi dalam penaksiran σ2 yang telah dibuktikandengan kesamaan

Jyy = bJxy + JKG

Jadi total jumlah kuadrat y dikoreksi telah diuraikan menjadi 2 komponen yang seharus-nya mencerminkan makna yang khusus bagi yang melakukan percobaan. Penguraian iniditulis sebagai berikut.

JKT = JKR + JKR

JKR adalah Jumlah kuadrat Regresi.Mencerminkan besarnya variansi dalam nilai y yang diterangkan oleh model, dalam halini garis lurus yang dianggap benar.JKG adalah Jumlah Kuadrat Galat.Mencerminkan variansi disekitar regresi. JKT = Jyy dan JKR = bJxyAdapun hipotesis yang digunakan adalahH0 : β = 0 artinya Variansi dalam Y tidak diterangkan (disebabkan) oleh garis lurus(peubah x) tapi akibat fluktuasi acak.H1 : β 6= 0 artinya Terdapat jumlah variansi yang berarti dalam respon y yang disebabkanoleh atau diterangkan oleh model yang dipandang benar (fungsi linear) H0 ditolak jikanilai statistik F hitungan melebihi nilai kritis fα(1, n − 2) Namun, bila statistik F be-rada dalam daerah penerimaan maka disismpulkan bahwa data tidak memberikan cukupdukungan kepada model yang dianggap benar.+ KORELASIBila peubah acak Y ditulis dalam bentuk Y = α + βC + EX disini sekarang merupakan peubah acak yang bebas dari galat acak E, maka

µY = α + βµxσ2y = σ2 + β2σ2

x

Bila rumus ini dimasukan dalam bentuk f(x, y), maka diperoleh Disribusi Normal DwiPeubah.Koefisien KorelasiUkuran hubungan linear ρ antara 2 peubah X dan Y ditaksir dengan koefisen korelasisampel r dengan

r = b

√JxxJY Y

=Jxy√JxxJyy

Nilai r antara -1 atau +1 perlu ditafsirkan dengan berhati-hati. Sebagai contoh, nilai rsebesar 0.3 dan 0.6 hanya bearti bahwa kedua korelasi itu positif yang satu lebih erat

4

daripada yang lainnya. Tidak dapat diibaratkan bahwa r = 0.06 menunjukan hubunganlinear yang 2 kali lebih erat daripada yang diberikan oleh 0.3. Sebaliknya, bila kitapandang r2, maka 100r2% dari variansi dalam nilai diakibatkan oleh hubungan lineardengan peubah X. Jadi korelasi sebesar 0.6 bearti bahwa 36% dari varansi dalam acakY disebabkan oleh perbedaan (variansi) dalam peubah X.

REGRESI LINEAR DARABModel yang linear dalam koefisiennay disebut model linear darab. Dalam hal k peubahbebas x1, x2, x3, ..., xk rataan Y |x1, x2, x3, ..., xk diberikan oleh model linear regresi darab

µY |x1, x2, ..., xk = β0 + β1x1 + β2x2 + ...+ βkxk

dan taksiran respon diperoleh dari persamaan regresi sampel

y = β0 + β1x1 + ...+ βkxk

Dalam rumus ini koefisien regresi βi ditaksir dengan bi dari data sample dengan menggu-nakan metode kuadrat terkecil.Teknik kuadrat terkecil yang sama dapat digunakan untuk menaksir koefisien bila modellinear tersebut mengandung, misalnya pangkat dan perkalian peubah bebas. Sebagai con-toh, bila k=1 maka si pembaca mungkin merasa bahwa rataan µY |x tidak berbentuk garislurus tapi lebih sesuai bila dinyatakan dengan model regresi polinom

µY |xβ0 + β1x1 + β2x2 + ...+ βrx

r

dalam taksiran respon diperoleh dari persamaan regresi polinom

y = β0 + β1x+ β2x2 + β3x

3 + ...+ βrxr

Kebingungan kadangkali muncul bila model polinom tersebut disebut model linear. Akantetapi, para statistikawan menyebut semua model yang parameternya berbentuk linearsebagai model linear tanpa memandang bagaimana peubah bebas tersebut dalam model.Sebuah contoh model tak linear adalah hubungan eksponensial

µY |x = αβx

yang ditaksir dengan persamaan regresi

y = abx

Menaksir KoefisienKonsepMisalkan kita inging mencobakan bidang

µx1,x2 = β0 + β1x1β2x2

pada titik data {x1ix2iyi}; i = 1, 2, ..., n dan n > 2 Bila yi respon amatan yang diamatiberpadanan pada nilai x1i dan x21 dari kedua peubah bebas x1 dan x2. Menurut Metodekuadrat terkecil, untuk mencari taksiran b0, b1, dan b2 harus diminimumkan bentuk

JKG =n∑i=1

e2i =n∑i=1

(yi − b0 − b1x1i − b2x2i)2

5

Turunan JKG secara berurutan terhadap b0, b1, b2 kemudian samakan dengan nol, makadiperoleh tiga persamaan normal

nb0 + b1

n∑i=1

x1i + b2

n∑i=1

x2i =n∑i=1

yi

b0

n∑i=1

x1i + b1

n∑i=1

x21i + b2

n∑i=1

x1ix2i =n∑i=1

x1iyi

b0

n∑i=1

x2i + b1

n∑i=1

x1ix2i + b2

n∑i=1

x22i =n∑i=1

x2iyi

Jadi diperoleh 3 persamaan linear dalam a dan banyak cara yang dapat dipakai untukmencari b1 dan b2 dari ketiga persamaan ini seperti aturan Cramer dan diperoleh daripersamaan yang pertamana, karena

b0 = y − b1x1 − b2x2

Sehingga dapat dituliskan langkah-langkahnya, yakni sebagai berikut.

1. Hitung nilai-nilain∑i=1

x1i,n∑i=1

x2i, dan seterusnya sesuai pada kebutuhan matriks di-

atas.

2. Dengan menggunakan matriks diatas,gunakan aturan Cramer untuk menghasilkantaksiran masing-masing sehingga diperoleh b0, b1, b2

3. diperoleh persamaan regresi.

Menaksir Koefisien dengan Menggunakan MatriksMisalkan yang melakukan percobaan mempunyai data yang berbentuk x1i, x2i, ..., xki, yi, i =1, 2, 3, ..., n dan n > k. yi merupakan respon amatan pada nilai x1i, x2i, ..., xki dari Kpeubah bebas x1, x2, ..., xk. Tiap amatan (x1i, x2i, ..., xki) memenuhi persamaan

yi = β0 + β1x1i + ...+ βkxki + εi

= b0 + b1x1i + ...+ bkxki + ei

dengan ε dan ei masing-masing menyatakan galat acak dan sisa yang berpadanan denganrespon yi.Bentuklahh matriks A sehingga

A = X ′X

dimana

X =

1 x11 x21 ... xk11 x12 x22 ... xk2. . . ... .. . . ... .. . . ... .1 x1n x2n ... xkn

6

selain unsur pertama, baris ke i matriks X menyatakan nilai x yang menimbulkan responyi. Tulislah

A =

nn∑i=1

x1i

n∑i=1

x2i + ...+n∑i=1

xki

n∑i=1

x1i

n∑i=1

x21i

n∑i=1

x1ix2i...

n∑i=1

x1ixki

. . ... .

. . ... .

. . ... .n∑i=1

xki

n∑i=1

xkix1i

n∑i=1

xkix2i...

n∑i=1

x1ix2ki

b =

g0 =n∑i=1

yi

g1 =n∑i=1

x1iyi

g2 =n∑i=1

x2iyi

.

.

.

gk =n∑i=1

xkiyi

dan g =

b0b1b2...bk

maka persamaan normal dapat dinyatakan dalam

bentuk matriks Ab = g. Bila matriks A tak singular, maka jawab untuk koefisien regresidapat ditulis sebagai

b = A−1g

Teorema 9.1Untuk persamaan regresi linearyi = b0 + b1x1i + ...+ bkxki + ei, i = 1, 2, 3, .., nJumlah Kuadrat Galat dapar ditulis sebagaiJKG = JKT − JKR dengan JKT = Jyy

JKR =k∑i=0

bigi −

(n∑i=1

yi

)2

n

Terdapat sebanyak k derajat kebebasan yang berkaitan dengan JKR dalam hal umumini. Taksiran σ2 diberikan oleh

s2 =JKG

n− k − 1

Inferensi (Penyimpulan) dalam Regresi Linear DarabSalah satu inferensi yang dapat dibuat mengenai kemampuan persamaan regresi mem-prediksi respon y0 yang berpadanan dengan nilai x10, x20, xk0 ialah selang kepercayaanpada tataan respon µY |x10, x20, xk0.

7

Selang Kepercayaan untuk µY |x10, x20, x30, ..., xk0Selang kepercayaan (1− α)100% untuk rataan respon µY |x10, x20, ..., xk0 diberikan oleh

y − tα/2s√x0′A−1x0 < µY |x10,x20,x30,...,xk0 < y + tα/2s

√x0′A−1x0

tα/2 suatu harga distribusi dengan derajat kebebasan n− k − 1.

Selang Kepercayaan untuk y0Selang kepercayaan (1− α)100% untuk rataan respon tunggal y0 diberikan oleh

y − tα/2s√

1 + x′0A−1x0 < y0 < y + tα/2s

√1 + x′0A

−1x0

tα/2 nilai distribusi t dengan derajat kebebasan n− k − 1.Kecocokan ModelPada percobaan kimia atau penelitian umumnya yang lebih diperhatikan adalah σ2

Y ,yaitu selang kepercayaan untuk rataan respon dan saebagainya, sedangkan inferensi men-genai masing-masing parameter tidak begitu diperhatikan. Salah satu patokan yang biasadiguakan untuk melihat apakah suatu model regresi yang dicocokan sudah memadahi ialah

R2 =JKR

JKT=

k∑j=0

bjgj −

(n∑i=1

yi

)2

/n

J

Besaran ini hanya menunjukan Proporsi Variansi Total dalam Respon Y yang dit-erangkan oleh model yang dicocokan. Peneliti sering melaporkan harga R2x100%dan menafsirkan hasilnya sebagai presentase variansi yang diterangkan oleh model yangdipostulasikan. Akar R2 tersebut disebut Keoefisien Koorelasi Darab antara Y dengankelompok x1, x2, x3, .., xk.Jumlah kuadrat Regresi dapat digunakan sebaai APAKAH MODEL TELAH MENGGAM-BARKAN KEADAAN SESUNGGUHNYA DENGAN MEMADAHIHipotesis nol bahwa Regresi berarti, dapat diuji dengan membentuk nisbah.

f =JKR/k

JKG/(n− k − 1)=JKR/k

S2

dan H0 diolah pada taraf keberartian α bila f > fα(k, n− k − 1)

Pemilihan Model Secara BerurutanUkuran yang baik mengenai besarnya kolinearitas ganda (ketergantungan linear) antarapeubah bebas diberikan oleh koefisien sampel rxixj. Krena perhatian hanya tercurahpada ketergantungan linear antara peubah bebas, maka tidak akan muncul kebingunganapabila x tidak ditulis dalam lambang korelasi, jadi cukup ditulis

rxixj = rij dengan rij =JijJiiJjj

Perlu diperhatikan bahwa rjj tidak memberikan taksiran sesungguhnya dari koefisienkorelasi populasi dalam arti yang sempit.Penggunaan regresi linear darab berusaha mencapai salah satu dari 3 tujuan berikut.

8

1. Memperoleh Taksiran tiap koefisien dalam model yang lengkap

2. Menjaring peubah untuk menentukan yang mana yang mempunyai pengaruh yangbearti atas respon.

3. Menemukan persamaan prediksi yag sangkil.

Meskpun telah diketahui sebelumnya bahwa untuk

1. Semua Peubah harus diikutsertakan dalam model.

2. Prediksi bukan tujuan utama tapi hanya tujuan kedua.

3. Tiap koefisien itu sendiri tidaklah sepenting mutu taksiran respon y.

Dalam tiap hal diatas, kolinearitas ganda antara peubah bebas dapat memberi pengaruhyang besar atas keberhasilan regresi.Fungsi utama dari tiap metode yang diuraikan dalam pasal ini adalah membuka ke-sempatan tiap peubah menghadapi metodologi yang sistematis agar akhirnya terjaminpemasukan kombinasi peubah yang terbaik.

REGRESI RIDGE

Secara umum persamaan regresi linear dengan k variabel bebas dinyatakan dengan

Yi = β0 + β1x1i + β2x2i + ...+ βkxki + εi

dengan:Y i = Variabel tak bebas atau pengamatan ke i pada variabel yang dijelaskan yxi = Variabel bebas atau pengamatan ke i pada varabel penjelas.β1, ..., βk = Parameter atau Koefisien Regresi Variabel penjelas xkεi = Variabel gangguan atau error. Pada dasarnya, penduga dengan Metode KuadratTerkecil akan menghasilkan taksiran yang diijiinkan jikalau asumsi berikut terpenuhi.

1. Nilai rata-rata kesalahan pengganggu adalah nol (E(εi) = 0 untuk i = 1, 2, 3, ..., n).

2. Var (εi) = E[ε2i ] = σ2 adalah konstan untuk semua kesalahan pengganggu (asumsihomoskedastisitas).

3. Tidak ada korelasi serial (autocorrelation) antara pengganggu εi, berarti kovarian(εiεj) = 0, i 6= j)

4. Peubah bebas x1, x2, ..., xn konstan dalam sampling yang terulang dalam dan bebasterhadap kesalahan pengganggu εi

5. Tidak ada multikoliniaritas diantara peubah bebas.

6. εi ≈ N(0, σ2), artinya kesalahan penganggun menyebar mengikuti distribusi normaldengan rata-rata 0 dan variansi σ2

9

Salah satu asumsi dari model regresi linear klasik diatas adalah bahwa tidak ada multiko-linearitas atau tidak ada hubungan linear (kolinearitas) antara variabel-variabel bebasnya.Jika terdapat multikolinearitas didalam persamaan regresi tersebut maka akan mengak-ibatkan penggunaan Ordinary Least Squary (OLS) dalam mengestimasi parameter ataukoefisien regresi akan terganggu. Jika multikolinearitas yang hampir sempurna terjadi,meskipun metode kuadrat terkecil yang digunakan tetap galat yang dihasilkan akan men-jadi besar, variansi dan kovariansi parameter tidak terhingga.Ada beberapa cara mengatasi permasalahan ini, diantaranya sebagai berikut.

1. Dengan memperbesar ukuran Sampel.

2. Mengeluarkan suatu variabel yang diketahui menyebabkan terjadinya multikolinear-itas.

3. metode Regresi Ridge

Istilah-IstilahOrdinary Least Square =⇒ Digunakan menaksir β1 dan β2 sehingga

∑e2i minimum, di-

mana minimum∑e2i =

∑(Yi − β1 − β2x1)2.

Kolinearitas Ganda (Multikolinearitas)=⇒ Hubungan linear yang sempurna atau eksakdiantara variabel-variabel bebas dalam model regresi. Istilah kolinearitas sendiri berartihubungan linear tunggal, sedangkan kolinearitas ganda (multikolinearitas) menunjukanadanya hubungan antara lebih dari satu hubungan linear yang sempurna.Istilah multikolinearitas mula-mula bearti adanya hubungan linear antara sesama variabelbebas xi, maksud dari adanya hubungan linear antara variabel bebas xi adalah sebagaiberikut. Misalkan terdapat 2 variabel bebas x1 dan x2. Jika x1 dapat dinyatakan sebagaifungsi linear dari x2 ataupun sebaliknya . Misalkan secara substantif dietahui bahwa totalpendapatan (x1) adalah penjumlahan pendaatan dari upah (x2) dan bukan dari upah (x3).Hubungan adalah x1 = x2 + x3.Bila model ini diestimasi dengan OLS, maka β1 tidak dapat diperoleh karena [XTX]− 1tidak dapat dicari, kejadian inilah yang dinamakan multikolinearitas sempurna.Pada analisis regresi, multikolinearitas dikatakan ada apabila beberapa kondisi sebagaiberikut.

1. Dua variabel berkorelasi sempurna (oleh karena itu vektor-vektor yang menggam-barkan variabel tersebut adalah linear).

2. Dua variabel hampir berkorelasi sempurna yaitu koefisien korelasinya mendekati ±1mendekati sempurna dengan variabel bebas yang lain.

3. Kombinasi linear dari beberapa variabel berkorelasi sempurna atau mendekati sem-purna dengan variabel bebas yang lain.

4. Kombinasi linear dari sub-himpunan variabel bebas berkorelasi sempurna dengansuatu kombinasi linear dari subhimpunan variabel.

Pendeteksian Multikolinearitas

10

1. Faktor Variansi Inflasi

2. Nilai Determinan

3. Kadang-kadang pemeriksaan masing-masing elemen matriks korelasi dapat meno-long dalam mendapatkan multikolinearitas.

4. Jika pengujian F untuk regresi adalah nyata tetapi pengujian pada koefisien regresisecara individu tidak nyata, maka multikolinearitas mungkin tidak ada.

Pengaruh MultikolinearitasMultikolinearitas berpengaruh terhadap estimasi kuadrat terkecil dari koefisien regresi.Jika ada multikolinearitas atara x1 dan x2 yang sangat erat dan r12 −→ 1, Variansi dankovariansi koefisien regresi menjadi sangat besar karena V (Bj) = Cijr2 −→ ∞ Hal ini

dikarenakan βj = Cij =1

1−R2j

, j = 1, 2, .., k jika R2j = 1 maka penyebetunya menjadi

(1-1=0) sehingga menjadi tak hingga (∞).Pengaruh Multikolinearitas adalah untuk memperkenalkan sebuah ketergantungan yangdekat dalam kolom matriks.

Regresi =⇒ adalah salah satu metode yang digunakan untuk menaksir suatu peubah be-bas dengan memperhatikan faktor-faktor penyebabnya. Regresi RidgeRegresi Ridge bertujuan untuk mengatasi multikolinearitas yang terdapat dalam regresilinear berganda yang mengakibatkan matriks X tX nya hampir singular yang pada gili-rannya menghasilkan nilai estimasi parameter yang tidak stabil. Dalam bentuknya yangsederhana sebagai berikut.

β(c) = (XTX + CI)−1XTY

dimana C ≥ 0, umumnya 0 < C < 1Umumnya sifat dari penaksiran ridge ini memiliki variansi yang minimum sehinggga nilaiVIF-nya merupakan diagonal utama dari matriks:

(αTX + CI)−1XTX(XTX + CI)−1

Gambaran Umum Regresi Ridge TraceRidge Trace adalah plot estimator dari estimasi regresi ridge secara bersama denganberbagai kemungkinan tetapan bias c. konstanta c mencerminkan jumlah bias dalam es-timator β(c) akan bernilai sama dengan kuadrat terkecil β, tetapi cenderung lebih stabildaripada estimator kuadrat terkecil.Uji Regresi LinearSetelah model yang baik diperoleh kemudian model itu akan diperiksa pemeriksaan iniditempuh melalui hipotesis. Untuk mengujinya diperlukan 2 macam Jumlah Kuadrat Sisa(JKS) yang dapat dihitung dengan rumus

JKR = βT (xTy)− ny2

JKS = yTy − βT (XTy)

JKT = JKR + JKS

11

dengan JKR derajat kebebasannya k dan (n− k − 1) untuk derajat kebebasan JKS.

Fhitung =JKR/k

JKS/n− k − 1.

Fstatistik inilah yang dipakai untuk menguji kelinearan suatu regresi. Jika Fhitung > Ftabel(taraf signifikan yang dipilih) maka dapat disimpulkan regresi linear.Uji Koefisien Korelasi GandaKoefisien korelasi ganda yang disimbolkan dengan refraksi dihitung dengan rumus

R2 =JKR

JKT

. Jadi statistik yang digunakan untuk menguji hipotesa nol adalah

F =R2/k

(1−R2)/n− k − 1

Tolak hipotesis nola bahwa koefisien korelasi bearti jika Fhitung > Ftabel dalam hal inihipotesa koefisien korelasi ganda harus diterima.

12