6. 重回帰分析 (1) - GitHub Pages...計量経済学応用 6. 重回帰分析 (1) 矢内 勇生 2019年5月9日 高知工科大学 経済・マネジメント学群 今日の目標
第 3 章 重回帰分析 ー 計量経済学 ー
description
Transcript of 第 3 章 重回帰分析 ー 計量経済学 ー
![Page 1: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/1.jpg)
第 3 章 重回帰分析
計量経済学 ー ー
![Page 2: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/2.jpg)
第 1 節 3 変数のケースの最小 2 乗法1 3 変数のケース2 回帰線が原点を通るケース3 重相関係数4 自由度修正済み決定係数
第 2 節 t 検定1 検定の問題
第 3 節 重回帰に関連する諸概念1 偏相関係数
第 4 節 4 変数以上のケース1 4 変数のケース(偏微分を利用)2 多変数のケース(行列を利用)
![Page 3: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/3.jpg)
• 第 2 章で考えた、独立変数が1つの場合の単純回帰分析では、経済モデルを分析する上で不十分なことがある。
(例) 消費関数において、 Y = a+bX ↑ ↑ 消費 所得 というように、説明変数を所得1つだけで
なく、資産などを含む複数考えることがある。
このような、説明変数が複数の回帰モデルを重回帰モデルという。
+cW
↑
資産
![Page 4: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/4.jpg)
– の推定– 決定係数 R2
– 個々の係数についてt検定
• 単回帰モデル • 重回帰モデル
bXaY cWbXaY
ba ˆ,ˆ – の推定– 決定係数 R2( ただ
し問題あり )– 個々の係数につい
てt検定
cba ˆ,ˆ,ˆ
第 1 節 3 変数のケースの最小2乗法
1 3 変数のケース
![Page 5: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/5.jpg)
< 3 変数の場合のパラメータ推定値> 3 変数の場合には回帰直線ではなく回帰平面とな
る。 このとき、最小 2 乗法は空間上にある各点との垂
直方向の距離 ( これが残差となる ) の 2 乗和が最小になるように回帰平面 Y=a+bX+cW を描くことである。
回帰平面 Y=a+bX+cW
X
W
Y
××
××
![Page 6: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/6.jpg)
パラメータ推定値は次のようになる。
222
2
222
2
)(ˆ
)(ˆ
ˆˆˆ
xwwx
xyxwxwy
xwwx
wyxwwxy
SSS
SSSSc
SSS
SSSSb
WcXbYa
nnwy
nnxw
nnxy
nw
ny
nx
ywywS
wxwxS
yxyxS
wwS
yyS
xxS
11
11
11
221
2
221
2
221
2
ただし
![Page 7: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/7.jpg)
これは残差 2 乗和を で偏微分し、それらを 0 とおいたものを整理する。(別紙参照)
これから正規方程式といわれる次のような連立方程式が得られる。
これを解いたものがパラメータ推定値
cba ˆ,ˆ,ˆ
2
2
ˆˆˆ
ˆˆˆ
ˆˆˆ
WcXWbWaWY
XWcXbXaXY
WcXbanY
![Page 8: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/8.jpg)
2 回帰線が原点を通るケース
Y = b X + c W+u という、回帰平面が原点を通るモデルを考える。 このときの残差 2 乗和 G は
となるので、これを最小にするような をもとめる。(具体的には で偏微分したものを 0 とおく)すると、次のような正規方程式が得られる。
22111 )ˆˆ()ˆˆ( nnn WcXbYWcXbYG
cb ˆ,ˆ
cb ˆ,ˆ
2
2
ˆˆ
ˆˆ
WcXWbWY
XWcXbXY
![Page 9: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/9.jpg)
この方程式を解くと
となる。これは (3-9) 式 ( テキスト 98 ページ ) と同じものである。
222
2
222
2
ˆ
ˆ
XWWX
XWXYWYXc
XWWX
XWWYXYWb
![Page 10: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/10.jpg)
3 重相関係数• 決定係数は単純回帰の場合同様、次のように定義さ
れる。
この式を変形すると次のように表すことができる。
(別紙参照)
2
2
2
)(
)ˆ(
YY
YY
R
i
i
全変動される変動回帰平面によって説明
22
ˆˆ
y
wyxy
S
ScSbR
![Page 11: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/11.jpg)
• 重相関係数はこの平方根をとった
であり、重回帰の場合には + の値しかとらない。
• 決定係数は説明変数の数を増やせば増やすほど、(その説明変数が非説明変数に関係なくても)その値が 1 に近づく
• ex2-5 に次のデータを加えて重回帰分析をやってみよう。
このデータは阪神タイガースのセリーグでの順位
1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 20024 4 1 3 6 6 5 6 6 2 4 5 6 6 5 6 6 6 6 4
2
ˆˆ
y
wyxy
S
ScSbR
![Page 12: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/12.jpg)
4 自由度修正済み決定係数• 決定係数に、説明変数の数を考慮して修正を加えたも
の。
• 自由度修正済み決定係数と決定係数には、次のような関係がある。
の分散残差の分散
Y12 R
kn
ee n
22
1 残差の分散 k: 変数の数
1
)()( 221
n
YYYYY nの分散
)1(1
1 22 Rkn
nR
![Page 13: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/13.jpg)
• 自由度修正済み決定係数 は負の値をとることもある。
( 例 ) n=4, R2=0.5 のとき
• 自由度修正済み決定係数は、説明変数の数が異なる複数のモデルで、どちらのモデルが回帰のあてはまりが良いかを判断するときなどに用いられる。
• たとえば消費関数において、(所得)(消費) bXaY (資産)(所得)(消費) cWbXaY
のいずれのモデルが良いかを判断するためには、決定係数ではなく、自由度修正済み決定係数が有効である。
<自由度修正済み決定係数の性質と使い方>2R
![Page 14: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/14.jpg)
第 2 節 t検定
1 検定の問題
• 自由度修正済み決定係数は、あくまでモデル全体のあてはまりを示す指標である。個々の変数がモデルにおいて意味を持つかどうかは、 t 検定が利用される。
• 標準誤差はそれぞれ次のようになる。
3
2212
n
ees n
2222
22ˆ
2222
22ˆ
222
222222
ˆ
)(
)(
})(
2)()(1{
sSSS
Ss
sSSS
Ss
SSS
SWXSWSX
nss
xwwx
xc
xwwx
wb
xwwx
xwxwa
ただし
![Page 15: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/15.jpg)
たとえば「 X が Y に影響を及ぼしているか」を検定するためには、 H0: b=0 という帰無仮説を設定し、 t 検定をおこなえば良い。
この場合の検定統計量は
となるが、帰無仮説が正しいと設定して の値を求める。
この値と、自由度 n-3 の t0.95 とを比較すれば良い。
bb s
bbt
ˆˆ
ˆ
bb s
bt
ˆˆ
ˆ
![Page 16: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/16.jpg)
第 3 節 重回帰に関連する諸概念
1 偏相関係数
YX相関が高い
W
強い影響
Y と X との間の関係は「見せかけの相関」である。
Y と X との相関が本当はどの程度かを見るためには、他の変数の影響を除いた偏相関係数で見る必要がある。
![Page 17: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/17.jpg)
• Y を W に対して回帰する。すると、
nnn uWcaY
uWcaY
ˆˆ
ˆˆ 111
W の影響による部分
W の影響をとり除いた部分
nnn vWcaY
vWcaX
ˆˆ
ˆˆ 111
W の影響による部分
W の影響をとり除いた部分
となる。同様に X を W に回帰すると、
となる。
![Page 18: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/18.jpg)
• この 2 つの残差 u1, ・・・ ,un と v1, ・・・ ,vn の相関係数が偏相関係数である。偏相関係数は次のようになる。
• 偏相関係数はまた、各変数間の相関係数を用いて次のように表せる。(証明は付録 (5) 参照)
rYX: Y と X の相関係数 rYW: Y と W の相関係数 rXW: X と W の相関係数
))(( 221
221
11W
nn
nnYX
vvuu
vuvur
・
22W11 XWYW
XWYWYXYX
rr
rrrr
・
![Page 19: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/19.jpg)
第 4 節 4 変数以上のケース
1 4 変数のケース(偏微分を利用) 4 変数の場合、 Y=a+bX+cW+dZ というモデルに
なるが、パラメータ推定値は、残差 2 乗和を最小にする。
残差 2 乗和 G は
となるので、これを で偏微分したものを0 とおくことによって、次のような正規方程式が得られる。
221111 )ˆˆˆˆ()ˆˆˆˆ( nnnn ZdWcXbaYZdWcXbaYG
dcba ˆ,ˆ,ˆ,ˆ
2
2
2
ˆˆˆˆ
ˆˆˆˆ
ˆˆˆˆ
ˆˆˆˆ
ZdWZcXZbZaZY
WZdWcXWbWaWY
XZdXWcXbXaXY
ZdWcXbanY
![Page 20: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/20.jpg)
2 多変数のケース(行列を利用) 一般的なモデルとして、説明変数が m 個のモデルを
考える。すなわち、 Y=a+b1X1+ ・・・ +bmXm というモデルである。
このモデルに撹乱項 u を加えて、 n 年分を書くと次のようになる。
ここで、次のように行列とベクトルを定義する。
nmnmnn
mm
uXbXbaY
uXbXbaY
11
111111
mnn
m
XX
XX
1
111
1
1
X
nY
Y
1
Y
mb
b
a
1p
nu
u
1
u
![Page 21: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/21.jpg)
よって、行列とベクトルを用いてあらわすと
と表される。パラメータ推定値、残差のベクトルを次のように表
す。
すると、
となる。
uXpY
mb
b
a
ˆ
ˆˆ
ˆ 1
p
ne
e
1
e
epXY ˆ
![Page 22: 第 3 章 重回帰分析 ー 計量経済学 ー](https://reader037.fdocuments.net/reader037/viewer/2022103101/5681433c550346895dafb11a/html5/thumbnails/22.jpg)
残差 2 乗和 G は
となるので、
を最小にする を求める。 で偏微分して整理すると、正規方程式は
これを について解いたものがパラメータ推定値であり、
である。
eeG
)pX(Y)pXYG ˆˆ(
p̂ p̂
0ˆ pXXYX
p̂
YXXXp 1)(ˆ