第 8 章相关和回归分析

云南财经大学统计信息学院云南财经大学统计信息学院

统计学统计学STATISTICSSTATISTICS

第 8 章相关和回归分析

学习目标 7.1 相关与回归分析的基本概念 7.2 一元线性回归分析 7.3 多元线性回归分析 7.4 非线性回归 7.5 相关分析



学习重点

1. 相关系数的分析方法2. 一元线性回归的基本原理和参数的最小

二乘估计3. 回归直线的拟合优度4. 回归方程的显著性检验5. 利用回归方程进行估计和预测



7.1 相关与回归分析的基本概念• 函数关系1. 是一一对应的确定关系2. 设有两个变量 x 和 y ，变量 y 随变量 x 一

起变化，并完全依赖于 x ，当变量 x 取某个数值时， y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y = f (x) ，其中 x 称为自变量， y 称为因变量

3. 各观测点落在一条线上


统计学统计学STATISTICSSTATISTICS 函数关系

( 几个例子 ) 函数关系的例子函数关系的例子

某种商品的销售额某种商品的销售额 yy 与销售量与销售量 xx 之间的关之间的关系可表示为系可表示为 y y = = px px ((p p 为单价为单价 ))

圆的面积圆的面积 SS 与半径之间的关系可表示为与半径之间的关系可表示为 SS==RR22

企业的原材料消耗额企业的原材料消耗额 yy 与产量与产量 xx11 、单位产、单位产量消耗量消耗 xx22 、原材料价格、原材料价格 xx33 之间的关系可表之间的关系可表示为示为

y y = = xx1 1 xx2 2 xx33


统计学统计学STATISTICSSTATISTICS 相关关系

(correlation)1. 变量间关系不能用函数关系精确表达2. 一个变量的取值不能由另一个变量唯一确

定3. 当变量 x 取某个值时，变量 y 的取值可能

有几个4. 各观测点分布在直线周围


统计学统计学STATISTICSSTATISTICS 相关关系

( 几个例子 )

相关关系的例子相关关系的例子父亲身高父亲身高 yy 与子女身高与子女身高 xx 之间的关系之间的关系收入水平收入水平 yy 与受教育程度与受教育程度 xx 之间的关系之间的关系粮食亩产量粮食亩产量 yy 与施肥量与施肥量 xx11 、降雨量、降雨量 xx22 、温度、温度 xx

33 之间的关系之间的关系

商品的消费量商品的消费量 yy 与居民收入与居民收入 xx 之间的关系之间的关系商品销售额商品销售额 yy 与广告费支出与广告费支出 xx 之间的关系之间的关系


统计学统计学STATISTICSSTATISTICS 相关关系 ( 类型 )

• 按相关程度划分：完全相关、不完全相关和不相关• 按相关方向划分：正相关和负相关• 按相关形式划分：线性相关和非线性相关• 按变量多少划分单相关、复相关和偏相关• 按相关性质划分真实相关和虚假相关



7.2 一元线性回归

7.2.1 标准的一元线性回归模型 7.2.2 一元线性回归模型的估计 7.2.3 一元线性回归模型的检验 7.2.4 一元线性回归模型的预测



一元线性回归模型1. 描述因变量 y 如何依赖于自变量 x 和误差项的

方程称为回归模型2. 一元线性回归模型可表示为 y = x

– y 是 x 的线性函数 ( 部分 ) 加上误差项– 线性部分反映了由于 x 的变化而引起的 y 的变化– 误差项是随机变量

• 反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响

• 是不能由 x 和 y 之间的线性关系所解释的变异性 0 和 1 称为模型的参数


统计学统计学STATISTICSSTATISTICS 一元线性回归模型

( 基本假定 ) 1. 误差项 ε 的期望值为 0 ，即 E(ε)=0 。对于一个给

定的 x 值， y 的期望值为 E ( y ) = 0+ 1 x

2. 对于所有的 x 值，3. 误差项之间不存在序列相关关系，即

4. 自变量是给定的变量，与随机误差项线性无关5. 随机误差项服从正态分布，即 ε~N( 0 ,σ2 )

2)( Var

0)( stCov



总体回归函数

1. 描述 y 的平均值或期望值如何依赖于 x 的方程称为总体回归函数

2. 总体回归函数的数学形式如下3. E( y ) = 0+ 1 x

函数的图示是一条直线，也称为总体回归直线函数的图示是一条直线，也称为总体回归直线 00 是回归直线在是回归直线在 y y 轴上的截距，是当轴上的截距，是当 xx=0 =0 时时 y y 的的

期望值期望值 11 是直线的斜率，称为回归系数，表示当是直线的斜率，称为回归系数，表示当 x x 每变每变

动一个单位时，动一个单位时， y y 的平均变动值的平均变动值



样本回归函数（估计方程）

1.1. 总体总体回归参数和回归参数和是未知的，必须利用样本数是未知的，必须利用样本数据去估计据去估计

00 11

2.2. 用用样本统计量和代替回归方程中的未知参样本统计量和代替回归方程中的未知参数和，就得到了数和，就得到了估计的回归方程估计的回归方程

00 1100 11

3.3. 一元线性回归中估计的回归方程为一元线性回归中估计的回归方程为xy 10

ˆˆˆ xy 10ˆˆˆ

其中：是估计的回归直线在其中：是估计的回归直线在 yy 轴上的截距，是直线轴上的截距，是直线的斜率，它表示对于一个给定的的斜率，它表示对于一个给定的 xx 的值，是的值，是 yy 的估的估计值，也表示计值，也表示 xx 每变动一个单位时，每变动一个单位时， y y 的平均变动的平均变动值值

00 11yy



7.2.2 一元线性回归模型的估计1.1. 使因变量的观察值与估计值之间的离差平方和使因变量的观察值与估计值之间的离差平方和

达到最小来求得和的方法。即达到最小来求得和的方法。即

最小

n

iii

n

ii xyyy

1

210

1

2 )ˆˆ()ˆ( 最小

n

iii

n

ii xyyy

1

210

1

2 )ˆˆ()ˆ(

2.2. 用最小二乘法拟合的直线来代表用最小二乘法拟合的直线来代表 xx 与与 yy 之间之间的的关系与实际数据的误差比其他任何直线都小关系与实际数据的误差比其他任何直线都小

0 1


统计学统计学STATISTICSSTATISTICS 最小二乘法

( 和的计算公式 )00 11

根据最小二乘法的要求，可得求解根据最小二乘法的要求，可得求解和的公式和的公式如下如下

00 11


统计学统计学STATISTICSSTATISTICS 估计方程的求法

( 例题分析 )【例 7-1 】估计食品支出的恩格尔函数

回归方程为：回归方程为： y = y = 9.9872 9.9872 + + 0.18020.1802 xx

回归系数回归系数 =0.1802 =0.1802 表示，收入每增加表示，收入每增加 11 亿亿元，食品支出平均增加元，食品支出平均增加 0.18020.1802 亿元亿元

1


统计学统计学STATISTICSSTATISTICS 估计标准误差

(standard error of estimate)1. 实际观察值与回归估计值离差平方和的均方根2. 反映实际观察值在回归直线周围的分散状况3. 对误差项的标准差的估计，是在排除了 x 对 y 的

线性影响后， y 随机波动大小的一个估计量4. 反映用估计的回归方程预测 y 时预测误差的大小 5. 计算公式为

注：例题的计算结果为注：例题的计算结果为 1.82861.8286



7.2.3 一元线性回归模型的检验离差1. 因变量 y 的取值是不同的， y 取值的这

种波动称为变差。变差来源于两个方面– 由于自变量 x 的取值不同造成的– 除 x 以外的其他因素 ( 如 x 对 y 的非线性影

响、测量误差等 ) 的影响2. 对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示

yy yy


统计学统计学STATISTICSSTATISTICS 离差的分解

( 图示 )

xx

yy

yy

xy 10ˆˆˆ xy 10ˆˆˆ

yy yy {{}}}}

yy ˆ yy ˆ

yy ˆ yy ˆ

),( ii yx ),( ii yx


统计学统计学STATISTICSSTATISTICS 离差平方和的分解

(三个平方和的关系 )

SSTSST = = SSRSSR + + SSESSE

n

ii

n

ii

n

ii yyyyyy

1

2

1

2

1

2 ˆˆ

n

ii

n

ii

n

ii yyyyyy

1

2

1

2

1

2 ˆˆ

总平方和总平方和((SSTSST))

{回归平方和回归平方和

((SSRSSR))残差平方和残差平方和

((SSESSE))

{ {


统计学统计学STATISTICSSTATISTICS 离差平方和的分解

(三个平方和的意义 )1. 总平方和 (SST)

– 反映因变量的 n 个观察值与其均值的总离差

2. 回归平方和 (SSR)– 反映自变量 x 的变化对因变量 y 取值变化

的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和

3. 残差平方和 (SSE)– 反映除 x 以外的其他因素对 y 取值的影响，

也称为不可解释的平方和或剩余平方和



可决系数 r2

1. 回归平方和占总离差平方和的比例

2.2. 反映回归直线的拟合程度反映回归直线的拟合程度3.3. 取值范围在取值范围在 [ 0 , 1 ] [ 0 , 1 ] 之间之间4.4. RR2 2 11 ，说明回归方程拟合的越好；，说明回归方程拟合的越好； RR2200 ，说，说明回归方程拟合的越差明回归方程拟合的越差

5.5. 判定判定系数等于相关系数的平方，即系数等于相关系数的平方，即 RR22 ＝＝ rr22


统计学统计学STATISTICSSTATISTICS 可决系数 r2 ( 例题分析 )

• 【例 7-2 】计算估计食品支出的恩格尔函数回归的可决系数，并解释其意义

• 可决系数的实际意义是：在食品支出取值的变差中，有 88.63% 可以由食品支出与家庭收入之间的线性关系来解释，或者说，在食品支出取值的变动中，有 88.63% 是家庭收入所决定的。可见食品支出与家庭收入之间有较强的线性关系

8863.04.382

7.43112

SST

SSER 8863.0

4.382

7.43112

SST

SSER



7.2.3 一元线性回归模型的检验

1.1. 检验检验 x x 与与 y y 之间是否具有线性关系，之间是否具有线性关系，或者说，检验自变量或者说，检验自变量 x x 对因变量对因变量 y y 的的影响是否显著影响是否显著

2.2. 理论基础是回归系数理论基础是回归系数的抽样分布的抽样分布113.3. 在一元线性回归中，等价于线性关系的在一元线性回归中，等价于线性关系的显著性检验显著性检验



回归系数的检验( 样本统计量的分布 )

1.1. 是根据最小二乘法求出的样本统计量，它有自是根据最小二乘法求出的样本统计量，它有自己的分布己的分布

2.2. 的的分布具有如下性质分布具有如下性质分布形式：正态分布分布形式：正态分布数学期望：数学期望：

标准差：标准差：

由于由于未知，需用其估计量未知，需用其估计量 ssyy 来代替得到的估计的标来代替得到的估计的标准差准差

1.1. 是根据最小二乘法求出的样本统计量，它有自是根据最小二乘法求出的样本统计量，它有自己的分布己的分布

2.2. 的的分布具有如下性质分布具有如下性质分布形式：正态分布分布形式：正态分布数学期望：数学期望：

标准差：标准差：

由于由于未知，需用其估计量未知，需用其估计量 ssyy 来代替得到的估计的标来代替得到的估计的标准差准差



回归系数的检验 (检验步骤 )

1. 提出假设– H0: 1 = 0 (没有线性关系 ) – H1: 1 0 ( 有线性关系 )

2. 计算检验的统计量

3.3. 确定显著性水平确定显著性水平，并进行决策，并进行决策 tt>>tt ，拒绝，拒绝 HH00 ；； tt<<tt ，不拒绝，不拒绝 HH00



回归系数的检验 ( 例题分析 )

对例题的回归系数进行显著性检验 (＝ 0.05)

1. 提出假设– H0 ： 1 = 0 – H1 ： 1 0

2. 计算检验的统计量

3.3. tt=10.07>=10.07>tt=2.160=2.160 ，拒绝，拒绝 HH00 ，表明食品支出与，表明食品支出与家庭收入之间有线性关系家庭收入之间有线性关系



7.2.4 一元线性回归模型的预测

1. 根据自变量 x 的取值估计或预测因变量 y 的取值

2. 估计或预测的类型点估计

• y 的个别值的点估计（或预测）区间估计

• y 的个别值的预测区间估计



y 的个别值的点预测利用估计的回归方程，对于自变量 x

的一个给定值 x0 ，求出因变量 y 的一个个别值的估计值，就是个别值的点估计– 例如，如果我们只是想知道家庭收入为 200

元的那些家庭的食品支出是多少，则属于个别值的点估计。根据估计的回归方程得

)(03.462001802.099.9ˆ 元fy )(03.462001802.099.9ˆ 元fy

fy



区间预测 1. 点估计不能给出估计的精度，点估计值

与实际值之间是有误差的，因此需要进行区间估计

2. 对于自变量 x 的一个给定值 x0 ，根据回归方程得到因变量 y 的一个估计区间

3. 本课程讨论的区间估计类型– 预测区间估计 (prediction interval esti

mate)



预测区间估计1. 利用估计的回归方程，对于自变量 x 的一个给定

值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间 (prediction interval)

2. y0 在 1-置信水平下的预测区间为



影响区间宽度的因素1. 置信水平 (1 - )

– 区间宽度随置信水平的增大而增大2. 数据的离散程度 s

– 区间宽度随离散程度的增大而增大• 3. 样本容量

– 区间宽度随样本容量的增大而减小• 4. 用于预测的 xp 与 x 的差异程度

– 区间宽度随 xp 与 x 的差异程度的增大而增大



置信区间、预测区间、回归方程

xxpp

xy 10ˆˆˆ xy 10ˆˆˆ

yy

xxxx

预测上限预测上限

置信上限

置信上限

预测下限

预测下限置信

下限置信下限



7.3 多元线性回归分析

7.3.1 多元线性回归模型 7.3.2 多元线性回归模型的估计7.3.3 多元线性回归模型的检验和预测


统计学统计学STATISTICSSTATISTICS 7.3.1 多元回归模型

1. 一个因变量与两个及两个以上自变量的回归2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…，

xk 和误差项的方程，称为多元回归模型3. 涉及 p 个自变量的多元回归模型可表示为

kk xxxy 22110 kk xxxy 22110

00 ，， kk 是参数是参数是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是 xx1,1, ，， xx22 xxkk 的线性函数加上误差项的线性函数加上误差项包含在包含在 yy 里面但不能被里面但不能被 kk 个自变量的线性关个自变量的线性关系所解释的变异性系所解释的变异性


统计学统计学STATISTICSSTATISTICS 多元回归模型

( 基本假定 )

1. 误差项 ε 是一个期望值为 0 的随机变量，即 E()=0

2. 对于自变量 x1 ， x2 ，…， xp 的所有值，的方差 2都相同

3. 误差项 ε 是一个服从正态分布的随机变量，即 ε~N(0,2) ，且相互独立


统计学统计学STATISTICSSTATISTICS 多元样本回归函数（方程）

1. 用样本统计量估计回归方程中的参数时得到的方程

2. 由最小二乘法求得3. 一般形式为

k ˆ,,ˆ,ˆ,ˆ210 k ˆ,,ˆ,ˆ,ˆ210

k ,,,, 210 k ,,,, 210

kk xxxy ˆˆˆˆˆ 22110 kk xxxy ˆˆˆˆˆ 22110

p ˆ,,ˆ,ˆ,ˆ210 p ˆ,,ˆ,ˆ,ˆ210 p ,,,, 210 p ,,,, 210 是是

估计值估计值是是 yy 的估计值的估计值yy



7.3.2 多元线性回归模型的估计1.1. 使使因变量的观察值与估计值之间的离差平方和达因变量的观察值与估计值之间的离差平方和达

到最小来求得到最小来求得。即。即p ˆ,,ˆ,ˆ,ˆ210 p ˆ,,ˆ,ˆ,ˆ210

2.2. 求求解解各回归参数的标准方程如下各回归参数的标准方程如下

),,2,1(0

0

ˆ

ˆ000

piQ

Q

iii

),,2,1(0

0

ˆ

ˆ000

piQ

Q

iii


统计学统计学STATISTICSSTATISTICS 7.3.3 多元线性回归模型的检

验和预测回归方程的拟合优度1. 回归平方和占总平方和的比例2. 计算公式为

3. 因变量取值的变差中，能被估计的多元回归方程所解释的比例


统计学统计学STATISTICSSTATISTICS 修正多重可决系数

1. 用样本容量 n 和自变量的个数 p 去修正 R2

得到 2. 计算公式为

3. 避免增加自变量而高估 R2

4. 意义与 R2 类似5. 数值小于 R2



显著性检验（回归系数的检验）1. 提出假设

– H0 ： i = 0 ( 自变量 xi 与因变量 y 没有线性关系 )

– H1 ： i 0 ( 自变量 xi 与因变量 y 有线性关系 )

2. 计算检验的统计量 t

3.3. 确定显著性水平确定显著性水平，并进行决策，并进行决策 tt>>tt ，拒绝，拒绝 HH00 ；； tt<<tt ，不拒绝，不拒绝 HH00


统计学统计学STATISTICSSTATISTICS 显著性检验

（回归方程的显著性检验）1. 提出假设

– H0 ： 12p=0 线性关系不显著– H1 ： 1 ， 2 ， p至少有一个不等于 0

2. 2. 计算计算检验统计量检验统计量 FF

3.3. 确定确定显著性水平显著性水平和分子自由度和分子自由度 pp 、分母自由度、分母自由度 nn-p-p-1-1找出临界值找出临界值 FF

4. 4. 作出作出决策：若决策：若 FF>>FF ，拒绝，拒绝 HH00



7.4 非线性回归1. 因变量 y 与 x 之间不是线性关系2. 可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型



双曲线

1. 基本形式：

2. 线性化方法令： y' = 1/y ， x'= 1/x, 则有 y' =

+ x'

x

xy



指数曲线

1. 基本形式：2. 线性化方法

两端取对数得： lny = ln + x 令： y' = lny ，则有 y' = ln + x



S 型曲线

1. 基本形式：2. 线性化方法

– 令： y' = 1/y ， x'= e-x, 则有 y' = + x



7.5 相关分析

• 相关系数 (correlation coefficient)

1. 对变量之间关系密切程度的度量2. 对两个变量之间线性相关程度的度量称为简单相

关系数3. 若相关系数是根据总体全部数据计算的，称为总

体相关系数，记为4. 若是根据样本数据计算的，则称为样本相关系数，

记为 r


统计学统计学STATISTICSSTATISTICS 相关系数

( 计算公式 )

样本相关系数的计算公式

22 )()(

))((

yyxx

yyxxr

22 )()(

))((

yyxx

yyxxr

或化简为或化简为 2222

yynxxn

yxxynr

2222

yynxxn

yxxynr


统计学统计学STATISTICSSTATISTICS 相关系数

( 取值及其意义 )1. r 的取值范围是 [-1,1]2. |r|=1 ，为完全相关

– r =1 ，为完全正相关– r =-1 ，为完全负正相关

3. r = 0 ，不存在线性相关关系4. -1r<0 ，为负相关5. 0<r1 ，为正相关6. |r|越趋于 1 表示关系越密切； |r|越趋于 0 表示

关系越不密切


统计学统计学STATISTICSSTATISTICS 相关系数的显著性检验

( r 的抽样分布 )• 1. r 的抽样分布随总体相关系数和样本容量

的大小而变化– 当样本数据来自正态总体时，随着 n 的增大， r

的抽样分布趋于正态分布，尤其是在总体相关系数很小或接近 0 时，趋于正态分布的趋势非常明显。而当远离 0 时，除非 n 非常大，否则 r 的抽样分布呈现一定的偏态。

2. 当为较大的正值时， r 呈现左偏分布；当为较小的负值时， r 呈现右偏分布。只有当接近于 0 ，而样本容量 n很大时，才能认为 r 是接近于正态分布的随机变量


统计学统计学STATISTICSSTATISTICS 相关系数的显著性检验

(检验的步骤 )• 1. 检验两个变量之间是否存在线性相关关系2. 等价于对回归系数 1 的检验3. 采用 R.A.Fisher提出的 t 检验4. 检验的步骤为

– 提出假设： H0 ：； H1 ： 0

)2(~1

22

ntr

nrt )2(~

1

22

ntr

nrt 计算检验的统计量：计算检验的统计量：

确定显著性水平确定显著性水平，并作出决策，并作出决策• 若若 tt>>tt ，拒绝，拒绝 HH00

• 若若 tt<<tt ，不能拒绝，不能拒绝 HH00



End of Chapter 7

第 8 章相关和回归分析

Documents

Transcript of 第 8 章相关和回归分析

第 8 章 相关和回归分析

Documents

Transcript of 第 8 章 相关和回归分析

第 8 章相关和回归分析

Transcript of 第 8 章相关和回归分析