第六章回归分析

6-1

误差理论与数据处理第六章　回归分析

第六章回归分析

6-2


教学目标

　回归分析是处理变量之间相关关系的一种数理统计方法 ,也是广泛用于获得数学表达式的较好方法。本章介绍测量中常用的一元与多元线性回归以及一元非线性回归的基本方法。

6-3


回归分析的基本概念一元线性回归分析多元线性回归分析

教学重点和难点

6-4


第一节　回归分析的基本概念

　变量间的关系可分为函数关系和相关关系。本节介绍这两种关系，并对回归分析的一些基本概念作一个简要的介绍。

6-5


变量间的函数关系 1 、是一一对应的确定关系

2、设有两个变量　和　，变量　随变量　一起变化，并完全依赖于　，当变量　取某个数值时，　依确定的关系取相应的值，则称　是　的函数，记为　　　　，其中　称为自变量，称　为因变量

x y y xx x

xy

yy = f(x) x y

如以速度　作匀速运动的物体，走过的距离　与时间　之间，有如下的函数关系

v st

s vt

6-6


变量间的相关关系 1 、变量间关系不能用函数关系精确表达

3、当变量　取某个数值时，变量　的值可能有几个x y

2 、一个变量的取值不能由另一个变量惟一确定

如人的身高 ( ) 与体重 ( ) 之间的关系

y x

6-7


什么是回归分析？

3 、利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并要知道这种预测或控制可达到的精密度。

一种处理变量间相关关系的数理统计方法。

他主要解决以下几个问题1 、从一组样本数据出发，确定变量之间的数学关系式2 、对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著

6-8


回归模型的类型

回归模型

一元回归

线性回归

非线性回归

线性回归

非线性回归

多元回归

一个自变量

两个及两个以上自变量

6-9


回归模型1 、回答“变量之间是什么样的关系？”2、方程中运用

1 个数字的因变量1 个或多个数字的或分类的因变量

3 、主要用于预测或估计

6-10


第二节　一元线性回归分析

6-11


一、一元线性回归方程

6-12


一元线性回归模型概念1 、当只涉及一个自变量时称为一元回归，若因变量　与自变量　之间为线性关系时称为一元线性回归

3、描述因变量　如何依赖于自变量　和误差项　的方程称为回归模型。

y x

2 、对于具有线性关系的两个变量，可以用一个线性方程来表示它们之间的关系

y x

6-13


　由实验获得两个变量　和　的一组样本数据　　，，…，　　，构造如下一元线性回归模型

x y

1 1( , )x y 2 2( , )x y ( , )n nx y

i i iy a bx

一元线性回归模型概念

模型中，　是　的线性函数部分加上误差项y xx y线性部分反映了由于　的变化而引起　的变化

误差项　是随机变量反映了除　和　之间的线性关系之外的随机因素对　　的影响是不能由　和　之间的线性关系所解释的变异性

　和　称为模型的参数

x y y

x y

a b

6-14


1 、误差项　是一个期望值为０的随机变量，即　　　　　。对于一个给定的　值，　的期望值为

( ) 0E ix iy( )i iE y a bx

2 、对所有的　值，　的方差　都相同ixi 2

3 、误差项　是一个服从正态分布的随机变量，且相互独立。即

i2~ (0, )i N

独立性意味着对于一个特定的　值，它所对应的与其它　值所对应　的不相关

ix ijx j

对于一个特定的　值，它所对应的　值与其它　值所对应　的不相关

ix iy jxjy

一元线性回归模型基本假定

6-15


1 、描述　的平均值或期望值如何依赖于　的方程称为回归方程

y x

2 、简单线性回归方程的形式如下( )E y a bx

方程的图示是一条直线，因此也称为直线回归方程　是回归直线在　轴上的截距，是当　　时的期望值　是直线的斜率，表示当　每变动一个单位时，　的平均变动值

a y 0x

b x y

回归方程概念要点

6-16


1 、总体回归参数　和　是未知的，必须利用样本数据去估计他们

a b2 、用样本统计量　和　代替回归方程中的未知参数　和　，这时就得到了经验的回归方程

a b

3 、一元线性回归的经验的回归方程 ˆˆ ˆy a bx

　是回归直线在　轴上的截距　是直线的斜率，它表示对于给定的　的值，　是　的估计值，也表示当　每变动一个单位时，　的平均变动值

a y

bx y

x y y

a b

经验的回归方程

6-17


2

( )ˆ( )

ˆ

xy

xx

ln xy x yb

ln x x x

a y bx

2 2

1 1 1 1

2 2 2 2 2 2

1 1

1

1 1 1 1, , ,

( ) ( )

( )( )

n n n n

i i i i ii i i i

n n

xx i yy ii i

n

xy i ii

x x y y x x xy x yn n n n

l x x n x n x l y y ny ny

l x x y y nxy nx y

式中

根据最小二乘法的要求，可得

　和　的计算公式a b

6-18


回归方程的稳定性

1 、回归值　的波动大小，波动愈小，回归方程的稳定性愈好。

y

　 2、回归值　的波动大小的计算公式y

用　的标准差　　来表示。 y

回归值的波动大小不仅与残余标准差 s 有关，而且还取决于试验次数 n 及自变量取值范围。

y

xxy l

xx

ns

2

ˆ

)(1

6-19


二、回归方程的方差分析及显著性检验

6-20


偏差平方和的分解

测量值　　　　之间的差异来源于两个方面

1 2, , , ny y y

由于自变量　取值的不同造成的x除　以外的其它因素 (如　对　的非线性影响、测量误差等 ) 的影响

iy y

x y

对一个具体的观测值来说，变异的大小可以通过该实际观测值与其均值之差来表示

x

6-21


偏差平方和的分解图示

0

y

x

y y =

y a b x = +

y _

y

y _

yy

_ y

6-22


ˆ ˆ( ) ( )i i i iy y y y y y

两端平方后求和得到

2 2 2

1 1 1

ˆ ˆn n n

i i i ii i i

y y y y y y

总偏差平方和回归平方和残余平方和

总回残

总残回

三个平方和的关系

6-23


自由度 1n 总

计算公式 yyl 总

在总的偏离中除了　对　线性影响之外的其它因素而引起　变化的大小

x y

y

1 回

2

ˆxyxy

xx

lbl

l 回

在总的偏差中因　和　的线性关系而引起　变化的大小

x yy

2n

总回残

总回残

总偏差平方和回归平方和残余平方和

意　义

反映因变量的 n 个观测值与其均值的总偏差

三个平方和的意义

( 对应于自变量个数，一元线性回归为 1）

6-24


回归方程的显著性检验1 、检验自变量和因变量之间的线性关系是否显著2、具体方法是将回归平方和和残余平方和加以比较，应用 F 检验来分析二者之间的差别是否显著

如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系

6-25


2 、计算检验统计量 F

回回

剩剩 1

2F

n

回

剩

3 、在给定显著性水平下，由分布表查得临界值。

1, 2F n

4、作出决策。若　　　　，拒绝　　，则认为该回归效果显著。反之，则不显著。

1, 2F F n

即

检验步骤1 、提出假设

　　线性关系不显著0 :H

0H

6-26


估计残余标准误差

4、残余标准差的计算公式

2s

n

残

x y y1 、表征除了　与　线性关系之外其它因素影响　值偏离的大小 2、反映实际观测值在回归直线周围的分散状况

3 、从另一个角度说明了回归直线的拟合程度

6-27


偏离

回归

残余

总和

平方和

ˆxybl 回

yyl 总

总回残

自由度

１

1n

2n

标准差

2s

n

残

统计量

2F

s

回

置信限 1, 2F n

0.1 0.05 0.01

显著否显著否显著否

方差分析表

6-28


三、回归系数的不确定度

6-29


回归系数的不确定度1 、回归系数的不确定度是描述回归系数的分散性

21ˆ( )

xx

xU a s

n l

1ˆ( )xx

U b sl

2ˆab

xx

xs s

l

2 、回归系数　和　的标准不确定度的计算公式a b

3 、回归系数　和　的协方差的计算公式a b

式中，　是残余标准差s

6-30


提高回归方程中各估计量稳定性的方法(1) 提高观察数据本身的准确度

(2) 尽可能增大观测数据中自变量的取值范围

(3) 增加观测次数

(4) 减小残余误差，即拟定合适回归方程使其尽可能合乎实际数据的变化规律

6-31


四、回归预测值及其不确定度

6-32


回归预测值及其不确定度x

y１、利用估计的回归方程，对于自变量　的一个给定值　，求出因变量　的一个估计值　，就是回归的预测值

0x 0y

　的标准不确定度来表述 y

ˆˆ ˆy a bx 21

ˆ( )xx

x xu y s

n l

2n

　的扩展不确定度来表述 y

ˆˆ ˆ py a bx U 1 , 2p n

2 、预测值　与实际值　之间存在偏差，因此给出预测值时，还必须给出其不确定度。有以下两种表示方式

0y y

6-33


【例 6-1 】试对下表所列实验数据做直线拟合，并作方差分析和预测。

ix iy ix iy ix iy ix iy

180 200 145 165 123 110 191 205104 100 141 135 151 180 190 220134 135 144 160 110 130 153 145141 125 190 190 108 110 155 160204 235 190 210 158 130 177 185150 170 161 145 107 115 177 205121 125 165 195 180 240 143 160151 135 154 150 127 135147 155 116 100 115 120

6-34


【解】直线拟合计算

1 1150.09, 158.28

34 34i ix x y y

225453xx il x x 32325xy i il x x y y

2 ˆ50094, 1.27yy i xy xxl y y b l l

ˆ 32.3 1.270y x 故有

直线拟合

3.32ˆˆ xbya

6-35


方差分析 50094yyl 总

2 41037xy xxl l 回

9057 总回残

偏离

回归

残余

总和

平方和自由度

１

标准差统计量

2145.0F

s

回

置信限 1,32F

0.01

高度显著

41037

9057

500943233

16.8 145.0 7.50

8.1603.283 s

6-36


预测对于　　　，查分布表得 2 32n

0.01(32) 2.74t 0.05 (32) 2.04t 0.10 (32) 1.69t

21

ˆ( ) 2.88xx

x x su y s

n l n

ˆ( ) ( )pU t u y

故有 ˆ 32.30 1.270 7.89 ( 0.99, 32)y x p

ˆ 32.30 1.270 5.88 ( 0.95, 32)y x p

ˆ 32.30 1.270 4.87 ( 0.90, 32)y x p

6-37


回归直线及预测区间

1 0 0 1 2 0

y

2 4 0

2 2 0

1 8 0

1 4 0

1 0 0

1 4 0 1 6 0 1 8 0 2 0 0 x

y x = 3 2 . 3 0 + 1 . 2 7

6-38


第四节一元非线性回归分析

6-39


非线性回归分析

5、比较不同模型拟合所得的原剩余平方和，选最小者即为所求。

2、选择回归模型。根据实验数据散点图分布的特点以及所掌握的物理规律，选择可线化函数的模型。3、作线性化变量变换后，按一元线性回归问题计算待定的系数、原的剩余平方和。４、如果对拟合结果不满意，再选择其它模型，重复以上步骤。

1、因变量　与自变量　之间不是线性关系y x

6-40


几种常见的非线性模型指数函数1 、基本形式： bxy ae

2 、线性化方法两端取对数得 ln lny a bx 令 lny a bx lny y

３、图像 b ＞ 0＜b 0

6-41


几种常见的非线性模型指数函数1 、基本形式：2 、线性化方法

两端取对数得令 lny a bx

1lny y x

x

３、图像

b xy ae

ln lny a b x

＜b 0

b ＞ 0

6-42


几种常见的非线性模型幂函数1 、基本形式： by ax

2 、线性化方法两端取对数得 log log logy a b x 令 logy a bx log , logy y x x

３、图像 1

＜b 0

＜b 10 ＜

b

＜b _ 1

= _ 11 b ＜＜ 0

6-43


几种常见的非线性模型双曲线函数1 、基本形式：

1 ba

y x

2 、线性化方法令 y a bx

1 1,y x

y x

３、图像a1

b ＞ 0

＜b 0

a ＞ 0

6-44


几种常见的非线性模型S型曲线1 、基本形式：

1x

ya be

2 、线性化方法

令 y a bx 1

, xy x ey

３、图像 _ 1 a

6-45


几种常见的非线性模型对数函数1 、基本形式： lgy a b x

2 、线性化方法令 y a bx lgx x

３、图像b ＞ 0

＜b 0

6-46


思考与练习题

习题六第 2 题

第六章回归分析

Documents

Transcript of 第六章回归分析

第六章 回归分析

Documents

Transcript of 第六章 回归分析

第六章回归分析

Transcript of 第六章回归分析