第三章 单一样本的推断问题

35
第第第 第 第第第第第第第

description

第三章 单一样本的推断问题. 主要内容. 第一节 符号检验和分位数推断. 假设总体 , M 是总体的中位数,对于假设检验问题: 是待检验的中位数取值. 定义 , , ,则 , 在零假设情况下 ,在显著性水平为 的拒绝域为 其中 k 是满足上式最大的 k 值。. - PowerPoint PPT Presentation

Transcript of 第三章 单一样本的推断问题

Page 1: 第三章 单一样本的推断问题

第三章 单一样本的推断问题

Page 2: 第三章 单一样本的推断问题

中国人民大学统计学院

主要内容

符号检验 符号秩检验

分布检验

Wilcoxon符号秩检验

Kolmogorov-Smirnov正态性检验

游程检验

单样本推断问题

符号检验

Liliefor正态性检验

拟合优度检验

Cox-Staut趋势检验

2

中心位置推断

分位数检验

Page 3: 第三章 单一样本的推断问题

中国人民大学统计学院

第一节 符号检验和分位数推断

假设总体 , M 是总体的中位数,对于假设检验问题:

是待检验的中位数取值

F(M)

0 e 0 1 e 0H : M M H : M M

0M

定义 , , ,则 ,

在零假设情况下 ,在显著性水平为 的拒绝域为

其中 k 是满足上式最大的 k 值。

n

i 0i 1

S I(x M )

n

i 0i 1

S I(x M )

's s n K min{s ,s }

'K ~ b(n ,0.5)

'binomP (K k | n ,p 0.5)

Page 4: 第三章 单一样本的推断问题

中国人民大学统计学院

例 3.1. 假设某地 16 座预出售的楼盘均价,单位 ( 百元 / 平方米 ) 如下表所示:

36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35

One-sample t-Test

data: build.price - 37

t = -0.1412, df = 15, p-value = 0.8896 alternative hypothesis: true mean is not equal to 0

95 percent confidence interval:

-8.045853 7.045853 sample estimates:

mean of x

-0.5

Page 5: 第三章 单一样本的推断问题

中国人民大学统计学院

结果讨论

0 e 0 1 e 0H : M M H : M M '

binomP (S k | n ,p 0.5)

k 是满足式子的最大值

0 e 0 1 e 0H : M M H : M M 'binomP (S k | n ,p 0.5)

单边符号检验问题

结论:符号检验在总体分布未知的情况下优于 t检验!

Page 6: 第三章 单一样本的推断问题

中国人民大学统计学院

大样本结论

当 n 较大时 :

当 n 不够大的时候可用修正公式进行调整。

双边: , p- 值左侧: , p- 值右侧: , p- 值

' 'n nK ~ N( , )

2 4'

'

K n 2Z N(0,1), n

n 4

0 e 0 1 e 0H : M M H : M M N(0,1)2P (Z z)

0 e 0 1 e 0H : M M H : M M

N(0,1)P (Z z)0 e 0 1 e 0H : M M H : M M

N(0,1)P (Z z)

Page 7: 第三章 单一样本的推断问题

中国人民大学统计学院

置信区间

采用 Neyman 原则选择最优置信区间,首先找出置信度大于 的所有区间 ,然后再从中选择区间长度最小的一个。对于大样本,可以用近似正态分布求置信区间。

(i) ( j) (i) ( j)n n

n n

k i k j

P(X M X ) 1 P(M X ) P(M X )n n1 1

( )( ) ( )( ) 1 i j nk k2 2

1 (i) ( j)[X ,X ],i j

根据顺序统计量构造置信区间:

Page 8: 第三章 单一样本的推断问题

中国人民大学统计学院

Page 9: 第三章 单一样本的推断问题

中国人民大学统计学院

符号检验在配对样本比较运用

配对样本 (x1,y1), (x2,y2) ,… (xn,yn)

将 记为“ +” , 记为“ -” ,

记为“ 0” ,记 P+ 为“ +” 比例, P- 为“ -” 比例,

那么假设检验问题:

可以用符号秩检验。

i ix yi ix y i ix y

H0:P+=P- H1:P+=P-

Page 10: 第三章 单一样本的推断问题

中国人民大学统计学院

例 3.4 如右表是某种商品在 12 家超市促销活动前后的销售额对比表,用符号检验分析促销活动的效果如何?

连 促销前 促销后锁 销售额 销售额 符号店1 42 40 +

2 57 60 -

3 38 38 0

4 49 47 +

5 63 65 -

6 36 39 -

7 48 49 -

8 58 50 +

9 47 47 0

10 51 52 -

11 83 72 +

12 27 33 -

Page 11: 第三章 单一样本的推断问题

中国人民大学统计学院

Page 12: 第三章 单一样本的推断问题

中国人民大学统计学院

根据同样原理,可以将中位数符号检验推广为任意分位点的符号检验。

Page 13: 第三章 单一样本的推断问题

中国人民大学统计学院

Cox-Staut 趋势存在性检验

检验原理 :

设数据序列: ,双边假设检验问题:

令:

取数对 , , 为正的数目, 为负的数目, 当正号或者负号太多的时候,认为数据存在趋势。在零假设情况下 Di 服从二项分布。从而转化为符号检验问题。

0 1H : H :数据序列无趋势 有增长或减少趋势

n / 2, nc

n

为偶数

(n+1)/ 2, 为奇数

i i c(x , x ) i i i cD x x S S

'K min(S ,S ) ~ b(n ,0.5)

X1,X2,…,Xn

Page 14: 第三章 单一样本的推断问题

中国人民大学统计学院

例 3.6 某地区 32 年来的降雨量如下表 问 ( 1 ):该地区前 10 年来降雨量是否有变化? ( 2 ):该地区 32 年来降雨量是否有变化?

年份 1971 1972 1973 1974 1975 1976 1977 1978

降雨量 206 223 235 264 229 217 188 204

年份 1979 1980 1981 1982 1983 1984 1985 1986

降雨量 182 230 223 227 242 238 207 208

年份 1987 1988 1989 1990 1991 1992 1993 1994

降雨量 216 233 233 274 234 227 221 214

年份 1995 1996 1997 1998 1999 2000 2001 2002

降雨量 226 228 235 237 243 240 231 210

Page 15: 第三章 单一样本的推断问题

中国人民大学统计学院

Page 16: 第三章 单一样本的推断问题

中国人民大学统计学院

1971:2002

ab

1970 1975 1980 1985 1990 1995 2000

180

200

220

240

260

Page 17: 第三章 单一样本的推断问题

中国人民大学统计学院

随机游程检验随机游程问题: 一个二元 0/1 序列当中,一段全由 0 或者全由

1 构成的串成为一个游程,游程中数据的个数称为游程长度,序列中游程的个数记为 R ,反映 0 和 1 轮换交替的频繁程度。在序列长度 N固定的时候,如果游程过少过者过多,都说明序列的随机性不好。当游程过多或者过少时,就会怀疑序列的随机性。

例 3.7 序列 1100001110110000111100 共有 8个游程

Page 18: 第三章 单一样本的推断问题

中国人民大学统计学院

检验原理和计算方法

设是由 0 或者 1 组成的序列 ,假设检验问题:

0 1H : H :数据出现顺序随机 数据出现不随机

R 为游程个数,假设有 个 0 , 个 1 , ,这时 R 取任何一个值的概率都是 , R 的条件分布

0n 1n0 1n n n

1

n1/( )

n

1 0

1

n 1 n 12( )( )

k 1 k 1P(R 2k)

n( )n

1 0 1 0

1

n 1 n 1 n 1 n 1( )( ) ( )( )

k 1 k k k 1P(R 2k 1)

n( )n

建立了抽样分布之后,在零假设成立时,可以计算 或者 的值,进行检验。

P(R r)P(R r)

X1,X2,…,Xn

Page 19: 第三章 单一样本的推断问题

中国人民大学统计学院

小样本的例子

H0: 样本中的观测是随机产生的 .Ha: 样本中的观测是随机产生的

= .05

n1 = 18n2 = 8

如果 7 R 17, 不能拒绝 H0否则 拒绝 H0.

1 2 3 4 5 6 7 8 9 10 11 12D CCCCC D CC D CCCC D C D CCC DDD CCC

R = 12由于 7 R = 12 17, 不能拒绝 H0

Page 20: 第三章 单一样本的推断问题

中国人民大学统计学院

Runs Test: 大样本的例子

经验表明:如果 n1 或 n2 > 20, R 的抽样分布近似为正态

Page 21: 第三章 单一样本的推断问题

中国人民大学统计学院

Runs Test: 大样本例子

H0: 样本中的观测是随机产生的 .Ha: 样本中的观测是随机产生的

= .05

n1 = 40n2 = 10

如果 -1.96 Z 1.96, 不能拒绝 H0否则 拒绝 H0. 1 1 2 3 4 5 6 7 8 9 0 11NNN F NNNNNNN F NN FF NNNNNN F NNNN F NNNNN

12 13FFFF NNNNNNNNNNNN R = 13

H0: 样本中的观测是随机产生的 .Ha: 样本中的观测是随机产生的

= .05

n1 = 40n2 = 10

如果 -1.96 Z 1.96, 不能拒绝 H0否则 拒绝 H0. 1 1 2 3 4 5 6 7 8 9 0 11NNN F NNNNNNN F NN FF NNNNNN F NNNN F NNNNN

12 13FFFF NNNNNNNNNNNN R = 13

Page 22: 第三章 单一样本的推断问题

中国人民大学统计学院

Runs Test: 大样本例子

-1.96 Z = -1.81 1.96,不能拒绝 H0

Page 23: 第三章 单一样本的推断问题

中国人民大学统计学院

正态近似

当时 ,利用正态分布近似:

给定水平 之后,可以利用近似公式得到拒绝域的临界值:

n ,n1/ n0

1

31

R 2n /(1 )R E(R)Z N(0,1)

Var(R) 4 n /(1 )

1 0 2l

1 0 1 0

Z2n n

r [1 ]n n n n

1 0 2u

1 0 1 0

Z2n n

r 1 [1 ]n n n n

Page 24: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩检验

基本概念及性质 对称分布的中心一定是中位数,在对称分布情况下,中位数不唯一,研究对称中心比中位数更有意义。

例:下面的数据中, O是对称中心吗?

0

Page 25: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩检验原理以及性质

1 2 n| x |,| x |, ,| x |1 (1) 2 (2) n (n)| x | ,| x | , ,| x | 首先设样本绝对值 的顺序统计量 ,如果数据关于

0 点对称,那么对称中心两侧的数据疏密程度应该一样,整数在取绝对值以后的样本中的秩应该和负数在绝对值样本中的秩和相近。

用 表示 在绝对值样本中的秩,反秩 由 定义。 表示 的符号, 称为符号秩统计量。 Wilcoxon 符号秩统计量定义为:

jR

j| x | jD Dj ( j)| X | | X |j DjW S(X )

jDX j jR S(X )

n n

j j jj 1 j 1

W jW R S(X )

Page 26: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩统计量的性质

定理 3.2 如果零假 设成立,那么 独立于

H0 : 0 1 2 nS(X ),S(X ), ,S(X )

1 2 n(R ,R , ,R )

定理 3.3 如果零假设 成立,那么 独立于

H0 : 0 1 2 nS(X ),S(X ), ,S(X )

1 2 n(D ,D , ,D )

定理 3.4 如果零假设 成立,那么 独立 同分布,

H0 : 0 1 2 nW , W , , W

i iP(W 0) P(W 1) 1/ 2

Page 27: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩检验步骤:

3. 令 表示和 对应的 的秩和,令 表示 和 对应的 的秩和。

Wi 0X M 0

i 0| X M |

W

i 0X M 0

i 0| X M |

i 0| X M |2. 找出 的秩,打结时取平均秩。

i 0| X M |1. 计算

4. 双边检验 ,取 ,当 W很小时拒绝零假设;对 ,取 ;对 ,取 。

0 0 1 0H : M M H : M M W min(W , W ) 0 0 1 0H : M M H : M M

W W 0 0 1 0H : M M H : M M W W

5. 根据 W 的值查Wilcoxon 符号秩检验分布表。对 n很大的时候,可以采用正态近似。

Page 28: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩统计量分布

在小样本情况下可以计算 Wilcoxon 符号秩统计量的精确分布。在大样本情况下可以使用正态近似:

W n(n 1) / 4Z N(0,1)

n(n 1)(2n 1) / 24

计算出 Z 值以后,查正态分布表对应的 p- 值,如果 p- 值很小,则拒绝零假设。

在小样本情况下,用连续性修正公式:

W n(n 1) / 4 0.5Z N(0,1)

n(n 1)(2n 1) / 24

Page 29: 第三章 单一样本的推断问题

中国人民大学统计学院

Wilcoxon 符号秩检验导出 Hodges-Lemmann 估计性质及运用

定义:简单随机样本 ,计算其中任意两个数的平均,称为 Walsh 平均,即

1 2 nX ,X , ,Xi j' '

u u

X X{X : X ,i j}

2

定理: Wilcoxon 符号秩统计量 可表示为: W

Xi XjW #{( 0), i j}

2

定义:假设 独立同分布于 , 当 F 对称时,定义 Walsh 平均中位数:

作为 的 Hodges-Lemmann估计。

1 2 nX ,X , ,X F(X )

Xi Xjmedian{ ,i j}

2

Page 30: 第三章 单一样本的推断问题

中国人民大学统计学院

正态计分检验

检验原理以及计算 :

基本思想是把升幂排列的秩 用对应的正态分位点替代,为了保证秩为正的,用变化的式子:

其中 就是第 个数据的正态记分。iR

1i(R /(n 1))

1 in 1 Rs(i) ( ), i 1, , n

2n 2

s(i)

iR

Page 31: 第三章 单一样本的推断问题

中国人民大学统计学院

计算步骤

对假设检验问题: 对单边或者双边。 0 0H : M M

1. 将的 秩按升幂排列, 并加上 对应的 符号,也就是构造符号秩 .

i 0| X M | i 0X M

2. 用正态记分代替符号秩:

1 ii i 0

r1s ( [1 ])sign(X M )

2 n 1

记 ,构造统计量: n

ii 1W s

n2i

i 1

WT

S

3. T 有近似的正态分布 , 当 T 大的时候,考虑拒绝零假设。

Page 32: 第三章 单一样本的推断问题

中国人民大学统计学院

拟合优度检验原理以及计算 2

类别 1 2 …. C 总和

观测频数          

1O 2O CO n

假设检验问题: 0 0 1 0H : F(X) F (X) H : F(X) F (X)

2 22 i i i

i i

(O E ) On

E E

观测频数和理论频数的差别作为检验总体分布和理论分布是否一致的标准,定义 Pearson 统计量:2

当 ,拒绝零假设。 2 2

,1 c

Page 33: 第三章 单一样本的推断问题

中国人民大学统计学院

Kolmogorov-Smirnov 正态性检验

Kolmogorov-Smirnov 正态性检验根据样本经验分布和理论分布的比较,检验样本是否来自于该理论分布。假设检验问题:

0

1

H :

H :

样本来自所给分布

样本不是来自该分布

假设样本的经验分布函数为 ,定义

当时 ,拒绝零假设。

nF (x)

nD max | F (x) F(x) |

D D

Page 34: 第三章 单一样本的推断问题

中国人民大学统计学院

Liliefor 正态性检验

正态性检验根据样本经验分布和理论分布的比较,检验样本是否来自于该理论分布。假设检验问题:

0

1

H :

H :

样本来自所给分布

样本不是来自该分布

Page 35: 第三章 单一样本的推断问题

中国人民大学统计学院

主要内容回顾

符号检验 符号秩检验

分布检验

Wilcoxon符号秩检验

Kolmogorov-Smirnov正态性检验

游程检验

单样本推断问题

符号检验

Liliefor正态性检验

拟合优度检验

Cox-Staut趋势检验

2

中心位置推断

分位数检验