实验数据处理方法 第二章...

26
实验数据处理方法 2.1 概率和统计的关系 第二章 概率的基本概念 2019/6/10 第二章 概率的基本概念 1

Transcript of 实验数据处理方法 第二章...

Page 1: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

实验数据处理方法

2.1 概率和统计的关系

第二章 概率的基本概念

2019/6/10 第二章概率的基本概念 1

Page 2: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.1 概率和统计的关系

两者是紧密相联系的

概率论:纯数学的一个分支,从一些公理和定义出发,用演绎法(deduction)建立理论;

统计学:应用数学的一个分支,用归纳法(induction)处理问题。

例如:掷硬币的实验:

设p为掷硬币时其正面朝上的概率,则其反面朝上的概率为1-p;

• 如果预先知道p的值(=1/2),问:在n次投掷中有r次正面朝上的概率是多少?➔概率论的问题,回答:二项式分布定理:

rnr

rnrn pppnrB −

−−= )1(),;(

)!(!!

• 如果预先不知道P的值,则需要通过实验来确定p的值:投掷n

次,出现了r次正面朝上的情况,p=? ➔统计学的问题,回答:

nrpp == ˆ

2019/6/10 第二章概率的基本概念 2

Page 3: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.1 概率和统计的关系

21 ppp

即:p的值可由试验观测推断出来。只是p的一个估计,是否等于P? 两组试验给出的可能不一样,因此,应该用对p的一个区间估计来表示实验结果:

• 确定区间也是统计学的问题。在计算p1和p2时,需要知道由概率论给出的分布函数的具体形式。

2019/6/10 第二章概率的基本概念 3

Page 4: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

实验数据处理方法

2.2 概率的定义

第二章 概率的基本概念

2019/6/10 第二章概率的基本概念 4

Page 5: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.2 概率的定义

→= nn

rEp )(

=

+=

i

i

jiji

i

)p(E

);p(E)p(E)orEp(E

;)p(E

c)

b)

a)

1

0

1)(0 Ep

物理学家的定义:频数极限

设在某实验中观测到了n个事例,其中种类为E的事例出现了r次,则某事例的种类为E的概率定义为:

数学家的定义:利用集和理论定义Ω是所有可能的事件Ei的一个集合,其中Ei是互斥的(即 它们中的一个发生时,所有其它的事件都不发生),定义事件Ei发生的概率p(Ei)具有如下的性质:

如果p(E)=0, 则表示事件E总不发生;

如果p(E)=1, 则表示事件E总发生;2019/6/10 第二章概率的基本概念 5

Page 6: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

实验数据处理方法

2.3 随机变量、样本空间

第二章 概率的基本概念

2019/6/10 第二章概率的基本概念 6

Page 7: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.3 随机变量、样本空间

=i

ip 1

dxxfdxxXxp )()( =+

=1)( dxxf

随机变量:

其值不能完全确定地预测的变量。

样本空间:

随机变量x的取值空间。

离散型随机变量:

若随机变量X只能取有限数目的值,则称x为离散型随机变量;

若pi为离散型随机变量x取值为xi的概率:p(x=xi)=pi,则

连续型随机变量:

若随机变量x在有限取间内的取值是连续的,则称x为连续型的随机变量。连续型随机变量x的取值位于区间[x,x+dx]的概率定义为:

其中,f(x)为概率密度函数➔p.d.f(probability density function),满足归一化条件

2019/6/10 第二章概率的基本概念 7

Page 8: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

实验数据处理方法

2.4 概率的性质

第二章 概率的基本概念

2019/6/10 第二章概率的基本概念 8

Page 9: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

以集合理论为基础介绍概率的一些运算规则。

一、集合(set)

集合是指一些具有相同性质的元素的全体。

集合A的元素(element):属于集合A的某一元素;

集合A的子集(subset):如果集合B的任一元素又是集合A的元素,则称B为A的子集;

集合的补集(complement):

设A是样本空间Ω中的任一组元素的集合,则A的补集定义为Ω中所有不属于A的元素的集合,记为: A

A和B的并集(union):属于A或属于B,或既属于A又属于B的元素的集合,记为: BA

2019/6/10 第二章概率的基本概念 9

Page 10: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

= BA

0= BA

A和B的交集(intersection):

既属于A又属于B的一些元素的集合,记为: BA

如果 ,则称A和B为全集(Exhaustive sets);

如果 ,则称A和B是互斥的(Exclusive sets)。

维因图(Venn diagram)

A BA BA

A BABA

2019/6/10 第二章概率的基本概念 10

Page 11: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

:有两个带电粒子且至少有一个V0的事例的集合.

A

B

BA

BA

例: PP相互作用事例的分类:

p+p→(2,4,6,…)个带电粒子+(0,1,2,..)个V0粒子

定义:

A为至少有一V0个的事例的集合;

B为具有两个带电粒子的事例的集合;

:没有V0的事例的集合

:具有两个以上带电粒子的事例的集合

:至少有一个V0,或有两个带电粒子,或至少有一个V0且有两个带电粒子的事例的集合;

2019/6/10 第二章概率的基本概念 11

Page 12: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

)( BAp

)( BAp

)()()()( BApBpApBAp −+=

N

N

N SSSSAAAp )1(...)...( 32121 −−−+−=

=

==

=

==

n

kji

kji

n

ji

ji

n

i

i

AAApS

AApSApS

3

3

2

2

1

1

)(

)()(

二、概率的加法定律(Addition rule of probability)

定义:

p(A): 集合A中某一事件发生的概率;

p(B): 集合B中某一事件发生的概率;

: 属于A或属于B,或既属于A又属于B的某一事件发生的概率;

: 既属于A又属于B的某一事件发生的概率;

加法定律:

推广到N个集合的情况:A1,A2,…AN,属于至少其中一个集合Ai的某一事件发生的概率:

其中:

2019/6/10 第二章概率的基本概念 12

Page 13: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

三、条件概率(Conditional probability)

定义:

在事件A已经产生的情况下,事件B产生的概率,记为:p(B|A)

假设A和B是样本空间的两个子集,如果我们至对A中的元素感兴趣,并将样本空间重定义为子集A,在新的样本空间A中子集B的概率称为B相对于A的条件概率。

意义:

条件概率与A和B的交集的关系:

P(B|A)是由下式定义的

)()|()( ApABpBAp =

2019/6/10 第二章概率的基本概念 13

Page 14: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

该式的意义可由下面的Venn图说明:

N

A

NA

B

NB

NC

B

C

A

C

C

BA

N

N

N

N

N

N

N

N

N

N

BAp

ABp

BAp

BpAp

=

=

=

==

)|(

)|(

)(

)()(

实验上,所有的概率都是条件概率,因为事例都是在一定的实验条件下获取的,只是由于这些条件对所有的事例都相同,因而被认为是无关紧要的。

)()|(

)()|()(

BpBAp

ApABpBAp

N

N

N

N

N

N

N

N

N

N

B

B

C

A

A

CC

==

===

2019/6/10 第二章概率的基本概念 14

Page 15: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

K+

p k0

p

+

+

-A事件

B事件

条件概率的例子:k0p散射截面

K0的产生:k++p→k0+p ➔事例数为N

K0的探测: k0→+-

➔事件B

感兴趣的相互作用: k0p→ k0p ➔事件A

求:事件A的概率p(A)

只有在观测到事件B的条件下才能确定事件A的产生

)()|()( ApABpBAp =

:)( BAp

既发生了k0p散射又探测到了k0衰变的概率

k++p→k0+p

k0p→ k0p +-

➔探测到的事例数N1➔ N

NBAp 1)( =

2019/6/10 第二章概率的基本概念 15

Page 16: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

p(B|A): 在k0p散射发生的条件下k0衰变的概率

)( 0

1)|( −+→=

kBrN

NABp

其中: :探测效率

Br(k0→+- ): k0

→+- 的分支比

: k0衰变的截面

四、独立性,乘法定律(Independence, multiplication rule)

如果事件B的产生与事件A的产生无关,则称A和B是不相关的,即

p(B|A)=p(B)

)()()|()( BpApABpBAp ==

概率的乘法定律:如果事件A和B是不相关的,则A和B都发生的概率等于A事件发生的概率乘以B事件发生的概率.

2019/6/10 第二章概率的基本概念 16

Page 17: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

A B

1

2 3)( 321 EEEE =

32

321321

321321

321

)()()()()()(

))(()()(

))(()(

−+=

−+=

−+=

=

EpEpEpEpEpEp

EEEpEEpEp

EEEpEP

五、概率运算的几个例子:

例1:开关网络:每个开关接通的概率,每个开关的接通是互不相关的,求A、 B

两端有电流通过的概率

Ei:第i个开关接通的事件:p(Ei)= , i=1,2,3

有电流流过的事件:2和3同时接通或1接通:

概率加法

概率乘法

2019/6/10 第二章概率的基本概念 17

Page 18: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

例2:Cerenkov计数器的效率

9只光电倍增管环绕契伦科夫计数器的轴线排列成一圈,当有带电粒子沿计数器轴线穿过时,每个光电倍增管都可探测到粒子所发出的契伦科夫光。

设每只PMT的探测效率为=0.93,且每只PMT对契伦科夫光的探测是相互独立的,求:契伦科夫计数器的效率P

2019/6/10 第二章概率的基本概念 18

Page 19: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

E:某只PMT有信号输出的事件,p(E)= =0.93

a) 如果要求9只PMT都有输出:p=(p(E))9=9=0.52 ➔概率乘法定律

32

1

33

)()()()()(3)(3

)]()()()[()()()(3

)()()()()()(

))(()()(

)(

+−=

+−=

−+−−=

−−++=

−+=

=

EpEpEpEpEpEp

EEpEpEpEpEpEpEp

EEpEpEEpEpEpEp

EEEpEEpEp

EEEpp

b) 将9只PMT分成3组,每组有3只,如果每组至少有一只有信号,则认为该组有信号输出,最后要求三组都有信号

999.0)33( 332

321 =+−== pppp

2019/6/10 第二章概率的基本概念 19

Page 20: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

)1(2)2()1()21()1( −=+== EpEpEEpp

例3:0的探测效率0→

e+e-➔对产生过程

e+e-

:发生对产生的概率,1- :不发生对产生的概率E: 发生对产生的事件,p(E)= , 两发生对产生的事件是互不相关的

a)探测到两个的概率: p(2 )=p(E)p(E)= 2

b)两个都探测不到的概率:p(0 )=(1- )2

c)只有一个被探测到的概率:

E1:第一个被探测到,第二个没有被探测到

E2:第二个被探测到,第一个没有被探测到

p(E1)=p(E2)= (1- )

E1和E2是互斥的事件:两事件同时发生的概率为零

显然: p(2)+ p(1)+ p(0)=1

2019/6/10 第二章概率的基本概念 20

Page 21: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

)1()2(2

)()()(

)()1(

2

pp

EEpEpEp

EEpp

+=−=

−+=

=

d)至少探测到一个的概率:

六、边缘概率(Marginal probability)

实验所获取的事例通常可按不同的标准进行分类,如果忽略掉某些分类标准而只考虑在某一种分类标准下某事件出现的概率,则称这种概率为边缘概率

例:粒子的单举产额

设实验事例按A、B两种分类标准可分为:A1,A2,….Am B1,B2,….Bn,且

==

==n

i

i

m

i

i BpAp11

1)(1)(

则Ai的边缘概率定义为

同样,Bi的边缘概率定义为

=

=n

j

jii BApAp1

)()(

=

=n

j

jii ABpBp1

)()(2019/6/10 第二章概率的基本概念 21

Page 22: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.4 概率的性质

A4A3A2A1A

0

sk 00

ss KK 0

sK

108642

B5B4B3B2B1B

)( ji BAp

)( 11 BAp 0

sk0

sk

=

=5

1

11 )()(j

jBApAp

例:pp相互作用事例的分类p+p→(2,4,6,…)个带电粒子+(0,1,2,..)个V0粒子分类标准A:事例中有V0

分类标准B:事例中带电粒子的数目

如果实验中已测出了概率 ,如

:具有两个带电粒子且具有1个 的概率

则边缘概率P(A1),即有一个 而不管有几个带电粒子的事例的概率为

2019/6/10 第二章概率的基本概念 22

Page 23: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

实验数据处理方法

2.5 贝叶斯(Bayes)定理

第二章 概率的基本概念

2019/6/10 第二章概率的基本概念 23

Page 24: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.5 贝叶斯(Bayes)定理

=

=n

i

iBp1

1)(

=

=n

j

jj

iii

BpBAp

BpBApABp

1

)()|(

)()|()|(

)(

)()|()|(

)()|()()|()(

Ap

BpBApABp

BpBApApABpBAp

iii

iiii

=

==

==

==n

j

jj

n

j

j BpBApBApAp11

)()|()()(

定理:设样本空间被分成了n个互斥的完备事件组Bi,即B1+B2+…+Bn=

若A也是属于的一个事件组,则有

证明:利用概率运算定律

1.根据条件概率的定义

2.根据边缘概率的定义

代入上式即得贝叶斯定理

2019/6/10 第二章概率的基本概念 24

Page 25: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.5 贝叶斯(Bayes)定理

3

2

01

1

)()|(

)()|()|(

31

31

21

31

31

3

1

111 =

++

==

=j

jj BpBAp

BpBApABp

贝叶斯定理给出了两个条件概率p(Bi|A)和p(A|Bi)之间的关系

贝叶斯定理的例子三个抽屉分别装有金币和银币

B1: 两个金币B2:一个金币和一个银币B3:两个银币

随机地选一个抽屉并从中取出一个钱币,假定取出的是一个金币,求同一抽屉中另一个钱币是金币的概率

A:第一次取出金币的事件,另一个钱币也是金币条件要求只能选取B1,即要求的是在A发生的条件下,选择抽屉B1的概率: p(B1|A)

在选定抽屉的情况下,取出一个金币的概率P(A|B1)=1, p(A|B2)=0.5, p(A|B3)=0

选择某一抽屉的概率

P(B1)=p(B2)=p(B3)=1/3由贝叶斯定理

2019/6/10 第二章概率的基本概念 25

Page 26: 实验数据处理方法 第二章 概率的基本概念hepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 2.1 概率和统计的关系 第二章概率的基本概念

2.5 贝叶斯(Bayes)定理

即:如果第一次取出的是一枚金币,则B1被选中的概率增加了一倍

P(Bi):Bi被选中的先验概率(Prior probability)

P(Bi|A): Bi被选中的后验概率(Posterior probability)

P(A|Bi):在Bi下,事件A的似然值(likelyhood)

2019/6/10 第二章概率的基本概念 26