8. 確率変数の独立性 - sguc.ac.jp¢º率変数の独立性.pdf · 8....

12
統計学 補足文書 1 8. 確率変数の独立性 1.複数の確率変数 ● 複数の確率変数 1 つの試行 T から,複数の確率変数を考える。 試行 T 2 つの確率変数 Y X , 試行 T n 個の確率変数 n X X X , , , 2 1 試行 T から 2 つの確率変数 Y X , を考える。このとき, X の値と Y の値によって値が定まる 式,例えば, Y X Y X ) ( 2 1 Y X などは,みな確率変数になる。実際,試行 T の結果(標本点)に対して, X の値が a Y の値が b Y X の値は b a となる。つまり, Y X は試行の結果に対して値が定まる変数になるので,確率変数である。 他も同様である。 同様に,試行 T から n 個の確率変数 n X X X , , , 2 1 を考えた場合, n X X X 2 1 n X X X 2 1 ) ( 1 2 1 n X X X n などは,みな確率変数になる。 例えば,試行 T の結果(標本点)に対して, 1 X の値が 1 a 2 X の値が 2 a ,…, n X の値が n a ならば, n X X X 2 1 の値は, n a a a 2 1 ) ( 1 2 1 n X X X n の値は, ) ( 1 2 1 n a a a n 要するに,確率変数からつくられる式は,みな確率変数になると理解すればよい。これから, 確率変数の和や積という確率変数を考える。 Y X , の和 Y X Y X , の積 Y X n X X X , , , 2 1 の和 n X X X 2 1 n X X X , , , 2 1 の積 n X X X 2 1

Transcript of 8. 確率変数の独立性 - sguc.ac.jp¢º率変数の独立性.pdf · 8....

統計学 補足文書

1

8. 確率変数の独立性

1.複数の確率変数

● 複数の確率変数

1 つの試行T から,複数の確率変数を考える。

① 試行T → 2 つの確率変数 YX ,

② 試行T → n 個の確率変数 nXXX ,,, 21

試行T から 2 つの確率変数 YX , を考える。このとき,X の値とY の値によって値が定まる

式,例えば,

YX , YX , )(2

1YX

などは,みな確率変数になる。実際,試行T の結果(標本点)に対して,

X の値が a ,Y の値が b ⇒ YX の値は ba

となる。つまり, YX は試行の結果に対して値が定まる変数になるので,確率変数である。

他も同様である。

同様に,試行T から n 個の確率変数 nXXX ,,, 21 を考えた場合,

nXXX 21 , nXXX 21 , )(1

21 nXXXn

などは,みな確率変数になる。

例えば,試行T の結果(標本点)に対して, 1X の値が 1a , 2X の値が 2a ,…, nX の値が

na ならば,

nXXX 21 の値は, naaa 21

)(1

21 nXXXn

の値は, )(1

21 naaan

要するに,確率変数からつくられる式は,みな確率変数になると理解すればよい。これから,

確率変数の和や積という確率変数を考える。

YX , の和 ⇒ YX

YX , の積 ⇒ YX

nXXX ,,, 21 の和 ⇒ nXXX 21

nXXX ,,, 21 の積 ⇒ nXXX 21

統計学 補足文書

2

2.確率変数の和の平均

● 確率変数の和の平均

試行T における 2 つの確率変数 YX , ,さらに, n 個の確率変数 nXXX ,,, 21 に

ついて,次が成り立つ。

(1) )()()( YEXEYXE , )()()( YEXEYXE

(2) )()()( YEbXEaYbXaE ( ba , は定数)

(3) )()()( YEbXEaYbXaE ( ba , は定数)

(4) )()()()( 2121 nn XEXEXEXXXE

すなわち i i

ii XEXE )()(

(5) )()()()( 22112211 nnnn XEaXEaXEaXaXaXaE

すなわち i i

iiii XEaXaE )()( (各 ia は定数)

証明の概略を示しておこう。

(1) 和 YX の平均の場合は,確率分布を考える必要はない。いま,試行T の標本点の個

数を l 個とし,標本空間を

},,,{ 21 l

とする。 i に対して定まる X の値を ix ,Y の値を iy で表せば, i に対して定まる YX

の値は, ii yx である。

標本点 X の実現値 Y の実現値 X + Y の実現値

1 1x 1y 11 yx

2 2x 2y 22 yx

… … … …

l lx ly ll yx

平均 x y

lxxx ,,, 21 の平均を x , lyyy ,,, 21 の平均を y で表せば

xXE )( , yYE )(

同様に, )( YXE は, YX のすべての実現値の平均であるから,

})()()({1

)( 2211 ll yxyxyxl

YXE

})()({1

2121 ll yyyxxxl

統計学 補足文書

3

)(1

)(1

2121 ll yyyl

xxxl

yx

従って, )()()( YEXEYXE となる。 )()()( YEXEYXE につい

ても同様である。

(2) 定数 ba , に対して, YbXa , はともに確率変数になるので,(1)より,

)()()( YbEXaEYbXaE

1 次変換の公式より, )()( XEaXaE , )()( YEbYbE なので,

)()()( YEbXEaYbXaE

(3) (2)で, b を b に変えれば,

)()()())(()( YEbXEaYbXaEYbXaE

)()( YEbXEa

(4)(5) (1)(2)より,明らかである。例えば,3 つの確率変数 ZYX ,, について,(1)を繰り返し

て使えば,

)()())(()( ZEYXEZYXEZYXE

)()()( ZEYEXE

同様に,次の等式も自明になる。

)()()()( ZcEYbEXaEZcYbXaE

)()()( ZEcYEbXEa ( cba ,, は定数)

■ 例

確率変数 YX , について, X の平均が 1,Y の平均が 2 のとき,次の確率変数の平均を求

めよ。

(1) YX (2) YX (3) YX 32 (4) YX 32

<解>

仮定より, 1)( XE , 2)( YE である。公式を忠実に使うと,

(1) 321)()()( YEXEYXE

(2) 121)()()( YEXEYXE

(3) 82312)(3)(2)32( YEXEYXE

(4) 42312)(3)(2)32( YEXEYXE

(注)

確率変数 YbXa ( ba , は定数)の平均は, YbXa において,X を X の平均,Y を

Y の平均に置き換えるだけである。

YbXa の平均は, )()( の平均の平均 YbXa

統計学 補足文書

4

3. 確率変数の独立性

● 定義

(1) 試行T における確率変数 YX , について, X のとる値 a とY のとる値 b に対して,

)()(),( bYPaXPbYaXP

が常に成立するとき, X とY は(互いに)独立であるという。

(2) 試行T における n 個の確率変数 nXXX ,,, 21 について,各 iX のとる値 ia に対し

て,

),,,( 2211 nn aXaXaXP

)()()( 2211 nn aXPaXPaXP

が常に成立するとき, nXXX ,,, 21 は(互いに)独立であるという。

(1) 上記の定義において「とる値」は不要である。(1)においては,任意の実数 ba , に対して,

)()(),( bYPaXPbYaXP

が成立するとき,X とY は独立であると定義してもよい。実数 a が X の実現値でなければ,

aX となる事象は空事象となり,

0),( bYaXP , 0)( aXP

となって,上記の等式は当然成立するからである。よって,「任意の実数 a 」と「 X の任意

の実現値 a 」という表現は,同じ意味になる。

(2) ),( bYaXP は,「 aX かつ bY 」となる事象の確率であるが,これは,

積事象(2 つの事象がともに起こる事象)の確率である。つまり, aX となる事象を A ,

bY となる事象を B とすれば, A と B の積事象 BA の確率は )( BAP であり,

)(),( BAPbYaXP ( A と B がともに起こる事象の確率)

よって,上記の独立性の等式は,次の意味になる。

)()()( BPAPBAP … ①

一方,高校数学 A で学習した確率の乗法定理は,

)()()( BPAPBAP A … ②

である。 )( BPA は,事象 A が起こったときの事象 B の起こる「条件つき確率」である。

従って,等式①は,次の等式と同じである。

)()( BPBPA … ③

また,①が成立すれば,

)()()()()()( APBPBPAPBAPABP

統計学 補足文書

5

であるから,

)()( APAPB

も成立する。

さて,等式③は,事象 A が起こっても,起こらなくても,事象 B の起こる確率は常に )(BP

だと主張している。つまり,事象 A が起こったことが,事象 B の確率には影響を与えないこ

とを意味する。(同様に,事象 B が起こったことが事象 A の確率には影響を与えない。)

(3) 従って, X とY が独立であるとは, aX という事象が起こったとしても,その事象は

bY となる事象の確率には影響を与えないという意味である。別の言い方をすれば,X が

どのような実現値をとったとしても,Y のとり得る異なる実現値と各実現値の確率(=相対

度数)は変わらないという意味である。

(4) X とY が独立であるとは,それらが無関係な変数であると直感的に理解してもよい。

■ 例

1 個のサイコロを 2 回投げるとき,1回目に出た目の数を X ,2回目に出た目の数をY とす

ると,次が成り立つ。

(1) X とY は,独立である。

(2) )()()( YEXEYXE

<解説>

(1) 1 個のサイコロを 1 回投げたときの標本空間は }6,5,4,3,2,1{ である。

1 個のサイコロを 2 回投げるという試行をT とすると,T の標本空間は,直積

になる。直積になるのは,1回目のサイコロ投げと2回目のサイコロ投げは,試行として独立

だからである。独立であるから, X とY の確率分布は同じになる。

X 1 2 3 4 5 6 計 Y 1 2 3 4 5 6 計

P 6

1

6

1

6

1

6

1

6

1

6

1 1 P

6

1

6

1

6

1

6

1

6

1

6

1 1

確認すれば,例えば, 2Y となる標本点は, )2,(□ の形である。□は1回目の目の数だ

が,これはどの目でもよいので 6 通り。従って, )2,(□ となる場合の数は 16 通りなので,

6

1

66

16)2(

YP

この確率は,1 個のサイコロ1回投げたとき,2 の目が出る確率に等しい。つまり,試行T は

独立試行なので, bY となる確率は,試行T ではなく,1 個のサイコロ1回投げるという試

行で考えてよいのである。

試行T の標本点を書き上げれば次のようになり,全部で 36 個ある。

統計学 補足文書

6

(1, 1) (1, 2) …… (1, 6)

(2, 1) (2, 2) …… (2, 6)

… … …

(6, 1) (6, 2) …… (6, 6)

このとき,1 回目のサイコロ投げと 2 回目のサイコロ投げは独立試行なので,次が常に成立

することは自明になる。

)()(),( bYPaXPbYaXP

例えば, 1X , 2Y となる標本点は (1, 2) のみであるから,

36/1)2,1( YXP

一方, 6/1)1( XP , 6/1)2( YP であるから,

)2()1()2,1( YPXPYXP

が成立する。従って, X とY は,独立である。

(2) 次に,確率分布表より,

6

16

6

15

6

14

6

13

6

12

6

11)( XE

)654321(6

1

同様に, )654321(6

1)( YE

一方,上記の標本点から, YX のすべての実現値は,次のようになる。

1 × 1 1 × 2 …… 1 × 6 ← 横合計 1 × ( 1 + 2 + 3 + 4 + 5 + 6 )

2 × 1 2 × 2 …… 2 × 6 ← 横合計 2 × ( 1 + 2 + 3 + 4 + 5 + 6 )

… … …

6 × 1 6 × 2 …… 6 × 6 ← 横合計 6 × ( 1 + 2 + 3 + 4 + 5 + 6 )

これら 36 個の数値の合計は,

)654321()654321(

一方,この 36 個の数値の平均が )( YXE であるから,

)654321()654321(36

1)( YXE

従って, )()()( YEXEYXE が成立する。

統計学 補足文書

7

4. 確率変数の積 の平均

● 考察1

)()()( YEXEYXE が成り立たない例を上げよ。

(1) いくらでも例を作ることができる。例えば,コイン投げのように,標本点が 2 個しかない

試行を考え,確率変数 YX , を次のように定義する。

標本点 のとる値 のとる値 のとる値

1 1 1

2 2 4

このとき, 2/3)( XE , 2/3)( YE , 2/5)( YXE なので,

4/9)()( YEXE ∴ )()()( YEXEYXE

(2) とる値が, 2,1X , 2,1Y であれば,とる値の組 ),( YX は

)1,1( , )2,1( , )1,2( , )2,2(

の 4 通りが考えられるが, )2,1( や )1,2( となる標本点は存在しない。これは,Y のとる値

が, X のとる値によって影響を受けているからである。 X が 1 のときY の実現値は 1, X

が 2 のときY の実現値は 2 であり, X のとる値によってY の実現値が変化するのである。

従って, X とY は独立でない。

(3) 一方,標本点が 6 つで,次のような実現値になっていたとする。

標本点 X のとる値 Y のとる値 XY のとる値

1 1 1

1 2 2

3 2 1 2

4 2 1 2

5 2 2 4

6 2 2 4

このとき,

3/56/10)( XE , 2/36/9)( YE , 2/56/15)( YXE

なので,

)()()( YEXEYXE

が成立する。組 ),( YX としては,

)1,1( , )2,1( , )1,2( , )2,2(

X Y XY

1

2

1

2

統計学 補足文書

8

の組がみな登場する。そして,

① 1X ⇒ Y の異なる実現値は 1,2

※ Y のすべての実現値は 1,2 で,

1 の相対度数は 2/1 ,2 の相対度数は 2/1

② 2X ⇒ Y の異なる実現値は 1,2

※ Y のすべての実現値は 1,1,2,2 で,

1 の相対度数は 2/14/2 ,2 の相対度数は 2/14/2

要するに,X がどのような実現値をとっても,Y のとり得る異なる実現値は変わらず,各

実現値の相対度数も同じなので, X とY は独立になる。

● 考察2

は成り立つが, X とY は独立でない例を上げよ。

(1) 残念ながら, )()()( YEXEYXE が成立しても, X とY が独立であるとは限らない。

例えば,標本点が 3 個で, X とY の実現値が次のようになっているとしよう。

標本点 のとる値 のとる値 のとる値

1 2 2

1 4 4

3 2 3 6

このとき, 3/4)( XE , 3)( YE , 4)( YXE なので,確かに

)()()( YEXEYXE

が成立している。しかし,明らかに X とY は独立ではない。実際,

3/1)2,1( YXP , 3/2)1( XP , 3/1)2( YP

なので,

)2()1()2,1( YPXPYXP

5. 2 つの確率変数の和の平均と分散

● 定理(2つの確率変数の和の分散)

2 つの確率変数 YX , が独立ならば,次が成り立つ。

① )()()( YEXEYXE (積の平均は平均の積)

② )()()( YVXVYXV (和の分散は分散の和)

(1) ①については,前述のサイコロ投げで理解すれば十分である。ただし,参考の意味で,以

下に証明を記しておく。②は,①から容易に導くことができる(後述)。

)()()( YEXEYXE

X Y XY

1

2

統計学 補足文書

9

(2) なお,一般に, a と b を定数とするとき,

)()( XEaXaE , )()( 2 XVaXaV

が成立した。とくに, 1a のとき,

)()( XEXE , )()()1()( 2 XVXVXV

となることに注意しよう。

また, X とY が独立であれば, Xa と Yb も独立になるので,

)()()()()( 22 XVbXVaYbVXaVYbXaV

)()()()()( 22 XVbXVaYbVXaVYbXaV

よって,上記定理をさらに一般化すれば,次のようになる。

● 定理

2 つの確率変数 YX , が独立ならば,次が成り立つ。( a と b は任意の定数)

① )()()( YEXEbaYbXaE

② )()()()( 22 YVbXVaYbXaVYbXaV

(参考)

は次の等式から証明されるが,まず,一般論を説明する。

ji

jiji yYxXPyxYXE,

),()(

試行T の標本空間が,排反な n 個の事象 iA で分割されているとする。この意味は,

nAAA 21 ( ji なら ji AA )

確率変数 X について,の要素(標本点) に対して定まる X の値を )(X で表す。

いま,X が各事象 iA において, iA のどの標本点 に対しても一定の値をとると仮定し,こ

の一定の値を ix で表す。

iA のどの標本点 に対しても, ixX )(

このとき, X の平均 )( XE は,次のようになる。

(※)

n

iii APxXE

1

)()(

なぜなら, ii aAn )( , Nn )( とすると, iA の要素の個数は ia であるから, iA の

標本点から定まる X の実現値 ix の個数も ia である。従って, X のすべての実現値の合計は

n

iii ax

1

一方, )( XE は, X のすべての実現値の平均であるから

)()()( YEXEYXE

統計学 補足文書

10

n

iii

n

i

i

i

n

iii APx

N

axax

NXE

111

)(1

)(

よって,(※)が成立する。

さて, YX , の確率分布が次のとおりであるとする。 mxxx ,,, 21 は異なる値,

nyyy ,,, 21 も異なる値である。

X 1x 2x … mx 計 Y 1y 2y … ny 計

P 1p 2p … mp 1 P 1q 2q … nq 1

ixX となる事象を iA , jyY となる事象を jB とする。すなわち

})(|{ ii xXA , })(|{ jj yYB

このとき, mxxx ,,, 21 は異なるので,は排反なm 個の事象 iA で分割される。 jB に

いても同様である。従って,は,排反な nm 個の事象 ji BA で分割される。

一方, ji BA のどの標本点 に対しても, YX は一定の値 ji yx をとるので,(※)より,

ji

jijiji

jiji yYxXPyxBAPyxYXE,,

),()()(

以上の議論は, YX , が独立でなくても成立する。

jiji pyYxXP ),( とおく。 YX , が独立とすると,

)()(),( jiji yYPxXPyYxXP

であるから, jiji qpp が常に成立する。

従って,

m

i

n

jjiji

jijiji qpyxpyxYXE

1 1,

)()()(

m

iii

n

jjj

m

i

n

jjjii pxqyqypx

111 1

)()()()( YEXEXEYE

よって,証明されたが,二重のシグマΣΣがわかりにくければ,Σを使わずに,次のように

確認してもよい。

3m , 2n の場合を確認すると,

3

1

2

1,

)()()(i j

jijiji

jiji qpyxqpyxYXE

)()( 2222121221211111 qpyxqpyxqpyxqpyx

)( 23231313 qpyxqpyx

統計学 補足文書

11

)()( 221122221111 qyqypxqyqypx

)( 221133 qyqypx

)()( 2211332211 qyqypxpxpx

)()( YEXE

なお,(※)より, YX でなくても, YX , の任意の関数 ),( YX について, YX , の独

立性とは無関係に,次の等式が成立する。

ji

jiji yYxXPyxYXE,

),(),()),((

6. V ( X + Y ) = V ( X ) + V ( Y ) の証明

確率変数 X とY が独立ならば, )()()( YEXEYXE が成立するので,

)()(2)2( YEXEYXE

この等式から, )()()( YVXVYXV が容易に導かれる。

22 )())(()( YXEYXEYXV (分散の公式)

222 })()({)2( YEXEYYXXE

})()()(2)({)()2()( 2222 YEYEXEXEYEYXEXE

2222 )()()()( YEYEXEXE

)()( YVXV

7. n個の独立な確率変数

● 定理( n 個の確率変数の和の平均・分散)

n 個の確率変数 nXXX ,,, 21 が独立ならば,以下が成り立つ。(各 ia は任意の定数)

① )()()()( 2121 nn XEXEXEXXXE

② )()()()( 2121 nn XVXVXVXXXV

(1) 前述したように, nXXX ,,, 21 が独立であるとは,これらの変数が互いに無関係な変

数であると直感的に理解してよい。

■ 例

1 個のサイコロを 回投げるという試行を考える。このとき, i 回目に出た目の数を で表

せば, は独立である。

(解説)

)( 2211 nn XaXaXaV

)()()(2

22

212

1 nn XVaXVaXVa

n iX

nXXX ,,, 21

統計学 補足文書

12

回のサイコロ投げは独立試行なので,各回の試行結果は互いに影響を与えない。従って,

が独立であることは,独立の条件をチェックしなくても自明である。

あえて確認すれば,何回目であっても, の確率分布は次のようになる。

iX 1 2 3 4 5 6 計

P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1

}6,5,4,3,2,1{ とすれば, n 回投げるという試行の標本空間は,の n 個の直積

である。従って,標本点の個数は, n6666 である。つまり,起こりうるすべて

の場合の数は, n6 通りである。

従って,例えば,すべての回に 1 の目が出る標本点は,(1,1,……,1)のみであるから,

nnXXXP6

1)1,,1,1( 21

一方, 6/1)1( iXP ( ni ,,2,1 )であるから,

nnXPXPXP6

1

6

1

6

1

6

1)1()1()1( 211

他の場合も同様であるから, は独立になる。

n

nXXX ,,, 21

iX

nXXX ,,, 21