Toulminモデルのベイジアンネットワーク表現 を用 …Toulminモデルのベイジアンネットワーク表現 を用いた論証推敲支援システム - 手法概要
鈴木譲「ベイジアンネットワーク入門」 培風館 4. 確率的推論 4.1...
Transcript of 鈴木譲「ベイジアンネットワーク入門」 培風館 4. 確率的推論 4.1...
.
.
. ..
.
.
鈴木譲「ベイジアンネットワーク入門」(培風館)4. 確率的推論
4.1 確率分布の計算
鈴木譲
大阪大学
2010年 7月 29日 (木) (1)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 1 / 36
あらまし
あらまし
.
. .
1 確率的推論
.
. .
2 因子グラフ
.
. .
3 ビリーフ プロパゲーション
.
. .
4 最大事後確率設定
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 2 / 36
確率的推論
確率的推論
Xi (Ω) < ∞, i ∈ N := 1, · · · , NPX1···XN
(x1, · · · , xN): x1 ∈ X1(Ω), · · · , xN ∈ XN(Ω)の確率
.
確率的推論
.
.
.
. ..
.
.
PXi(xi ) :=
∑x1,··· ,xi−1,xi+1,··· ,xN
PX1···XN(x1, · · · , xN) (1)
を計算 (N とともに指数的な計算が必要)
確率変数 2個以上でも同様:
PXiXj(xi , xj) :=
∑x1,··· ,xi−1,xi+1,··· ,xj−1,xj+1,··· ,xN
PX1···XN(x1, · · · , xN)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 3 / 36
確率的推論
例 4.1: 銃による殺人事件で 3人が容疑
X1(Ω) = X2(Ω) = 1, 2, 3X0: 裁判所での証言X1: 犯人が誰であったかX2: 指紋が誰のものであったかX3で指紋の調査結果
PX2|X1(·|·) :=
PX2|X1(1|1) PX2|X1
(2|1) PX2|X1(3|1)
PX2|X1(1|2) PX2|X1
(2|2) PX2|X1(3|2)
PX2|X1(1|3) PX2|X1
(2|3) PX2|X1(3|3)
=
q11 q12 q13
q21 q22 q23
q31 q32 q33
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3- - -
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 4 / 36
確率的推論
例 4.1: 証言 X0 = e0が得られると
PX1|X0(·|e0) := [PX1|X0
(1|e0),PX1|X0(2|e0), PX1|X0
(3|e0)] = [p1, p2, p3]
PX2|X0(·|e0) ∝ PX1|X0
(·|e0) × PX2|X1(·|·)
= [p1, p2, p3]
q11 q12 q13
q21 q22 q23
q31 q32 q33
=
[ 3∑i=1
piqi1,
3∑i=1
piqi2,
3∑i=1
piqi3
]
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3- - -
X0 = e0
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 5 / 36
確率的推論
例 4.1: 指紋調査の結果が届く前
PX3|X2(e3|·) := [PX3|X2
(e3|1), PX3|X2(e3|2), PX3|X2
(e3|3)] ∝ [1, 1, 1]
PX2|X0,X3(·|e0, e3) ∝ PX2|X0
(·|e0) × PX3|X2(e3|·)
=
[ 3∑i=1
piqi1 × 1,
3∑i=1
piqi2 × 1,
3∑i=1
piqi3 × 1
]
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3- - -
X0 = e0 X3 = e3
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 6 / 36
確率的推論
例 4.1: 指紋調査の結果が届くと
PX3|X2(e3|·) ∝ [r1, r2, r3]
PX2|X0X3(·|e0, e3) ∝ PX2|X0
(·|e0) × PX3|X2(e3|·)
=
[ 3∑i=1
piqi1 × r1,3∑
i=1
piqi2 × r2,3∑
i=1
piqi3 × r3
]
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3- - -
X0 = e0 X3 = e3
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 7 / 36
確率的推論
例 4.1: 指紋調査の結果が届くと (続)
PX3|X1(e3|·) ∝
q11 q12 q13
q21 q22 q23
q31 q32 q33
r1r2r3
=
∑3
j=1 q1j rj∑3j=1 q2j rj∑3j=1 q3j rj
PX1|X0X3(·|e0, e3) ∝ PX3|X1
(e3|·) × PX1|X0(·|e0)
=
[ 3∑j=1
q1j rj × p1,
3∑j=1
q2j rj × p2,
3∑j=1
q3j rj × p3
],
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 8 / 36
確率的推論
例 4.1: 容疑者 1に強いアリバイがあることわかると
PX1|X0(·|e0) = [p1, p2, p3] → PX1|X0
(·|e0) = [p′1, p
′2, p
′3]
PX2|X0(·|e0) = [p′
1, p′2, p
′3]
q11 q12 q13
q21 q22 q23
q31 q32 q33
=
[ 3∑i=1
p′iqi1,
3∑i=1
p′iqi2,
3∑i=1
p′iqi3
]
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3- - -
X0 = e0 X3 = e3
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 9 / 36
確率的推論
例 4.1: 容疑者 1に強いアリバイがあることわかると (続)
PX1|X0X3(·|e0, e3) ∝ PX1|X0
(·|e0) × PX3|X1(e3|·)
=
[p′1 ×
3∑j=1
q1j rj , p′2 ×
3∑j=1
q2j rj , p′3 ×
3∑j=1
q3j rj
],
PX2|X0X3(·|e0, e3) ∝ PX2|X0
(·|e0) × PX3|X2(e3|·)
=
[ 3∑i=1
p′iqi1 × r1,
3∑i=1
p′iqi2 × r2,
3∑i=1
p′iqi3 × r3
]
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 10 / 36
確率的推論
例 4.2: (1) 別の指紋研究所での調査結果 X4 = e4
PX4|X2(e4|·) := [PX4|X2
(e4|1), PX4|X2(e4|2), PX4|X2
(e4|3)] ∝ [s1, s2, s3]
PX3X4|X2(e3, e4|·) := [P(e3, e4|1), P(e3, e4|2), P(e3, e4|3)] ∝ [r1s1, r2s2, r3s3]
PX2|X0X3X4(·|e0, e3, e4)
∝[ 3∑
i=1
p′iqi1 × r1s1,
3∑i=1
p′iqi2 × r2s2,
3∑i=1
p′iqi3 × r3s3
]
(a)
µ´¶³X0 µ´¶³
X1 µ´¶³X2
µ´¶³X3
µ´¶³X4
- - ³³³³³³1
PPPPPPqX0 = e0
X3 = e3
X4 = e4
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 11 / 36
確率的推論
例 4.2: (2) 容疑者 2が「指紋は私のものです」と主張して、X5 = e5
PX5|X2(e5|·) := [PX5|X2
(e5|1), PX5|X2(e5|2), PX5|X2
(e5|3)] ∝ [0, 1, 0]
PX3X4X5|X2(e3, e4, e5|·) ∝ [r1s1 × 0, r2s2 × 1, r3s3 × 0]
PX3X4X5|X2(e3, e4, e5|·) = [0, 1, 0]
(b)
µ´¶³X0 µ´¶³
X1 µ´¶³X2
µ´¶³X3
µ´¶³X4
µ´¶³X5
- - ©©©©©©*
HHHHHHj
-
X0 = e0
X3 = e3
X4 = e4
X5 = e5
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 12 / 36
確率的推論
例 4.2: (3) 容疑者 1のアリバイ X6 = e6という証拠
PX6|X1(e6|·) := [PX6|X1
(e6|1), PX6|X1(e6|2), PX6|X1
(e6|3)] ∝ [t1, t2, t3]
(c)
µ´¶³X0 µ´¶³
X1 µ´¶³X2 µ´¶³
X3
µ´¶³X6
?X6 = e6
- - -
X0 = e0
X3 = e3
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 13 / 36
確率的推論
例 4.2: (3) 容疑者 1のアリバイ X6 = e6という証拠 (続)
PX3X6|X1(e3, e6|·) ∝ PX3|X1
(e3|·) × PX6|X1(e6|·)
=
[ 3∑j=1
q1j rj × t1,3∑
j=1
q2j rj × t2,3∑
j=1
q3j rj × t3
]
PX1|X0X3X6(·|e0, e3, e6)
∝ PX1|X0(·|e0) × PX3X6|X1
(e3, e6|·)
=
[ 3∑j=1
t1q1j rj × p′1,
3∑j=1
t2q2j rj × p′2,
3∑j=1
t3q3j rj × p′3
]
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 14 / 36
因子グラフ
因子グラフ
M: 有限集合N (a) ⊆ N , a ∈ M
PX1···XN(x1, · · · , xN) =
1
Z
∏a∈M
fa(xi , i ∈ N (a)), (2)
Z :=∑
xi ,i∈N
∏a∈M
fa(xi , i ∈ N (a))
変数頂点 N = 1, · · · , Nの要素因子頂点 Mの要素
辺 (i , a) | i ∈ N (a), a ∈ Mの要素
i ∈ N と辺で結ばれた因子頂点の集合をM(i) ⊆ Mであらわすと、
(i , a) | i ∈ N (a), a ∈ M = (i , a) | i ∈ N , a ∈ M(i)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 15 / 36
因子グラフ
因子グラフ (続)
(2)を、変数頂点、因子頂点、およびそれらを結ぶ辺で表す
(a)
AAA
¢¢¢
AAA
¢¢¢
A B C
m1 m2(b)
AAA
¢¢¢
AAA
¢¢¢
A B C D E©©©©©
³³³³³³³³m1 m2(c)
AAA
¢¢¢
AAA
¢¢¢
A B F
m1 m2(d)
m1 G m2
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 16 / 36
因子グラフ
因子グラフの例
(a)
PX0X1X2X3(e0, x1, x2, e3)
= PX0(e0)PX1|X0(x1|e0)PX2|X3
(x2|x3)PX3|X2(e3|x2)
= fA(x1)fB(x1, x2)fC (x2) (3)
N = 1, 2, M = A, B,C, N (A) = 1, N (B) = 1, 2,N (C ) = 1, 2(b)
PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5)
= PX0(e0)PX1|X0(x1|e0)PX2|X3
(x2|x3)PX3|X2(e3|x2)
· PX4|X2(e4|x2)PX5|X2
(e5|x2)
= fA(x1)fB(x1, x2)fC (x2)fD(x2)fE (x2) (4)
N = 1, 2,M = A, B, C , D, E,N (A) = 1,N (B) = 1, 2,N (C ) = N (D) = N (E ) = 2
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 17 / 36
因子グラフ
因子グラフの例 (続)
(4)で fF (x2) := fC (x2)fD(x2)fE (x2)とおくと、
PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5) = fA(x1)fB(x1, x2)fF (x2)
fG (x1, x2) := fA(x1)fB(x1, x2)fF (x2)とおくと、
PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5) = fG (x1, x2)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 18 / 36
因子グラフ
巡回経路
.
巡回経路
.
.
.
. ..
.
.
異なる 2因子頂点を結ぶ辺の列が 2個以上存在
PX1(x1)PX2|X1(x2|x1)PX3|X2
(x3|x2) = fA(x1)fB(x1, x2)fC (x2, x3)
PX1(x1)PX2|X1(x2|x1)PX3|X1,X2
(x3|x1, x2) = fA(x1)fB(x1, x2)fC (x1, x2, x3)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 19 / 36
ビリーフ プロパゲーション
アルゴリズム 4.1
i ∈ N , a ∈ Mni→a, ma→i : Xi から非負実数への写像
ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi
ni→a(xi ) :=∏
c∈M(i)\a
mc→i (xi ), (5)
ma→i (xi ) :=∑
xa,i∈Xa,i
fa(xa)∏
j∈N (a)\i
nj→a(xj) (6)
Xa,i : xj , j ∈ N (a)\iのとり得る値
.
アルゴリズム 4.1
.
.
.
. ..
.
.
ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi とおき、各 (i , a) ∈ N ×Mに対して,毎回同時に (5), (6)を適用して,ni→a(xi ), ma→i (xi )を更新
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 20 / 36
ビリーフ プロパゲーション
アルゴリズム 4.1 (続)
(5)より、ma→i (xi )だけで (5),(6)を更新してもよい:
ma→i (xi ) :=∑
xa,i∈Xa,i
fa(xa)∏
j∈N (a)\i
∏c∈M(j)\a
mc→j(xj) (7)
.
メッセージ
.
.
.
. ..
.
.
ni→a(xi ), ma→i (xi ), xi ∈ Xi
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 21 / 36
ビリーフ プロパゲーション
定理 4.1
.
定理 4.1
.
.
.
. ..
.
.
因子グラフが巡回経路を含まないとき、アルゴリズム 1において (5), (6)の有限回の適用で ni→a(xi ), ma→i (xi )が一定値に収束
その収束値について、
bi (xi ) ∝∏
a∈N(i)
ma→i (xi ), (8)
∑xi∈Xi
bi (xi ) = 1 (9)
を満足する bi (xi )は,PXi(xi )に等しい。
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 22 / 36
ビリーフ プロパゲーション
定理 4.1 (続)
ba(xa) ∝ fa(xa)∏
i∈N(a)
ni→a(xi ), (10)
∑xa∈Xa
ba(xa) = 1 (11)
を満足する ba(xa)は,PXa(xa) := PXj ,j∈N (a) (xj , j ∈ N (a))に等しい。∑xa,i∈Xa,i
ba(xa) = bi (xi ) (12)
.
ビリーフ
.
.
.
. ..
.
.
bi (xi )i∈N , ba(xa)a∈M
ビリーフの値が更新されることをビリーフプロパゲーションという
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 23 / 36
ビリーフ プロパゲーション
例 4.5
例 4.1でfA(x1) := PX0(e0)PX1|X0
(x1|e0)fB(x1, x2) := PX2|X1
(x2|x1)fC (x2) := PX3|X2
(e3|x2)
(a) A
mA→1
n1→A
-¾ ¹¸
º·1
n1→B
mB→1
-¾
B
mB→2
n2→B
-¾ ¹¸
º·2
n2→C
mC→2
-¾
C
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 24 / 36
ビリーフ プロパゲーション
例 4.5 (続)
n2→B(x2) = mC→2(x2),
n1→A(x1) = mB→1(x1),
n1→B(x1) = mA→1(x1),
n2→C (x2) = mB→2(x2),
mA→1(x1) = fA(x1) = PX0(e0)PX1|X0(x1|e0),
mB→2(x2) =∑x1
fB(x1, x2)n1→B(x1) =∑x1
fB(x1, x2)mA→1(x1)
=∑x1
PX0(e0)PX1|X0(x1|e0)PX2|X1
(x2|x1),
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 25 / 36
ビリーフ プロパゲーション
例 4.5 (続)
mC→2(x2) = fC (x2) = PX3|X2(e3|x2),
mB→1(x1) =∑x2
fB(x1, x2)n2→B(x2) =∑x2
fB(x1, x2)mC→2(x1)
=∑x2
PX2|X1(x2|x1)PX3|X2
(e3|x2),
b1(x1) ∝ mA→1(x1)mB→1(x1)
= PX0(e0)PX1|X0(x1|e0)
∑x2
PX2|X1(x2|x1)PX3|X2
(e3|x2)
b2(x2) ∝ mB→2(x2)mC→2(x2)
=∑x1
PX0(e0)PX1|X0(x1|e0)PX2|X1
(x2|x1)PX3|X2(e3|x2)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 26 / 36
ビリーフ プロパゲーション
例 4.5 (続)
bA(xA) ∝ fA(x1)n1→A(x1)
= PX0(e0)PX1|X0(x1|e0)
∑x2
PX2|X1(x2|x1)PX3|X2
(e3|x2),
bB(xB) ∝ fB(x1, x2)n1→B(x1)n2→B(x2)
= PX0(e0)PX1|X0(x1|e0)PX2|X1
(x2|x1)PX3|X2(e3|x2),
bC (xC ) ∝ fC (x2)n2→C (x2)
=∑x1
PX0(e0)PX1|X0(x1|e0)PX2|X1
(x2|x1)PX3|X2(e3|x2).
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 27 / 36
ビリーフ プロパゲーション
例 4.5 (続)
例 4.2fD(x2) = PX4|X2
(e4|x2), fE (x2) = PX5|X2(e5|x2)
(b)
A
mA→1
n1→A
-¾ ¹¸
º·1
n1→B
mB→1
-¾
B
mB→2
n2→B
-¾ ¹¸
º·2
n2→C
mC→2
-¾
C
D
E
?6
6?
mD→2n2→D
mE→2n2→E
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 28 / 36
ビリーフ プロパゲーション
例 4.5 (続)
mD→2(x2) = fD(x2) = PX4|X2(e4|x2),
mE→2(x2) = fE (x2) = PX5|X2(e5|x2),
n2→B(x2) = mC→2(x2)mD→2(x2)mE→2(x2)
= PX3|X2(e3|x2)PX4|X2
(e4|x2)PX5|X2(e5|x2),
n2→C (x2) = mB→2(x2)mD→2(x2)mE→2(x2),
n2→D(x2) = mB→2(x2)mC→2(x2)mE→2(x2),
n2→E (x2) = mB→2(x2)mC→2(x2)mD→2(x2),
b2(x2) ∝ mB→2(x2)mC→2(x2)mD→2(x2)mE→2(x2)
=∑x1
PX0(e0)PX1|X0(x1|e0)PX2|X1
(x2|x1)
· PX3|X2(e3|x2)PX4|X2
(e4|x2)PX5|X2(e5|x2)
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 29 / 36
ビリーフ プロパゲーション
アルゴリズム 4.2
定理 4.1は,アルゴリズム 4.2でも成立する:ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi
.
アルゴリズム 4.2
.
.
.
. ..
.
.
(i , a) ∈ N ×Mに対して事前に更新する順序を決めておく。1回に 1つの(i , a)について (5), (6)を適用して,ni→a(xi ), ma→i (xi )を更新
.
定理 4.2
.
.
.
. ..
.
.
因子グラフが巡回経路を含まないとき、アルゴリズム 2において (5), (6)の有限回の適用で ni→a(xi ), ma→i (xi )が一定値に収束
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 30 / 36
ビリーフ プロパゲーション
巡回経路を含むとき、定理 4.2は成立しない
収束しない
収束しても,ba = PXa , bi = PXiなどが成立しない
例: fD を定数として、
PX1X2X3(x1, x2, x3) = fA(x1, x2)fB(x1, x3)fC (x2, x3)fD ,
fA(x1, x2) =
(1 − ϵ)/2, x1 = x2
ϵ/2, x1 = x2,
fB(x1, x3) =
(1 − ϵ)/2, x1 = x3
ϵ, x1 = x3,
fC (x2, x3) =
ϵ/2, x2 = x3
(1 − ϵ)/2, x2 = x3
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 31 / 36
ビリーフ プロパゲーション
巡回経路を含むとき、定理 4.1, 4.2は成立しない (続)
bA(x1, x2) = PX1X2(x1, x2)
bB(x1, x3) = PX1X3(x1, x3)
bC (x2, x3) = PX2X3(x2, x3)
が同時に成立しない。
±°²¯2 C ±°²¯
3
±°²¯1
A B
¢¢
¢¢¢
AA
AAA
D
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 32 / 36
ビリーフ プロパゲーション
巡回経路を含むとき、定理 4.1, 4.2は成立しない (続)
mA→1(x1) = mB→1(x1) = 1, mA→2(x2) = mC→2(x2) = 1,mB→3(x3) = mC→3(x3) = 1, x1 ∈ X1, x2 ∈ X2, x3 ∈ X3
mA→1(x1) =∑
x2∈X2
fA(x1, x2)mC→2(x2) = 1
となり、すべての a = A, B, C , i = 1, 2, 3でma→i (xi )の値が変更される
ことなく,bi (xi ) =1
2, i = 1, 2, 3に収束
bA(x1, x2) = PX1X2(x1, x2)
bB(x1, x3) = PX1X3(x1, x3)
bC (x2, x3) = PX2X3(x2, x3)
が同時に成立しない。
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 33 / 36
ビリーフ プロパゲーション
巡回経路を含むとき、定理 4.1,4.2は成立しない (続)
bA(x1, x2) = fA(x1, x2)mB→1(x1)mC→2 = fA(x1, x2), (14)
bB(x1, x3) = fB(x1, x3)mA→1(x1)mC→3 = fB(x1, x3), (15)
bC (x2, x3) = fC (x2, x3)mA→2(x2)mB→3 = fC (x2, x3) (16)
PX1X2X3(0, 1, 0) + PX1X2X3(0, 1, 1) = ϵ/2,PX1X2X3(1, 0, 0) + PX1X2X3(1, 0, 1) = ϵ/2,
PX1X2X3(0, 0, 1) + PX1X2X3(0, 1, 1) = ϵ/2,PX1X2X3(1, 0, 0) + PX1X2X3(1, 1, 0) = ϵ/2,
PX1X2X3(0, 0, 0) + PX1X2X3(1, 0, 0) = ϵ/2,PX1X2X3(0, 1, 1) + PX1X2X3(1, 1, 1) = ϵ/2
特に ϵ < 1/3のとき、 ∑x1∈X1,x2∈X2,x3∈X3
PX1X2X3(x1, x2, x3) < 1
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 34 / 36
最大事後確率設定
最大事後確率設定
.
最大事後確率設定
.
.
.
. ..
.
.
PX1···XN(x1, · · · , xN) := max
x1,··· ,xN
PX1···XN(x1, · · · , xN)
を最大にする x1 ∈ X1, · · · , xN ∈ XN を見いだす
n′i→a(xi ) := 1, m′a→i (xi ) := 1, xi ∈ Xi
n′i→a(xi ) :=∏
c∈M(i)\a
m′c→i (xi ), (17)
m′a→i (xi ) := max
xa,i∈Xa,i
fa(xa)∏
j∈N (a)\i
n′j→a(xj) (18)
.
アルゴリズム 4.3
.
.
.
. ..
.
.
n′i→a(xi ) := 1, m′a→i (xi ) := 1, xi ∈ Xi とおき、(i , a) ∈ N ×Mに対して,
毎回同時に (17), (18)を適用して,n′i→a(xi ), m′a→i (xi )を更新
鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 35 / 36
最大事後確率設定
定理 4.3
.
定理 4.3
.
.
.
. ..
.
.
因子グラフが巡回経路を含まないとき,アルゴリズム 4.3で (17), (18)の有限回の適用で n′i→a(xi ), m′
a→i (xi )が一定値に収束し、
収束値について,b′i (xi ) ∝
∏a∈N(i)
m′a→i (xi ) (19)
を最大にする xi ∈ Xi は,P ′Xi
(xi ) := maxx1,··· ,xi−1,xi+1,··· ,xN
PX1···XN(x1, · · · , xN)
を最大にする xi ∈ Xi に等しく,
b′a(xa) ∝ fa(xa)
∏i∈N(a)
n′i→a(xi ) (20)
を最大にする xa ∈ Xaは,P ′Xa
(xa) := maxxj , j ∈N (a)
PX1···XN(x1, · · · , xN) を最
大にする xa ∈ Xaに等しい。鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 36 / 36