ニューラルネットワークからグラフィカルモデルへsmapip/2005/... ·...

確率モデルにもとづく情報処理グラフィカルモデル

グラフィカルモデルにおける推論まとめ

ニューラルネットワークからグラフィカルモデルへ

田中利幸[email protected]

京都大学大学院情報学研究科システム科学専攻

2005 年 11 月 8 日

田中利幸ニューラルネットワークからグラフィカルモデルへ

確率モデルにもとづく情報処理

応用

不確実性を含む対象のモデリングとそれにもとづく推論，意思決定

医療診断，故障診断

プランニング，制御

パターン認識，理解

ユーザモデリング

データマイニング

誤り訂正符号，移動体通信，磁気記録

応用

利点

数理の体系として確立している．

欠点

多くの場合，計算論的困難に直面．

ブレークスルー

情報処理ハードウェアの性能向上

計算論的困難を回避できる状況についての理解

⇒ 欠点の克服，広範な応用．

利点

欠点

利点

欠点

利点

欠点

利点

欠点

基本的なコンセプト

グラフィカルモデル

ベイジアンネットワーク

グラフィカルモデル

. . . て何?ニューラルネットワークとの関係

グラフィカルモデルとは

A 転移性腫瘍

B高カルシウム血症 C 脳腫瘍

D昏睡 E 激しい頭痛

ラフな定義

確率分布をグラフによって表現したもの．

確率変数をノードで表現．

確率変数間の確率的依存関係，相関関係をエッジで表現．

A 転移性腫瘍

そのココロ

命題論理 (「A ならば B」) の確率化．

「局所的」な特徴づけによる対象全体の記述．

⇒ ニューラルネットワークとの類比．

A 転移性腫瘍

そのココロ

A 転移性腫瘍

そのココロ

ニューラルネットワーク

目標

並列・分散型の情報処理原理の探究

アプローチ

単純な情報処理要素を多数，互いに接続させてつくられるシステムで，いかに複雑な情報処理が可能となるかを調べる．

形式ニューロン

「相互接続のありようが機能を担う (“connectionism”)」

目標

アプローチ

目標

アプローチ

u =∑

k wkxkf

y = f (u)

グラフィカルモデルの構成要素

p(·|x)y ∼ p(·|x)

G. E. Hinton & T. J. Sejnowski, Proc. IEEE Conf. CVPR, 1983.

ここまでのまとめ

グラフィカルモデル: 確率分布をグラフによって表現．

ニューラルネットワークの一般化とも見なせる．

ここまでのまとめ

グラフィカルモデル: 確率分布をグラフによって表現．

ニューラルネットワークの一般化とも見なせる．

隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論

グラフィカルモデルにおける推論

A 転移性腫瘍

推論

いくつかの確率変数について，観測によって値が得られる．⇒「隠れた」変数について何が言えるか?

一般には計算論的困難を伴う．

困難が回避できる場合がある．

基本的な例: 隠れマルコフモデル

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

A 転移性腫瘍

推論

隠れマルコフモデル

グラフ表現

� � �

• 初期確率 p(x1)• 遷移確率 p(xl+1|xl) (l = 1, 2, . . . , n − 1)• 出力確率 p(yl |xl) (l = 1, 2, . . . , n)

⎫⎬⎭ → given

周辺事後確率

p(xk |y) = · · · ?

隠れマルコフモデル

グラフ表現

� � �

• 初期確率 p(x1)• 遷移確率 p(xl+1|xl) (l = 1, 2, . . . , n − 1)• 出力確率 p(yl |xl) (l = 1, 2, . . . , n)

⎫⎬⎭ → given

周辺事後確率

p(xk |y) = · · · ?

事前確率

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xn|xn−1)

= p(x1)n−1∏l=1

p(xl+1|xl)

出力確率

p(y|x) =n∏

p(yl |xl)

事後確率，周辺事後確率

p(x|y) =p(y|x)p(x)∑x′ p(y|x′)p(x′)

, p(xk |y) =∑x\xk

p(x|y)

事前確率

= p(x1)n−1∏l=1

p(xl+1|xl)

出力確率

p(y|x) =n∏

p(yl |xl)

, p(xk |y) =∑x\xk

p(x|y)

事前確率

= p(x1)n−1∏l=1

p(xl+1|xl)

出力確率

p(y|x) =n∏

p(yl |xl)

, p(xk |y) =∑x\xk

p(x|y)

事前確率

= p(x1)n−1∏l=1

p(xl+1|xl)

出力確率

p(y|x) =n∏

p(yl |xl)

, p(xk |y) =∑x\xk

p(x|y)

周辺事後確率の計算

記号の準備

[xi ]ml ≡ (xl , xl+1, . . . , xm)

x ≡ [xl ]n1, y ≡ [yl ]

plij ≡ p(xl+1 = j |xl = i)

fl(y |x) ≡ p(yl = y |xl = x)

⇒ 結合確率は以下のように略記できる．

p(x, y) = p(x1)n−1∏l=1

[p(xl+1|xl )p(yl |xl)

]p(yn|xn)

n−1∏l=1

[plxl xl+1

fl(yl |xl)]fn(yn|xn)

記号の準備

[xi ]ml ≡ (xl , xl+1, . . . , xm)

x ≡ [xl ]n1, y ≡ [yl ]

plij ≡ p(xl+1 = j |xl = i)

fl(y |x) ≡ p(yl = y |xl = x)

⇒ 結合確率は以下のように略記できる．

p(x, y) = p(x1)n−1∏l=1

[p(xl+1|xl )p(yl |xl)

]p(yn|xn)

n−1∏l=1

[plxl xl+1

p(xk , y) =∑

[xl ]k−11

∑[xl ]

n−1∏l=1

[plxl xl+1

= p([yl ]k−11 , xk)p([yl ]

nk |xk)

p([yl ]k−11 , xk) ≡

∑[xl ]

k−11

k−1∏l=1

[plxl xl+1

fl(yl |xl )]

p([yl ]nk |xk) ≡

∑[xl ]

n−1∏l=k

[plxl xl+1

fl(yl |xl )]fn(yn|xn)

p(xk |y) =p(xk , y)

p([yl ]k−11 , xk)p([yl ]

nk |xk)∑

s p([yl ]k−11 , xk = s)p([yl ]

nk |xk = s)

p(xk , y) =∑

[xl ]k−11

∑[xl ]

n−1∏l=1

[plxl xl+1

= p([yl ]k−11 , xk)p([yl ]

nk |xk)

p([yl ]k−11 , xk) ≡

∑[xl ]

k−11

k−1∏l=1

[plxl xl+1

fl(yl |xl )]

p([yl ]nk |xk) ≡

∑[xl ]

n−1∏l=k

[plxl xl+1

fl(yl |xl )]fn(yn|xn)

p(xk |y) =p(xk , y)

p([yl ]k−11 , xk)p([yl ]

nk |xk)∑

s p([yl ]k−11 , xk = s)p([yl ]

nk |xk = s)

定義αk(x) ≡ p([yl ]

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

p(xl+1|xl)p(yl |xl )

βk(x) ≡ p([yl ]nk |xk = x)

[xl ]nk+1

n−1∏l=k

[p(xl+1|xl)p(yl |xl )

]p(yn|xn)

(k = 1, . . . , n)

⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)

αk(x), βk(x)がわかれば周辺事後確率の計算は容易

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

k−11 , xk = x)

[xl ]k−11

p(x1)k−1∏l=1

[xl ]nk+1

n−1∏l=k

]p(yn|xn)

(k = 1, . . . , n)

Forward-backwardアルゴリズム

� � �

αk(x) ⇒ ⇐ βk(x)

αk(x) は右向きにβk(x) は左向きに

}それぞれ再帰的に計算が可能

少ない計算量で周辺事後確率が求められる

� � �

}それぞれ再帰的に計算が可能

少ない計算量で周辺事後確率が求められる

{αk(x)} に関する漸化式

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

αk−1(s)pk−1sx fk−1(yk−1|s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

αk(x) =∑

p([yl ]k−11 , xk = x , xk−1 = s)

p([yl ]k−21 , xk−1 = s)

× p(xk = x |xk−1 = s)

× p(yk−1|xk−1 = s)

α1(x) = p(x1 = x)

{βk(x)} に関する漸化式

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

βk(x) =∑

p([yl ]nk , xk+1 = s|xk = x)

p([yl ]k+1|xk+1 = s)

× p(xk+1 = s|xk = x)p(yk |xk = x)

= fk(yk |x)∑

βk+1(s)pkxs

βn(x) = 1

� � �

}それぞれ再帰的に計算する

小まとめ

forward-backward アルゴリズム

{αk(x)}, {βk(x)} を効率的に求める再帰的アルゴリズム．x に関する推定の問題は {αk(x)}, {βk(x)}が既知であれば容易に解ける．

ループのない一般のグラフィカルモデルに容易に拡張可能．

⇒ 確率伝搬法

小まとめ

⇒ 確率伝搬法

小まとめ

⇒ 確率伝搬法

小まとめ

⇒ 確率伝搬法

確率伝搬法

アルゴリズムの特徴

グラフがループを含まない場合は，推論に必要な諸量は，グラフ構造を利用した再帰的計算によって効率よく求められる．

グラフがループを含む場合には . . . ?

確率伝搬法

アルゴリズムの特徴

グラフがループを含まない場合は，推論に必要な諸量は，グラフ構造を利用した再帰的計算によって効率よく求められる．

グラフがループを含む場合には . . . ?

ループがある場合の推論

ループを含むグラフィカルモデル

確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない．対処:

クラスタリング (いくつかの確率変数をひとつにまとめる)

コンディショニング (グラフをループのない部分グラフへ分割)

モンテカルロ法

「えいやっ」と適用してしまう．

⇒ 不思議とうまくいく場合がある．

どういう場合に，なぜうまくいくのか?

情報理論

ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)

それまでの誤り訂正符号の性能をはるかに凌ぐ高性能．

ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)

低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)

ターボ符号をさらに上回る高性能．

30 年以上を経て再発見． (MacKay & Neal, 1995)

sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)

確率伝搬法 (ループあり) に注目が集まる．

情報理論

情報統計力学

ベーテ近似

統計力学ではよく知られている平均場近似の一種．

ベーテ近似にもとづく LDPC 復号アルゴリズム = 確率伝搬法 (ループあり) (Kabashima & Saad, 1998)

ベーテ近似 = 確率伝搬法 (ループあり) / クラスター変分法にもとづく一般化確率伝搬法の提案 (Yedidia, Freeman, &

Weiss, 2001)

統計力学との分野複合的な視点からの研究も盛んに．

情報統計力学

ベーテ近似

Weiss, 2001)

情報統計力学

ベーテ近似

Weiss, 2001)

情報統計力学

ベーテ近似

Weiss, 2001)

情報幾何学

近似推論の幾何学

ナイーブな平均場近似 (Tanaka, 1996)

高次の近似理論，線形応答 (Tanaka, 1998)

確率伝搬法の情報幾何 (Ikeda, Tanaka, & Amari, 2004)

情報幾何学

近似推論の幾何学

ナイーブな平均場近似 (Tanaka, 1996)

高次の近似理論，線形応答 (Tanaka, 1998)

確率伝搬法の情報幾何 (Ikeda, Tanaka, & Amari, 2004)

まとめ

多様な分野での広範な応用

鍵となるコンセプト: グラフィカルモデル (ニューラルネットワークの一般化)

重要な研究課題: 確率伝搬法 (ループあり) の理解情報理論情報統計力学情報幾何学. . .

まとめ

文献

田中，「人工知能と確率推論」，数理科学，2004 年 3 月号．

本村，「ベイジアンネットによる確率的推論技術」，計測と制御，42 巻，8 号，2003 年．

ニューラルネットワークからグラフィカルモデルへsmapip/2005/... ·...

Documents

Transcript of ニューラルネットワークからグラフィカルモデルへsmapip/2005/... ·...

ニューラルネットワークから グラフィカルモデルへsmapip/2005/... ·...

Documents

Transcript of ニューラルネットワークから グラフィカルモデルへsmapip/2005/... ·...

ニューラルネットワークからグラフィカルモデルへsmapip/2005/... ·...

Transcript of ニューラルネットワークからグラフィカルモデルへsmapip/2005/... ·...