Kazuyuki Tanaka ECEI Experiment D (2013 Practices)kazu/ECEI-Experiment... · 2015-04-14 · April,...

April, 2015

電気・通信・電子・情報工学実験D

[Kazuyuki Tanaka Practice] 1

電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2015年4月)

東北大学大学院情報科学研究科

田中和之

[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/

本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2015/

http://www.smapip.is.tohoku.ac.jp/~kazu/

http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2015/




April, 2015



本講義の参考文献

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.

田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009.

田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006.

安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010.

Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002.

C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007.

M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001.

H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001.

M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008.

M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009.

K. P. Murphy: Machine Learning: A Probabilistic Perspective, MIT Press, 2012.

http://www.morikita.co.jp/books/book/2203




http://www.coronasha.co.jp/np/isbn/9784339024418/




http://www.iop.org/EJ/S/UNREG/rfH8QAYlvIZaA6IAN45ezQ/abstract/0305-4470/35/37/201







Contents

1. 序論：確率的情報処理とベイジアンネットワーク

2. 確率の基礎知識

3. 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法---

4. 確率的画像処理とベイジアンネットワーク

---マルコフ確率場と確率伝搬法--- 5. 確率推論とベイジアンネットワーク

---グラフィカルモデルと確率伝搬法---

6. まとめ

April, 2015



April, 2015



まとめ

不確実さを伴う情報処理と確率

各種確率的情報処理

データのゆらぎをてなずける画像処理フィルター・確率推論システムの設計へ

詳細はhttp://www.smapip.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/

April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

5

確率的情報処理の基礎技術課題

課題レポート提出方法：LaTeX で作成し，最終版を PDF に変換し，電子メール添付にて smapip-acstaff [at mark]

smapip.is.tohoku.ac.jp 宛に送付．

April, 2015



確率的情報処理の基礎技術課題 1

1 cosh2

exp)( x

a

axxP

確率変数 X が ±1 の２値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が

により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し，そのについての値を C 言語，Java またはMatLab を用いて計算し，グラフを書け．

11 a

April, 2015




1 ,1 cosh4

exp),( yx

a

axyyxP

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 X が状態 x をとり，かつ事象 Y が状態 y をとり，という事象 (X=x)∩(Y=y) の確率分布 P(x,y) が

により与えられるとき確率変数 X についての周辺確率

P(X) と共分散 Cov[X,Y] の表式を導出せよ．

April, 2015




yxyx ppxyP ,, 1)(1

p

pa

1ln

2

1

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Y

が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が

a

axyxyP

cosh2

exp)(

次の表式でも与えられることを示せ．

ヒント：次の等式を用いる． 1 ,1 12

1, yxxyyx

pp lnexpcosh(c) は任意の実数 c に対して偶関数

April, 2015




0

2

22

1exp

d

ガウス積分の公式を証明せよ．

1

2

0 0

22

0

222

2

1explim2

2

1

2

1explim2

2

1explim2

2

1explim

2

1exp

rR

R R

R

R

R

R

RR

rdrdd

ddd

ヒント

April, 2015




2

22 2

1exp

2

1

xxp

XE 2V X

で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフを書け．

確率変数 X が任意の実数 X をとる連続確率変数であり，その確率

密度関数が

x

April, 2015




一様分布 U(0,1) に従う乱数（一様乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場

合について書け．

rand()randmax

1x

C 言語では rand() は0,1,2,…,randmax のなかのい

ずれかの値をランダムに生成される命令である．randmax の値は rand() の出力の最大値であり，システムによって異なる場合があるので注意．

April, 2015




平均 μ，分散 σ2 のガウス分布 N(μ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け．

任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 μ，分散 σ2/n のガウス分布 N(μ,σ2/n) に従う[中心極限定理]

61221 xxx

区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる．

平均 0, 分散 1

のガウス乱数

σξ+μが平均 μ, 分散 σ2 のガウス乱数

ヒント：

April, 2015




CC det2

2

1exp 1T d

d

任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明せよ．

1

3

2

1

000

000

000

000

UUC

d

duuuU

,,, 11

行列 C の固有値 λi に対応する固有ベクトル

(i=1,2,…,d) とすると行列 C は次のように対角化される iu

ヒント：

April, 2015




xxxp

d

1T

2

1exp

det2

1C

C

d

dx

x

x

x ,2

1

により与えられるとき，その平均ベクトルが，共分散行列が C となることを示せ．

確率ベクトル変数の各成分がいずれも任意の実数

をとる連続確率変数であり，正定値の実対称行列 C に対してその確率密度関数が

X

April, 2015




非線形方程式 x=tanh(Cx) を反復法を用いて数値的に解くプログラムを作成し，C=0.5, 1.0, 2.0 に対する解を求めよ．また C=0.5, 1.0, 2.0 のそれぞれに対して y=tanh(Cx) と y=x のグラフを書き，C の値により非線形方程式 x=tanh(Cx) がどのような解を持ち，初期値 x0 により反復法がどのような解に収束

するかについて議論せよ．

23

12

01

tanh

tanh

tanh

Cxx

Cxx

Cxx



x'

x'x'xx PwP

x'x'xxxx' PwPw 詳細釣り合い

が成り立つことを示せ．

1x

xxwおよびを満たすとき


April, 2015



21

12

3

1W推移確率行列がにより与えられるとき，

その極限分布を求めよ．

但し，である．

)1(

)0(

)1(

)0(

1

1

t

t

t

t

P

PW

P

P

)1(

)0(lim

)1(

)0(

t

t

t P

P

P

P


April, 2015



yMyMyxWxMxM

ya,b,c,d,xPyxP

DCXYXBXA

a b c d

XY

22,

,,

a

AXA xaWxM ,

b

BXB xbWxM ,

c

CYC ycWyM ,

d

DYD ydWyM ,

ydWycWyxWxbWxaWya,b,c,d,xP DCXYBA ,,,,,,

確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える．

確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与えられることを示せ．


April, 2015



1151141131121

111

xMxMxMxMZ

xQ

228227226211211511411312

2112 ,1

, xMxMxMxxWxMxMxMZ

xxQ

1

115114113211212

1221 ,

x

xMxMxMxxWZ

ZxM

以下の形に与えられる２つの周辺確率分布

2

211211 ,

x

xxQxQをに代入することにより次の等式

を導出せよ．


April, 2015



iz

LLiiiiiii fFfFfFfFfFgGzF

gGfFgG

Pr

Pr,,,,,,Pr 11111

は画素 i のすべての最近接画素の集合を表す． i

ii z ij

jiji

ij

jiji

z

fz

ff

,

,

Pr

Pr

},{

},{

gGzF

gGfF

確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)

T およびその状態ベクトル変数f=(f1,f2,…,f|V|)

T および g=(g1,g2,…,g|V|)Tから定義される事後確率

に対して

ZPosterior は規格化定数，Eはすべての最隣接頂点対の集合，

gG ,,,,,,Pr 11111 LLiiiiiii fFfFfFfFfF

が成り立つことを説明し，その上で次の等式が成り立つことを示せ．

ここで

Eji

jiji ffZ },{

},{

Posterior

,1

Pr gGfF


April, 2015

April, 2015




yL

xL

Q=2, α=2 に対して生

成されたサンプルの例 L=Lx×Ly

以下の図で与えられる正方格子 L=Lx×Ly によるグラフのすべてのリンクからなる集合を B として各ノードの確率変数 Fi が 0,1,2,…,Q-1 の整数値をとり，結合確率が

により与えられる無向グラフ上の確率モデルから互いに独立な状態 (f1,f2,…,fL)

をランダムに N 個生成するプログラムをマルコフ連鎖モンテカルロ法により作成し，様々のαの値に対して数値実験を実行せよ．

Eji

jiL FFZ

FFF},{

2

Prior

212

1exp

1,,,Pr

Q=256, α=0.0005 に

対して生成されたサンプルの例



各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読

み込み各画像ごと独立に平均0，分散2の加法的白色ガウスノイズ

により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値

実験を実行せよ．ここで，Vはすべての画素からなる集合である．

Vi

ii gf2

22 2

1exp

2

1Pr

fFgG


April, 2015

April, 2015



各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を

読み込み，これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

Bij

jiij ffZ

,1

PrPosterior

gGfF

222

2

1

8

1

8

1exp, jijjiijiij ffgfgfff

具体的なアルゴリズムは

田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．

田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636.

などを参照．


April, 2015



確率的情報処理の基礎技術課題18のヒント

２１

３

４

５

２１

３

４

５

Step 2: 得られたメッセージを

に代入し，原画像の推定値を

により求める．

1

0 115114113112

11511411311211 ,,

zzMzMzMzM

fMfMfMfMfP g

zPfz

11,0

1 maxargˆ

Step 1: 4L 個のメッセージについての連立非線形方程式

を反復法により数値的に解く．

1

0

1

0

1151141132112

1

0

1151141132112

221

1 2

1

,

,

z z

z

zMzMzMzz

zMzMzMfz

fM

April, 2015




各画素の階調値が任意の実数値をとる画像 g =(g1,g2,…,g|V|)T を読み

込み，これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である．

Eji

jiji ffZ },{

},{

Posterior

,1

Pr gGfF

222

},{2

1

8

1

8

1exp, jijjiijiji ffgfgfff

具体的なアルゴリズムは

田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．

を参照．

April, 2015




以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の厳密な値を C 言語，Java または MatLab を用いて求めよ．

各条件付き確率表は

田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社,

2009

のp.50の図3.12と表3.11の値を用いよ．

21

132425

43667658

821

PrPr

PrPrPr

,PrXPr,Pr

,,,Pr

XX

XXXXXX

XXXXXXX

XXX

April, 2015




以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の値を確率伝搬法により計算するプログラムを C

言語，Java または MatLab を用いて求めよ．

各条件付き確率表は「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社,

2009」のp.50の図3.12と表3.11の値を用いよ．

21132425

43667658

821

PrPrPrPrPr

,PrXPr,Pr

,,,Pr

XXXXXXXX

XXXXXXX

XXX

ヒント：具体的なアルゴリズムは「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社,

2009」の7.2節参照．

Kazuyuki Tanaka ECEI Experiment D (2013 Practices)kazu/ECEI-Experiment... · 2015-04-14 · April,...

Documents

Transcript of Kazuyuki Tanaka ECEI Experiment D (2013 Practices)kazu/ECEI-Experiment... · 2015-04-14 · April,...