確率モデルによる画像処理における統計的学習理論kazu/tutorial...1 2 1 exp Pr...

6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai）） 11

確率モデルによる画像処理における確率モデルによる画像処理における統計的学習理論統計的学習理論

東北大学東北大学大学院情報科学研究科大学院情報科学研究科

田中田中和之和之

[email protected]@smapip.is.tohoku.ac.jp

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/


ContentsContents

1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ

6 November, 2008 IEICE-MIH (Sendai） 3

情報処理の守備範囲の推移

理詰めの情報処理理詰めの情報処理法則・命題群からの予測法則・命題群からの予測

コンピュータの発達により現実化コンピュータの発達により現実化

現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない．必要なデータが完全に得られるわけではない．大量のデータは得られるが必要な情報の抽出が難しい．大量のデータは得られるが必要な情報の抽出が難しい．

「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!

数値計算のための情報処理作業手順が与えられている．

確率的情報処理


確率的情報処理における計算の壁

不確実性を確率・統計を用いて表現することの代償

起こりやすいことも起こりづらいこともまじめに考慮して計算

計算量的困難

統計的計算技法の改良による計算困難の打破


たくさんが関連して集まり構成されたシステム：情報と物理が扱う対象に共通する概念

モノ（物質）分子

０,1 101101110001

010011101110101000111110000110000101000000111010101110101010ビット

コト（データ）

分子が集まって物質を形成し，モノになる．

ビットが集まってデータを形成し，コトとなる．

共通点：たくさんが関連

分子同士は引っ張り合っている．

並びをきちんと決めることによって意味のある文章になる．

主な研究対象

情報工学：コトデータ

物理：モノ物質・自然現象

More is different in More is different in informatics as wellinformatics as well


More is Different

原子

電子

原子核

陽子

中性子

クォーク

分子化合物

物質

生命材料

社会宇宙

素粒子物理学

物性物理学

More is differentP. W. Anderson


確率的画像処理確率的画像処理

確率的画像処理手法によるノイズ除去

173110218100120219202190202192

Average =⎪⎭

⎪⎬

⎫

⎪⎩

⎪⎨

⎧

192 202 190

202 219 120

100 218 110

192 202 190

202 173 120

100 218 110

信号処理の知見をもとにした画像処理の確率モデル化

マルコフ確率場モデル確率的画像処理

基本単位は画素

画素上の数字はディスプレイの光の強度

アルゴリズム化

最も簡単な既存のフィルター


ContentsContents



画像修復の確率モデル

原画像劣化画像

通信路

雑音

{ } { } { }{ }

43421

48476444 8444 76444 8444 76

周辺尤度

事前確率尤度事後確率

劣化画像

原画像原画像劣化画像劣化画像原画像

PrPr|Pr|Pr =

白色ガウス雑音原画像劣化画像 +=


2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？

>

== >p p

周りが白ければ着目画素も白くあるべき


2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなるもっとたくさん集まったらどうなるか?

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？-？== >

p p

> >=


ゆらぎが大きいときに何が実際に起こっているのか? p

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0lnp

無秩序状態秩序状態ゆらぎが大きく点の近くのパターン

p が小さい p が大きい

最近接画素間の共分散

マルコフ連鎖モンテカルロ法によるサンプリング

Markov Network


ゆらぎが大きいときのパターンを画像処理に使えるか?

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0ln p

最近接画素間の共分散

p

似ている

Markov Network大小


強磁性体と確率モデル強磁性体と確率モデル

p p

p p

>

=

=

>

=

=

x

y

画像は各画素ごとの強さの異なる光であらわされる．

0 255

共通点：まわりと同じ状態をとろうとする

Ising モデル

Markov Random Field (MRF) モデル


Prior Probability in Probabilistic Image Processing

{ } ( ) ( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛−−== ∑

∈Nijji ff

ZfF 2

211Pr α

αexp

Prior

rr

0005.0=α 0030.0=α0001.0=α

Samples are generated by MCMC.

Markov Chain Monte Carlo Method

{ }Ω=Ω ,,2,1 L

links the all of Set:N


Additive White Gaussian Noise

( )2,0~ σNfg ii −

{ } ( )∏Ω∈

⎟⎟⎠

⎞⎜⎜⎝

⎛−−===

iii gffFgG 2

22 21exp

2

1Prσπσ

rrrr

Histogram of Gaussian Random Numbers

nr Noise Gaussianfr

Image Original gr Image Degraded

Degradation Process


ベイズ統計と画像処理

{ } { } { }{ }

( ) ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝

=

======

∑∑∈Ω∈ Bij

jii

ii ffgf 2221

21exp

PrPrPr

Pr

αβ

gGfFfFgG

gGfF

fg

{ }fF =Pr { }fFgG ==Pr g原画像劣化画像事前確率

事後確率

加法的白色ガウス雑音または２元対称通信路

計算困難

画像処理は平均，分散，共分散の計算に帰着

B：すべての最近接画

素対の集合

Ω：すべての画素の集合


Statistical Estimation of Hyperparameters

∑ =====z

zFzFgGgG }|Pr{},|Pr{},|Pr{ αββα

( )},|Pr{max arg)ˆ,ˆ(

,βαβα

βαgG ==

f g

Marginalized with respect to F

}|Pr{ αfF = },|Pr{ βfFgG == gOriginal Image

Marginal Likelihood

Degraded ImageΩy

x

},|Pr{ βαgG =

Hyperparameters α, β are determined so as to maximize the marginal likelihood Pr{G=g|α,β} with respect to α, β.


Maximization of Marginal Likelihood by EM Algorithm

∑ =====z

zFzFgGgG }|Pr{},|Pr{},|Pr{ αββαMarginal Likelihood

( ) },|,Pr{ln}',',|Pr{

,',',

∑ =====z

gGzFgGzF

g

βαβα

βαβαQ

( ) ( )( )

( ) ( )( )( )

( ) ( )( ).,,maxarg1,1 :Step-M

},|,Pr{ln)}(),(,|Pr{

,, :Step-E

,ttQtt

tt

ttQ

βαβαβα

βαβα

βαβα

βα←++

====← ∑z

gGzFgGzF

E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm

Q-Function


ContentsContents



計算困難のポイントは何か

2L 通りの和が計算できるか？

( )∑ ∑ ∑= = =FT, FT, FT,

211 2

,,,x x x

LL

xxxf LL

( )

}}

} ;,,,

F){or Tfor(

F){or Tfor( F){or Tfor(

;0

21

2

1

M

L

M

L

Lxxxfaa

x

xx

a

+←=

==

←

L 重ループ

このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分，L=30個で約12日，L=40個で約34年かかる．

厳密に計算するのは一部の特殊な例を除いて難しい．

マルコフ連鎖モンテカルロ法確率伝搬法今回


扱いやすい確率モデルのグラフ表現

扱いやすい確率モデルの数理構造

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛= ∑∑∑

∑ ∑ ∑

===

= = =

FT,FT,FT,

FT, FT, FT,

),(),(),(

),(),(),(

CBA

A B C

DChDBgDAf

DChDBgDAf

A

B CD∑ ∑ ∑

= = =FT, FT, FT,A B C

扱いやすくない確率モデルの数理構造

∑ ∑ ∑= = =FT, FT, FT,

),(),(),(A B C

AChCBgBAf

A

B C

∑ ∑ ∑= = =FT, FT, FT,A B C

木構造をもつグラフ表現

閉路を含むグラフ表現

別々に和を計算できる

別々に和を計算することが難しい


転送行列法＝確率伝搬法（1）

1次元鎖

{ } ( )∏−

=++==

1

111, ,1Pr

N

iiiii xxW

ZxX rr

( ) ( )∑∑ ∑ ∏−

⎟⎟⎠

⎞⎜⎜⎝

⎛≡

−

=++→−

1 2 1

1

111,1 ,

x x x

k

iiiiikkk

k

xxWxL L

( )kkk xL →−1

( )kkk xR →+1

k

k( ) ( )∑ ∑ ∑ ∏

+ + −⎟⎟⎠

⎞⎜⎜⎝

⎛≡

−

=++→+

1 2 1

111,1 ,

k k Nx x x

N

kiiiiikkk xxWxR L


転送行列法＝確率伝搬法（2）

漸化式

( ) ( ) ( )∑ ++→−++→ =kx

kkkkkkkkkk xxWxLxL 11,111 ,

( )kkk xL →−1

k

( )11 ++→ kkk xL

1+k

{ } { }

( ) ( )( ) ( )∑

∑∑ ∑ ∑ ∑ ∑

→+→−

→+→−=

===− + + −

m

m m m N

xmmmmmm

mmmmmm

x x x x x xmm

xRxLxRxL

xXxX

11

11

1 2 1 1 2 1

PrPr rrLL

( )kkk xR →+1k

( )11 −−→ kkk xR1−k

( ) ( ) ( )kkkx

kkkkkkk xRxxWxRk

→+−−−−→ ∑= 11,111 ,

パスはひとつ


閉路のないグラフ上の確率伝搬法

{ } ( )∏−

=++==

1

111, ,1Pr

N

iiiii xxW

ZxX rr

( ) ( )

( ) ( ) ( ) ( )∑

∑∑ ∑ ∏

++→−→−→−

=++++→

=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

k

k

xkkkkkkkkkkkkk

x x x

k

iiiiikkk

xxWxMxMxM

xxWxM

11,321

111,11

,

,1 2

L

閉路が無いことが重要!!

同じノードは２度通らない

1X

2X 3X

1−kX

kX

2−kX

3−kX

1+kX


確率的画像処理における確率伝搬法(Belief Propagation)

着目画素とその近傍画素だけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴ

リズムとしての転用


閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)

( )MMrrr

Ψ= メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．ただし，得られる結果は厳密ではなく近似アルゴリズム

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑∑

→→→

→→→

→ Φ

Φ=

1 2

1

1151141132112

1151141132112

221 ,

,

z z

z

zMzMzMzz

zMzMzMfzfM

２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる


確率的画像処理における確率伝搬アルゴリズムの基本構造

ひとつの画素ごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

画素上での動作の様子の一例


Belief Propagation

Input

Output

BP EM

Update Rule of BP

２１

３

４

５


Maximization of Marginal Likelihood by EM Algorithm

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

gttQtt rσασασασα

←++

gr

( )gmf rrr,ˆ,ˆˆ σα=

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100

Loopy Belief Propagation

Exact

0006000ˆ335.36ˆ

.==

LBP

LBP

ασ

0007130ˆ624.37ˆ

.==

Exact

Exact

ασ


Image Restoration by MRF and Conventional Filters

( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

327Statistical Method

445(5x5)

486(3x3)Median Filter

413(5x5)388(3x3)Lowpass

Filter

MSE

(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianMRFMRF

Original ImageOriginal Image Degraded ImageDegraded Image

RestoredRestoredImageImage


Digital Images Inpaintingbased on MRF

Inpu

t

Out

put

MarkovRandom

FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.


結合ガウス・マルコフ確率場モデル

0 2.7 1.8 0.9 1.8 2.7:0 :1

ライン場についての事前情報


結合ガウス・マルコフ確率場モデル

原画像劣化画像ライン場のない確率場モデル

ライン場を導入した確率場モデル

量子力学的に拡張されたライン場を導入した確率場モデル


ContentsContents



確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門

ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布磁性体の物理モデルとの類似性磁性体の物理モデルとの類似性確率伝搬法（確率伝搬法（Belief PropagationBelief Propagation））


脳の物理モデルの記憶容量，パーセプトロンの容量の評価に類似の議論

標本平均による統計的性能

11→gr

Prio

r Pr

obab

ility

1fr

2fr

3fr

21→gr

12→gr

22→gr

13→gr

23→grN

oise

11→mr

12→mr

21→mr

22→mr

31→mr

32→mr

Mar

kov

Net

wor

k

推定画像劣化画像

Mean Square Error の標本平均

原画像

スピングラス理論による解析的評価が可能

Nishimori and Wong (1999): Physical Review ENishimori and Wong (1999): Physical Review E

マルコフ連鎖モンテカルロ法


統計的性能評価

( ) { }

( ) { } { } fdgdfFfFgGfgh

fdgdgGfFfghM

rrrrrrrrrrr

rrrrrrrrr

PrPr1

,Pr1

2

2

===−Ω

=

==−Ω

≡

∫

∫

( )gh rr

g( )fPr gr事前確率

劣化過程

( )fgPrrf

r

( )gfP rr

事後確率修復画像

原画像劣化画像


ReferencesReferencesK. Tanaka: StatisticalK. Tanaka: Statistical--Mechanical Approach to Mechanical Approach to

Image Processing (Topical Review), J. Phys. A, Image Processing (Topical Review), J. Phys. A, 3535 (2002).(2002).

A. S. Willsky: Multiresolution Markov Models for A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing, Proceedings of Signal and Image Processing, Proceedings of IEEE, IEEE, 9090 (2002).(2002).

確率モデルによる画像処理における統計的学習理論kazu/tutorial...1 2 1 exp Pr...

Documents

Transcript of 確率モデルによる画像処理における統計的学習理論kazu/tutorial...1 2 1 exp Pr...

確率モデルによる画像処理における 統計的学習理論kazu/tutorial...1 2 1 exp Pr...

Documents

Transcript of 確率モデルによる画像処理における 統計的学習理論kazu/tutorial...1 2 1 exp Pr...

確率モデルによる画像処理における統計的学習理論kazu/tutorial...1 2 1 exp Pr...

Transcript of 確率モデルによる画像処理における統計的学習理論kazu/tutorial...1 2 1 exp Pr...