画像処理システム論...

画像処理システム論（視覚情報処理論）Image Media Systems視覚感性と画像処理（５）

加藤俊一Toshi KATO

生体から学ぶべきメカニズム（１）

明暗順応：

明るさの変化に対する調節機構

側抑制：

視野の中の明暗の微小変化を局所的に検出・強調するメカニズム

色順応：

色彩の対比に対する調節機構

生体から学ぶべきメカニズム（２）

初期視覚における特徴抽出：空間領域

局所的な明るさ・色調の対比

エッジ検出

構図

全体的な明るさ・色調

周波数領域画像・映像の複雑さ

画像・映像内の規則性

［注意］今日の話題は､､､

感性工学の研究の最前線の話題が含まれています。

「教科書」的な知識ではないので、専門家の間でも、知らない人が多いかも。

［復習］明暗順応の必要性

ある定常状態では、受容できる刺激強度（ダイナミックレンジ）が限られる。

環境光（刺激強度）が急に変わると、 →暗：暗くて何も見えない。

→明：明るすぎて何も見えない。

ある時間が経過すると、知覚（＝コントラストの違いを検出）できるようになる。 →暗：数分～数十分

→明：数秒～数分

［実験＆課題1a］明順応（大域的現象）

テストパターンに目を慣れさせて（明順応）被写体の細部を観察してみよう。

「目」では、どんな現象が生じているのか、定性的・定量的に説明してみよう。

［参考：原画像］

［実験＆課題1b］暗順応（大域的現象）

テストパターンに目を慣れさせて（暗順応）被写体の細部を観察してみよう。


［参考：原画像］

明暗順応（大域的な処理）

感度を調整するcurve shifting

シグモイド関数

Naka-Rashotonの式

いたるところで微分可能

S

SEE 0

S

SEE 0

［補足］

明暗順応だけでは、全体的なコントラスト（ダイナミックレンジ）が増幅されるわけではない。

全体的・部分的なコントラストの増幅が見やすさにつながる。

［参考：ダイナミックレンジも調整］

［実験＆課題２］明暗順応

テストパターンに目を慣れさせて（？順応）被写体の細部を観察することができるだろうか？


暗部強調が必要

中間部強調が必要

明部強調が必要

(*)１枚の画像中に強調すべき輝度区間が複数ある

↓明暗順応では強調しきれない

(*)くっきり見せるにはエッジ強調も必要

階調の非線形補正（暗部強調）

階調の非線形補正（明部強調）

階調の非線形補正（中間の変化を強調）

「見える・見やすい」

大域的

明順応、暗順応

局所的

明るさの違い、色の違いを「強調（増幅）」（ここにも、側抑制！）

→ 明るさ・色の違いに気づく

→ 物体と背景の分離

→ 物体の認識

側抑制 Lateral Inhibition

側抑制機構（中心 - 周辺拮抗作用）：ある点が刺激を受けて（正 ON 負 OFF の）興奮作用

を起こすと、その周辺の点が逆に抑制作用を起こす様な機構。

光刺激の空間的・時間的変化を検出エッジ強調

ON-center型（ON-center OFF-surround型）

OFF-center型（OFF-center ON-surround型）

錯視現象マッハバンド

ハーマングリッド

側抑制 Lateral Inhibition

特に今回は、明暗に関する側抑制について考察します。

カラーに関する側抑制については次回に考察します（仕組みが違う！）

側抑制（明暗の場合）

On-center型、off-center型

I+

I- I+

I-

［実験＆課題2a,b］側抑制

テストパターンを見てどのような明るさ（＆空間上の変化）を観察することができるだろうか？


［実験＆課題3a］側抑制



階調の非線形補正（明暗部の変化を強調）

［実験＆課題3b］側抑制



高周波の強調（High-pass filter）

画像強調（側抑制機構）の工学的な必要性

視野の中の明部や暗部での微小変化に対する感度が低下。（明るさに対するＳ字型の応答特性）

応答を何らかの逆Ｓ字型変換で補正し、スケール不変に近付ける神経回路が必要。

広いダイナミックレンジの光刺激に対して、良好な応答特性を得る。

V

i log I src

V'

V I src

Isrc

V

刺激強度に対する

電位応答

逆Ｓ字型変換による電位応答の補正

V logV V0

V1 V

i log I src

V'

刺激強度（対数）に対し

線形に近い電位応答

[考察]ポジ&ネガの２チャンネルの構造

背景の明るさに対して「見やすい明るさ」がある。

ポジ画像上での微小変化量とネガ画像上での微小変化量の線形和。

階調の反転（ポジ→ネガ）

側抑制の工学的なモデル

側抑制 ON-center 型チャネル OFF-center 型チャネル

画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則

差分の加算

Fechner 則

側抑制効果の加算



画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則DI

I I0

差分の加算

Fechner 則




画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則DI

I I0

差分の加算

Fechner 則 log(I I0 )




画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則DI

I I0

DI

I1 I

差分の加算

Fechner 則 log(I I0 ) log(I1 I )




画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則DI

I I0

DI

I1 I

差分の加算DI

I I0

DI

I1 I





画像ポジネガ

刺激 {I I0} {I1 I }

Weber 則DI

I I0

DI

I1 I

差分の加算DI

I I0

DI

I1 I


側抑制効果の加算 K( I) log(I I0 ) log(I1 I ) logI I0

I1 I

側抑制機構の工学的な解釈

視野の中の明部や暗部での微小変化に対する感度が低下。（明るさに対するＳ字型の応答特性）

応答を何らかの逆Ｓ字型変換で補正し、スケール不変に近付ける神経回路が必要。（側抑制機構の必要性）

広いダイナミックレンジの光刺激に対して、良好な応答特性を得る。

V

i log I src

V'

V I src

Isrc

V

刺激強度に対する

電位応答

逆Ｓ字型変換による電位応答の補正

V logV V0

V1 V

i log I src

V'

刺激強度（対数）に対し

線形に近い電位応答

非線形変換 K(I) の性質

非線形変換 K(I) は、逆Ｓ字型曲線を描く。

明部・暗部のコントラストを強調する輝度の補正式として利用できる。

非線形変換 K(I) の微分は、輝度に対するスケール不変なエッジ強度を表す。

K(I) c1 logI I0

I1 I c2

dK(I) c11

I I01

I1 I

dI

非線形変換 K(I) の数値シミュレーション

非線形変換 K(I) の局所並列性

非線形変換 K(I) とコントラスト：視野の中の明部・暗部での微小変化に対する感度を補正。

注目点の近傍の背景の明るさに適応して、補正式を制御。

様々な明るさの背景の下で、注目点の近傍のコントラストを局所並列的に強調。

IU, IL: 数値的に想定される最大輝度・最小輝度（定数）

Imax, Imin: 局所近傍における最大値、最小値

aposi, anega, bposi, bnega: 生理学的な定数

K(I) c1 logI ILa posi (Imin IL) b posi

IU I a nega (IU Imax ) bnega c2

側抑制の工学的モデル

側抑制による非線形変換 K(I) は、逆Ｓ字型曲線を描く。

I → V 等と置換えると、非線形変換 K(v) は応答の補正回路と考えられる。

錯視現象のシミュレーション

マッハバンド効果

ハーマングリッド錯視

残像

側抑制とマッハバンド効果Mach Band Effect

マッハバンド効果：明るさがステップ的に変わる画像の境界付近で、

暗い側により暗い帯が、明るい側により明るい帯が見える視覚心理的現象。

より一般的には、色がステップ的に変わる画像の境界付近でも、同様の現象が認められる。（例：明るさは同じで、色相のみ変化、等の場合）

側抑制とマッハバンド効果Mach Band Effect

側抑制とマッハバンド効果

側抑制による説明：

各局所近傍の輝度分布に適応して、変換式を自動調節

→ 輝度の一様部と境界部で、変換の曲率が異なる。



マッハバンド効果の数値シミュレーション

50

100

150

200

250

0 16 32 48

50

100

150

200

250

0 16 32 48

マッハバンド効果の数値シミュレーション

0

50

100

150

200

250

0 20 40 60

0

50

100

150

200

250

0 20 40 60

側抑制とグリッド錯視Hermann Grid Illusion

ハーマングリッド錯視：黒い背景の上の白い格子パターンを見ると、

格子の交差部に暗い点が見える。

白い背景の上に黒い格子パターンを見ると、格子の交差部に明るい点が見える。

側抑制とグリッド錯視Hermann Grid Illusion

側抑制とハーマングリッド錯視


白格子の交点付近 → ON-center型が優位

白格子の交点以外 → OFF-center型が優位

各局所近傍の輝度分布に適応して、マッハバンドの生じ方が異なる。

→ マッハバンド効果の重ね合わせで、交点付近・交点以外での応答が異なる。

(*) 側抑制のユニット（近傍の大きさ）と格子の太さの相対的な関係に依存する。



グリッド錯視の数値シミュレーション

側抑制と残像現象 After Image

残像現象：正の残像：

もとの光刺激が取り除かれた後も、ごく短い時間（0.５秒程度）だけ、もとの光刺激による効果がそのまま認められる現象。

負の残像：正の残像に引き続いて、光刺激のネガの様な像（負の残像）が見える。この現象はもとの光刺激の強度と刺激の持続時間によって異なるが、数秒ないし数分現れる。

［実験＆課題４］側抑制と残像現象 After Image

電電

側抑制と残像現象

従来は「受容器の疲労と新しい刺激への順応での時間遅れ」で説明されてきたが、、、

正の残像から負の残像への移行過程、

残像におけるマッハバンドの有無など、

計測が難しく、様々な実験結果とその解釈が報告されている。

側抑制と残像現象


但し、明暗順応に要する時間TA>> 側抑制での順応に要する時間TL>> 正の残像から負の残像への移行に要する時間TPN

vt vt1 ekt vnew (1 e

kt)

K(vt) c1 logv t vL a posi (vtmin vL) b posi

vU vt a nega (vU vt max ) bnega c2

残像現象の数値シミュレーション

残像現象の数値シミュレーション

(a) 入力画像

(b) t=1正の残像

(c) t=2

(d) t=3 負の残像に移行

(e) t=4

(f) t=5

(g) t=10 マッハバンド消失

(h) t=20

(i) t=40 負の残像消失へ

［宿題］（チャレンジ問題）

今回の説明は主として明暗対比に関する側抑制だった。

では、色彩知覚・色彩対比に関する側抑制では、どのような現象が生じていると考えられるか？

（参考）側抑制（色彩に対する対比）

色彩に対する側抑制

G-

R+

G+

R-

R-

G+

R+

G-

B-Y

Y-B

On-center

Off-center

色彩の知覚

明暗対比

色対比

側抑制（カラーの場合）

期待される効果は？

「赤」の変化する部位でのボケ（Gaussian、赤の漏れ出し）の影響を抑えて、「赤」の変化を強調、、、ではない！

「赤」の変化にメリハリをつけ、、、ない！

側抑制（カラーの場合）

期待される効果は？

「赤」の支配的な部位での弱い「緑」の光による色ボケ（赤→橙→黄）の影響を抑えて、「赤」を強調

「赤」はより「赤」く色ムラを抑えて、均一の色

生理レベルの感性を利用した画像強調

側抑制と順応機構の統合

明暗対比：明るさの微妙な差を増幅

色対比：より彩度（色差）を強調

おまけ今回の提出物

翌々週の月曜（１２月２７日）は全停電なので、年内の内に宛先: [email protected]

件名: [IPS] レポート氏名、学年、番号

（添付書類）実験結果＋考察課題のレポートを提出PDFの添付書類（書類名に注意！）IPS-userID-授業日-版.pdf

（例）IPS-d70123-091126-v1.pdf

次回は？年明けは？

次回（１２月２３日（木、祝））は、授業しますか？

年明けは１月１３日（木）が最終回、補講しますか？

画像処理システム論...

Documents

Transcript of 画像処理システム論...