Post on 12-Jul-2015
1
Blind Deblurring usingInternal Patch Recurrence
解説者
東京大学博士1年tackson某
関東CV勉強会 2014年12月6日ECCV 2014論文紹介
2発表者プロフィール
• 略歴
– 東京高専から東大工学部に2年次編入
– 学部:セグメンテーション
– 修士:ステレオ
– 博士:3次元復元(勉強会発表本日2回目)
• 興味のある分野
– 3次元形状復元・ステレオ
– MRF最適化・グラフカット
– セグメンテーション
• Twitterアカウント
3
Blind Deblurring usingInternal Patch Recurrence
Tomer Michaeli Michal Irani
Weizmann Institute of Science, ISRAEL
ECCV 2014 Oral Paper
Vision系というよりSignal Processing系の人
4
Blind Deblurring usingInternal Patch Recurrence
ECCV 2014 Oral Paper
5
✖ 手ブラ
✖デブ・ブラー
〇デブラー
念のための確認…
6
✖ 手ブラ
✖デブ・ブラー
〇デブラー
念のための確認…
7
Blind Deblurring/Deconvolution
𝒌観測されたBlur画像 Sharp画像Blur kernel
(ピンボケ・手ぶれ)
𝑦 𝑥𝑘
ノイズ
推定
𝒚 = ∗ 𝒙 + 𝒏
入力
Blind Deblurring ≒ Sharp画像に対するPriorの違いex) Gradient Sparsity [Levin/Krishnan, CVPR 09,11] [Fergus/Shan, ToG
06, 08]
ex) Patch Similarity [Sun+ ICCP 13]
8
Patch Similarity Prior [Sun+ ICCP 13]
External Sharp Patch PoolBlur画像
Sharp Pool 中の最近傍パッチ
Blur画像中のパッチ
近づける
BlurパッチがSharpパッチに近くなるようにDeblur
※実際のパッチは 5x5 くらい
Query
Query
9
PROPOSED METHOD
10Internal Patch Recurrence Prior (提案)
α倍縮小した画像対象画像
縮小画像とのパッチ類似度を最大化するように Deblur
Blur 画像だと α倍 sharp なパッチが存在
Query
もしBlurナシなら 同じパッチが縮小画像に存在
Sharp画像に対するPrior
近づける実際は…
=
≠
最近傍
11念のための確認…
某KB画像 でなくても幅広く成り立つPriorです
Sharpな自然画像
90%のパッチ(5x5サイズ)は
[Glasner+ ICCV 09] (超解像論文)によれば
3/4倍縮小した画像
縮小画像で 10 回以上現れる(つまりこちらも 5x5 パッチ)
そのまま
12実際の画像例
13提案手法:コスト関数
𝑦 𝑘 𝑥 𝑥𝛼
入力Blur画像 推定 Kernel 推定 Sharp 画像α倍に縮小した推定 Sharp 画像
データ項Internal Patch
Recurrence Prior 項KernelPrior 項
min 𝑘, 𝑥
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
14提案手法:アルゴリズム
Internal PatchRecurrence Prior 項
min 𝑘, 𝑥
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
𝑥𝛼 ← 𝑠ℎ𝑟𝑖𝑛𝑘𝛼 𝑥
min 𝑥
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
min 𝑘
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
Repeat
Until Convergence
Initialize: 𝑘 ← 𝛿, 𝑥 ← 𝑦
KernelPrior 項データ項
15提案手法:アルゴリズム詳細
𝑥𝛼 ← 𝑠ℎ𝑟𝑖𝑛𝑘𝛼 𝑥
min 𝑘
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
Repeat
Until Convergence
α縮小画像 𝒙𝜶推定画像 𝒙
α倍 sharp なパッチ
近づける
さらに α倍 sharp なパッチ
近づける
min 𝑥
𝑦 − 𝑘 ∗ 𝑥2
+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘
2
α倍sharp
に
α倍sharp
に
16
EXPERIMENTS
17
※黄色数値はエラー値(Non-Blind手法 [Zoran+ ICCV 11] との相対的な誤差)
Gradient Sparsity External Patch Internal Patch
18
グラフ:横軸Error Rate以下の画像の割合
提案手法は非常にロバスト(失敗時のエラーが小さい)
入力画像・630枚・だいたい 1024x768
・最大 27x27 の blur
Patch-baseではない
External Patch
Internal Patch
19
“失敗例”(各手法のworst case)の比較
青数値:1以下→改善1以上→改悪
20
Additional Resultsfrom
Supplementary Material
http://www.wisdom.weizmann.ac.il/~vision/BlindDeblur.html
http://www.wisdom.weizmann.ac.il/~vision/BlindDeblur/VisualComparisons_ECCV2014.pdf
21
Conclusions
• Internal Patch Recurrence Prior:Image Deblurring のための強力なPrior
• blind deblur手法の state-of-the-art と同等の性能
• 他の手法より非常にロバスト
その他• 著者ページに実行可能コード有り(ただし実装隠蔽MATLABコード)
• 最適化や実装の詳細は大幅に省いています– FFTで高速化
– Image Pyramid つくってCoarse-to-Fineに(高速化+局所解回避)
– Aliasingの議論
– 超解像との根本的な違い
• 著者のオーラル発表がわかりやすい!(指導教員の紹介)
http://videolectures.net/eccv2014_michaeli_blind_deblurring/
22
Paper Summary