Обзор методов инпэинтинга по одному изображению

Modern image inpainting methods

Юрий Гитман

Video Group

CS MSU Graphics & Media Lab

129.09.2011

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

Содержание

Введение

Inpainting with third-order optimal PDE

Методы композиции блоков

Оптимизации

Свой алгоритм

Результаты тестирования

2

http://www.compression.ru/video/


Only for Maxus

Photoshop CS6 tool

3



Only for Maxus

Примеры (не photoshop!)Синтез и восстановление текстур

4Graphcut textures: image and video synthesis using graph cuts Scene completion using millions of photographs


http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.9.1442&rep=rep1&type=pdf







http://portal.acm.org/citation.cfm?id=1276382






Only for Maxus

Изображение

5

Исходное изображение

Структура (sketch)

Текстура (texture)Fast Cartoon+ Texture Image Filters


http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5438812








Only for Maxus

Параметры текстур (1)

Размер текстурного элемента (текстона)

6

Шум – нет текстонов

Элемент кривой – это текстон

Овца – это текстон

Каждая гора – это текстон

Graphcut textures: image and video synthesis using graph cuts










Only for Maxus


7

Почти идеально повторяющиеся блоки

Структура есть, но не самоподобная

Хаотичная текстура

Texture synthesis by non-parametric sampling

Степень структурированности










Only for Maxus


Искажения перспективы

8Graphcut textures: image and video synthesis using graph cutshttp://www.imagecompression.info/test_images/









http://www.imagecompression.info/test_images/


Only for Maxus

Постановка задачи

Задача: восстановить кусочно-связную область изображения

Предположения:

Структурная часть кусочно-гладкая

Линии границ кусочно-гладкие

Изображение приближенно самоподобно

Есть необходимая для восстановления информация:

Семантическая — информация о природе объектов

Линии и цвета на границе восстанавливаемой области

9



Only for Maxus

Области применения

Удаление объектов

Удаление царапин

Изменение композиции изображения

Построение панорамы

Генерация стерео

Синтез текстур

10



Only for Maxus

11



Only for Maxus


Введение






12



Only for Maxus

Задача и предпосылки

Цель:

Восстановить поврежденную область изображения

Предпосылки:

Область достаточно велика

Вся необходимая информация содержитсяна границе

Изображение кусочно-постоянно

13Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006



Only for Maxus

Классический алгоритм

1. Линии, пресеченные на границе, восстанавливаются внутрь области

2. Замкнутые регионы заполняются цветом

3. Добавляется текстура




Only for Maxus

Автоматический алгоритм

До сходимости:

1. Продлим линии краев

Численное решение PDE(Partial differential equation), сохраняющего вдоль линий некоторую величину

2. Восстановим цвет

Численное решение уравнения анизотропной диффузии




Only for Maxus

АлгоритмОбщее уравнение диффузии

— градиент изображения

— тензор, определяющий направления и величину передачи тепла (интенсивности)

Соответственно, он должен гарантировать, что через края объектов цвет не переходит

Метод диффузии — самостоятельный. Может быть быстро реализован (несколько секунд) через аппарат термодинамики

16

@I

dt= div[T(x)rI(x)]rIT (x)

Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006



Only for Maxus

АлгоритмРезультат

17

Результаты одного такого алгоритма на моем тесте




Only for Maxus

АлгоритмПринцип построения уравнений

Общий принцип:

В правой части обычно находится— инвариант, который хотим сохранить

— функция изображения

— направление линий краев


@I

dt= ¢ ¢ ¢ ! (SteadyState) 0 = : : :

rf ¢ r?IfI

r?I



Only for Maxus

АлгоритмВыбор порядка уравнения

Для любого уравнения ниже третьего порядка, линии будут продолженыс границ, как прямые

Так произойдет, если выбирать уравнение из условия:

— функция изображения— малое приращение— произвольная точка

19

I(x0) =I(x0 + hr?I(x0)) + I(x0 ¡ hr?I(x0))

2Ihx0




Only for Maxus

АлгоритмВыбор уравнения

Разложение в ряд Тейлора:

— кривизна линии (здесь — параметризация

кривой)

Следовательно, уравнение оптимально, если мы хотим

сохранять направление линий.

То же уравнение в терминах частных производных:

20

rI(x0) =rI(x0 + hr?I(x0)) +rI(x0 ¡ hr?I(x0))

2

r£k(s)jrIj3

¤r?I = 0! It =r

£k(s)jrIj3

¤r?I

k(s) = °00(s) °(s)

It =I2y [¡IyIxxx + 3IxIxxy] + I2x[¡IxIyyy + 3IyIyyx]

[I2x + I2y ]32




Only for Maxus

Результат 1

21

ResultInput




Only for Maxus


22

Inputs Results




Only for Maxus


23

Input Integral minimizationresult

Classic inpainting equation

This algorithm result




Only for Maxus


24

Input ResultThresholded




Only for Maxus


25

Input Classic equationresult

This algorithm result




Only for Maxus

Third order optimal PDE

Достоинства:

Инвариантность к контрасту

Возможность восстанавливать тонкие структуры и острые углы

Меньший blur, чем в других методах

Недостаток:

Ничего не известно про время работы




Only for Maxus


Введение



Еxemplar-based inpainting

Belief propagation for inpainting




27



Only for Maxus

Exemplar-based inpainting

Актуальность:

Методы, основан-ные на PDE (partial differential equations), не восстанавливают текстуру

Из-за диффузии они склонны к размытию

28A. Criminisi*, P. P ́rez and K. Toyama, ―Region Fillingand Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004



Only for Maxus

Exemplar-based inpaintingИдея

Идея: использовать самоподобиев текстурах изображения

Можно восстанавливать значение точкииз точек со схожей окрестностью

Очень долгое время работы

Не восстанавливаются области, где много структуры

Решение: восстанавливать изображение целыми блоками

29A. Criminisi*, P. P ́rez and K. Toyama, ―Region Fillingand Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004



Only for Maxus

Exemplar-based inpaintingИдея

Покроем область блоками

Приоритет определяетпорядок восстановления

— количество известных в окрестности пикселей

— общее число пикселей в окрестности

— функция изображения

— единичная нормаль к границе

Таким образом, можно использовать и самоподобие линий

30

Priority =N

Sjr?I ¢ ~nj

NSI~n

A. Criminisi*, P. P ́rez and K. Toyama, ―Region Fillingand Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004



Only for Maxus


31

Тестовое изображение и результат




Only for Maxus


32

Тестовое изображение и результат




Only for Maxus


Введение



Exemplar-based inpainting

Вelief propagation for inpainting




33



Only for Maxus

Глобальный подход

Идея: оптимизировать систему соответствий ―блок области — образец‖сразу для всех пар

Можно найти максимальное правдоподобие

Возможные алгоритмы:

Expectation Minimization

Belief Propagation

34Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007



Only for Maxus

Belief PropagationОбщая задача

Классический алгоритм:

1. Пусть есть ациклический граф, в котором каждая вершина может принимать одноиз k состояний

2. Известны вероятности :для вершины x принять состояние kи — совместное распределениена х и y


Ã(xk; yq)

Á(xk)



Only for Maxus

Belief PropagationОбщая задача

Классический алгоритм:

3. Максимизируем функцию правдоподобия

— множество ребер графа— совместного распределения на две вершины— вероятностного распределения на одну вершину— правдоподобие

— состояние вершины i

Можно решить как задачу динамического программирования в силу ацикличности. При этом перерасчет значений динамической матрицы называется передачей сообщений.


maxP = ¡min [logP] = minx1;:::;xn

24

nX

i=1

Ái(xi) +X

fk;jg2E

Ãj;k(xj; xk)

35

E(¡ log)(¡ log)

P

Ãj;k(xj; xk)

Ái(xi)

xi



Only for Maxus

Belief PropagationФормулировка для inpainting

Покроем область сетью пересекающихся блоков. Блоки — это вершины графа, перекрытия задают ребра

Норма перекрытия двух блоков, или блока и начального приближения задает вероятности

Граф не ациклический, но можно рассчитывать на хороший локальный минимум

Алгоритм квадратично зависит от количества состояний.Что делает невозможнымиспользование алгоритма

Решения:

Priority message scheduling

Dynamic prunning— ширина и высота блока

— ширина и высота перекрытия

— изображение и восстанавливаемаяобласть


h;wgapx; gapy

S; ¿



Only for Maxus

Belief PropagationМетоды оптимизации

Итеративно будем выполнять алгоритм, как для ациклического графа

Dynamic prunning — будем хранить только наиболее вероятные состояния

Priority message scheduling — будем выполнять передачу сообщений от вершин с наименьшим числом состояний

При этом такими вершинами оказываются блокина границах объектов. Их определенность выше




Only for Maxus


39

Originals Restoration order(Blacks are earlier)

Results

Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007



Only for Maxus


40

Originals Restoration order(Blacks are earlier)

Results

Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007



Only for Maxus

Belief Propagation (1)

Для изображений 256*170

От нескольких секунд до двух минут,в зависимости от параметров и скорости сходимости

Для моих тестов ~ 1000*800

От десяти до двадцати минут

Впрочем, я связался с автором реализации(не автор статьи). И он с моей подачи нашелв ней ошибки. Так что результаты покане в счет.




Only for Maxus

Belief Propagation (2)

Достоинство:

Более высокое качество, чем у просто exemplar-based методов

Недостаток:

Долгое время работы




Only for Maxus


Введение




Seamless block matching

Blocks deformation leading by feature-map



43



Only for Maxus

Методы оптимизацииКачество

Расширять базу поиска за счет поворотов и отражений

Копировать только высокие частоты (восстанавливать освещение отдельно)

Использовать дополнительно карту краев при сравнении блоков

Соединять блоки по линии минимального разреза

Применять к блокам деформации по завершении работы алгоритма

44



Only for Maxus

Методы оптимизацииВремя

Использовать при поиске блоки-кандидаты

Выполнять поиск наилучшего блока в пространстве частот

Спроектировать окрестности блоков в пространство меньшей размерности (метод главных компонент)

Работать в разных разрешениях, от низкого к высокому

45



Only for Maxus


Введение





Blocks deformation leading by feature map



46



Only for Maxus

Произвольные блоки

Алгоритм: по области пересечения блоков найдем минимальный путь. Он будет границей между ними

Задача может быть решена методами динамического программирования

47Alexei Efros, William Freeman, ―Image quilting for texture synthesis and transfer‖, siggraph, 2001

Random copying Searching for the best sample

Image quilting



Only for Maxus


Введение





Blocks deformation leadingby feature map


Результаты тестирования48



Only for Maxus

Feature map

Актуальность:

Даже при блоках произвольной формы важные текстурные линии могутне совпадать

Решение:

Преобразуем блоки, используя карту линий, так, чтобы линии на карте совпали

Кроме того, можно учитывать соответствие карт при поиске наилучшего блока

49Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004



Only for Maxus

Feature mapПостроение

Построим по изображению карту линий (feature map):

1. Применим к изображению билатеральную фильтрацию (Параметры — Spatial : 2.0, Color : 10.0)

2. Отсечение по глобальному порогуМногие ребра распадутся на кусочки

3. Используя полученную на прошлом шаге карту выполним для градиентов адаптивное отсечение по порогу.

Таким образом мы восстановим непрерывность карты

4. Выполним сужение линий (Pavlidis, T. 1982. Algorithms for Graphics and Image Processing. Computer Science Press)Линии будут иметь толщину в один пиксель, но не потеряется

связность


¾ ¾



Only for Maxus

Feature mapПримеры


Originals Feature-map



Only for Maxus

Feature matching

Вычислим feature map для каждогоиз перекрывающихся блоков

Найдем для каждой линии одного блока наилучшее соответствие среди линий другого

– множество касательных к двум линиям

– весовой коэффициент

– множество точек двух линий

Время – линейное от количества пикселейв карте (Level set method, Sethian, 1999)


gdist(fi; fj) = kfi ¡ fjk2 + ¿kvi ¡ vjk2vi; vj¿

fi; fj



Only for Maxus

Feature deformation

Преобразуем блоки так, чтобы линии совпали

Thin-plate splines (Meinguet 1979; Turk and O’Brien 1999)

Решение оптимально, но может не существовать

Shepard’s method (Hoschek and Lasser 1993)

Чтобы деформации не накапливались, потребуем также

неизменности противоположного пересечению угла




Only for Maxus

Feature mapСравнение

54

Блоки дополнительно деформировались после Graphcut

Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004

Input Feature map Graphcut Quiltiing Texton mask



Only for Maxus


Введение






55



Only for Maxus


1. Разложить изображение на текстуруи структуру

2. Восстановить структуру, решив соответствующее уравнение в частных производных

3. Восстановить текстуру, используяв качестве начального приближения полученное на прошлом шаге изображение

4. Коррекция границ блоков

56



Only for Maxus


Введение






57



Only for Maxus

График значений PSNR

58

artific

ial

big

build

ing

big

tree

brid

ge

cath

edra

l

deer

firew

ork

s

flow

er fo

veon

hdr

leaves

nig

hts

hot

spid

er w

eb

zone p

late

BP

Photoshop

Exemplar-based

Diffusion

Msu

Resynthesizer

Microsoft

Navier-Stokes

Telea



Only for Maxus

График значений SSIM

59

artific

ial

big

build

ing

big

tree

brid

ge

ca

the

dra

l

deer

firew

ork

s

flow

er fo

veon

hdr

lea

ve

s

nig

hts

hot

sp

ider w

eb

zone

pla

te

BP

Photoshop

Exemplar-based

Diffusion

Msu

Resynthesizer

Microsoft

Navier-Stokes

Telea



Only for Maxus Таблицы значений

PSNR и SSIM

60

PSNR

SSIM

Синим и зеленым отмечены первый и второй результат по тесту



Only for Maxus

Microsoft (smart erase) 13

61



Only for Maxus

Telea method (OpenCV)

62http://www.imagecompression.info/test_images/


http://www.imagecompression.info/test_images/


Only for Maxus

Diffusion (gmic) 9

63



Only for Maxus

Exemplar-based (Exinpaint) 7

64



Only for Maxus

Литература

1. Marcello Bertalmio, Guillermo Sapiro, Vicent Caselles, Coloma Ballester, ―Image inpainting‖, siggraph 2000

2. Jean–Luc Starck, Michael Elad, David Donoho, ―Image decomposition via the combination of sparse representation and variational approach‖, IEEE transactions on image processing 2005

3. Nikos Comodakis, Georgios Tziritas, ―Image completion using efficient Belief Propagation via priority scheduling and dynamic prunning‖, IEEE transactions on image processing 2007

4. Vivek Katra, Amo Schodl, irfan Essa, Greg Turk, Aaron Bobick, ―Graphcut textures: Image and video synthesis using Graph Cut‖, siggraph 2003

5. Jianbing Shen, Xiaogang Jin, Chuan Zhou, Charlie Wang, ―Gradient–based image completion by solving the Poisson equation‖, Computers & graphics 2007

6. Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM transactions on graphics 2004

7. Sylvain Lefebvre, Hugues Hoppe, ―Appearance–space texture synthesis‖, ACM transactions on graphics 2006

8. Marie–Flavie Auclair–Fortier, Djemel Ziou, ―Global aproach for solving evolutive heat transfer for image denoising and inpainting‖, IEEE transactions on image processing 2006

9. David Tschumperle, ―Fast Anisotropic Smoothing of Multi-Valued Images using Curvature-Preserving PDE’s‖, International journal of computer vision 2006

10. Antoni Buades, Triet Le, Jean-Michel Morel, and Luminita Vese, ―Fast Cartoon + Texture Image Filters‖, IEEE transactions on image processing 2010

65



Only for Maxus

Литература

11. Isik Baris Fidaner, ―A survey on variational image inpainting, texture synthesis and image completion‖ 2008.

12. Alexei Efros and Thomas Leung, ―Texture synthesis by non–parametrical samplings‖, seventh international conference on computer vision 1999.

13. Vivek Kwatra, Irfan Essa, Aaron Bobick, Nipun Kwatra, ―Texture optimization for example–based synthesis‖ 2005.

14. Marcelo Bertalmio, ―Strong–Continuation, Contrast–invariant Inpainting with third–order optimal PDE‖, IEEE transactions on image processing 2006

15. Marcello Bertalmio, Luminita Vesse, Guillermo Sapiro, Stanley Osher, ―Simultaneous structure and texture image inpainting‖, IEEE transactions on image processing 2003

16. Criminisi, Perez, Toyama, ―Region filling and object removal by exemplar–based image inpainting‖ IEEE transactions on image processing 2004.

17. Frederic Cao, Yann Gousseau, Simon Masnou, Patrick Perez, ―Geometrically guided exemplar–based inpainting‖, SIAM journal on imaging sciences 2011

18. Patrick Perez, Michel Gangnet, Andrew Blake, ―Poisson image editing‖, siggraph 2003

19. Sylvain Lefebvre, Hugues Hoppe, ―Parallel controllable texture synthesis‖, ACM transactions on graphics 2005

20. Alexei Efros, William Freeman, ―Image quilting for texture synthesis and transfer‖, siggraph 2001

66



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в Россиив МГУ и ИПМ им. Келдыша)

Выпускниками защищено 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

67


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



Обзор методов инпэинтинга по одному изображению

Education

Transcript of Обзор методов инпэинтинга по одному изображению