Анализ изображений и видео, часть 1, осень 2016: Image Processing 2

Анализ изображений и видео

Наталья Васильева [email protected] HP Labs Russia

8 октября 2014, Computer Science Center

Лекция 3: Обработка изображений – часть 2

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Анализ изображений: мы бы хотели...

•  чтобы компьютер «понимал» семантику сцены на изображении •  автоматически распознавать что и где изображено

•  категоризировать и идентифицировать объекты, определять их свойства и отношения

Slide credit: M. Everingham


Чтобы распознать, что и где изображено...

Первый шаг – выделение областей изображения, которые могут представлять собой объект: •  выделение однородных

областей •  выделение неоднородностей,

разрывов, перепадов, границ


План лекции

• Выделение компонент связности • Выделение краев • Математическая морфология


Выделение компонент связности

Компонента связности – множество пикселей изображения, такое что для любых двух точек из этого множества существует путь, целиком состоящий из элементов этого множества. Путь – последовательность смежных пикселей. Смежные пиксели – соседи и их значения удовлетворяют некоторому критерию сходства.

– 4-связность

– 8-связность


Выделение компонент связности: алгоритм

0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0 0 0 0 0 0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0

0

0 0 0

0 0 0

0 0 0

0 0 0 0 0 0

0 0 0 0 0

1 1

1 1 1 1 1 1 1 1

1 1 1 1

1 1 1 1

1 1 1

1 1

1 1

2 2 3 3

3 3

3 3

4 4

3 3 3 3

3 3 3 3

3 3 3

3 3 3

5 3

5 3 6 6 3 3 3 7

0

Первый проход: размечаем пиксели, запоминаем пары эквивалентных номеров


Выделение компонент связности: алгоритм

0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0 0 0 0 0 0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0

0

0 0 0

0 0 0

0 0 0

0 0 0 0 0 0

0 0 0 0 0

1 1

1 1 1 1 1 1 1 1

1 1 1 1

1 1 1 1

1 1 1

1 1

1 1

1 1 3 3

3 3

3 3

3 3

3 3 3 3

3 3 3 3

3 3 3

3 3 3

3 3

3 3 3 3 3 3 3 3

0

Второй проход: переразмечаем с учетом запомненных пар эквивалентности


Компоненты связности


Обнаружение разрывов, перепадов яркости

•  Обнаружение точек •  Обнаружение линий •  Обнаружение перепадов яркости •  Детекторы краев

Slide source: S. Lazebnik

•  Неоднородности, резкие перепады яркости на изображении – формируют края, контуры объектов

•  Содержат больше семантической информации, чем однородные области

•  Более компактный вариант представления семантики на изображении


Обнаружение точек�

Точка обнаружена, если |g| ≥ T, • T – неотрицательный порог, g – результат свертки изображения с маской


Обнаружение линий

•  Пусть g1, g2, g3, g4 – результаты свертки изображения с масками •  Если в точке x |gi| > |gj| для всех j≠i, то точка x лежит на линии, соответствующей маске i.


Обнаружение перепадов Модель идеального

перепада

Горизонтальный профиль яркости (строка изображеня)

Модель наклонного перепада

Первая поизводная

Вторая поизводная


Обнаружение перепадов

Фрагмент изображения Профиль яркости Первая производная

края соответсвуют экстремумам производной

Slide credit: S. Lazebnik


Градиент изображения Градиент направлен в сторону наибольшего изменения интенсивности

Направление градиента:

Величина градиента:


Дифференцирование и свертка

Для функции двух переменных f(x,y), частная производная по х:

Частная производная линейна и

инвариантна к переносу => м.б. выражена через операцию свертки

Приближение разностной производной: что является сверткой с ядром:

€

∂f∂x

= limε→0

f x + ε, y( )ε

−f x,y( )ε

⎛ ⎝ ⎜

⎞ ⎠ ⎟

€

∂f∂x≈f xn+1,y( )− f xn , y( )

Δx

-1 1

Source: D. Forsyth, D. Lowe


Вычисление градиента изображения

Roberts: Prewitt: Sobel:

Дискретный случай:

Операторы для приближенного вычисления первых частных производных:


Пример


Edge map (карта силы краев)


Пример


Вычисление второй производной

Вычисление второй производной: Лапласиан

• Маски Лапласиана:

2

2

2

22 ),(),(

yyxf

xyxff

∂

∂+

∂

∂=∇


Поведение производных на перепадах яркости с шумом

Сигнал, искаженный гауссовым шумом с stddev = 0, 0.1, 1.0 и 10.0


Влияние шума на первую производную

Где край?

Source: S. Seitz


Влияние шума

• Основанные на разностных производных фильтры очень чувствительны к шуму

•  Из-за шума значения яркости соседних пикселей могут сильно отличаться •  Чем сильнее шум, тем больше отклик фильтра

• Что делать? Использовать сглаживание •  Сглаживание уменьшает разницу между соседями

Source: D. Forsyth


Решение: сглаживание перед дифференцированием

Для обнаружения краев ищем экстремумы )( gfdxd

∗

f

g

f * g

)( gfdxd

∗

Source: S. Seitz


• Дифференцирование и свертка ассоциативны:

• Это экномит 1 оперцию:

gdxdfgf

dxd

∗=∗ )(

Воспользуемся свойствами свертки

gdxdf ∗

f

gdxd

Source: S. Seitz


Поизводная Гауссова фильтра

* [1 -1] =



Производная Гауссова фильтра

x-direction y-direction



Сглаживание подавляет шум, но размывает и смещает края

1 pixel 3 pixels 7 pixels

Сглаживание v.s. локализация края

Source: D. Forsyth


• Как точно локализовать край? • Как получить связный край?

Недостатки градиента

Source: D. Forsyth


Свойства хорошего детектора краев

• Good detection: должен минимизировать ошибки первого и второго родов (ложные края и пропущенные края) • Good localization: найденный край должен быть как можно ближе к истинному краю • Single response: детектор должен выдавать единственную точку для одной точки истинного края, минимизировать число локальных максимумов рядом с истинным краем

Source: L. Fei-Fei


Детектор Canny

J. Canny, A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8:679-714, 1986.

Source: L. Fei-Fei

1.  Свертка изображения с производной фильтра Гаусса 2.  Поиск значения и направления градиента 3.  Выделелине локальных максимумов (non-maximum suppression):

•  «Утоньшение» края 4.  Связывание краев и обрезание по порогу (hysteresis):

•  Определяем два порога: нижний и верхний •  Используем верхний порог для начала построения кривой, нижний –

для продолжения


Пример

Исходное изображение


Пример

Норма градиента


Пример

Пороговая обработка


Пример

Утоньшение (non-maximum suppression)


Effect of σ (Gaussian kernel spread/size)

Canny with Canny with original

The choice of σ depends on desired behavior •  large σ detects large scale edges •  small σ detects fine features

Source: S. Seitz


Выделение краев: примеры

Sobel

Canny Исходное


Математическая морфология

•  Обработка изображений на языке теории множеств

•  Первые работы: Jean Serra, Georges Matheron (1964)

•  Бинарная морфология a Z2 •  Элемент множества – точка с координатами (x,y), принадлежащая объекту на изображении

• Трехмерная морфология (grayscale morphology) a Z3 •  Элемент множества – точка (x, y, z), (x, y) – координаты точки на изображении, z - яркость точки


Базовые операции теории множеств


Отражение и перенос

} |{ˆ BbbB ∈−=

} |{ AazaAz ∈+=

Центральное отражение:

Параллельный перенос:


Структурный элемент

Структурный элемент – некоторое двоичное изображение произвольной формы с выделенным начальным элементом (origin)

При морфологической обработке происходит зондирование (probing) исходного изображения структурным элементом


Основные операции математической морфологии

Dilation – расширение, наращивание Erosion – эрозия, сужение

Opening – размыкание, открытие (сглаживание по отношению к объекту) Closing – замыкание, закрытие (сглаживание по отношению к фону)

Базовые:

Производные:


Расширение, наращивание, дилатация Dilation

Расширение множества А по множеству В:

B – структурный примитив (элемент), структурообразующее множество


Dilation: примеры


Dilation: примеры

1 1 1 1 1 1 1 1 1

1 1 1 1 1 0 1 0 0

0 1 0 1 1 1 0 1 0


Применение расширения


Erosion Эрозия

Эрозия множества А по множеству В:

B – структурообразуещее множество (примитив)


Эрозия: примеры


Эрозия: примеры

1 1 1 1 1 1 1 1 1

1 1 1 1 1 0 1 0 0

1 0 1 0 1 0 1 0 1


Применение расширения и эрозии

Расширение – заполнение «дырок» определенной формы и размера, задаваемыми структурным элементом Эрозия – удаление объектов определенной формы и размера, задаваемыми структурным элементом

Цель: заполнение «дырок», удаление объектов без «побочных» эффектов на остальных объектах изображения

Решение: комбинирование расширения и эрозии с одним и тем же структурным элементом


Пример


Размыкание, открытие Opening

Размыкание множества А по множеству В:

•  сглаживает контуры объекта •  обрывает узкие перешейки •  ликвидирует узкие выступы


Opening

BBABA ⊕−= )(!

Сдвиги B внутри A

{ }ABBBA zz ⊆= )()(∪"


Замыкание, закрытие Closing

Замыкание множества А по множеству В:

•  сглаживает контуры объекта •  «заливает» узкие разрывы и узкие углубления •  ликвидирует небольшие отверстия •  заполняет промежутки контура


Closing

BBABA −⊕=• )(


Свойства

Opening (i)  (ii)  (iii)  (A°B)°B = A°B

Closing (i)  (ii)  (iii)  (A•B)•B = A•B

ABA ⊂!

BDBCDC !! ⊂⇒⊂

BAA •⊂

BDBCDC •⊂•⇒⊂


Преобразование «успех/неудача» Hit-or-Miss Transform

Задача – найти на изображении местоположение объектов заданной формы Используется составной структурный элемент: B1 – для выделения объекта, B2 – для выделения фона B1 fits the object while B2 misses the object (fits the background)


Задача – найти местоположение фигуры X


Как можно выделить границу объекта с помощью морфологических операций?

Выделение границ


Заполнение областей

,...3,2,1 )( 1 =∩⊕= − kABXX ckk


Выделение связных компонент

Y – искомая связная компонента, p – произвольная точка из Y


Построение остова

K

kk ASAS0)()(

=

∪=

BkBAkBAASk !)()()( −−−=

})(|max{ Φ≠−= kBAkK

))((0

kBASA k

K

k⊕∪=

=

Анализ изображений и видео, часть 1, осень 2016: Image Processing 2

Documents

Transcript of Анализ изображений и видео, часть 1, осень 2016: Image Processing 2