Анализ изображений и видео 1, осень 2015: Model Fitting

Анализ изображений и видео

Наталья Васильева

[email protected] HP Labs Russia

23 ноября 2015, Computer Science Center

Лекция 6: Model Fitting

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сравнение изображений при помощи локальных признаков: основные шаги

1. Локализация особых точек

2. Выделение особых фрагментов –

окрестности ключевых точек,

инвариантные к различного рода

преобразованиям

3. Построение векторов признаков для

найденных фрагментов

4. Сопоставление наборов локальных

признаков для двух изображений

Fig. credit: K. Grauman, B. Leibe


Какие могут быть сложности?

• Особые фрагменты не всегда уникальны

и однозначно сопоставимы

• Могут быть ложные соответствия


Сравнение изображений при помощи локальных признаков: основные шаги

1. Локализация особых точек2. Выделение особых фрагментов –

окрестности ключевых точек, инвариантные к различного рода преобразованиям

3. Построение векторов признаков для найденных фрагментов

4. Сопоставление наборов локальных признаков для двух изображений

5. Проверка геометрической согласованности (взаимное расположение особенностей относительно друг друга), отбраковка выбросов

Fig. credit: K. Grauman, B. Leibe


Когда еще полезно ограничение на взаимное расположение? • Умеем находить локальные особенности

• Края, углы,...

• Во многих случаях знаем, что особые точки

должны располагаться относительно друг друга

определенным образом• прямые линии, окружности,...

• Если геометрическая модель заранее известна,

то можно сгруппировать данные по модели =>

получим более компактное, точное и

высокоуровневое представление данных

9300 Harris Corners Pkwy, Charlotte, NC

Slide credit: S. Lazebnik


Когда еще полезно ограничение на взаимное расположение?

При распознавании объектов заранее известной формы


Как задать ограничение на взаимное расположение?

При помощи параметрической модели:

Простая модель: линии Простая модель: окружности

Более сложная модель: машина

Source: K. Grauman


Как задать ограничение на взаимное расположение?

При помощи параметрической модели:

Source: K. Grauman

Модель преобразования: перенос + поворот + сжатие/растяжение


Примеры задач на сопоставление

Составление панорам

Распознавание объектов

Source: S. Lazebnik


Параметрическая модель

где – вектор данных (наблюдаемые и ожидаемые значения),

– вектор параметров модели.

При распознавании объектов заданной геометрической формы:

При сопоставлении изображений:


Общая схема решения

•Выбрать модель (с точностью до параметров), которая будет наилучшим образом описывать имеющийся набор данных

•Оценить параметры модели по набору данных• Чтобы модель при подобранных параметрах как можно более точно описывала

данные, несмотря на наличие шума/выбросов• Необходимо максимизировать число точек, удовлетворяющих модели (“inliers”)

•Имея модель и параметры, отфильтровать лишние точки – отбраковать выбросы (“outliers”)


В чем сложности?

•Наличие шума в данных («помехи измерения»)

•Наличие «посторонних» точек: не принадлежащие линиям, принадлежащие другим линиям•Отсутствие «нужных» точек: перекрытия

На примере обнаружения линий

Source: S. Lazebnik


Задачи и методы

• Даны точки, удовлетворяющие модели. Как найти оптимальные параметры модели?– Метод наименьших квадратов

• Если данные заведомо содержат выбросы?– Робастные методы: М-оценки, RANSAC

• Если данные – смесь моделей (несколько линий)?– Схемы голосования: RANSAC, преобразование Хафа (Hough transform)

• Если мы не знаем, какая модель?– Model selection (выбор модели)

Source: S. Lazebnik


Подгонка прямой линии

Дано: набор точек (x1, y1), …, (xn, yn)

Задача:найти прямую, наилучшимобразом аппроксимирующую точки

Уравнение прямой: y = m x + b


Метод наименьших квадратов для прямой

Дано: (x1, y1), …, (xn, yn)Уравнение прямой: yi = m xi + bЗдача: найти (m, b), которые

минимизируют

y=mx+b

Source: S. Lazebnik


Метод наименьших квадратов для прямой

Дано: (x1, y1), …, (xn, yn)Уравнение прямой: yi = m xi + bЗадача: найти (m, b), которые

минимизируют

y=mx+b

Source: S. Lazebnik


Недостатки классического МНК

• Не инвариантен к повороту

• Не подходит для вертикальных линий

• Предполагает большую контролируемость измерения x по

сравнению с y

Source: S. Lazebnik


Метод полных наименьших квадратовРасстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d|Найти (a, b, d) минимизирующие

ax+by=dНормаль: N=(a, b)(xi, yi)

Source: S. Lazebnik


Метод полных наименьших квадратовРасстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d|Найти (a, b, d) минимизирующие

ax+by=dНормаль: N=(a, b)(xi, yi)

Решение (UTU)N = 0, при условии ||N||2 = 1: собственный вектор UTU,соответствующий минимальному собственному значению

Source: S. Lazebnik


Метод полных наименьших квадратов

second moment matrix

Source: S. Lazebnik


N = (a, b)

second moment matrix

Source: S. Lazebnik

Метод полных наименьших квадратов


Вероятностная интерпретация: максимум правдоподобия

Модель: точки на линии

зашумлены в направлении

нормали (x, y)

(u, v)

ax+by=d

точка на линии Гауссов шум с нулевым

матожиданием и стандартным

отклонением σ

нормаль

Source: S. Lazebnik


Вероятностная интерпретация: максимум правдоподобия

Модель: точки на линии

зашумлены в направлении

нормали (x, y)

(u, v)

Правдоподобие точек при параметрах (a, b, d):

Логарифм:

ax+by=d

Source: S. Lazebnik


Наименьшие квадраты для производных кривых

•Минимизируем сумму квадратов расстояний между наблюдаемыми

точками и кривой

(xi, yi)d((xi, yi), C)

кривая C

Source: S. Lazebnik


Устойчивость к выбросам

МНК:

Source: S. Lazebnik


Устойчивость к выбросам

МНК:

Недостаток: квадрат ошибки делает метод очень чувствительным к выбросам

Source: S. Lazebnik


Робастные оценкиОсновная идея: минимизировать

ri (xi, θ) – ошибка в i-ой точке при параметрах модели θρ – робастная функция влияния с оценкой масштаба σ

Функция влияния ρ ведет себя как квадрат расстояния при малых значениях u, но стремится к константе при больших значениях u

Source: S. Lazebnik


Влияние выбора параметра масштаба

Source: S. Lazebnik


Влияние выбора параметра масштаба: слишком маленький

Вклад в ошибку практически одинаков для всех точек

Source: S. Lazebnik


Влияние выбора параметра масштаба: слишком большой

Ведет себя почти как МНК

Source: S. Lazebnik


Робастные М-оценки

• Робастная подгонка параметров – задача нелинейной оптимизации

• Часто решается итеративно при помощи последовательных приближений

• Важно хороше первое приближение, можно использовать МНК в качестве

первого приближения

• Как выбрать параметр масштаба? Нужна устойчивость к выбросам.

“магическое” число раз медиана ошибки

Source: S. Lazebnik


RANSAC

• Робастные методы могут справится, если процент выбросов невелик. Что, если у нас много выбросов?

• Random sample consensus (RANSAC): Очень общий подход для подгонки параметров модели при условии большого числа выбросов

• Общая схема метода

– Строим небольшую выборку данных случайным образом

– По выборке осуществляем подгонку параметров модели (строим гипотезу)

– Производим оценку гипотезы на всех данных

– Повторяем много раз и выбираем наилучшую гипотезу

M. A. Fischler, R. C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM, Vol 24, pp 381-395, 1981.

Source: S. Lazebnik

http://www.ai.sri.com/pubs/files/836.pdf

http://www.ai.sri.com/pubs/files/836.pdf


RANSAC для линий

Повторяем N раз:

• Выбираем s точек равномерным случайным образом• Подгоняем параметры прямой под эти s точек, получаем гипотезу прямой• Ищем среди остальных данных точки, удовлетворяющие построенной гипотезе

(например, точки на расстоянии меньше t от линии-гипотезы)

• Если число точек, удовлетворяющих гипотезе, больше d, принимаем эту

гипотезу и уточняем параметры линии по всем точкам, удовлетворяющим этой

гипотезе

Source: S. Lazebnik


Выбор параметров• s: количество элементов в выборке– Обычно минимальное число, необходимое для оценки параметров модели

• t: пороговое значение для расстояния– Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95)

– При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ: t2=3.84σ2

•N: число выборок– Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка не

будет содержать выбросов (e.g. p=0.99, e – процент хороших точек в наборе)

Source: M. Pollefeys


Выбор параметров• s: количество элементов в выборке– Обычно минимальное число, необходимое для оценки параметров модели

• t: пороговое значение для расстояния– Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95)

– При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ: t2=3.84σ2

•N: число выборок– Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка не

будет содержать выбросов (e.g. p=0.99, e – процент плохих точек в наборе)



Сколько нужно выборок?


proportion of outliers es 5% 10% 20% 25% 30% 40% 50%2 2 3 5 6 7 11 173 3 4 7 9 11 19 354 3 5 9 13 17 34 725 4 6 12 17 26 57 1466 4 7 16 24 37 97 2937 4 8 20 33 54 163 5888 5 9 26 44 78 272 1177

S – размер выборокe – процент выбросов в данных

• Количество итераций (выборок) быстро растет с увеличением размера выборки и доли выбросов• Если заранее не знаем долю выбросов?


Адаптивное задание числа итераций

Доля выбросов обычно заранее неизвестна, поэтому начинаем с грубой оценки,

например 50%, затем переопределяем для каждой гипотезы (например,

согласованность 80% точек с текущей гипотезой дает e=0.2)

Адаптивная процедура:

• N=∞, sample_count =0

• While N >sample_count

– Строим новую выборку, строим гипотезу по этой выборке, проверяем гипотезу на всех данных

– Вычисляем долю выбросов для построенной гипотезы: e = 1 – (number of inliers)/(total number of points)

– Обновляем значение N относительного нового значения e:

– Increment the sample_count by 1

Source: S. Lazebnik


RANSAC: достоинства и недостатки

• Достоинства– Прост в использовании, общий– Подходит для решения большого числа различных задач– Часто хорошо работает на практике

• Недостатки– Большое количество настраиваемых параметров– На практике не всегда удается получить хорошее первое приближение модели по

минимальной выборке– Иногда требуется очень большое число итераций– Может не сработать, если доля выбросов очень велика– Часто можно предложить более эффективный метод, чем построение равновероятных

выборок

Source: S. Lazebnik


Схемы голосования

•Пусть каждый элемент данных голосует за те модели, которым он удовлетворяет

•Гипотезы с максимальным числом голосов побеждают

•Надеемся, что выбросы не будут голосовать согласовано

•Пропущенные данные не имеют значения, пока хватает голосов имеющихся данных за правильные модели

Source: S. Lazebnik


Преобразование Хафа (Hough transform)• Одна из первых схем голосования• Основная идея:

• Дискретизируем пространство параметров (разделим на ячейки)

• Каждая точка на изображении голосует за все ячейки, соответствующие

параметрам моделей, которым удовлетворяет точка• Найдем ячейки с максимумом голосов

P.V.C. Hough, Machine Analysis of Bubble Chamber Pictures, Proc. Int. Conf. High Energy Accelerators and Instrumentation, 1959

Image space Hough parameter space

Source: S. Lazebnik


Преобразование Хафа для прямых

• Каждая прямая задается уравнением

• Через произвольную точку проходит

бесконечное число прямых

• Преобразование Хафа основано на

«голосовании» точек за те линии, на которых

они могут лежать

• Линии с максимальным числом голосов

выигрывают

Основная идея


Преобразование Хафа

image space Hough space

• Для данного набора точек (x, y) найти все точки (a, b), такие что y = ax+b

y=ax+b

• Точке (xi, y

i) соответствует прямая в пространстве Хафа: b = –x

ia + y

i



• Разбиваем пространство параметров на

«ячейки накопления»

• Для каждой точки из заданного множества

точек на плоскости перебираем все

значения параметра a и вычисляем

соответствующее значение параметра b,

увеличиваем счетчик соответствующей

ячейки

• Выбираем ячейки с большим значением

счетчика



Обычно, используют полярные координаты:



Диапазон θ: [-90°, 90°] Диапазон ρ: [-D√2, D√2]


features votes

Влияние шума

Source: S. Lazebnik


features votes

Влияние шума

Максимумы голосов становятся «размытыми»

Source: S. Lazebnik


Случайные точки

Равномерно распределенные случайные точки могут приводить к пикам в накопителе

features votes

Source: S. Lazebnik


Практические вопросы

• Фильтрация лишних признаков (точек)

• Для линий берем только точки с большим значением градиента

• Выбор хорошей сетки• Слишком грубая: голоса за разные линии будут попадать в одну

ячейку• Слишком мелкая: будем пропускать линии из-за шума

• При поиске максимумов можно сглаживать соседние значения в накопителе

• Какая точка соответствует какой линии?

• Помечаем голоса

Source: S. Lazebnik


Преобразования Хафа: достоинства и недостатки

• Достоинства– Работает в условиях перекрытий– Ищет все имеющиеся на изображении экземпляры объекта за один проход– Обладает некоторой устойчивостью к шуму: выбросы обычно голосуют

несогласованно

• Недостатки– Сложность алгоритма растет экспоненциально с увеличением числа параметров

модели– Наличие других объектов на изображении может приводить к случайным пикам в

накопителе– Сложно выбрать правильный шаг сетки для пространства параметров

Source: S. Lazebnik


Учет градиента• Когда находим края, мы знаем градиент

• Это значит, что направление линии ужеопределено!

• Улучшенный алгоритм:

For each edge point (x,y)

θ = gradient orientation at (x,y)

ρ = x cos θ + y sin θH(θ, ρ) = H(θ, ρ) + 1

end

Source: S. Lazebnik


p

Обобщенное преобразование Хафа• Решаем задачу нахождения объекта произвольной формы на изображении по его контуру и референтной точке

• Для каждой точки контура p, можем определить вектор смещения r = a – p как функцию от направления градиента θ

D. Ballard, Generalizing the Hough Transform to Detect Arbitrary Shapes, Pattern Recognition 13(2), 1981, pp. 111-122.

a

θ r(θ)

Source: S. Lazebnik

http://www.cs.rochester.edu/~dana/HoughT.pdf


Обобщенное преобразование Хафа

•Для моделируемого объекта: построим таблицу с парами значений (θ,r), где θ – направление градиента, r – вектор смещения. Проиндексируем по θ.

•На шаге распознавания: для каждой точки края p с направлением градиента θ:

– Выберем из таблицы все r, соответствующие θ

– Для каждого r(θ), добавим один голос в ячейку пространства Хафа, соответствующую p + r(θ)

•Максимуму голосов в пространстве Хафа будет соответствовать референтная точка с максимальной поддержкой точек контура

•Предполагаем, что рассматриваемое преобразование - перемещение, направление и масштаб объекта фиксированы

Source: K. Grauman


Применение обобщенного преобразования Хафа

Вместо определения смещения как функции от градиента, определим функцию от

“визуального ключевого слова” (visual code word)

Обучающее изображение

Визуальное слово с векторами смещения

B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004

http://www.pascal-network.org/challenges/VOC/pubs/leibe04.pdf



Применение обобщенного пребразования Хафа

B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004

Тестовое изображение

Вместо определения смещения как функции от градиента, определим функцию от

“визуального ключевого слова” (visual code word)




Пример распознавания объектов

David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004.

http://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf


Пример склейки панорам



• Извлекаем признаки



• Извлекаем признаки• Вычисляем поточечные соответствия



• Извлекаем признаки• Вычисляем поточечные соответствия• В цикле:

• Строим гипотезу преобразования T (используя небольшое

подмножество поточечных соответствий)






• Проверяем гипотезу (ищем остальные пары поточечных соответствий,

согласованных с T)


Заключение

▪ Для оценки геометрической согласованности локальных признаков используются параметрические модели и методы подгонки параметров

▪ Рассмотренные методы▪ МНК – не устойчив к выбросам, подходит для «чистых» данных▪ М-оценки, рандомизированные методы (RANSAC)

▪ Схемы голосования, преобразование Хафа▪ Наиболее применяемые методы в анализе изображений

▪ RANSAC – широкое применение при сопоставлении изображений (построение панорам, восстановление 3D модели)

▪ Схемы голосования, преобразование Хафа – широкое применение в поиске и распознавании объектов на изображении

Анализ изображений и видео 1, осень 2015: Model Fitting

Documents

Transcript of Анализ изображений и видео 1, осень 2015: Model Fitting