Анализ изображений и видео

Наталья Васильева nvassilieva@hp.com HP Labs Russia

21 сентября 2013, Computer Science Center

Лекция 2: Обработка изображений – часть 1

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Обработка изображений

Обработка изображенийImage Processing

Изображение Изображение

•На входе и выходе – изображения•Результат обработки «лучше» оригинала с точки зрения конкретного применения

•Лучше с эстетической точки зрения•Лучше для последующего анализа

3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пример: построение HDR-изображения

4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры: что можно «улучшать»

Шумное Шумное Размытое, не резкое

Слишком темное Слишком светлое Неправильные цвета

5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры: «улучшение» для последующего анализа

Выделение краев

Бинаризация Выделение компонент связности

6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

План лекции

•Пространственная область•Частотная область, преобразование Фурье, спектральный анализ

•Обработка в пространственной области•Обработка в частотной области

7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Изображение – двумерная функция

Slide adopted from Fei-Fei Li

•Изображение – функция

•Полутоновое изображение (в градациях серого): – значение интенсивности (яркости) в точке (x,y)

•Цветное изображение:

8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Цифровое изображение – дискретная функция

9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пространственная область

= , ,

f(x,y)

= , ,

Пространственная область – множество пикселей, составляющих изображение

10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Представим «одномерную картинку»

11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

1-D изображение

12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Частотное представление – основная идея

= ∑

Идея Фурье: любая периодическая функция может быть представлена в виде суммы синусов и косинусов, умноженных на некоторые коэффициенты (ряд Фурье)

13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Ряд Фурье

14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пример

Результаты добавления членов ряда Фурье при аппроксимации разрывной кусочно-постоянной функции

15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пример

Slide credit: A. Konushin

16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Фурье-спектр (частотный спектр)

Slide credit: A. Konushin

17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Преобразование Фурье

Когда функция не является периодической, но площадь под графиком ее модуля конечна, она может быть выражена в виде интегралов от синусов и/или косинусов, умноженных на некоторую весовую функцию – преобразование Фурье.

Сигнал, заданный на отрезке – функция с конечной площадью под графиком. Можем продлить сигнал за пределы отрезка и получить периодическую функцию.

Преобразование Фурье обратимо: функция, заданная преобразованием Фурье, может быть полностью, без потери информации восстановлена

18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Преобразование Фурье

= + +

f(x)

F1*g1(x) F2*g2(x) F3*g3(x)

•Преобразование исходного представления изображения, как функции f(x), в частотное представление – набор Fi

•Преобразование обратимо

19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Преобразование Фурье

Прямое преобразование Фурье непрерывной функции одной переменной f(x):

Обратное преобразование Фурье:

g(x,u)

20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Дискретное преобразование Фурье

Обратное преобразование:

Дискретное преобразование Фурье и его обращение всегда существуют!

Существует ускоренный алгоритм вычисления ДПФ – быстрое преобразование Фурье (БПФ, FFT)

21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Фурье-спектр

Элементы Фурье-образа – комплексные величины в общем случае

– спектр (модуль) фурье-преобразования

– энергетический спектр фурье-преобразования

– фазовый спектр фурье-преобразования

22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Преобразование Фурье для изображений – основная идея

•Любое изображение может быть представлено, как сумма синусов и косинусов различной амплитуды и частоты

•Частоты слагаемых характеризуют изображение:

• Яркость «сильно скачет» на небольших участках изображения – будут преобладать слагаемые с высокими частотами

• Яркость плавно изменяется – будут преобладать низкие частоты

24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Двумерный случай

Базисные функции: g(x, y, u, v)

Обратное преобразование:

Прямое преобразование

25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Визуализация Фурье-спектра

• Фурье-спектр: набор всех |F(u,v)|

• Визуализация спектра – чем выше значение F(u,v), тем «светлее» точка с координатами (u,v)

• Светлый центр спектра – исходное изображение содержит в основном однородные области, без перепадов яркости

• Светлая периферия спектра – изображение содержит много локальных перепадов яркости

u=0, v=0

u=1, v=0

u=2, v=0

u=-2, v=0

u=-1, v=0

u=0, v=1

u=1, v=1

u=2, v=1

u=-2, v=1

u=-1, v=1

u=0, v=2

u=1, v=2

u=2, v=2

u=-2, v=2

u=-1, v=2

u=0, v=-1

u=1, v=-1

u=2, v=-1

u=-2, v=-1

u=-1, v=-1

u=0, v=-2

u=1, v=-2

u=2, v=-2

u=-2, v=-2

u=-1, v=-2

U

V

26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Практические моменты

•Фурье-спектр изображений симметричен, т.к. f(x,y) – вещественная

•Обычная практика – умножение исходной функции на (-1)x+y

для сдвига точки F(0,0) в точку (M/2, N/2)

• F(0,0) – есть средняя яркость исходного изображения

•Обычно в изображениях преобладают низкие частоты. Для улучшения визуализации к Фурье-спектру часто применяют логарифмическое преобразование яркости.

27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Спектральный анализВизуализация Фурье-спектра

f(x,y) F(u,v)

28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры

29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Еще примеры

30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Обработка в пространственной области

•Обработка в пространственной области – манипулирование пикселями изображения

•Например, инвертирование

31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображениеg(x,y) – изображение на выходе, обработанное изображениеT – оператор над f, определенный в некоторой окрестности точки (x,y)

32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Окрестность точки изображения

33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображениеg(x,y) – изображение на выходе, обработанное изображениеT – оператор над f, определенный в некоторой окрестности точки (x,y)

В случае окрестности 1х1: T – функция градационного преобразования вида

s = T(r),s,r – значения яркостей изображений f(x,y), g(x,y) в каждой точке (x,y)

34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Градационное преобразование для улучшения контраста

35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Основные функции градационных преобразований

36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Основные функции градационных преобразований

•Негатив:

•Линейное растяжение:

•Логарифмическое преобразование:

•Степенное преобразование (гамма-коррекция):

37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пример кусочно-линейного преобразования

38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пример логарифмического преобразования

39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Гистограммы

40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Гистограммы

41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Видоизменение гистограмм

• Линейное преобразование – линейное «растяжение» гистограммы, устойчивое растяжение

•Нелинейное преобразование• Эквализация (линеаризация) гистограммы

42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пороговая бинаризацияСветлый объект на темном фоне

Два светлых объекта на темном фоне

Глобальная – порог единый для всех точек изображенияЛокальная или Динамическая – когда порог зависит от координат точки (x,y)Адаптивная – когда порог зависит от значения яркости в точке I(x,y)

43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Глобальная бинаризация

• Выбор порога вручную

• Выбор порога автоматически1. Случайно выбрать начальное значение порога T02. Сегментировать изображение по порогу T0: регионы G1

и G2 из пикселей со значениями >T0 и ≤ T03. Вычислить средние значения μ1 and μ2 для регионов

G1 and G24. T1 = 0.5 (μ1 + μ2)5. Повторять пока | Ti - Ti+1|< Tth

44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры бинаризации

45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Пространственная фильтрация (свертка изображения с фильтром)Операция свертки:

f – изображениеw – ядро, фильтрg – результат свертки f*w

Свойства:• коммутативность: f*w = w*f• ассоциативность: f*(w1*w2)=(f*w1)*w2• дистрибутивность по сложению: f*(w1+w2=f*w1 + f*w2• kf*w = f*kw = k(f*w)

46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Теорема о свертке

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx

47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Теорема о свертке

Problem in Frequency

Space

Original Problem

Solution in Frequency

Space

Solution of Original Problem

Relatively easy solution

Difficult solution

Fourier Transform

Inverse Fourier

Transform

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx

48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сглаживание

•Линейные усредняющие фильтры – удаление «случайного шума»

•Фильтры, основанные на порядковых статистиках•Медианный фильтр (подавление шума «соль и перец»)

49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: Fei-Fei Li

50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: Fei-Fei Li

51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: Fei-Fei Li

52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: Fei-Fei Li

53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сглаживание фильтром Гаусса

Свертка с ядром Гаусса

54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сглаживание фильтром Гаусса: пример

Sigma =1.4Size = 5

Sigma =2.8Size = 10

55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Слайд: А. Конушин

56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Слайд: А. Конушин

57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Mexican hat

58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Фильтрация в частотной области

59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры фильтрации в частотной области

Исходное изображение и его Фурье-спектр

Результат обнуления F(0,0)

60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Примеры фильтрации в частотной области

61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Заключение

•Пространственная область•Частотная область, преобразование Фурье, теорема о свертке

•Обработка в пространственной и частотной областях•Градационные преобразования (линейные, степенные, логарифмическое, эквализация гистограмм)

•Сглаживание, повышение резкости