Анализ изображений и видео, часть 1, осень 2016: Image Processing 1

Анализ изображений и видео

Наталья Васильева [email protected] HP Labs Russia

21 сентября 2013, Computer Science Center

Лекция 2: Обработка изображений – часть 1

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Обработка изображений

Обработка изображенийImage Processing

Изображение Изображение

•На входе и выходе – изображения•Результат обработки «лучше» оригинала с точки зрения конкретного применения

•Лучше с эстетической точки зрения•Лучше для последующего анализа


Пример: построение HDR-изображения


Примеры: что можно «улучшать»

Шумное Шумное Размытое, не резкое

Слишком темное Слишком светлое Неправильные цвета


Примеры: «улучшение» для последующего анализа

Выделение краев

Бинаризация Выделение компонент связности


План лекции

•Пространственная область•Частотная область, преобразование Фурье, спектральный анализ

•Обработка в пространственной области•Обработка в частотной области


Изображение – двумерная функция

Slide adopted from Fei-Fei Li

•Изображение – функция

•Полутоновое изображение (в градациях серого): – значение интенсивности (яркости) в точке (x,y)

•Цветное изображение:


Цифровое изображение – дискретная функция


Пространственная область

= , ,

f(x,y)

= , ,

Пространственная область – множество пикселей, составляющих изображение


Представим «одномерную картинку»


1-D изображение


Частотное представление – основная идея

= ∑

Идея Фурье: любая периодическая функция может быть представлена в виде суммы синусов и косинусов, умноженных на некоторые коэффициенты (ряд Фурье)


Ряд Фурье


Пример

Результаты добавления членов ряда Фурье при аппроксимации разрывной кусочно-постоянной функции


Пример

Slide credit: A. Konushin


Фурье-спектр (частотный спектр)

Slide credit: A. Konushin


Преобразование Фурье

Когда функция не является периодической, но площадь под графиком ее модуля конечна, она может быть выражена в виде интегралов от синусов и/или косинусов, умноженных на некоторую весовую функцию – преобразование Фурье.

Сигнал, заданный на отрезке – функция с конечной площадью под графиком. Можем продлить сигнал за пределы отрезка и получить периодическую функцию.

Преобразование Фурье обратимо: функция, заданная преобразованием Фурье, может быть полностью, без потери информации восстановлена



= + +

f(x)

F1*g1(x) F2*g2(x) F3*g3(x)

•Преобразование исходного представления изображения, как функции f(x), в частотное представление – набор Fi

•Преобразование обратимо



Прямое преобразование Фурье непрерывной функции одной переменной f(x):

Обратное преобразование Фурье:

g(x,u)


Дискретное преобразование Фурье

Обратное преобразование:

Дискретное преобразование Фурье и его обращение всегда существуют!

Существует ускоренный алгоритм вычисления ДПФ – быстрое преобразование Фурье (БПФ, FFT)


Фурье-спектр

Элементы Фурье-образа – комплексные величины в общем случае

– спектр (модуль) фурье-преобразования

– энергетический спектр фурье-преобразования

– фазовый спектр фурье-преобразования


Преобразование Фурье для изображений – основная идея

•Любое изображение может быть представлено, как сумма синусов и косинусов различной амплитуды и частоты

•Частоты слагаемых характеризуют изображение:

• Яркость «сильно скачет» на небольших участках изображения – будут преобладать слагаемые с высокими частотами

• Яркость плавно изменяется – будут преобладать низкие частоты


Двумерный случай

Базисные функции: g(x, y, u, v)

Обратное преобразование:

Прямое преобразование


Визуализация Фурье-спектра

• Фурье-спектр: набор всех |F(u,v)|

• Визуализация спектра – чем выше значение F(u,v), тем «светлее» точка с координатами (u,v)

• Светлый центр спектра – исходное изображение содержит в основном однородные области, без перепадов яркости

• Светлая периферия спектра – изображение содержит много локальных перепадов яркости

u=0, v=0

u=1, v=0

u=2, v=0

u=-2, v=0

u=-1, v=0

u=0, v=1

u=1, v=1

u=2, v=1

u=-2, v=1

u=-1, v=1

u=0, v=2

u=1, v=2

u=2, v=2

u=-2, v=2

u=-1, v=2

u=0, v=-1

u=1, v=-1

u=2, v=-1

u=-2, v=-1

u=-1, v=-1

u=0, v=-2

u=1, v=-2

u=2, v=-2

u=-2, v=-2

u=-1, v=-2

U

V


Практические моменты

•Фурье-спектр изображений симметричен, т.к. f(x,y) – вещественная

•Обычная практика – умножение исходной функции на (-1)x+y

для сдвига точки F(0,0) в точку (M/2, N/2)

• F(0,0) – есть средняя яркость исходного изображения

•Обычно в изображениях преобладают низкие частоты. Для улучшения визуализации к Фурье-спектру часто применяют логарифмическое преобразование яркости.


Спектральный анализВизуализация Фурье-спектра

f(x,y) F(u,v)


Примеры


Еще примеры


Обработка в пространственной области

•Обработка в пространственной области – манипулирование пикселями изображения

•Например, инвертирование


Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображениеg(x,y) – изображение на выходе, обработанное изображениеT – оператор над f, определенный в некоторой окрестности точки (x,y)


Окрестность точки изображения


Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображениеg(x,y) – изображение на выходе, обработанное изображениеT – оператор над f, определенный в некоторой окрестности точки (x,y)

В случае окрестности 1х1: T – функция градационного преобразования вида

s = T(r),s,r – значения яркостей изображений f(x,y), g(x,y) в каждой точке (x,y)


Градационное преобразование для улучшения контраста


Основные функции градационных преобразований


Основные функции градационных преобразований

•Негатив:

•Линейное растяжение:

•Логарифмическое преобразование:

•Степенное преобразование (гамма-коррекция):


Пример кусочно-линейного преобразования


Пример логарифмического преобразования


Гистограммы


Видоизменение гистограмм

• Линейное преобразование – линейное «растяжение» гистограммы, устойчивое растяжение

•Нелинейное преобразование• Эквализация (линеаризация) гистограммы


Пороговая бинаризацияСветлый объект на темном фоне

Два светлых объекта на темном фоне

Глобальная – порог единый для всех точек изображенияЛокальная или Динамическая – когда порог зависит от координат точки (x,y)Адаптивная – когда порог зависит от значения яркости в точке I(x,y)


Глобальная бинаризация

• Выбор порога вручную

• Выбор порога автоматически1. Случайно выбрать начальное значение порога T02. Сегментировать изображение по порогу T0: регионы G1

и G2 из пикселей со значениями >T0 и ≤ T03. Вычислить средние значения μ1 and μ2 для регионов

G1 and G24. T1 = 0.5 (μ1 + μ2)5. Повторять пока | Ti - Ti+1|< Tth


Примеры бинаризации


Пространственная фильтрация (свертка изображения с фильтром)Операция свертки:

f – изображениеw – ядро, фильтрg – результат свертки f*w

Свойства:• коммутативность: f*w = w*f• ассоциативность: f*(w1*w2)=(f*w1)*w2• дистрибутивность по сложению: f*(w1+w2=f*w1 + f*w2• kf*w = f*kw = k(f*w)


Теорема о свертке

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx

http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx



Теорема о свертке

Problem in Frequency

Space

Original Problem

Solution in Frequency

Space

Solution of Original Problem

Relatively easy solution

Difficult solution

Fourier Transform

Inverse Fourier

Transform

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx




Сглаживание

•Линейные усредняющие фильтры – удаление «случайного шума»

•Фильтры, основанные на порядковых статистиках•Медианный фильтр (подавление шума «соль и перец»)


Slide credit: Fei-Fei Li


Сглаживание фильтром Гаусса

Свертка с ядром Гаусса


Сглаживание фильтром Гаусса: пример

Sigma =1.4Size = 5

Sigma =2.8Size = 10


Слайд: А. Конушин


Mexican hat


Фильтрация в частотной области


Примеры фильтрации в частотной области

Исходное изображение и его Фурье-спектр

Результат обнуления F(0,0)


Примеры фильтрации в частотной области


Заключение

•Пространственная область•Частотная область, преобразование Фурье, теорема о свертке

•Обработка в пространственной и частотной областях•Градационные преобразования (линейные, степенные, логарифмическое, эквализация гистограмм)

•Сглаживание, повышение резкости

Анализ изображений и видео, часть 1, осень 2016: Image Processing 1

Documents

Transcript of Анализ изображений и видео, часть 1, осень 2016: Image Processing 1