Т.В.Семёнова Аутизм. Современные методы диагностики и коррекции
Современные методы Optical Flow...Современные методы Optical Flow...
Transcript of Современные методы Optical Flow...Современные методы Optical Flow...
![Page 1: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/1.jpg)
Современные методы Optical Flow с GPU реализацией
Максим Харенко
Video Group CS MSU Graphics & Media Lab
![Page 2: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Локальный метод
Вариационный метод
Фазовый метод
Заключение
2
![Page 3: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение
Optical Flow — векторное поле, определяющее скорость движения каждой точки изображения
Первые публикации появились в 1980 г.
Возможные применения:
Построение карт глубины
Сегментация
Задача распознавания
Точная компенсация движения
3
![Page 4: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение
Проекция движения объектов в 3D сцене на 2D плоскость — real motion
Real motion сложно оценить из-за отличий от apparent motion:
Occlusion problem
Wrong motion problem
Aperture problem
Texture problem
4
aperture problem
http://www.pc.rhul.ac.uk/st/J.Zanker/PS1061/L4/PS1061_4.htm
![Page 5: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
5
Постановка задачи
Даны два последовательных изображения:
5
Необходимо найти векторное поле u(x), задающее соответствие точек изображений, например:
![Page 6: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
6
Локальные методы
Условие Optical Flow (Gradient constraint equation):
6
Вектор смещения ищется в каждой точке независимо
Локальный метод Lucas & Kanade:
![Page 7: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
7
Глобальные методы
7
Глобальный метод Horn & Schunck:
Сглаживает поле независимо от структуры движения
2 2 22
2 2( ) tE I I u v d
v v x
( ) ( ( ), ( ))u vv x x x,
u uu
x y
,v v
vx y
— параметр модели
Условие optical flow Условие гладкости
![Page 8: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
8
Вариационные методы
8
1 2( ) ( ) ( ) ( )D SDE E E E u u u u
1
2( ) ( ) ( )DE I I d
u x u x x
2
2( ) ( ) ( )DE I I d
u x u x x
2 2( )SE u v d
u x
, 0
2 2 2( )s s
Цель — минимизация энергии:
— регуляризацонный параметр регуляризационный параметр
![Page 9: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
9
Фазовые методы
Основная идея — применить предварительную фильтрацию изображений
9
( )( , ) ( )( , )I F t I F t t t x x v
Фильтрация проводится в различных направлениях:
2 2( ) Re( ( )) Im( ( )) — амплитуда R R x x xIm( ( ))
( ) arctanRe( ( ))
— фаза R
R
xx
x
( ) — отфильтрованное изображениеR x
0 vT
,x y
( , )u vv
t
v
— проекция на v v
Phase gradient constraint:
Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2008
![Page 10: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Локальный метод
Вариационный метод
Фазовый метод
Заключение
10
![Page 11: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Используется модель Lucas & Kanade:
Видимое смещение ищется в виде:
Полученная система решается с помощью метода наименьших квадратов с L2-нормой:
Локальный метод Алгоритм
11 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 12: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Пирамидальный алгоритм
12
Пирамиды строятся для двух последовательных кадров
Каждый следующий уровень - разрешение уменьшается вдвое
Optical Flow cчитается на вернем уровне
Используется как начальное значение для новой оценки
Билинейная интерполяция
Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 13: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Итеративное и временное улучшение
На каждом уровне пирамиды — итеративное улучшение
Текущий кадр трансформируется с помощью последнего посчитанного потока: каждая точка изображения сдвигается на соответствующее смещение посчитанное ранее
13 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 14: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Итеративное и временное улучшение
Если смещение не целое, используется билинейная интерполяция
Временное улучшение заключается в использовании посчитанных между N-1 и N кадрами полей скоростей, как начальное значение для расчета оптического потока между N и N+1 кадрами
14 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 15: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Algorithm parallelization
Расчеты optical flow для одного пикселя происходят независимо друг от друга. Вычисляются одновременно Построение пирамид, интерполяция
и расчет производных – не зависят от соседних пикселей
Вычисление смещений точки выполняется, используя только информацию из производной
На пиксель используется один CUDA thread
15 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense
and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 16: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты работы
Время исполнения CUDA реализации на последовательности 316×252 Yosemite 21 ms per frame (47 fps)
На реальной последовательности 640×480 время исполнения на оптимизированной последовательной реализации на C составило около 7 секунд на кадр
На реальной последовательности 640×480 время исполнения CUDA реализации — 67 ms per frame (15 fps)
16 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 17: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты(1)
17 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 18: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты(2)
18 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 19: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты(3)
19 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 20: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты(4)
20 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
![Page 21: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальный метод Результаты(5)
21 Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
кадр1 кадр2 кадр3
![Page 22: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Локальный метод
Вариационный метод
Фазовый метод
Заключение
22
![Page 23: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Алгоритм
Вариационная формулировка optical flow
Условие optical flow в области для каждого
24
— якобиан ; , — параметры
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 24: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод
Т.к. в Е»(г не присутствуют производные по v, ее
минимизация сводится к точечной минимизации для фиксированных х+v(х) и u(x) строго выпуклой функции
А – дифференциал I1 в точке
b – вещественное число
Минимизация сводится к подсчету остаточной проекции
25 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 25: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
В случае, если гладкая и может быть минимизирована обычными методами
Иначе не являясь гладкой, достигает минимума в
Где пи – проекция на выпуклое множество С
Вариационный метод Предположение 1
26 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 26: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Реализация
28 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 27: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Проекция на эллиптический шар
29 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 28: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Реализация
5 уровней пирамиды с уменьшением разрешения вдвое
На шаге проекции градиент оценивается бикубическим подходом (bicubic interpolation)
Процедура минимизации (для предположения 1) хорошо распараллеливается
Реализовано на CUDA C
30 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 29: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Входные данные
31
Color Gradient Laplacian
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 30: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Результаты на dimetradon
32
Ground truth RGB-алгоритм
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 31: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Результаты на dimetradon
33
Ground truth GCA-алгоритм
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 32: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Результаты на groove3
34
Ground truth RGB-алгоритм
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 33: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Результаты groove3
35
BCA-алгоритм RGB+MF-алгоритм
Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 34: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Average endpoint error
36 Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
![Page 35: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вариационный метод Результаты
Время расчета optical flow для пары 640x480 RGB кадров около 0.5 секунды
За счет небольшого снижения точности (снижение количества итераций warps) RGB+MF алгоритм производит расчет optical flow для 640x480 RGB кадров в реальном времени
37
![Page 36: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Локальный метод
Вариационный метод
Фазовый метод
Заключение
38
![Page 37: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Каждый кадр в последовательности раскладывается по направлениям набором фильтров направлений
Для каждого направления считается величина и знак скорости (component velocities)
39
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
Фазовый метод Базовый алгоритм
![Page 38: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Базовый алгоритм
Из системы линейных уравнений находятся начения х- и у-компоненты векторов optical flow
40
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 39: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Пример ST-slice
Объект на последовательности кадров движется в направлении 0˚(вправо) на 1 пиксель за кадр
Вдоль пунктирной линии сделано 2 среза (по направлениям 0˚ и 90˚) последовательности кадров
Пространственная координата среза всегда соответствует направлению
Сomponent velocity для заданного направления зависит от tg a
41
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 40: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Фильтрация
Фильтр направлений состоит из двух частей: продольная и поперечная
Продольная часть – фильтр низких частот с узкой полосой пропускания, пропускающий частотный спектр, находящийся в направлении фильтра
Поперечная часть – bandwidth filter с широкой полосой, пропускающей всю часть спектра находящегося в заданной области для данного направления. Такой тип сигналов называется аналитическим (для негативных частот спектр сигнала равен нулю)
42
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 41: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Фильтрация
Т.к. фильтр направлений производит analytic signal, то опишем ST-slice как
S – вектор состоящий из координаты s направленной вдоль направления фильтра и временной координаты t
– функция амплитуды
– фазовая функция
43
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 42: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Мгновенное значение частота
Сomponent velocity зависит от смещения фазы на ST-slice
Следовательно, важная информация содержится в фазовом градиенте , называемом мгновенным значением частоты (FM функция)
44
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 43: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Вращение
45
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 44: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Оценка мгновенных частот
----мы – комплексная функция, получаемая из фильтра направлений
component velocity получают, изучая смещение фазы на ST-slice
46
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 45: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Чтобы посчитать направление движения (угол ) структуры на ST-slice из мгновенного значения частоты, вводят тензор
Тензор – матрица 2х2, описывающая структуру без ST-slice
, – мгновенные значения частоты
Фазовый метод Тензор
47
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 46: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Тензор
– – собственный вектор, определяется наименьшим собственным значением
Тогда component velocities ищется как
48
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 47: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Алиасинг
49
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
В базовом алгоритме при высоких скоростях появляется алиасингом
пространственно временной срез
![Page 48: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Алиасинг
50
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
пространственно временной срез
![Page 49: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Pyramid algorithm
Для лучшей оценки высоких скоростей используется пирамидальная схема с множителем 2
Изображение сглаживается и его разрешение уменьшается вдвое
Для грубой оценки используется сглаженная последовательность с низким разрешением
51
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 50: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/50.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Компенсация
52
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 51: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/51.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Реализация базового алгоритма(1)
Передача данных между RAM и global memory дорога, поэтому вся последовательность копируется в global memory
Все промежуточные результаты хранятся в GPU
Текущий кадр загружается в texture memory
При подсчете мгновенных частот кадра требуются результаты работы фильтра направлений для предыдущего, текущего и следующего кадра
53
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 52: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/52.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Реализация базового алгоритма(2)
При подсчете component velocities для одного кадра необходим набор мгновенных частот (в зависимости от временного радиуса ST-slice)
Продольная и поперечная части фильтра направлений выполняются последовательно
Вместо использования набора фильтров направлений кадр вращается. После подсчета component velocities происходит обратный поворот
54
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 53: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/53.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Оптимизация
Transversal filtering kernel эффективен с shared memory
Longitudinal filtering kernel эффективен с texture memory
Использование векторного типа (float2) снижает количество обращений к памяти, считывая и записывая несколько переменных за одну транзакцию
Например, используя векторный тип вместе с texture memory, число обращений к back-rotating kernel снижается на 50%
55
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 54: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/54.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Результаты(1)
56
Технические характеристики: Intel Core 2 Quad 2.4GHz, 2GB DDR2-SDRAM, NVIDIA GeForce GTX 260, CUDA compute capability 1.3, 27 multiprocessors, 216 cores, 896MB global memory
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 55: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/55.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Результаты(2)
57
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
average angle error
![Page 56: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/56.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Фазовый метод Результаты Yosemite Cloudless
58
Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
![Page 57: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/57.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Локальный метод
Вариационный метод
Фазовый метод
Заключение
59
![Page 58: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/58.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заключение
Алгоритмы с фильтрами направлений хорошо распараллеливаются
TV-L1 демонстрирует высокое качество в реальном времени
Для оценки сильного движения современные методы часто используют пирамидальные алгоритмы
60
![Page 59: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/59.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература
1. S. Baker, D. Scharstein, JP Lewis, S. Roth, M. Black, R. Szeliski. A Database and Evaluation Methodology for Optical Flow, 2011
2. Julien Marzat, Yann Dumortier, Andre Ducrot, “Real-Time Dense and Accurate Parallel Optical Flow using CUDA”, WSCG, 2009
3. Robert Hegner, Ivar Austvoll, Tom Ryen, Guido M. Schuster,” Efficient Implementation of Optical Flow Algorithm Based on Directional Filters on a GPU Using CUDA”, EUSIPCO, 2011
4. Lars Lau Rak, Lars Roholm, Mads Nielsen, Francois Lauze, “TV-L1 Optical Flow for Vector Valued Images”, EMMCVPR, 2011
5. Middlebury benchmark. http://vision.middlebury.edu/flow/
61
![Page 60: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/60.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
62
?
![Page 61: Современные методы Optical Flow...Современные методы Optical Flow с GPU реализацией Максим Харенко Video Group CS MSU Graphics](https://reader033.fdocuments.net/reader033/viewer/2022050111/5f48fc074dbcdc5f5d6e4bb6/html5/thumbnails/61.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищено 5 диссертаций
Наиболее популярные в мире сравнения видеокодеков
Более 3 миллионов скачанных фильтров обработки видео
63