Некоторые методы обнаружения артефактов 3D-видео

Некоторые методы обнаружения

артефактов 3D-видео

Алексей Борисов

Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

Содержание

Введение

Несоответствие по фокусу

Стабильность по глубине

Несоответствие границ по резкости

Заключение

2

http://www.compression.ru/video/


Only for Maxus

Введение Проблемы стереовидео

3

Несогласованность с системой отображения

Артефакты стереосъёмки Артефакты конвертации

Сдвиг по вертикали, наклон

Различия по цвету, фокусу

Рассинхронизация по времени

Неправильный Zoom

Стробление на границах

Изгибы на вертикальных границах

Прилипание мелких деталей к фону

Некачественное заполнение областей открытия

Нестабильное заполнение областей открытия

Контроль глубины



Only for Maxus

Введение Проблемы стереовидео

4

Несогласованность с системой отображения

Артефакты стереосъёмки Артефакты конвертации

Сдвиг по вертикали, наклон

Различия по цвету, фокусу

Рассинхронизация по времени

Неправильный Zoom

Стробление на границах

Изгибы на вертикальных границах

Прилипание мелких деталей к фону

Некачественное заполнение областей открытия

Нестабильное заполнение областей открытия

Контроль глубины



Only for Maxus


Введение





5


6 Левый ракурс Правый ракурс

Несоответствие по фокусу Пример из фильма «Аватар»


Only for Maxus

Происхождение статьи

7 Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012



Only for Maxus

Постановка задачи

Входные данные:

Выходные данные:

Степень рассинхронизации

Рекомендации по исправлению

Приложение: Автокалибровка фокуса для стереорига

8

Стереопара

Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012



Only for Maxus

Математическая модель (1)

9

Параметры камеры: FD, DOF




Only for Maxus

Математическая модель (2)




Only for Maxus

Шаги алгоритма

11

1. Вычисление карты диспаритета

2. Измерение резкости каждого пикселя

3. Вычисление вспомогательных статистик

4. Оценивание параметров модели

5. Формирование результата (степень рассинхронизации + рекомендации по исправлению)




Only for Maxus

Шаг 1/5 Вычисление карты диспаритета

12

Используются:

Алгоритм Optical Flow, устойчивый к различиям по фокусу (M. Sizintsev, 2010)

Алгоритм Left-Right Consistency Check для поиска областей открытия

Julien Marzat, et al., “Real-Time Dense and Accurate Parallel Optical Flow using CUDA,” in WSCG, 2009



Only for Maxus

Шаг 2/5 Измерение резкости

13

Авторы используют: T = 5 N = 1 s = 1




Only for Maxus

Шаг 3/5 Вспомогательные статистики

14

Мера надёжности:

Агрегированные значения по уровням глубины:

Индикатор ракурса с большей резкостью пикселя:

M(i) =

w(i) =




Only for Maxus

Шаг 4/5 Построение модели


C(d) {−0.7, −0.3, 0, 0.3, 0.7}

Минимизация функционала E(C):



Only for Maxus

Шаг 5/5 Формирование результата

16

Сопоставление C(d) c модельными конфигурациями:




Only for Maxus

17 J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., year Левый ракурс



Only for Maxus

18 J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., year Правый ракурс



Only for Maxus

Результаты (1)

19

M(d

)


w(d

)

d d

Индикатор ракурса, более резкого на заданном

уровне глубины

Мера надёжности на заданном

уровне глубины



Only for Maxus


20

С(d

)


d

Построенная модель Эталонная модель



Only for Maxus


21

Карта глубины Карта направления

расфокусировки




Only for Maxus


22

Карта глубины Карта степени

расфокусировки




Only for Maxus


23

Карта глубины Левый ракурс

Полосами отмечены регионы, более резкие на другом ракурсе




Only for Maxus


24

Карта глубины Правый ракурс

Полосами отмечены регионы, более резкие на другом ракурсе




Only for Maxus

Выводы

25

Достоинства:

Теоретическая обоснованность

Низкая вычислительная сложность

Возможность улучшения качества

Недостаток:

Результаты только на синтезированных данных



Only for Maxus


Введение





26



Only for Maxus

Стабильность по глубине Постановка задачи

Проблема: «дрожание» объектов по глубине во времени http://footage.shutterstock.com/clip-770785-stock-footage- aspen-leaves-tremble-on-a-summer-wind.html

27



Only for Maxus


28 M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011

IEEE International Workshop on Hot Topics in 3D



Only for Maxus

«Идеальная глубина»




Only for Maxus

Используемые обозначения

30

реальная и виртуальная камеры

фокальные расстояния

горизонтальные координаты камер в глобальной системе координат

расстояние между камерами

M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011



Only for Maxus Построение

«идеальной глубины» (1)

31

Основное уравнение синтеза нового ракурса:

Точное выражение для идеальной глубины:


(s= 1)





32

Эвристика для небольших сдвигов:

Ещё одно приближение:




Only for Maxus

Оценка качества (1)

Основная статистика:

34

Вспомогательные метрики:

Spatial error Outliers (SO)

Temporal error Outliers (TO)

Temporal Inconsistencies (TI)

Предложенная метрика:




Only for Maxus

Оценка качества (2) Вспомогательные метрики

35

Spatial error Outliers:

Temporal error Outliers:

Temporal Inconsistencies:




Only for Maxus

Результаты


VQM

DM

OS DMOS =

MOS(reference) −

MOS(processed)

Субъективная оценка:

Предложенная метрика:

VQM



Only for Maxus

Выводы

37

Достоинство:

Уникальность

Недостатки:

Неясность формул

Неубедительность результатов



Only for Maxus


Введение





38



Only for Maxus Несоответствие границ

по резкости

39

Левый ракурс Правый ракурс Синтезированная

стереопара

L

R



Only for Maxus


40

The True Vision Capture, Transmission

and Display of 3D Video

Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009



Only for Maxus

Full-Reference metric

– этал – эталонный и синтезированный ракурсы

– границы на эталонном и синтезированном

– ракурсах

– значение соответствующего пикселя – из карты глубины

41 Hang Shao et al., “Objective quality assessment of depth image

based rendering in 3DTV system,” in 3DTV-CON, 2009



Only for Maxus

Результаты Исходные (синтезированные) данные

42 Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009

a b c

d e

b



Only for Maxus

43 a



Only for Maxus

44

a

b



Only for Maxus

45

a

c



Only for Maxus

46

a

d



Only for Maxus

47

a

e



Only for Maxus

Результаты Найденные границы (1)

48

b

a c d e

Границы на синтезированных данных (красный прямоугольник)

Эталонный кадр Эталонная карта границ

b Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009



Only for Maxus

Результаты Найденные границы (2)

49

b

a c e

Границы на синтезированных данных (синий прямоугольник)

Эталонный кадр Эталонная карта границ

b d Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009



Only for Maxus

Результаты Сравнение с субъективными оценками

Приемлемое качество: Obj. > 0,7

50

b

Последова-тельность

Способ оценки

a b c d e

Tsukuba Obj. 0,479 0,573 0,563 0,707 0,646

Sub. −45 −25 −35 −11 −25

Teddy Obj. 0,557 0,578 0,557 0,756 0,763

Sub. −30 −18 −22 −10 −10

Venus Obj. 0,474 0,615 0,498 0,723 0,728

Sub. −45 −26 −40 −20 −20

Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009



Only for Maxus

Выводы

51

Достоинство:

Учитывает глубину объекта (артефакты на близких объектах более заметны)

Недостаток:

Финальная оценка по кадру зависит от сцены (происходит усреднение по «плохим и хорошим» границам)



Only for Maxus


Введение





52



Only for Maxus

Дальнейшие планы

Работа над метриками качества для конвертированного стерео (использование идей из второй и третей статей)

Реализация алгоритма Focus Mismatch Detection

53



Only for Maxus

Литература

1. F. Devernay, S. Pujades and V. Ch.A.V., “Focus mismatch detection in stereoscopic content,” in Proceedings of SPIE, Stereoscopic Displays and Applications, vol. 8288, San Francisco, CA, 2012.

2. M. Solh and G. AlRegib, "A No-reference Quality Measure for DIBR-Based 3D Videos," in IEEE International Workshop on Hot Topics in 3D, Barcelona, July 2011.

3. H. Shao, X. Cao and G. Er, “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, Potsdam, May 2009, pp. 1–4.

54



Only for Maxus

Настоящие планы

55

«Хреновый контент»



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

Выпускниками защищены 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

56


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



Некоторые методы обнаружения артефактов 3D-видео

Education

Transcript of Некоторые методы обнаружения артефактов 3D-видео