Некоторые алгоритмы многомерной обработки...

Некоторые алгоритмы многомерной обработки

изображений

Юрий Бердников

Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

Содержание

Введение

Gaussian KD-Tree

Permutohedral Lattice (PL)

Adaptive Manifolds (AM)

Заключение

2

http://www.compression.ru/video/


Only for Maxus

Введение

Алгоритмы многомерной фильтрации применяются почти во всех наших проектах

Они универсальны

Они медленно работают

3 Изображение из Mr. Barlow’s blog http://mrbarlow.wordpress.com/2008/11/30/turtle-in-a-half-shell-turtle-power/



Only for Maxus


Введение

Gaussian KD-Tree




4



Only for Maxus

Основы метода

5 Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009



Only for Maxus

Bilateral grid


Равномерная сетка

Экспоненциальный рост количества точек с ростом размерности пространства



Only for Maxus

KD-Tree

7

Разбиение пространства к-мерным деревом

Медленный рост количества точек с ростом размерности пространства

Дополнительные затраты на построение

Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009



Only for Maxus

Splatting




Only for Maxus

Blurring




Only for Maxus

Slicing




Only for Maxus

Построение KD-Tree

11

1. Построение Bounding Box (BB)

2. Если размер BВ меньше порога, конец итерации, центр BB – вершина дерева

3. Разделение BB вдоль меньшей оси

4. Повторение шагов 1 – 4 для получившихся сегментов




Only for Maxus

Условия тестирования

12

10 Мп RGB-изображение

Дисперсия по цвету = 1/8

CPU-реализация на Core2Duo 2.13 GHz

GPU-реализация на GTX280 (ускорение в 10 раз)




Only for Maxus

Скорость работы




Only for Maxus

Качество работы Root Mean Square (RMS)




Only for Maxus

Использование памяти




Only for Maxus

Примеры работы Naive Bilateral Filter (NBF)




Only for Maxus

Примеры работы 5D Grid




Only for Maxus

Примеры работы KD-Tree




Only for Maxus

Примеры работы 3D Grid




Only for Maxus

Примеры работы Разность KD-Tree и NBF




Only for Maxus

Примеры работы Разность 3D Grid и NBF




Only for Maxus

Выводы

Достоинства

Высокая скорость работы

Доступен код на С++ и CUDA

Доступна авторская видеопрезентация

Недостаток

Не представлено примеров по нашим темам

22



Only for Maxus


Введение

Gaussian KD-Tree




23



Only for Maxus


24 Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010



Only for Maxus

Предложенный метод (1)




Only for Maxus





Only for Maxus

Permutohedral Lattice


Проекция n–мерной

целочисленной решетки

на (n – 1) - мерную

плоскость, ортогональную единичному вектору



Only for Maxus


Разделение пространства на симметричные симплексы ⇒ быстрая барицентрическая

интерполяция (splatting и slicing)

Тривиальное вычисление соседних точек решётки ⇒ быстрое сглаживание (blurring)

Существенная экономия памяти

Permutohedral Lattice Преимущества использования



Only for Maxus


Скорость работы



Only for Maxus


Анализ замеров скорости



Only for Maxus

Пример работы Исходный кадр




Only for Maxus

Пример работы Обработанный кадр




Only for Maxus

Выводы



Приведено полное описание алгоритма

Доступен код на С++ и CUDA


Недостатки

Примеров работы очень мало

Реализация кросс-фильтрации неочевидна

34



Only for Maxus


Введение

Gaussian KD-Tree




35



Only for Maxus





Only for Maxus

Splatting

37 Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012

Координата

Величина сигнала Адаптивные поверхности (manifolds)



Only for Maxus

Blurring




Only for Maxus

Slicing




Only for Maxus

Splatting

40

Ядро Гаусса Матрица ковариации Значение в точке поверхности

Значение сигнала Координата поверхности Координата на поверхности

Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012



Only for Maxus

Blurring

41

Сглаживание с ядром Гаусса

Учет кривизны поверхности

Использование растяжения пространства для устранения анизотропии ядра Гаусса




Only for Maxus

Slicing

42

– результат сглаживания


Итоговое значение сигнала



Only for Maxus

Построение поверхностей Алгоритм (1)

43

1. Построение первой поверхности низкочастотной фильтрацией

2. Определение преобладающего направления отклонения сигнала от поверхности

– собственный вектор матрицы

соответствующий наибольшему собственному значению




Only for Maxus

Построение поверхностей Алгоритм (2)

44

3. Разбиение множества пикселей на два подмножества согласно

4. Повторение шагов 2–4 для получившихся подмножеств

5. Критерий остановки алгоритма: достижение заданной высоты построенного дерева поверхностей




Only for Maxus

Построение поверхностей Ограничение высоты дерева (1)

45

Для обработки RGB-изображений:


Матрица дисперсий по расстоянию

Матрица дисперсий по цвету



Only for Maxus

Построение поверхностей Предложенные авторами значения




Only for Maxus

Построение поверхностей Ограничение высоты дерева (2)

47

Для иных случаев:

Подбирать вручную, поддерживая баланс скорость/качество

Остановиться, когда среднее отклонение сигнала от ближайшей плоскости будет достаточно мало




Only for Maxus

Построение поверхностей Исходный кадр




Only for Maxus

Построение поверхностей Результат (1/1)




Only for Maxus

Построение поверхностей Результат (2/2)




Only for Maxus

Детали реализации

Низкочастотный фильтр

применяется дважды, в двух направлениях, к прореженному изображению.

Число опорных точек =

Для сглаживания используется рекурсивный фильтр [Gastal, 2011]




Only for Maxus

Точность резульатов


PSNR with Naive Bilateral Filter



Only for Maxus

Скорость работы (1)




Only for Maxus





Only for Maxus

Примеры работы (1)




Only for Maxus





Only for Maxus

Примеры работы (2e)




Only for Maxus

Выводы



Наличие полного математического обоснования работы метода и выбора параметров

Доступен код для MATLAB


Недостатки

Не представлено примеров по нашим темам

Реализация кросс-фильтрации неочевидна

64



Only for Maxus


Введение

Gaussian KD-Tree




65



Only for Maxus


Алгоритмы решают поставленную задачу

Для представленных алгоритмов доступен исходный код

Надо брать, тестировать и использовать!

66

Изображение из I-Love-Cartoons Clipart http://i-love-cartoons.us/snags/clipart/christmas/garfield/Xmas-Garfield-Tree.php



Only for Maxus

Литература (1)

1. A. Adams, N. Gelfand, J.Dolson, and M. Leroy, “Gaussian KD-Trees for Fast High-Dimensional Filtering,” in ACM Transactions on Graphics, Proceedings of ACM SIGGRAPH 2009, Volume 28 Issue 3, August 2009, Article No. 21.

2. A. Adams, J. Baek, and M. A. Davis, “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” in Computer Graphics Forum, Vol. 29, No. 2. (2010), pp. 753 – 762.

3. Eduardo S. L. Gastal and Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” in ACM Transactions on Graphics, SIGGRAPH 2012 Conference Proceedings, Volume 31 Issue 4, July 2012, Article No. 33.

67



Only for Maxus

Литература (2)

4. Sylvain Paris and Frédo Durand, “A Fast Approximation of the Bilateral Filter Using a Signal Processing Approach,” in Proceedings of the European Conference on Computer Vision, 2006, pp. 568 – 580.

5. Eduardo S. L. Gastal and Manuel M. Oliveira, “Domain Transform for Edge-Aware Image and Video Processing,” in ACM Transactions on Graphics, Volume 30, Number 4, Proceedings of SIGGRAPH 2011, Article 69.

68



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

Выпускниками защищены 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

69


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



Некоторые алгоритмы многомерной обработки...

Education

gaussian kdtrees

andrew adams

maxus kdtree

maxus root

maxus splatting

maxus blurring

maxus slicing

maxus bilateral grid