marta_egorova
DESCRIPTION
Presentation from Yaroslavl seminar, September 2010TRANSCRIPT
АЛГОРИТМ АВТОМАТИЧЕСКОГО ВЫБОРА ФОТОГРАФИЙ ДЛЯ
МУЛЬТИМЕДИА-ПРИЛОЖЕНИЙ
ПОТАПОВА Е.В., ЕГОРОВА М.А., САФОНОВ И.В.
Национальный исследовательский ядерный университет «МИФИ»
3
Применение: фотоальбомы, Применение: фотоальбомы, фотокнигифотокниги
4
Применение: слайд-шоуПрименение: слайд-шоу
5
Схема алгоритмаСхема алгоритма
5
Схема алгоритмаСхема алгоритма
Определение некачественных
фотографий
Определение некачественных
фотографий
Адаптивное квантование
5
Схема алгоритмаСхема алгоритма
Выбор значимых
изображений
Определение некачественных
фотографий
Адаптивное квантование
5
Схема алгоритмаСхема алгоритма
Определение некачественных Определение некачественных фотографийфотографий
6
Дефекты экспозиции
Отсутствие резкости, размытие
Артефакты сжатия
7
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Некачественное
изображение
3
1
3
1,9
1
i jjiqK
Таблица квантования
A.Foi et al.,2007
Дерево решений для оценки Дерево решений для оценки качествакачества
7
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Некачественное
изображение
Дерево решений для оценки Дерево решений для оценки качествакачества
8
+
Хорошая фотография
Плохая фотография
True
False
…
…
11 TF
ii TF
NN TF
}{ iF
1w
iw
Nw
N
ii Tw
1
AdaBoost AdaBoost комитет классификаторовкомитет классификаторов
9
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Некачественное
изображение
Обучающий набор: 480 фотографий
Ошибка при перекрестной проверке : ~0.055
Тестовый набор: 1830 с 2% фотографий с дефектами экспозиции
Количество ложных срабатываний (FP): 10 Количество ложных пропусков (FN): 3
Дерево решений для оценки Дерево решений для оценки качествакачества
10
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Некачественное
изображение
An
An
121 An An FB
10
12
iiAnFB
23 A FB
I.Safonov et al.,2008
FB4 – безреференсная метрика, предложенная F.Crete et al.,2007
Дерево решений для оценки Дерево решений для оценки качествакачества
10
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Некачественное
изображение
Качественное изображение
Обучающий набор: 416 фотографий
Ошибка при перекрестной проверке: ~0.07
Тестовый набор : 1830 со 171 размытой фотографией
Количество ложных срабатываний (FP): 34Количество ложных пропусков (FN): 10
Дерево решений для оценки Дерево решений для оценки качествакачества
Время создания снимка
Модель камеры
1
243
L
H
11
H = L/M
Nregion < M
Вычисление габаритов
Разделение на две равные части
Поиск наибольшей области
1200
3600
2400
72000 36000 T, s21600
четноеiipsNH
нечетноеiiHpsY
:)2/1(
:2/)1(
i – номер источника
L – время между первым и последним событием для самого большого источника
Nps – количество источников
M – желаемое количество изображений
да
Nregion = M
да
Квантование на плоскости время-Квантование на плоскости время-камеракамера
Наиболее привлекательное изображение – наиболее «выпуклое»
L.Itti, C.Koch et al.
Изображения взяты из интернета
Карта важностиКарта важности
12
Карты видимости
Пирамиды Гаусса
Изображение
Интенсивность r-канал g-канал b-канал
R-канал G-канал B-канал Y-канал
Карта ориентации
Карта интенсивности
Карта цвета
Карта важности
Характеристические карты
Пирамиды Габора
Построение карты важностиПостроение карты важности
13
O(σ,0°) O(σ,45°) O(σ,90°) O(σ,135°) I(σ) R(σ) G(σ) B(σ) Y(σ)
O(c,s,0°) O(c,s,45°) O(c,s,90°) O(c,s,135°) I(c,s) RG(c,s) BY(c,s)
Исходное изображение
Карта важности
Карта интенсивности
Карта цвета
Карта ориентации
Областьинтереса
Изображения взяты из интернета
Нахождение весовНахождение весов
14
Отбор изображений с Отбор изображений с использованием карты важностииспользованием карты важности
Индекс важности
4),( maxS
yxS 124
88
11
100
81 9262
83105 7015
83
11124Индекс важности
4),( maxS
yxS
81
88 62 92
105 70
100
Отбор изображений с использование Отбор изображений с использование карты важностикарты важности
15
Главные недостатки:
среднее число FP растет с размером изображения
0
1
2
3
4
5
6
7
0 500 1000 1500 2000 2500
S, pixelav
gn
FP
0
5
10
15
20
25
30
0 500 1000 1500 2000 2500 3000
S, pixelt,
s.
0
1
2
3
4
5
6
7
0 500 1000 1500 2000 2500S, pixel
avg
nF
PBefore skin tone detection After skin tone detection
0
5
10
15
20
25
30
0 1000 2000 3000S, pixel
t, s.
After modification Before modification
Фотографии с людьми привлекают больше внимания
время обработки увеличивается с размером изображения
Шесть лиц были определены ложно
Модификации: уменьшение размера изображения до начала обработки использование информации о тоне кожи
P.Viola, M.Jones, 2001
Viola-Jones, Intel OpenCV
До модификации После модификации
Определение лицОпределение лиц
16
Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат
124
88
11
116 92
118148 95
62
100
Ранжирование изображенийРанжирование изображений
17
NF – количество определенных лиц
118
62
Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат
124
88
11
100
116
92
148 95
Ранжирование изображенийРанжирование изображений
17
NF – количество определенных лиц
Обсуждение результатовОбсуждение результатов
18
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
Обсуждение результатовОбсуждение результатов
18
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
Обсуждение результатовОбсуждение результатов
18
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
НаборНабор 1 1 НаборНабор 2 2 НаборНабор 3 3 НаборНабор 4 4 НаборНабор 5 5 СуммаСумма
«Лучшие» 6 5 6 5 7 29
«Хорошие» 3 4 4 4 2 17
«Плохие» 1 1 0 1 1 4
«Лучшие» 2 2 2 6 5 17
«Хорошие» 6 7 7 0 4 24
«Плохие» 2 1 1 4 1 9
«Лучшие» 2 2 3 4 4 15
«Хорошие» 5 5 4 2 5 21
«Плохие» 3 3 3 4 1 14
Пре
длож
енны
й ал
гори
тмAu
toCo
llage
Сл
учай
ная
в
ыб
ор
ка
Обсуждение результатовОбсуждение результатов
18
• предложен алгоритм автоматического выбора заданного количества изображений
• предложено использовать дерево решений, построенное на AdaBoost комитетах классификаторов, для оценки качества изображения
• сформулирован количественный критерий оценки важности изображения
• проведено сравнение нескольких способов выбора изображений
ЗаключениеЗаключение
ВопросыВопросы??
Спасибо Спасибо за за
внимание!внимание!
FH1=S1/S2 – отношение тона в тени и центре
)/()(]85,0[
1 NMiHS )/()(]170,85(
2 NMiHS
Гистограммные признакиГистограммные признаки
FH2=S11/S12 – отношение тона в 1-ой и 2-ой части тени
)(/)(]42,0[
11 NMiHS )(/)(]85,42(
12 NMiHS
Гистограммные признакиГистограммные признаки
FH3=M1/M2 - отношение max в тени к max в центре
]255,0[]85,0[1 ))(max(/))(max( iHiHM
]255,0[]170,85(2 ))(max(/))(max( iHiHM
Гистограммные признакиГистограммные признаки
FH4 – положение максимума в тени
]85,0[))(max()(|4 iHlHlFH
]85,0[))(max( iH
P1
Гистограммные признакиГистограммные признаки
FH5 – глобальный контрастlowhighFH 5
})][|min{},][|min(min{0
00
i
k
CkHiHiHilow })][|max{},][|max(max{1
11
ik
RR CkHiHiHihigh
H0
C0
C1
H1
Гистограммные признакиГистограммные признаки
Изображение
ИнтенсивностьZ1=[-1 1]
Z2=[-1 0 1]
Z3=[-1 0 0 1]
Z10=[-1 0 0 0 0 0 0 0 0 0 1]
I.Safonov et al.,2008
…
Границы
ii ZIE
3
bgrI
ГистограммаiHe
Нормализованная энтропия
k
kiHeiA )1)(log(
Энтропия в [0, 1]
iAn
121 An An F
10
12
iiAnF
23 A F
?
?
?
?
An An
Признаки определения резкости - 1Признаки определения резкости - 1
SDI
SVSDI F h )(
4
cr
crDISDI,
),(
crcrDBcrDIhh
hecrDBcrDISV
,)),(),((1001
1)),(),((
F.Crete et al.,2007
LPFIBh
HPFIDI
HPFBDB hh
231 An An F
11
22
iiAnF
23 A F
?
Изображение
Размытое изображение Границы
Границы
Сравнение изображений
HPF=[1 -1]LPF=[1 1 1 1 1 1 1 1 1]/9
Признаки определения резкости - 2Признаки определения резкости - 2