marta_egorova

АЛГОРИТМ АВТОМАТИЧЕСКОГО ВЫБОРА ФОТОГРАФИЙ ДЛЯ

МУЛЬТИМЕДИА-ПРИЛОЖЕНИЙ

ПОТАПОВА Е.В., ЕГОРОВА М.А., САФОНОВ И.В.

Национальный исследовательский ядерный университет «МИФИ»

3

Применение: фотоальбомы, Применение: фотоальбомы, фотокнигифотокниги

4

Применение: слайд-шоуПрименение: слайд-шоу

5

Схема алгоритмаСхема алгоритма

5

Схема алгоритмаСхема алгоритма

Определение некачественных

фотографий

Определение некачественных

фотографий

Адаптивное квантование

5

Схема алгоритмаСхема алгоритма

Выбор значимых

изображений

Определение некачественных

фотографий

Адаптивное квантование

5

Схема алгоритмаСхема алгоритма

Определение некачественных Определение некачественных фотографийфотографий

6

Дефекты экспозиции

Отсутствие резкости, размытие

Артефакты сжатия

7

Наличие сильных артефактов сжатия

(Пороговое отсечение по K)

Наличие сильных артефактов сжатия

(Пороговое отсечение по K)

Некачественное

изображение

3

1

3

1,9

1

i jjiqK

Таблица квантования

A.Foi et al.,2007

Дерево решений для оценки Дерево решений для оценки качествакачества

7

Наличие сильных артефактов сжатия

(Пороговое отсечение по K)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Некачественное

изображение

Дерево решений для оценки Дерево решений для оценки качествакачества

8

+

Хорошая фотография

Плохая фотография

True

False

…

…

11 TF

ii TF

NN TF

}{ iF

1w

iw

Nw

N

ii Tw

1

AdaBoost AdaBoost комитет классификаторовкомитет классификаторов

9

Оценка артефактов сжатия

(Пороговое отсечение по K)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Некачественное

изображение

Обучающий набор: 480 фотографий

Ошибка при перекрестной проверке : ~0.055

Тестовый набор: 1830 с 2% фотографий с дефектами экспозиции

Количество ложных срабатываний (FP): 10 Количество ложных пропусков (FN): 3

Дерево решений для оценки Дерево решений для оценки качествакачества

10

Оценка артефактов сжатия

(Пороговое отсечение по K)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Оценка резкости изображения

(AdaBoost , FB1-FB4)

Оценка резкости изображения

(AdaBoost , FB1-FB4)

Некачественное

изображение

An

An

121 An An FB

10

12

iiAnFB

23 A FB

I.Safonov et al.,2008

FB4 – безреференсная метрика, предложенная F.Crete et al.,2007

Дерево решений для оценки Дерево решений для оценки качествакачества

10

Оценка артефактов сжатия

(Пороговое отсечение по K)

Определение дефектов экспозиции

(AdaBoost , FH1-FH5)

Оценка резкости изображения

(AdaBoost , FB1-FB4)

Оценка резкости изображения

(AdaBoost , FB1-FB4)

Некачественное

изображение

Качественное изображение

Обучающий набор: 416 фотографий

Ошибка при перекрестной проверке: ~0.07

Тестовый набор : 1830 со 171 размытой фотографией

Количество ложных срабатываний (FP): 34Количество ложных пропусков (FN): 10

Дерево решений для оценки Дерево решений для оценки качествакачества

Время создания снимка

Модель камеры

1

243

L

H

11

H = L/M

Nregion < M

Вычисление габаритов

Разделение на две равные части

Поиск наибольшей области

1200

3600

2400

72000 36000 T, s21600

четноеiipsNH

нечетноеiiHpsY

:)2/1(

:2/)1(

i – номер источника

L – время между первым и последним событием для самого большого источника

Nps – количество источников

M – желаемое количество изображений

да

Nregion = M

да

Квантование на плоскости время-Квантование на плоскости время-камеракамера

Наиболее привлекательное изображение – наиболее «выпуклое»

L.Itti, C.Koch et al.

Изображения взяты из интернета

Карта важностиКарта важности

12

Карты видимости

Пирамиды Гаусса

Изображение

Интенсивность r-канал g-канал b-канал

R-канал G-канал B-канал Y-канал

Карта ориентации

Карта интенсивности

Карта цвета

Карта важности

Характеристические карты

Пирамиды Габора

Построение карты важностиПостроение карты важности

13

O(σ,0°) O(σ,45°) O(σ,90°) O(σ,135°) I(σ) R(σ) G(σ) B(σ) Y(σ)

O(c,s,0°) O(c,s,45°) O(c,s,90°) O(c,s,135°) I(c,s) RG(c,s) BY(c,s)

Исходное изображение

Карта важности

Карта интенсивности

Карта цвета

Карта ориентации

Областьинтереса

Изображения взяты из интернета

Нахождение весовНахождение весов

14

Отбор изображений с Отбор изображений с использованием карты важностииспользованием карты важности

Индекс важности

4),( maxS

yxS 124

88

11

100

81 9262

83105 7015

83

11124Индекс важности

4),( maxS

yxS

81

88 62 92

105 70

100

Отбор изображений с использование Отбор изображений с использование карты важностикарты важности

15

Главные недостатки:

среднее число FP растет с размером изображения

0

1

2

3

4

5

6

7

0 500 1000 1500 2000 2500

S, pixelav

gn

FP

0

5

10

15

20

25

30

0 500 1000 1500 2000 2500 3000

S, pixelt,

s.

0

1

2

3

4

5

6

7

0 500 1000 1500 2000 2500S, pixel

avg

nF

PBefore skin tone detection After skin tone detection

0

5

10

15

20

25

30

0 1000 2000 3000S, pixel

t, s.

After modification Before modification

Фотографии с людьми привлекают больше внимания

время обработки увеличивается с размером изображения

Шесть лиц были определены ложно

Модификации: уменьшение размера изображения до начала обработки использование информации о тоне кожи

P.Viola, M.Jones, 2001

Viola-Jones, Intel OpenCV

До модификации После модификации

Определение лицОпределение лиц

16

Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат

124

88

11

116 92

118148 95

62

100

Ранжирование изображенийРанжирование изображений

17

NF – количество определенных лиц

118

62

Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат

124

88

11

100

116

92

148 95

Ранжирование изображенийРанжирование изображений

17

NF – количество определенных лиц

Обсуждение результатовОбсуждение результатов

18

Выбор AutocollageНаш выбор

Обсуждение результатовОбсуждение результатов

18

Обсуждение результатовОбсуждение результатов

18

Выбор AutocollageНаш выбор

Обсуждение результатовОбсуждение результатов

18

Обсуждение результатовОбсуждение результатов

18

Выбор AutocollageНаш выбор

Обсуждение результатовОбсуждение результатов

18

НаборНабор 1 1 НаборНабор 2 2 НаборНабор 3 3 НаборНабор 4 4 НаборНабор 5 5 СуммаСумма

«Лучшие» 6 5 6 5 7 29

«Хорошие» 3 4 4 4 2 17

«Плохие» 1 1 0 1 1 4

«Лучшие» 2 2 2 6 5 17

«Хорошие» 6 7 7 0 4 24

«Плохие» 2 1 1 4 1 9

«Лучшие» 2 2 3 4 4 15

«Хорошие» 5 5 4 2 5 21

«Плохие» 3 3 3 4 1 14

Пре

длож

енны

й ал

гори

тмAu

toCo

llage

Сл

учай

ная

в

ыб

ор

ка

Обсуждение результатовОбсуждение результатов

18

• предложен алгоритм автоматического выбора заданного количества изображений

• предложено использовать дерево решений, построенное на AdaBoost комитетах классификаторов, для оценки качества изображения

• сформулирован количественный критерий оценки важности изображения

• проведено сравнение нескольких способов выбора изображений

ЗаключениеЗаключение

ВопросыВопросы??

Спасибо Спасибо за за

внимание!внимание!

FH1=S1/S2 – отношение тона в тени и центре

)/()(]85,0[

1 NMiHS )/()(]170,85(

2 NMiHS

Гистограммные признакиГистограммные признаки

FH2=S11/S12 – отношение тона в 1-ой и 2-ой части тени

)(/)(]42,0[

11 NMiHS )(/)(]85,42(

12 NMiHS

Гистограммные признакиГистограммные признаки

FH3=M1/M2 - отношение max в тени к max в центре

]255,0[]85,0[1 ))(max(/))(max( iHiHM

]255,0[]170,85(2 ))(max(/))(max( iHiHM

Гистограммные признакиГистограммные признаки

FH4 – положение максимума в тени

]85,0[))(max()(|4 iHlHlFH

]85,0[))(max( iH

P1

Гистограммные признакиГистограммные признаки

FH5 – глобальный контрастlowhighFH 5

})][|min{},][|min(min{0

00

i

k

CkHiHiHilow })][|max{},][|max(max{1

11

ik

RR CkHiHiHihigh

H0

C0

C1

H1

Гистограммные признакиГистограммные признаки

Изображение

ИнтенсивностьZ1=[-1 1]

Z2=[-1 0 1]

Z3=[-1 0 0 1]

Z10=[-1 0 0 0 0 0 0 0 0 0 1]

I.Safonov et al.,2008

…

Границы

ii ZIE

3

bgrI

ГистограммаiHe

Нормализованная энтропия

k

kiHeiA )1)(log(

Энтропия в [0, 1]

iAn

121 An An F

10

12

iiAnF

23 A F

?

?

?

?

An An

Признаки определения резкости - 1Признаки определения резкости - 1

SDI

SVSDI F h )(

4

cr

crDISDI,

),(

crcrDBcrDIhh

hecrDBcrDISV

,)),(),((1001

1)),(),((

F.Crete et al.,2007

LPFIBh

HPFIDI

HPFBDB hh

231 An An F

11

22

iiAnF

23 A F

?

Изображение

Размытое изображение Границы

Границы

Сравнение изображений

HPF=[1 -1]LPF=[1 1 1 1 1 1 1 1 1]/9

Признаки определения резкости - 2Признаки определения резкости - 2