Download - Marta_Egorova
![Page 1: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/1.jpg)
АЛГОРИТМ АВТОМАТИЧЕСКОГО ВЫБОРА ФОТОГРАФИЙ ДЛЯ
МУЛЬТИМЕДИА-ПРИЛОЖЕНИЙ
ПОТАПОВА Е.В., ЕГОРОВА М.А., САФОНОВ И.В.
Национальный исследовательский ядерный университет «МИФИ»
![Page 2: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/2.jpg)
![Page 3: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/3.jpg)
![Page 4: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/4.jpg)
3
Применение: фотоальбомы, Применение: фотоальбомы, фотокнигифотокниги
![Page 5: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/5.jpg)
4
Применение: слайд-шоуПрименение: слайд-шоу
![Page 6: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/6.jpg)
5
Схема алгоритмаСхема алгоритма
![Page 7: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/7.jpg)
5
Схема алгоритмаСхема алгоритма
Определение некачественных
фотографий
![Page 8: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/8.jpg)
Определение некачественных
фотографий
Адаптивное квантование
5
Схема алгоритмаСхема алгоритма
![Page 9: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/9.jpg)
Выбор значимых
изображений
Определение некачественных
фотографий
Адаптивное квантование
5
Схема алгоритмаСхема алгоритма
![Page 10: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/10.jpg)
Определение некачественных Определение некачественных фотографийфотографий
6
Дефекты экспозиции
Отсутствие резкости, размытие
Артефакты сжатия
![Page 11: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/11.jpg)
7
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Некачественное
изображение
3
1
3
1,9
1
i jjiqK
Таблица квантования
A.Foi et al.,2007
Дерево решений для оценки Дерево решений для оценки качествакачества
![Page 12: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/12.jpg)
7
Наличие сильных артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Некачественное
изображение
Дерево решений для оценки Дерево решений для оценки качествакачества
![Page 13: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/13.jpg)
8
+
Хорошая фотография
Плохая фотография
True
False
…
…
11 TF
ii TF
NN TF
}{ iF
1w
iw
Nw
N
ii Tw
1
AdaBoost AdaBoost комитет классификаторовкомитет классификаторов
![Page 14: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/14.jpg)
9
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Некачественное
изображение
Обучающий набор: 480 фотографий
Ошибка при перекрестной проверке : ~0.055
Тестовый набор: 1830 с 2% фотографий с дефектами экспозиции
Количество ложных срабатываний (FP): 10 Количество ложных пропусков (FN): 3
Дерево решений для оценки Дерево решений для оценки качествакачества
![Page 15: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/15.jpg)
10
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Некачественное
изображение
An
An
121 An An FB
10
12
iiAnFB
23 A FB
I.Safonov et al.,2008
FB4 – безреференсная метрика, предложенная F.Crete et al.,2007
Дерево решений для оценки Дерево решений для оценки качествакачества
![Page 16: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/16.jpg)
10
Оценка артефактов сжатия
(Пороговое отсечение по K)
Определение дефектов экспозиции
(AdaBoost , FH1-FH5)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Оценка резкости изображения
(AdaBoost , FB1-FB4)
Некачественное
изображение
Качественное изображение
Обучающий набор: 416 фотографий
Ошибка при перекрестной проверке: ~0.07
Тестовый набор : 1830 со 171 размытой фотографией
Количество ложных срабатываний (FP): 34Количество ложных пропусков (FN): 10
Дерево решений для оценки Дерево решений для оценки качествакачества
![Page 17: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/17.jpg)
Время создания снимка
Модель камеры
1
243
L
H
11
H = L/M
Nregion < M
Вычисление габаритов
Разделение на две равные части
Поиск наибольшей области
1200
3600
2400
72000 36000 T, s21600
четноеiipsNH
нечетноеiiHpsY
:)2/1(
:2/)1(
i – номер источника
L – время между первым и последним событием для самого большого источника
Nps – количество источников
M – желаемое количество изображений
да
Nregion = M
да
Квантование на плоскости время-Квантование на плоскости время-камеракамера
![Page 18: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/18.jpg)
Наиболее привлекательное изображение – наиболее «выпуклое»
L.Itti, C.Koch et al.
Изображения взяты из интернета
Карта важностиКарта важности
12
![Page 19: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/19.jpg)
Карты видимости
Пирамиды Гаусса
Изображение
Интенсивность r-канал g-канал b-канал
R-канал G-канал B-канал Y-канал
Карта ориентации
Карта интенсивности
Карта цвета
Карта важности
Характеристические карты
Пирамиды Габора
Построение карты важностиПостроение карты важности
13
O(σ,0°) O(σ,45°) O(σ,90°) O(σ,135°) I(σ) R(σ) G(σ) B(σ) Y(σ)
O(c,s,0°) O(c,s,45°) O(c,s,90°) O(c,s,135°) I(c,s) RG(c,s) BY(c,s)
![Page 20: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/20.jpg)
Исходное изображение
Карта важности
Карта интенсивности
Карта цвета
Карта ориентации
Областьинтереса
Изображения взяты из интернета
Нахождение весовНахождение весов
14
![Page 21: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/21.jpg)
Отбор изображений с Отбор изображений с использованием карты важностииспользованием карты важности
Индекс важности
4),( maxS
yxS 124
88
11
100
81 9262
83105 7015
![Page 22: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/22.jpg)
83
11124Индекс важности
4),( maxS
yxS
81
88 62 92
105 70
100
Отбор изображений с использование Отбор изображений с использование карты важностикарты важности
15
![Page 23: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/23.jpg)
Главные недостатки:
среднее число FP растет с размером изображения
0
1
2
3
4
5
6
7
0 500 1000 1500 2000 2500
S, pixelav
gn
FP
0
5
10
15
20
25
30
0 500 1000 1500 2000 2500 3000
S, pixelt,
s.
0
1
2
3
4
5
6
7
0 500 1000 1500 2000 2500S, pixel
avg
nF
PBefore skin tone detection After skin tone detection
0
5
10
15
20
25
30
0 1000 2000 3000S, pixel
t, s.
After modification Before modification
Фотографии с людьми привлекают больше внимания
время обработки увеличивается с размером изображения
Шесть лиц были определены ложно
Модификации: уменьшение размера изображения до начала обработки использование информации о тоне кожи
P.Viola, M.Jones, 2001
Viola-Jones, Intel OpenCV
До модификации После модификации
Определение лицОпределение лиц
16
![Page 24: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/24.jpg)
Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат
124
88
11
116 92
118148 95
62
100
Ранжирование изображенийРанжирование изображений
17
NF – количество определенных лиц
![Page 25: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/25.jpg)
118
62
Эвристическая формула, эксперименты показали, что w=25 дает наилучший результат
124
88
11
100
116
92
148 95
Ранжирование изображенийРанжирование изображений
17
NF – количество определенных лиц
![Page 26: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/26.jpg)
Обсуждение результатовОбсуждение результатов
18
![Page 27: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/27.jpg)
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
![Page 28: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/28.jpg)
Обсуждение результатовОбсуждение результатов
18
![Page 29: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/29.jpg)
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
![Page 30: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/30.jpg)
Обсуждение результатовОбсуждение результатов
18
![Page 31: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/31.jpg)
Выбор AutocollageНаш выбор
Обсуждение результатовОбсуждение результатов
18
![Page 32: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/32.jpg)
НаборНабор 1 1 НаборНабор 2 2 НаборНабор 3 3 НаборНабор 4 4 НаборНабор 5 5 СуммаСумма
«Лучшие» 6 5 6 5 7 29
«Хорошие» 3 4 4 4 2 17
«Плохие» 1 1 0 1 1 4
«Лучшие» 2 2 2 6 5 17
«Хорошие» 6 7 7 0 4 24
«Плохие» 2 1 1 4 1 9
«Лучшие» 2 2 3 4 4 15
«Хорошие» 5 5 4 2 5 21
«Плохие» 3 3 3 4 1 14
Пре
длож
енны
й ал
гори
тмAu
toCo
llage
Сл
учай
ная
в
ыб
ор
ка
Обсуждение результатовОбсуждение результатов
18
![Page 33: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/33.jpg)
• предложен алгоритм автоматического выбора заданного количества изображений
• предложено использовать дерево решений, построенное на AdaBoost комитетах классификаторов, для оценки качества изображения
• сформулирован количественный критерий оценки важности изображения
• проведено сравнение нескольких способов выбора изображений
ЗаключениеЗаключение
![Page 34: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/34.jpg)
ВопросыВопросы??
![Page 35: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/35.jpg)
Спасибо Спасибо за за
внимание!внимание!
![Page 36: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/36.jpg)
![Page 37: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/37.jpg)
FH1=S1/S2 – отношение тона в тени и центре
)/()(]85,0[
1 NMiHS )/()(]170,85(
2 NMiHS
Гистограммные признакиГистограммные признаки
![Page 38: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/38.jpg)
FH2=S11/S12 – отношение тона в 1-ой и 2-ой части тени
)(/)(]42,0[
11 NMiHS )(/)(]85,42(
12 NMiHS
Гистограммные признакиГистограммные признаки
![Page 39: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/39.jpg)
FH3=M1/M2 - отношение max в тени к max в центре
]255,0[]85,0[1 ))(max(/))(max( iHiHM
]255,0[]170,85(2 ))(max(/))(max( iHiHM
Гистограммные признакиГистограммные признаки
![Page 40: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/40.jpg)
FH4 – положение максимума в тени
]85,0[))(max()(|4 iHlHlFH
]85,0[))(max( iH
P1
Гистограммные признакиГистограммные признаки
![Page 41: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/41.jpg)
FH5 – глобальный контрастlowhighFH 5
})][|min{},][|min(min{0
00
i
k
CkHiHiHilow })][|max{},][|max(max{1
11
ik
RR CkHiHiHihigh
H0
C0
C1
H1
Гистограммные признакиГистограммные признаки
![Page 42: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/42.jpg)
Изображение
ИнтенсивностьZ1=[-1 1]
Z2=[-1 0 1]
Z3=[-1 0 0 1]
Z10=[-1 0 0 0 0 0 0 0 0 0 1]
I.Safonov et al.,2008
…
Границы
ii ZIE
3
bgrI
ГистограммаiHe
Нормализованная энтропия
k
kiHeiA )1)(log(
Энтропия в [0, 1]
iAn
121 An An F
10
12
iiAnF
23 A F
?
?
?
?
An An
Признаки определения резкости - 1Признаки определения резкости - 1
![Page 43: Marta_Egorova](https://reader038.vdocuments.mx/reader038/viewer/2022110120/55866b23d8b42a2b5c8b4623/html5/thumbnails/43.jpg)
SDI
SVSDI F h )(
4
cr
crDISDI,
),(
crcrDBcrDIhh
hecrDBcrDISV
,)),(),((1001
1)),(),((
F.Crete et al.,2007
LPFIBh
HPFIDI
HPFBDB hh
231 An An F
11
22
iiAnF
23 A F
?
Изображение
Размытое изображение Границы
Границы
Сравнение изображений
HPF=[1 -1]LPF=[1 1 1 1 1 1 1 1 1]/9
Признаки определения резкости - 2Признаки определения резкости - 2