ﬂ 25 ÀÉ` surf t 0x l Ÿ - pusan national...

REP - CP - 016, NOVEMBER 2009 1

사진요약 25가지색상 Surf를이용한사진요약과사진배치알고리즘

Photo Summarization - Representative Photo Selection based on 25 ColorHistogram and ROI Extraction using SURF

류동성

Ryu Dong-Sung

부산대학교 그래픽스 연구실[email protected]

ABSTRACT

디지털 카메라가 최근 보편화됨에 따라 일반 사람들이 많은 수의 사진을 촬영하는 일이 많아졌으며, 이에 따라 많은 수의 사진을 관리해야 하는 일이 많아졌다. 본 보고서에서는 SURF 특징추출기법을 이용하여, 각 사진의 중요한 부분을 설정하고 25가지 색상을 이용하여 각 사진의가장 공통된 색상을 가진 사진을 대표 사진으로 선택하는 대표사진 선택 기법에 대해 논의한다.

KEYWORDS representative photo selection, region of interest, photo clustering

1 서 론

디지털 카메라가 최근 보편화됨에 따라 일반 사람들이 많은 수의 사진을 촬영하는 일이 많아졌으며,

이에 따라 많은 수의 사진을 관리해야 하는 일이 많아졌다. 또한 각 사진들을 효율적으로 관리하기

위한 수단으로써, 사진 요약에 관련된 연구가 최근 진행되고 있다. 예를 들어, Picasa[6]의 경우, 많은

수의 사진들 중 사용자가 찾고자 하는 사람의 얼굴을 인식하여, 각 사진들을 요약하는 기능을 제공

한다. 그러나 그림 2과 같이 안경으로 인해서, 많은 수의 사진이 잘못 인식된 것을 알 수 있다. 또한

이러한 얼굴 인식 기능은 조명과 촬영된 얼굴의 각도에 민감하게 반응하기 때문에, 아직 사람의 인지

적인 기능을 바탕으로한 사진 분류 방법은 개선할 여지가 많다. 만약 Picasa에서 제공하는 얼굴인식

기능이 제대로 동작한다면, 각 사진들을 얼굴에 따라 클러스터링한 후, 사용자의 얼굴이 가장 선명한

부분을 관심 영역으로 지정하여, 대표 썸네일로 표현한다면 많은 수의 사진을 효율적으로 배치할 수

있을 것이다.

본 보고서에서는 많은 수의 사진을 요약하는 방법 중 각 클러스터의 대표사진을 선택하는 방법과

각 사진의 관심 영역 (ROI)을 지정하는 방법에 대해 논의한다. 여기서 관심 영역 이란 사용자가 전체

사진을 보지 않더라도 그 사진의 특징을 가장 잘 나타내는 영역을 의미한다. 이를 위해 먼저 각 사진

들을 Cooper의 시간 비교 척도[5]로 클러스터링한 후, 각 클러스터별로 대표 사진을 선정하고 사진

에서 의미있는 부분을 지정하였다. 이 때 사용되는 대표 사진 선택 방법은 25가지 색상 [8] 히스토그

램을 사용하여, 평균 색상 사진을 생성한 다음 평균 사진의 색상 히스토그램과 가장 유사한 사진을 각

클러스터의 대표 사진으로 선정한다. 각 사진의 관심 영역 설정은 각 사진의 특징 영역을 추출하여,

Copyright © Graphics Application Lab. Pusan National University


그림 1. Picasa에서 제공하는 얼굴 인식 기능 [6].

특징 영역이 가장 넓게 분포된 특정 부분을 관심 영역으로 설정하는 방법을 사용한다. 보고서에서 제

안한 방법들은 각 클러스터에서 가장 공통된 색상을 가진 사진을 대표 사진으로 선정하며, 일정 거리

이내에 분포된 각 특징 영역들을 포함하는 관심 영역을 설정한다.

2 관련 연구

디지털 카메라의 발달과 메모리 카드의 가격 하락으로 인해, 사진 촬영이 보편화되면서, 관리해야 하

는 사진의 수는 수백에서 수천장의 단위로 증가하였다. 이와 같이 많은 수의 사진을 관리하기 위해서,

최근에는 사진 요약 (Photo Summarization)과 관련된 연구가 많이 진행되고 있다. 본보고서에서는

사람의 얼굴과 같은 ROI 인식 방법과 대표사진 선택과 관련된 연구들을 요약한다.

Li는 시간 기반의 클러스터링과 내용 기반의 사진 요약 기법을 제안하였다[7]. Li의 방법은 먼저

각 사진을 특정 시간간격으로 나눈 후, 나누어진 각 사진 집합의 Key 영상을 갑자기 변화하는 사진을

Key 사진으로 선정하는 방법을 사용한다. 여기서 갑자기 변화하는 사진이란 얼굴이 변화하거나, 시간

순서에 따라 나열된 각 사진들이 일정 시간 이상 떨어질 경우를 의미한다. Chu는 대표 사진의 선택을

위해서, Near Duplicate Detection (NDD) 알고리즘을 제안하였다[4]. 이 방법은 클러스터내에 있는

각 사진들의 특징점을 SIFT 기법으로 추출한 후, 각 특징점의 방향에 따라 매칭하는 방법을 사용한다.

그 후, 각 사진의 대표 사진을 선택하기 위해서, Support Vector Machine으로 훈련하여 대표 사진을

선택한다.

각 사진의 관심 영역은 제한된 컴퓨터 스크린 공간에 사진의 정보를 효율적으로 전달하는데, 중요



한 역할을 한다. 그러므로 각 사진의 관심 영역 지정은 사진 요약에 있어서 중요한 분야 중 하나이다.

먼저 Battiato 는 각 사진들을 크게 전망 사진과 클로즈업 사진 그리고 사람 사진과 같이 3가지 종류의

사진으로 분류하였다 [2]. 그리고 사람 사진의 경우 얼굴 인식이 안 되는 사진은 피부색을 스캔하여 각

사진의 관심 영역을 설정하였다. 전망 사진의 경우, 포커싱된 영역이 없는 사진이며, 클로즈업 사진은

Saliency map의 분포 비율이 일정 이상인 사진들로 구성된다. 그리고 Chu는 SIFT 특징점을 포함하

는 영역을 관심 영역으로 지정하였다 [4]. 그러나 이 방법의 경우 SIFT에 의해 추출된 특징점이 많을

경우, 관심 영역이 넓어지기 때문에, SIFT에 의해 추출되는 특징점의 개수 및 분포를 조절할 필요가

있을 것이다.

3 25 색상 히스토그램을 이용한 대표 사진 선택

본 보고서에서는 Cooper [5] 가 제안한 시간 척도에 의해 클러스터링된 각 사진들을 25가지 색상 히

스토그램 [8]을 이용하여 대표 사진을 선택하며, 그 과정은 그림 2과 같이 수행한다. 먼저 클러스터내

에 있는 각 사진들을 25가지 색상으로 양자화를 수행한 후, 클러스터의 사진들에 대한 25가지 평균

색상 영상을 계산한다. 그 후, 평균 색상 영상과 가장 차이가 작은 25 색상 히스토그램을 지닌 사진을

현 클러스터의 대표 사진으로 설정한다.

25-color

quantizationPhotos

in cluster

Averaged 25

color image

Find the mostly

duplicate photo

Representative

photo

그림 2. 25 색상 히스토그램을 이용한 대표 사진 선택 과정

표 1 은 Prasad가 제안한 인지적으로 사람이 구별하는 색상 표인데, 각각의 25가지 색상을 표와

같이 RGB값으로 분류되어 있다. 비록 RGB 색상이 선형적인 색상 공간은 아니지만, 사람의 눈이 구

별하는 실험값으로 구성되어 있기 때문에 양자화된 색상의 차이 계산에 대한 오차는 인지적으로 작을

것이다. 자세한 색상 값은 참고 문헌에 수록된 Prasad의 논문을 참조하면 된다 [8].

그림 3은 보고서에서 제안한 클러스터의 대표사진 선택 결과이다. 빨간색 사각형은 각 클러스터

사진들의 대표 사진을 의미하며, 각 클러스터내에서 가장 공통된 색상이 많은 사진이 선택된 것을 알

수 있다.

4 SURF를 이용한 관심 영역 추출 알고리즘

사진에 포함된 객체를 크게 분류한다면, 일반적으로 인물 사진과 비인물 사진으로 분류한다. 인물 사

진의 경우, 일반적으로 최대 관심 영역은 사진에 포함된 인물이 누구인지를 판별하는 것이다. 그러므



표 1. 영상에서 지배적인 색상을 계산하기 위해 양자화된 25가지 색상 [8].

Color Red Green Blue

Black 0 0 0

Sea green 0 182 0

Light green 0 255 170

Olive

green

35 73 0

...

White 255 255 255

그림 3. 클러스터별 대표 사진 선택 결과. 빨간색 사각형은 대표 사진을 의미한다.

로 본 보고서에서는 인물 사진의 경우 촬영된 인물의 얼굴이 관심 영역으로 설정한다. 그리고 인물

사진이 아닌 경우, 일반 사람들은 배경화면을 제외한 객체를 중요하게 생각하게 된다. 대부분의 배경

화면은 색상의 변화가 없기 때문에, 특징점이나 특징 영역이 추출되지 않는다. 이 점에 착안하여 본

보고서에서는 인물 사진이 아닌 사진의 관심 영역 추출 방법을 그림 4과 같은 방법으로 제안한다.

먼저 각 사진이 인물 사진인지를 판별하며, 인물 사진인 경우, 얼굴 영역을 관심 영역으로 지정한

다. 얼굴 부분을 찾는 알고리즘 및 구현은 영상 처리 분야의 오픈 라이브러리인 OpenCV에서 제공

하는 것을 사용하였다. 만약 얼굴 영역이 탐지되지 않았을 경우, SURF를 이용하여 각 사진의 특징



Face

detectionFeature

extraction

Distractive

feature f iltering

Detect?

Yes

No

Photo

ROI

그림 4. 본 보고서에서 제안한 관심 영역 추출 알고리즘.

영역을 추출한 후, ROI를 설정하게 된다.

(a) (b)

그림 5. SURF에 의해 추출된 특징 영역과 필터링 과정. (a) 실제 SURF에 의해 추출된

특징 영역과 일정 거리 이내에 있는 각 영역들의 연결 구조. (b) 그래프 자료 구조를

이용하여, 일정 거리 내에 있는 특징 영역들을 필터링을 수행한다.

SURF는 Speeded Up Robust Features의 약자로 각 영상에서 특징 영역을 추출하는 알고리즘이

다 [3]. SURF는 DoG(Differece of Gaussian)와 같은 색상 변화 필터를 Hessian matrix 형태로 사

용한다. SURF는 OpenCV 라이브러리에서 cvSurfFeature 라는 함수로 사용할 수 있다. 그러나 SHIF

나 SURF와 같은 특징 추출 알고리즘의 경우, 그림 5 (a)와 같이 동 떨어진 곳에 특징점이나 특징

영역들이 추출되게 된다. 그리고 너무 많은 특징 영역이 분산되어 추출하게 되면 사진에서 차지하게

되는 ROI 영역은 사진 전체와 유사한 크기로 추출된다. 그러므로 본 보고서에서는 분산된 특징점들을

필터링을 수행한다. 먼저 SURF에 의해 추출된 각 특징 영역들을 그래프 노드로 설정하고 일정 거리

이내에 있는 영역들은 그림 (b)와 같이 간선을 할당한다. 그리고 전체 그래프중 독립된 컴포넌트 그

래프들 (그림 (b)의 그래프는 3개의 콤포넌트로 구성.)을 구성한 후, 특징 영역의 합이 가장 큰 콤포

넌트를 관심 영역으로 설정한다.



(a) (b)

그림 6. 제안한 ROI 영역 추출 결과. (a) 얼굴 인식에 의해 추출된 사진들. (b) SURF

기반의 제안 방법에 의해 추출된 ROI 영역.

그림 6는 제안한 방법으로 추출된 관심 영역이다. (a)의 경우, OpenCV의 얼굴 인식에 의해 추출

된 결과이며, (b)는 SURF 기반의 제안 방법에 의해 추출된 관심 영역이다. 제안한 방법을 통해 분산된

특징점 및 영역들을 필터링할 수 있었다.

5 결론

디지털 카메라의 보급으로 인해 일반 사람들이 수백에서 수천장의 사진들을 관리해야 하는 일이 많아

졌기 때문에, 각 사진들을 클러스터링하고 이를 요약해서 표현하는 방법에 많은 연구가 이루어졌다.

본 보고서에서는 클러스터링된 각 사진들을 25가지 색상을 이용하여 평균 색상 히스토그램을 계산하

고 평균 색상 히스토그램과 가장 차이가 작은 사진을 해당 클러스터의 대표 사진으로 설정하였다. 또

한 SURF 기반의 필터링된 특징 영역 추출 알고리즘을 제안함으로써, 각 사진에서 좀 더 집중된 관심

영역을 추출할 수 있었다. 본 보고서에서 논의한 내용을 다음과 같이 요약한다.

1. 25 가지 색상 히스토그램을 이용한 사진 클러스터의 대표 사진 선택 방법.

2. SURF에 의해 추출된 각 특징 영역 필터링에 의한 집중된 관심 영역 지정.

보고서에서 제안한 대표 사진 선택과 관심 영역 추출 기법은 최근 제한된 공간에 많은 수의 사진을

시각화해야 하는 사진 시각화 관련 연구에 유용하게 적용될 것이다. 본 보고서에서는 제안한 기법들을



활용하여, 클러스터링된 각 사진을 대표 사진으로 표현하고 나머지 사진들은 관심 영역을 최대한 화면

에 렌더링하면서 동시에 각 사진들이 차지하는 면적을 작게 배치하는 시각화 방법을 향후 연구과제로

제안한다. 즉, 각 사진들의 관심 영역을 최대한 많이 표현한다면, 사용자에게도 차지하는 공간 효율에

비해 많은 양의 사진 정보를 전달 할 수 있을 것이다. 본 보고서에서 제안하는 사진 시각화 시스템은

다음과 같은 골격을 가진다.

O(C) =N∑

Pi

Area(ROI(Pi))−∑

Area(Pi), (1)

1. 각 사진을 클러스터링하고 각 클러스터의 대표 사진들을 선택한다.

2. 스크린 공간을 고려한 대표 사진들의 크기를 설정하고 나머지 사진들의 ROI 영역을 설정한다.

3. 대표 사진을 먼저 배치하고, 오래된 사진들은 축소한 형태로 배치한다. 이 때, 수식 1 목적 함수

가 최대가 되도록 나머지 사진들을 대표 사진 뒤에 배치한다. 수식 1에서 C는 해당 클러스터

이며, Pi는 클러스터 C에 소속된 사진이다 ( C = {P0, P1, ..., PN} ).

참고 문헌

1. Apple, “iphoto,” http://www.apple.com/ilife/iphoto/.

2. S. Battiato, G. Ciocca, F. Gasparini, G. Puglisi, and R. Schettini, “Smart photo sticking,” Adap-tive Multimedial Retrieval: Retrieval, User, and Semantics, pp. 211–223, 2008. [Online]. Available:http://dx.doi.org/10.1007/978-3-540-79860-6 17

3. H. Bay, T. Tuytelaars, and L. V. Gool, “Surf: Speeded up robust features,” in In ECCV, 2006, pp. 404–417.

4. W.-T. Chu and C.-H. Lin, “Automatic summarization of travel photos using near-duplication detection andfeature filtering,” in MM ’09: Proceedings of the seventeen ACM international conference on Multimedia. NewYork, NY, USA: ACM, 2009, pp. 1129–1130.

5. M. Cooper, J. Foote, A. Girgensohn, and L. Wilcox, “Temporal event clustering for digital photo collections,”ACM Transactions on Multimedia Computing, Communications and Applications, vol. 1, no. 3, pp. 269–288, 2005.

6. Google, “Picasa Web Albums,” http://picasa.google.com/features.html, September 2006.

7. J. Li, J. H. Lim, and Q. Tian, “Automatic summarization for personal digital photos,” in Information, Com-munications and Signal Processing, 2003 and the Fourth Pacific Rim Conference on Multimedia. Proceedings of the2003 Joint Conference of the Fourth International Conference on, vol. 3, Dec. 2003, pp. 1536–1540 vol.3.

8. B. G. Prasad, K. K. Biswas, and S. K. Gupta, “Region-based image retrieval using integrated color, shapeand location index,” in Computer Vision and Image Understanding, Vol.94, No.1-3 (April 2004) pp 193-233, ISSN,2003, pp. 193–233.


ﬂ 25 ÀÉ` surf t 0x l Ÿ - pusan national...

Documents