항공우주시스템공학회 2019년도 춘계학술대회 SASE 2019 Spring Conference

시각 특성을 고려한 감시·정찰 장비의 적외선 영상 화질 개선 알고리즘

김대현1,† 1 LIG넥스원

Infrared Image Enhancement Algorithm for Surveillance and

Reconnaissance Equipment Considering Human Visual System

Daehyeon Kim1,† 1LIG Nex1

Abstract : 감시·정찰 장비에서 사용되는 적외선 영상 카메라는 14bit 이상의 HDR(High Dynamic

Range) 디지털 데이터를 생성한다. 넓은 범위의 적외선 데이터를 모니터에 출력하기 위해서는 8bit 형

식의 LDR(Low Dynamic Range) 영상으로 변환하여야 한다. 이 과정에서 적외선 영상이 가지는 콘트라

스트가 줄어들어 영상 품질이 저하된다. 이 문제를 해결하기 위해, 시각 특성을 고려하여 영상의 콘트

라스트를 향상 시키며 LDR로 압축시키는 렌더링 알고리즘을 제시하였다. 실험 영상의 비교를 통해 기

존 알고리즘 보다 품질이 개선된 것을 확인하였다.

Key Words : Infrared Image(적외선 영상), Contrast(대비), Dynamic Range(다이내믹 레인지), Guided

Image Filter(유도 영상 필터)

1. 서 론

적외선 영상은 관찰 대상과 그 주변에서 방출되는

적외선 복사에너지가 디지털로 변환되어 모니터에 출

력된 것으로 열적 특성에 의해 시각화가 결정 된다.

기본적으로 IR 센서는 13bit에서 15bit까지 표현할 수

있으며, 이를 모니터에 출력하기 위해서는 8bit로 압축

하는 작업 DRC(Dynamic Range Compression)가 필요

하다.[1] 이 과정에서 적외선 영상 데이터의 손실이

발생하며, 이로 인해 영상의 콘트라스트가 줄어 품질

이 떨어지는 문제가 있다. 이 문제를 해결하기 위해

인간의 시각 특성을 고려한 렌더링 알고리즘을 제안한

다. Fig .1에서와 같이 14bit 적외선 영상이 입력 데이

터로 사용되고, 넓은 범위를 가지는 적외선 영상을 유

도 영상 필터(Guided Image Filter)를 이용하여 배경영

상과 상세영상으로 분리시킨다. 이후 상세영상에 배경

영상의 밝기 값의 대비를 고려하여 가중치를 부여한다.

†교신저자 ( Corresponding Author )

E-mail: daehyeon.kim01@lignex1.com Copyright Ⓒ The Society for Aerospace System

Engineering

분리된 배경영상과 상세영상을 합성한 후 모니터에 출

력할 수 있도록 플래토 히스토그램을 이용하여 최종

영상을 생성한다. 2장 본론에서는 제안한 알고리즘과

배경지식에 대해 설명하고, 3장 실험에서는 제안한 알

고리즘의 결과 및 적외선 영상 데이터를 비교하며, 마

지막으로 결론을 서술하였다.

2. 본 론

2.1 유도 영상 필터(Guided Image Filter)

유도 영상 필터는 영상의 주요 정보를 왜곡시키지

않으면서 노이즈를 제거하는 필터로 선형회귀를 기본

으로 출력 영상을 모델링한다.[2]

𝑞𝑖 = 𝑎𝑘𝐼𝑖 + 𝑏𝑘 , ∀𝑖 ∈ 𝑤𝑘 (1)

여기서 qi는 출력 영상, ak와 bk는 선형계수이며, Ii는 유

도 영상이다. 식 (1)에서 정의한 선형 계수 (ak, bk)를

정하기 위해 qi는 식 (2)로 모델링 한다.

TB2-2

1

항공우주시스템공학회 2019년도 춘계학술대회 SASE 2019 Spring Conference

𝑞𝑖 = 𝑝𝑖 − 𝑛𝑖 (2)

pi는 입력 영상, ni는 영상 잡음을 의미하고, 선형계수

는 입력 영상과 출력 영상의 차이를 최소화하는 식을

통해 구한다.

𝐸(𝑎𝑘 , 𝑏𝑘) = ∑((𝑎𝑘𝐼𝑖 +

𝑖∈𝑤𝑘

𝑏𝑘 − 𝑝𝑖)2 + 𝜖𝑎𝑘

2) (3)

여기서 ε은 정규화 파라미터로 ak가 무한정 커지는 것

을 막는다. 선형 계수를 구하면 식 (4), (5)와 같다.

𝑎𝑘 =

1|𝑤|

∑ 𝐼𝑖𝑝𝑖 − 𝜇𝑘𝑝𝑘̅̅ ̅𝑖∈𝑤𝑘

𝜎𝑘2 + 𝜖

(4)

𝑏𝑘 = 𝑝𝑘̅̅ ̅ − 𝑎𝑘𝜇𝑘 (5)

μk와 σ2k는 영역 wk안에서 가이드 영상의 평균과 분산

이다. |w|는 영역 wk안의 픽셀 수를 의미하며, 𝑝𝑘는 식

(6)과 같다.

𝑝𝑘 =

1

|𝑤|∑ 𝑝𝑖𝑖∈𝑤𝑘

(6)

픽셀 I는 영역 wk안에서 중복되므로, qi는 하나의 값을

갖지 않는다. 이를 해결하기 위해 영역 wk안에서 qi 값

의 평균을 취하여 계산한다.

𝑞𝑖 =

1

|𝑤|∑ (𝑎𝑘𝐼𝑖 + 𝑏𝑘)

𝑘∈𝑤𝑖

(7)

식 (7)에서 영역 w의 크기와 ε이 영상의 경계선 유지

와 잡음제거에 영향을 주며, 파라미터를 조절하여 적

외선 영상을 효율적으로 배경영상과 상세영상으로 분

리할 수 있다.

2.2 제안 알고리즘

NUC(Non Uniformity Correction)이 완료된 적외선

영상이 입력 데이터로 사용되며 Fig. 1에서와 같이 유

도 영상 필터에 의해 배경영상과 상세영상으로 분리된

다. 상세영상에는 휘도가 증가함에 따라 시각적으로

인지되는 명도의 대비가 증가하는 스티븐스 효과

(Stevens Effect)가 고려되어 가중치가 적용된다.[3]

우선 배경영상 Ib에서 각 픽셀에 해당하는 순응휘도

LA를 식 (8)과 같이 구한다.

𝐿𝐴(𝑖, 𝑗) = 0.2𝐼𝑏(𝑖, 𝑗) (8)

14bit IR Data (NUC corrected)

Guided Image

Filter+

+-Base Layer

Detail Layer

Local

Luminance

Detail

Amplication

+++

Plateau HE

Output Image

Fig. 1 Block Diagram of Proposed algorithm

그리고 상세영상은 휘도에 따른 순응인자 FL에 의해

가중치가 결정된다.

𝐹𝐿 = 0.2𝑘4(5𝐿𝐴) + 0.1(1 − 𝑘4)2(5𝐿𝐴)1 3⁄ (9)

𝑘 = 1 (5𝐿𝐴⁄ + 1) (10)

주변 휘도가 고려된 상세영상 Icd 는 식 (11)과 같이 가

중치가 결정된다.

𝐼𝑐𝑑(𝑖, 𝑗) = 𝐼𝑑(2𝐹𝑙+0.8)

𝐿𝑚𝑎𝑥 𝐿𝑚𝑖𝑛⁄

(11)

배경영상과 보정된 상세영상을 합한 후, 플래토 히스

토그램을 통해 모니터에 디스플레이 할 수 있는 8bit

영상 데이터로 변환한다.

3. 실 험

제안한 알고리즘의 실험 결과를 Fig. 2와 Fig. 3에서

확인할 수 있다.

(a) Original Method (b) Proposed Method

Fig. 2 Car Infrared Image Result

2

항공우주시스템공학회 2019년도 춘계학술대회 SASE 2019 Spring Conference

(a) Original Method (b) Proposed Method

(c) Original Method (d) Proposed Method

Fig. 3 Enlarged Result Image

제안한 알고리즘의 결과 영상을 확인하면, 기존 방

식에 비해 경계선이 더욱 뚜렷하게 나타나는 것을 확

인 할 수 있다. 고주파 특성을 가지는 상세부분의 윤

곽이 선명해지기 때문에 대상 식별이 매우 유리해 진

다. 실험 영상에 사용된 적외선 카메라 및 계수 값은

Table 1에서 확인 할 수 있다.

Sensor Type VOx

Spectral Band MWIR (3~5μm)

Array Size 320x240

Pixel Resolution 14 bits

w 3

ε 0.01

실험 결과를 분석하기 위해 △DOM 모델을 사용하

였다. △DOM 모델은 비선형인 기반 에지에 대해 한

라인 방향에서 변화들의 차이들을 비 모수 모델로 모

델링 한 것이고, x 축 방향에 대한 △DOM 모델은 식

(12)와 같다.[4]

△𝐷𝑂𝑀𝑥(𝑖, 𝑗) = [𝐼𝑚(𝑖 + 2, 𝑗) − 𝐼𝑚(𝑖, 𝑗)]

− [𝐼𝑚(𝑖, 𝑗) − 𝐼𝑚(𝑖, 𝑗 − 2)] (12)

Original

Method

Proposed

Method

Result 4.5553 5.7396

4. 결 론

본 논문에서는 14bit 적외선 영상 데이터를 모니터

로 출력 가능한 8bit 데이터로 변환 시, 콘트라스트 손

실을 방지하는 알고리즘을 제안하였다. 이를 통해 적

외선 영상 센서를 사용하는 감시·정찰 장비에서 표적

인식에 대한 정확도를 높일 수 있으며, 탐지 성능에

도움을 주는 것을 알 수 있었다. 추후 연구 과제로 해

당 알고리즘을 이용해 ATA(ATA stands for Automatic

Tracking Aid) 및 ATR(automatic target recognition)

개선에 대한 연구를 진행 할 예정이다.

참 고 문 헌

[1] J. Silverman, “Display and enhancement of

infrared images,” Image Processing and its

Applications, 1992., International Conference on.

IET, pp. 345-348, 1992.

[2] K. He, J. Sun, and X. Tang, “Guided image

filtering,” IEEE Transactions on Pattern Analysis

and Machine Intelligence, vol. 35, no. 6, pp.

1397-1409, 2013.

[3] R.W.G. Hunt, C.J. Li, M.R. Luo, “Dynamic cone

response functions for models of color

appearance”, Color Res. pp. 79-80, Appl. 2003.

[4] Jayant Kumar, Francine Chen, David Doermann,

“Sharpness Estimation for Document and Scene

Images”, 21st International Conference on

Pattern Recognition, pp. 3292-3295, Tsukuba,

Japan, November, 2012.

Table 1 Infrared Camera & Parameter Spec.

Table 2 Result of △DOM model

3