1

第一章光、影像、浮水印和抽樣原理

2

1.1 前言 1.2 光與顏色 1.3 人眼與照像機的關係 1.4 彩色模式的轉換 - RGB、 YIQ、 HSV、 YUV和

YCbCr

1.5 隱像術與浮水印

1.6 人臉的定位應用

1.7 影像抽樣原理

1.8 結論

1.5.1 影像的位元平面剖析 1.5.2 基本原理

1.6.1 形態學 1.6.2 離散餘弦轉換

1.7.1 傅利葉轉換 1.7.2 避免混疊效應

內容

1.1 前言 光的特性和組成，人眼和相機的關係。色彩模式 (Color

model) 的轉換，隱像術 (Image Hiding) 和浮水印(Watermark) 之一。人臉定位 : 形態學 (Morphology) 和離散餘弦轉換 (Discrete Cosine Transform, DCT) 。

傅立葉轉換 (Fourier Transform) 。迴積定理(Convolution Theorem) ， 影像抽樣原理。

3

4

光 (Light): 粒子，波。人 : 可見光，不能看見頻率 (Frequency) 低於可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和加瑪射線。

亮度 (Brightness) 和頻率的關係，如圖 1.2.1 所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。

1.2 光與顏色

紅

黃 綠

紫

亮度

頻率可見光

圖 1.2.1 亮度與頻率的關係

紅光波長： 9700 10

紫光波長： 9400 10

5

1.3 人眼與照像機的關係 影像處理前的輸入影像有很大的比例是由照像機 (Camera) 拍攝而

得。 瞳孔 : 光圈，調節光通量，流明 (Luminance) 為單位。

視網膜

睫狀肌

水晶體

視神經束

瞳孔

眼角膜

虹膜

圖 1.3.1 人眼示意圖

6

1.4 彩色模式的轉換 在影像的彩色模式中，比較常見的有下列幾種：

(1)RGB ， (2)YIQ， (3)HSV， (4)YUV ， (5)YCbCr 。

RGBYIQY : 亮度 (Luminance) ； I :In-phase ，色彩從橙色到青色； Q :Quadrature-phase ，色彩從紫色到黃綠色。 (NTSC 電視系統標準 )

(1.4.1)

範例 1： R,G,B)=(100,50,30) ，試求其對應的灰階值。解答：

解答完畢6330114.050587.0100299.0 Y

0.299 0.587 0.114

0.596 0.275 0.321

0.212 0.523 0.311

Y R

I G

Q B

7

範例 2 ：

將 I 轉換成 YIQ 影像，這裡 (10,20,40) 代表 R=10, G=20和 B=40 。 解答：

YIQ 影像為

解答完畢

)120,250,50()200,150,100(

)20,30,40()40,20,10(I

)84,77,175()4,46,141(

)1,9,32()4,12,19(YIQI

11

11

11

0.299 10 0.587 20 0.114 40 19.29

0.596 10 0.275 20 0.321 40 12.38

0.212 10 0.523 20 0.311 40 4.1

Y

I

Q

8

圖 1.4.1 彩色 Lena 影像 圖 1.4.2 轉換的高灰階 Lena 影像

9

RGBHSV

255

),,(

),,(

),,(),,(

B if 360

B if

5.0cos

1

1

2

11

BGRMaxV

BGRMax

BGRMinBGRMaxS

GHH

GHH

BGBRGR

BRGRH

(1.4.2)

H=0 時代表紅色， H=120 時代表綠色， H=240 時代表藍色。 S=0 時，表示影像為灰階式的影像。 當 H = 0且 S=1 時，影像為紅色。當 V=0 時，表示黑色。反之，當 V=1 時，表示白色的亮光。

max( , , ) min( , , )

max( , , )

max( , , )

255

R G B R G BS

R G B

R G BV

10

HSV 系統可以圖 1.4.3 表示其座標系統。

HSV=HSB=HIS， B:Brightness， I:Intensity 。

圖 1.4.3 HSV 彩色系統

11

)33sin()33cos( VUQ

)33cos()33sin( VUI

YUVYIQ

在 JPEG 系統中，我們第一步輸入 RGB 彩色影像。第二步將 RGB彩色轉換成 YCbCr 彩色系統。

(1.4.3)

代表“ Blue Minus ‘Black and White’ ”

代表“ Red Minus ‘Black and White’ ”

( ) / 2 0.58

( ) / 2 0.58b

r

C B Y

C R Y

bC

rC

12

1.5 隱像術與浮水印1.5.1 影像的位元平面剖析

(a) R 平面 (b) G 平面 (a) B 平面

圖 1.5.1.1 　彩色 Lena 影像的三張分解圖

13

灰階 Lena 影像分解成八個位元平面

(a) 第一張位元平面 (b) 第二張位元平面

(c) 第三張位元平面 (d) 第四張位元平面

(e) 第五張位元平面 (f) 第六張位元平面

(g) 第七張位元平面 (h) 第八張位元平面

圖 1.5.1.2 　灰階 Lena 影像的八張位元平面剖析

14

圖 1.5.1.2(e) ~ (h) 的合成影像

把圖 1.5.1.2(e) ~ (h) 疊在一起可得到圖 1.5.1.3 。

15

範例 1 ：給 44 子影像，子影像的每一個像素之灰階值佔用 八個位元，請算出第三張位元平面。

8 7 6 5

32 31 30 29

10 11 12 13

0 1 2 3

解答：子影像轉換成00001000 00000111 00000110 00000101

00100000 00011111 00011110 00011101

00001010 00001011 00001100 00001101

00000000 00000001 00000010 00000011

將右邊第三位元全部收集起來，得到第三位元平面： 0 1 1 1

0 1 1 1

0 0 1 1

0 0 0 0解答完畢

16

範例 2 ：前述的隱像術之優缺點為何 ?

解答：

滿足上圖的函數也叫單程函數 (One-way Function) 。利用位元平面來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容易受到破壞，解壓後所取出的影像常常已遭到破損。

解答完畢

植入容易

取出困難

原影像 植入浮水印的影像

17

1.5.2 基本原理

1

0

1

0

22

2

10

)),(),('(1

255log10

N

x

N

y

yxByxBN

MSE

MSEPSNR

隱像術把 A 影像隱藏在 B 影像並且讓人無法察覺 B 影像中藏了 A 影像。

PSNR令 B' 為將 A 隱藏在 B 後的結果。 PSNR (Peak Signal-to-Noise Ratio) 很常被用來評估 B'和 B 的相似性， PSNR 的定義如下

浮水印可把 A 看成標誌 (Logo) ，通常這個標誌可想成一種版權。

18

SVD 隱像術方法

已知有一 N × N 的灰階影像 A ，假設 A 的秩 (Rank) 為 r，

則 A 的 SVD 可表示為 tVUA

V和 U 為正交矩陣 (Orthogonal Matrix)且 ，其中

滿足 和 。

這裏 等於 ， 為矩陣 At A 的第 i 個特徵值 (Eigenvalue) 。

),...,,( 21 ndiag

n ..., 21 0...21 r 0...21 nrr

iσ i i

19

範例 1 ：如何知道 ？ 0λ i

解答：利用

2

2

2

2 0

t t t

t t

AX AX AX X A AX

X X X X

X

AX

X

解答完畢

20

範例 2 ：如何知道 A 可進行 SVD 分解？也就是，如何得到

t

t

tt

VU

V

VUUVUA

111

2

1121

00

0)(

解答：

(1.5.2.1)

21

22

22A

88

88AAt例如，令 ，則 。

的特徵值 (Eigenvalues) 為 和 。將特徵值開根號， A

的奇異值為 和 。特徵值為 16 的特徵向量為 而特徵值為 0 的特徵向量為 ，利用這二個特徵向量可建構出

AAt 161 02

41 02 tV 1,11

tV 1,12

11

11

2

1),( 21 VVV

UAV利用 可得

所以

1 11

1 12 21 1 2 22 2 1 14

2 2

u AV

1 1 1AV u

22

又由 ，可得 。利用 可找出UAV tt VUA t

u

2

1,

2

12 。 A的 SVD 可表示為

結合 SVD及 VQ 之方法 [20] ，在壓縮和失真之間得到一個較好的平衡 。

2

1

2

12

1

2

1

00

04

2

1

2

12

1

2

1

tVUA

2 0tA u

23

圖 1.5.2.1(a) 為待植入的 F16 影像，圖 1.5.2.1(b) 為將 F16 植入圖1.4.2 後的結果。 F16 經隱像後，效果的確蠻好的，畢竟在圖1.5.2.1(b) 中，用肉眼實在看不出 F16 隱藏其中。

(a) 待植入的 F16 (b) 用 SVD將 F16 植入圖 1.4.2 後的結果 圖 1.5.2.1 　隱像後的效果

24

範例 3 ：一般而言，怎樣分辨浮水印和資料隱藏 ?

解答：

浮水印 : 確定影像的所有者。 資料隱藏 : 將資料隱藏起來。

解答完畢

25

1.6 人臉的定位應用

圖 1.6.1.1 輸入的影像 圖 1.6.1.2 皮膚色所在

封閉 (Closing) 算子 開放 (Opening) 算子

1.6.1 型態學

26

bABABADBb

),(

1 2 3 4 5

1

2

3

4

5

11

B

A

x

y

圖 1.6.1.3 集合 A和B

1 2 3 4 5

1

2

3

4

5

11

x

y

圖 1.6.1.4 D(A,B)

1 2 3 4 5

1

2

3

4

5

11

x

y

圖 1.6.1.5 E(A,B)

A:待處理的區塊集 ; B:結構化元素集 (Structuring Elements)

擴張 (Dilation) 和侵蝕 (Erosion)

擴張運算

侵蝕運算

bABABAEBb

)(),( Θ

27

範例 1 ：今將圖 1.6.1.3 的區塊集改成下圖所示的區塊：

解答：

試求 D(A, B)和 E(A, B) 。

BAD ,

BAE ,

解答完畢

28

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

範例 1.1 ：延用圖 1.6.1.3 的結構化元素集 B ，請分別算出此三區塊集經開放算子及封閉算子運算後的結果，並加以說明。

29

X

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

Y

解答：封閉算子封閉算子 :擴張再侵蝕。經由擴張運算可以得到下圖的結果。

將擴張運算所得區塊集進行侵蝕運算，得下圖的結果。

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

開放算子開放算子 :侵蝕再擴張經由侵蝕運算可以得到下圖

將侵蝕運算所得區塊集進行擴張運算得下圖的結果。

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

此即為封閉算子運算後的結果。解答完畢

30

範例 2 ：如何利用擴張運算子 D 和侵蝕運算子 E 以求得影像中輪廓的外圍？

解答： I: 原影像， B: 結構化元素集。 D(I, B) 將影像的輪廓擴張；E(I, B) 可將影像的輪廓侵蝕。 [D(I, B)-E(I, B)]:物體的輪廓外圍，這裏的‘ -’ 代表兩影像相減。：

介於 D(I,B)和 E(I,B) 之間的環形區域可視為物體 I 的輪廓。解答完畢

31

範例 4 ：如何利用色調範圍來過濾皮膚色 ?

解答：首先利用人工點選的方式，將所有訓練影像中的皮膚色予以框出來，然後將色調抽取出來，並且將統計出來的平均值 和標準差 用於濾波器的設計，下面為其示意圖： μ

32

1.6.2 離散餘弦轉換 (Discrete Cosine Transform)

令 f(x,y) 為框框內位於 (x,y) 的灰階值減去 128 ，則 DCT 的計算公式如下

N

jy

N

ixyxfjCiC

NjiD

N

x

N

y 2

)12(cos

2

)12(cos),()()(

2

1),(

1

0

1

0

otherwise

iic

,1

0,2/1)(

otherwise

jjc

,1

0,2/1)(

DCT

IDCTf(x,y) 也可透過 IDCT(inverse DCT) 得到，公式如下

透過式子 (1.6.2.2) 求得 f(x,y) 後再加上 128即可得到位於影像中(x,y) 位置的原始灰階值。

(1.6.2.1)

N

jy

N

ixjiDjCiC

Nyxf

N

i

N

j 2

)12(cos

2

)12(cos),()()(

2

1),(

1

0

1

0

(1.6.2.2)

33

圖 1.6.2.1 8x8 的灰階圖案及其灰階值

圖 1.6.2.2 DCT 後的結果

DC(Direct Current、直流值 )

此處 N=8 ，則

AC(Alternative Current、交流值 )

1

0

1

0

1

0

1

0

),(22

10cos0cos),(

2

1

2

1

2

1)0,0(

N

x

N

y

N

x

N

y

yxfN

yxfN

D

7

0

7

0

),(8

1)0,0(

x y

yxfD

20 23 12 5 7 9 22 30

22 32 16 5 8 12 11 23

29 32 16 11 70 30 20 20

100 142 3 45 44 200 50 22

103 120 33 41 200 50 22 70

120 210 22 123 23 70 69 160

12 222 24 126 90 20 6 60

212 252 243 26 149 221 61 90

-481 107 41 57 -26 -159 -43 -70

-316 -104 -11 14 32 100 18 41

0 41 9 -67 -56 9 47 40

-49 -29 37 -77 85 10 -91 -43

114 26 -9 103 -49 -26 86 53

-60 -17 -23 -9 -22 12 -55 -94

64 -7 56 -2 -7 27 43 12

-74 -4 -77 -25 74 -41 -44 103

34

範例 2 ：當 D(0, 0)>1000 時，原 88 灰階影像為何種影像？解答：令全黑的灰階值為 0 ，而全白的灰階值為 255 。已知

1000),(64

18)0,0(

7

0

7

0

x yyxfD

原 88 灰階影像可能為一幾近全白的平滑影像。

解答完畢

圖 1.6.2.3DCT 頻率域的紋理方向示意圖

圖 1.6.2.3為 DCT 後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時，在高頻區會有一些較大的係數表現。當 DC 值過小時和 AC 值過大，可進一步判斷有臉部的框框。

35

範例 3 ：如何在臉部上找出眼睛和嘴巴的部位？解答：假設找到的臉部如下所示：

利用水平投射法 (Horizontal Projection)

我們可發現在 (a, b)和 (c, d)兩區間有頻率較高的波峰 (Peak) ，依位置而言，可合理推估 (a, b)區間為眼部所在，而 (c, d)區間為嘴巴所在，畢竟這兩個部分的邊點數是較多的。

解答完畢

36

1.7 影像抽樣原理

給一週期函數 (Periodic Function) g(θ) ， ，傅利葉原先的想法是將 g(θ) 用有正交性 (Orthogonality) 的傅利葉基底(Basis) 來表示。這些正交的基底為 cosθ、 cos2θ、 cos3θ、…、 sinθ、 sin2θ、 sin3θ … 、 ， 。

20

20

正交性 )cos()cos(

2

1coscos nmnmnm

時，當 nm 0coscos2

0

dnm

時，0nm

2

0coscos dnm

時，0nm

2coscos2

0 dnm

1.7.1 傅利葉轉換

37

求解傅利葉係數 有了傅利葉基底後， g(θ) 可表示成

1

0 sincos2 k

kk kbkaa

g

則從

可推得

從

可推得

0,

0,cos)(

0

2

0 ma

madmg m

,...2,1,0,cos)(1 2

0 mdmgam

)0(sin)(2

0 mbdmg m

,...3,2,1,sin)(1 2

0 mdmgbm

(1.7.1.1)

38

範例 1 ：我們來看個例子吧！ 解答：令 ,g π

π-π 2 π- 2 π 3 π- 3 π-π

g ( )

圖 1.7.1.1 g(θ)

0cos1

dkak

0

1 2 cossin ( )k

kb k d d

k

0

1 sin)1(2

)(k

k kk

g

sin21 S

]2sin2

1[sin22 S

]3sin3

12sin

2

1[sin23 S

12 2cos ( 1)kk

k k

...]4sin4

13sin

3

12sin

2

1[sin2

只取第一項

只取前二項

只取前三項

1

1

- 1

- 1

2

2

- 2

- 2

3

3

- 3

- 3

g ( )

S 1S 2S 3

圖 1.7.1.2 g(θ) 的三個近似圖解答完畢

39

FFT

令 為 1 的基本根 (Primitive Root)且滿足 。若N=8 時，傅利葉矩陣為

2

N

iii NW e

1NNW

1234567

246246

3614725

4444

5274163

642642

7654321

8

1

11

1

1111

1

11

1

11111111

WWWWWWW

WWWWWW

WWWWWWW

WWWW

WWWWWWW

WWWWWW

WWWWWWW

F

2

4

2

0

:

N

e

X

X

X

X

X

1

5

3

1

:

N

o

X

X

X

X

X

X

)log( NNOFFT 可在 時間內完成，首先將 分成偶半部和奇半部，分別表示成

40

令 和 。利用算出的 和 ，可得 eN XFu

2/ oN XFv

2/ u

v

NiN

vWu

NivWu

y

Nii

NNi

ii

Ni

i

2 ,

20 ,

2/2/(1.7.1.2)

當 2/0 Ni 0

j j

0 0

2 (2 1)2 2 1

0 /2 0 /2

/2 2 /2 2 10 /2 0 /2

iji N j

j N

ij ijN j N j

j N j N

ki i kN k N k

k N k N

ik i ikN k N N k

k N k N

ii N i

y W X

W X W X

W X W X

W X W W X

u W v

偶數 奇數

NiN 2/ /2 2 /2 2 10 /2 0 /2

( /2) ( /2)/2 2 /2 2 1

0 /2 0 /2

/2 /2

ik i iki N k N N k

k N k N

i N k i i N kN k N N k

k N k N

ii N N i N

y W X W W X

W X W W X

u W v

當

41

範例 2 ：可否利用替代法證明 。 解答：已知 ，可推得

)log()()2/(2)( NNONNTNT

)()2/(2)( NNTNT

)log(

log2

)1(log)2(2

)11...1()2/(2

...)2/(2

.

.

.

)4/(2

)2/(2

)()2/(2)(

2

NNO

CNNCNN

CNNTN

CNNT

CNCNCNNT

CNCNNT

CNNT

NNTNT

kk

kk

解答完畢

42

分開性 (Separability)回到二維的 FT ，假設一張影像位於 (x,y) 的灰階值為 f(x,y) ，則二維的 FT 定義為

1

0

1

0

])(

[2),(

1),(

N

x

N

y

N

vyuxj

eyxfNN

vuF

IFT(Inverse FT)依下式求得

1

0

1

0

])(

[2),(

1),(

N

u

N

v

N

vyuxj

evuFN

yxf

式子 (1.7.1.3) 可改寫成下列的型式2 21 1

0 0

21

0

1( , ) ( , )

1( , )

j ux j uyN NN N

x y

j uxNN

x

F u v e f x y eN

F x v eN

式子 (1.7.1.5) 中 F(x,v) 可看成先對 y 軸進行 FT再對 x 軸進行 FT。 (1.7.1.5) 式顯示的是 FT 的分開性 (Separability) 。

(1.7.1.3)

(1.7.1.4)

(1.7.1.5)

43

)2

,2

(),(

),(),(

)2

()2

(2

1

0

1

0

)(21

0

1

0

)22

(21

0

1

0

)(2

)(

Nv

NuFeyxf

eeyxfeeyxf

N

yN

vxN

uj

N

x

N

y

N

vyuxjN

x

N

y

N

yN

xN

jN

x

N

y

N

vyuxj

yxj

範例 3 ：假如我們想把 FT 後的結果從原點 (Origin)移到中央(Center)

該如何辦到呢？解答：首先將乘上 ，則 的 FT 如下所算

yxyxf )1)(,(yx )1(

(1.7.1.6)

1

0

1

0

)(2

)1)(,(N

x

N

y

N

vyuxj

yx eyxf

由 f(x, y)(－ 1)x+y的 FT等於 ，可得知已將 FT 的結果從原點移至中央處了。式 (1.7.1.6) 顯示了 FT 的平移性 (Translation) 。

)2

,2

(N

vN

uF

解答完畢

44

f ( x )

x- 1 / 2 1 / 2

f ( x )

x- 1 / 4 1 / 4

F ( u )

u- 4π - 4π

F (u )

u2π- 2π- 4π 4π

f(x) F(u)

1/2f(u/2)f(2x)

放大性 (Scaling)

若將 乘上一個係數 C ，則 經 FT作用後得 到 ，這個性質稱作放大性質。令 ，則

和 。可推得 和 為傅利葉配對 (Fourier Pair ) ，具有倒數放大性質 (Reciprocal-Scaling) 。

),( yxf ),( yxfC

),( vuCF x z z

x

dzdx1

)( xf )(||

1

u

F

45

迴積定理 (Convolution Theorem)

兩函數 f(x) 和 g(x) 的迴積定義為

1

0

)()()()(N

m

mxgmfxgxf

1

0

)()(1

)(N

m

mxgmfN

xz

)()(

)(1

)(1

)(1

)(1

)()(1

)(1

1

0

1

0

1

0

1

0

1

0

1

02

1

0

uGuF

WxgN

WmfN

WmxgN

mfN

WmxgmfN

WxzN

N

x

kxN

m

km

N

x

kxN

m

N

x

N

m

kxN

x

kx

令

則所有 z(x) 經 FT作用後得

46

取樣間距 (Sampling Interval)

必須滿足 ，如此才不會造成混疊效應 (Aliasing)。

x

uWx

2

1

1.7.2 避免混疊效應

P (u )

u- 1 / x 1 / x

T ( u )

u- W u W u

某函數 取樣函數

F(u)和 P(u)進行迴積運算 將 T(u)乘上 F(u)*P(u) 可得F(u)

F (u ) * P ( u )

uW u 3 W u- W u- 3 W u

F (u )

uW u- W u

47

圖 1.7.2.1 　輸入的影像

圖 1.7.2.2 　傅利葉頻譜圖

最後我們來看一個 FT 的實作結果。給一影像如圖 1.7.2.1所示，經 FT作用後，其傅利葉頻譜顯示於圖 1.7.2.2 。

1.8 結論 我們從光的組成談到人眼結構及其和照相機結構的對應

關係；四種色彩模式的轉換，形成高灰階影像與其分解成八張位元平面，引出隱像術與浮水印；搭配 DCT介紹了人臉的定位應用。

48