Download - 第一章 光、影像 、浮水印 和抽樣原理
1
第一章光、影像、浮水印和抽樣原理
2
1.1 前言 1.2 光與顏色 1.3 人眼與照像機的關係 1.4 彩色模式的轉換 - RGB、 YIQ、 HSV、 YUV和
YCbCr
1.5 隱像術與浮水印
1.6 人臉的定位應用
1.7 影像抽樣原理
1.8 結論
1.5.1 影像的位元平面剖析 1.5.2 基本原理
1.6.1 形態學 1.6.2 離散餘弦轉換
1.7.1 傅利葉轉換 1.7.2 避免混疊效應
內容
1.1 前言 光的特性和組成,人眼和相機的關係。色彩模式 (Color
model) 的轉換,隱像術 (Image Hiding) 和浮水印(Watermark) 之一。人臉定位 : 形態學 (Morphology) 和離散餘弦轉換 (Discrete Cosine Transform, DCT) 。
傅立葉轉換 (Fourier Transform) 。迴積定理(Convolution Theorem) , 影像抽樣原理。
3
4
光 (Light): 粒子,波。人 : 可見光,不能看見頻率 (Frequency) 低於可見光的紅外線和微波,也無法看見頻率高於可見光的紫外線和加瑪射線。
亮度 (Brightness) 和頻率的關係,如圖 1.2.1 所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。
1.2 光與顏色
紅
黃 綠
紫
亮度
頻率可見光
圖 1.2.1 亮度與頻率的關係
紅光波長: 9700 10
紫光波長: 9400 10
5
1.3 人眼與照像機的關係 影像處理前的輸入影像有很大的比例是由照像機 (Camera) 拍攝而
得。 瞳孔 : 光圈,調節光通量,流明 (Luminance) 為單位。
視網膜
睫狀肌
水晶體
視神經束
瞳孔
眼角膜
虹膜
圖 1.3.1 人眼示意圖
6
1.4 彩色模式的轉換 在影像的彩色模式中,比較常見的有下列幾種:
(1)RGB , (2)YIQ, (3)HSV, (4)YUV , (5)YCbCr 。
RGBYIQY : 亮度 (Luminance) ; I :In-phase ,色彩從橙色到青色; Q :Quadrature-phase ,色彩從紫色到黃綠色。 (NTSC 電視系統標準 )
(1.4.1)
範例 1: R,G,B)=(100,50,30) ,試求其對應的灰階值。解答:
解答完畢6330114.050587.0100299.0 Y
0.299 0.587 0.114
0.596 0.275 0.321
0.212 0.523 0.311
Y R
I G
Q B
7
範例 2 :
將 I 轉換成 YIQ 影像,這裡 (10,20,40) 代表 R=10, G=20和 B=40 。 解答:
YIQ 影像為
解答完畢
)120,250,50()200,150,100(
)20,30,40()40,20,10(I
)84,77,175()4,46,141(
)1,9,32()4,12,19(YIQI
11
11
11
0.299 10 0.587 20 0.114 40 19.29
0.596 10 0.275 20 0.321 40 12.38
0.212 10 0.523 20 0.311 40 4.1
Y
I
Q
8
圖 1.4.1 彩色 Lena 影像 圖 1.4.2 轉換的高灰階 Lena 影像
9
RGBHSV
255
),,(
),,(
),,(),,(
B if 360
B if
5.0cos
1
1
2
11
BGRMaxV
BGRMax
BGRMinBGRMaxS
GHH
GHH
BGBRGR
BRGRH
(1.4.2)
H=0 時代表紅色, H=120 時代表綠色, H=240 時代表藍色。 S=0 時,表示影像為灰階式的影像。 當 H = 0且 S=1 時,影像為紅色。當 V=0 時,表示黑色。反之,當 V=1 時,表示白色的亮光。
max( , , ) min( , , )
max( , , )
max( , , )
255
R G B R G BS
R G B
R G BV
10
HSV 系統可以圖 1.4.3 表示其座標系統。
HSV=HSB=HIS, B:Brightness, I:Intensity 。
圖 1.4.3 HSV 彩色系統
11
)33sin()33cos( VUQ
)33cos()33sin( VUI
YUVYIQ
在 JPEG 系統中,我們第一步輸入 RGB 彩色影像。第二步將 RGB彩色轉換成 YCbCr 彩色系統。
(1.4.3)
代表“ Blue Minus ‘Black and White’ ”
代表“ Red Minus ‘Black and White’ ”
( ) / 2 0.58
( ) / 2 0.58b
r
C B Y
C R Y
bC
rC
12
1.5 隱像術與浮水印1.5.1 影像的位元平面剖析
(a) R 平面 (b) G 平面 (a) B 平面
圖 1.5.1.1 彩色 Lena 影像的三張分解圖
13
灰階 Lena 影像分解成八個位元平面
(a) 第一張位元平面 (b) 第二張位元平面
(c) 第三張位元平面 (d) 第四張位元平面
(e) 第五張位元平面 (f) 第六張位元平面
(g) 第七張位元平面 (h) 第八張位元平面
圖 1.5.1.2 灰階 Lena 影像的八張位元平面剖析
14
圖 1.5.1.2(e) ~ (h) 的合成影像
把圖 1.5.1.2(e) ~ (h) 疊在一起可得到圖 1.5.1.3 。
15
範例 1 :給 44 子影像,子影像的每一個像素之灰階值佔用 八個位元,請算出第三張位元平面。
8 7 6 5
32 31 30 29
10 11 12 13
0 1 2 3
解答:子影像轉換成00001000 00000111 00000110 00000101
00100000 00011111 00011110 00011101
00001010 00001011 00001100 00001101
00000000 00000001 00000010 00000011
將右邊第三位元全部收集起來,得到第三位元平面: 0 1 1 1
0 1 1 1
0 0 1 1
0 0 0 0解答完畢
16
範例 2 :前述的隱像術之優缺點為何 ?
解答:
滿足上圖的函數也叫單程函數 (One-way Function) 。利用位元平面來植入影像的最大缺點為:一旦經過壓縮後,所植入的影像很容易受到破壞,解壓後所取出的影像常常已遭到破損。
解答完畢
植入容易
取出困難
原影像 植入浮水印的影像
17
1.5.2 基本原理
1
0
1
0
22
2
10
)),(),('(1
255log10
N
x
N
y
yxByxBN
MSE
MSEPSNR
隱像術把 A 影像隱藏在 B 影像並且讓人無法察覺 B 影像中藏了 A 影像。
PSNR令 B' 為將 A 隱藏在 B 後的結果。 PSNR (Peak Signal-to-Noise Ratio) 很常被用來評估 B'和 B 的相似性, PSNR 的定義如下
浮水印可把 A 看成標誌 (Logo) ,通常這個標誌可想成一種版權。
18
SVD 隱像術方法
已知有一 N × N 的灰階影像 A ,假設 A 的秩 (Rank) 為 r,
則 A 的 SVD 可表示為 tVUA
V和 U 為正交矩陣 (Orthogonal Matrix)且 ,其中
滿足 和 。
這裏 等於 , 為矩陣 At A 的第 i 個特徵值 (Eigenvalue) 。
),...,,( 21 ndiag
n ..., 21 0...21 r 0...21 nrr
iσ i i
19
範例 1 :如何知道 ? 0λ i
解答:利用
2
2
2
2 0
t t t
t t
AX AX AX X A AX
X X X X
X
AX
X
解答完畢
20
範例 2 :如何知道 A 可進行 SVD 分解?也就是,如何得到
t
t
tt
VU
V
VUUVUA
111
2
1121
00
0)(
解答:
(1.5.2.1)
21
22
22A
88
88AAt例如,令 ,則 。
的特徵值 (Eigenvalues) 為 和 。將特徵值開根號, A
的奇異值為 和 。特徵值為 16 的特徵向量為 而特徵值為 0 的特徵向量為 ,利用這二個特徵向量可建構出
AAt 161 02
41 02 tV 1,11
tV 1,12
11
11
2
1),( 21 VVV
UAV利用 可得
所以
1 11
1 12 21 1 2 22 2 1 14
2 2
u AV
1 1 1AV u
22
又由 ,可得 。利用 可找出UAV tt VUA t
u
2
1,
2
12 。 A的 SVD 可表示為
結合 SVD及 VQ 之方法 [20] ,在壓縮和失真之間得到一個較好的平衡 。
2
1
2
12
1
2
1
00
04
2
1
2
12
1
2
1
tVUA
2 0tA u
23
圖 1.5.2.1(a) 為待植入的 F16 影像,圖 1.5.2.1(b) 為將 F16 植入圖1.4.2 後的結果。 F16 經隱像後,效果的確蠻好的,畢竟在圖1.5.2.1(b) 中,用肉眼實在看不出 F16 隱藏其中。
(a) 待植入的 F16 (b) 用 SVD將 F16 植入圖 1.4.2 後的結果 圖 1.5.2.1 隱像後的效果
24
範例 3 :一般而言,怎樣分辨浮水印和資料隱藏 ?
解答:
浮水印 : 確定影像的所有者。 資料隱藏 : 將資料隱藏起來。
解答完畢
25
1.6 人臉的定位應用
圖 1.6.1.1 輸入的影像 圖 1.6.1.2 皮膚色所在
封閉 (Closing) 算子 開放 (Opening) 算子
1.6.1 型態學
26
bABABADBb
),(
1 2 3 4 5
1
2
3
4
5
11
B
A
x
y
圖 1.6.1.3 集合 A和B
1 2 3 4 5
1
2
3
4
5
11
x
y
圖 1.6.1.4 D(A,B)
1 2 3 4 5
1
2
3
4
5
11
x
y
圖 1.6.1.5 E(A,B)
A:待處理的區塊集 ; B:結構化元素集 (Structuring Elements)
擴張 (Dilation) 和侵蝕 (Erosion)
擴張運算
侵蝕運算
bABABAEBb
)(),( Θ
27
範例 1 :今將圖 1.6.1.3 的區塊集改成下圖所示的區塊:
解答:
試求 D(A, B)和 E(A, B) 。
BAD ,
BAE ,
解答完畢
28
X
Y
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
範例 1.1 :延用圖 1.6.1.3 的結構化元素集 B ,請分別算出此三區塊集經開放算子及封閉算子運算後的結果,並加以說明。
29
X
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
Y
解答:封閉算子封閉算子 :擴張再侵蝕。經由擴張運算可以得到下圖的結果。
將擴張運算所得區塊集進行侵蝕運算,得下圖的結果。
X
Y
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
開放算子開放算子 :侵蝕再擴張經由侵蝕運算可以得到下圖
將侵蝕運算所得區塊集進行擴張運算得下圖的結果。
X
Y
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
此即為封閉算子運算後的結果。解答完畢
30
範例 2 :如何利用擴張運算子 D 和侵蝕運算子 E 以求得影像中輪廓的外圍?
解答: I: 原影像, B: 結構化元素集。 D(I, B) 將影像的輪廓擴張;E(I, B) 可將影像的輪廓侵蝕。 [D(I, B)-E(I, B)]:物體的輪廓外圍,這裏的‘ -’ 代表兩影像相減。:
介於 D(I,B)和 E(I,B) 之間的環形區域可視為物體 I 的輪廓。解答完畢
31
範例 4 :如何利用色調範圍來過濾皮膚色 ?
解答:首先利用人工點選的方式,將所有訓練影像中的皮膚色予以框出來,然後將色調抽取出來,並且將統計出來的平均值 和標準差 用於濾波器的設計,下面為其示意圖: μ
32
1.6.2 離散餘弦轉換 (Discrete Cosine Transform)
令 f(x,y) 為框框內位於 (x,y) 的灰階值減去 128 ,則 DCT 的計算公式如下
N
jy
N
ixyxfjCiC
NjiD
N
x
N
y 2
)12(cos
2
)12(cos),()()(
2
1),(
1
0
1
0
otherwise
iic
,1
0,2/1)(
otherwise
jjc
,1
0,2/1)(
DCT
IDCTf(x,y) 也可透過 IDCT(inverse DCT) 得到,公式如下
透過式子 (1.6.2.2) 求得 f(x,y) 後再加上 128即可得到位於影像中(x,y) 位置的原始灰階值。
(1.6.2.1)
N
jy
N
ixjiDjCiC
Nyxf
N
i
N
j 2
)12(cos
2
)12(cos),()()(
2
1),(
1
0
1
0
(1.6.2.2)
33
圖 1.6.2.1 8x8 的灰階圖案及其灰階值
圖 1.6.2.2 DCT 後的結果
DC(Direct Current、直流值 )
此處 N=8 ,則
AC(Alternative Current、交流值 )
1
0
1
0
1
0
1
0
),(22
10cos0cos),(
2
1
2
1
2
1)0,0(
N
x
N
y
N
x
N
y
yxfN
yxfN
D
7
0
7
0
),(8
1)0,0(
x y
yxfD
20 23 12 5 7 9 22 30
22 32 16 5 8 12 11 23
29 32 16 11 70 30 20 20
100 142 3 45 44 200 50 22
103 120 33 41 200 50 22 70
120 210 22 123 23 70 69 160
12 222 24 126 90 20 6 60
212 252 243 26 149 221 61 90
-481 107 41 57 -26 -159 -43 -70
-316 -104 -11 14 32 100 18 41
0 41 9 -67 -56 9 47 40
-49 -29 37 -77 85 10 -91 -43
114 26 -9 103 -49 -26 86 53
-60 -17 -23 -9 -22 12 -55 -94
64 -7 56 -2 -7 27 43 12
-74 -4 -77 -25 74 -41 -44 103
34
範例 2 :當 D(0, 0)>1000 時,原 88 灰階影像為何種影像?解答:令全黑的灰階值為 0 ,而全白的灰階值為 255 。已知
1000),(64
18)0,0(
7
0
7
0
x yyxfD
原 88 灰階影像可能為一幾近全白的平滑影像。
解答完畢
圖 1.6.2.3DCT 頻率域的紋理方向示意圖
圖 1.6.2.3為 DCT 後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時,在高頻區會有一些較大的係數表現。當 DC 值過小時和 AC 值過大,可進一步判斷有臉部的框框。
35
範例 3 :如何在臉部上找出眼睛和嘴巴的部位?解答:假設找到的臉部如下所示:
利用水平投射法 (Horizontal Projection)
我們可發現在 (a, b)和 (c, d)兩區間有頻率較高的波峰 (Peak) ,依位置而言,可合理推估 (a, b)區間為眼部所在,而 (c, d)區間為嘴巴所在,畢竟這兩個部分的邊點數是較多的。
解答完畢
36
1.7 影像抽樣原理
給一週期函數 (Periodic Function) g(θ) , ,傅利葉原先的想法是將 g(θ) 用有正交性 (Orthogonality) 的傅利葉基底(Basis) 來表示。這些正交的基底為 cosθ、 cos2θ、 cos3θ、…、 sinθ、 sin2θ、 sin3θ … 、 , 。
20
20
正交性 )cos()cos(
2
1coscos nmnmnm
時,當 nm 0coscos2
0
dnm
時,0nm
2
0coscos dnm
時,0nm
2coscos2
0 dnm
1.7.1 傅利葉轉換
37
求解傅利葉係數 有了傅利葉基底後, g(θ) 可表示成
1
0 sincos2 k
kk kbkaa
g
則從
可推得
從
可推得
0,
0,cos)(
0
2
0 ma
madmg m
,...2,1,0,cos)(1 2
0 mdmgam
)0(sin)(2
0 mbdmg m
,...3,2,1,sin)(1 2
0 mdmgbm
(1.7.1.1)
38
範例 1 :我們來看個例子吧! 解答:令 ,g π
π-π 2 π- 2 π 3 π- 3 π-π
g ( )
圖 1.7.1.1 g(θ)
0cos1
dkak
0
1 2 cossin ( )k
kb k d d
k
0
1 sin)1(2
)(k
k kk
g
sin21 S
]2sin2
1[sin22 S
]3sin3
12sin
2
1[sin23 S
12 2cos ( 1)kk
k k
...]4sin4
13sin
3
12sin
2
1[sin2
只取第一項
只取前二項
只取前三項
1
1
- 1
- 1
2
2
- 2
- 2
3
3
- 3
- 3
g ( )
S 1S 2S 3
圖 1.7.1.2 g(θ) 的三個近似圖解答完畢
39
FFT
令 為 1 的基本根 (Primitive Root)且滿足 。若N=8 時,傅利葉矩陣為
2
N
iii NW e
1NNW
1234567
246246
3614725
4444
5274163
642642
7654321
8
1
11
1
1111
1
11
1
11111111
WWWWWWW
WWWWWW
WWWWWWW
WWWW
WWWWWWW
WWWWWW
WWWWWWW
F
2
4
2
0
:
N
e
X
X
X
X
X
1
5
3
1
:
N
o
X
X
X
X
X
X
)log( NNOFFT 可在 時間內完成,首先將 分成偶半部和奇半部,分別表示成
40
令 和 。利用算出的 和 ,可得 eN XFu
2/ oN XFv
2/ u
v
NiN
vWu
NivWu
y
Nii
NNi
ii
Ni
i
2 ,
20 ,
2/2/(1.7.1.2)
當 2/0 Ni 0
j j
0 0
2 (2 1)2 2 1
0 /2 0 /2
/2 2 /2 2 10 /2 0 /2
iji N j
j N
ij ijN j N j
j N j N
ki i kN k N k
k N k N
ik i ikN k N N k
k N k N
ii N i
y W X
W X W X
W X W X
W X W W X
u W v
偶數 奇數
NiN 2/ /2 2 /2 2 10 /2 0 /2
( /2) ( /2)/2 2 /2 2 1
0 /2 0 /2
/2 /2
ik i iki N k N N k
k N k N
i N k i i N kN k N N k
k N k N
ii N N i N
y W X W W X
W X W W X
u W v
當
41
範例 2 :可否利用替代法證明 。 解答:已知 ,可推得
)log()()2/(2)( NNONNTNT
)()2/(2)( NNTNT
)log(
log2
)1(log)2(2
)11...1()2/(2
...)2/(2
.
.
.
)4/(2
)2/(2
)()2/(2)(
2
NNO
CNNCNN
CNNTN
CNNT
CNCNCNNT
CNCNNT
CNNT
NNTNT
kk
kk
解答完畢
42
分開性 (Separability)回到二維的 FT ,假設一張影像位於 (x,y) 的灰階值為 f(x,y) ,則二維的 FT 定義為
1
0
1
0
])(
[2),(
1),(
N
x
N
y
N
vyuxj
eyxfNN
vuF
IFT(Inverse FT)依下式求得
1
0
1
0
])(
[2),(
1),(
N
u
N
v
N
vyuxj
evuFN
yxf
式子 (1.7.1.3) 可改寫成下列的型式2 21 1
0 0
21
0
1( , ) ( , )
1( , )
j ux j uyN NN N
x y
j uxNN
x
F u v e f x y eN
F x v eN
式子 (1.7.1.5) 中 F(x,v) 可看成先對 y 軸進行 FT再對 x 軸進行 FT。 (1.7.1.5) 式顯示的是 FT 的分開性 (Separability) 。
(1.7.1.3)
(1.7.1.4)
(1.7.1.5)
43
)2
,2
(),(
),(),(
)2
()2
(2
1
0
1
0
)(21
0
1
0
)22
(21
0
1
0
)(2
)(
Nv
NuFeyxf
eeyxfeeyxf
N
yN
vxN
uj
N
x
N
y
N
vyuxjN
x
N
y
N
yN
xN
jN
x
N
y
N
vyuxj
yxj
範例 3 :假如我們想把 FT 後的結果從原點 (Origin)移到中央(Center)
該如何辦到呢?解答:首先將乘上 ,則 的 FT 如下所算
yxyxf )1)(,(yx )1(
(1.7.1.6)
1
0
1
0
)(2
)1)(,(N
x
N
y
N
vyuxj
yx eyxf
由 f(x, y)(- 1)x+y的 FT等於 ,可得知已將 FT 的結果從原點移至中央處了。式 (1.7.1.6) 顯示了 FT 的平移性 (Translation) 。
)2
,2
(N
vN
uF
解答完畢
44
f ( x )
x- 1 / 2 1 / 2
f ( x )
x- 1 / 4 1 / 4
F ( u )
u- 4π - 4π
F (u )
u2π- 2π- 4π 4π
f(x) F(u)
1/2f(u/2)f(2x)
放大性 (Scaling)
若將 乘上一個係數 C ,則 經 FT作用後得 到 ,這個性質稱作放大性質。令 ,則
和 。可推得 和 為傅利葉配對 (Fourier Pair ) ,具有倒數放大性質 (Reciprocal-Scaling) 。
),( yxf ),( yxfC
),( vuCF x z z
x
dzdx1
)( xf )(||
1
u
F
45
迴積定理 (Convolution Theorem)
兩函數 f(x) 和 g(x) 的迴積定義為
1
0
)()()()(N
m
mxgmfxgxf
1
0
)()(1
)(N
m
mxgmfN
xz
)()(
)(1
)(1
)(1
)(1
)()(1
)(1
1
0
1
0
1
0
1
0
1
0
1
02
1
0
uGuF
WxgN
WmfN
WmxgN
mfN
WmxgmfN
WxzN
N
x
kxN
m
km
N
x
kxN
m
N
x
N
m
kxN
x
kx
令
則所有 z(x) 經 FT作用後得
46
取樣間距 (Sampling Interval)
必須滿足 ,如此才不會造成混疊效應 (Aliasing)。
x
uWx
2
1
1.7.2 避免混疊效應
P (u )
u- 1 / x 1 / x
T ( u )
u- W u W u
某函數 取樣函數
F(u)和 P(u)進行迴積運算 將 T(u)乘上 F(u)*P(u) 可得F(u)
F (u ) * P ( u )
uW u 3 W u- W u- 3 W u
F (u )
uW u- W u
47
圖 1.7.2.1 輸入的影像
圖 1.7.2.2 傅利葉頻譜圖
最後我們來看一個 FT 的實作結果。給一影像如圖 1.7.2.1所示,經 FT作用後,其傅利葉頻譜顯示於圖 1.7.2.2 。
1.8 結論 我們從光的組成談到人眼結構及其和照相機結構的對應
關係;四種色彩模式的轉換,形成高灰階影像與其分解成八張位元平面,引出隱像術與浮水印;搭配 DCT介紹了人臉的定位應用。
48