phathienkhuonmat trong anh 0226
Post on 06-Jul-2018
218 Views
Preview:
TRANSCRIPT
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
1/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 1
I CM N
Em xin chân thành cm n các thy, các cô khoa Công ngh Thông tin
Tr ng i hc Dân l p Hi Phòng ã tn tình dy d, truyn t cho chúng em
nhiu kin thc quý báu.
Em xin t lòng bit n sâu sc n thy Th.s Ngô Tr ng Giang, ng i ã
n tình giúp và truyn t nhiu kinh nghim tài có th c thc hin
và hoàn thành.
Xin chân thành cm n các bn trong khoa Công Ngh Thông Tin, i Hc
Dân L p Hi Phòng ã giúp , ng viên tôi r t nhiu trong quá trình thc hin
tài.
Em xin trân tr ng cm n!
i Phòng, tháng 07 nm 2007. Sinh viên
Lê Hng Chuyên
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
2/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 2
C LCI CM N .................................................................................................... 1 U ........................................................................................................... 4CH NG 1: NG QUAN V PHÁT HI N KHUÔN MT ....................5
1.1. Gi i thiu..............................................................................................51.2. t s l nh vc ng dng phát hin khuôn mt. ...................................51.3. t s ph ng pháp xác nh khuôn mt ng i. ..................................7
1.3.1. ng ti p cn da trên tri thc.....................................................71.3.2. ng ti p cn da trên c tr ng không thay i. ...................... 10
1.3.3. ng ti p cn da trên so kh p mu. ......................................... 131.3.4. ng ti p cn da trên din mo................................................161.3.5. ng ti p cn tng h p .............................................................. 25
1.4. Khó khn và thách thc trong bài toán xác nh khuôn mt................26
CH NG 2: PHÁT HI N KHUÔN MT S D NG ADABOOST......... 282.1. Gi i thiu............................................................................................28
2.1.1. Các h ng ti p cn dò tìm khuôn mt nhanh................................ 282.1.2. ng ti p cn theo AdaBoost.....................................................28
2.2. Trích chn c tr ng cho AdaBoost.................................................... 29
2.3. Thut toán ADABOOST.....................................................................312.4. dò tìm phân tng Adaboost............................................................ 352.5. Hun luyn dò tìm khuôn mt .............................................................38
2.6. Dò tìm khuôn mt ............................................................................... 382.7. Nhn xét .............................................................................................392.7.1. u m ....................................................................................... 392.7.2. Khuyt m.................................................................................39
CH NG 3: PHÁT HI N KHUÔN MT S D NG M NG NRON..403.1. ng quan v mng n ron nhân to ....................................................40
3.1.1. ng n ron sinh hc....................................................................403.1.2. ron nhân to:............................................................................ 413.1.3. Các thành phn ca n ron nhân to:.............................................42
3.1.4. Mô hình c bn ca mng n ron ..................................................433.1.5. Xây dng mng n ron..................................................................443.1.6. Hun luyn mng n ron. ..............................................................45
3.2. Chun b d liu..................................................................................523.2.1. Gi i thiu .....................................................................................52
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
3/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 3
3.2.2. Gán nhãn và canh biên các c tr ng khuôn mt .......................... 523.2.3. Tin x lý v sáng và t ng phn trên t p mu hc............54
3.3. Hun luyn dò tìm khuôn mt ............................................................. 563.3.1. Gi i thiu ..................................................................................... 56
3.3.2. Hun luyn dò tìm khuôn mt ...................................................... 563.4. Quá trình dò tìm khuôn mt ................................................................60CH NG 4: CÀI T NG D NG......................................................... 62
4.1. Môi tr ng TEST ............................................................................... 624.2. t s giao din chính........................................................................624.3. t qu ...............................................................................................654.4. Nhn xét ............................................................................................. 66
T LU N...................................................................................................... 67TÀI LIU THAM KHO ................................................................................ 68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
4/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 4
U
Trong nhng nm gn ây, các ng dng v trí tu nhân to ngày càng phát
trin và c ánh giá cao. Mt l nh vc ang c quan tâm ca trí tu nhân
o nhm to ra các ng dng thông minh, có tính ng i ó là nhn dng. i ng cho vic nghiên cu nhn dng cng r t phong phú và a dng. Trong
tài này tôi chn i t ng là khuôn mt, và b c u tiên ca vic nhn dng ó
là phát hin khuôn mt.
Khuôn mt óng vai trò quan tr ng trong quá trình giao ti p gia ng i v i
ng i, và cng mang mt l ng thông tin giàu có, chng hn có th xác nh
gi i tính, tui tác, tr ng thái cm xúc ca ng i ó, ... h n na khi kho sát các
ng nét trên khuôn mt có th bit c ng i ó mun nói gì. Do ó, pháthin là b c tin quan tr ng phc v công vic nhn dng khuôn mt sau
này. Có r t nhiu ph ng pháp phát hin khuôn mt, AdaBoost và mng N -ron
là mt trong nhng ph ng pháp ó.
án c chia ra 4 ch ng: Ch ng 1 s trình bày tng quan v mt s
ph ng pháp phát hin khuôn mt. Ph ng pháp Adaboost và mng N -ron
dùng phát hin khuôn mt c trình bày trong ch ng 2 và 3. Ch ng 4 là
phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui
cùng là k t lun.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
5/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 5
CH NG 1: NG QUAN V PHÁT HIN KHUÔN MT
1.1. Gi i thiu.
H n mt th p k qua có r t nhiu công trình nghiên cu v bài toán
xác nh khuôn mt ng i t nh en tr ng, xám n nh màu nh ngày
hôm nay. Các nghiên cu i t bài toán n gin, mi nh ch có mt khuôn mt
ng i nhìn thng vào thit b thu hình và u t th thng ng trong nh
en tr ng. Cho n ngày hôm nay bài toán m r ng cho nh màu, có nhiu
khuôn mt trong cùng mt nh, có nhiu t th thay i trong nh. Không nhng
y mà còn m r ng c phm vi t môi tr ng xung quanh khá n gin (trong
phòng thí nghim) cho n môi tr ng xung quanh r t phc t p (nh trong t
nhiên) nhm áp ng nhu cu ca thc t. Xác nh khuôn mt ng i (Face Detection) là mt k thut máy tính
xác nh các v trí và các kích th c ca các khuôn mt ng i trong các nh bt
(nh k thut s). K thut này nhn bit các c tr ng ca khuôn mt và b
qua nhng th khác, nh: tòa nhà, cây ci, c th, …
1.2. t s l nh v c ng dng phát hin khuôn mt.
Phát hin khuôn mt ã c ng dng trong r t nhiu l nh vc:
- thng t ng tác gia ng i và máy: giúp nhng ng i b tt hoc
khim khuyt có th trao i. Nhng ng i dùng ngôn ng tay có th giao
ti p v i nhng ng i bình th ng. Nhng ng i b bi lit thông qua mt
ký hiu nháy mt có th biu l nhng gì h mun, …. ó là các bài
toán u b ca bàn tay (hand gesture), u b khuôn mt, …
- Nhn dng ng i A có phi là ti phm truy nã hay không? Giúp c quan
an ninh qun lý tt con ng i. Công vic nhn dng có th trong môi
tr ng bình th ng cng nh trong bóng ti (s dng camera hng ngoi).
- thng quan sát, theo dõi và bo v. Các h thng camera s xác nh
âu là con ng i và theo dõi con ng i ó xem h có vi phm gì không, ví
xâm phm khu vc không c vào, ….
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
6/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 6
- u tr (rút tin ATM, bit ai rút tin vào th i m ó), hin nay có
tình tr ng nhng ng i b ng i khác ly mt th ATM hay mt mã s PIN
và nhng ng i n c p này i rút tin, hoc nhng ng i ch th i rút tin
nhng li báo cho ngân hàng là mt th và mt tin. Các ngân hàng có nhu
u khi có giao dch tin s kim tra hay lu tr khuôn mt ng i rút tin sau ó i chng và x lý.
- Th cn c c, chng minh nhân dân (Face dentification).
- u khin vào ra: vn phòng, công ty, tr s , máy tính,…. K t h p thêm
vân tay và hc mt. Cho phép nhân viên c ra vào n i cn thit, hay mi
ng i s ng nh p máy tính cá nhân ca mình mà không cn nh tên
ng nh p cng nh mt khu mà ch cn xác nh thông qua khuôn mt.
- An ninh sân bay, xut nh p cnh (hin nay c quan xut nh p cnh M ãáp dng). Dùng xác thc ng i xut nh p cnh và kim tra có phi là
nhân vt khng b không.
- ng lai s phát trin các loi th thông minh có tích h p sn c tr ng
a ng i dùng trên ó, khi bt c ng i dùng khác dùng truy c p hay
lý ti các h thng s c yêu cu kim tra các c tr ng khuôn mt
so v i th bit nay có phi là ch th hay không.
- Tìm kim và t chc d liu liên quan n con ng i thông qua khuôn mtng i trên nhiu h c s d liu lu tr tht l n, nh internet, các hãng
truyn hình, …. Ví d: tìm các n video có tng thng Bush phát biu,
tìm các phim có din viên Thành Long óng, tìm các tr n á banh có
Ronaldinho á.
- Phân loi trong lu tr hình nh trong n thoi di ng. Thông qua bài
toán xác nh khuôn mt ng i và trích c tr ng, r i da vào c tr ng
này s p x p, lu tr , giúp ng i s dng d dàng truy tìm khi cn thit.
- Kim tra tr ng thái ng i lái xe có ng gt, mt t p trung hay không, và h
tr thông báo khi cn thit.
- Phân tích cm xúc trên khuôn mt.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
7/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 7
- t s hãng sn xut máy ch p nh ã ng dng bài toán xác nh khuôn
t ng i vào máy ch p nh th h m i cho k t qu hình nh p h n.
1.3. t s ph ng pháp xác nh khuôn mt ng i.
Có nhiu nghiên cu tìm ph ng pháp xác nh khuôn mt ng i, t nhxám n ngày nay là nh màu. Da vào tính cht ca các ph ng pháp xác nh
khuôn mt ng i trên nh, chúng ta có th phân chia các ph ng pháp này thành
n h ng ti p cn chính:
- ng tip cn d a trên tri th c: Mã hóa các hiu bit ca con ng i v
các loi khuôn mt ng i thành các lut. Thông th ng các lut mô t
quan h ca các c tr ng.
- ng tip cn d a trên c tr ng không thay i: Mc tiêu các thuttoán i tìm các c tr ng mô t cu trúc khuôn mt ng i mà các c tr ng
này s không thay i khi t th khuôn mt, v trí t thit b thu hình hoc
u kin ánh sáng thay i.
- ng tip cn d a trên so kh p mu: Dùng các mu chun ca khuôn
t ng i (các mu này c chn la và lu tr ) mô t cho khuôn mt
ng i hay các c tr ng khuôn mt (các mu này phi chn làm sao cho
tách bit nhau theo tiêu chun mà các tác gi nh ra so sánh).
- ng tip cn d a trên din mo: Trái ng c hn v i so kh p mu,
các mô hình hc ây c hc t mt t p nh hun luyn cho tr c. Sau
ó h thng s xác nh khuôn mt ng i. Mt s tác gi còn gi h ng
ti p cn này là h ng ti p cn theo ph ng pháp hc.
1.3.1. ng tip cn d a trên tri th c.
Trong h ng ti p cn này, các lut s ph thuc r t l n vào tri thc ca
nhng tác gi nghiên cu v bài toán xác nh khuôn mt ng i. ây là h ng
ti p cn dng top-down. D dàng xây dng các lut c bn mô t các c
tr ng ca khuôn mt và các quan h t ng ng. Ví d, mt khuôn mt th ng
có hai mt i xng nhau qua tr c thng ng gia khuôn mt và có mt mi,
t ming. Các quan h ca các c tr ng có th c mô t nh quan h v
khong cách và v trí. Thông th ng các tác gi s trích c tr ng ca khuôn
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
8/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
9/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 9
n mn” hay “làm rõ dn” gim s l ng tính toán trong x lý. Mc dù t l
chính xác cha cao, nhng ây là tin cho nhiu nghiên cu sau này.
Hình 1-2: t loi tri tr c ca ng i nghiên cu phân tích trên khuôn mt.
Kotropoulos và Pitas a mt ph ng pháp dùng trên phân gii th p.
Hai ông dùng ph ng pháp chiu xác nh các c tr ng khuôn mt. Kanade
ã thành công v i ph ng pháp chiu xác nh biên ca khuôn mt. V i
I(x,y) là giá tr xám ca mt m trong nh có kích th c m x n ti v trí
(x,y), các hàm chiu nh theo ph ng ngang và thng ng c nh ngh a
nh sau:
∑ −= ),()( 1 y x I x HI n y và ∑ −= ),()( 1 y x I yVI m x (1.1)
Hình 1-3: Ph ng pháp chiu:
(a) nh ch có mt khuôn mt và hình nn n gin;(b) nh ch có mt khuôn mt và hình nn phc t p;
(c) nh có nhiu khuôn mt
a trên biu hình chiu ngang, có hai cc tiu cc b khi hai ông xét
quá trình thay i c ca HI, ó chính là cnh bên trái và phi ca hai bên
u. T ng t v i hình chiu dc VI, các cc tiu cc b cng cho ta bit v trí
ming, nh mi, và hai mt. Các c tr ng này xác nh khuôn mt.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
10/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
11/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 11
c trích bng ph ng pháp xác nh cnh. Trên c s các c tr ng này, xây
ng mt mô hình thng kê mô t quan h ca các c tr ng này và xác nh
tn ti ca khuôn mt trong nh. Mt vn ca các thut toán theo h ng
ti p cn c tr ng cn phi u chnh cho phù h p u kin ánh sáng, nhiu, và
che khut. ôi khi bóng ca khuôn mt s to thêm cnh m i, mà cnh này lirõ h n cnh tht s ca khuôn mt, vì th nu dùng cnh xác nh s g p khó
khn.
1.3.2.1. Các c tr ng khuôn mt
Sirohey a mt ph ng pháp xác nh khuôn mt t mt nh có hình nn
phc t p. ây là ph ng pháp da trên ng biên, dùng ph ng pháp Candy
và heuristics loi b các cnh còn li duy nht mt ng bao xung quanh
khuôn mt. Mt hình ellipse dùng bao khuôn mt, tách bit vùng u và hìnhn. T l chính xác ca thut toán là 80%.
Cng dùng ph ng pháp cnh nh Sirohey, Chetverikov và Lerch dùng
t phong pháp da trên blob và streak (hình dng git n c và sc xen k ),
xác nh theo h ng các cnh. Hai ông dùng hai blob ti và ba blob sáng
mô t hai mt, hai bên gò má, và mi. Mô hình này dùng các treak mô t hình
dáng ngoài ca khuôn mt, lông mày, và môi. Dùng nh có phân gii th p
theo bin i laplace xác nh khuôn mt thông qua blob.
Graf a ra mt ph ng pháp xác nh c tr ng r i xác nh khuôn mt
trong nh xám. Dùng b lc làm ni các biên, các phép toán hình thái hc
c dùng làm ni bt các vùng có c ng cao và hình dáng chc chn
(nh mt). Thông qua biu tìm các nh ni bt r i xác nh các ng ng
chuyn nh xám thành hai nh nh phân. Các thành phn dính nhau u xut
hin trong hai nh nh phân thì c xem là vùng ca ng viên khuôn mt r i
phân loi xem có phi là khuôn mt không. Ph ng pháp c kim tra trên các
nh ch có u và vai ca ng i. Tuy nhiên còn có mt vn ây là làm sao s dng các phép toán hình thái và làm sao xác nh khuôn mt trên các vùng
ng viên.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
12/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 12
1.3.2.2. c tr ng k t cu
Khuôn mt con ng i có nhng k t cu riêng bit mà có th dùng
phân loi so v i các i t ng khác. Augusteijn và Skufca cho r ng hình dng
a khuôn mt dùng làm k t cu phân loi, gi là k t cu ging khuôn mt
(face-like texture). Có ba loi c tr ng c xem xét: màu da, tóc, và nhng
th khác. Hai ông dùng mng n -ron v mi t ng quan cascade cho phân loi
có giám sát các k t cu, và mt ánh x c tr ng t t chc Kohonen gom
nhóm các l p k t cu khác nhau. Hai tác gi xut dùng ph ng pháp bu c
khi không quyt nh c k t cu a vào là k t cu ca da hay k t cu ca
tóc.
Dai và Nakano dùng mô hình SGLD xác nh khuôn mt ng i. Thông
tin màu sc c k t h p v i mô hình k t cu khuôn mt. Hai tác gi xây dngthut gii xác nh khuôn mt trong không gian màu, v i các phn ta màu cam
xác nh các vùng có th là khuôn mt ng i. u m ca ph ng pháp này
là có th xác nh khuôn mt không ch ch p thng và có th có râu và có kính.
Mark và Andrew dùng phân b màu da và thut toán DoG (Difference of
Gauss) tìm các ng viên, r i xác thc bng mt h thng hc k t cu ca
khuôn mt. Manian và Ross dùng bin i wavelet xây dng t p d liu k t
u ca khuôn mt trong nh xám thông qua nhiu phân gii khác nhau, k t
p xác sut thông kê xác nh khuôn mt ng i. T l chính xác là 87%, t
xác nh sai là 18%.
1.3.2.3. c tr ng sc màu ca da
Thông th ng các nh màu không xác nh tr c ti p trên toàn b d liu
nh mà th ng dùng tính cht sc màu ca da ng i (khuôn mt ng i) chn
ra c các ng viên có th là khuôn mt ng i (lúc này d liu ã thu h p áng
) xác nh khuôn mt ng i.
1.3.2.4. a c tr ng
n ây có nhiu nghiên cu s dng các c tr ng toàn cc nh: màu da
ng i, kích th c, và hình dáng tìm các ng viên khuôn mt, r i sau ó s
xác nh ng viên nào là khuôn mt thông qua các c tr ng cc b nh: mt,
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
13/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 13
lông mày, mi, ming, và tóc. Tùy mi tác gi s s dng t p c tr ng khác
nhau.
Yachida a ra mt ph ng pháp xác nh khuôn mt ng i trong nh
màu bng lý thuyt logic m . Ông dùng hai mô hình m mô t phân b màu
da ng i và màu tóc trong không gian màu CIE XYZ. Có nm mô dùng mô hình dáng ca mt trong nh (mt thng và bn xoay xung quanh). Mi mô
hình là mt mu 2-chiu bao gm các ô vuông có kích th c m x n, mi ô có th
cha nhiu h n mt m nh. Hai thuc tính c gán cho mi ô là: t l màu
da và t l tóc, ch ra t l din tích vùng da trong ô so v i din tích ca ô. Mi
m nh s c phân loi thành tóc, khuôn mt, tóc/khuôn mt, và tóc/nn trên
s phân b ca mô hình, theo cách ó s có c các vùng ging khuôn mt
và ging tóc. Mô hình hình dáng ca u s c so sánh v i vùng ging khuôn
t và ging tóc. Nu t ng t, vùng ang xét s tr thành ng viên khuôn mt,
sau ó dùng các c tr ng mt-lông mày và mi-ming xác nh ng viên
nào s là khuôn mt tht s.
Sobottka và Pitas dùng các c tr ng v hình dáng và màu sc xác nh
khuôn mt ng i. Dùng mt ng ng phân n trong không gian màu HSV
xác nh các vùng có th là màu da ng i. Các thành phn dính nhau s c
xác nh bng thut toán tng vùng phân gii thô. Xem xét tin ng viên
nào va kh p hình dng ellipse s c chn làm ng viên ca khuôn mt. Sauó dùng các c tr ng bên trong nh: mt và ming, c trích ra trên c s các
vùng mt và ming s ti h n các vùng khác ca khuôn mt, sau cùng phân loi
a trên mng n -ron bit vùng ng viên nào là khuôn mt ng i và vùng
nào không phi khuôn mt ng i. T l chính xác là 85%.
1.3.3. ng tip cn d a trên so kh p mu.
Trong so kh p mu, các mu chun ca khuôn mt (th ng là khuôn mt
c ch p thng) s c xác nh tr c hoc xác nh các tham s thông quat hàm. T mt nh a vào, tính các giá tr t ng quan so v i các mu chun
ng vin khuôn mt, mt, mi và ming. Thông qua các giá tr t ng quan
này mà các tác gi quyt nh có hay không có tn ti khuôn mt trong nh.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
14/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 14
ng ti p cn này có l i th là r t d cài t, nhng không hiu qu khi có s
thay i v t l, t th, và hình dáng.
1.3.3.1. Xác nh mu tr c
Sakai ã c gng th xác nh khuôn mt ng i ch p thng trong nh.Ông dùng vài mu con v mt, mi, ming, và ng vin khuôn mt mô
hình hóa mt khuôn mt. Mi mu con c nh ngh a trong gi i hn ca các
n thng. Các ng thng trong nh c trích bng ph ng pháp xem xét
thay i gradient nhiu nht và so kh p các mu con. u tiên tìm các ng viên
thông qua mi t ng quan gia các nh con và các mu v ng vin. Sau ó,
so kh p v i các mu con khác. Hay nói mt cách khác, giai n u xem nh
là giai n s ch tìm ng viên, giai n th hai là giai n tinh ch
xác nh có tn ti hay không mt khuôn mt ng i. Ý t ng này c duy trìcho n các nghiên cu sau này.
Craw a ra mt ph ng pháp xác nh khuôn mt ng i da vào các mu
hình dáng ca các nh c ch p thng (dùng v b ngoài ca hình dáng
khuôn mt). u tiên dùng phép lc Sobel tìm các cnh. Các cnh này s
c nhóm li theo mt s ràng buc. Sau ó, tìm ng vin ca u, quá trình
ng t c l p i l p li v i mi t l khác nhau xác nh các c tr ng
khác nh: mt, lông mày, và môi. Sau ó Craw mô t mt ph ng thc xác nh
dùng mt t p có 40 mu tìm các c tr ng khuôn mt và u khin chin
c dò tìm.
Sinha dùng mt t p nh các bt bin nh trong không gian nh mô t
không gian các mu nh. T t ng chính ca ông da vào s thay i mc
sáng ca các vùng khác nhau ca khuôn mt (nh hai mt, hai má, và trán),
quan h v mc sáng ca các vùng còn li thay i không áng k . Xác nh
các c p t s ca mc sáng ca mt s vùng (mt vùng ti h n hay sáng h n)
cho ta mt l ng bt bin khá hiu qu. Các vùng có sáng u c xem nht mu t s mà là mu thô trong không gian nh ca mt khuôn mt v i
thích h p ít dùng chn nh các c tr ng chính ca khuôn mt nh hai mt,
hai má, và trán. Lu gi thay i sáng ca các vùng trên khuôn mt trong
t t p thích h p v i các c p quan h sáng h n – ti h n gia các vùng nh.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
15/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 15
t khuôn mt c xác nh khi mt nh phù h p tt c các c p sáng h n – ti
n. Ý t ng này xut phát t s khác bit ca c ng gia các vùng k cc
, sau này c m r ng trên c s bin i wavelet biu din cho xác nh
ng i i b, xác nh xe h i, xác nh khuôn mt. Ý t ng ca Sinha còn c
áp dng cho h thng th giác ca robot. Hình 1-5 cho thy mu ni bt trong 23quan h c nh ngh a. Dùng các quan h này phân loi, có 11 quan h
thit yu (các mi tên màu en) và 12 quan h xác thc (các mi tên xám). Mi
i tên là mt quan h. Mt quan h tha mãn mu khuôn mt khi t l gia hai
vùng v t qua mt ng ng và 23 quan h này v t ng ng thì xem nh xác
nh c mt khuôn mt.
Ph ng pháp so kh p mu theo th t xác nh khuôn mt ng i do
Miao trình bày. giai n u tiên, nh s c xoay t -20o n 20o v i mi
c là 5o và theo th t. Xây dng nh a phân gii, hình 1-1, r i dùng phép
toán Laplace xác nh các cnh. Mt mu khuôn mt gm các cnh mô t sáu
thành phn: hai lông mày, hai mt, mt mi, và mt ming. Sau ó áp dng
heuristic xác nh s tn ti ca khuôn mt trong nh, ph ng pháp này cho
phép xác nhiu khuôn mt, nhng k t qu không tt bng xác nh mt khuôn
t (ch p thng hoc xoay) trong nh xám.
Hình 1-5: u khuôn mt, có 16 vùng và 23 quan h (các mi tên).Wei và Lai dùng b lc phân n k t h p thut toán tìm láng ging gn
nht xác nh ng viên khuôn mt, t ng viên này sau ó so kh p v i các mu
ã xác nh tr c bit ng viên có phi là khuôn mt hay không. T l chính
xác là 80%.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
16/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 16
Darrell dùng phân n tìm ng viên, dùng ng viên này xác nh
khuôn mt ng i da vào mu r i theo vt chuyn ng ca ng i.
Dowdall dùng ph ca màu da ng i xác nh ng viên. Sau ó chiu
các ng viên này so sanh v i các mu có tr c xác nh ng viên nào là
khuôn mt ng i. Ph ng pháp này ch xác nh cho khuôn mt ch p thng vàn thng, góc quay khong t -10o n 10o .
1.3.3.2. Các mu b bin dng
Yuille dùng các mu bin dng mô hình hóa các c tr ng ca khuôn
t, mô hình này có kh nng linh hot cho các c tr ng khuôn mt. Trong
ng ti p cn này, các c tr ng khuôn mt c mô t bng các mu c
tham s hóa. Mt hàm nng l ng (giá tr ) c nh ngh a liên k t các cnh,
nh, và thung lng trong nh t ng ng v i các tham s trong mu. Mô hìnhnày cho k t qu tt khi ti gin hàm nng l ng qua các tham s. Mt hn ch
a h ng ti p cn này là các mu bin dng phi c kh i to trong phm vi
n các i t ng xác nh.
Lanitis mô t mt ph ng pháp biu din khuôn mt ng i v i c hai thông
tin: hình dáng và c ng . Ban u, t p nh c hun luyn v i các ng
vin mu nh là ng bao mt, mi, cm, má c gán nhãn. Dùng mt vector
mô t hình dáng, ây tác gi dùng mt mô hình phân b m (PointDistribution Model – PDM) mô t vector hình dáng qua toàn b các cá th.
1.3.4. ng tip cn d a trên din mo.
Trái ng c v i các ph ng pháp so kh p mu v i các mu ã c nh
ngh a tr c b i nhng chuyên gia, các mu trong h ng ti p cn này c hc
các nh mu. Mt các tng quát, các ph ng pháp theo h ng ti p cn này áp
ng các k thut theo h ng xác sut thng kê và máy hc tìm nhng c
tính liên quan ca khuôn mt và không phi là khuôn mt. Các c tính ã cc trong hình thái các mô hình phân b, hay các hàm bit s có th dùng các
c tính này xác nh khuôn mt ng i. ng th i, bài toán gim s chiu
th ng c quan tâm tng hiu qu tính toán cng nh hiu qu xác nh.
t nh hay mt vector c tr ng xut phát t mt nh c xem nh mt bin
ngu nhiên x, và bin ngu nhiên có c tính là khuôn mt hay không phi
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
17/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
18/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 18
i u này là nh riêng, sau ó gi cho n gin là vector riêng ca ma tr n hi p
ph ng sai, c tính t các nh khuôn mt ã vector hóa trong t p hun luyn.
u cho 100 nh, mà mi khuôn mt có kích th c 91x50 thì có th ch dùng 50
nh riêng, trong khi vn duy trì c mt kh nng ging nhau h p.
Turk và Pentland áp dng PCA xác nh và nhn dng khuôn mt. ng t, dùng PCA trên t p hun luyn nh các khuôn mt sinh các nh
riêng (còn gi là eigenface) tìm mt không gian con (không gian khuôn mt)
trong không gian nh. Các nh khuôn mt c chiu vào không gian con này
và c gom nhóm li. T ng t các nh không có khuôn mt dùng hun
luyn cng c chiu vào cùng không gian con và gom nhóm li. Các nh khi
chiu vào không gian khuôn mt thì không b thay i tính cht c bn, trong
khi chiu các nh không có khuôn mt thì xut hin nhiu s khác nhau. Xác
nh s có mt ca mt khuôn mt trong nh thông qua tt c khong cách gia
các v trí trong nh và không gian nh. Khong cách này dùng xem xét có hay
không có khuôn mt ng i, k t qu khi tính toán các khong cách s cho ta mt
n v khuôn mt. Có th xác nh c t cc tiu cc b ca bn này.
Có nhiu nghiên cu v xác nh khuôn mt, nhn dng, và trích c tr ng t ý
ng vector riêng, phân rã, và gom nhóm.
1.3.4.2. ng Neural.
ng n -ron c áp dng khá thành công trong các bài toán nhn dng
u, nh: nhn ký t, i t ng, robot t ng vn hành. Xác nh khuôn mt
ng i có th xem là bài toán nhn dng hai loi mu, có nhiu kin trúc mng
-ron ã c trình bày. Mt thun l i khi dùng mng n -ron xác nh
khuôn mt là tính kh thi ca h thng hc khi có s phc t p trong l p ca các
u khuôn mt. Tuy nhiên, mt u tr ngi là các kin trúc mng u tng
quát, khi áp dng thì phi xác nh rõ ràng s l ng tng, s l ng node, t l
c, …, cho tng tr ng h p c th
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
19/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 19
Hình 1-6: Mô hình mng N -ron theo Rowley
Agui trình bày mng n -ron x lý có th t. Giai n u, dùng hai mng
con song song mà d liu vào là các giá tr c ng ca nh ban u và các giá
tr c ng ca nh ã c lc bng thut toán lc Sobel v i ca s lc 3x3.
u vào ca mng giai n hai bao gm d liu u ra t hai mng con và
các giá tr c tr ng ã c trích ra, nh: c tr ng lch chun ca các giá
tr m nh trong mu a vào, mt t l ca s m nh tr ng trên tng s
m nh (ã chuyn sang nh nh phân) trong mt ca s, và c tr ng thit yu
hình hc. Mt giá tr xut ti giai n hai cho bit có tn ti hay không
khuôn mt ng i trong vùng a vào. Qua kinh nghim, tác gi ch ra r ng nu
các nh cùng mt kích th c thì m i dùng ph ng pháp này c.
Propp và Samal phát trin mng n -ron xác nh khuôn mt ng i s m
nht. Mng n -ron ca hai ông gm bn tng v i 1,024 u vào, 256 u k ti p
trong tng n th nht, tám u k ti p trong tng n th hai, và hai u ra.
ng t nh mng n -ron x lý theo th t c a ra sau ó. Ph ng
pháp ca Soulie duyt mt nh a vào v i mng n -ron có th i gian tr (kích
th c ca s là 20x25 m nh) xác nh khuôn mt. Dùng bin i wavelet
phân rã nh các phn có kích th c khác nhau xác nh khuôn mt.
Vaillant dùng mng n -ron dng xon xác nh khuôn mt ng i. u
tiên to các nh mu khuôn mt và không phi khuôn mt có kích th c 20x20.
Dùng mt mng n -ron, mng này ã c hun luyn, tìm các v trí t ng
i ca các khuôn mt các t l khác nhau. R i dùng mt mng khác xác
nh v trí chính xác ca các khuôn mt. Mng u tiên dùng tìm các ng
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
20/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 20
viên khuôn mt, r i dùng mng th hai xác nh ng viên nào tht s là
khuôn mt.
Burel và Carel dùng mng n -ron a tng có ít mu h n v i thut toán
Kohenen’s SOM hc các mu khuôn mt và hình nn, mà các mu này ã
c phân loi tr c. Giai n xác nh khuôn mt bao gm duyt trên minh ã c bin i t nh bàn u các phân gii khác nhau. ti mi v
trí và kích th c ca s duyt, u chnh sáng. Mi ca s ã c chun
hóa s c phân loi bng MLP.
Theo ánh giá các ph ng pháp dùng mng n -ron xác nh khuôn mt
ng i ca nhiu tác gi, thì nghiên cu ca Rowley c xem là tt nht i v i
nh xám. Mt mng a tng c dùng hc các mu khuôn mt và không
phi khuôn t các nh t ng ng (da trên quan h c ng , v mt khônggian ca các m nh) trong khi Sung dùng mng n -ron xác nh mt hàm
bit s cho mc ích phân loi mu có phi là khuôn mt hay không da vào
o khong cách. Hai ông cùng s dng nhiu mng n -ron và mt s ph ng
thc quyt nh ci thin k t qu, trong khi Burel và Carel dùng mt mng
n, Vaillant dùng hai mng phân loi. Có hai thành phn chính x lý:
nhiu mng n -ron (xác nh mu nào là khuôn mt) và mt mô un quyt
nh (a ra quyt nh cui cùng t nhiu k t qu xác nh).
Hình 1-7: i din ca mi l p khuôn mt. Mi i din t ng ng tâm cat nhóm.
Hình 1-7, thành phn u tiên ca ph ng pháp này là mt mng n -ron
nhn mt vùng nh có kích th c 20x20 m nh và xut ra mt giá tr trong
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
21/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 21
khong t -1 n 1. Khi a vào mt nh, nu k t qu gn -1 thì ngh a là mu
này không phi là khuôn mt ng i, nhng nu k t qu gn 1 thì ây chính là
khuôn mt ng i. xác nh khuôn mt có kích th c l n h n 20x20 m
nh, c chn mt t l duyt, sau ó xác nh, r i li thay i t l (bin thiên
l này do ng i xây dng quyt nh). Gn 1050 mu khuôn mt có kíchth c, h ng, v trí, và c ng khác nhau dùng hun luyn mng. S gán
nhãn cho mt, nh ca mi, góc cnh, và tâm ca ming r i dùng chun hóa
khuôn mt v cùng mt t l, h ng, và v trí. Thành phn th hai là ph ng
pháp tr n các xác nh chng chéo nhau và a ra quyt nh. Phép toán logic
(AND/OR) là mt quyt nh n gin nht và ph ng pháp bu c c dùng
tng tính hiu qu. Rowley a nhiu cách gii quyt bài toán khác nhau v i
chi phí tính toán ít h n Sung và Poggio nhng t l chính xác cao h n. Mt gi i
n ca ph ng pháp ca Rowley và Sung là có th xác nh khuôn mt ch pthng và ta thng (nghiêng u). Sau ó Rowley ci tin có th xác nh
khuôn mt b xoay bng mng nh h ng (Router Network), hình 1-8, s thêm
tin trình xác nh h ng khuôn mt và xoay v li t th chun (ch p thng),
tuy nhiên khi quay li d liu nh trên thì t l chính xác li gim i, ch còn
khong 76.9%.
Hình 1-8: t ví d cho d liu vào và d liu ra ca mng nh h ng.
1.3.4.3. Support Vector Machine (SVM).
Support Vector Machine (SVM) là mt k thut hc c Vapnik xut.Ph ng pháp này r t hiu qu v i t p d liu l n, nhng li g p khó khn khi
n phi mô t li chính xác các khuôn mt ( vì tính bin thiên ca khuôn mt).
Osuna áp dng ph ng pháp này u tiên xác nh khuôn mt ng i.
SVM c xem nh là mt kiu m i dùng hun luyn phân loi theo hàm a
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
22/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 22
thc. Trong khi hu ht các ph ng pháp khác dùng hun luyn phân loi
(Mng Bayes, Nueral, RBF) u dùng tiêu chí ti thiu li hun luyn (r i ro do
kinh nghim), trong khi SVM dùng quy n p ( c gi là ti thiu r i ro cu
trúc), mc tiêu là làm ti thiu mt bao bên trên trên li tng quát. Mt phân loi
SVM là mt phân loi tuyn tính, dùng mt mt phng tách d liu. Da trênt k t h p có các tr ng s ca mt t p con nh các vector hun luyn, các
vector này c gi là support vector. c l ng mt phng t ng ng v i
vic gii mt bài toán tuyn tính bc hai. Osuna ã phát trin mt ph ng pháp
hiu qu hun luyn mt SVM v i t l l n áp dng cho bài toán xác nh
khuôn mt ng i. Ông dùng 10,000,000 mu có kích th c 19x19 m nh, h
thng ca ông có t l li ít h n Sung và Poggio, nhng nhanh h n gn 30 ln.
SVM cng có th dùng xác nh khuôn mt ng i và ng i i b v i phân tích
Wavelet.
1.3.4.4. ng lc th a (Sparse Network of Winnows - SNoW).
ây là ph ng pháp do Yang xut, dùng xác nh khuôn mt
ng i v i các c tr ng khác nhau và biu din trong các t th khác nhau, d i
u kin ánh sáng khác nhau. SNoW là mt mng tha dùng các hàm tuyn tính
và dùng lc c p nht lut. Ph ng pháp này thích h p cho hc trong min khi
các c tr ng tim nng to các quyt nh sai khác nhau mà không bit mc
u tiên. T l li là 5.9%, hiu qu cng nh các ph ng pháp khác.
1.3.4.5. AdaBoost
AdaBoost là mt phân loi mnh phi tuyn phc HM(x), c xây dng t
M phân loi yu. Mc tiêu ca Adaboost là hc mt dãy các phân loi yu. Gi
có mt t p N mu hun luyn ã c gán nhãn {(x1,y1), …, (x N,y N)}, v i yi
là nhãn t ng ng ca mu xi ∈ Rn. Tính mt phân b ca các mu hun luyn[w1,…, wN] c p nht trong sut quá trình hc. Sau b c l p m, mu khó phân
loi (xi,yi) có tr ng s m i wi (m), n b c l p th (m+1), mu này s có tmquan tr ng h n. Viola và Jones dùng AdaBoost k t h p cascade xác nh
khuôn mt ng i v i các c tr ng dng Haar wavelet-like. Tc x lý khá
nhanh và t l chính xác h n 80% trên nh xám.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
23/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
24/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 24
HMM gii quyt bài toán nhn dng mu, phi xác nh rõ có bao nhiêu tr ng
thái n u tiên cho hình thái mô hình. Sau ó, hun luyn HMM hc xác sut
chuyn ti p gia các tr ng thái t các mu, mà mi mu c mô t nh mt
chui các quan sát. Mc tiêu hun luyn HMM là cc i hóa xác sut ca quan
sát t d liu hun luyn bng cách u chnh các tham s trong mô hình HMMthông qua ph ng pháp phân n Viterbi chun và các thut toán
Baum Welch. Mt cách tr c quan, có th chia mt mu khuôn mt ng i thành
nhiu vùng khác nhau nh u, mt, mi, ming, và cm. Có th nhn dng mt
u khuôn mt ng i bng mt tin trình xem xét các vùng quan sát theo mt
th t thích h p (t trên xung d i, t trái qua phi). Thay vì tin t ng vào
c chính xác v trí l dùng cho các ph ng pháp da trên so kh p hay
a trên din mo (n i xut hin các c tr ng nh mt và mi cn xác nh v
trí l tt ly c toàn b chi tit ca c tr ng). Mc tiêu ca h ng ti p cnnày là k t h p các vùng c tr ng khuôn mt v i các tr ng thái ca mô hình.
Th ng các ph ng pháp da vào HMM s xem xét mt mu khuôn mt nh
t chui các vector quan sát, v i mi vector là mt dãy các m nh,
hình 1-9a và hình 1-10. Trong quá trình hun luyn và kim tra, mi nh c
quét theo mt th t và mt quan sát c xem nh mt khi các m nh,
hình 1-9a và hình 1-10. Áp dng mt nh h ng theo xác sut chuyn t
tr ng thái này sang tr ng thái khác, hình 1-9b, d liu nh c mô hình hóa
ng phân b Gauss nhiu bin. Mt chui quan sát bao gm tt c giá tr c ng
t mi khi. K t qu xut ra cho bit quan sát thuc l p nào. HMM c
dùng nhn dng khuôn mt ng i và xác nh khuôn mt ng i.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
25/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 25
Hình 1-9: Mô hình Markov n:
(a) các vector quan sát hun luyn cho HMM;(b) nm tr ng thái n.
Hình 1-10: Xác nh khuôn mt bng HMM các tr ng thái, mi tr ng thái licó nhng tr ng thái nh bên trong: tr ng thái trán có ba tr ng thái nh
bên trong; tr ng thái mt có nm tr ng thái nh bên trong.
1.3.5. ng tip cn tng h p
Các các ph ng pháp c chia làm bn phân loi chính theo bn h ng
ti p cn. Tuy nhiên, có nhiu ph ng pháp không hoàn toàn r i vào mt trong
n h ng ti p cn này mà trong nhiu h ng ti p cn khác nhau. Ví d,
ph ng pháp so kh p mu dùng mô hình khuôn mt ng i và các mu con
trích các c tr ng khuôn mt, và sau ó dùng các c tr ng này xác nh
khuôn mt. H n na ph ng pháp da trên tri thc và ph ng pháp so kh p
u không tht s tách bit, t ó có nhiu h ng gii quyt dùng tri thc ca
con ng i nh ngh a các mu khuôn mt ng i.
Kim k t h p các c tr ng láng ging ca khuôn mt xây dng các
u theo các h ng, sau ó dùng k thut xác nh cnh EBM (Edge-like Blob
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
26/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 26
Map) theo c ng . Ông xây dng logic m k t h p PCA c l ng t th
các khuôn mt.
Taur và Tao xây dng phân loi neurofuzzy (neuro-fuzzy classifier –
NEFCAR) có o tin cy bit nh nào là khuôn mt ng i. Các ng viên
c chn thông qua phân n màu da.
1.4. Khó khn và thách th c trong bài toán xác nh khuôn mt.
Vic xác nh khuôn mt ng i có nhng khó khn nht nh:
- ng ( pose) ca khuôn mt i v i máy nh, nh: nhìn thng, nhìn
nghiêng hay nhìn t trên xung. Cùng trong mt nh có th có nhiu
khuôn mt nhng t th khác nhau.
- có mt ca các chi tit không phi là c tr ng riêng ca khuôn mtng i, nh: râu quai nón, mt kính, ….
- Các nét mt (facial expression) khác nhau trên khuôn mt, nh: vui, bun,
ngc nhiên, ….
- t ng i b che khut b i các i t ng khác có trong nh.
- u kin nh, c bit là v sáng và cht l ng nh, cht l ng thit b
thu hình.
- Tr c to ca máy nh so v i nh.
- Kích th c khác nhau ca các khuôn mt ng i, và c bit là trong cùng
t nh.
- Nhiu khuôn mt có vùng da dính ln nhau.
Các khó khn trên chng t r ng bt c thut toán nào dùng xác nh
khuôn mt ng i cng s không th tránh khi mt s khim khuyt nht nh.
ánh giá và so sánh các ph ng pháp xác nh mt ng i, ng i ta th ng
a trên các tiêu chí sau:
- l xác nh chính xác là t l s l ng các khuôn mt ng i c xác
nh úng t h thng khi s dng mt ph ng pháp xây dng so v i
l ng khuôn mt ng i tht s có trong các nh (detection rate).
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
27/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 27
- l ng xác nh nhm là s l ng vùng trong nh không phi là khuôn
t ng i mà h thng xác nh nhm là khuôn mt ng i (false
positives).
- Th i gian thc hin là th i gian máy tính xác nh khuôn mt ng i
trong nh (running time).
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
28/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 28
CH NG 2: PHÁT HIN KHUÔN MT S DNGADABOOST.
2.1. Gi i thiu
Bài toán dò tìm khuôn mt nhanh trên nh là bài toán quan tr ng vì quá
trình nhn dng i t ng s thiu chính xác nu nh thiu b c dò tìm và nh
c i t ng. Bài toán dò tìm khuôn mt nhanh có ý ngh a r t quan tr ng
trong vic nhn dng, theo vt các i t ng chuyn ng trong các n video
hay camera.
2.1.1. Các h ng tip cn dò tìm khuôn mt nhanh
- ng dò tìm khuôn mt trên nh màu da trên s phân tích màu sc ca
vùng da. Mc dù vic x lý khá nhanh nhng h ng này có gi i hn ch
lý trên nh màu và th ng nhy cm v i ánh sáng, th ng ch s dng
làm các b c tin x lý cho các h ng khác.
- ng dò tìm khuôn mt da trên c tr ng bt bin ca khuôn mt
ng i. Thành công nht trong dò tìm khuôn mt ng i trong th i gian thc
là ph ng pháp ASM (Active shape Models).
- ng dò tìm khuôn mt da trên thông tin hình nh gm mng n -ron,
các h ng thng kê (SVM, AdaBoost…). Ph ng pháp SVM và mng -ron cng t c k t qu cao trong th i gian khá nhanh song cng ch
vài nh trong mt giây nên khó có th áp dng trong vic nhn dng th i
gian thc. Riêng ph ng pháp AdaBoost cho k t qu kh quan vì có th
lý n khong 15-20 khung hình trong mt giây.
2.1.2. H ng tip cn theo AdaBoost
- Ph ng pháp dò tìm AdaBoost da trên ý t ng xây dng các b dò tìm
u mc dù chính xác không cao nhng có th i gian x lý r t nhanh.Tuy nhiên khi k t h p các b dò tìm li có th t chính xác cao.
- Ph ng pháp AdaBoost s dng k t h p các c tr ng vn d tính toán r t
nhanh, thích h p cho vic dò tìm trong th i gian thc.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
29/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 29
- Các b phân loi AdaBoost có th xây dng phân tng v i phc t p x
lý t th p n cao, nhm loi nhanh các ng viên xu (không phi mt
ng i) vn d nhiu h n nhiu các ng viên là mt ngu i cho b phân
loi phc t p h n ch còn li ít ng viên cha b loi.
2.2. Trích chn c tr ng cho AdaBoost
t ph ng pháp chn c tr ng thích h p cho AdaBoost là phép bin i
Haar-like. Phép bin i Haar-like da trên ý t ng r t n gin, c tr ng c
tính bng chênh lch gia tng các min hình hc. Có 3 t p h p min hình
c chính nh sau:
Hình 2-1: Các min hình hc c tr ng Haar-like
Gi s min en là d ng và min tr ng là âm thì c tr ng Haar-let tính
ng tng giá tr pixel các ô en tr cho tng giá tr các pixel các ô tr ng. Cách
tính nhanh ph ng pháp Haar-like da trên o hàm nh bc nht ii(x,y) ca nh
i(x,y). o hàm ii(x,y) ca nh i(x,y) chính là tng giá tr các pixel tính t gctrái trên n (x,y) :
∑∑≤ ≤
= x x y y
y xi y xii' '
)','(),((2.1)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
30/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 30
Hình 2-2: Ý ngh a hình hc ca o hàm nh
Vic tính toán o hàm nh c thc hin r t nhanh bng vic cng ly tíchnh sau:s(x,y) = s(x,y-1) + i(x,y) (2.2)
ii(x,y) = ii(x-1,y) + s(x,y) (2.3)
trong ó s(x,y) là tng ca ct x tính t u dòng n v trí (x,y). Sau khi có c o hàm nh, ta ch vic tính giá tr mt ô ch nht bng cách nh sau:chng hn ô ch nht D ta có val(D) = val(ABCD) – val(AC) – val(AB) +val(A) , do ó nu tính theo ta (x,y) ta có ph ng trình sau:
sr = (ii(x,y) + ii(x-W,y-L)) – (ii(x-W,y) + ii(x,y-L)) (2.4)
Hình 2-3: Cách tính giá tr mt ô c tr ng
Cui cùng, vic tính các c tr ng Haar-like ch còn là tr giá tr tng các ô chnht c tính nh trên.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
31/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
32/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 32
i (M-1) là tr ng s ti th i m M.
Dùng công thc P(y| x,) = P(x| y,) P(y) và cho
),1|(
),1|(log2
1)( ωω−= +== y x P
y x P x L M (2.10)
−=+=
=)1(
)1(log
2
1
y P
y P T (2.11)
chúng ta có c h M (x) = L M (x) – T. LM c hc ra t các mu ca c hai
phân l p. Ng ng T c xác nh bng t l log ca các xác sut tr c ó.
Ta có mt ph ng pháp tính ph ng trình (2.11), ng dng khi hc các phân l p ti u. Vì rút ra mt b phân loi yu trong mt min không gian
nhiu chiu là công vic quan tr ng, sau ây mt mô hình thng kê hc theo
ng giai n da trên vài c m vô h ng. Mt c m vô h ng j a x
c tính bng mt phép bin i t không gian d liu n chiu thành ng
thng thc z j(x) ∈ Z . Mt c m có th là h s, hay nói trong x lý nh là phép bin i vi ba tín hiu. Nu ph ng pháp tìm kim c l ng c s
ng nh phép bin i z j(x) n gin c xem là to th j a x. Mt danh
sách K c m ng c viên có th c to: Z ={ z j(x), …, z K (x)}.
Gi s Z là mt t p r t hoàn chnh, t p các phân l p yu có th có cho bài
toán phân l p yu ti u có th c l p nh sau: Tr c tiên, ti giai n M ,
khi M-1 c m ca z (1) , z (2) , …, z (M-1) ã c chn và tr ng s cho là M-1,
chúng ta có x p x p(x|y, M-1) ) ng cách dùng phân b ca M c m:
p(x|y, M-1 ) p(z (1) , z (2) , …, z (M-1) , z k , |y, M-1
)
(2.12)
= p(z(1)|y, M-1) p(z(2) |y, z(1), M-1)…
p(z (M-1)|y, z (1) , z (2) , …, z (M-2) , M-1
)
p(z k , |y, z (1) , z (2) , …, z (M-1) , M-1
) (2.13)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
33/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 33
i vì Z là t p r t hoàn chnh, phép x p x vn tt i v i t p M l n khi
M c m c chn thích h p.
Ghi chú: p(z m|y, z (1) , z (2) , …, z (m-1) ) thc ra là p(z m|y, (m-1)
) i vì (m) cha
thông tin v toàn b quá trình to và bao gm các thành phn l thuc trên
z (1) , z (2) , …, z (m-1). Vì vy, chúng ra có:
p(x|y, M-1 ) p(z (1)| y, (0)
) p(z (2)
| y, (1) )…
p(z (M-1)| y, (M-2)
) p(z k | y, (M-1)
) (2.14)
t xác sut p(z k | y, (M-1)
) cho phân l p d ng y = +1 và phân l p âm
y = -1 có th phng oán c t histogram tính c qua ánh giá công nhntr ng ca các ví d hun luyn s dng các tr ng s (M-1).
Cho :
),1|(
),1|()(
)1(
)1()(
−
−
−=+=
= M
k
M
k M
k y z P
y z P x L
ωω
, và { }T x L xh M k M
k −= )(21
)( )()( (2.15)
chúng ta rút ra c t p h p các phân l p yu h n nh sau:
{ }k xh x M k M ∀=Γ |)()( )()( (2.16)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
34/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 34
Thut toán AdaBoost0. u vào
(1) p Z = { (x1, y1), (x2, y2),…, (xn, yn)} v i: N = a + b; a là s mu thuc phân l p yi = +1
b là s mu thuc phân l p yi = -1(2) S l p yu ti a Mmax c k t h p
1. Kh i to giá tr
ai 2
1)0( =ω v i mu thuc phân l p yi = +1
ai 2
1)0( =ω v i mu thuc phân l p yi = -1M = 0
2. Suy din tin
While M < Mmax(1) Mß M + 1(2) Chn hm theo biu thc (4)(3) p nht )
)( (exp i M im
i x H y−←ω và chun hóa)(m
iω
∑ =1)(miω3. u ra
∑ == )()( 1 xh sign x H m M
m
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
35/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 35
Hình 2-4: Ví d minh ha cho thut toán AdaBoost
2.4. dò tìm phân tng Adaboost
i mt b dò tìm c do ph ng pháp AdaBoost hun luyn c, ta có th
dò tìm v i mt chính xác nht nh và mt tc nht nh. Nu nh cn
phi chính xác cao thì b dò tìm phi bao gm nhiu c tr ng, u ó kéo theoc dò tìm s gim.
u s dng b dò tìm k t h p F={ci} v i nhiu b dò tìm c bn fi khác
nhau cng r i vào tình tr ng t ng t. có c chính xác cao, hoc cn
phi có s l ng l n các b dò tìm, hoc mi b dò tìm cn phi có nhiu c
tr ng, hoc c hai, thì ng th i cng s làm cho tc gim i. Mt h ng
khc phc nh c m này là s dng b dò tìm phân tng T={ti}. B dò tìm
phân tng bao gm nhiu tng, mi tng ti = {c j} là mt b dò tìm k t h p v i s
ng các b dò tìm khác nhau nên có tc và chính xác khác nhau. Khi dòtìm tt c các khuôn mt trong nh, tt c các ca s con W0={wi,j,s} v i các kích
th c s khác nhau ti các ta (i,j) s c kim tra xem có phi là mt ng i
hay không. Qua mi tng ti, W i = ti(Wi-1) trong ó |Wi|
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
36/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 36
ng các tng sao cho: càng v sau phc t p ca các tng càng l n trong khi
các tng càng th p thì phc t p càng n gin và phi loi c nhiu ng
viên, nhng t l loi sai phi th p.
Hình 2-5: Minh ho b dò tìm phân tng
Xét mi tng tk = {ci} ta có t l loi sai ca tk c tính nh sau:
∏=
= K
i
i f F 1
(2.17)
Trong ó fi chính là t l loi sai ng v i b dò tìm ci và K chính là s bdò tìm ca tng tk . T ng t, chính xác ca tng tk c tính nh sau :
∏=
= K
i
id D
1
(2.18)
Trong ó di là chính xác ca ng v i b dò tìm ci. ng th i cng v i
cách tính này, ta có th tính c chính xác ca toàn b các tng T={ti} là:
∏ ∏∏ = == ==||
1
||
1
||
1
T
i
t
j
i
j
T
i
i
i
c DG (2.19)
y khi cho tr c mt t l loi sai D và chính xác là F, ta có th hun
luyn tng b phân loi t sao cho t có t l loi sai là D và ô chính xác là F. Và
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
37/68
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
38/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 38
2.5. Hun luyn dò tìm khuôn mt
- liu hun luyn: T p A gm các nh là khuôn mt, t p B gm các nh
không là khuôn mt (B>>A).
- Trích chn các c tr ng ca nh.- Tin hành x lí t p nh hun luyn bng Histogram và nhn dng biên
CANNY
- Áp dng b hun luyn phân tng.
2.6. Dò tìm khuôn mt
Vic dò tìm khuôn mt trong nh qua b phân tng ã hun luyn g p mt
n là s sa s v i các kích th c khác nhau quá l n. khc phc vn
này, ph ng pháp dò theo kin trúc tháp c áp dng nh sau: xét nh s kích
th c (wxh) , step = 0 , h s co scale = 1.2
Ø L p trong khi kích th c (w x h) còn l n h n ca s nh mt ng i hunluyn (w0 x h0):
- Duyt toàn b các v trí (x,y) ca s v i kích th c (w0 x h0) , v i mi v
trí tin hành:
− Áp dng b dò tìm phân tng xác nh có phi mt ng i hay
không− u là mt ng i ti v trí (x,y) thì thc t mt ng i ti v trí
(x*scalestep, y*scalestep) và kích th c ca s là (w0*scalestep,
h0*scalestep)
- Gán w1 = w / scale và h1 = h / scale
- Thu nh nh t kích th c (w x h) n (w1 x h1)
- Gán w = w1 và h = h1
- step = step + 1
Nhn xét :
s co scale quyt nh mn ca các ca s dò tìm, nu nh scale càng
nh (1 ) thì càng có nhiu ca s dò tìm nên càng chính xác h n.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
39/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 39
Áp dng thut toán dò theo kin trúc tháp nh trên ta có th dò tìm tt c
các khuôn mt tt c các v trí, song kích th c dò tìm mi b c nh sau :
- c 1 : kích th c t (w0, h0) n (w0*scale,h0*scale)
- c 2 : kích th c t (w0*scale,h0*scale) n (w0*scale2,h0*scale
2)
- ………….
- c n : kích th c t (w0*scalen-1,h0*scalen-1) n (w0*scale,h0*scale)
2.7. Nhn xét
2.7.1. u m
- Ph ng pháp cho chính xác t ng i cao (trên 90%), tc dò tìm
khuôn mt khá nhanh, thích h p dò tìm khuôn mt trong th i gian thc,
trong video.- Thích h p v i vic hun luyn d liu b nhiu.
- Ph ng pháp trích chn c tr ng thc hin khá nhanh.
2.7.2. Khuyt m
- Thut toán hun luyn khuôn mt thc hin chm do có r t nhiu b phân
loi yu.
- Ch dò tìm c các khuôn mt nhìn thng và góc quay nh
- Không ít các tính cht ca AdaBoost mang tính cht nhn nh và cha
c chng minh cht ch.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
40/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 40
CH NG 3: PHÁT HIN KHUÔN MT DNG MNG N RON.
3.1. ng quan v mng n ron nhân to
3.1.1. ng n ron sinh hc
Sau ây là nhng thành phn chính trong cu trúc ca mt n -ron:
Hình 3-1: Mô hình n -ron sinh hc
- Soma là thân ca n -ron.
- Các dendrites là các dây mnh, dài, gn lin v i soma, chúng truyn d
liu (d i dng xung n th) n cho soma x lý. Bên trong soma các d
liu ó c tng h p li. Có th xem gn úng s tng h p y nh là mt
phép ly tng tt c các d liu mà n -ron nhn c.
- t loi dây dn tín hiu khác cng gn v i soma là các axon. Khác v i
dendrites, axons có kh nng phát các xung n th, chúng là các dây dn
tín hiu t n -ron i các n i khác. Ch khi nào n th trong soma v t
quá mt giá tr ng ng nào ó (threshold) thì axon m i phát mt xung n
th, còn nu không thì nó tr ng thái ngh.- Axon ni v i các dendrites ca các n -ron khác thông qua nhng mi ni
c bit gi là synapse. Khi n th ca synapse tng lên do các xung phát
ra t axon thì synapse s nh ra mt s cht hoá hc (neurotransmitters);
các cht này m "ca" trên dendrites cho các ions truyn qua. Chính
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
41/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 41
dòng ions này làm thay i n th trên dendrites, to ra các xung d liu
lan truyn t i các n -ron khác.
- Có th tóm tt hot ng ca mt n -ron nh sau: n -ron ly tng tt c
các n th vào mà nó nhn c, và phát ra mt xung n th nu tng
y l n h n mt ng ng nào ó. Các n -ron ni v i nhau các synapses.Synapse c gi là mnh khi nó cho phép truyn dn d dàng tín hiu qua
các n -ron khác. Ng c li, mt synapse yu s truyn dn tín hiu r t khó
khn.
- Các synapses óng vai trò r t quan tr ng trong s hc t p. Khi chúng ta
c t p thì hot ng ca các synapses c tng c ng, to nên nhiu
liên k t mnh gia các n -ron. Có th nói r ng ng i nào hc càng gii thì
càng có nhiu synapses và các synapses y càng mnh m, hay nói cáchkhác, thì liên k t gia các n -ron càng nhiu, càng nhy bén.
3.1.2. ron nhân to:
Là mt n v tính toán có nhiu u vào và mt u ra, mi u vào n
mt synapse. c tr ng ca n -ron là mt hàm kích hot phi tuyn chuyn
i t h p tuyn tính ca tt c các tín hiu u vào thành tín hiu u ra. Hàm
kích hot này m bo tính cht phi tuyn cho tính toán ca mng n -ron.
Hình 3-2: Mô hình mt n -ron nhân to
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
42/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 42
3.1.3. Các thành phn ca n ron nhân to:
3.1.3.1. Synapse:
Là mt thành phn liên k t gia các n -ron, nó ni u ra ca n -ron l p
này v i u vào ca mt n -ron trong l p khác. c tr ng ca synapse là mttr ng s mà mi tín hiu i qua u c nhân v i tr ng s này. Các tr ng s
synapse chính là các tham s t do bn ca mng n -ron, có th thay i
c nhm thích nghi v i môi tr ng xung quanh.
3.1.3.2. cng
cng tính tng các tín hiu u vào ca n -ron, ã c nhân v i
các tr ng s synapse t ng ng, phép toán c mô t ây to nên mt b h p
tuyn tính.3.1.3.3. Hàm truyn (hàm kích hot):
Hàm kích hot hay còn gi hàm kích hot phi tuyn, chuyn i mt t
p tuyn tính ca tt c các tín hiu u vào thành tín hiu u ra. Hàm kích
hot này m bo tính cht phi tuyn cho tính toán mng n -ron. Nó c xem
nh là mt hàm gi i hn, nó gi i hn phm vi biên cho phép tín hiu u ra
trong mt khong giá tr hu hn. Mt s hàm truyn (kích hot ) c bn trong
ng n -ron c trình bày bng 3.1.v ng n -ron nhân to :
Là mt h thng bao gm nhiu phn t x lý n gin (hay còn gi là
-ron) ta nh n -ron thn kinh ca não ng i, hot ng song song và c
i v i nhau b i các liên k t n -ron. Mi liên k t kèm theo mt tr ng s nào ó,
c tr ng cho tính kích hot hoc c ch gia các n -ron.
Có th xem các tr ng s là ph ng tin lu tr thông tin dài hn trong
ng n -ron và nhim v ca quá trình hun luyn (hc) ca mng là c p nhtcác tr ng s khi có thêm thông tin v mu hc, hay nói mt cách khác, các tr ng
u c u chnh sao cho dáng u vào ra ca mng s mô phng hoàn
toàn phù h p v i môi tr ng ang xem xét.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
43/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 43
ng 3.1: Mt s hàm kích hot.
Tên hàm Công thc1. hardlim a = 0 v i n < 0
a = 1 v i n ≥ 0
2. hardlims a = -1 v i n < 0a = 1 v i n ≥ 03. purelin a = n4. Satlin a = 0 v i n < 0
a = n v i 0 ≤ n ≤ 1a = 1 v i n > 1
5. satlins a = -1 v i n < 0a = n v i 0 ≤ n ≤ 1a = 1 v i n > 1
6. tansigne
ee
a
nn
−+
−
=
−
17. poslin a = 0 v i n < 0
a = n v i n ≥ 08. compet a = 1 v i n -ron có n l n nht
a = 0 v i các n -ron còn li9. logsig
nea −+
=1
1
3.1.4. Mô hình c bn ca mng n ron
Hình 3-3: n gin v mt mng n -ron nhân to
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
44/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 44
Mô hình mng n -ron trên gm 3 l p: l p nh p (input), l p n và l p
xut (output). Mi nút trong l p nh p nhn giá tr ca mt bin c l p và
chuyn vào mng.
liu t tt c các nút trong l p nh p c tích h p – ta gi là ng tr ng
hóa – và chuyn k t qu cho các nút trong l p n. Gi là “n” vì các nút trong
p này ch liên lc v i các nút trong l p nh p và l p xut, và ch có ng i thit
mng m i bit l p này (ng i s dng không bit l p này).
Các nút trong l p xut nhn các tín hiu tng tr ng hóa t các nút trong l p
n. Mi nút trong l p xut t ng ng v i mt bin ph thuc.
3.1.5. Xây d ng mng n ron
c bn ta có th hiu mng n -ron là mt th có h ng. Trong ó
các nh ca th là các n -ron và các cnh ca th là các liên k t gia các
-ron.
Vì vy xây dng mt mng n -ron ta xây dng mt th có h ng: s nha th bng s n -ron trong mng, giá tr ca các cnh chính là tr ng s liênt n -ron.
3.1.5.1. Gii thut xây d ng mng n ron n gin.
Input: Cho :• ng n -ron có num_layer l p (v i num_layer>1).• i l p có num_of_layer n -ron (num_of_layer>=1).• Tr ng s w liên k t n -ron ngu nhiên trong khong (-a,a).
Output: Mng n -ron nhân to.
Kiu d liu: chn lu d kiu mng :int num_layer;
x
h1
h2
h3
g2
g1
f
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
45/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 45
int num_of_layer[num_layer];float w[i][j][k]; v i 2
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
46/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 46
- Có 3 kiu hc chính, mi kiu hc t ng ng v i mt nhim v hc tr u
ng. ó là hc có giám sát (có mu), hc không giám sát và hc tng
ng. Thông th ng loi kin trúc mng nào cng có th áp ng c
yêu cu ca thc t.
v c có giám sát.
t thành phn không th thiu ca ph ng pháp này là s có mt ca mt
ng i thy ( bên ngoài h thng) nh ta thy hình 3-4 . Ng i thy này có
kin thc v môi tr ng th hin qua mt t p h p các c p u vào - u ra ã
c bit tr c. H thng hc ( ây là mng n -ron) s phi tìm cách thay i
các tham s bên trong ca mình (các tr ng s và các ng ng) to nên mt
ánh x có kh nng ánh x các u vào thành các u ra mong mun. S thay
i này c tin hành nh vic so sánh gia u ra thc s và u ra mong
mun.
v c không giám sát.
Trong hc không có giám sát, ta c cho tr c mt s d liu x và hàm
chi phí cn c cc tiu hóa có th là mt hàm bt k ca d liu x và u ra
a mng, f – hàm chi phí c quyt nh b i phát biu ca bài toán. Phn l n
các ng dng nm trong vùng ca các bài toán c l ng nh mô hình hóa
thng kê, nén, lc (filtering), phân nhóm (clustering).
Hình 3-4: Mô hình hc có giám sát
u vào tr ng tháia môi tr ng
u ra thc
u ramong mun
Sai s
Môi tr ng Th y giáo
th ng hc
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
47/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 47
v c tng c ng.
liu x th ng không c to tr c mà c to ra trong quá trình mt
agent t ng tác v i môi tr ng. Ti mi th i m t, agent thc hin hành ng
yt và môi tr ng to mt quan sát xt v i mt chi phí tc th i Ct, theo mt quy
trình ng nào ó (th ng là không c bit). Mc tiêu là mt sách l c lachn hành ng cc tiu hóa mt chi phí dài hn nào ó, ngh a là chi phí tích
y mong i. Quy trình hot ng ca môi tr ng và chi phí dài hn cho mi
sách l c th ng không c bit, nhng có th c l ng c. Mng n -ron
nhân to th ng c dùng trong hc tng c ng nh mt phn ca thut toán
toàn cc. Các bài toán th ng c gii quyt bng hc tng c ng là các bài
toán u khin, trò ch i và các nhim v quyt nh tun t (sequential decision
making) khác.
3.1.6.2. Thut toán hc.
v Thut toán hc ca mng n -ron mt l p( perceptron ).
Xét tr ng h p perceptron s dng hàm kích hot ng ng:
≤−
>+=
∑
∑
=
=
d
iii
d
i
ii
t wv
t wv
output
1
1
,1
,1
(3.1)
Nu ta cho w0= -t và v0=1, ta có th vit li
=
≤−
>+= ∑
∑
∑=
=
=d
i
iid
i
ii
d
i
ii
wv sign
wv
wv
output 0
0
0
0,1
0,1
(3.2)
Thut toán:
Thut toán hc ca perceptron hay mng n -ron mt l p gm 3 b c
chính:
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
48/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 48
c 1: Kh i to:
kh i to tr ng s w (0 hoc ngu nhiên).
chn tc hc µ.
c 2 : Hc V i mi mu (x,t) trong t p hc.
Tính y=f(x, w).
Nu y!=t thay i vect tr ng s w v i:
w(m i (c)+ µ(t-y)x;
c 3: l p li b c 2 cho tt c các mu.
v Thut toán hc ca mng n -ron nhiu l p(back-Propagation -- Lan truyn ng c ).
Hun luyn mng n -ron nhiu chiu MLP :
- Là quá trình thay i giá tr ca w mng biu din c d liu hc.
- Là s khác nhau gia giá tr tht hàm mu và k t qu d oán ca mng
i là li (hc có giám sát).
- Hàm li là hàm n+1 bin. Nu v trong không gian n+1 chiu thì có mt
t là li.
- Quá trình hun luyns tìm ra wi* li nh nht
Thut toán:
Xét mng n -ron 3 l p : input, hiden và output.
Hàm kích hot các n -ron : logistic (sigmoid).
x
e
x g −
+
=
1
1)( (3.3)
- c 1: Kh i to tr ng s w ngu nhiên nh.
- c 2 : Chn l p u vào x và ính nó vào l p u vào .
- c 3 : Truyn s kích hot qua tr ng s n khi kich hot các n -ron
u ra.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
49/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 49
- c 4: Tính o hàm riêng “E” theo tr ng s cho l p xut. s dng
GRADIENT ca hàm li .
- c 5: Tính o hàm riêng “E” theo tr ng s cho l p n.
- c 6: C p nht tt c tr ng s theo Wi=W(i-1)-µ(E/ Wi)
- c 7: Quay lai “B c 2” cho n “B c 6” cho tt c các mu.
Trong ó: Gradient hàm li:
- -ron tng output:
(3.4)
- Hàm li
(3.5)
- o hàm riêng ca hàm li theo tr ng s b:
b
v
v
z E
b
E
∂∂
∂∂
∂∂
=∂∂
(3.6)
- Ta có:
>=
=∂∂
−=∂∂
=∂∂
−=
∂
∂
0,
0,1
)1(
)(
1 i y
i
b
v
z z v
g
v
z
t z
z
E
i
(3.7)
Z = g(v)
∑=
+=k
i
iib ybv
10
xe
x g −+
=1
1)(
y1
y2
M
M
yk
b1 b2
bk
I
b0
Giá tr tht cau hun luyn
2)1(2
1)( −= z z E
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
50/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 50
- t:
)1()( −−=
∂
∂
∂
∂= z z t z
v
z
z
E p (3.8)
- Ta c:
>=
=∂∂
0
0
i py
i p
b
E
ii
(3.9)
- -ron tng n:
(3.10)
- o hàm riêng ca hàm li theo tr ng s:
a
u
u
y
y
E
a
E
∂
∂
∂
∂
∂
∂
=∂
∂(3.11)
x1
x2
M
M
xd
a1a2
ad
I
a0
y = g(u)
∑=
+=d
i
iia xau1
0
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
51/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 51
- Ta có:
( )
>
==
∂
∂
−=∂∂
=∂∂
=−−=∂∂∂∂
∂∂
∂∂
∂∂=
∂∂ ∑
=
0,
0,1
1
)1()(
1
jc
j
a
u
y yu
y
b y
v
p z z t z v z
z E
y
v
v
z
z
E
y
E
j j
ii
iiiii
i
i
i
K
i
i
i
i
i
(3.12)
- t:
)1(1
y yb pu
y
y
E q
K
i
ii −
=∂∂
∂∂
= ∑=
(3.13)
- Ta c:
>
==∂∂
00
1 iqx
iq
a
E
i(3.14)
Sau khi tính c o hàm riêng ca hàm li theo tng tr ng s. Tr ng s
c u chnh bng cách tr b t mt l ng bng tích ca o hàm riêng và
c hc:
i
ii
w
E ww
∂
∂−= µ (3.15)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
52/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 52
3.2. Chun b d liu
3.2.1. Gi i thiu
Dùng ti p cn khung nhìn dò tìm khuôn mt, b dò tìm khuôn mt theo
khung nhìn phi xác nh xem mt ca s con ca mt nh có thuc v t p nhkhuôn mt hay không. Các bin i trong nh khuôn mt có th làm tng
phc t p ca mu khuôn mt, làm cho vic dò tìm khó khn h n. Phn này s
mô t các k thut làm gim s bin i trong nh khuôn mt.
3.2.2. Gán nhãn và canh biên các c tr ng khuôn mt
c u tiên trong vic gim s các bin i trong nh khuôn mt là canh
biên các khuôn mt này v i khuôn mt khác. Vic canh biên này s làm gim
các bin i v v trí, h ng, và t l các khuôn mt. Vic canh biên c tínhtr c ti p t các nh. Và nó to ra không gian nh khuôn mt ti thiu. C ng
nh khuôn mt có th bin i nhiu, làm cho mt s khuôn mt khó canh biên
i nhau. Ta dùng gii pháp gán nhãn th công các mu khuôn mt. C th là v
trí hai mt, nh mi, và trung tâm ming ca mi khuôn mt. B c ti p theo là
dùng thông tin này canh biên các khuôn mt v i khuôn mt khác. Tr c ht
nh ngh a canh biên gia hai t p m c tr ng. ó là phép quay, bin i t
, và dch chuyn làm cc tiu hoá tng bình ph ng khong cách gia tng
p c tr ng t ng ng. Trong không gian hai chiu, mt phép bin i to nh vy có th c vit d i dng sau:
−=
+
−=
1
..cossin
sincos
'
' y
x
t ab
t ba
t
t
y
x
s s
s s
y
x
y
x
y
x
ϑϑϑϑ
(3.16)
u có nhiu t p to t ng ng, có th vit nh sau:
=
−
−
MM
'2
'2
'1
'1
22
22
11
11
.
10
01
10
01
y
x
y
x
t
t
ba
x y
y x
x y
y x
y
x ( (3.17)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
53/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 53
Khi có hai hay nhiu h n c p m c tr ng phân bit, h các ph ng
trình tuyn tính có th c gii bng ph ng pháp o ng c gi. Gi ma tr n
bên trái là A, vector (a, b, tx, ty)T là T, và bên phi là B, khi ó l i gii:
T = (AT A)-1(AT B) (3.18)
i gii o ng c gi a ra phép bin i T làm cc tiu tng bình
ph ng khác bit gia t p to x’i, y’i và phiên bn ã bin i ca xi, yi. Canh
biên t p các m c tr ng.
- Kh i to F, vector s là v trí trung bình ca mi c tr ng gán nhãn trên
i khuôn mt, v i mt s v trí c tr ng ban u. Trong tr ng h p
canh biên các khuôn mt thng, các c tr ng này là v trí mong mun ca
hai mt, nh mi, và trung tâm ming ca mi khuôn mt trong ca s
u vào.
- i mi khuôn mt i, dùng th tc canh biên tính phép quay, dch
chuyn, và bin i t l tt nht canh biên các c tr ng khuôn mt Fi i các v trí c tr ng trung bình F . Gi v trí c tr ng ã canh biên F’i.
- p nht F bng vic ly trung bình các v trí c tr ng ã canh biên F’icho mi khuôn mt i.
- To c tr ng trong F c quay, dch chuyn và bin i phù h p
i mt s to chun. To chun là to c dùng làm giá tr kh i to cho F .
- Sang b c 2.
Hình 3-5: Trái: Mu khuôn mt chun. Phi: Các v trí c tr ng khuôn mt
chun (tròn tr ng), và phân phi ca các v trí c tr ng thc (sau khi
canh biên) t mi mu (các m en).
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
54/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 54
Hình 3-6: Ví d nh khuôn mt thng c canh biên.
Trong vic hun luyn b dò tìm, vic thu th p s mu l n là vn
quan tr ng. Mt k thut th ng dùng là khung nhìn o, trong ó các nh mu
i c to ra t nh thc (quay, dch chuyn, bin i t l ngu nhiên nh
u).
3.2.3. Tin x lý v sáng và t ng phn trên tp mu hc
Sau khi canh biên các khuôn mt, vn còn mt ngun bin i chính(không k bin i v bn cht gia các khuôn mt). Bin i này gây ra do
sáng và các c tính máy nh, dn n các nh có sáng t i hay kém, hoc
nh có t ng phn kém. Ta x lý vn này bng ti p cn x lý nh n
gin. K thut tin x lý tr c ht cân bng các giá tr mt trên toàn ca s.
p hàm bin i tuyn tính giá tr mt trong vùng tròn trong ca s. Các
m nh bên ngoài hình tròn có th là nn. Nu mt ca pixel (x,y) là I(x,y),
khi ó cách bin i tuyn tính này c tham s hoá b i a, b, c v i:
),(.)1( y x I
c
b
a
y x =
(3.19)
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
55/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 55
Vic chn cách bin i này là tu ý. Nó có th biu din các khác bit v
sáng trên toàn nh. Các bin i c gi i hn là tuyn tính s tham s ít
và vic to l p hàm nhanh chóng. T p h p v i mi pixel trên toàn ca s hình
tròn ta c ph ng trình ma tr n ràng buc, và c gii bng ph ng pháp
o ng c gi. Ph ng trình tuyn tính này s x p x toàn b sáng ca mi phn ca ca s, và b tr i v i ca s cân bng bin i v sáng.
Ti p theo, cân bng l c , ánh x không tuyn tính các giá tr mt
r ng min c ng trong ca s. L c c tính v i các pixel trong
vùng tròn trong ca s. Vic này bù cho các khác bit trong vic thu nhn u
vào camera, và cng ci thin t ng phn trong mt s tr ng h p. Các k t
qu ca mi b c c cho trong Hình 3-7.
Hình 3-7: Các b c trong vic tin x lý ca s. u tiên, xây dng hàm ánh
tuyn tính v i các giá tr mt trong ca s, và sau ó tr i nó,
hiu chnh v sáng. Ti p theo, áp dng cân bng l c ,
hiu chnh u vào camera khác nhau và ci thin t ng phn.
Trong mi b c, vic ánh x c tính v i các pixel bên trong hình
tròn, và c áp dng v i toàn ca s.
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
56/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 56
3.3. Hun luyn dò tìm khuôn mt
3.3.1. Gi i thiu
Phn này trình bày thut toán da trên mng n -ron dò tìm ra các ca s
có cha các khuôn mt ng, thng trong nh. Thut toán thc hin bng cácháp dng mt hay nhiu mng n -ron tr c ti p v i các phn ca nh u vào, và
kim tra các k t qu ca chúng. Mi mng c hun luyn k t xut mt k t
qu là có hay không có khuôn mt.
Hun luyn mng n -ron dò tìm khuôn mt là mt công vic y thách
thc, vì khó khn trong vic biu din các nh “không khuôn mt”. Không nh
vic nhn dng khuôn mt, trong ó các l p phân bit là các khuôn mt khác
nhau. Hai l p gi là phân bit trong dò tìm khuôn mt là “nh có cha khuôn
t” và “nh không cha khuôn mt”. D dàng ly c mu nh cha khuôn
t n hình, nhng vic ly mu nh không cha khuôn mt n hình khó
n r t nhiu. Ta tránh vic dùng t p hun luyn có kích th c l n biu din
không khuôn mt bng vic chn thêm nh vào t p hun luyn khi tin hành
hun luyn. Ph ng pháp “bootstrap” nhm gim kích th c ca t p hun luyn
n thit. Vic dùng cách thc x lý gia a mng và các heuristic làm rõ
ràng các k t qu và ci thin áng k chính xác ca b dò tìm.
3.3.2. Hun luyn dò tìm khuôn mt
thng hot ng theo hai giai n: tr c ht áp dng t p b dò tìm da
trên mng n -ron vào nh, và sau ó dùng b kim tra k t h p các u ra.
Các b dò tìm riêng l kho sát mi v trí trong nh mt vài t l, tìm v trí có
th cha khuôn mt. Sau ó b kim tra h p các dò tìm t các mng riêng l và
loi tr các dò tìm b l p. Thành phn u tiên ca h thng là mng n -ron
nhn u vào là vùng 20x20 (pixels) ca nh và to u ra trong khong
1 n -1, biu th có hay không có khuôn mt. dò tìm mi khuôn mt trongnh, mng c áp dng mi v trí trong nh. dò tìm các khuôn mt l n
n kích th c ca s, nh u vào c gim kích th c nhiu ln, và áp dng
dò tìm mi kích th c. Mng có mt s bt bin v i v trí và kích th c.
bt bin xác nh s t l và v trí nó c dùng. V i bài này, ta áp dng b
-
8/17/2019 Phathienkhuonmat Trong Anh 0226
57/68
Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh
Lê Hng Chuyên _ CT701 Trang: 57
c mi v trí m nh, và gim t l xung 1.2 mi b c phân tích nh t
phân.
Sau khi ca s 20x20 pixel c trích ra t mt v trí và t l nào ó trong
nh nh p, nó c tin x lý dùng các b c hiu chnh sáng và cân bng
c . Ca s sau khi tin x lý c truyn qua mng n -ron. Ca s u vào c chia thành các mnh nh, 4 vùng 10x10 (pixels), 16 vùng 5x5 (pixels), và
6 vùng chng l p 20x5 (pixels). Mi vùng có liên k t y v i mt n v n.
i th nghim sau, ta dùng mng v i hai và ba t p các n v n này. Hình
dáng ca các vùng con này c chn cho phép các n v n dò tìm các c
tr ng cho vic dò tìm khuôn mt. C th, các sc ngang cho phép các n v n
dò tìm các c tr ng nh ming, c p mt, trong khi các n v n v i vùng ti p
thu hình vuông có th dò tìm các c tr ng nh tng mt, mi, ca ming. Các
th nghim cho thy r ng hình dng chính xác ca các vùng này không quan
tr ng, quan tr ng là u vào c chia thành các vùng nh thay vì dùng các k t
i hoàn toàn v i toàn b u vào. T ng t các mu liên k t u vào th ng
c dùng trong vic nhn dng ting nói và ký t. Mng có mt u ra giá tr
thc, ch nh ca s có cha khuôn mt hay không.
3.3.2.1. nh hun luyn khuôn mt
dùng mng n -ron phân loi ca s là khuôn mt hay không, ta cn các
u hun luyn cho mi t p. V i các mu khuôn mt ta dùng k thut canh biên
các nh khuôn mt trong ó mt s m c tr ng ã gán nhãn bng tay. Sau
khi canh biên, các khuôn mt c co v v mt kích th c, v trí và h ng
ng nht trong ca s 20x20 pixel. nh c co v v i mt l ng ngu nhiên
2.1/1 n 2.1 . u này cho phép b dò tìm c áp dng mi v trí
pixel và mi t l trong chóp nh, và vn dò tìm các khuôn mt v trí và t l
trung bình. Ngoài ra, cho b dò tìm mnh h n v i các bin i không áng k
trong khuôn mt, chúng c quay v i mt l ng ngu nhiên (ti a 10o
).3.3.2.2. nh hun luyn không phi khuôn mt
Ta cn nhiu nh k
top related