wykorzystanie koloru przy rozpoznawaniu twarzy
DESCRIPTION
Wykorzystanie koloru przy rozpoznawaniu twarzy. Plan wykładu. Przestrzenie kolorów model YC b C r Detekcja twarzy i cech mapa oczu mapa ust Wykorzystanie do ekstrakcji cech. Przestrzenie kolorów. Sposób reprezentacji piksela kanały głębokość bitowa Konwersje stratne - PowerPoint PPT PresentationTRANSCRIPT
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wykorzystanie koloru przy rozpoznawaniu
twarzy
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu
Przestrzenie kolorów model YCbCr
Detekcja twarzy i cech mapa oczu mapa ust
Wykorzystanie do ekstrakcji cech
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przestrzenie kolorów
Sposób reprezentacji piksela kanały głębokość bitowa
Konwersje stratne bezstratne (odtwarzalne)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Skala szarości
ang. grayscale (gs)Format wykorzystywany w rozpoznawaniu twarzyJeden kanał8 bitów -> 256 poziomów szarościKonwersja z RGB: B0.114 G 0.587 R0.299 Y
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przestrzenie kolorówLudzkie oko trójwymiarowa przestrzeń kolorów
Stosowane modele uproszczenie rzeczywistości 3, 4 wymiary nie pokrywają całego zakresu
światła widzialnego
Diagram kolorów CIE (International Commision on
Illumination)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Diagram kolorów CIE
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Najpopularniejsze modele
RGB czerwony, zielony, niebieski
CMYK morski, karmazynowy, żółty, czarny
HLS, HSV kolor, oświetlenie, nasycenie
YCbCr
intensywność (GS), niebieski, czerwony
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
RGB
Model addytywny punkt wyjścia – kolor czarny
Szeroko rozpowszechnionyCzęsto niewygodny: konieczna identyczna
rozdzielczość kanałów modyfikacja obrazu wymaga
modyfikacji każdego kanału ciężki w interpretacji
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
CMYK
Model subtraktywny punkt wyjścia – kolor biały
Stosowany do drukowaniaOdjęcie C, M i Y w praktyce nie zawsze daje czarny dodanie składowej K dodatkowy czarny pojemnik z
tuszem
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
RGB i CMYK
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
HSV
Kolor jako kątModel zbliżony do interpretacji barw przez człowieka
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
YCbCr
128 B0.08131 -G 0.41869 - R0.5 C
128 B0.5 G 0.33126 - R0.116874- C
B0.114 G 0.5587 R0.299 Y
r
b
Wykorzystywany w technikach cyfrowego zapisu video (JPEG, MPEG)Konwersja z RGB (jeden z wariantów):
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wybór modelu
Zdefiniowanie wymagańOgraniczenia sprzętowe np. CMYK
Udogodnienia algorytmiczne np. HLS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Detekcja twarzy
Oparta o model YCbCr
Wcielenie zasad heurystycznychGłówne etapy: kompensacja jasności maska twarzy stworzenie mapy oczu i ust wyznaczenie położenia cech
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Kompensacja jasności
Definicja koloru białego 5% najjaśniejszych pikseli (kanał Y)
Rozciągnięcie histogramu w przestrzeni RGB piksele „białe” -> (255, 255, 255) reszta przeskalowana liniowo
Przejście na YCbCr
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska twarzy
Cel: znalezienie pikseli należących do twarzyZdefiniowanie koloru twarzy skóra posiada charakterystyczne własności
Trening na bazie dużej próbki podprzestrzeń CbCr – błąd nadmiaru podprzestrzeń Cb/Y – Cr/Y – błąd niedomiaru
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Twarz w YCbCr
Przykłady 1 – 5
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Mapa oczuMapa C (barwna):
Mapa L (jasności):
Mapa końcowa – iloczyn mapy C i LDodatkowe progowanie
)(3
1 22
r
brb C
CCCEyeMapC
1)},({
)},({
yxYEr
yxYDilEyeMapL
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dylatacja i erozja
Element strukturalny „kotwica”
Dylatacja – rozbudowa obiektów na obrazieErozja – zniszczenie elementówna obraziePrzykład 6 i 7
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Mapa ust
ProgowanieDylatacjaErozja
)(
)(95.0
)(
2
222
b
r
r
b
rrr
CC
avg
Cavg
C
CCCMouthMap
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Położenie cech
oko (P): (15, 24)oko (L): (49, 24)usta: (32, 58)
Środek masy dla każdej mapyMapa oczu – środek dla każdej połówki
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech
Lokalizacja cech – informacja topograficzna (położenie punktów) metody analizy lokalnej (EBGM,
Lokalne PCA) maski dla Eigenfaces
Mapa – informacja o dystrybucji cech na obrazie maski dla Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tworzenie maski
Ogólne zasady: wzmocnienie okolic oczu i nosa osłabienie okolic ust
Dwa podejścia: obraz -> mapy -> punkty -> maska obraz -> mapy -> maska
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Punkty -> maska
Wyznaczenie pozycji nosa średnia ważona pozycji oczu i ust
Maski oczu, nosa i ust sumowane z różnymi wagami
oko (P): (15, 24)
oko (L): (49, 24)
usta: (32, 58)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Punkty -> maska
Oddziaływanie pojedynczego punktu
R – promień, Wmax – maksymalna waga
Maska – suma oddziaływań punktów oczy, nos – wagi dodatnie usta – waga ujemna
20
20
),(max
)()(),(
),(
yydxxdyxD
eWyxW
yx
yxDR
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Mapy -> maska
Wykorzystanie mapy bezpośrednio do wygenerowania maski
Połączenie dwóch technik
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykłady obrazów
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wpływ na wyniki
Maski poprawiają skuteczność rozpoznawania jak na razie nie bardziej
niż maska różnicowa
Kolor niesie istotne informacje dotyczące charakteru obszaru
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Modele barwMapy twarzy, oczu i ustDetekcjaMaska do rozpoznawania
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę!
Za tydzień: Śledzenie obiektów