ulepszenia metody eigenfaces
DESCRIPTION
Ulepszenia metody Eigenfaces. Plan wykładu. Eigenfaces – główne wady Wykorzystanie topografii twarzy Linear Discriminant Analysis Fisherfaces Bayesian Matching. Główne wady Eigenfaces. Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/1.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ulepszenia metody Eigenfaces
![Page 2: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/2.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu
Eigenfaces – główne wadyWykorzystanie topografii twarzyLinear Discriminant Analysis Fisherfaces
Bayesian Matching
![Page 3: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/3.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Główne wady Eigenfaces
Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami
twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994)
różnice mimiki
Twarz traktowana jako wektor utrata informacji 2D
Podejście holistyczne twarz jako niepodzielna całość
![Page 4: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/4.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Topografia twarzy
Cechy intra- i ekstra-personalne oczy i nos usta i policzki
Charakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech
N
jjjiji Mxuw
1xuw ii
![Page 5: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/5.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska „T”
Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF
![Page 6: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/6.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska różnicowa
Zbiory par obrazów: intra-personalne extra-personalne
Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna
Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej
![Page 7: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/7.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie
proporcjonalna do błędu projekcji
Zmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli
![Page 8: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/8.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykłady...
![Page 9: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/9.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wagi wektorów własnych
Nie zawsze związana z lokalizacją np. oświetlenie
„Rzut oka” na twarze własne niosą różne rodzaje informacji
(kierunki)
Wektor własny, element wektora cech, funkcja porównującaModyfikacja:
N
jjjijii MxuWw
1
![Page 10: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/10.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem rozpoznawania
Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów
Punkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca
![Page 11: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/11.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 1
Błąd pojedynczego porównania:
uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)
),(
),(),(
1
11
kij
iijkij uuS
uuSuuP
![Page 12: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/12.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 2
Błąd rozpoznania pojedynczego wektora:
Błąd dla całej próbki:
C
i
N
j
C
ikk
ij
i
kuuPD1 2 1
),( 1
C
ikk
ijij kuuPD1
),( 1
![Page 13: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/13.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Funkcja błędu
Błąd jest funkcją maski i wag funkcja wymierna
Minimalizacja funkcji znalezienie optymalnej maski i wag
![Page 14: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/14.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem dostosowania
Silne dostosowanie do próbki znaczne polepszenie
dla zbioru treningowego pogorszenie dla reszty
Rozwiązanie: optymalizacja częściowa
Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji
![Page 15: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/15.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA
Detekcja cech charakterystycznych oczy, usta, nos
Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,
eigennoses, itp.)
Przestrzenie posiadają mniej wymiarów
![Page 16: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/16.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA
K1
K2
K3
K4
![Page 17: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/17.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tworzenie przestrzeni
PCA wyznacza główne kierunki różnicBrak wykorzystania informacji o przynależności do klasyRozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces
![Page 18: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/18.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania
![Page 19: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/19.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania
![Page 20: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/20.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład nie działania
![Page 21: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/21.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tak by było lepiej...
![Page 22: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/22.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak działa LDA?
PCA: próbka treningowa macierz
kowariancji
LDA: sklasyfikowana próbka treningowa
dwie macierze kowariancji wewnątrz-klasowa między-klasowa
Znalezienie bazy ortogonalnej
![Page 23: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/23.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji
Międzyklasowa
CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy – obraz średni i – obraz średni i-tej klasy
c
iiiiB N
1)(( C
![Page 24: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/24.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji
Wewnątrzklasowa
CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy
c
i XxikikW
ik
xx1
)(( C
![Page 25: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/25.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak to policzyć?
PCA:
- macierz złożona z wektorów własnych
LDA:
vv C
||maxarg TCψψψψ
||
||maxarg
ψCψ
ψCψψ
ψW
TB
T
vv WB CC
![Page 26: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/26.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Fisherfaces
LDA – skomplikowane obliczenia na dużych macierzachFisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy
|''|
|''|maxarg
ψψCψψ
ψψCψψψ
ψPCAW
TPCA
TPCAB
TPCA
T
![Page 27: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/27.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech Fisherfaces
Policzyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów
Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech
![Page 28: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/28.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Bayesian Matching
Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy
I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych
)|()(),( 21 II PPIIS
21 II
![Page 29: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/29.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prawdopodobieństwo
)()|()()|(
)()|()|(
EEII
III PPPP
PPP
P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – ()
2)(~)|( eP I
![Page 30: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/30.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Projekcja wsteczna (przypomnienie)
Wektor cech -> obraz twarzy
Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)
'
1
N
iiiP vwx
|||| Pxx
WxP '
![Page 31: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/31.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przestrzenie różnic
Dwie klasy par obrazów intra- i ekstra-personalne
Obrazy będące różnicami między obrazami dwie klasy różnic
Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA
![Page 32: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/32.jpg)
![Page 33: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/33.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Kwintesencja BM
Rozpoznawana różnica dwóch obrazów Dual Eigenfaces
Odległość różnicy od dwóch przestrzeniMetoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę
do wstępnej selekcji (wybrania n najlepszych)
![Page 34: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/34.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne metody
Local Feature Analysis2D PCA, 2D LDAIndependent Component Analysis
![Page 35: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/35.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Istnieje wiele metod bazujących na EigenfacesUlepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic
![Page 36: Ulepszenia metody Eigenfaces](https://reader036.vdocuments.mx/reader036/viewer/2022062518/568147ee550346895db527a7/html5/thumbnails/36.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę!
Za tydzień – metoda EBGM