lecture 11 maja pantic - automic analysis of facial behaviour
TRANSCRIPT
Machine Analysis of Facial BehaviorMaja Pantic iBUG @ Imperial College London
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Identity
Age
Gender
Beauty
Personality
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Emotions, Intentions, Attitudes
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
squint
lip����������� ������������������ pressANGER
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Happiness?����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Anger?����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Surprise?
Fear?����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Disgust?����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Sadness?����������� ������������������
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Facial����������� ������������������ Action����������� ������������������ Units����������� ������������������ (Ekman����������� ������������������ &����������� ������������������ Friesen,����������� ������������������ 1978)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
AU1 + AU4
AU7
AU17
AU22
Facial����������� ������������������ Action����������� ������������������ Units����������� ������������������ (Ekman����������� ������������������ &����������� ������������������ Friesen,����������� ������������������ 1978)
����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ --����������� ������������������ code����������� ������������������ basic����������� ������������������ emotion����������� ������������������ displays����������� ������������������ agnostic
AU2 + AU4
AU25
AU11AU5 + AU7
����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ --����������� ������������������ code����������� ������������������ non-basic����������� ������������������ emotion����������� ������������������ displays����������� ������������������
AU5
AU26
AU8
����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ --����������� ������������������ code����������� ������������������ expressions����������� ������������������ of����������� ������������������ attitudes����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������
AU9
AU2
AU20
AU5
AU19 + AU27
--����������� ������������������ code����������� ������������������ any����������� ������������������ expression����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Facial����������� ������������������ Action����������� ������������������ Units����������� ������������������ (Ekman����������� ������������������ &����������� ������������������ Friesen,����������� ������������������ 1978)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
AU26?AU29?
Expres
sionle
ss
Expres
sionle
ss
AU26AU29
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
FG����������� ������������������ reduced
KL����������� ������������������ &����������� ������������������ IJ����������� ������������������ reduced
AU7
AU24
Face����������� ������������������ Shape����������� ������������������ Model����������� ������������������ +����������� ������������������ Rule-based����������� ������������������ approach����������� ������������������ (Pantic����������� ������������������ &����������� ������������������ Rothkrantz,����������� ������������������ 1999-2004)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
AU22
AU14
✦����������� ������������������ A����������� ������������������ pioneering����������� ������������������ effort����������� ������������������ towards����������� ������������������ machine����������� ������������������ analysis����������� ������������������ of����������� ������������������ AUs
✦����������� ������������������ Introduced����������� ������������������ a����������� ������������������ point-based����������� ������������������ face����������� ������������������ model����������� ������������������ suitable����������� ������������������ for����������� ������������������ ����������� ������������������ automatic����������� ������������������ unambiguous����������� ������������������ discrimination����������� ������������������ of����������� ������������������ 32/45����������� ������������������ AU
✦����������� ������������������ First����������� ������������������ effort����������� ������������������ to����������� ������������������ use����������� ������������������ profile����������� ������������������ images
✦����������� ������������������ Many����������� ������������������ groups����������� ������������������ world-wide����������� ������������������ adopted����������� ������������������ the����������� ������������������ approach����������� ������������������ (����������� ������������������ >700����������� ������������������ citations����������� ������������������ to����������� ������������������ the����������� ������������������ related����������� ������������������ publications)
✦����������� ������������������ Not����������� ������������������ all����������� ������������������ AUs����������� ������������������ could����������� ������������������ be����������� ������������������ recognised����������� ������������������ (e.g.����������� ������������������ AU14,����������� ������������������ AU22)
✦����������� ������������������ Facial����������� ������������������ motion����������� ������������������ and����������� ������������������ dynamics����������� ������������������ could����������� ������������������ not����������� ������������������ be����������� ������������������ handled
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Expres
sionle
ss
Expres
sive
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Gabor����������� ������������������ Filters����������� ������������������ +����������� ������������������ Boosting����������� ������������������ Point����������� ������������������ Detection����������� ������������������ (Vukadinovic����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ SMC’05)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face%Detec(on%
Ini(al%Sampling%Region%
Obtain%new%es(mate%
+%
New%evidence% Target%distribu(on%
Update%Target%Dist.%
max > th?
Early%stop%condi(on%
Update%Sampling%Region%2)%Use%global%info.%
(shape)%1)%Use%local%info.%%(reg.%es(mates)%
While%it#<#itmax#
LBP����������� ������������������ +����������� ������������������ SVR����������� ������������������ +����������� ������������������ MRF����������� ������������������ (Martinez����������� ������������������ &����������� ������������������ Valstar����������� ������������������ &����������� ������������������ Binefa����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ CVPR‘10,����������� ������������������ PAMI����������� ������������������ 2013)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013LBP����������� ������������������ +����������� ������������������ SVR����������� ������������������ +����������� ������������������ MRF����������� ������������������ (Martinez����������� ������������������ &����������� ������������������ Valstar����������� ������������������ &����������� ������������������ Binefa����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ CVPR‘10,����������� ������������������ PAMI����������� ������������������ 2013)
error$(frac)on$IOD)$
frac)o
n$of$im
ages$
BioID$DB:$Compared$to$the$state:of:the:art$ SEMAINE$database$
Mul)PIE$database:$Ligh)ng$condi)ons$ Mul)PIE$database:$Head$rota)on$
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 Particle����������� ������������������ Filtering����������� ������������������ with����������� ������������������ Factorized����������� ������������������ Likelihoods����������� ������������������ (Patras����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’04)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 Particle����������� ������������������ Filtering����������� ������������������ with����������� ������������������ Factorized����������� ������������������ Likelihoods����������� ������������������ (Patras����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’04)
Face and Facial Point Tracking Facial Expression Classification
€
π k = φ d q sk( ),hj( ),σp( )j∑
πk: Parzen density estimation
sk: particle
{hj}: collection of the training data q(.): transformation function for registration d(.): distance function
φ(.): Parzen kernel (Gaussian kernel with standard deviation σp)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
IGO-PCA����������� ������������������ (Tzimiropoulos����������� ������������������ &����������� ������������������ Zafeiriou����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ PAMI����������� ������������������ 2012)
IGO Gradients Intensity RGB
✤ Computing Image Gradient Orientations
✤ Measuring face similarity using IGO and a cosine kernel
= +
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013IGO-PCA����������� ������������������ &����������� ������������������ face����������� ������������������ verification����������� ������������������ (Tzimiropoulos����������� ������������������ &����������� ������������������ Zafeiriou����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ PAMI����������� ������������������ 2012)
Face and Facial Point Tracking Facial Expression Classification
3
following definition.Definition I. Images Ji and Jj are pixel-wise dissimilarif ∀k ∈ P , ∆φij(k) ∼ U [0, 2π).
Not surprisingly, nature is replete with images exem-plifying Definition I. This, in turn, makes it possible toset up a naive image-based random number generator.To confirm this, we used more than 70, 000 pairs of imagepatches of resolution 200× 200 randomly extracted fromnatural images [24]. For each pair, we computed ∆φij
and formulated the following null hypothesis
• H0: ∀k ∈ P ∆φij(k) ∼ U [0, 2π)
which was tested using the Kolmogorov-Smirnov test[25]. For a significance level equal to 0.01, the null hy-pothesis was accepted for 94.05% of the image pairs withmean p-value equal to 0.2848. In a similar setting, wetested Matlab’s random generator. The null hypothesiswas accepted for 99.48% of the cases with mean p-value equal to 0.501. Fig. 1 (a)-(b) show a typical pair ofimage patches considered in our experiment. Fig. 1 (c)and (d) plot the histograms of the gradient orientationdifferences and 40,000 samples drawn from Matlab’srandom number generator respectively.
(a) (b)
0 1 2 3 4 5 6.28320
50
100
150
∆ Φ(radius)
Num
ber
of P
ixel
s
(c)
0 1 2 3 4 5 6.28320
50
100
150
∆Φ(radius)
Num
ber
of P
ixel
s
(d)
Fig. 1. (a)-(b) An image pair used in our experiment,(c) Image-based random number generator: histogram of40,000 gradient orientation differences and (d) Histogramof 40,000 samples drawn from Matlab’s random numbergenerator.
3 IGO-PCA3.1 Cosine-based correlation of image gradient ori-entations
Assume that we are given a set of n images {Ii}, Ii ∈ℜm1×m2 with the goal of subspace learning forappearance-based object recognition. We compute thecorresponding set of orientation images {Φi} and mea-sure image correlation using the cosine kernel [22], [26]
s(φi,φj) !!
k∈P
cos[∆φij(k)] = cN(P) (2)
where c ∈ [−1, 1] and k is the pixel index. Notice thatfor highly spatially correlated images ∆φij(k) ≈ 0 andc → 1.
Assume that there exists a subset P2 ⊂ P corre-sponding to the set of pixels corrupted by outliers. ForP1 = P − P2, we have
s1(φi,φj) =!
k∈P1
cos[∆φij(k)] = c1N(P1) (3)
where c1 ∈ [−1, 1].Not unreasonably, we assume that in P2 the images
are pixel-wise dissimilar according to Definition I. Forexample, Fig. 2 (a)-(b) show an image pair where P2
is the part of the face occluded by the scarf. Fig. 2 (c)plots the distribution of ∆φ in P2. Before proceeding for
(a) (b)
0 1 2 3 4 5 6.28320
5
10
15
20
25
∆Φ (radius)
(c)
Fig. 2. (a)-(b) An image pair used in our experiments. (c)The distribution of ∆φ for the part of the face occluded bythe scarf.
computing the value of s in P2, we need the followingtheorem [22] (please refer to Section I of supplementarymaterial for a proof).Theorem I Let u(.) be a random process and u(t) ∼U [0, 2π) then:
• E["Xcosu(t)dt] = 0 for any non-empty interval X ∈
R.• If u(.) is mean ergodic, then
"Xcosu(t)dt = 0.
We also make use of the following approximation#
X
cos[∆φij(t)]dt ∝!
k∈P
cos[∆φij(k)] (4)
where with some abuse of notation, ∆φij is definedin the continuous domain on the left hand side of (4).Analogously, the above hold for the case of the sinekernel as well.
Based on the above results, for P2, we have
s2(φi,φj) =!
k∈P2
cos[∆φij(k)] ≃ 0. (5)
Overall, unlike ℓ2-based correlation of image inten-sities where the contribution of outliers can be arbi-trarily large, s(.) measures correlation as s(φi,φj) =s1(φi,φj)+s2(φi,φj) ≃ c1N(P1), i.e. the effect of outliersis approximately canceled out 2.
To exemplify the above concept, we considered thefollowing experiment. We calculated s from face image
2. Please see section I.A of our supplementary material for a qualita-tive comparison between the correlation of image gradient orientationand various versions of ℓ2-based correlation of image intensities.
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCEThis article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication.
4
pairs where the second image was directly obtained fromthe first one after applying a synthetic occlusion with a“Baboon” patch of increasing size. Fig. 3 (a) and (b) showan example of image pairs considered. Note that, for allimage pairs, we are guaranteed that c1 = 1 and, giventhat the above analysis holds, we also have s1 = N(P1)(the image P1 is exactly the same in both images)and hence s ≈ N(P1). Under the assumption that thegradient orientation differences of dissimilar objects areuniformly distributed, then s2 ≈ 0. If s2 was exactly 0then s = N(P1) would be the number of pixels thathave not been occluded. If s is normalized by the totalnumber of pixels N(P) then the correlation coefficients/N(P) would be the percentage of the image that hasnot been occluded. Fig. 3 (c) shows both the theoreticalvalue of s/N(P), which is N(P1)/N(P), as well as, itsvalue as estimated from the data as a function of thepercentage of the occlusion (the percentage of occlusionis N(P2)/N(P)). As we may observe, the differencebetween the theoretical and estimated values is almostnegligible.
(a) (b)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Cor
rela
tion
Percentage of Occlusion
TheoreticalEstimated
(c)
Fig. 3. Cosine-based correlation of image gradient orien-tation for the case of synthetic occlusions. (a)-(b) A pairof images considered for our experiment. (c) Theoreticaland expected values of s/N(P) as a function of thepercentage of occlusion N(P2)/N(P).
3.2 The principal components of image gradient ori-entations
To show how (2) can be used as the basis for our IGO-PCA, we first define the distance
d2(φi,φj) !!
k∈P
"1− cos[∆φij(k)]
#) (6)
We can write (6) as follows
d2(φi,φj) =1
2
!
k∈P
"2− 2 cos[φi(k)− φj(k)]
#
=1
2
!
k∈P
"(cos2 φi(k) + sin2 φi(k))
+(cos2 φj(k) + sin2 φj(k))
−2(cosφi(k) cosφj(k)
+ sinφi(k) sinφj(k))#
=1
2
!
k∈P
"(cosφi(k)− cosφj(k))
2
+(sinφi(k)− sinφj(k))2#
=1
2
$$$$$$ejφi − ejφj
$$$$$$2
(7)
where ejφi = [ejφ1 , . . . , ejφN(P) ]T . The last equalitymakes the basic computational module of our schemeapparent. We define the mapping from [0, 2π)p onto asubset of complex sphere with radius
%N(P) 3
zi(φi) = ejφi (8)
and apply complex linear PCA to the transformed datazi. That is, we look for a set of K < n orthonormalbases U = [u1| · · · |uK ] ∈ CN(P)×K by minimizing theerror function
ϵ(U) = ||Z−UUHZ||2F (9)
where Z = [z1| · · · |zn] ∈ CN(P)×n and, without loss ofgenerality, we assume zero-mean data. Equivalently, wecan solve
Uo = argmaxU tr&UHZZHU
'
subject to (s.t.) UHU = I.(10)
The solution is given by the K-th eigenvectors of ZZH
corresponding to the K-th largest eigenvalues. Finally,the K−dimensional embedding C = [c1| · · · |cn] ∈ CK×n
of Z are given by C = UHZ.Using the results of the previous subsection, we can
remark the following.Remark I. If P = P1 ∪ P2 with ∆φij(k) ∼ U [0, 2π) ∀k ∈P2, then Re[zHi zj ] ≃ c1N(P1)Remark II. If P2 = P , then Re[zHi zj ] ≃ 0 and Im[zHi zj ] ≃0.Further geometric intuition about the mapping zi isprovided by the chord between vectors zi and zj
crd(zi, zj) =((zi − zj)H(zi − zj) =
(2d2(φi,φj) (11)
Using crd(.), the results of Remark I and II can be re-formulated as crd(zi, zj) ≃
%2((1− c1)N(P1) +N(P2))
and crd(zi, zj) ≃%2N(P) respectively.
Let us denote by Q = {1, . . . , n} the set of imageindices and Qi any subset of Q. Let us also denote byΛ the positive eigen-spectrum of ZZH . We can conclude
3. In mathematical topology this subset is called Clifford Torus [27].
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCEThis article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication.
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013IGO-PCA����������� ������������������ &����������� ������������������ face����������� ������������������ tracking����������� ������������������ (Liwicki����������� ������������������ et����������� ������������������ al,����������� ������������������ TNNLS����������� ������������������ 2012,����������� ������������������ IJCV����������� ������������������ 2013)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
IGO-PCA����������� ������������������ &����������� ������������������ face����������� ������������������ tracking����������� ������������������ (Liwicki����������� ������������������ et����������� ������������������ al,����������� ������������������ TNNLS����������� ������������������ 2012,����������� ������������������ IJCV����������� ������������������ 2013)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 IGO-PCA����������� ������������������ &����������� ������������������ generic����������� ������������������ AAM����������� ������������������ fitting����������� ������������������ (Tzimiropoulos����������� ������������������ et����������� ������������������ al,����������� ������������������ ACCV����������� ������������������ 2012,����������� ������������������ ICCV����������� ������������������ 2013)
Face and Facial Point Tracking Facial Expression Classification
✤ Annotate a set of facial landmarks in training images (set T)
✤ Learn a Shape Model that represents the variations in T
✤ Learn an Appearance Model from image textures defined by T
PCA$
PCA$
✤ AAM Fitting: Place&model&&in&image&&&
Measure&&similarity&
Update&&model&
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
IGO-PCA����������� ������������������ &����������� ������������������ generic����������� ������������������ AAM����������� ������������������ fitting����������� ������������������ (Tzimiropoulos����������� ������������������ et����������� ������������������ al,����������� ������������������ ACCV����������� ������������������ 2012,����������� ������������������ ICCV����������� ������������������ 2013)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 HoG-PCA����������� ������������������ &����������� ������������������ Constrained����������� ������������������ Local����������� ������������������ Models����������� ������������������ (Asthana����������� ������������������ et����������� ������������������ al,����������� ������������������ CVPR����������� ������������������ 2013,����������� ������������������ PAMI����������� ������������������ 2014)
HoG features & convolve with HoG filters
train a weak learner U for each point
fit & update a set of weak learners U
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 HoG-PCA����������� ������������������ &����������� ������������������ Constrained����������� ������������������ Local����������� ������������������ Models����������� ������������������ (Asthana����������� ������������������ et����������� ������������������ al,����������� ������������������ CVPR����������� ������������������ 2013,����������� ������������������ PAMI����������� ������������������ 2014)
Face and Facial Point Tracking Facial Expression Classification
Results for Multi-PIE Results for LFPW
✤ C/CUDA implementation: 30 fps (ibug.doc.ic.ac.uk/resources)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Frame-based����������� ������������������ AU����������� ������������������ classification����������� ������������������ often����������� ������������������ leads����������� ������������������ to����������� ������������������ “on-off-on”����������� ������������������ results
2)����������� ������������������ Encoding����������� ������������������ temporal����������� ������������������ evolution/����������� ������������������ segments����������� ������������������ of����������� ������������������ AUs����������� ������������������ can����������� ������������������ remedy����������� ������������������ this����������� ������������������
Feature-based����������� ������������������ approach����������� ������������������ (Valstar����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ ICCV-W’07,����������� ������������������ TSMC-B����������� ������������������ 2012)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Frame-based����������� ������������������ AU����������� ������������������ classification����������� ������������������ often����������� ������������������ leads����������� ������������������ to����������� ������������������ “on-off-on”����������� ������������������ results
2)����������� ������������������ Encoding����������� ������������������ temporal����������� ������������������ evolution/����������� ������������������ segments����������� ������������������ of����������� ������������������ AUs����������� ������������������ can����������� ������������������ remedy����������� ������������������ this����������� ������������������
Feature-based����������� ������������������ approach����������� ������������������ (Valstar����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ ICCV-W’07,����������� ������������������ TSMC-B����������� ������������������ 2012)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Frame-based����������� ������������������ AU����������� ������������������ classification����������� ������������������ often����������� ������������������ leads����������� ������������������ to����������� ������������������ “on-off-on”����������� ������������������ results
2)����������� ������������������ Encoding����������� ������������������ temporal����������� ������������������ evolution����������� ������������������ of����������� ������������������ AUs����������� ������������������ is����������� ������������������ necessary����������� ������������������ for����������� ������������������ understanding����������� ������������������ subtle����������� ������������������ and����������� ������������������ complex����������� ������������������ facial����������� ������������������ behaviours����������� ������������������
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Frame-based����������� ������������������ AU����������� ������������������ classification����������� ������������������ often����������� ������������������ leads����������� ������������������ to����������� ������������������ “on-off-on”����������� ������������������ results
2)����������� ������������������ Encoding����������� ������������������ temporal����������� ������������������ evolution����������� ������������������ of����������� ������������������ AUs����������� ������������������ is����������� ������������������ necessary����������� ������������������ for����������� ������������������ understanding����������� ������������������ subtle����������� ������������������ and����������� ������������������ complex����������� ������������������ facial����������� ������������������ behaviours����������� ������������������
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Frame-����������� ������������������ &����������� ������������������ Feature-based,����������� ������������������ Rule-based����������� ������������������ approach����������� ������������������ ����������� ������������������ (Pantic����������� ������������������ &����������� ������������������ Patras,����������� ������������������ TSMC-B����������� ������������������ 2006)
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Event-����������� ������������������ &����������� ������������������ Feature-based,����������� ������������������ SVM����������� ������������������ +����������� ������������������ HMM����������� ������������������ approach����������� ������������������ ����������� ������������������ (Valstar����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ ICCV-W’07)Best����������� ������������������ Paper����������� ������������������ Award
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Event-����������� ������������������ &����������� ������������������ DT-based,����������� ������������������ GB����������� ������������������ +����������� ������������������ HMM����������� ������������������ approach����������� ������������������ ����������� ������������������ (Koelstra����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’08,����������� ������������������ PAMI����������� ������������������ 2010)Best����������� ������������������ Paper����������� ������������������ Award
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Event-����������� ������������������ &����������� ������������������ DT-based,����������� ������������������ GB����������� ������������������ +����������� ������������������ HMM����������� ������������������ approach����������� ������������������ ����������� ������������������ (Koelstra����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’08,����������� ������������������ PAMI����������� ������������������ 2010)Best����������� ������������������ Paper����������� ������������������ Award
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
context����������� ������������������ (W5+):����������� ������������������ who?����������� ������������������ when?����������� ������������������ where?����������� ������������������ what?����������� ������������������ how?����������� ������������������ why?
…
Feature-based,����������� ������������������ context-sensitive����������� ������������������ CORF����������� ������������������ approach����������� ������������������ to����������� ������������������ AU����������� ������������������ intensity����������� ������������������ estimation����������� ������������������ ����������� ������������������ (Rudovic����������� ������������������ et����������� ������������������ al,����������� ������������������ PAMI����������� ������������������ 2014)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Face and Facial Point Tracking Facial Expression Classification
Feature-based,����������� ������������������ context-sensitive����������� ������������������ CORF����������� ������������������ approach����������� ������������������ to����������� ������������������ AU����������� ������������������ intensity����������� ������������������ estimation����������� ������������������ ����������� ������������������ (Rudovic����������� ������������������ et����������� ������������������ al,����������� ������������������ PAMI����������� ������������������ 2014)
( )cs CORF w h− + ( )CORF w h+
)( )
hCRF w SR SVM+RVM
context����������� ������������������ (W5+):����������� ������������������ who?����������� ������������������ when?����������� ������������������ where?����������� ������������������ what?����������� ������������������ how?����������� ������������������ why?
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Disgust Happiness Sadness
Anger Fear Surprise
Valencepositivenegative
Arou
sal
high
low
expressionl
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
OA-RVM����������� ������������������ Regression����������� ������������������ for����������� ������������������ V/A����������� ������������������ Prediction����������� ������������������ ����������� ������������������ (Nicolaou����������� ������������������ &����������� ������������������ Gunes����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’11)Best����������� ������������������ Paper����������� ������������������ Award
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
OA-RVM����������� ������������������ Regression����������� ������������������ for����������� ������������������ V/A����������� ������������������ Prediction����������� ������������������ ����������� ������������������ (Nicolaou����������� ������������������ &����������� ������������������ Gunes����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ FG’11)Best����������� ������������������ Paper����������� ������������������ Award
Face and Facial Point Tracking Facial Expression Classification
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
(Nicolaou����������� ������������������ et����������� ������������������ al,����������� ������������������ ECCV’12,����������� ������������������ PAMI����������� ������������������ 2014)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013 (Zafeiriou����������� ������������������ &����������� ������������������ Pantic,����������� ������������������ CVPR-W’11)
(Nicolaou����������� ������������������ et����������� ������������������ al,����������� ������������������ ECCV’12,����������� ������������������ PAMI����������� ������������������ 2014)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
(Sandbach����������� ������������������ et����������� ������������������ al,����������� ������������������ IVCJ����������� ������������������ 2012,����������� ������������������ BMVC’12)4D-FAB����������� ������������������ project����������� ������������������ (EPSRC)
capture motion between frames
construct vector projections
do quad-tree decompositions
!
neutral
onset offset
apex neutral
classify in 6 basic emotion categories using GentleBoost
+ HMM
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
(dyadic����������� ������������������ interactions����������� ������������������ analysis)
www.ibug.doc.ac.uk/resources
Lessons Learned
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Work����������� ������������������ with����������� ������������������ naturalistic����������� ������������������ rather����������� ������������������ than����������� ������������������ acted����������� ������������������ behaviour����������� ������������������ data!
acted behaviour (MMI database)
naturalistic behaviour (SEMAINE database)
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Work����������� ������������������ with����������� ������������������ naturalistic����������� ������������������ rather����������� ������������������ than����������� ������������������ acted����������� ������������������ behaviour����������� ������������������ data!
2)����������� ������������������ dynamics����������� ������������������ of����������� ������������������ the����������� ������������������ behaviour����������� ������������������ are����������� ������������������ the����������� ������������������ clue����������� ������������������ to����������� ������������������ behaviour����������� ������������������ understanding!
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Work����������� ������������������ with����������� ������������������ naturalistic����������� ������������������ rather����������� ������������������ than����������� ������������������ acted����������� ������������������ behaviour����������� ������������������ data!
2)����������� ������������������ dynamics����������� ������������������ of����������� ������������������ the����������� ������������������ behaviour����������� ������������������ are����������� ������������������ the����������� ������������������ clue����������� ������������������ to����������� ������������������ behaviour����������� ������������������ understanding!
3)����������� ������������������ multi-dimensional����������� ������������������ continuos����������� ������������������ behaviour����������� ������������������ interpretation����������� ������������������ is����������� ������������������ the����������� ������������������ solution!
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
1)����������� ������������������ Work����������� ������������������ with����������� ������������������ naturalistic����������� ������������������ rather����������� ������������������ than����������� ������������������ acted����������� ������������������ behaviour����������� ������������������ data!
2)����������� ������������������ dynamics����������� ������������������ of����������� ������������������ the����������� ������������������ behaviour����������� ������������������ are����������� ������������������ the����������� ������������������ clue����������� ������������������ to����������� ������������������ behaviour����������� ������������������ understanding!
3)����������� ������������������ multi-dimensional����������� ������������������ continuos����������� ������������������ behaviour����������� ������������������ interpretation����������� ������������������ is����������� ������������������ the����������� ������������������ solution!
4)����������� ������������������ no����������� ������������������ excellent����������� ������������������ people����������� ������������������ ����������� ������������������ ->����������� ������������������ ����������� ������������������ no����������� ������������������ excellent����������� ������������������ work����������� ������������������ !
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013