lecture 11 maja pantic - automic analysis of facial behaviour

52
Machine Analysis of Facial Behavior Maja Pantic iBUG @ Imperial College London

Upload: milkers

Post on 22-Aug-2015

41 views

Category:

Software


0 download

TRANSCRIPT

Page 1: Lecture 11   maja pantic - automic analysis of facial behaviour

Machine Analysis of Facial BehaviorMaja Pantic iBUG @ Imperial College London

Page 2: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Identity

Age

Gender

Beauty

Personality

Page 3: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Emotions, Intentions, Attitudes

Page 4: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 5: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

squint

lip����������� ������������������  pressANGER

Page 6: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Happiness?����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Anger?����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Surprise?

Fear?����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Disgust?����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Sadness?����������� ������������������  

Page 7: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Facial����������� ������������������  Action����������� ������������������  Units����������� ������������������  (Ekman����������� ������������������  &����������� ������������������  Friesen,����������� ������������������  1978)

Page 8: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

AU1  +  AU4

AU7

AU17

AU22

Facial����������� ������������������  Action����������� ������������������  Units����������� ������������������  (Ekman����������� ������������������  &����������� ������������������  Friesen,����������� ������������������  1978)

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  --����������� ������������������  code����������� ������������������  basic����������� ������������������  emotion����������� ������������������  displays����������� ������������������  agnostic

AU2  +  AU4

AU25

AU11AU5  +  AU7

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  --����������� ������������������  code����������� ������������������  non-basic����������� ������������������  emotion����������� ������������������  displays����������� ������������������  

AU5

AU26

AU8

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  --����������� ������������������  code����������� ������������������  expressions����������� ������������������  of����������� ������������������  attitudes����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  

AU9

AU2

AU20

AU5

AU19  +  AU27

--����������� ������������������  code����������� ������������������  any����������� ������������������  expression����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  

Page 9: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Facial����������� ������������������  Action����������� ������������������  Units����������� ������������������  (Ekman����������� ������������������  &����������� ������������������  Friesen,����������� ������������������  1978)

Page 10: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

AU26?AU29?

Expres

sionle

ss

Expres

sionle

ss

AU26AU29

Page 11: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

FG����������� ������������������  reduced

KL����������� ������������������  &����������� ������������������  IJ����������� ������������������  reduced

AU7

AU24

Face����������� ������������������  Shape����������� ������������������  Model����������� ������������������  +����������� ������������������  Rule-based����������� ������������������  approach����������� ������������������  (Pantic����������� ������������������  &����������� ������������������  Rothkrantz,����������� ������������������  1999-2004)

Page 12: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

AU22

AU14

✦����������� ������������������  A����������� ������������������  pioneering����������� ������������������  effort����������� ������������������  towards����������� ������������������  machine����������� ������������������  analysis����������� ������������������  of����������� ������������������  AUs

✦����������� ������������������  Introduced����������� ������������������  a����������� ������������������  point-based����������� ������������������  face����������� ������������������  model����������� ������������������  suitable����������� ������������������  for����������� ������������������  ����������� ������������������  automatic����������� ������������������  unambiguous����������� ������������������  discrimination����������� ������������������  of����������� ������������������  32/45����������� ������������������  AU

✦����������� ������������������  First����������� ������������������  effort����������� ������������������  to����������� ������������������  use����������� ������������������  profile����������� ������������������  images

✦����������� ������������������  Many����������� ������������������  groups����������� ������������������  world-wide����������� ������������������  adopted����������� ������������������  the����������� ������������������  approach����������� ������������������  (����������� ������������������  >700����������� ������������������  citations����������� ������������������  to����������� ������������������  the����������� ������������������  related����������� ������������������  publications)

✦����������� ������������������  Not����������� ������������������  all����������� ������������������  AUs����������� ������������������  could����������� ������������������  be����������� ������������������  recognised����������� ������������������  (e.g.����������� ������������������  AU14,����������� ������������������  AU22)

✦����������� ������������������  Facial����������� ������������������  motion����������� ������������������  and����������� ������������������  dynamics����������� ������������������  could����������� ������������������  not����������� ������������������  be����������� ������������������  handled

Page 13: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Expres

sionle

ss

Expres

sive

Page 14: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 15: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Gabor����������� ������������������  Filters����������� ������������������  +����������� ������������������  Boosting����������� ������������������  Point����������� ������������������  Detection����������� ������������������  (Vukadinovic����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  SMC’05)

Face and Facial Point Tracking Facial Expression Classification

Page 16: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face%Detec(on%

Ini(al%Sampling%Region%

Obtain%new%es(mate%

+%

New%evidence% Target%distribu(on%

Update%Target%Dist.%

max > th?

Early%stop%condi(on%

Update%Sampling%Region%2)%Use%global%info.%

(shape)%1)%Use%local%info.%%(reg.%es(mates)%

While%it#<#itmax#

LBP����������� ������������������  +����������� ������������������  SVR����������� ������������������  +����������� ������������������  MRF����������� ������������������  (Martinez����������� ������������������  &����������� ������������������  Valstar����������� ������������������  &����������� ������������������  Binefa����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  CVPR‘10,����������� ������������������  PAMI����������� ������������������  2013)

Face and Facial Point Tracking Facial Expression Classification

Page 17: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013LBP����������� ������������������  +����������� ������������������  SVR����������� ������������������  +����������� ������������������  MRF����������� ������������������  (Martinez����������� ������������������  &����������� ������������������  Valstar����������� ������������������  &����������� ������������������  Binefa����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  CVPR‘10,����������� ������������������  PAMI����������� ������������������  2013)

error$(frac)on$IOD)$

frac)o

n$of$im

ages$

BioID$DB:$Compared$to$the$state:of:the:art$ SEMAINE$database$

Mul)PIE$database:$Ligh)ng$condi)ons$ Mul)PIE$database:$Head$rota)on$

Face and Facial Point Tracking Facial Expression Classification

Page 18: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 Particle����������� ������������������  Filtering����������� ������������������  with����������� ������������������  Factorized����������� ������������������  Likelihoods����������� ������������������  (Patras����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’04)

Face and Facial Point Tracking Facial Expression Classification

Page 19: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 Particle����������� ������������������  Filtering����������� ������������������  with����������� ������������������  Factorized����������� ������������������  Likelihoods����������� ������������������  (Patras����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’04)

Face and Facial Point Tracking Facial Expression Classification

π k = φ d q sk( ),hj( ),σp( )j∑

πk: Parzen density estimation

sk: particle

{hj}: collection of the training data q(.): transformation function for registration d(.): distance function

φ(.): Parzen kernel (Gaussian kernel with standard deviation σp)

Page 20: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

IGO-PCA����������� ������������������  (Tzimiropoulos����������� ������������������  &����������� ������������������  Zafeiriou����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  PAMI����������� ������������������  2012)

IGO Gradients Intensity RGB

✤ Computing Image Gradient Orientations

✤ Measuring face similarity using IGO and a cosine kernel

= +

Page 21: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013IGO-PCA����������� ������������������  &����������� ������������������  face����������� ������������������  verification����������� ������������������  (Tzimiropoulos����������� ������������������  &����������� ������������������  Zafeiriou����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  PAMI����������� ������������������  2012)

Face and Facial Point Tracking Facial Expression Classification

3

following definition.Definition I. Images Ji and Jj are pixel-wise dissimilarif ∀k ∈ P , ∆φij(k) ∼ U [0, 2π).

Not surprisingly, nature is replete with images exem-plifying Definition I. This, in turn, makes it possible toset up a naive image-based random number generator.To confirm this, we used more than 70, 000 pairs of imagepatches of resolution 200× 200 randomly extracted fromnatural images [24]. For each pair, we computed ∆φij

and formulated the following null hypothesis

• H0: ∀k ∈ P ∆φij(k) ∼ U [0, 2π)

which was tested using the Kolmogorov-Smirnov test[25]. For a significance level equal to 0.01, the null hy-pothesis was accepted for 94.05% of the image pairs withmean p-value equal to 0.2848. In a similar setting, wetested Matlab’s random generator. The null hypothesiswas accepted for 99.48% of the cases with mean p-value equal to 0.501. Fig. 1 (a)-(b) show a typical pair ofimage patches considered in our experiment. Fig. 1 (c)and (d) plot the histograms of the gradient orientationdifferences and 40,000 samples drawn from Matlab’srandom number generator respectively.

(a) (b)

0 1 2 3 4 5 6.28320

50

100

150

∆ Φ(radius)

Num

ber

of P

ixel

s

(c)

0 1 2 3 4 5 6.28320

50

100

150

∆Φ(radius)

Num

ber

of P

ixel

s

(d)

Fig. 1. (a)-(b) An image pair used in our experiment,(c) Image-based random number generator: histogram of40,000 gradient orientation differences and (d) Histogramof 40,000 samples drawn from Matlab’s random numbergenerator.

3 IGO-PCA3.1 Cosine-based correlation of image gradient ori-entations

Assume that we are given a set of n images {Ii}, Ii ∈ℜm1×m2 with the goal of subspace learning forappearance-based object recognition. We compute thecorresponding set of orientation images {Φi} and mea-sure image correlation using the cosine kernel [22], [26]

s(φi,φj) !!

k∈P

cos[∆φij(k)] = cN(P) (2)

where c ∈ [−1, 1] and k is the pixel index. Notice thatfor highly spatially correlated images ∆φij(k) ≈ 0 andc → 1.

Assume that there exists a subset P2 ⊂ P corre-sponding to the set of pixels corrupted by outliers. ForP1 = P − P2, we have

s1(φi,φj) =!

k∈P1

cos[∆φij(k)] = c1N(P1) (3)

where c1 ∈ [−1, 1].Not unreasonably, we assume that in P2 the images

are pixel-wise dissimilar according to Definition I. Forexample, Fig. 2 (a)-(b) show an image pair where P2

is the part of the face occluded by the scarf. Fig. 2 (c)plots the distribution of ∆φ in P2. Before proceeding for

(a) (b)

0 1 2 3 4 5 6.28320

5

10

15

20

25

∆Φ (radius)

(c)

Fig. 2. (a)-(b) An image pair used in our experiments. (c)The distribution of ∆φ for the part of the face occluded bythe scarf.

computing the value of s in P2, we need the followingtheorem [22] (please refer to Section I of supplementarymaterial for a proof).Theorem I Let u(.) be a random process and u(t) ∼U [0, 2π) then:

• E["Xcosu(t)dt] = 0 for any non-empty interval X ∈

R.• If u(.) is mean ergodic, then

"Xcosu(t)dt = 0.

We also make use of the following approximation#

X

cos[∆φij(t)]dt ∝!

k∈P

cos[∆φij(k)] (4)

where with some abuse of notation, ∆φij is definedin the continuous domain on the left hand side of (4).Analogously, the above hold for the case of the sinekernel as well.

Based on the above results, for P2, we have

s2(φi,φj) =!

k∈P2

cos[∆φij(k)] ≃ 0. (5)

Overall, unlike ℓ2-based correlation of image inten-sities where the contribution of outliers can be arbi-trarily large, s(.) measures correlation as s(φi,φj) =s1(φi,φj)+s2(φi,φj) ≃ c1N(P1), i.e. the effect of outliersis approximately canceled out 2.

To exemplify the above concept, we considered thefollowing experiment. We calculated s from face image

2. Please see section I.A of our supplementary material for a qualita-tive comparison between the correlation of image gradient orientationand various versions of ℓ2-based correlation of image intensities.

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCEThis article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication.

4

pairs where the second image was directly obtained fromthe first one after applying a synthetic occlusion with a“Baboon” patch of increasing size. Fig. 3 (a) and (b) showan example of image pairs considered. Note that, for allimage pairs, we are guaranteed that c1 = 1 and, giventhat the above analysis holds, we also have s1 = N(P1)(the image P1 is exactly the same in both images)and hence s ≈ N(P1). Under the assumption that thegradient orientation differences of dissimilar objects areuniformly distributed, then s2 ≈ 0. If s2 was exactly 0then s = N(P1) would be the number of pixels thathave not been occluded. If s is normalized by the totalnumber of pixels N(P) then the correlation coefficients/N(P) would be the percentage of the image that hasnot been occluded. Fig. 3 (c) shows both the theoreticalvalue of s/N(P), which is N(P1)/N(P), as well as, itsvalue as estimated from the data as a function of thepercentage of the occlusion (the percentage of occlusionis N(P2)/N(P)). As we may observe, the differencebetween the theoretical and estimated values is almostnegligible.

(a) (b)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Cor

rela

tion

Percentage of Occlusion

TheoreticalEstimated

(c)

Fig. 3. Cosine-based correlation of image gradient orien-tation for the case of synthetic occlusions. (a)-(b) A pairof images considered for our experiment. (c) Theoreticaland expected values of s/N(P) as a function of thepercentage of occlusion N(P2)/N(P).

3.2 The principal components of image gradient ori-entations

To show how (2) can be used as the basis for our IGO-PCA, we first define the distance

d2(φi,φj) !!

k∈P

"1− cos[∆φij(k)]

#) (6)

We can write (6) as follows

d2(φi,φj) =1

2

!

k∈P

"2− 2 cos[φi(k)− φj(k)]

#

=1

2

!

k∈P

"(cos2 φi(k) + sin2 φi(k))

+(cos2 φj(k) + sin2 φj(k))

−2(cosφi(k) cosφj(k)

+ sinφi(k) sinφj(k))#

=1

2

!

k∈P

"(cosφi(k)− cosφj(k))

2

+(sinφi(k)− sinφj(k))2#

=1

2

$$$$$$ejφi − ejφj

$$$$$$2

(7)

where ejφi = [ejφ1 , . . . , ejφN(P) ]T . The last equalitymakes the basic computational module of our schemeapparent. We define the mapping from [0, 2π)p onto asubset of complex sphere with radius

%N(P) 3

zi(φi) = ejφi (8)

and apply complex linear PCA to the transformed datazi. That is, we look for a set of K < n orthonormalbases U = [u1| · · · |uK ] ∈ CN(P)×K by minimizing theerror function

ϵ(U) = ||Z−UUHZ||2F (9)

where Z = [z1| · · · |zn] ∈ CN(P)×n and, without loss ofgenerality, we assume zero-mean data. Equivalently, wecan solve

Uo = argmaxU tr&UHZZHU

'

subject to (s.t.) UHU = I.(10)

The solution is given by the K-th eigenvectors of ZZH

corresponding to the K-th largest eigenvalues. Finally,the K−dimensional embedding C = [c1| · · · |cn] ∈ CK×n

of Z are given by C = UHZ.Using the results of the previous subsection, we can

remark the following.Remark I. If P = P1 ∪ P2 with ∆φij(k) ∼ U [0, 2π) ∀k ∈P2, then Re[zHi zj ] ≃ c1N(P1)Remark II. If P2 = P , then Re[zHi zj ] ≃ 0 and Im[zHi zj ] ≃0.Further geometric intuition about the mapping zi isprovided by the chord between vectors zi and zj

crd(zi, zj) =((zi − zj)H(zi − zj) =

(2d2(φi,φj) (11)

Using crd(.), the results of Remark I and II can be re-formulated as crd(zi, zj) ≃

%2((1− c1)N(P1) +N(P2))

and crd(zi, zj) ≃%2N(P) respectively.

Let us denote by Q = {1, . . . , n} the set of imageindices and Qi any subset of Q. Let us also denote byΛ the positive eigen-spectrum of ZZH . We can conclude

3. In mathematical topology this subset is called Clifford Torus [27].

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCEThis article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication.

Page 22: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013IGO-PCA����������� ������������������  &����������� ������������������  face����������� ������������������  tracking����������� ������������������  (Liwicki����������� ������������������  et����������� ������������������  al,����������� ������������������  TNNLS����������� ������������������  2012,����������� ������������������  IJCV����������� ������������������  2013)

Face and Facial Point Tracking Facial Expression Classification

Page 23: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

IGO-PCA����������� ������������������  &����������� ������������������  face����������� ������������������  tracking����������� ������������������  (Liwicki����������� ������������������  et����������� ������������������  al,����������� ������������������  TNNLS����������� ������������������  2012,����������� ������������������  IJCV����������� ������������������  2013)

Page 24: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 IGO-PCA����������� ������������������  &����������� ������������������  generic����������� ������������������  AAM����������� ������������������  fitting����������� ������������������  (Tzimiropoulos����������� ������������������  et����������� ������������������  al,����������� ������������������  ACCV����������� ������������������  2012,����������� ������������������  ICCV����������� ������������������  2013)

Face and Facial Point Tracking Facial Expression Classification

✤ Annotate a set of facial landmarks in training images (set T)

✤ Learn a Shape Model that represents the variations in T

✤ Learn an Appearance Model from image textures defined by T

PCA$

PCA$

✤ AAM Fitting: Place&model&&in&image&&&

Measure&&similarity&

Update&&model&

Page 25: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

IGO-PCA����������� ������������������  &����������� ������������������  generic����������� ������������������  AAM����������� ������������������  fitting����������� ������������������  (Tzimiropoulos����������� ������������������  et����������� ������������������  al,����������� ������������������  ACCV����������� ������������������  2012,����������� ������������������  ICCV����������� ������������������  2013)

Page 26: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 HoG-PCA����������� ������������������  &����������� ������������������  Constrained����������� ������������������  Local����������� ������������������  Models����������� ������������������  (Asthana����������� ������������������  et����������� ������������������  al,����������� ������������������  CVPR����������� ������������������  2013,����������� ������������������  PAMI����������� ������������������  2014)

HoG features & convolve with HoG filters

train a weak learner U for each point

fit & update a set of weak learners U

Face and Facial Point Tracking Facial Expression Classification

Page 27: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 HoG-PCA����������� ������������������  &����������� ������������������  Constrained����������� ������������������  Local����������� ������������������  Models����������� ������������������  (Asthana����������� ������������������  et����������� ������������������  al,����������� ������������������  CVPR����������� ������������������  2013,����������� ������������������  PAMI����������� ������������������  2014)

Face and Facial Point Tracking Facial Expression Classification

Results for Multi-PIE Results for LFPW

✤ C/CUDA implementation: 30 fps (ibug.doc.ic.ac.uk/resources)

Page 28: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

Page 29: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

Page 30: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

1)����������� ������������������  Frame-based����������� ������������������  AU����������� ������������������  classification����������� ������������������  often����������� ������������������  leads����������� ������������������  to����������� ������������������  “on-off-on”����������� ������������������  results

2)����������� ������������������  Encoding����������� ������������������  temporal����������� ������������������  evolution/����������� ������������������  segments����������� ������������������  of����������� ������������������  AUs����������� ������������������  can����������� ������������������  remedy����������� ������������������  this����������� ������������������  

Feature-based����������� ������������������  approach����������� ������������������  (Valstar����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  ICCV-W’07,����������� ������������������  TSMC-B����������� ������������������  2012)

Face and Facial Point Tracking Facial Expression Classification

Page 31: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

1)����������� ������������������  Frame-based����������� ������������������  AU����������� ������������������  classification����������� ������������������  often����������� ������������������  leads����������� ������������������  to����������� ������������������  “on-off-on”����������� ������������������  results

2)����������� ������������������  Encoding����������� ������������������  temporal����������� ������������������  evolution/����������� ������������������  segments����������� ������������������  of����������� ������������������  AUs����������� ������������������  can����������� ������������������  remedy����������� ������������������  this����������� ������������������  

Feature-based����������� ������������������  approach����������� ������������������  (Valstar����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  ICCV-W’07,����������� ������������������  TSMC-B����������� ������������������  2012)

Face and Facial Point Tracking Facial Expression Classification

Page 32: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

1)����������� ������������������  Frame-based����������� ������������������  AU����������� ������������������  classification����������� ������������������  often����������� ������������������  leads����������� ������������������  to����������� ������������������  “on-off-on”����������� ������������������  results

2)����������� ������������������  Encoding����������� ������������������  temporal����������� ������������������  evolution����������� ������������������  of����������� ������������������  AUs����������� ������������������  is����������� ������������������  necessary����������� ������������������  for����������� ������������������  understanding����������� ������������������  subtle����������� ������������������  and����������� ������������������  complex����������� ������������������  facial����������� ������������������  behaviours����������� ������������������  

Face and Facial Point Tracking Facial Expression Classification

Page 33: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

1)����������� ������������������  Frame-based����������� ������������������  AU����������� ������������������  classification����������� ������������������  often����������� ������������������  leads����������� ������������������  to����������� ������������������  “on-off-on”����������� ������������������  results

2)����������� ������������������  Encoding����������� ������������������  temporal����������� ������������������  evolution����������� ������������������  of����������� ������������������  AUs����������� ������������������  is����������� ������������������  necessary����������� ������������������  for����������� ������������������  understanding����������� ������������������  subtle����������� ������������������  and����������� ������������������  complex����������� ������������������  facial����������� ������������������  behaviours����������� ������������������  

Face and Facial Point Tracking Facial Expression Classification

Page 34: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Frame-����������� ������������������  &����������� ������������������  Feature-based,����������� ������������������  Rule-based����������� ������������������  approach����������� ������������������  ����������� ������������������  (Pantic����������� ������������������  &����������� ������������������  Patras,����������� ������������������  TSMC-B����������� ������������������  2006)

Face and Facial Point Tracking Facial Expression Classification

Page 35: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Event-����������� ������������������  &����������� ������������������  Feature-based,����������� ������������������  SVM����������� ������������������  +����������� ������������������  HMM����������� ������������������  approach����������� ������������������  ����������� ������������������  (Valstar����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  ICCV-W’07)Best����������� ������������������  Paper����������� ������������������  Award

Face and Facial Point Tracking Facial Expression Classification

Page 36: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Event-����������� ������������������  &����������� ������������������  DT-based,����������� ������������������  GB����������� ������������������  +����������� ������������������  HMM����������� ������������������  approach����������� ������������������  ����������� ������������������  (Koelstra����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’08,����������� ������������������  PAMI����������� ������������������  2010)Best����������� ������������������  Paper����������� ������������������  Award

Face and Facial Point Tracking Facial Expression Classification

Page 37: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Event-����������� ������������������  &����������� ������������������  DT-based,����������� ������������������  GB����������� ������������������  +����������� ������������������  HMM����������� ������������������  approach����������� ������������������  ����������� ������������������  (Koelstra����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’08,����������� ������������������  PAMI����������� ������������������  2010)Best����������� ������������������  Paper����������� ������������������  Award

Face and Facial Point Tracking Facial Expression Classification

Page 38: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

context����������� ������������������  (W5+):����������� ������������������  who?����������� ������������������  when?����������� ������������������  where?����������� ������������������  what?����������� ������������������  how?����������� ������������������  why?

Feature-based,����������� ������������������  context-sensitive����������� ������������������  CORF����������� ������������������  approach����������� ������������������  to����������� ������������������  AU����������� ������������������  intensity����������� ������������������  estimation����������� ������������������  ����������� ������������������  (Rudovic����������� ������������������  et����������� ������������������  al,����������� ������������������  PAMI����������� ������������������  2014)

Page 39: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Face and Facial Point Tracking Facial Expression Classification

Feature-based,����������� ������������������  context-sensitive����������� ������������������  CORF����������� ������������������  approach����������� ������������������  to����������� ������������������  AU����������� ������������������  intensity����������� ������������������  estimation����������� ������������������  ����������� ������������������  (Rudovic����������� ������������������  et����������� ������������������  al,����������� ������������������  PAMI����������� ������������������  2014)

( )cs CORF w h− + ( )CORF w h+

)( )

hCRF w SR SVM+RVM

context����������� ������������������  (W5+):����������� ������������������  who?����������� ������������������  when?����������� ������������������  where?����������� ������������������  what?����������� ������������������  how?����������� ������������������  why?

Page 40: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Disgust Happiness Sadness

Anger Fear Surprise

Valencepositivenegative

Arou

sal

high

low

expressionl

Face and Facial Point Tracking Facial Expression Classification

Page 41: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

OA-RVM����������� ������������������  Regression����������� ������������������  for����������� ������������������  V/A����������� ������������������  Prediction����������� ������������������  ����������� ������������������  (Nicolaou����������� ������������������  &����������� ������������������  Gunes����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’11)Best����������� ������������������  Paper����������� ������������������  Award

Face and Facial Point Tracking Facial Expression Classification

Page 42: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

OA-RVM����������� ������������������  Regression����������� ������������������  for����������� ������������������  V/A����������� ������������������  Prediction����������� ������������������  ����������� ������������������  (Nicolaou����������� ������������������  &����������� ������������������  Gunes����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  FG’11)Best����������� ������������������  Paper����������� ������������������  Award

Face and Facial Point Tracking Facial Expression Classification

Page 43: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 44: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

(Nicolaou����������� ������������������  et����������� ������������������  al,����������� ������������������  ECCV’12,����������� ������������������  PAMI����������� ������������������  2014)

Page 45: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013 (Zafeiriou����������� ������������������  &����������� ������������������  Pantic,����������� ������������������  CVPR-W’11)

(Nicolaou����������� ������������������  et����������� ������������������  al,����������� ������������������  ECCV’12,����������� ������������������  PAMI����������� ������������������  2014)

Page 46: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

(Sandbach����������� ������������������  et����������� ������������������  al,����������� ������������������  IVCJ����������� ������������������  2012,����������� ������������������  BMVC’12)4D-FAB����������� ������������������  project����������� ������������������  (EPSRC)

capture motion between frames

construct vector projections

do quad-tree decompositions

!

neutral

onset offset

apex neutral

classify in 6 basic emotion categories using GentleBoost

+ HMM

Page 47: Lecture 11   maja pantic - automic analysis of facial behaviour

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

(dyadic����������� ������������������  interactions����������� ������������������  analysis)

www.ibug.doc.ac.uk/resources

Page 48: Lecture 11   maja pantic - automic analysis of facial behaviour

Lessons Learned

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 49: Lecture 11   maja pantic - automic analysis of facial behaviour

1)����������� ������������������  Work����������� ������������������  with����������� ������������������  naturalistic����������� ������������������  rather����������� ������������������  than����������� ������������������  acted����������� ������������������  behaviour����������� ������������������  data!

acted behaviour (MMI database)

naturalistic behaviour (SEMAINE database)

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 50: Lecture 11   maja pantic - automic analysis of facial behaviour

1)����������� ������������������  Work����������� ������������������  with����������� ������������������  naturalistic����������� ������������������  rather����������� ������������������  than����������� ������������������  acted����������� ������������������  behaviour����������� ������������������  data!

2)����������� ������������������  dynamics����������� ������������������  of����������� ������������������  the����������� ������������������  behaviour����������� ������������������  are����������� ������������������  the����������� ������������������  clue����������� ������������������  to����������� ������������������  behaviour����������� ������������������  understanding!

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 51: Lecture 11   maja pantic - automic analysis of facial behaviour

1)����������� ������������������  Work����������� ������������������  with����������� ������������������  naturalistic����������� ������������������  rather����������� ������������������  than����������� ������������������  acted����������� ������������������  behaviour����������� ������������������  data!

2)����������� ������������������  dynamics����������� ������������������  of����������� ������������������  the����������� ������������������  behaviour����������� ������������������  are����������� ������������������  the����������� ������������������  clue����������� ������������������  to����������� ������������������  behaviour����������� ������������������  understanding!

3)����������� ������������������  multi-dimensional����������� ������������������  continuos����������� ������������������  behaviour����������� ������������������  interpretation����������� ������������������  is����������� ������������������  the����������� ������������������  solution!

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

Page 52: Lecture 11   maja pantic - automic analysis of facial behaviour

1)����������� ������������������  Work����������� ������������������  with����������� ������������������  naturalistic����������� ������������������  rather����������� ������������������  than����������� ������������������  acted����������� ������������������  behaviour����������� ������������������  data!

2)����������� ������������������  dynamics����������� ������������������  of����������� ������������������  the����������� ������������������  behaviour����������� ������������������  are����������� ������������������  the����������� ������������������  clue����������� ������������������  to����������� ������������������  behaviour����������� ������������������  understanding!

3)����������� ������������������  multi-dimensional����������� ������������������  continuos����������� ������������������  behaviour����������� ������������������  interpretation����������� ������������������  is����������� ������������������  the����������� ������������������  solution!

4)����������� ������������������  no����������� ������������������  excellent����������� ������������������  people����������� ������������������  ����������� ������������������  ->����������� ������������������  ����������� ������������������  no����������� ������������������  excellent����������� ������������������  work����������� ������������������  !

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013