vorlesung 11 morphing und active- appearance-modelle · m. giese: lernmethoden in computervision...

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Vorlesung 11

Morphing und Active-Appearance-Modelle

Martin Giese

[email protected]


Übersicht

MorphingActive-Appearance-Modelle (AAM)


I. Morphing


Morphing

Mophing = “Metamorphosis”

Kontinuierliche Transformation zwischen Bildern

Anwendungen:

– Synthese neuer Ansichten

– Interpolation zwischen Bildern


Morphing: AnwendungenGenerierung neuer Ansichten

Seitz (1997)


Morphing: AnwendungenInterpolation zwischen Bildern

Seitz (1997)Originalbild 1 Originalbild 2


Morphing: AnwendungenM. Jackson: “Black or White” (1992)


Warping

Farbe von Bildpixeln gegeben durch Grauwerte I(x,y) bzw.

durch vektorwertige Funktion I(x,y) (Farbe, RGB)

Warping: “Verzerren” des Bildes durch räumliche

Transformation W: (x, y) → (x’, y’):

),('),('

2

1

yxWyyxWx

==


Warping

“gewarptes” Bild:

W-1 ist die Umkehrfunktion von W.

Typische einfache Warping-Transformationen:

– Affin:

– Projektiv (z.B. Perspektive):

– Bilinear:

))','(),','(()),(),,(()','( 12

1121 yxWyxWIyxWyxWIyxIw

−−==

2,1 ),( =++= icybxayxW iiii

iii

iiii fyexd

cybxayxW++++

=),(

dy),( i+++= iiii cxbxyayxW


MorphingMorphing: Warping + Interpolation der Farbinformation

(cross dissolving)

Warp spezifiziert durch Vorgabe von einander

entsprechender (korrespondierender) Merkmalspaaren in

den gemorphten Bildern

Merkmale: Linien, Knoten, Kanten, Punkte, …

Korrespondenz entweder von Hand oder automatisch

durch Korrespondenzalgorithmen hergestellt.


Morphing

Warpingfunktion W(x,y,s) mit Parameter 0 ≤ s ≤ 1 der

Übergang zwischen den beiden Bildern bestimmt

Seien (x1,y1) und (x2, y2) einander entsprechende

(korrespondierende) Koordinaten in den beiden Bildern,

dann gilt:

)1,,(),()0,,(),(

1122

1111

yxyxyxyx

WW

==

Bild 1 Bild 2

W(x,y,s)

s = 0s = 1

(x1,y1)(x2,y2)


Morphing

Interpolation der Farbinformation (cross dissolving):

Farbinformationen der Bilder: I1(x,y) und I2(x,y)

⇒

Möglichkeit zur Spe-

zifikation nichtlinearer

Übergangsfunktionen

),(),()1(),( 21 yxsyxsyx III +−=

Bild 2Bild 1

s = 0 s = 1

Morph

I1(x,y) I2(x,y)I(x,y)


Netzwarping (mesh warping) Wolberg (1990)

Zwei topologisch äquivalente Netze über den Bildern

definiert

Algorithmus mit drei Schritten:

1. Lineare Interpolation zwischen den Knoten des Netzes:

2. Bilder 1 und 2 auf das neue Netz mit Koordinaten (x,y) warpen.

3. Farbinformationen der gewarpten Bilder linear interpolieren:

2122112

2122111

)1(),,,,()1(),,,,(

syyssyxyxWysxxssyxyxWx

+−==+−==

),(),()1(),( 21 yxsyxsyx III +−=


BeispielEinfache lineare Überlagerung der Textur

Netzwarping

Wolberg (1998)


Feldmorphing (field morphing)Beier & Neely (1992)

Warp definiert durch Linien

Warptransformation für einzelnes Linienpaar, mit den Punktkoordinaten xi = (xi,yi) bzw. pi und qi:x

11

1112

11

1111

2222222

)()()(mit )(),,,(

pqnpx

pqpqpx

npqpqpW

−−

=−

−−=

+−+==TT

βα

βαβα

p1

q1

x1

n1α

β

q2

p2x2

n2


Feldmorphing (field morphing)Für mehrere Linien ein Wert x2

(k) für jede Linie berechnet; Werte linear gewichtet (ci Konstanten):

Verwendet für M. Jacksons Video

31

||length

mit

1)(

22

)(2

2

c

k

c

k

kk

k

kk

c

−+

=

=∑∑

xx

xx

γ

γ

γ


Beispiele

Ein Linienpaar Viele Linienpaare

Beier & Neely (1992)


BeispieleLinien Gewarpte Bilder

Morph



Beispiele

Morphsequenz



Neuere Entwicklungen

Nutzung von Regularisierungsnetzwerken zur

Approximation der Warpingfunktion

Hierarchische Netze (Auflösungspyramide)

Automatische Suche von korrespondierenden Merkmalen

Bereichsweise verschiedene Morphingtransformationen

(“prozedurales Morphen”)

Lee et al. (1996)


Neuere Entwicklungen

Normaler Morph

Nase schnellergemorpht als Kopf

Warp 1

Warp 2

Morph

Warp 1

Warp 2

Morph

Wolberg (1998)


II. Active-Appearance-Modelle(AAM)


Problem

Flexibles Modells für Objektform + Textur

Anwendungen:

– Objekterkennung

– Tracking

– Bildsynthese

– Medizintechnik

lernbasiert

Basiert auf PCA-Methoden


Aktive Form-Modelle(active shape models)

(Taylor & Cootes, 1995)

Form: Menge von Punkten, die unter bestimmten

Transformationen (Rotation, Translation, Skalierung)

invariant ist

Punkte [xr, yr]T definiert durch “Landmarken”,

d.h. Punkte auf dem Objekt, die im Bild

leicht zu identifizieren sind

Kompakte Schreibweise:

x = [x1,…, xn, y1 ,…, yn]T (Taylor & Cootes, 2000)



Mehrere Formen definiert durch xi , 1 ≤ i ≤ l

Normalisierung + Alignment: (Procrustes Methode)

1. Schwerpunkte ins Zentrum des Koordinatensystems

verschieben

2. Objekte so transformieren, dass

minimal ist; T ist die Transformationsmatrix, die geschätzt wird

3. Normalisieren, so dass

Iterativer Algorithmus

2)( ∑ −=i

iE xxTx

1|| =x



Modellierung von Formvariationen durch PCA:

Mittelwert der Daten:

Kovarianzmatrix:

Approximation durch PCA: S ≈ Ss = Us Σ2 UsT

⇒

∑=

=l

iil 1

1 xx

∑=

−−−

=l

i

Tiil

S1

))((1

1 xxxx

bUxx s+≈Eigenvektoren zu

grössten σjParametervektor



Parametervektor b erlaubt Variation der Form ⇒“deformierbares / flexibles Modell”Typischerweise kann Dimensionalität s des Parametervektors klein gewählt werden; z.B. so dass bestimmter Anteil der Varianz erklärt wirdSchätzung des Parametervektors:(Us orthogonal !)

Modellierung der Verteilung von erlaubt die Testung von Hypothesen (Klassifikation von Formen)

)(ˆ xxUb −= Ts

b̂


Einfache Beispiele 72 Landmarken18 Beispielbilder

Trainingsdaten Modellierte Formen

b3

b2

b1

SD 3±(Taylor & Cootes, 2000)


133 Landmarken300 Beispielbilder36 Eigenkomponenten erklären 98 % der Varianz

Einfache Beispiele

Trainingsdaten Modellierte Formen

b3

b2

b1

SD 3±(Taylor & Cootes, 2000)



Gemeinsame Schätzung von Form- und Transfor-mationsparametern: Approximation neuer Daten xdurch Minimierung von

Iterativer Algorithmus:1. Wahl von Anfangswert für b

2. Berechnung von

3. Schätzung von T aus

4. Schätzung von b aus

5. Wiederholung ab 2. bis Konvergenz.

2)(),( bUxTxTb sE +−=

bUxx s+=ˆxxT ≈ˆˆ

)ˆ(ˆ 1 xxTUb −= −Ts

Transformationsmatrix


Texturmodelle(appearence models)

Zur Synthese von Bildern Form- und Texturmodelle erforderlichBasierend auf Formmodellen können formnormalisierte Textur oder Farbmodelle erstellt werdenIdee: Warping der Bilder auf normalisierte Form

Modellierung der Texturen auf dieser normalisierten Form

)),(),,(()),((),(),(

21 yxWyxWgyxgyxgyxg

orig

origorig

=

=→ W

Warpingtransformation



),( yxg

),( yxgorig),( yxW

Warping transformation




Abtastung: g(x,y) → Vektor gModellierung der Textur: Normalisierung:

Wahl von g01 und g02 für optimale Anpassung der normalisierten Vektoren g an Mittelwert Textursynthesegleichung:

02

01~gg 1gg −

=Skalierungsparameter

ggbUgg +=

g

Eigenvektoren zu grössten σj

0102 )( gg gg ++= bUgg


Kombinierte Modelle für Form und Textur(combined appearence models)

Formmodell:

Texturmodell:

Parameterschätzung:

Weitere PCA (erfasst Korrelationen von Form und

Textur):

ggbUgg +=

xxbUxx +≈

−−

=

=

)()(

ggUxxDU

bDb

b Tg

Tx

g

x

cUcUU

bDb

b cc

c

g

x =

≈

=

2

1

Diagonale Skalierungsmatrix


Kombinierte Modelle für Form und Textur(combined appearence models)

Bildparameter sind lineare Funktionen von c:

Schätzung von c für neues Bild:

cUUggcUDUxx

2

11

cg

cx

+=+= −

bUc ˆˆ Tc=


122 Landmarken200 Beispielbilder~ 10.000 Pixel

Beispiele

Formvariation: bx


Grauwertvariation: bg

23 Parameter (erkl. 98 % der Var.)



Beispiele“Appearance”-Variation: b (Taylor & Cootes, 2000)



BeispieleApproximation eines neuen Bildes

Original Approximation



Active Appearance ModelleZiel: Automatische Anpassung eines Appearance Modells an neues BildVoher zur Bestimmung der Matrizen Ui und der Vektoren und ein Satz von Trainingsbildern in Form und Textur Problem: Bestimmung des Parametervektors c, der Skalierungsparameter g0i und der Matrix TMinimierung von

⇒ komplexes Optimierungsproblem

∫ −= ),(),(ˆ),( 2 yxdyxgyxgE

x g


Active Appearance ModelleDas rekonstruierte Bild hängt ab vom Parametervektor: p = [cT, g01, g02,tT] T

(t enthält die Parameter der Transformationsmatrix)

Einfacher durch Minimierung des Fehlers im Raum der

normalisierten Formen: mit

d.h.

Minimierung durch Newton-Verfahren:

),(ˆ yxg

ggpr ˆ)( −= cQgg g+=ˆ

)()()( prprp TE =

r∂

ppJprppJprpp

ppJprpp

prppr

δδδ

δδδ

)()(min)()()(

)()()()(

!2 −≈⇒=+=+⇒

+=∂

+≈+

E


Active Appearance ModelleKleinste-Quadrate-Lösung:

Berechnung von durch numerisches Differenzieren

prpJ

prpJpJpJp

∂∂

=

−= −

)(mit

)()())()(( 1 TTδ

prpJ

∂∂

=)(


Active Appearance ModelleAuflösungspyramide erlaubt Rekonstruktion für grösseren Bereich von Translationen


BeispieleKonvergenz (Taylor & Cootes, 2000)


BeispieleOriginalbilder und Rekonstruktionen

Medizinische Anwendung


42 Landmarken30 Trainingsbilder


Wichtige Punkte

WarpingMorphingActive Shape ModelActive Appearance Model


LiteraturBeier T. & and Neely, S (1992) Feature-based image metamorphosis.

Proceedings of SIGGRAPH'99 26, 35-42.

Cootes, T.F. & Taylor. C.J. (1995) Active shape models: Their trainingand application. CVIU, 61, 38-59.

Cootes, T.F., Edwards, G.J. & Taylor. C.J. (1998) Active appearance models. In Proc. European Conf on Computer Vision, Freiburg, Germany, June 1-5, 2, 484-498.

Cootes, T.F.& Taylor. C.J. (2000) Statistical models of appearance for computer vision. Technical Report, University of Manchester.

Forsyth, D.A. & Ponce, J. (2003). Computer Vision: A modern Approach. Prentice-Hall. Upper Saddle River, NJ.

Seitz, S.M. & Dyer, C.R. (1996) View Morphing. Proc. SIGGRAPH 96, 21-30.

Wolberg, G. (1990) Digital Image Warping. IEEE Computer Society Press.

vorlesung 11 morphing und active- appearance-modelle · m. giese: lernmethoden in computervision...

Documents