!"#$%&'()*'$+#,-#.)&%) ) ))/$+012$,-#3$&#"')2"."3-.3)

4536)78$(0"8)!"0"(-9"#:);<$)="#+))

>'"?-)@&3.-8:)*8,$.")A"B&'$:)4-.-8)A8"C:))D0"#+)="#+)E5>!);-3-"8F0G))

)2-H"8.,-#.)&%)D&,H<.-8)7F$-#F-)

I#$9-83$.J)&%)!"33"F0<3-K3:)*,0-83.)

L<.'$#-)

•  48&B'-,6).8"#3%-8)'-"8#$#+)"F8&33)(&,"$#3)– /&M).&).8"#3%-8)?#&M'-(+-)"F8&33)."3?3N)

•  7&'<O&#6))– @$#(),"#$%&'(1B"3-()H8&P-FO&#3)&%)&8$+$#"')("."))– *'$+#)H8&P-F.-()(".")$#)'&M-81($,-#3$&#"')3H"F-)

•  *HH'$F"O&#36)– D8&33)'$#+<"')5;:)"FO9$.J)8-F&+#$O&#:)8-$#%&8F-,-#.)'-"8#$#+)

•  *FF-'-8"O&#)<3$#+)Q4I)

RS",H'-6)D8&331T$#+<"');-.8$-9"')

7$+#&8")48-3$(-#.-:)$#.-89-#+&)H-8)<#"),&U$&#-)(V&8($#-WD&,-)"98X)'-K&)3<$)+$&8#"'$)&)3-#O.&)"''").-'-9$3$&#-:)$#)78$)T"#?")3$)3&#&)9-8$YF"O)#<,-8&3$)"33"33$#$$)-()-3H'&3$&#$)($)&8($+#$W

!"(",)48-3$(-#.:)&#)")H&$#.)&%)&8(-8W)Z&<)M$'')B-)"M"8-)%8&,).0-)H8-33)"#().-'-9$3$&#).0".).0-8-)0"9-)B--#)")#<,B-8)&%)B&,B)-SH'&3$&#3)"#()?$''$#+3)$#)78$)T"#?"W

Englishdocuments

Italiandocuments

@8"<)48[3$(-#O#:)U<8)Q-3F0[\3&8(#<#+W)=$-)7$-)3$F0-8)"<3)(-8)48-33-)<#()(-,)@-8#3-0-#)M$33-#:)+"B)-3)$#)78$)T"#?"),-08-8-)>&,B-#-SH'&3$&#-#),$.)U"0'8-$F0-#)]&.-#W

Germandocuments

;&3-K")7.&#-)

D"89-()$#)^_`)>D))2$3F&9-8-()$#))^a__)*2))4"9-().0-)M"J).&))(-F$H0-8,-#.)&%))0$-8&+'JH0$F3)

R+JHO"#))0$-8&+'JH0$F3)

2-,&OF)

Q8--?)

A#&M'-(+-)]8"#3%-8)

flowers, grass, tiger, water!

TEXT

AUDIO

LATENT SPACE

A#&M'-(+-)]8"#3%-8)$#);-$#%&8F-,-#.)T-"8#$#+)

=0J)$3)]8"#3%-8)2$bF<'.)

•  2".")$3)<3<"''J)0$+01($,-#3$&#"')Ec^dd:ddd)($,-#3$&#3)&8),&8-G)

•  ]0-)3&<8F-)"#()."8+-.)(&,"$#3),"J)0"9-)($3O#F.)%-".<8-3)

•  D&88-3H&#(-#F-3)$#).0-)&8$+$#"')3H"F-)"8-)($bF<'.).&)Y#()(<-).&).0-)0$+0)($,-#3$&#"'$.J)

D'"33$F"')7&'<O&#3).&)*'$+#,-#.)

•  D"#&#$F"')D&88-'"O&#"')*#"'J3$3)E/&.-''$#+G)– *#"'&+&<3).&)4D*)"F8&33).M&)(".")3-.3)– @$#()")'$#-"8)H8&P-FO&#)&%)-"F0)(&,"$#).0".),"S$,$U-3)F&88-'"O&#)"F8&33)(&,"$#3)

•  2J#",$F)]$,-)="8H$#+)Ee<"#+G)– I3-()$#)"'$+#$#+)O,-)3-8$-3)(".")– >"3-()&#)(J#",$F)H8&+8",,$#+)

•  L<8)"HH8&"F06)Y#()"'$+#,-#.3)BJ)-SH'$F$.'J),&(-'$#+).0-)<#(-8'J$#+)("."),"#$%&'()

!"#$%&'()*'$+#,-#.)

X2

F1

g

X1

F2

Two-step alignment Example: Procrustes alignment

(Wang and Mahadevan, ICML 2008)

X2X1

F1

Latent Space

X3

F1+ F2

F2+

F3 F3+

One-step alignment Example: Manifold Projections

(Wang and Mahadevan, IJCAI 2009)

*)7H-F.8<,)&%)!"#$%&'()*'$+#,-#.)*HH8&"F0-3)

Given correspondences

Given labels

Unsupervised alignment

Preserve Local geometry

Preserve Global geometry

One-step alignment

Two-step alignment

Feature-level

Instance-level

)))))))!"#$"%&'(&)*+,-./(.'))))))))))))))))) ) )0*.,1#+2)!"#3($4#.&)50!6))))))))))))))) )78'(.&,#.&)#1)0!)

@-".<8-1'-9-')!"#$%&'()48&P-FO&#)

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

1 11 1ß

a

!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)

!!!! "+"+"=ji

jiyj

Ti

T

ji

jixj

Ti

T

i

jij

Ti

T

j

WyyWxxWyxC

C

,

,2

,

,2,2 )(5.0)(5.0)(),(

where,),(function cost theminimize to, functions mapping find want toWe

##$$#$µ#$

#$#$

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)

!!!! "+"+"=ji

jiyj

Ti

T

ji

jixj

Ti

T

i

jij

Ti

T

j

WyyWxxWyxC

C

,

,2

,

,2,2 )(5.0)(5.0)(),(

where,),(function cost theminimize to, functions mapping find want toWe

##$$#$µ#$

#$#$

The first term encourages the corresponding instances from different domains to be projected to similar locations. Wi,j=1, when xi and yj are in correspondence; 0, otherwise.

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)

-  When 1:1 correspondence is given (xi!"yi for i<=l):

-  When many:many correspondence is given, set corresponding entries to 1.

-  When nothing is given, we can use local geometry information to fill in this matrix. (IJCAI 2009)

!!!! "+"+"=ji

jiyj

Ti

T

ji

jixj

Ti

T

i

jij

Ti

T

j

WyyWxxWyxC

C

,

,2

,

,2,2 )(5.0)(5.0)(),(

where,),(function cost theminimize to, functions mapping find want toWe

##$$#$µ#$

#$#$

The first term encourages the corresponding instances from different domains to be projected to similar locations. Wi,j=1, when xi and yj are in correspondence; 0, otherwise.

!!!!!!!!!!

"

#

$$$$$$$$$$

%

&

=

0...

00

1...

11

W

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!"#$%&'()48&P-FO&#)"#()*'$+#,-#.

The second and third terms encourage the neighborhood relationship within X and Y to be preserved in the mappings. Wx

i,j: similarity of xi and xj in the original space. Wy

i,j: similarity of yi and yj in the original space.

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!!!! "+"+"=ji

jiyj

Ti

T

ji

jixj

Ti

T

i

jij

Ti

T

j

WyyWxxWyxC

C

,

,2

,

,2,2 )(5.0)(5.0)(),(

where,),(function cost theminimize to, functions mapping find want toWe

##$$#$µ#$

#$#$

D&,H"8$3&#)M$.0)D"#&#$F"')D&88-'"O&#)*#"'J3$3)EDD*G

],1[for

],,...,[

.],,...,[

1

1

liyx

RyyyY

RxxxX

ii

qjn

pim

!"

!=

!=

!!!! "+"+"=ji

jiyj

Ti

T

ji

jixj

Ti

T

i

jij

Ti

T

j

WyyWxxWyxC

C

,

,2

,

,2,2 )(5.0)(5.0)(),(

where,),(function cost theminimize to, functions mapping find want toWe

##$$#$µ#$

#$#$

)/&M).&)F&,H<.-)H8&P-FO&#3N

!!)

Optimal Solution:

/&M).&)F&,H<.-)H8&P-FO&#3N)

!!)

Optimal Solution: (1)  Construct Z, L, D using X, Y and W (the correspondences).

Create a joint domain. ( use correspondences if available)

)/&M).&)F&,H<.-)H8&P-FO&#3)

!!)

Optimal Solution: (1)  Construct Z, L, D using X, Y and W (the correspondences).

of seigenvalue smallestthe toing correspond rseigenvectothe by givenare minimize to :1 Theorem (2)

.

),(,

!"!

#$#$

TT ZDZZLZ

C

=

Create a joint domain. ( use correspondences if available)

Project the joint domain to a lower dimensional space.

/&M).&)F&,H<.-)H8&P-FO&#3N

!!)

.reigenvecto minimum theis where],,...,[ )3( 1th

id i!!!"

#=$

%

&'(

)

Optimal Solution: (1)  Construct Z, L, D using X, Y and W (the correspondences).

of seigenvalue smallestthe toing correspond rseigenvectothe by givenare minimize to :1 Theorem (2)

.

),(,

!"!

#$#$

TT ZDZZLZ

C

=

Create a joint domain. ( use correspondences if available)

Project the joint domain to a lower dimensional space.

48&.-$#)*'$+#,-#.)

YX

T

T

],,[

],,[

321

321

!!!

"""

YX

T

T

],[

],[

21

21

!!

""Y

XT

T

1

1

!

"

YX

Q-#-8"')@8",-M&8?)%&8)"#$%&'()!*+',-./'$!

•  5#3."#F-1'-9-')

01  .206)T"H'"F$"#)-$+-#,"H3)E>-'?$#:)f$J&+$:)gddhG)31  .234!53204!6#47)$3)"#)$(-#O.J),".8$S6)7-,$13<H-89$3-()"'$+#,-#.)E/",:)-.W)"'W)gddiG)81  .234!53294!6#47)$3)"#)$(-#O.J),".8$S6)f&#1'$#-"8)D"#&#$F"')D&88-'"O&#)*#"'J3$3):1  ;;!

•  @-".<8-1'-9-')

01  .206)T&F"'$.J)48-3-89$#+)48&P-FO&#3)E/-:)f$J&+$:)gddhG)31  .234!53294!6#47)$3)"#)$(-#O.J),".8$S6)D"#&#$F"')D&88-'"O&#)*#"'J3$3)E/&.-''$#+:)^_h`G)81  <$=>?-+@%=-)!A#$%&'()!#(%B$A-$C)E="#+:)!"0"(-9"#:)5eD*5)d_G):1  .234!53204!6#47)$3)")3J,,-.8$F),".8$S)D1  .E36)!<'OH'-),"#$%&'()"'$+#,-#.)F1  111111!

j="#+)"#()!"0"(-9"#:)***5)@"'')7J,H&3$<,)gdd_k)5eD*5)gdd_l))

R<8&H-"#)4"8'$",-#.)4"8"''-')D&8H<3)•  !"#"$%%•  ) &'()*+)R#+'$3015."'$"#1Q-8,"#)(&F<,-#.).8$H'-3W) ))•  ) ]0&3-)(&F<,-#.3)0"9-)m),&'('''(''')M&8(3W))

•  -."#/0.1$%•  ) 2,$)R#+'$30)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%4567819%:;0<1W))

•  ) 23$)5."'$"#)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%=#"78"5%:;0<1W)

•  % 2>$)Q-8,"#)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%?.0@"5%:;0<1W

RI)4"8"''-')D&8H<36);-3<'.3

RI)4"8"''-')D&8H<3)•  5#.-8H8-."O&#)&%),"HH$#+)%<#FO&#36))

)9:;<=:)=>)?=>@@AB)>C@@D>@@)/*'",8))9>;<E:)E>)?E>@@AB)>C@@D>@@)/*'",8)

)))))9F;<G:)G>)?G>@@AB)>C@@D>@@)/*'",8))

X2X1

F1

Latent Space

X3

F1+ F2

F2+

F3 F3+

5

4

3

2

1

!

!

!

!

!

5

4

3

2

1

!

!

!

!

!

5

4

3

2

1

!

!

!

!

!

]0-)5#(<3)7F8$H. ) ))Egidd)>DG)

•  !"#"$%%•  ) ,*)+)n(&F<,-#.3o)p)($q-8-#.)3-"'3)•  ) &''')nM&8(3o)p)3J,B&'3)&#).0-)3-"'3)E>&&)<#$r<-G)•  !"#J)F&,H-O#+)$#F&#3$3.-#.)F'"$,3)&%)(-F$H0-8-,-#.)•  53).0$3)")'"#+<"+-)E;"&)-.)"'W:)7F$-#F-:)4f*7G)

•  A9"77.56.1$%•  ) =-)0"9-)#&)H"8"''-')F&8H<3:)#&);&3-K")7.&#-)•  ) ]0-)(&F<,-#.13J,B&'),".8$S)$3)3H"83-)•  % !"#J)&%).0-)(&F<,-#.3)"8-)9-8J)30&8.

!"#$%&'()*'$+#,-#.)&9-8)O,-)

•  D!I)!<'O,&("')"FO9$.J)("."3-.)–  ?$.F0-#WF3WF,<W-(<)

•  !-"3<8-)0<,"#)"FO9$.J)M0$'-)F&&?$#+)–  g`)3<BP-F.3)–  i)($q-8-#.)8-F$H-3)

•  !"#J)3-#3&836)–  D",-8"3)–  ;@52)– *<($&)–  e&$#.)"#+'-3)

]-,H&8"')*'$+#,-#.)&%)*FO9$O-3)

7F"'$#+).&);-"''J)T"8+-)48&B'-,3)

•  2"."),$#$#+)"),$''$&#)B&&?3s)– f7@)T"8+-)557)48&P-F.6)e",-3)*''"#:)45:)IW!"33)

•  ]8"#3%-8)'-"8#$#+)$#);-$#%&8F-,-#.)T-"8#$#+)– >"F?+",,&#)E^dgd)3.".-3sG:)Q&)E^d^ad)3.".-3ssG)

•  D!I)!<'O1,&("')"FO9$.J)("."3-.)– !"#J)3-#3&8),&("'$O-3:)0$+0)%8",-)8".-)