1

菊池自由エネルギーに対するCCCPの拡張とCDMAマルチユーザ復調アルゴリズム

西山 悠(1)，外崎幸徳(2)，渡辺澄夫(3)

(1)東京工業大学総合理工学研究科知能システム科学専攻

(2)株式会社 東芝研究開発センター システム技術ラボラトリー

(3)東京工業大学精密工学研究所

1

概要

• 高次元確率分布の統計量を計算するのは，（一般には）計算困難である．

• ベーテ自由エネルギー，菊池自由エネルギーの最小値を計算することで(近似的に)これらの統計量を計算することができる．

• ベーテ，菊池自由エネルギーの最小化にCCCPを使ったアルゴリズムが知られている (A.L. Yuille, 2002)．

• ここでは菊池自由エネルギーに対するCCCPを拡張したNCCCPアルゴリズムを提案する．

• NCCCPアルゴリズムをCDMAマルチユーザ復調問題に適用し，NCCCPに基づくCDMAマルチユーザ復調アルゴリズムを導出する．数値実験からNCCCPの性能を調べる．

2

ベーテ，菊池自由エネルギー

{ }

1( ) ( , ) ( )ij i j i i

ij E i V

P x x xZ

x

1x 2x

7x3x

5x

4x6x

{ } { } { }

({ },{ }) ( , ) | | ( , )ij ijBethe i ij Bethe ij i j r ij i i i ij i j r

ij E ij E i V i V ij E

F b b S E x x S S N S E x x

convex linearconcave

Bethe free energy

Probability distribution

Kikuchi free energy

0 0

({ }) ( ) ( ) ( ) ( )Kikuchi kikuchi r r

R R R Rc c

F b S c E c S r c S r c E

x x

convex linearconcave

CCCP (Concave Convex Procedure, A.L. Yuille, 2002)

( , )G V E

3

ExampleBasic Clusters

}5689,4578,2356,1245{ 　　　C

}5,58,56,45,25,{ 　　　　　　CR

1 2 3

4 5 6

7 8 9

},58,56,45,25{)5(Sup C　　　

}5689,2356{)56(Sup 　 }58,56{)5689(Sub 　

}5{)56(Sub 1245 45782356 5689

25 45 56 58

5

Set of Regions

Region Graph

15689457823561245 cccc

158564525 cccc

15 c

)211()sup(

cc

)4411()5sup(

5

cc

Overcounting Number

Super and Sub Regions

Kikuchi Free Energy

1245 2356 4578 5689 25 45 56 58 5({ } )Kikuchi R bR

F b S S S S S S S S S c E

4

CCCP• Objective functional

• Update rules

• CCCP Free energy

• Monotonically decreasing

( ) ( ) ( )vex caveF F F b b b

( 1) ( )( ) ( )t t

vex caveF F b b

convex concave

( )F r

( 1) ( ) ( 1) ( 1) ( )( | ) ( ) ( )t t t t t

CCCP vex caveF F F b b b b b

( 1) ( )( ) ( )t tF F b b

5

NCCCP (New CCCP) for Kikuchi

• Trivial Pair Creation

• Proposal of NCCCP

• Concave and Convex Parts

• Feasible Set

, ( ) ( ) ( )K vex Kikuchi vexF F f b b b

, ( ) ( )K cave vexF f b b

0

, ,Kikuchi K cave K vexF F F

, ,, ( , ) ( ) ( )K cave bS

R

E

R

uF S b Eu

xub

, ,, ( , ) ( ) ( ) ( ) ( )SK vex bR R

EF c S b c Eu u

xub

| |{ | max{0, }, }RU c Ru u 　CCCPU

ccu max

0 ( ) ( )vex vexf f b b

6

2

NCCCP algorithm for Kikuchi

• Algorithm (NCCCP)

– Outer loop

– Inner loop

, ,( 1) ( )

( ) sup ( )

( ) ( ){ } exp[ ]k

d

k

k

d

k k kct t k kk k k

sub k kk k k

u

u

k k ku u u

c Er r v

c c c

x x

k R

\

( ) ( )

, ,( ) ( )

( )\ sup ( )( 1)

, ( )

, ,( ) ( )

( ) sup ( )\

( ) ( ){ } exp[ ]

1 1exp{( ) ( )}

( ){ } exp[

k

d d

k ll

k

d

l

l

d

k k k kct k kk k

sub k l kk k k

k l l

k l l l

u

ct

l l

sub l l

u

k

k k k

u

l

k l u

l

c

u u

Er v

c c c

c cr

u

u

c

u

uv

x

x x

xx

( ) ( )

]l

l l

l l

l

l

c E

u uc c

x

( ) ( )

, ,( 1) ( )

( ) sup ( )

( ) ( )exp( ) { } exp[ ]k

k d

k

k

d

k k kct k kk k

sub

u

u

k kk k kk k ku

c Ev r

c c u c u

x

x x

k R ( )dl sub k

7

RemarkNCCCP is guaranteed to monotonically decrease Kikuchi free energy

even if free vector is changed within at every outer loop.u U

Outer loop

Inner loop

Outer loop

Inner loop

Outer loop

NCCCP algorithm

Approximate marginals

)1(u

)1(u

)1(u

)2(u)2(u

)2(u

CCCPU )1(

u)2(u

)(tu

)1(u

)2(u)(t

u

ccu max

8

Gaussian Graphical Model (Asynchronous)

)5,1.0,10( 　　S )5,2,10( 　　S

)10,1.0,10( 　　S )20,1.0,10( 　　S

CCCP

9

Gaussian Graphical Model (Synchronous)

)4,1.0,10( 　　S )5,1.0,10( 　　S

)5,2,10( 　　S )10,1.0,10( 　　S

CCCP

10

CDMAマルチユーザ復調

1 1x

1kx

1Kx

1

1

1

1

1

1

1s

ks

S

Ks

x

1 2( , , , )T

Ny y yy

1

1 K

k k

k

y s x nN

2

0(0, )n N

1

1

( ) ( | )

( | )

( ) ( | )

N

N

p y

p

p y

x

x x

x y

x x\

ˆ arg max ( | )k k

MPM

x x

p x

x x y

拡散符号

受信信号

MPM推定

11

NCCCPアルゴリズム(Ising Spin)

2

)tanh(1

2

1)(

)()(

)( k

t

kk

t

k

k

t

k

xhxmxb

2

)tanh(1

2

1)}(exp{

)(

,

)(

,)(

,

kkkk

kk

xhxmx

• Outer Loop

• Inner Loop

( 1) ( )

,

( )

1

| | 1 | | 1

k

k k

t t

k k k

N kk k

h h hN N

u

u u

( 1) ( ) ( ) ( )

, ,

( )\

| | 1 1ˆ ,| | 2 | | 2 | | 2

k kt kk k k k

N kk k kk k k

Nh h h h

N N N

u u

u u u

( )

( )\( )

1( )( )

2( )

l l

l N k

k

m xf

bZ

x

x( )

( ) ( )

( )

ˆ ˆtanhk

k k k bh m x

x

where

Algorithm (NCCCP for Ising Spin, )0u

Ising Spinのとき

12

3

NCCCPに基づくCDMAマルチユーザ復調

( ) ( )

2 ( )1

( )

1 1ˆ ( )(1 )

Kk

k l l

lkk

sh y s m

Q N N

• Outer Loop

• Inner Loop

( 1) ( )

,

1

1

1 1

Nt tk

k k

k k kh h hN

u

u u N

( 1) ( ) ( ) ( )

, ,

1( )

1 1ˆ ,2 2 2

k k

k k

Nt

k k k k

k

Nh h h h

N N N

u u

u u u

where

Algorithm (CDMA Multiuser Demodulation Based on NCCCP )

( ) ( )

2 ( )1

( )

1 1ˆ ( ),(1 )

Kk

k l l

lkk

sh y s m

Q N N

確率伝搬法に基づくCDMAマルチユーザ復調[Kabashima, 2003]

2

( ) ( )

1( )

1.

K

k l

lk

Q mK

13

実験結果

• 負荷率

• ユーザ数，チップ数

• ノイズ

1

2

( , ) (25,50),(50,100),(100,200)K N 2 1

36

ビット誤り率

14

・拘束条件付きベーテ自由エネルギー

・拘束条件の値

15

まとめ

• 菊池自由エネルギーに対するCCCPを拡張したNCCCP (New CCCP)アルゴリズムを提案した．

• NCCCPは従来のCCCPを含み広がりを持つものの，なお菊池自由エネルギーを単調に減尐させることができる．

• 導入したパラメータの値を変えることでCCCP更新式の固定点への収束の経路を変えることができる．

• NCCCPに基づいたCDMAマルチユーザ復調アルゴリズムを導出した．

• 数値実験の結果，Inner Loopの回数が1回だと従来のCCCPでは更新回数が尐なすぎて収束が遅くなるが，NCCCPでは収束に良好な結果を示した．

• NCCCPに導入したパラメータについて最適性が存在する．菊池自由エネルギーの分解の仕方に最適性があることを意味する．

16

今後の展望

• 最適なパラメータ点の設計法．

• LDPC符号でのNCCCPアルゴリズムの有効性の検証．

• 情報幾何学的な解釈．

• CCCPではなくNCCCPへ.

参考文献• A.L. Yuille, “CCCP algorithms to minimize the Bethe and Kikuchi free energies”, Neural

Computation Vol. 14, No. 7, pp. 1691-1722, 2002.

• Y. Kabashima, “A CDMA multiuser detection algorithm on the basis of belief

propagation”, J. Phys. A, vol. 37 pp. 11111-11121, 2003.

• 外崎幸徳，樺島祥介, “CCCPに基づくCDMAマルチユーザ検出アルゴリズム”, 電子情報通信学会論文誌 D, vol. J89-D, No. 5, pp. 1049-1060, 2006.

• Y. Nishiyama, S.Watanabe, “Generalization of Concave and Convex Decomposition in Kikuchi Free Energy”, ICANN2008, LNCS5163, pp. 51-60, 2008.

17