rate-distortion function for gamma sources under absolute-log distortion
DESCRIPTION
レート歪み関数は、歪みを許して情報を圧縮するときに、許容する歪みの量に対し、どこまで情報を圧縮することができるかの限界を示すものです。しかしながら、この概念を導出したシャノンが与えた一般的な下界に対して、レート歪み関数が真に大きい場合には、ごくわずかな例でしか、その厳密な評価は与えられていません。この研究は、ガンマ分布に従う情報源について、対数絶対損失による歪み尺度に対するレート歪み関数を評価したものです。TRANSCRIPT
Rate-Distortion Function for Gamma
Sources under Absolute-Log Distortion
渡辺一帆（奈良先端大）
池田思朗（統計数理研）
� レート歪み理論
概要
U V
� レート歪み関数の導出
情報源： ガンマ分布
歪み尺度： 対数絶対損失
圧縮情報源 再構成
)(DR
D
(レート歪み関数)>(シャノンの下界)のとき
[Fix, 1978] [Rose, 1994]：二乗損失
[Tan & Yao, 1975] [Yao & Tan, 1978]：絶対損失
レート歪み関数
)(up
� レート歪み関数（定義）
)(inf)()],([:)|(
qIDRDVUdEuvq ≤
=：情報源
),( vud ：歪み尺度
( )[ ])(||)|();()( )( vquvqKLEVUIqI up==：相互情報量
∫= duupuvqvq )()|()( ：（周辺）再構成分布
� 操作的意味
R(D) は達成可能なレートRの下限。
),( nn gf ：符号器-復号器の対
[ ] DVUdE nn
n≤
∞→),(lim ))(( n
nn
n UfgV =nR bits
}2...,,2,1{ nR
R(D)の性質
{ } suvq
s sDVUdsEqIDR +−= )],([)(inf)()|(
s傾き
{ } supvq
sDdvvqvusdE +−= ∫ )()),(exp(loginf )()(
� 単調非増加
� 凸
� 傾きパラメータ 0≤s
)(DR
D
KKT条件
∉≤
∈=
)(1)(
)(1)(
s
s
Vvvc
Vvvc{ }0)(; >= vqvVs ：再構成分布の台
∫∫
≡ duvdvusdvq
vusdupvc
~))~,(exp()~(
)),(exp()()(
)(),( vuvud −= ρ
シャノンの下界 (SLB)
� 差分歪み尺度
−++∗= ∫
≤dwesDphqgpKLDR ws
svqs
)(
)(0
log)()||(infsup)( ρ
)()( ws
s ewg ρ∝ ∫ −= dvvqvuguqg ss )()())(*(
{ }∫−+≥≤
dwesDph ws
s
)(
0
log)(sup ρ
)()(Lsghph −= Dduugu
Ls=∫ )()(ρ
)(DRL≡ :SLB
� )()( DRDR L= qgp s *=
pが の混合で表現可能sg
微分エントロピー
),|()( 2 DvNvq −= σµ
ガウス情報源，２乗損失
�2)(),( vuvud −=),|()( 2σµuNup =
)()( DRDR L= { }∫ −= dvvqvuss
up )()(exp||
)( 2
π
||2
1|| 22
sdue
suD su == ∫ π
)0(log2
1)( 2
2
σσ
≤≤= DD
DR
[Cover & Thomas, Elements of Information Theory]
ガウス情報源，絶対損失
� ||),( vuvud −=),|()( 2σµuNup =
)()( DRDR L>と仮定
[Tan & Yao, 1975]
[ ]sss aaV +−= µµ ,
)(1)( sVvvc ∈=
)(
)/(
)(
)/(
||
1
s
s
s
s
ap
aerfc
ap
aerfc
s +=
−=
µσ
µσ
µsa
||/1 s
)()(1
1)(42
2
22vp
s
v
svqs
−
−+=σµ
σ
{ })()()(||1
22 ssss avavavpa
ss
−−++−−
−+ µδµδσ
連続成分
離散成分
)(1)( sVvvc ∉≤ R(D) （sによるパラメータ表示）
（q(v)について解く）
ガンマ情報源，対数絶対損失
|loglog|),( yxyxd −=
� キューでの待ち時間
� スパイク時間間隔
� パワースペクトル
� 対数絶対損失
1=θスケール不変
� ガンマ分布
α
θα
θαθα
)(),|(
/1
Γ=
−− xexxGam
ガンマ情報源， 対数絶対損失
|loglog|),( yxyxd −=
xu log=
( )ueuup −Γ
= αα
exp)(
1)(
yv log=
||),( vuvud −=)()( DRDR L>�
)()( DRDR L= 0)()()( 2 ≥′′−= vpDvpvq vfor all
� ガンマ分布
α
θα
θαθα
)(),|(
/1
Γ=
−− xexxGam
� キューでの待ち時間
� スパイク時間間隔
� パワースペクトル
� 対数絶対損失
最適再構成分布
[ ]sss bvavV +−= ** ,
)(1)( sVvvc ∈=
ss t
s
s
t
s
s
et
t
et
t
s −−
Γ== αα
ααγ ),(),(
||
1
q(v)について解く
)(1)( sVvvc ∉≤
*y：メディアン
** log yv =
[ ]ss tt ,
)(vqs
69.02log|| ≅=s 8.0|| =s 0.2|| =s
*y
||/1 s
st st
α/1
0
exp
)1( =α
R(D)のパラメータ表示
( )tt
s etetss
D −− −Γ
−= αα
α )(||
1
||
1�
{ }tt ettetts
−− −Γ
+ αα
α)(log)(log
)(||
1
),(),()( tt ααα Ψ−Ψ−Ψ+
� ( )tt
s etets
DR −− −Γ
+−+= αα
αα
)(
11
2
||log)(
{ }1)(log)(||
−+−Γ
−−
ααα
α
tts
et t
{ }1)(log)(||
−+−Γ
−−
ααα
α
tts
et t
{ } )(log),(),( αααα Γ+Ψ−Ψ+ tt
SLBはR(D)をよく近似する.
1=α （指数分布）
� )()),(exp()|( vqvusduvq ss ∝
� 対数絶対歪み尺度に対するガンマ情報源のレート歪
み関数を導出。
� 最適再構成分布は
1) メディアン上の一点分布
2)（連続成分）+（両端の離散成分）
3)（連続成分）＋（右端のみの離散成分）
と遷移することを示した。
結論