![Page 1: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/1.jpg)
Rate-Distortion Function for Gamma
Sources under Absolute-Log Distortion
渡辺一帆(奈良先端大)
池田思朗(統計数理研)
![Page 2: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/2.jpg)
� レート歪み理論
概要
U V
� レート歪み関数の導出
情報源: ガンマ分布
歪み尺度: 対数絶対損失
圧縮情報源 再構成
)(DR
D
(レート歪み関数)>(シャノンの下界)のとき
[Fix, 1978] [Rose, 1994]:二乗損失
[Tan & Yao, 1975] [Yao & Tan, 1978]:絶対損失
![Page 3: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/3.jpg)
レート歪み関数
)(up
� レート歪み関数(定義)
)(inf)()],([:)|(
qIDRDVUdEuvq ≤
=:情報源
),( vud :歪み尺度
( )[ ])(||)|();()( )( vquvqKLEVUIqI up==:相互情報量
∫= duupuvqvq )()|()( :(周辺)再構成分布
� 操作的意味
R(D) は達成可能なレートRの下限。
),( nn gf :符号器-復号器の対
[ ] DVUdE nn
n≤
∞→),(lim ))(( n
nn
n UfgV =nR bits
}2...,,2,1{ nR
![Page 4: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/4.jpg)
R(D)の性質
{ } suvq
s sDVUdsEqIDR +−= )],([)(inf)()|(
s傾き
{ } supvq
sDdvvqvusdE +−= ∫ )()),(exp(loginf )()(
� 単調非増加
� 凸
� 傾きパラメータ 0≤s
)(DR
D
KKT条件
∉≤
∈=
)(1)(
)(1)(
s
s
Vvvc
Vvvc{ }0)(; >= vqvVs :再構成分布の台
∫∫
≡ duvdvusdvq
vusdupvc
~))~,(exp()~(
)),(exp()()(
![Page 5: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/5.jpg)
)(),( vuvud −= ρ
シャノンの下界 (SLB)
� 差分歪み尺度
−++∗= ∫
≤dwesDphqgpKLDR ws
svqs
)(
)(0
log)()||(infsup)( ρ
)()( ws
s ewg ρ∝ ∫ −= dvvqvuguqg ss )()())(*(
{ }∫−+≥≤
dwesDph ws
s
)(
0
log)(sup ρ
)()(Lsghph −= Dduugu
Ls=∫ )()(ρ
)(DRL≡ :SLB
� )()( DRDR L= qgp s *=
pが の混合で表現可能sg
微分エントロピー
![Page 6: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/6.jpg)
),|()( 2 DvNvq −= σµ
ガウス情報源,2乗損失
�2)(),( vuvud −=),|()( 2σµuNup =
)()( DRDR L= { }∫ −= dvvqvuss
up )()(exp||
)( 2
π
||2
1|| 22
sdue
suD su == ∫ π
)0(log2
1)( 2
2
σσ
≤≤= DD
DR
[Cover & Thomas, Elements of Information Theory]
![Page 7: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/7.jpg)
ガウス情報源,絶対損失
� ||),( vuvud −=),|()( 2σµuNup =
)()( DRDR L>と仮定
[Tan & Yao, 1975]
[ ]sss aaV +−= µµ ,
)(1)( sVvvc ∈=
)(
)/(
)(
)/(
||
1
s
s
s
s
ap
aerfc
ap
aerfc
s +=
−=
µσ
µσ
µsa
||/1 s
)()(1
1)(42
2
22vp
s
v
svqs
−
−+=σµ
σ
{ })()()(||1
22 ssss avavavpa
ss
−−++−−
−+ µδµδσ
連続成分
離散成分
)(1)( sVvvc ∉≤ R(D) (sによるパラメータ表示)
(q(v)について解く)
![Page 8: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/8.jpg)
ガンマ情報源,対数絶対損失
|loglog|),( yxyxd −=
� キューでの待ち時間
� スパイク時間間隔
� パワースペクトル
� 対数絶対損失
1=θスケール不変
� ガンマ分布
α
θα
θαθα
)(),|(
/1
Γ=
−− xexxGam
![Page 9: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/9.jpg)
ガンマ情報源, 対数絶対損失
|loglog|),( yxyxd −=
xu log=
( )ueuup −Γ
= αα
exp)(
1)(
yv log=
||),( vuvud −=)()( DRDR L>�
)()( DRDR L= 0)()()( 2 ≥′′−= vpDvpvq vfor all
� ガンマ分布
α
θα
θαθα
)(),|(
/1
Γ=
−− xexxGam
� キューでの待ち時間
� スパイク時間間隔
� パワースペクトル
� 対数絶対損失
![Page 10: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/10.jpg)
最適再構成分布
[ ]sss bvavV +−= ** ,
)(1)( sVvvc ∈=
ss t
s
s
t
s
s
et
t
et
t
s −−
Γ== αα
ααγ ),(),(
||
1
q(v)について解く
)(1)( sVvvc ∉≤
*y:メディアン
** log yv =
[ ]ss tt ,
)(vqs
69.02log|| ≅=s 8.0|| =s 0.2|| =s
*y
||/1 s
st st
α/1
0
exp
)1( =α
![Page 11: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/11.jpg)
R(D)のパラメータ表示
( )tt
s etetss
D −− −Γ
−= αα
α )(||
1
||
1�
{ }tt ettetts
−− −Γ
+ αα
α)(log)(log
)(||
1
),(),()( tt ααα Ψ−Ψ−Ψ+
� ( )tt
s etets
DR −− −Γ
+−+= αα
αα
)(
11
2
||log)(
{ }1)(log)(||
−+−Γ
−−
ααα
α
tts
et t
{ }1)(log)(||
−+−Γ
−−
ααα
α
tts
et t
{ } )(log),(),( αααα Γ+Ψ−Ψ+ tt
SLBはR(D)をよく近似する.
1=α (指数分布)
� )()),(exp()|( vqvusduvq ss ∝
![Page 12: Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion](https://reader035.vdocuments.mx/reader035/viewer/2022081720/549ec2afac79592e768b47e9/html5/thumbnails/12.jpg)
� 対数絶対歪み尺度に対するガンマ情報源のレート歪
み関数を導出。
� 最適再構成分布は
1) メディアン上の一点分布
2)(連続成分)+(両端の離散成分)
3)(連続成分)+(右端のみの離散成分)
と遷移することを示した。
結論