re revenge chap03-1
DESCRIPTION
PRML復々習レーン #3 発表資料http://atnd.org/events/30181TRANSCRIPT
PRML 3章 線形回帰モデル§3.1 ~ §3.1.2pp. 135-141
yag_aysPRML復復習レーン #32012/07/16
図は全てhttp://research.microsoft.com/en-us/um/people/cmbishop/prml/webfigs.htmより
• 線形回帰• 入力変数から目標変数を予測• 入力変数に関して非線形な関数を導入する• 最尤推定と最小二乗法• パラメータを推定する• 最小二乗法の幾何学
3.1~3.1.2のあらすじ
�(xn)
3.1 線形基底関数モデル
最も単純な線形回帰モデルを考えるy(x,w) = w0 + w1x1 + · · ·+ wDxd
入力変数:パラメータ:
入力変数に関して線形関数になっているため,表現能力に乏しい
基底関数の導入
w = (w0, . . . wD)Tx = (x1, . . . xD)T
y(x,w) =M�1X
j=0
wj�j(x) = w
T�(x)
y(x, w) = w0 +M�1X
j=1
wj�j(x)
入力変数に関して非線形な関数 を噛ませる�j(x)
バイアスパラメータ を整理して
�0(x) = 1
w0
ただし
y(x,w)
w
�j(x)
関数パラメータ基底関数
: 非線形: 線形: 非線形
多項式 ガウス基底関数 シグモイド関数�j(x) = x
j�j(x) = exp
⇢� (x� µj)2
2s2
��j(x) = �
✓x� µj
s
◆
よく用いられる基底関数の例
• その他• スプライン関数で範囲を区切る• フーリエ基底やウェーブレットも
3.1.1 最尤推定と最小二乗法
t = y(x,w) + ✏
p(t|x,w,�) = N (t|y(x,w),��1)
p(t|X,w,�) =NY
n=1
N (tn|wT�(xn),��1)
目的変数 が関数 とノイズ で与えられる時y(x,w) ✏t
ノイズがガウス分布に従うとすると
入力ベクトルと目標値が与えられた時の尤度関数は
ln p(t|X,w,�) =NX
n=1
N (tn|wT�(xn),��1)
r ln p(t|X,w,�) = �NX
n=1
{tn �w
T�(xn)}�(xn)T
両辺対数を取って
尤度関数の最大化 = 二乗和誤差関数の最小化 なので
=N
2ln� � N
2ln 2⇡ � �ED(w)
ED(w) =1
2
NX
n=1
{tn �w
T�(xn)}2
このとき,二乗和誤差関数は
wML = (�T�)�1�Ttについて解くw
計画行列
0 =NX
n=1
tn�(xn)T �w
T
NX
n=1
�(xn)�(xn)T
!勾配を0とおいて について解くw
(展開しただけ)
バイアスパラメータ の解釈w0
ED(w) =1
2
NX
n=1
{tn � w0 �M�1X
j=1
wj�j(xn)}2
バイアスパラメータを残したまま二乗和誤差関数を求めると
について解くとw0
w0 = t̄�M�1X
j=1
wj�j
t̄ =1
N
NX
n=1
tn �j =1
N
NX
n=1
�j(xn)ただし,
w0 = t̄�M�1X
j=1
wj�j
目標変数の平均 ー 基底関数の平均
バイアスパラメータ の解釈w0
1
�ML=
1
N
NX
n=1
{tn �w
TML�(xn)}2
また,ノイズの精度パラメータ について�
これは回帰関数周りでの目標値との残差分散
t̄ =1
N
NX
n=1
tn �j =1
N
NX
n=1
�j(xn)
3.1.2 最小二乗法の幾何学
幾何学なんて無かった...
• 皆様から教えてもらったことを自分なりに解釈してみる(ほとんどそのまま).普通に間違ったこと書いてると思うので,指摘して頂ければ幸い.
• 図3.2の見方としては,tが手前に伸びている.それを部分空間Sに正射影したものがy.この図ではM=2,N=3.
• tのベクトルの要素はデータ点の数N個あるので,tはN次元空間で表すことができる.基底関数の数MをNと同じにすればtを正確に表現することができるが,それでは過学習のような状態になってしまうため,Nより少ない数(M<N)で何とか表現したい.
• そのときにM次元空間で扱える範囲でtに一番似せようとしたベクトルがyであり,これはtの正射影ベクトルになる.これがtとyと二乗和誤差の幾何学的な関係.
• 「二乗和誤差はyとtの二乗ユークリッド距離に等しい」は,yとtが作る三角形のもう一つの辺のこと(これが小さくなるとNより少ない次元数でtを上手く表現できていることになって嬉しい)
• このような幾何学的解釈は,この後もPRML下巻などで出てくるらしい
3.1.2 最小二乗法の幾何学(補足)