tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み

カーネル多変量解析第２章カーネル多変量解析の仕組み

里洋平（@yokkuns）

[email protected]

第４５回TokyoR

Copyright DATUM STUDIO Co., Ltd All Rights Reserved

　カーネルで画像検索


　過去のカーネルに関係する発表


　【参考】カーネル多変量解析


　AGENDA


Ø 自己紹介Ø カーネル多変量解析Ø カーネルによる非線形回帰Ø 特徴抽出による非線形回帰

Ø 汎化能力の評価とモデル選択

　里洋平（@yokkuns）


Ø  やってたことØ  Webアプリ開発Ø  統計解析/データマイニングØ  マーケティング

　TokyoR

R言語の東京コミュニティ Tokyo.R を主催


　著書


　AGENDA




　線形回帰モデル


　直線の関係になっていない場合


　線形回帰では無理


　線形回帰では無理


×

　大きく二つのアプローチ


① データ同士の「近さ」に着目した方法

② データを何らかの関数で非線形変換する方法

　データ同士の”近さ”に注目した考え方


x

③⑦

①



x

③⑦

①

！？



x

③⑦

①

　”近さ”の定義の例


　”近さ”の定義の例


x③ ⑦

①

③

①

⑦

これがカーネル関数


　カーネルを使った回帰モデル


x(j)とxの近さ

　カーネルを使った線形回帰


入力データデータ同士の近さ

線形回帰

　パラメータの推定方法：最小二乗誤差


が最小になるようなパラメータを求める

実測値モデルで算出した予測値

　Rで実行

h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-‐sasaki-‐0413.pdf

　そのまま実行すると・・・


　そのまま実行すると・・・


×

　正則化




ペナルティ

　Rで正則化（λ = 0.01）


　正則化した実行結果（λ = 0.01）


　Rで正則化（λ = 0, 0.0001, 0.01, 1）


　λを変えた時の様子


λ = 0 λ = 0.0001

λ = 0.01 λ = 1

　大きく二つのアプローチ


① データ同士の「近さ」に着目した方法

② データを何らかの関数で非線形変換する方法


　非線形変換という考え方：例）多項式フィッティング

　パラメータの推定方法：最小二乗誤差




　多項式フィッティングとは結局のところ何か？


入力データ特徴ベクトル線形回帰

ところで


　カーネル関数 = データ同士の近さ


x③ ⑦

①

③

①

⑦

　データ（特徴ベクトル）同士の近さ = 内積


　つまり



線形回帰

　つまり


入力データ特徴ベクトルデータ同士の近さ＝内積

線形回帰


線形回帰

　カーネル法がやってることは


とある高次元空間

x③ ⑦

①

カーネル関数

特徴抽出

特徴ベクトル同士の近さ（＝内積）の計算

これがカーネルトリック


　最初の例：ガウスカーネル


　多項式カーネル


　Rで多項式カーネル


　多項式カーネルの実行結果


　まとめ


とある高次元空間

x③ ⑦

①

カーネル関数

特徴抽出

特徴ベクトル同士の近さ（＝内積）の計算

　AGENDA




　参考：サンプル領域外での値


多項式カーネルガウスカーネル

カーネルを使った回帰は、サンプル領域外に弱い

サンプル領域外では発散するサンプル領域外では０に近づく

　データをモデルを訓練データと検証データに分ける①

h<p://www.slideshare.net/sfchaos/ss-‐33703018

　データをモデルを訓練データと検証データに分ける②


　分けて何をするのか


　検証データで成績が良いハイパーパラメータを使う


　AGENDA




Enjoy!

tokyor45 カーネル多変量解析第２章 カーネル多変量解析の仕組み

Documents

tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み