Ch7. Liner RegressionCh8. Logistic Regression

MLaPP輪講2015/08/25

そもそも回帰とは？

2つの変数の相関に基づいて予測する方法例 (1.2.2)

市場の状態から明日の株価の予測YouTubeの閲覧履歴から年齢を予測制御信号からロボットアームの手先位置推定幾つかの診療基準から前立腺癌 (の指標 )を予測天気、時間、ドアセンサからある部屋の室温を推定

未来や直接扱えないデータを扱えるようになる！

By Wikipedia

線形回帰 ? ロジスティック回帰 ?線形回帰• 変数の相関関係が線形• 例：最小二乗法

ロジスティック回帰• ある値を境に出力が変化

線形回帰Figure.7.2(a)

ロジスティック回帰Figure 1.19(b)

目次 :Ch71. Introduction2. Model specification3. Maximum likelihood estimation

(least squares)4. Robust liner regression5. Ridge regression6. Bayesian liner regression

7.1 Introduction• 線形回帰は統計学や (教師あり )機械学習の”馬車馬” !!

–単純なのにうまく説明できる• カーネルや基底関数を拡張すると、非線形なモデルも扱うことができる• Gaussian outputをベルヌーイやマルチヌーイ分布に書き直すことができ、分類問題を扱える

7.2 Model specification• 線形回帰は次式のようなモデル (1.4.5)

Chapter 1 にチラッとでてた！

7.2 Model specification• 線形回帰は次式のようなモデル (1.4.5節 )

• xの代わりに非線形関数の φ(x)を使うことも !!–基底関数の拡張と呼ばれている

• 線形パラメータwを含むので、これはまだ線形回帰その話はまた後で。。。

ここで

(7.1)

(7.2)

(7.3)

7.2 Model specification(7.2)(7.3)

• dを増加させることで複雑な関数を作れる– Figure 1.18は (7.3)式の dを変化させている

Figure. 1.18

7.2 Model specification• 多入力でも回帰できる

–重回帰モデル• Figure7.1は 2入力の例

• 最大尤度推定 (MLE)＝最小二乗法• 超有名手法、線形回帰といえば最小二乗！• 定義式：• 訓練データは一様分布 (iid)を仮定すると、対数尤度を次式の様にかける• そうすると最大対数尤度を負の対数尤度最小化問題 (NLL)として解くことができる

7.3 最大尤度推定 (最小二乗法 )

7.3 最大尤度推定 (最小二乗法 )• NLLは時々便利！

–最小化問題を解く最適化プログラムが多い• 対数尤度の式にガウス分布を仮定する

7.3 最大尤度推定 (最小二乗法 )

• RSS：残差二乗和、 SSE(Sum of Squared Error)

• SSE/N：平均二乗誤差、MSE(Mean Squared Error)

• l2の残差の二乗として書くこともできる– wのMLEは RSSの最小化 ->最小二乗法

7.3 最大尤度推定 (最小二乗法 )

• (a)–赤丸：訓練データ–青バツ：推定値–青線：推定誤差

• (b)線形回帰の NLL平面

青破線からデータを生成して訓練データに用いる

回帰直線を予測

回帰直線を使ってx軸から y軸を推定

実値 -推定値で誤差を算出誤差の二乗和が小さくなる回帰式を再度算出

7.3.1 MLEの導出• NLLを識別に適した形式に書き換える

(二乗和行列 )

4.10式より勾配は次式で与えられる (切片と傾きについて偏微分 )

g(w)=0とすると(正規方程式 )

wについて解くと、通常の最小二乗 (OLS)を得る

7.4 ロバスト線形回帰• 一般的な回帰モデルにはガウス分布を用いる

–誤差が直接影響するため回帰直線から離れた点は影響力大 ->外れ値に弱い• 外れ値に強いモデルを使って見る

–裾の重い (heavy tail)分布を用いるTable 7.1

7.4 ロバスト線形回帰• 例：ラプラス分布

–尤度：

Figure 2.7を改変

7.4 ロバスト線形回帰

7.5 リッジ回帰• 最尤推定は overfittingしやすい

–ガウス事前分布のMAP推定で解決を試みる–ガウス尤度はロバスト尤度より扱いやすい

• Overfittingしやすいのは次数を増やせば誤差を小さくすることができるから– 7.2 節参照–リッジ回帰は「モデルの次数が増えるとペナルティを課そう」という考え

7.5.1Basic idea• 事前分布：• MAP推定問題

最尤推定の項 罰則項

次式の最小化と等価

Wは次式で与えられる

7.6 ベイズ線形回帰• リッジ回帰は点推定だった

– wや σ2の完全な事後分布を知りたい時もあるよね–最初に分散は既知だと仮定して計算

• 次式に着目–ガウス尤度モデルを仮定

• ロバスト尤度モデルを扱うこともできるが、難しい

Ch7 まとめ• 最小二乗法 :残差二乗和を最小化• ロバスト線形回帰 :外れ値に対応• リッジ回帰

• ベイズ線形回帰最尤推定の項 罰則項

最小二乗法 ロバスト線形回帰

リッジ回帰 ベイズ線形回帰

目的 最大尤度の推定 外れ値に対応 過剰適合の改善 パラメータの事後分布を求める

手法 残差二乗和を最小化

裾の広いモデルで回帰

MAP推定を使う ベイズ推定(名前の通り )

目次 :Ch81. Introduction2. Model specification3. Model fitting4. Bayesian logistic regression5. Online learning and stochastic

optimization6. Generative vs discriminative

classifiers

8.1 Introduction• 識別モデルについてのアプローチ• 生成モデルと比較して直接的に直接的に

p(y|x)をモデル化–識別的アプローチと呼ばれる

8.2 Model specification• ロジスティック回帰は次式のバイナリ分類モデルに対応

8.3 Model fitting

8.4 Bayesian logistic regression

8.5 Online learning and stochastic optimization

8.6 Generative vs discriminative classifiers

Ch8 まとめ

Ch7,Ch8まとめ• 線形回帰

–訓練データは一様分布を仮定–負の対数尤度の最小化問題を解く！残差 2乗和を最小化–ロバスト線形回帰、リッジ回帰、ベイズ線形回帰

• ロジスティック回帰–識別問題を取り上げた–シグモイド関数を利用– MLE、最急勾配法、 (準 )ニュートン法、多クラス、ベイズ