normalized online learning
DESCRIPTION
TRANSCRIPT
![Page 1: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/1.jpg)
Normalized online learningNormalized online learningNormalized online learningNormalized online learning
Stephane Ross, Carnegie Mellon UniversityPaul Mineiro, Microsoft
John Langford, Microsoft Research(arXiv:1305.6646v1 [cs.LG] 28 May 2013)
@shima_x
![Page 2: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/2.jpg)
概要 - featurefeaturefeaturefeature毎に独立に正規化するアルゴリズム - ハイパーパラメタの自動調整も行う - これらに対する理論的な背景を与える
![Page 3: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/3.jpg)
貢献 - 敵対的なリグレットバウンド付き - 事前に正規化したデータセットでの学習とも遜色ない結果
![Page 4: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/4.jpg)
擬似コード1
![Page 5: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/5.jpg)
擬似コード2
実際はこちらを使用本稿ではこれをsNAGsNAGsNAGsNAGと
称する
![Page 6: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/6.jpg)
Adversary Setting
- 恣意的な単位による特徴量の作成はモデルに対する影響力が大きい-通常のリグレットよりも強力な設定
![Page 7: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/7.jpg)
Adversary Setting
-先ほどの考えを更に一般化し、p-normp-normp-normp-normでの場合に落としこむ-入力値の分散(2222次モーメント)は正定値行列SSSSの下で1111となるようにする (p=2p=2p=2p=2のノルムが1111以下)-これがsNAGsNAGsNAGsNAGと呼んでいるアルゴリズム-これについて次スライド以降に記載
![Page 8: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/8.jpg)
Competing against a Bounded Output Predictor
◆ 本稿のアルゴリズムのゴール -敵対的に設定された定数CCCCによってバウンドされた重みベクトルを求めること - これを数学的に表現すると
◆ 各タイムステップにおけるリグレット
![Page 9: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/9.jpg)
Competing against a Bounded Output Predictor
◆ 自明な事項
◆ 下のqqqqとppppの関係、上の等式を満たすようにqqqqを決める
◆ norm qnorm qnorm qnorm qとppppの制約条件
◆ 真のSSSSとなる場合の条件
![Page 10: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/10.jpg)
Analysis
◆ update ruleupdate ruleupdate ruleupdate rule - 本稿の手法は特徴量の正規化について統計学的な不偏性を保証する - 式で表すと以下になる
time ttime ttime ttime tの時のロスの勾配time ttime ttime ttime tの時の半正定値行列
weightweightweightweight
![Page 11: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/11.jpg)
Analysis
◆ 補題1111 - ロス関数は凸と仮定
証明は論文中のAppendixAppendixAppendixAppendix参照
![Page 12: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/12.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ AAAAを時間的に不偏な対角行列、wwww1111=0=0=0=0として補題1111の式を変形
◆ 行列AAAAの各対角成分で偏微分し極値の計算を行う
==== 0
![Page 13: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/13.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 上で計算された行列AAAAの下でのリグレットバウンド - wwwwiiii*
*** を1/s1/s1/s1/siiii倍し、ggggtitititiをssssiiii倍することでキャンセルされるため 入力が正規化されていたとしてもこのリグレットバウンドは成り立つ
上記のリグレットはwwwwiiii****の値に依存する。
この依存を断ち切るために最悪の場合のwwwwiiii****により評価
を行う
![Page 14: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/14.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 補題2222 - 最悪の場合を想定したリグレットバウンド - SSSSに以下の制約を付ける ・対角行列 ・行列式が最小となる行列
これについて解くと
を出発点として変形(詳細は論文中のAppendixAppendixAppendixAppendix参照)
![Page 15: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/15.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
- 前のスライドの条件の下でのリグレットは以下になる
![Page 16: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/16.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 例としてp=p=p=p=∞の場合のリグレットを記載 - p=p=p=p=∞での補正係数行列SSSSの各要素
◆ 行列AAAAの各要素の計算
◆ リグレットの計算
![Page 17: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/17.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 例としてp=p=p=p=∞の場合のリグレットを記載 - リグレットのオーダー
![Page 18: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/18.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 例としてp=2p=2p=2p=2の場合のリグレットを記載 - リグレットのオータ゛ー
- 勾配に関して以下を置く
![Page 19: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/19.jpg)
Analysis- Best Choice of Conditioner in Hindsight -
◆ 例としてp=2p=2p=2p=2の場合のリグレットを記載 - リグレットの計算
しかし、ここまでで記載してきた手法では時刻 t t t t(∈TTTT)の全てがわからないと解くことが出来ない
Adversary settingAdversary settingAdversary settingAdversary settingより1111以下となる
![Page 20: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/20.jpg)
Analysis- Transductive Case -
◆ 現実のケースでのリグレットを記載 - 正規化係数行列SSSSと勾配を同時に計算することは困難 - そこで、計算を2222段階に分ける - 1111段階目として、対角行列SSSSを計算 - 2222段階目として、勾配の計算を行う
![Page 21: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/21.jpg)
Analysis- Transductive Case -
◆ 時刻ttttにおける調整行列の各要素の計算
◆ 更に、以下の写像条件を与える事により補題1111によってバウンドすることができる
![Page 22: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/22.jpg)
Analysis- Transductive Case -
◆ lemma1, lemma3lemma1, lemma3lemma1, lemma3lemma1, lemma3(AppendixAppendixAppendixAppendix参照)と上のAAAAよりリグレットをバウンド出来る
真の結果を知っている場合と比較して、2222****(2)^0.5(2)^0.5(2)^0.5(2)^0.5しか悪くない
- 条件
![Page 23: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/23.jpg)
Analysis- Streaming Case -
◆ ストリーム処理を行う場合 - p=p=p=p=∞について考える - 調整行列AAAAはSSSSを使用せずにinput datainput datainput datainput dataのみを使用して以下のように書ける
![Page 24: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/24.jpg)
Analysis- Streaming Case -
◆ ストリーム処理を行う場合 - 定理2222 - リグレットは以下のようになる
- 条件
![Page 25: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/25.jpg)
Analysis- Streaming Case -
◆ ストリーム処理を行う場合 - 定理2からの推論(詳細はAppendix参照)
- 条件
Hige, log lossHige, log lossHige, log lossHige, log lossの場合
squared losssquared losssquared losssquared lossの場合
※RmaxRmaxRmaxRmaxはサンプル数が1111つの場合のリグレット
![Page 26: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/26.jpg)
Analysis- Streaming Case -
◆ ストリーム処理を行う場合 - Δiiiiは以下のようにバウンドされる
νが大きいほど悪いリグレットとなるように恣意的に決定(ttttが小さい時にリグレットが悪くなるように設定)
![Page 27: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/27.jpg)
Experiments◆ 実験に使用したデータセット
最小値 最大値
CTCTCTCTとMSDMSDMSDMSDでは回帰を行い、その他のデータセットでは分類を行った
![Page 28: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/28.jpg)
Experiments◆ NAGNAGNAGNAGとAGAGAGAGの比較
正規化していないデータセットを使用
最大値で除した正規済のデータセットを使用
予測精度が最もよくなるように経験的に決めた学習係数
![Page 29: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/29.jpg)
Experiments◆ sNAGsNAGsNAGsNAGとAGAGAGAGの比較 - NAGNAGNAGNAGと比較して、sNAGsNAGsNAGsNAGではいくつかのデータセットで良い結果が見られた - sNAGsNAGsNAGsNAGの方がロバストであると判断
※表の見方は前のスライドと同じ
![Page 30: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/30.jpg)
Experiments◆ sNAGsNAGsNAGsNAGとAGAGAGAGのパフォーマンス比較
NAGNAGNAGNAGは事前に正規化されたデータを使用したAGAGAGAGよりも精度が高かった
![Page 31: normalized online learning](https://reader033.vdocuments.mx/reader033/viewer/2022051819/54c5d3394a79590d2f8b4614/html5/thumbnails/31.jpg)
Experiments◆ 各アルゴリズムと学習係数の領域の比較 -各色のバンドは最適な学習係数のレンジを示している。 - NAGNAGNAGNAGはバンド幅が小さく、学習係数の設定が比較的容易であることがわかる