教師がコミティマシンの場合の アンサンブル学習
DESCRIPTION
教師がコミティマシンの場合の アンサンブル学習. 三好誠司 原 一之 岡田真人 神戸市立高専 都立工業高専 東大 , 理研 , 科技機さきがけ. Teacher. Students. 1. 2. K. 背 景 (1). アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 教師が1個の単純パーセプトロン で 生徒が K 個の単純パーセプトロン の場合の解析 (三好,原,岡田, 2003-2004 ). 背 景 (2). 教師が1個の非単調パーセプトロン で - PowerPoint PPT PresentationTRANSCRIPT
1
教師がコミティマシンの場合のアンサンブル学習
三好誠司 原 一之 岡田真人 神戸市立高専 都立工業高専 東大 , 理研 , 科技機さきがけ
2
背 景 (1)• アンサンブル学習
– 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う
• 教師が1個の単純パーセプトロン で 生徒が K 個の単純パーセプトロン の場合の解析 (三好,原,岡田, 2003-2004 )
Teacher Students
1 2 K
3
背 景 (2)• 教師が1個の非単調パーセプトロン で 生徒が1個の単純パーセプトロン の場合の解析 ( Inoue & Nishimori, PRE, 1997) ( Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997)
B1
x1 xN
BN
Teacher Students
J1
sgn( )ul
x1 xN
JN
4
目 的
• アンサンブル学習の特徴– 多数決などで生徒を組み合わせることにより,単一
の生徒では表現できない入出力関係を実現できる
• 教師がコミティマシンで生徒が K 個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析
Teacher Bmn Students J1 ,J2 , ・・・ ,JK
1 2 KJ11 J21 JK1
sgn( )u l1 sgn( )u l2 sgn( )u lK
x1 x1 x1xN xN xN
J1N J2N JKN
5
Teacher Bmn Students J1 ,J2 , ・・・ ,JK
1 2 KJ11 J21 JK1
sgn( )u l1 sgn( )u l2 sgn( )u lK
x1 x1 x1xN xN xN
J1N J2N JKN
モデル(1)
• 同じ入力 x が同じ順序で提示される• 一度使った入力 x は廃棄される(オンライン学習)• 独立に学習• 多数決
6
生徒の長さ
• 入力: • 教師: • 生徒:
モデル(2)
7
汎化誤差新たな入力に対して教師と異なる答を出す確
率
Gaussian
8
教師中間層と生徒の類似度
生徒間の類似度
9
l ,R,q を記述する微分方程式
生徒の長さ 教師と生徒の類似度
生徒間の類似度
10
ヘブ学習
パーセプトロン学習
アダトロン学習
11
汎化誤差のダイナミクス(ヘブ学習)
理 論
4030
K=1K=3K=5K=7K=9
M=9M=3
502010
0.5
0.4
0.3
0.2
0
Time
Ge
ne
rali
za
tio
n E
rro
r
4030 5020100
Time
0.5
0.4
0.3
0.2
Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9M=3
計算機シミュレーション(N=1000)
12
4030 5020100
Time
1
0.8
0.6
0.4
0.2
0
Sim
ila
rity
R (M=9)
R (M=3)
q
4030
K=1K=3K=5K=7K=9
M=9M=3
502010
0.5
0.4
0.3
0.2
0
Time
Ge
ne
rali
za
tio
n E
rro
r
汎化誤差のダイナミクス(ヘブ学習)
13
汎化誤差のダイナミクス(パーセプトロン学習)
理 論
4030 502010
0.5
0.4
0.3
0.20
Time
Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9
M=3
4030 5020100
Time
0.5
0.4
0.3
0.2Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9
M=3
計算機シミュレーション(N=1000)
14
4030 5020100
Time
1
0.8
0.6
0.4
0.2
0
Sim
ila
rity
R (M=9)
q (M=9)q (M=3)
R (M=3)
4030 502010
0.5
0.4
0.3
0.20
Time
Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9
M=3
汎化誤差のダイナミクス(パーセプトロン学習)
15
汎化誤差のダイナミクス(アダトロン学習)
理 論 計算機シミュレーション(N=1000)
4030 502010
0.5
0.4
0.3
0
Time
Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9
M=3
4030 5020100
Time
0.5
0.4
0.3
Ge
ne
rali
zati
on
Err
or
K=1K=3K=5K=7K=9
M=9
M=3
16
4030 5020100
Time
1
0.8
0.6
0.4
0.2
0
Sim
ila
rity
R (M=9)
R (M=3)
q
4030 502010
0.5
0.4
0.3
0
Time
Ge
ne
rali
za
tio
n E
rro
r
K=1K=3K=5K=7K=9
M=9
M=3
汎化誤差のダイナミクス(アダトロン学習)
17
まとめ• 教師がコミティマシンの場合のアンサン
ブル学習をオンライン学習の枠組みで解析・議論
• ヘブ学習 → 生徒が教師中間層の中央に漸近• パーセプトロン学習 → アンサンブルの効果が残
る• アダトロン学習 → 過学習が起こる