hackathon 161010 pressen
Post on 06-Apr-2017
210 Views
Preview:
TRANSCRIPT
第2回全能アーキテクチャ ハッカソン プレゼン資料
チーム:オフ会 メンター:山川先生
メンバー:大政孝充、根本直幸、坂井尚行、桑田純哉 2016/10/10
概要
使用する環境:LIS、BriCA等 開発するモデル:記憶+予測で行動を学習
ゲームの内容
犬、猿と接触したので、次は雉がターゲット
過去の記憶をいかす
ゲームの内容
雉の動きを予測して、 雉の移動先へ向かう
未来の予測をいかす
元々のLIS-ver2モデル
227
2276
6
256
AlexNet
36
36
image
depth
呍呍呍呍呍呍呍
256
action数
学習部分
imageとdepthから全結合を経て出力
今回のモデル 全体図
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
予測の流れ
記憶の流れ
10/10 13:00時点のモデル
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
CPUでのみ稼働
予測の流れ
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
記憶の流れ
PredNetへ現在の画像を入力
予測の流れ
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
記憶の流れ
PredNetから予測画を出力
予測の流れ
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
記憶の流れ
予測画の特徴を抽出
記憶の流れ
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
記憶の流れ
AlexNetへ現在の画像を入力
記憶の流れ
image
呍呍呍呍呍呍呍
fully- connected
Q(s,a)
PredNet AlexNet
depthメモリユニットAlexNet
記憶の流れ
メモリユニットへ現在の特徴量を入力
PredNetの概要
Alt =
xt
MAXPOOL RELU CONV El−1t( )( )( )
⎧
⎨⎪
⎩⎪
if l = 0l > 0
Alt
∧
= RELU CONV Rlt( )( )
Elt = RELU Al
t − Alt
∧⎛
⎝⎜
⎞
⎠⎟;RELU Al
t∧
− Alt⎛
⎝⎜
⎞
⎠⎟
⎡
⎣⎢
⎤
⎦⎥
Rlt =CONVLSTM El
t−1,Rlt−1( ) 1層のみ使用
記憶ユニット(MQN)の概要
Et
htOt
Wc
過去のimageをencodeして溜め込む
Mtval =WvalEt
ht
htPt
ht
Mtval
記憶ユニット(MQN)の概要
htWc
過去のimageをencodeしてkey情報として溜め込む
Et
Otht
htPt
ht
Mtval
Mtkey =WkeyEt
記憶ユニット(MQN)の概要
htWc
key情報と現在のcontexからkeyを作成
Et
Otht
htPt
ht
Mtval
pt,i =exp ht
ΤMtkey i[ ]⎡⎣ ⎤⎦
exp htΤMt
key j[ ]⎡⎣ ⎤⎦j=1
M∑
記憶ユニット(MQN)の概要
htWc
keyを使って引き出す過去の情報を選別
Et
Otht
htPt
ht
Mtval
ot =Mtval pt
記憶ユニット(MQN)の概要
htWc
Et
Otht
htPt
ht
Mtval過去の情報を
流す
現在の情報を流す
学習結果(予測モデルのみ)
0
2
4
6
8
10
12
0 500 1000 1500 2000 2500 3000
結果がどうなるかご期待!
学習結果中のビデオ
今後の記憶ユニット改善計画
MQNに1)LSTMとfeedbackを加えてFRMQNにする
出力側からのfeedbackを加える
et
htLSTM ht−1,ct−1
ot
ot−1
LSTMを加えてcontextを回帰させる
DQN〜MQN〜FRMQN
終わり
top related