Hackathon 161010 pressen

第２回全能アーキテクチャハッカソン　プレゼン資料

チーム：オフ会メンター：山川先生

メンバー：大政孝充、根本直幸、坂井尚行、桑田純哉 2016/10/10

概要

使用する環境：LIS、BriCA等開発するモデル：記憶＋予測で行動を学習

ゲームの内容

犬、猿と接触したので、次は雉がターゲット

過去の記憶をいかす

ゲームの内容

雉の動きを予測して、雉の移動先へ向かう

未来の予測をいかす

元々のLIS-ver2モデル

227

2276

6

256

AlexNet

36

36

image

depth

呍呍呍呍呍呍呍

256

action数

学習部分

imageとdepthから全結合を経て出力

今回のモデル　全体図

image


fully- connected

Q(s,a)

PredNet AlexNet

depthメモリユニットAlexNet

予測の流れ

記憶の流れ

10/10 13:00時点のモデル

image


fully- connected

Q(s,a)

PredNet AlexNet


CPUでのみ稼働

予測の流れ

image


fully- connected

Q(s,a)

PredNet AlexNet


記憶の流れ

PredNetへ現在の画像を入力

予測の流れ

image


fully- connected

Q(s,a)

PredNet AlexNet


記憶の流れ

PredNetから予測画を出力

予測の流れ

image


fully- connected

Q(s,a)

PredNet AlexNet


記憶の流れ

予測画の特徴を抽出

記憶の流れ

image


fully- connected

Q(s,a)

PredNet AlexNet


記憶の流れ

AlexNetへ現在の画像を入力

記憶の流れ

image


fully- connected

Q(s,a)

PredNet AlexNet


記憶の流れ

メモリユニットへ現在の特徴量を入力

PredNetの概要

Alt =

xt

MAXPOOL RELU CONV El−1t( )( )( )

⎧

⎨⎪

⎩⎪

if l = 0l > 0

Alt

∧

= RELU CONV Rlt( )( )

Elt = RELU Al

t − Alt

∧⎛

⎝⎜

⎞

⎠⎟;RELU Al

t∧

− Alt⎛

⎝⎜

⎞

⎠⎟

⎡

⎣⎢

⎤

⎦⎥

Rlt =CONVLSTM El

t−1,Rlt−1( ) １層のみ使用

記憶ユニット(MQN)の概要

Et

htOt

Wc

過去のimageをencodeして溜め込む

Mtval =WvalEt

ht

htPt

ht

Mtval


htWc

過去のimageをencodeしてkey情報として溜め込む

Et

Otht

htPt

ht

Mtval

Mtkey =WkeyEt


htWc

key情報と現在のcontexからkeyを作成

Et

Otht

htPt

ht

Mtval

pt,i =exp ht

ΤMtkey i[ ]⎡⎣ ⎤⎦

exp htΤMt

key j[ ]⎡⎣ ⎤⎦j=1

M∑


htWc

keyを使って引き出す過去の情報を選別

Et

Otht

htPt

ht

Mtval

ot =Mtval pt


htWc

Et

Otht

htPt

ht

Mtval過去の情報を

流す

現在の情報を流す

学習結果（予測モデルのみ）

0

2

4

6

8

10

12

0 500 1000 1500 2000 2500 3000

結果がどうなるかご期待！

学習結果中のビデオ

　　今後の記憶ユニット改善計画

MQNに１）LSTMとfeedbackを加えてFRMQNにする

出力側からのfeedbackを加える

et

htLSTM ht−1,ct−1

ot

ot−1

LSTMを加えてcontextを回帰させる

DQN〜MQN〜FRMQN

終わり

Hackathon 161010 pressen

Technology

Transcript of Hackathon 161010 pressen