3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ......

115
Society5.0実現のためのIT技術者養成モデルカリキュラム開発と実証事業 2019年度「専修学校による地域産業中核的人材養成事業」 機械学習Ⅱ教材

Transcript of 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ......

Page 1: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

機械学習Ⅱ教材

■2019年度「専修学校による地域産業中核的人材養成事業」

Society5.0

実現のためのIT技術者養成モデルカリキュラム開発と実証事業

Society5.0実現のためのIT技術者養成モデルカリキュラム開発と実証事業

2019年度「専修学校による地域産業中核的人材養成事業」

機械学習Ⅱ教材

Page 2: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2019年度「専修学校による地域産業中核的人材養成事業」

Society5.0 実現のための IT 技術者養成モデルカリキュラム開発と実証事業

機械学習Ⅱ教材

Page 3: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

目 次

第 1 回:機械学習の概要 �����������������������1

第 2 回:単純パーセプトロン ������������������� 10

第 3 回:単純パーセプトロン ������������������� 17

第 4 回:多層パーセプトロン ������������������� 24

第 5 回:ニューラルネットワーク ����������������� 33

第 6 回:活性化関数 ������������������������ 47

第 7 回:勾配降下法 ������������������������ 57

第 8 回:確率的勾配降下法 �������������������� 63

第 9 回:誤差逆伝播法 ����������������������� 70

第 10 回:TensorFlow と Keras ������������������ 81

第 11 回:Keras による多層ニューラルネットワークの実装 ����� 85

第 12 回:学習アルゴリズム ��������������������� 90

第 13 回:過学習の回避 ����������������������� 95

第 14 回:モデルの保存と読み込み ���������������� 100

第 15 回:機械学習Ⅱ総復習 �������������������� 104

Page 4: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1

機械学習の 類とパーセプトロン

アジェンダ

● 機械学習とは● 機械学習の手法の分類

教師あり学習 教師なし学習 半教師あり学習 強化学習

● 代表的なアルゴリズム● パーセプトロン

歴史と発展 アルゴリズムの概要

1

Page 5: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

15

● ー ル ト ー の 学習アルゴリズムの とプロ ン とし はPythonPythonの リ し ー 分 要な ルの習

2 の り

2

Page 6: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3

Page 7: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

● 機械学習の手法 は の分類 法 あり 代表的な のは の3 分 の● 教師あり学習

教師 ー 学習し の ー し し手法

● 教師なし学習教師 ー は ー の のルール 手法

● 半教師あり学習の教師あり ー と の教師なし ー 教師なし ー し ル

化 手法● 強化学習

り しな り り の 法 し 法

4

Page 8: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

出典:http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

分類 ロ ート ー ン ー ル ト ー

ー ル ト ー

リン K - m e a ns 法

分分

アルゴリズムの は 機械学習 り

5

Page 9: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

の xi i

と の 発 の ンパル

の 化

展 -

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

発 の り の は強

6

Page 10: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

OR の

NAND の

分 な

展 -

パーセプトロン は 分 な な

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

プロパ ー ン 法 と りパーセプトロンの学習 となり 分 な

7

Page 11: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン展 ート ン ー

ート ン ー は ー ル ト し アルゴリズム の の

の の 表

し な 学習

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

ン ト ILSVRCントン教 の

ループ ー ル ト と 手法 1の の り 25.7% 15.3% と4

し し

展 -

8

Page 12: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンは の し 1 の

X 1

X 2

Y

W 1

W 2

X 1 X 2 :Y :出W 1 W 2 :

X i W i θ1 出 0 出

1 出

ン ア

ンプルなパーセプトロンの し

X 1

X 2

Y

W 1

W 2

:X 1 X 2 1 .0:W 1 W 2 0 .5:θ 0 .7

出 Y1 .0 0 .5 1 .0 0 .5 1 .0

0 .7 Y 1 .0

9

Page 13: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2 ン

パーセプトロンのアルゴリズム

アジェンダ

● 1 の り り パーセプトロンの歴史と発展 アルゴリズムの概要

● パーセプトロンのアルゴリズム● パーセプトロンの

10

Page 14: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

の xi i

と の 発 の ンパル

の 化

展 -

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

発 の り の は強

11

Page 15: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

OR の

NAND の

分 な

展 -

パーセプトロン は 分 な な

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

プロパ ー ン 法 と りパーセプトロンの学習 となり 分 な

12

Page 16: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン展 ート ン ー

ート ン ー は ー ル ト し アルゴリズム の の

の の 表

し な 学習

1943 ーロンの W. MCCLLOCH W.PITTS

1949 D.Hebb

1958 パーセプトロンの発表1969 教1969 トロン 教

1969 パーセプトロンの1969 80 AIの 1 ------

1984

1986

1986

1987 93 AIの ------2006 ート ン ー

2012 ープ ー ン

ン ト ILSVRCントン教 の

ループ ー ル ト と 手法 1の の り 25.7% 15.3% と4

し し

展 -

13

Page 17: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンは の し 1 の

X 1

X 2

Y

W 1

W 2

X 1 X 2 :Y :出W 1 W 2 :

X i W i θ1 出 0 出

1 出

1 ン

X 1

X 2

Y

W 1

W 2

とし し

14

Page 18: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンの し

X 1

X 2

Y

W 1

W 2

:X 1 X 2 1 .0:W 1 W 2 0 .5:θ 0 .7

出 Y1 .0 0 .5 1 .0 0 .5 1 .0

0 .7 Y 1 .0

2 ン

X 1

X 2

Y

W 1

W 2

ーロン 2 の の パーセプトロンの p ython し

15

Page 19: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3 ン

X 1

X 2

Y

W 1

W 2

ーロン アルゴリズム し

4 ン

X 1

X 2

Y

W 1

W 2

パーセプトロンの 化し

16

Page 20: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3 ン

パーセプトロンの

アジェンダ

● パーセプトロンのアルゴリズムの 習● パーセプトロンの● パーセプトロンのアルゴリズム

17

Page 21: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンは の し 1 の

X 1

X 2

Y

W 1

W 2

X 1 X 2 :Y :出W 1 W 2 :

X i W i θ1 出 0 出

1 出

ン ア

ンプルなパーセプトロンの し

X 1

X 2

Y

W 1

W 2

:X 1 X 2 1 .0:W 1 W 2 0 .5:θ 0 .7

出 Y1 .0 0 .5 1 .0 0 .5 1 .0

0 .7 Y 1 .0

18

Page 22: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

と の の2 な パーセプトロン ( S i m p l e p e r c e p tr on) は 分 な な とー ン ン ーと ー ア パパート 1 9 6 9 しパーセプトロン な 分 な とし ー し

ン ー の は+ × ÷ の の あり とは2 の はし の は の と2 の の の A N D O R N A N D 的

X O R り パーセプトロンの し の の 類 はhttp s : / / j a . w i k i p e d i a . or g / w i k i /

19

Page 23: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン O R

X 1 とX 2の T R U E = 1 あ X 1 O R X 2 T R U E とな と表 の と X 1 とX 2の2 の と は4

- 1 0 . 5 の X 2 = - X 1 + 0 . 5 と 4 の の 分と り

X1 X2 X1 OR X21 1 11 0 10 1 10 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

1 ン

アルゴリズム し

X1 X2 X1 OR X21 1 11 0 10 1 10 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

20

Page 24: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン A N D

X 1 とX 2の T R U E = 1 の の X 1 A N D X 2 T R U E とな と表 の と

- 1 1 . 2の X 2 = - X 1 + 1 . 2 と 4 の の 分と り

X1 X2 X1 AND X21 1 11 0 00 1 00 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

2 ン

アルゴリズム し

X1 X2 X1 AND X21 1 11 0 00 1 00 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

21

Page 25: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン N A N D

A N D N A N D となり 表 の と

X1 X2 X1 NAND X21 1 01 0 10 1 10 0 1

展 http://hokuts.com/2015/12/04/ml3-mlp/

X1 X2 X1 NAND X21 1 01 0 10 1 10 0 1

3 ン

アルゴリズム し

展 http://hokuts.com/2015/12/04/ml3-mlp/

22

Page 26: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン X O R

X 1 し はX 2の T R U E の の T R U E となり X 1 と X 2 と T R U E の は F A L S E とな的 X O R となり 表 の と

的 は 分 と の と の は パーセプトロン( S i m p l e p e r c e p tr on) は 分 な な と と し

X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

23

Page 27: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

4 ン

パーセプトロンの の

アジェンダ

● パーセプトロン の と パーセプトロンの● パーセプトロン 的 の

24

Page 28: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンは の し 1 の

X 1

X 2

Y

W 1

W 2

X 1 X 2 :Y :出W 1 W 2 :

X i W i θ1 出 0 出

1 出

ン ア

ンプルなパーセプトロンの し

X 1

X 2

Y

W 1

W 2

:X 1 X 2 1 .0:W 1 W 2 0 .5:θ 0 .7

出 Y1 .0 0 .5 1 .0 0 .5 1 .0

0 .7 Y 1 .0

25

Page 29: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

と の の2 な パーセプトロン ( S i m p l e p e r c e p tr on) は 分 な な とー ン ン ーと ー ア パパート 1 9 6 9 しパーセプトロン な 分 な とし ー し

ン ー の は+ × ÷ の の あり とは2 の はし の は の と2 の の の A N D O R N A N D 的

X O R り パーセプトロンの し の の 類 はhttp s : / / j a . w i k i p e d i a . or g / w i k i /

26

Page 30: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン O R

X 1 とX 2の T R U E = 1 あ X 1 O R X 2 T R U E とな と表 の と X 1 とX 2の2 の と は4

- 1 0 . 5 の X 2 = - X 1 + 0 . 5 と 4 の の 分と り

X1 X2 X1 OR X21 1 11 0 10 1 10 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

ン A N D

X 1 とX 2の T R U E = 1 の の X 1 A N D X 2 T R U E とな と表 の と

- 1 1 . 2の X 2 = - X 1 + 1 . 2 と 4 の の 分と り

X1 X2 X1 AND X21 1 11 0 00 1 00 0 0

展 http://hokuts.com/2015/12/04/ml3-mlp/

27

Page 31: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン N A N D

A N D N A N D となり 表 の と

X1 X2 X1 NAND X21 1 01 0 10 1 10 0 1

展 http://hokuts.com/2015/12/04/ml3-mlp/

ン X O R

X 1 し はX 2の T R U E の の T R U E となり X 1 と X 2 と T R U E の は F A L S E とな的 X O R となり 表 の と

的 は 分 と の と の は パーセプトロン( S i m p l e p e r c e p tr on) は 分 な な と と し

X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

28

Page 32: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

OR x1 1 x2 1なの h1 1NAND x1 1 x2 1なの h2 0AND h1 1 h2 0なの y 0

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

29

Page 33: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

OR x1 1 x2 0なの h1 1NAND x1 1 x2 0なの h2 1AND h1 1 h2 1なの y 1

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

OR x1 0 x2 1なの h1 1NAND x1 0 x2 1なの h2 1AND h1 1 h2 1なの y 1

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

30

Page 34: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

OR x1 0 x2 0なの h1 0NAND x1 0 x2 0なの h2 1AND h1 0 h2 1なの y 0

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

は の は3 パーセプトロン あパーセプトロンの し 学習 と 分 な とな と

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

1 2 3

31

Page 35: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1 ン

O R A N D A N D パーセプトロンの し

2 ン

O R A N D A N D 的 X O Rパーセプトロン し

32

Page 36: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

5

ー ル ト ー の 類と

アジェンダ

● パーセプトロン 3 パーセプトロンの り り● ー ル ト ー とは● 代表的な ー ル ト ー の

f e e d f or w a r d ne tw or k / ー ル ト ー c onv ol u ti ona l ne u r a l ne tw or k ー ル ト ー r e c u r r e nt ne u r a l ne tw or k ー ル ト ー

● の の ー ル ト ー

33

Page 37: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ア

ンプルなパーセプトロンは の し 1 の

X 1

X 2

Y

W 1

W 2

X 1 X 2 :Y :出W 1 W 2 :

X i W i θ1 出 0 出

1 出

ン ア

ンプルなパーセプトロンの し

X 1

X 2

Y

W 1

W 2

:X 1 X 2 1 .0:W 1 W 2 0 .5:θ 0 .7

出 Y1 .0 0 .5 1 .0 0 .5 1 .0

0 .7 Y 1 .0

34

Page 38: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

と の の2 な パーセプトロン ( S i m p l e p e r c e p tr on) は 分 な な とー ン ン ーと ー ア パパート 1 9 6 9 しパーセプトロン な 分 な とし ー し

ン X O R

X 1 し はX 2の T R U E の の T R U E となり X 1 と X 2 と T R U E の は F A L S E とな的 X O R となり 表 の と

的 は 分 と の と の は パーセプトロン( S i m p l e p e r c e p tr on) は 分 な な と と し

X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

35

Page 39: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

X O R ン

OR NAND AND のXOR(X1, X2) = AND(OR(X1, X2), NAND(X1, X2))

は の は3 パーセプトロン あパーセプトロンの し 学習 と 分 な とな と

の X1 X2 X1 XOR X21 1 01 0 10 1 10 0 0

展http://tuz.hatenablog.com/entry/2017/06/29/194801

1 2 3

1 の パーセプトロン は 的 X O R と 学 し のと ー ル ト ー の表 は し的 2 の ー ル ト ー ー ル ト ー ープ ー ン と

36

Page 40: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

f e e d f o r w a r d n e t w o r k/

f e e d f o r w a r d n e t w o r k/

の ー hiは 1 の の ー x iと w i しx i の h1 1 は h2i し

x1

x2

x3

x4

h1 1 h2 1

h2 2

h2 3

37

Page 41: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

f e e d f o r w a r d n e t w o r k/

h1 1 h2i は の し し1 . x i✕ w i し u k し の2. u k 化 しyk し の

展 https://ja.wikipedia.org/wiki/ 化

f e e d f o r w a r d n e t w o r k/

ー ル ト ー は の なパ ー 要 あ の し

展 https://ja.wikipedia.org/wiki/ 化

38

Page 42: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

f e e d f o r w a r d n e t w o r k/

ー ル ト ー は の なパ ー ありの ー の

の の ー の- - - の ア

の 化 の 類

展 https://ja.wikipedia.org/wiki/ 化

c o n v o l u t i o n a l n e u r a l n e t w o r k

39

Page 43: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

c o n v o l u t i o n a l n e u r a l n e t w o r k

ロ の分 ン ー ン の は と セン ーの 発とセン ーの 手法 と 分 し ート ン の ト ア アプリ ー ン

な ン ー ー ンは し

ン ー ンの分 ン ン I m a g e N e t A l e x K r i z he v s k yの ーム 20 1 2し し 手法 ー ル ト ー

展 https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

c o n v o l u t i o n a l n e u r a l n e t w o r k

ー ル ト ー は 機械学習 は 化 要 ありンプルな ー ール 化 と 25 5 な は 0 と表

のの は な と あり

展 https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

40

Page 44: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

c o n v o l u t i o n a l n e u r a l n e t w o r k

機械学習 の は 学習 ー / 要 ありー ル ト ー は と 手法 し

1 . の ル し の は02. 1 し の し の は33 . の り し プ し

展 https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

ル プ

c o n v o l u t i o n a l n e u r a l n e t w o r k

プの プーリン ー し の のプーリン し

プーリン ー ル ト ー 教師あり学習 し

展 https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

Maxプーリン

3332

NN

41

Page 45: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

c o n v o l u t i o n a l n e u r a l n e t w o r k

ー ル ト ー は の なパ ー 要 あ の し

c o n v o l u t i o n a l n e u r a l n e t w o r k

ー ル ト ー は の なパ ー ありプーリン の のプーリン ル の ズとの の ー のの - - の アの の 化 の 類

42

Page 46: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

r e c u r r e n t n e u r a l n e t w o r k

r e c u r r e n t n e u r a l n e t w o r k

ー ル ト ー と し の の なり

あ の は の の と ー り と

43

Page 47: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

r e c u r r e n t n e u r a l n e t w o r k

T の のなの のなの は の T - 1T - 2 の しな な な

の はOK, Noodle.

の はOK, Noodle.

TT - 1T - 2

と の

と の

r e c u r r e n t n e u r a l n e t w o r k

の分類 ー ル ト ー な

44

Page 48: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

r e c u r r e n t n e u r a l n e t w o r k

の分類 ー ル ト ー のは の な分

機械

ト ン

の分 のは あ の は の しな な な とー と

45

Page 49: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

は代表的な ー ル ト ー あの ー ル ト ー り し

の 学習 ート ン ー ル ン ンル あ G A N な 20 1 8 な ー ル ト

機械学習の分 は し ア ア り学習 し は w e b トの し

展 https://www.asimovinstitute.org/author/fjodorvanveen/

46

Page 50: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

6

化 の 類と

アジェンダ

● f e e d f or w a r d ne tw or k / ー ル ト ー の り り● 化 とは● 代表的な 化 と の

47

Page 51: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

f e e d f o r w a r d n e t w o r k/

の ー hiは 1 の の ー x iと w i しx i の h1 1 は h2i し

x1

x2

x3

x4

h1 1 h2 1

h2 2

h2 3

f e e d f o r w a r d n e t w o r k/

h1 1 h2i は の し し1 . x i✕ w i し u k し の2. u k 化 しyk し の

展 https://ja.wikipedia.org/wiki/ 化

の学習

48

Page 52: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

化 は の u k の 化 の yk し

化 とし プ R e L U な あり化 とし ト あり

49

Page 53: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

し り と的 パーセプトロン

50

Page 54: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1

プ し し

は 分の あ と プロパ ー ン ー ル ト ート ー 学的 と な ー ンの し と の

し し

51

Page 55: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2

し し

R e L U

R e L U とはR e c ti f i e d L i ne a r U ni t 化 のし 0 のと 0 なり 1 り と の し

52

Page 56: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3 R e L U

R e L U し し

53

Page 57: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

と の

4

し し

54

Page 58: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

の 化 と の し ー ル ト ーな なり

と のな ト ー

h( x ) = c x 化 とし 3 とy= h( h( h( x ) ) と表 hは なのc り y= c * c * c * x ( y= a x ) と のな ト ー 表 と なり

K の 分類 し は K は 1 あり の と

55

Page 59: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

5

ト し し

56

Page 60: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

7

法の 的と 類

アジェンダ

● ルの の な の ルの と の 化 法

57

Page 61: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ルの は 要 の ト との と

の と の と

x = 25 はJ は- 1 0 なりx = 3 0 はJ は+ 5 なり

の は なの 2 し 2 と

x = 25 はJ は1 0 0 なりx = 3 0 はJ は25 なり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

の し

の の 分の 1 / 2 し

とし 2 と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

58

Page 62: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

は の 分 0 0 な 要 ありー の は なの

表 と の とw 3 り し な ー ン と ルの な と り

ー ン のあ のと w 4 と とw ルの なりw 2 と と w ルのなり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

ー ン の の 分 の のと は w し の

と のと は学習 と なり との 分し 法

法と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

59

Page 63: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1

J = x 2 - 4 x + 5 とな x プロ ム し

2

り な し

60

Page 64: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3

学習 し と し

4

学習 し 発 と し

61

Page 65: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

学習 と な とし し 学習 し と し しな しは な学習 ートし 学習 し の な り

学習 0.01 学習 1.0学習 0.4

62

Page 66: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

8

法の 類と 的 法

アジェンダ

● 学習 法 の 習● 法の 類

法 的 法

● 的 法

63

Page 67: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ルの は 要 の ト との と

の と の と

x = 25 はJ は- 1 0 なりx = 3 0 はJ は+ 5 なり

の は なの 2 し 2 と

x = 25 はJ は1 0 0 なりx = 3 0 はJ は25 なり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

の し

の の 分の 1 / 2 し

とし 2 と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

64

Page 68: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

は の 分 0 0 な 要 ありー の は なの

表 と の とw 3 り し な ー ン と ルの な と り

ー ン のあ のと w 4 と とw ルの なりw 2 と と w ルのなり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

ー ン の の 分 の のと は w し の

と のと は学習 と なり との 分し 法

法と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

65

Page 69: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1

学習し 法 の し

法 の の し パ ー し の の の の あ り とな パ ー と の の な し と リ ト あり

的 法 学習 ー ン ム 1 り し し パ ー し 1 の ー な の なり 化 化 り なり 学習 ン ム し ー パ ー し と

リ ト あり

66

Page 70: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

法 は の 分 0 な 0 な パ ー しX = - 6 ートし A と あり C の

法のアルゴリズム はA と なし しA と C と 的 と

展 https://qiita.com/koshian2/items/028c457880c0ec576e27

A

B

C

2

X = - 6 ートし A と し

展 https://qiita.com/koshian2/items/028c457880c0ec576e27

A

B

C

67

Page 71: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

3

学習 ー ン ム 的 法 しX = - 6 ートし A と しX の 2 ートし C と し

展 https://qiita.com/koshian2/items/028c457880c0ec576e27

A

B

C

4 ンダ ン ン

学習 ー の ン ム し し

展 https://qiita.com/koshian2/items/028c457880c0ec576e27

A

B

C

68

Page 72: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

学習 ー の ン ム ー し学習 と り習4 の ン ム し の ー とし 学習 手法 学習と

展 https://qiita.com/koshian2/items/028c457880c0ec576e27

A

B

C

習3パ ー -6とし

習4パ ー -6 6 ン ムし 1.9 ート

69

Page 73: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

9

ー ル ト ー パ ー の 化

アジェンダ

● の 習● 法とは

ー ル ト ー のパ ー

70

Page 74: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ルの は 要 の ト との と

の と の と

x = 25 はJ は- 1 0 なりx = 3 0 はJ は+ 5 なり

の は なの 2 し 2 と

x = 25 はJ は1 0 0 なりx = 3 0 はJ は25 なり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

71

Page 75: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

の し

の の 分の 1 / 2 し

とし 2 と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

は の 分 0 0 な 要 ありー の は なの

表 と の とw 3 り し な ー ン と ルの な と り

ー ン のあ のと w 4 と とw ルの なりw 2 と と w ルのなり

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

72

Page 76: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ー ン の の 分 の のと は w し の

と のと は学習 と なり との 分し 法

法と

展 https://shironeko.hateblo.jp/entry/2016/10/29/173634

73

Page 77: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

プロパ ー ンの 的な 学習 1 の ンプルな ー ル ト ー化 は のし の は 分 と な

法の学習 は し化し パ ー は の り

- w 1k と ア b 1 b 2

- w 2k と ア b

展 https://www.yukisako.xyz/entry/backpropagation

の手 学習し

74

Page 78: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

化し パ ー は の り- w 1

k と ア b 1 b 2- w 2

k と ア b

J = E ( w 1k , b 1 , b 2, w 2

k , b ) と と パ ー は の と なり

展 https://www.yukisako.xyz/entry/backpropagation

2 あ z ( x , y) = x 2+ y2 の 分は の なり

1 の は x 化 とz し2 の は y 化 とz し

の の の 1 の 分 と 分と

75

Page 79: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

の 分 は y u の u x の あ と y x 分 は の し

z u の u ( x , y) の あ z x し はz y 分 は の し

教 は 化 と し し の は 分 と な法の学習

は の し

分 と の なり

76

Page 80: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

- w 2k

W 2k の 法 は の

要 あり

E w 2k 分し は の

しの 分の y

w 2k 分し

展 https://www.yukisako.xyz/entry/backpropagation

- ア b

b の 法 は の要 あり

E ア b 分し は のし

の 分の y アb 分し

展 https://www.yukisako.xyz/entry/backpropagation

77

Page 81: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

W 1k の 法 は の

要 あり

E w 1k 分し は の

しE w 1

k 分 は -のw 2

k 要 あり w 2k し

w 1k 要 あ の逆伝播と 表

- w 1k

展 https://www.yukisako.xyz/entry/backpropagation

b k の 法 は の要 あり

E ア b k 分し は のし

ア の - のw 2k

要 あり

- ア b k

展 https://www.yukisako.xyz/entry/backpropagation

78

Page 82: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ー ル ト ー 学習とは と ア し J = E ( w 1k , b 1 , b 2, w 2

k , b ) しと

は の り し 要 あり

は 化の 1 の ンプルな ー ル ト ー し 化 は のしし

の り 化し ー ル ト ー 法の学習 な w e b ト しの のあ は し

20 1 9 T e ns or F l ow の パーのk e r a s な 法 リ しの な の リ と な ー ル ト ーと

79

Page 83: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1

1 ト2 の ンプルな ー ル ト 法 し

展 https://www.yukisako.xyz/entry/backpropagation

80

Page 84: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

10 T e n s o r F l o w K e r a s

リ し ー ル ト ー の 発

アジェンダ

● T e ns or F l ow とは● K e r a s とは● 発 手

81

Page 85: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

T e n s o r F l o w

G oog l e 発し ープン ー し 機械学習 の ト ア リの とhttp s : / / g i thu b . c om / te ns or f l ow / te ns or f l ow

T e ns or F l ow は G oog l e の の G oog l e B r a i n ーム 発 し 発 的は学習 的 と パ ーン し ー ル ト ー

と ムの の要 と

T e n s o r F l o w

H P http s : / / w w w . te ns or f l ow . or g / ン トールの ートリアルな

82

Page 86: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

K e r a s

K e r a s は Python ープン ー ー ル ト ー リ http s : / / k e r a s . i o/ M X N e tD e e p l e a r ni ng 4 j T e ns or F l ow C N T K T he a noの し ープ ー ル ト ー な

ール あ と 的な 発はG oog l e ン アのF r a nç oi s C hol l e t

T e n s o r F l o w K e r a s

T e ns or F l ow とK e r a s と な ー ル ト ー 的 と

ア ン ン

パー化 の ー

83

Page 87: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1 T e n s o r F l o w K e r a s

ン し 発 し 機械学習 リの p i l l owン トールし

ール 化 j u p yte r の 要

$ pip( conda) install tensorf low keras pillow py dot h5 py

2

T e ns or F l ow とK e r a s ン トール と し

84

Page 88: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

11 K e r a s

リ し ー ル ト ー の

アジェンダ

● の 法● の 法● 学習 の 法

85

Page 89: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ン ト し はa d d ( ) と と

ン ト の

add の

ー の トの と の し

ン ト の

add の

784 の ー 32 の

の は10

86

Page 90: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

化 し

ン ト の

add の

の 化 はReLU

の 化 は ト

し と との と

87

Page 91: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ト ー のー の は201の は64 化 はReLU2の 64 化 はReLUの は1 化 は

は2 分類 の し

学習のの

1

2 の ー ル ト ー し 学習/ し

88

Page 92: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2

I r i s ー ア ー し ー ル ト ー しI r i s ー http s : / / e n. w i k i p e d i a . or g / w i k i / I r i s _ f l ow e r _ d a ta _ s e t とは機械学習の ー セトの と

3

の し し し と

89

Page 93: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

12 ア

学習の

アジェンダ

● と 的 の分● 学習 ー と ト ー の分● 的 のone hot v e c tor 化● 学習と

90

Page 94: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ー セ トは と 的 とな機械学習 ル の 的 とし し の とし の

ア ー

と の の ーあ の 類 の とし

あ の 類的 とし

1

ア ー と 的 分 し

ア ー

と の の ーあ の 類 の とし

あ の 類的 とし

91

Page 95: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ルの と は ー セ ト 4 分 要 あり学習 ー ル し ト ー ルの し

ー セ ト

学習 ー

ト ー

学習 ー

ト ー

学習 ー的

ト ー的

2

ア ー セ ト 学習 ー と ト ー 分 し

ー セ ト

学習 ー

ト ー

学習 ー

ト ー

学習 ー的

ト ー的

92

Page 96: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

o n e h o t v e c t o r

ア ー の 的 は の s e tone / v e r s i c ol or / v i r g i ni c a の とな

1 の 的 の 3 のone hot v e c tor し 機械学習 し

3 o n e h o t v e c t o r

ア ー の 的 one hot v e c tor し 機械学習 し

93

Page 97: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

的 法 学習 ー ン ム と と 学習し しー セ ト ン ム し ー セ ト と 的 法 1 の学習 1

しー セ ト し 学習 と 1 の学習 し と

1 の学習 と の し 2 の学習 と

ー セ ト

ー セ ト

ー セ ト

ー セ ト

ー セ ト

4

学習 し な と し

94

Page 98: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

13

の リン

アジェンダ

● 学習 と ト の● 学習 と の の● 学習の

95

Page 99: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

ルの学習 の の の の tr a i n のと ト ー ル し し の の te s t の

学習 ー

ト ー

K e r a s

ル 学習 f i t v a l i d a ti on_ d a ta と ト ー し

1 の学習 と ト ー と

96

Page 100: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

K e r a s

F i t の り 表 と

1

ル学習 と ト の の し

学習 ー

ト ー

97

Page 101: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

学習 ー な ト ー な と 学習と

学習 ー し し ト ー の と

の ー ル ト 化 H i nton 手法ー ル ト ー 学習 あ の の ー の の し しな の

学習 の は の ー し 学習 と り し り学習ト ー の 強 的 し 化 学習 と

展 http://sonickun.hatenablog.com/entry/2016/07/18/191656

98

Page 102: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2 ア

ロ プア ト し し

展 http://sonickun.hatenablog.com/entry/2016/07/18/191656

化アルゴリズム し

化化

ー の 化 化パーパ ー の

U R Lhttp s : / / w w w . he l l oc yb e r ne ti c s . te c h/ e ntr y/ 20 1 6 / 1 1 / 1 3 / 0 3 5 4 4 3http s : / / q i i ta . c om / j i ny20 0 1 / i te m s / 1 d 3 f 2d 0 3 7 0 b 26 8 9 d 2d a 7http s : / / w w w . he l l oc yb e r ne ti c s . te c h/ e ntr y/ 20 1 8 / 0 2/ 1 0 / 0 8 4 8 4 0 # リ ー

99

Page 103: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

14

K e r a s

アジェンダ

● K e r a s ルの● K e r a s ルの● ルの 学習

100

Page 104: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

学習 ー の ー ル ト ー な ルの学習 はの学習 は ル と 要となり

ルの パ ー の 学習 パ ーン の パーン は 学習の ル し と 要 なり

K e r a s

K e r a s のm od e l ン ン のs a v e し

101

Page 105: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

1 K e r a s

ル し 学習 ル し

ル ト し り は ル 学習 とあり

の学習 し ルの し ル 学習し の ルの

102

Page 106: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

K e r a s

l oa d _ m od e l りm od e l ン ン し の学習と m od e l ン ン のf i t 学習

2 K e r a s

し ル 学習 し

103

Page 107: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

15

1

● 機械学習の代表的なアルゴリズムと の概要● 1 9 6 9 M . M i ns k y パーセプトロンの し

104

Page 108: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2 ン

パーセプトロン しーロン 2 の の パーセプトロンの p ython し

3 ン

パーセプトロン アルゴリズム しパーセプトロン アルゴリズム しパーセプトロン アルゴリズム し

105

Page 109: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

4 ン

O R A N D A N D 的 X O Rパーセプトロン し

5

ー ル ト ー は の なパ ー 要 あ の しー ル ト ー は の なパ ー 要 あ の し

の分類 ー ル ト ー な

106

Page 110: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

6

プ し しし し

R e L U し しし し

ト し し

7

J = x 2 - 4 x + 5 とな x プロ ム しり な し

107

Page 111: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

8

的 法 し化 し

9

し法の の 習し

108

Page 112: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

10 T e n s o r F l o w K e r a s

T e ns or F l ow とK e r a s しT e ns or F l ow な K e r a s リ ト

11 K e r a s

I r i s ー ア ー し ー ル ト ー し

109

Page 113: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

12 ア

ア ー と 的 分 しア ー セ ト 学習 ー と ト ー 分 しア ー の 的 one hot v e c tor し

学習 し な と し

13

ル学習 と ト の の し学習 しロ プア ト し ー ル ト ー し

110

Page 114: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

14

ル し 学習 ル しし ル 学習 し

111

Page 115: 3-3 機械学習Ⅱ教材 本文 - r1monka-itaku.net · 機械学習Ⅱ教材 ... 第10回:TensorFlowとKeras 81 第11回:Kerasによる多層ニューラルネットワークの実装

2019 年度「専修学校による地域産業中核的人材養成事業」

Society5.0 実現のための IT 技術者養成モデルカリキュラム開発と実証事業

■実施委員会

◎ 船山 世界 日本電子専門学校 校長

大川 晃一 日本電子専門学校 エンジニア教育部長

/ケータイ・アプリケーション科科長

種田 裕一 東北電子専門学校 第2教務部長 学生サポート室長

勝田 雅人 トライデントコンピュータ専門学校 校長

安田 圭織 学校法人上田学園 上田安子服飾専門学校

平田 眞一 学校法人第一平田学園 理事長

平井 利明 静岡福祉大学 特任教授

木田 徳彦 株式会社インフォテックサーブ 代表取締役

渡辺 登 合同会社ワタナベ技研 代表社員

岡山 保美 株式会社ユニバーサル・サポート・システムズ 取締役

冨田 慎一郎 株式会社ウチダ人材開発センタ 常務取締役

■調査委員会

◎ 大川 晃一 日本電子専門学校 エンジニア教育部長

/ケータイ・アプリケーション科科長

菊嶋 正和 株式会社サンライズ・クリエイティブ 代表取締役

柴原 健次 合同会社ヘルシーブレイン 代表 CEO

上田 あゆ美 株式会社ウチダ人材開発センタ

■人材育成委員会

◎ 大川 晃一 日本電子専門学校 エンジニア教育部長

/ケータイ・アプリケーション科科長

福田 竜郎 日本電子専門学校 AI システム科

阿保 隆徳 東北電子専門学校 学科主任

小澤 慎太郎 中央情報大学校 高度情報システム学科

神谷 裕之 名古屋工学院専門学校 メディア学部 情報学科

北原 聡 麻生情報ビジネス専門学校 校長代行

原田 賢一 有限会社ワイズマン 代表取締役

柴原 健次 合同会社ヘルシーブレイン 代表 CEO

菊嶋 正和 株式会社サンライズ・クリエイティブ 代表取締役

2019 年度「専修学校による地域産業中核的人材養成事業」

Society5.0 実現のための IT 技術者養成モデルカリキュラム開発と実証事業

機械学習Ⅱ教材

令和 2年 2月

学校法人電子学園(日本電子専門学校) 〒169-8522 東京都新宿区百人町 1-25-4 TEL 03-3369-9333 FAX 03-3363-7685

●本書の内容を無断で転記、掲載することは禁じます。