0+`[ba8K-!a3 dc dOe:P-01roni/10601-slides/ch4.pdf · d1 8K , 0 % :VMP:PO X- 8Q ;LNMPO:

31

Transcript of 0+`[ba8K-!a3 dc dOe:P-01roni/10601-slides/ch4.pdf · d1 8K , 0 % :VMP:PO X- 8Q ;LNMPO:

� ������� ��� � � ��� �� � � ���� ����� �

��� ���! "$#%'&)(�*� �,+.-0/ / �213 4�� �657�289+.:<;=��; &�%?>0@�&�%BA7@�&�%DC7@�&�%FE4@�&�%?>0>G(

HJI #�8K��;L#�-0M< N�1�:POQ;H R 89�! 4:P�S1TO ���;K+6�S17OHJU N�MVOL:PMW�YX0�S8 1��SO�Z�-08\[];H_^ �0+`[ba�8K-!a3�dc��dOe:P-01H_f :W � 4�S1 MW�YX0�S8 8Q�Sa�8Q��;L�S17Og�dOL:P-01h;H_i 5��d/ a�MP�0jlkm�0+.� � ��+.-!c01�:POL:V-01HJn 4op�d13+.�, Oe-0a�:W+S;

qsr tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ����������� ����� �� � ������� �

"$-013;L:W 4�S8 #7N�/ �)13;GjH�� �SN�8Q-01 ;LZ :POQ+g#�:P1�c OL:V/ � � �����4> ;L��+.-01h H�� N�/ � �S8�-�� 1��SN�8Q-013; � > �!#"H " -!1�1���+.Oe:P-013; a �S8 1��2N�8K-!1 � > �%$'&(H ) +.�S1�� 8Q��+.-0c!1�:POL:P-!1 OL:V/ � � �W> ;L��+.-!13 H > ��� :P1*� �S8K�213+.� ;LOL�Sa3; 4-]��;L1�+{O ;=�S�2/ MP:W[)� �S1�-0N�c0#

, / N3+9# a3�)89�dMVMP�SM +.-0/ a�N�OQ�dOe:P-01

- 8K-0a �28KOL:V��;J-��l�d8KOe:/. +.:W�)M�1��SN�8\�dM 1��SOQ; 0 n � � +x;219jHJU �d1TX 1��SN�8K-0143 MP:<[d� OL#�8Q��;L#�-0MW ;=Z :POQ+9#�:P1�c N�1�:VOQ;HJU �d1TX Z��S:Pc!#7OL�� :P17OL�289+.-!1�1���+.Oe:P-013; �d/ -01�c N�1�:POQ;H_f :Pc0#�MPX ah�d89�)MPMP�SM�@ �:W;=Oe8K:5��N�OL�� a�8Q-T+.��;Q;H_i / a�#3�0;L:W; -01 OLN�1�:P1�c Z��2:Pc0#7Og; �dN�OL-!/ �dOL:W+2�dMPMPX

q56 tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

���*� �� � ������� ����� � ������� � � � ��� ���

H�� 1�a�N�O :<; #�:Pc0#43 4:V/ �S13;L:P-013�)M 4:W;Q+.8Q�SOL� -08 8K���)M/3 op�)MPN��� 0 �0%�c�% 8\�,Z ;L�S13;L-08 :P1�a�N�O 1

H � N�OLa�N�O :W; �:W;K+68K�SOe� -08 8Q���dMop�)MPN��� H � N�OLa�N�O :W; � o0�,+.OL-08 - � op�dMPN���;H - - ;K;L:5��MPX 1�-0:W;LX ��dOQ�H k�-08Q/ - � OQ�)8Kc0�2O � N�1h+.OL:P-01 :W;JN�13[b1�- Z 1H_f N�/ �d1 8K�,�0 ��%��:VMP:PO X - � 8Q��;LN�MPO :<;JN�1�:P/ a -08QOQ�d1TO

i 5��d/ a�MP�,;Gj

H ) a �S��+9# a�#�-01��S/ � 8K��+6-0c01�:POe:P-01 ��� �d:5� �SMs(H�� / �dc!� +.MW�!;K;L:/. +S�)OL:P-01 ��� �d13�0 4�!@ ^ �dMPN��e�4@3� - Z MP�SX�(H k :P13�)13+.:W�dM a�8Q�� 4:W+6OL:P-01

q�� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� � � � � ����� ��� �� � � ��� ��� � � �����

Sharp Left

SharpRight

4 Hidden Units

30 Output Units

30x32 Sensor Input Retina

Straight Ahead

qPq tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ������� �� �����

w1

w2

wn

w0

x1

x2

xn

x0=1

.

.

Σ wi xi

n

i=0 1 if > 0

-1 otherwise{o =Σ wi xi

n

i=0

� 0�� !�� � � � � ��� 1� �����

> :/��� "�� � ! � !�� ������� ������� � �� > -0Oe#��S8QZ :<;=�0%

) -0/ �SOL:P/ �,; Z�� +{MPM N3;=� ;L:P/ a�MV�S8 o0��+6OL-08 1�-0OQ�dOe:P-01j

� 0��� 1�� �����

> :/� �� � �� � �� > -0OL#��S8KZ :W;L�0%

q�� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ����� � � ��� ��� ��� � ��� ��� � � ������� �� �����

x1

x2+

+

--

+

-

x1

x2

(a) (b)

-

+ -

+

� �Sa�8K��;L�S1TOQ; ;L-0/ � Nh;=� � N�M � N�13+.OL:V-013;H � #3�dO Z��S:Pc!#7OQ; 8K�2a�8K�,;=�S1TO� 0�� !�� ��� 1�� � 0 � ! � ��� 1��

^ N�O ;L-0/ � � N�1h+.OL:P-01h;J1�-!O 8Q�Sa�8Q��;L�S17Og�%��MP�H �0%{c�%?@�1�-0O MP:P1����)8KMPX ;=�2a3�d8\�%��MP�HJI #��S8K� � -08Q�0@�Z���+�MPMZ_�)17O 1��SO�Z�-089[]; - � OL#���;L�0%W%?%

qP¨ tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ������� �� ����� ��� � ��� � � ����� �

����� ��� � � ���Z #��S8Q�

� ����� � 0�� � � 1 ��� #��28K�0jH � � 0����1$:W; OQ�)8Kc0�2O op�dMPN��H � :W;Ja �289+.�2a�OL8Q-01 -0N�OLa�N�OH � :W; ;L/ �dMPM +.-01h;=OQ�)17O 0 �0%�c�%W@ %W> 1 +S�dMPMV�� � ������������� �������

� � tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ������� �� ����� ��� � ��� � � ����� �

" �d1 a�8Q- o0� :PO Z :PMPM +.-!17o0�S8Qc0�H�� � OL8\�d:P1�:V1�c ��dOg� :<;JMP:V1����d8QMPX ;=�2a3�d8\�%��MP�H �d13 � ;LN�� +.:P�217OLMPX ;=/ �dMPM

�}§ tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� ��� �*� � ��� ���*�

I - N�13 4�289;LOQ�d13 @�+6-013;L:W 4�S8 ;=:V/ a�MP�S8 � � ��� � � � ��� � @�Z #��S8K�

� � � " � � ! � ! � ����� � � � � �� �SO +F; MP���d8Q1 ���#+x; OL#h�dO / :P1�:P/ :��S� OL#�� ;��bNh�d8K�, �S8Q8K-!8

� ���� (� >A ����

0�� � � � � 1�

� #��28K� :W; ;=�SO - � OL8\�d:P1�:P1�c �65��d/ a�MP��;

��� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� ��� �*� � ��� ���*�

-1

0

1

2

-2-1

01

23

0

5

10

15

20

25

w0 w1

E[w

]

R 8\�0 4:P�217O� � ���� (� ����� �

� � " �� �� � ! �������

� �� � �

���

I 8\�d:P1�:P1�c 8KN�MP�0j� �� � � � � � ���� (

:�%��0%W@

� ����� � � � �� ���

�� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� ��� �*� � ��� ���*�

� �� ��� � �

� ���>A �

0�� � � � � 1�

� >A �

�� � �

0�� � � � � 1�

� >A �

A*0�� � � � � 1 �� ��� 0 � � � � � 1

� �0�� � � � � 1 �

� ��� 0 � � � �� � �� � 1

� �� � �

� �0�� � � � � 1 0 � ���� � 1

�sr tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� ��� �*� � ��� ���*�

� ��������� ����� ���������� 0���������� ��� � ! ����" #%$ !'& � � 1( ��)+* ������� ����� � ��,��.- / � � �10 � /�� ��� 243 �5* �6372 �8-9 �� � �;:=<?>@* � ��� �� �10 �A* � B �8) ��2 � 2C3 ����/ � �DB � � � �+0�<���%E � �F0 �5* � ����� ��� �?2 � �G/ � �?B � � � �IH � �10 �5* �� ����������� � ������� J �IH �KHL<MHANPO7Q.H

H�� 1�:POe:W�dMP: �S� ���0+9# ��� OL- ;=-!/ � ;L/ �dMPM 8\�d13 4-!/ op�dMPN��HSR 17OL:PM OL#�� OL�S8Q/ :P13�)OL:P-01 +6-013 4:POe:P-01 :W; / �SO2@�T -

U � 1�:POL:W�dMV: �S� �,�0+g# � ��� OL- �S�S8Q-�%U k3-08 ���0+9# 9��� � �;:�:P1 ���.��������� � ! �%��" #%$ !'& @�T -V � 1�a�N�O_OL#�� :P1h;=OQ�)13+.� �� Oe- Oe#�� N�1�:PO �)13 +.-!/ a�N�OL� OL#�� -0N�Oea�N�O �

V k3-08 ���0+9# MV:P1����d8 N�1�:VO Z��S:Pc0#TO ��� @�T -

� ����� � ��� � � 0�� � � 1 ��

U k3-08 ���0+9# MP:V1����d8 N�1�:PO Z��S:Pc0#TO ��� @WT -��� � ��� � � ���

�56 tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

��� � � �

- �S8\+.�Sa�OL8Q-01 OL89�):P1�:P1�c 8QN�MP� c0N3�d8\�d1TOL�S�� OL- ;LN3+S+.�S�, : �HJI 89�d:V1�:P1�c �G5��d/ a�MP�,; �d8Q� MV:P1����d8QMPX ;=�Sah�d89� ��MP�H ) N�� +.:P�S1TOLMPX ;=/ �)MPM MP���d8Q1�:P1�c 89�dOe� �

� :P1����d8 N�1�:PO Oe89�d:V1�:P1�c 8KN�MP� N3;=�,; c08\�0 4:P�S1TO 4��;Q+.�S17OH R N3�d8\�d17Oe�S�� Oe- +6-017o0�28Kc0� OL- #TX]a -0OL#���;L:W; Z :POL#/ :P1�:P/ N�/ ;��bN3�)8K�� �S8Q8Q-08

H R :Po0�S1 ;LN�� +.:P�S1TOLMPX ;=/ �)MPM MP���d8Q1�:P1�c 8\�dOL� �H_i o0�21 Z #��S1 OL8\�d:P1�:V1�c ��dOg� +.-01TOQ�d:P13; 1�-0:W;L�H_i o0�21 Z #��S1 OL8\�d:P1�:V1�c ��dOg� 1�-0O ;L�Sa3�d8\�%��MP� �TX �

��� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ������� � � �� ��� ������ � � � �� ��� � ��� � � � � � ��� ��� �

� ����� � ���� R 8\�0 4:P�217O T ��;Q+.�S1TOSjT - N�1TOL:PM ;Q�dOL:<; .��, >!%0" -!/ a�N�OL� OL#�� c08\�0 4:P�217O � � ���� (AT% �� � �� � � � � ���� (����������� ���������� ���� R 89�! 4:P�S1TO T ��;Q+.�S17O2jT - N�1TOL:PM ;Q�dOL:<; .��, H k�-08 ���!+g# OL8\�d:P1�:P1�c �65��d/ a�MP� � :P1 >0%0"$-0/ a�N�OL� OL#�� c!89�0 �:P�S17O � � � ���� (A7% �� � �� � � � � � ���� (

� ���� ( � >A � ��

0�� � � � � 1�

� � ���� ( � >A 0�� � � � � 1

� �%) ��� - � ���� �! �� � E ��� ��#" �+0 ) � �� +S�d1 �da�a�8K- 57:P/ �dOL�$ � ��)+* �����E ��� � �%" �+0 )�� �� �d8 ��:POe89�d8Q:PMPX +.MV-�;=�2MPX :/� �/ �0 �� ;L/ �dMPM �S1�-!N�c0#

�Pq tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� ��� �� � ��� ��� � � ��� ��� � � � � � � � � � ���#��

F1 F2

head hid who’d hood... ...

��� tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� � � � � � � ���

w1

w2

wn

w0

x1

x2

xn

x0 = 1

.

.

net = Σ wi xii=0

n1

1 + e-neto = σ(net) =

� 0�� 1�:W; OL#�� ;=:Vc0/ -0:W � N�13+.OL:V-01>

> � ! &��� :W+.� a�8K-!a �S8KO�X j ����� ���� � � � 0�� 1 0 > � � 0�� 1 1� � +S�)1 ��S8K:Vo0� c08\�0 4:P�217O 4��+.�217O 8QN�MP��; OL- OL89�):P1H � 1�� ;L:Pc0/ -0:W N�1�:POH � � � � � �� � � ��� � >62 ���I0 -��l;=:Pc!/ -0:W N�1�:POQ; ,^ �0+`[ba�8K-!a3�dc��dOe:P-01

�P¨ tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� � ����� � ��� ��� �*� � � � � � � � � � � � ���#

� �� � �

� �� � �

>A � ��

0�� � � � � 1�

� >A �

�� ��� 0�� � � � � 1

� >A �

A*0�� � � � � 1 �� ��� 0�� � � � � 1

� �0�� � � � � 1���� � � � �

� � �����

� � �0�� � � � � 1 � � �

� � ! � �� � ! � �� ���^ N�O Z�� [b1�-pZ j

� � �� � ! � �

� � � 0A� ! � � 1� � ! � �

� � � 0 > � � � 1

� � ! � �� ���

� � 0 �� � �� � 1� ��� � ���� �

) -�j� �� � �

� � ���� 0�� � � � � 1 � � 0 > � � � 1 ���� �

¨ � tvuxwxy{z}|�u6~�tv�v�}ux~e���?|=y�ux�?y��}�W�?�Y�)�P�x�W�����������P�������P�?�P�\�}�)��y�w �Wuxtvt¡���)wD¢`|�£B¤¦¥e�vtvt���§B¨P¨Pq

� � � � � ��� � � � � �� ��� � � � ����� ��

� 1�:POL:W�dMV: �S� �)MPM Z��2:Pc0#7Og; OL- ;L/ �dMPM 8\�d13 4-!/ 17N�/ � �S89;S%R 17Oe:PM ;Q�dOL:W; .��� @ T -H k�-08 ���!+g# OL8\�d:P1�:P1�c �65��d/ a�MP�0@ T ->0% � 1�a�N�O OL#�� OL8\�d:P1�:V1�c �G5��d/ a�MP� OL- OL#�� 1��SO Z�-08\[

�d13 +.-!/ a�N�OL� OL#�� 1��SO�Z�-08\[ -0N�OLa�N�OQ;A7%Yk3-08 ���0+9# -0N�OLa�N�O N�1�:PO �

��� � � � 0 > � � � 1 0 � � � � � 1� %Yk3-08 ���0+9# #�:< � 4�S1 N�1�:PO �

��� � � � 0� � � � 1 � �� ������������ � � �����

��� R ������� � �!�#"%$ &����('*)#+-, '*��.�/#$0� �����21� ���21 � � ���21 � � � � �31

'4$���+��

� �����21� � � 1 ����21

576 8:9<;<=?>7@�9�AB8:C:D79<A EGFH@I=B9<JH=LK7FMFHNPORQTS<UMVXWZY\[]YLQT^LW_V`WTaHbTc-d7eRCf=g;ihM9<8:8jb_eR;lkm@Bnporq C:8:8Gbs6p5T5Tt

� ����� ��� � ���� ����� ��������������

� � +�� � .T��& � � ����"���&0�4)�� ��+4��&0� .�+�� ���� "!$#&%(' '*��.T/#$ ��#� " � ) +

�*)*��� .,+,- / ��&���+-�.+T.,/ � � � ) ��+10�.T� +-��+1- � .�+�� "�� � � /#+��R��$2��*3 .,+,+54 & � � +T) "��.+76 &�)#�4&�� " �8�9����+�.,+,- /:+T)�0 �.+ ��+�+�) +; .T&�.,; <=;> ? & ��+-�#" � .M" ��6 )&@ � ��& '*)#+-,A� '*�B+,+DC]"���& +1<�& ; <=+T� .T�E+T�

� .,; ���GF� H @ � ��& .T& "I+,< � � '*��.T/#$ � J #.J �B�2 �KLJ M

N OQPSR 1 CUT�F�V WYX 1[Z PSR 1]\ M N OQPSR 1 CUT ^ � F�`_ .T& .,; .,/��8� ��+�+�)#+4)��#��+ "%1a&bc�=bd�Ae �gf �.; h=+T�8�> 3 .,+i+ .T� /#��& ��+��&+T.,/�� '*�B+,+ � ) �j<E02�I�8kl<���&0�

�If �.; h=+T���nm�`o +���.�&�.T&�/ " ��& ���#,�� � $�):<2���R& �=� )&@ .�� ��+-��� .T)#&p� q�j+T) ' r

�*s �I.T& / & ��� '*)#+-, ��@ � � + � +-��.T&�.T& / .S�Q�#��+1- @ ���I�

5,t 8:9<;<=?>7@�9�AB8:C:D79<A EGFH@I=B9<JH=LK7FMFHNPORQTS<UMVXWZY\[]YLQT^LW_V`WTaHbTc-d7eRCf=g;ihM9<8:8jb_eR;lkm@Bnporq C:8:8Gbs6p5T5Tt

� � ���&� � � � � ����� � � � ��� � � � �L ������� ���&����������

Inputs Outputs

� �� �� /�� � @U<���� � .������? �=h=< � H < � hE< ���������������� q ������������������������������ q ������������������ ����������� q ��� ���������������� ��������� q ����� ���������������� ������� q ������� ���������������� ����� q ��������� �������������������� q ���������������������������� � q ������������� �

! � �#"�$ �`0%� +�� �� ����&pm�m

'�( )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� � ���&� � � � � ����� � � � ��� � � � �L ������� ���&����������

� ��� ��� � ��� �Inputs Outputs

� � � ����& " $ &�& � � + -�� � � � h � �8�>� � �� �#$ ��� �? �=hE< � � $ & & � � H < � h=< �

� +,<������������������� q ��� � � � � � � q ���������������� ������������� q � � � � ��� ����� q � ���������������� ����������� q � � � ���� ����� q ��� ���������������� ��������� q �� ���� ��� � q ����� ���������������� ������� q � ��� � ��� � � � q ������� ���������������������� q ����� ��� ��� q �������������������������� ��� q �� � � � � ���� q ����������� ���������������� � q �� � �� � � � � q ������������� �

'�� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� �&�� � � � �

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0 500 1000 1500 2000 2500

Sum of squared errors for each output unit

'�� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� �&�� � � � �

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 500 1000 1500 2000 2500

Hidden unit encoding for input 01000000

'�� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� �&�� � � � �

-5

-4

-3

-2

-1

0

1

2

3

4

0 500 1000 1500 2000 2500

Weights from inputs to one hidden unit

'�f )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� ����� �A��� � � L� ��� � ���� ���� �����������

� �W & $ � � � & ����� � � � � � �#��; � +�� � +5; $ � $ ; <=;��� � � " h2� ��� �� +���0 +5; $ � $ ; <=; � � �

� � &�& ; �:; � � � <=;� � � � � "� � �:$ � �� & $ � � � & �8� � � � ��`o � $ � ; <=+ �#$ h=+�� ��� � � � $��#" & $�� � � � � � $ � $��� + � � $� �"� �

� � < � � �&@�� ���L��� �� � ��� �� ? � $��:$B + $ / � � � $� �"� � ��� � / � � ��`o " � � �g@ � � ��6 $ � $��#$B + ��� � � � � � � ��� ��� + $ ��� �� ? � � � � � $ � +,- ����� � + $ ��� � @U< � � �#$ ���2�`h%� �9� $ 0=+�� ��#� �$ � $ � h � � �� �8�9�#���

'�� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� � ����� ��� ��� � � ��� ����U���� � ��� � � �

� � �:+�� � @ <�� � �:$ ���2� ��*) ��� � - 0%� ��+�� � @U<���� �#$ ��� � � 0%� � �Bh � ���#� � � ��& 0L-��� ��� � � � � $��#" � $ � + � "�$ &�&�� � + -�� �

�*0=< � ; $� �" � � ��kl< $�� � �IfLh%����� � �:$B +DC $ � � <=; 0%� � �&@$ �=h=< � �GF " $ &�& � � <�� $�� �

! ��� �:$ �L<��:<2� @U< � � �#$ ���2� ��*) ��� � - 0%��<�� &���& � ��� �#$ � <���<2�*@U<�� � �#$ ��� � � 0%� h=h � � f $ ; � ��& � $ �#" � 0 $��#�W ��$ +,- �[; +,+ � ��� � � 6 0L-��� ��� � � � � $��#" ��� � " $ &�& � � + -�� � ! -A0%� � � � � ������ � � � $ � � � + � � �����

� � �L- @ <�� � �#$ ��� � � 0%� h=h � � f $ ; � ��& � � �� 0 $ �#� �� - � � < �W � - 0L- ��� � � � � � � $��#" � � � "�$ &�& � � + -�� � � ! -A0%� � � � � ������ �

'�' )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� ��� ��� � ����� � ��� � � �

0.002

0.003

0.004

0.005

0.006

0.007

0.008

0.009

0.01

0 5000 10000 15000 20000

Err

or

Number of weight updates

Error versus weight updates (example 1)

Training set errorValidation set error

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0 1000 2000 3000 4000 5000 6000

Err

or

Number of weight updates

Error versus weight updates (example 2)

Training set errorValidation set error

6���� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� ��� ����� � ��� ���� � ����� � ��������� ��������

... ...

+��I@ � � �#� � �� �" � <=h

(�� ?2(,t7����2/B.64

o -Ah $ � + $ �=h=< � $ ; ���

�! � � < � � � + � � � $ � " � & h%� �#��6 � & � ��� � � $ / $ � � � �&@ � � � @ �5���

6��76 )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� � ��� � ��� � ��� � ��� � � �� ����������

... ...

+��I@ � � �#��� � �"� <=h

( � ? (it7����2/B.64

� � � � ��& 3 � $� �"� �

o -Ah $ � + $ �=h=< � $ ; ���

"�#� h���� � � � � �B� � � ; < �0��& <��� � ��; ��@ �5��� � "� ; +

6��,t )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

�U��� � � � ��� ��� � � �� � ��� ��� ���� � �

��� � + $ / � + �� � � � $� �" � � �� C��O F� �

� � ��� ������� �������T� C�� ��� ^ � ��� F � \ ! PSR#" O �" P

o �W $ � ��� �� �� � � �[+���h%�8� � � �B+i+ �Q� +,<���� �� C$�O F%� �

� � ��� ���������&�������'((() C�� ��� ^ � ��� F � \ * " � P,+ ��� ���

-../0 � ���0 Z " � ^ 0 � ���0 Z " �

1�223�5476668

o $ � � � � �#" � � � � $ �"� � �� ��� � 6 $ � h " �����B; � � ���5� � $��:$ ��� ��� � � � ���

6���( )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f

� � � � � ��� ��� � �A� � � ��� �

x(t) x(t) c(t)

x(t) c(t)

y(t)

b

y(t + 1)

Feedforward network Recurrent network

Recurrent network unfolded in time

y(t + 1)

y(t + 1)

y(t – 1)

x(t – 1) c(t – 1)

x(t – 2) c(t – 2)

(a) (b)

(c)

6���� )+*-,-.0/213*546)+7+82*-4:9<;=1>.6*-?=.A@2;B;=CED�F�G-HBIKJMLON�LAF�PAJQIRJ�S=T�UWV2X�7Y.Z,\[B*-)+)]TQX�,_^`16acbed:7+)+)<Ts6c'�'�f