welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J *...

32

Transcript of welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J *...

Page 1: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

������������ ���������������������������������� ����������

�! #"%$&�('*) +,).-� /+102 4357698;:.<>=@?A6CB#=,DFE�G%HJI�KMLON�K>P,Q/:.?R�<>LTSVUJ6XW1B#LOYC6�<ZK�LT=@I.[Q/:.YC6�B#S.L\K>H]�:JRZD^<_:^=@D.<`I�P%ab:.S.LOB.U*cd6CI�e2D�:.SfPQ/:.?R�<>LTSVUJ6�PgQihkj�lfmonk[oW1B#LO=@6`Sqp�LOB.UJS^D.?[rtstuwvxs^y;z{rt|*s*}/~�u{s{rg~_stu�~��xv

���1���C���#�f�.�*�#�����*�@�J�F�g�.�F��*�C�x�Z�{�#�*���_�,�J���.�1�`�*����f�/�A�*�d�Z�d�����.�C�%�x�C�F���C�*�>�F�J�*�2�^�F��x�*�x�*���^���Z�*�.�d�g�@�J���*�J�*�d���*�C�.���F�� J�F���Z���¡�*�b�^�*�b�����f���Z�£¢#�C�f�Z�d�J�X�x�F�*¤*�¡�C���C¥��¦�F�J�§�¨,���.���Z���.���x�C�9�`�x�����Z�d©.�.ª«�����*�.�d�����{���A�*�C�x�Z�f���*���F�2�*�Z�A�A�J�x���¬�C�.�­¤t��©J�d���,���b�{��x�>¢®�*���* ���x�F�d�J�o�x�F�J¤x�.¤*�d�d�d�F���x�d�Z�`�F��¤x�*�Z�d�J���f©.�C�g�*�*�^¯&�¡���*�C�.�°�&�x�*���Z�d�J�*�Cª¦�.�*���`�*��*�C�x�Z�f�,�*���F�2�*�Z�#±²�³�d�C�.�Z�*���* X�x�F�*�����Z���C�^�X¤x�����.�Z�C���x�F���Z���´���µ�Z�C�Z�A���f�2�`�*���x�.�F¯�Z�C�F�d�J���x�9�J¤x�.¤*�d�d�¡�F�¶�x�d�Z�`�F��¤x�*�Z�d�J�µ�w©^�C�g�`�*��x�x�*�*�f�³�·���x�*���Z�d�J�¦¥,¸@¹*�J�A���d�C�.�Z�*���* �f�d .�J�9�¡�>�x�A�!�Z�C�.�F�����@�J�¬�`�*�,�&�x�*���Z�d�J�A�g�d�`��q�fºJ���A�x�»�x�^�Z�Z�C�F�d�J�!�x�F�*¤x�.¤*�d�¡�d�F�­�.�*��.�`�*�C�%¼¶�J�^�Z�³½g�^�F�d�������`�*�J�x�°�#�Z���¾�`�.�q�*�¡���k���F�*�¿�>�*�¡�o�x�.�Z���C�F�d�J�,�x�F�J¤x�.¤*�d�d�d�_�xÀ�¥

ÁÂ���>�*���d���A�d���f�!���.�F .�¤x�*�o�.�`�*�C�F�g�d�Z���Z�`�.�*�#�^�F�b�*���F�,�J�Z�^�CªxÃg�C�{�k¸FÄ�Å.Å.Æ.À,�x�f��`�*�f�³�·�`�x�f�g�`�*�A�x�F�d�J�°�x�¡���`�F��¤x�*�Z�d�J���f©.�C�g�*�J�^¯&�d���*�C�.�o�&�x�*���Z�d�J�*�o����*�d�¡���´¤.���`�*�¨,���.���Z���.���*�C�x���f���*���F�,�J�Z���&�f�d�d�³���¶�A�����f�Z�o�f�/�x�F�J¤x�.¤*�d�d�d�_���x�d�Z�`�F��¤x�*�Z�d�J�*���*�*�f�³��f��Ç��.�*���Z���.�¶�x�F�J�������Z���C¥�Èg�*�A�.�x�x�C�Z�x�^�Z�.�A���Z�C�9���f�/�`�*���*�C�x���f�/�*���F�2�*�Z�­���J�x����x���Z�C�Z�����*���`�*�����x�.�Z�f���Z�C�9�¡���Z�d���d�C�* .�`�*�Z�C�{�¡�����f���`�*��Ç��^�*�Z�Z���.�(�x�F�*�����Z�C¥/ð�C�f�@±É��J¤*�Z�C�9©w�f�Z�d�J�´�A�.���¡©f�f�Z�����`�*��d�x�C���f�g�x�¡���C�.�F�x���* Ê�x�.�Z�^�A���Z�C�F�dË����(�*���_�,�J���.���.�*��,�J�Z�^���* ­�x���F�����Z�d�¶�g�d�`�¶Ç��^�*�Z�Z���.���x�9�J�����Z�����C¥®½k�J��x�*�`�f���¡�*�*�³���¶�³�*�d�����`�*���x��¯�Z�.�����Z�C�F�g�f�!�`�*�A�*���_�,�J����.�F���J�*�������¡Ë����X�.�9���`�*�C���F�C�*���f�����X¤^���Z����*�d���f�`�F�dº�J�t�C�Z�f�Z�d�J�*�³�*�����* ��`�*�����w©f�.�F���.�*������{�`�F�dº­�{���`�*��Ç��.�*�Z�Z���.���x�F�*�����Z�C¥

ÁÂ�´�`�*�d�����x�.�*�Z�C�AÁo�g�d�d�³�F��©*�d���Ì�2�*�Z���J�X�>�*�¡�q�¡�x�C�¶¤^�XÍÎ�d�¡�d���.�A���.�*�(Ïg�f�F¯�A�*�Z�Z�C�θFÄCÅ.Å^Æ.À�ª�ð�C�f��¸FÄCÅ.Å.Ð^À�ª�¨,�.�Z¤x�C�A�.�*�´ÍÎ�d�¡�d���.�A�X¸FÄCÅ^Å.Ð.À��.�*�(Ç���¤x¤*�­�.�*�¼X�f�CÑ�����¸FÄ�Å.Å.Ð.À�ª��.�*�A�g�d�¡�¦�f�Z�Z�����!�³�*���`�*�C��ª��@�J�1�`�x�t�C�F©J�d�Z�����F�� J�9���Z�Z�d�J�A�.�*������f�F¯�Z�£¢#�C�f�Z�d�J�·�`�f�`�^�Cª*�`�*�o�@�����*�Ò�*�F�g�.�F���*���F�,�J�Z��x�f�o¤x���C���>�x�x�C�F�����x����¥

Ó#Ô,Õ%Ö¦×XÔ2Õ%�¼¶��d�����`�x�F���g�*�­�*�C�x�Z�{�4�*���F�,�J�Z�^�g�.�*��Ç��.�*�Z�����^�­�x�F�*�����Z�Z���k�Ò�C�f�>�x�F�7���Z��Øx�*�C�*����f�x���J��x�*�Z�C�4�x�C�A�J�*�Z�`���f�Z�d�J�*���³�9�¡���Z�C�o�����`�*�1�&�F���!���.�* J�x�f ^� }xufÙ;s^Ú«Û ¥�Èg�*�%�Z�J�x�F���

Page 2: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� �! «"/$&� 'J)É+,).-A /+10, ¦3

���*�x���d�7��©f�f�d���^¤*�¡�A�f���� ÙJÙ��������x}� !~F|Js%~�� � y2~�u{s{rg~_stu�~��Jv��Cr#stuwvxsfy�� ¥

¼X�.�Z��Ç���¤x¤*�C±²�g�Z�f�@�F�k�^�F�,�@�J�gÇ��^�*�Z�Z���.���x�F�*�����Z�Z���o�d�7��©w�{�¡���.¤*�d�A�f���� ÙJÙ��������x}� !~F|Js%~�� � y2~�u{s{rg~_stu�~��Jv��Cr������������������,~ � Ù^r� ¥

Ïg�{�*�Ò�J�9��Ãg�C�f�@±É�o�d�7�{� � Ù*Ù������������2~�u �~ÂÙ;}*|*}��xÙ;}%~�Û�!{�"��#C|*s�!�$x}J|!� ¥% � �'&�(x��&*)+(,¹*���*�����`�*���x�x¤*�d�d�C�f�Z�d�J�(�{�°Ï°�x�A�����x�.�F�Cª.-°���.���J�Ê�^�*�ÊÍÎ�d�d�¡���.���C±É�X¸FÄCÅ�/.Æ^À��x�.�x�C��J�A�>�x�x�C�F©*�d�Z���­�d�C�.���*���* A�����*�C�x�Z�f�®�*���F�,�J�Z�^�1�`�*�C�F�³�x�f�,¤x���C���o�`�x�F .�°�f�®���^�Z�C�F���Z������`�*���C��*���F�d�C�f�!�A�J�x���d�d���* ��f�/�F�����f�Z�d�J�*�>�*���*�����¶�*�d J��0J�x���A�C�*�Z�d�J�x�{�!�#�f�`��*�Z���* �*�J�*�d���*�C�.���x�^�Z�.�A���`�9�¡�¶�A�*�x���¡���>�*�M�Î�f���A�*�¡���10*�����.�C���x�C�9���C�*�`�F�J�*���.�*� �Z�{�x���{�¤x�f�Z�d�%�&�x�*���Z�d�J�*�C¥xÁ&�q�`�*�³¨,���.���Z���.�q���.�Z�C���x�F���`�f�Z�d�J���f���`�*���Z���A�J�x���d�d���* ������`�*�J�x��ª�¶�*�J�*�d���*�C�.�A�&�x�*���Z�d�J�32¦¸54�ÀA�x�.�Z�^�A���Z�C�F�dË����¾¤^�Ê�x�.�Z�.�����Z�C�F�6,��¡���f�Z�`�x�A���(����x�*�x�C�F�d�d�³�>�*�/�#�f�`�87�4:9<;�=?>@ ;�A�B;�CED ªf�.�*�A�`�*�2�{�#�.�*�`�f�Z�d�J���f�#�`�*�g�A�*�x���J���³�`�*�,�#�f�>����J�Z�9���`�x�J�*�x�°�Z��.�¶LTBVEM6�<F6CB#N>6o�f�!�`�*�o���x�*�����¡�*�� .�d©.�C���`�*���#�{�`�x¥*ÍX���g�d�d���x�C�*�.�Z��`�*�A�Z�����f�,���x�x�*��©.�����Z�*�F��¤.�GF BIH 7�4 9<;�= A B;�CED �.�*�¶�`�*��Z�����{�/���J�Z�F���`�t�J�*�x���* �`�.�9 .����©f�f���*���2¤^���`�*�,©.�����Z�J�1� B H 7�@ ;JA�B;�CED ¥wÈg�*�°���^�@�C�F�C�*���g�{�"2®¸541À��d�!�x���Z�C�F��¤t���¤^�­�`�*���t�.�Z�Z�C�9�¡�*�³�x�F�*¤x�.¤*�d�¡�d�F���x�d�Z�`�F��¤x�*�Z�d�J�

K¸�2¦¸54�À�L � B >MF B À:NK¸O� B LO2¦¸54�ÀP>QF B À�K¸R2®¸541ÀZÀK¸Ò� B LOF B À S ¸FÄ�À

T �/�`�*�A�F�,��Z�C�Z�A�°�J���`�*��F�d J�^���x�.�*���Z�d�x�.ª¦�`�*��¢®�F���CªJK¸O� B LO2¦¸54�ÀP>QF B À�ª«�d�³�`�*��x�F�J¤x�^¤*�¡�d�d�F�A�f�®�`�*�,�`�^�F .���1©w�f���*���, .�d©.�C���`�*�,�&�x�*���Z�d�J�U2¦¸54�À�ªV�³�*�d�M�A���A�>�*�g�C�f�Z�,�f��F�� J�9���Z�Z�d�J���x�F�J¤*�d�C�A�g�d�g�f�@�Z�C�q����*�d�¡���d�Z�d�¶�f�Z�`�x�A�����Z�¤x�����Z�C�x�.�Z�^¤*�¡��Ç��.�*�Z�Z���.��x�d�Z�`�F��¤x�*�Z�d�J��Vo�.�*�Î�`�*���������J�*� �Z�C�Z�·ª.K¸�2¦¸54�ÀZÀ�ªi�¡���`�*�b�x�9�¡�*���x�¡���`�F��¤x�*�Z�d�J�Î�J��&�x�*���Z�d�J�*���f�Z�`�x����� ¤^�¾�>�*�µ���J�x���@¥gÈg�*�d���x�F�d�J���d������*�d�d���d�¶��� �`�*�¶���*�.�d���X�f��x�.�Z�^�A���`�F�d�X�A�*�x�����.�*�Î�`�*�¶�M�*�.�d���X�{���F�� J�*���.�9�¡Ë��C�9�b�*�Z���Î�#�x�F���* ¾�>�*�µ���J�x����f�#�.�*�>�f�Z�d�J�¦¥xÈg�*���x�F�d�J�%�_�x�*�d�C�f�d�d���`�x�����£¢#���o�`�x�f�,�`�*�°���x�*���Z�d�J�W2¦¸54�Ài�d�g��º;�t�����Z����Z��¤t����J�^�Z���J�*�J�*�A�.�*�X�`���J�.�>�¦ª��x�C©*���* ��d���Z�A�*�¡ *�����9��Ø;�*�C�*���Ê�t�f�2�C�o�>�x�.���¡�f��&�F��Ø;�*�C�*���A�x�f�,�C��ªf¤x�*���`�*�g�x�F�����d�Z�g�A�C�^�*���* ��{�#�`�*�g�x�F�d�J���d�!�Z�*�A���³�x�f�1�J¤*�Z�C�x�F���¤^�­�`�*���*�����f�!�`�*���x�.�Z�^�A���`�F�d���A�*�x���@¥

ð�f��ª^���F�*�Ì�`�*���x�^���^�o�f��©*�¡��� �f�/�x�F���x�d���Z�d�J���f���&�*�`�x�F��©w�f���*���o�f�X@>ª#�f�d���`�x�{���f���Z�C�F�,�d�g�`�*���f�Z�>�x�A�����x�F�d�J�YK¸�2®¸Z4�ÀZÀ/�^�*���`�*���f�Z�`�x�������*�.�d�Z���A�*�x����[ �`�*��x�.�Z�^�A���Z�C�F�dËC�f�Z�d�J���{���`�*�o�&�x�*���Z�d�J�\2®¸54]V�,�À!�d�³���Z�9���¡��©f�.�^�C¥

Èg�*�,�d�x�C�o�f�®Ç��.�*�Z�Z���.�A�x�F�*�����Z�/�A�*�x���d�¡���* ��¡��ªf�g�d�`�*�J�*�/�x�.�Z�^�A���Z�C�F�dË����* ^2®¸Z4�À�ª�Z�¶�*���{�������x�F�d�J�6K¸�2®¸Z4�ÀZÀo�x���F�����Z�d�X�J� �`�*��>�x�f���­�{�2�&�x�*���Z�d�J�*�C¥!Èg�*�q�Z����*�d���Z��F�;�t�³�{���x�F�d�J�,�f©.�C�����x�*���Z�d�J�*�o�d�,�C�f�d�¡���¶�AÇ��.�*�Z�����^���x�F�J�������C¥xÁ@�g�C�.��¤x���>�*�J�* J�^��f���f�!�`�*�° .�C�*�C�Z�f�d�dËC�f�Z�d�J�q�f����Ç��.�*�Z�Z���.�A�x�d�Z�>�F��¤x�*�Z�d�J��f©.�C�!�7¢®�*�d�Z�³©^�����Z�J�1�`�x�f����Z�������x�*���Z�d�J�µ�`�x�f�����f�2���^¢®�*�d�Z���x���A�C�*�Z�d�J�¦¥`_J�*�Z�A�f����Ç��.�*�Z�Z���.�µ�x�¡���`�F��¤x�*�Z�d�J��d�g�&�*�d�d���`�t����� ¢#���´¤.���d�Z�7���C�.���.�*�����f©w�.�F���.�*���A��f�`�9�¡º¦ª#�Ç��.�*�Z�Z���.���x�F�*�����Z�³�d��`�t����� ¢#����¤^����A�C�.��^�*�­�o���f©w�.�F���.�*���k���x�*���Z�d�J�¦¥�-°�C�F�.ªf�`�*�³���C�.�A�d�2�°�&�x�*���Z�d�J�

Page 3: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� �

�f�:4¾¸O�³�*�d�M���,���g�d�d�1�f�Ò���C��`�^�f���Z�¤x���`�*��Ë��C�F�����x�*�����¡�*�xÀ�ª®�^�*���`�*�����f©w�.�F���.�*����d�³�o�&�x�*���Z�d�J�� �¸54.>�4� À!�³�*�d������º;�x�F�����Z���g�`�*�o��º;�t�����Z�������f©w�.�9���^�*����¤x���F�,���C��`�*�©w�{���*���{�k�>�*��&�x�*���Z�d�J� 2X�f���>�*���t�.���.�Z�64Î�.�*� 4 � ¥�È°�*���f���>�x�f�!�&�x�*���Z�d�J�32¦¸54�À���¶�.�.���*�*���#�f�`�q�A�J�x���d�d���* X�x�F�J¤*�d�C� �d���f���`�x�A��������¤t���q�Z���* .�d���>�.��*�d�����F�*��`�*�d�³Ç��.�*�Z�Z���.�q�x�d�Z�`�F��¤x�*�Z�d�J�¦¥¦Ç��.�*���Z���.���x�F�*�����Z�Z���g�.�F���f���F�C�{�x��,���¡�¬���Z�`�.¤*�d�d�`�*����A�*�x���d���@�J��©f�.�F�d�J�*���>�x�f�Z���f���.�*� ���C��x�J���f���x�F�J¤*�d�C�A�(¸@Ï,���*�d��� ÄCÅ^ÅxÄCÀ [ �Ò�*���ºx�.��*�d�.ª�¨,�F�f�³�*���.�¶�A�.���¡�*�¦ª����.�* .��©*���Ê�x�F�*�����Z�Z�����^�*�XÍÎ�¡�C�*�C���x�F�*�����Z�Z�����^�F��f�d�/��ºx�.��*�d���A�f�gÇ��.�*�Z�����^�X�x�F�*�����Z�Z����V1Ñ��f����.�µ¢#�¡���C�F�Cª��°�¡�x���d�Ê�*�����Ê�Z�����J�x����`�t�����M�A�g��©.�>�@�J�Z�A��ªC�f�d�Z�����J�Z�9���`�x�J�*�A�Z��Ç��.�*�Z�Z���.�A�x�F�*�����Z�/�A�*�x���d��V.�>�*�k�����`�*�J��f���¡�*�F�d .���* #±x���� .���^�Z�`�f�Z�d�Z���¡���°�¡�o�Ç��.�*���Z���.���x�F�*�����Z�³�9�� J�F���Z�Z�d�J�������`�*�J��¥

�C)���)Õ/Ö��.Ö¬Õx"# �!$&Ô����� ��!Ô���� � ������f$@ ����Õ!Ô,+!Ö����.Ö��

Á@�!�A�d J�^��¤t�,�`�*�J�* J�^���>�x�f���d�!�d���*�.�!�x�^�Z�Z��¤*�d�g�Z���F�C�x�F�*�#�*���2�>�*�/���.���C�F���Z�Z���* ��x�F�J�^¯�C�F�Z�d���%�f���*�C�x�Z�f�®�*���F�,�J�Z�����.�Z�C���x�.���f�Z�d�J���A���`�*�*�x�/�°�¡�>�A�Z�J�A���>�*���* A�Z�������q�*�¡���{���Ç��.�*�Z�����^���x�d�Z�>�F��¤x�*�Z�d�J�¦ª�¤x�*���f�o�2���`�x�f�d�!�*�w� �Z���.ª���^�.���t�J�x�*���.���*�J�*�d���*�C�.����.���C�Z�x�.���f���¡�*�(�A���`�*�*�x���.�F����Øx�*�¡©f�f�d�C�.�q�Z�b�x�.�9�Z�d�C�*���^��Ç��.�*�Z�Z���.�´�x�F�*�����Z�Z���C¥,¸@Á�g�d�d�®�*�Z�,�`�*�,�Z�C����� ���^�Z�C�Z�t�.���f�Z�d�J�¦±.���³���f©.�C�1¤x�.�>���>�*�k�x�9�J¤*�d�C�»�f���¡�F�� J�F�����Z�d�J�¦±P[¢#�Z�Z���* ­���C�x�F©^���`�x�F�J�* J���*�.�d�Z���#�f�`�8[ �^�*�­�`�*���>�f�`�A�f�¬¢#�Z�Z���* ­�.�����^�Z�C�Z�x�^���^�.��`�x�f�g�x�f���Z���³��ºx�f���Z�d���`�x�F�J�* *���`�*�� .�d©.�C���#�{�`��x�^���^�Z�C¥£À

Á��/�A�d J�.�/�{�¡����¤x�,�`�*�*�* J�.�!�>�x�f���>�*�g���J��x�*�`�{�Z�d�J�x�f�*���J��*�d��ºJ�d�F�A�f�®���^�@�C�F�C�*����³�*�C���,���,�J�Z���g�d�`���x�F�d�J�9�g�f©.�C�%���^¢®�*�d�Z���x���A�C�*�Z�d�J�x�f�¬���x�*�����¡�*�*�³�`�x�{�����k���¡ *�.�¤x�%���^¢®�*�¡�����¡�����.�F .�.¥C¨,�*�!¤.�o���J�*���C�^�`�Z�f�����* °�J�o�`�*���F�.���.���x�9�J¤x�.¤*�d�d�¡�F���x�¡���`�F��¤x�*�Z�d�J��f���>�*�³�J¤*���C�F©.�����#�f�`���^�*�­�`�*�oØx�x�.�.���¡���¡���°�2�o�g�d�`�q�Z��x�F���x�d���Cª*�d�g�d�k�t�.�Z�Z��¤*�d�������.�{���x�9���x�¡�����¡�*�*��g�d�`�X�F�����J�x�F�������>�x�f���Z�C�f�d�­�f�A�x�.�d�x�*�J�A���f�i���x�*���Z�d�J�*�A�f���´ª�`�*���*�x�A¤x�C�°�f���#�{�`�A�x�.���^�Z�C¥

�C) �^)!�"�2--� 2Õ«3

Á&���`�*�d���M�x�.�*���C�g�,�A�x���Z�C�F��¤x���*�w�»���^�@�C�F�C�*�������°�¡�>�b��Ç��.�*�Z�Z���.�¶�x�F�*�����Z���,�J�Z�«ª�.�*���*�f�¾�`�*����C�^�­¤t�³����*�d�C�A�C�^�Z�����°�¡�>�A¢®�*�d�Z�����J�q�x�*�`�f�Z�d�J�x�f�¦�F���Z�J�x�9�����C¥.ÍX��*��º*�/�x�d�Z�C�*�Z�%�`�*�³�F�.�d�g�{�®�`�*�³�^�x�x�C�Z�x�.���.�A���Z�C�F�!���*�.�`�9�.�d�¡���* ��Ç��^�*�Z�Z���.��x�F�*�����Z��.�*�´�x���Z�C�F��¤x���*�f� �`�*���X�C�.�X¤t���f�#�.�*�Z��� �Z���#�f�>�x¥�ÍX�q�`�*�C�X���`�*�x�Ê��©f�.�F�d���F��f�!�x�$#4�C�9�C�.�o�g�C�*�,�����³�*�d���bÇ��.�*�Z�Z���.���x�9�J�����Z�����³�C�.��¤x�����J�*�Z�`�Z�*��������¥xÍX���f�d�Z� .�d©.�g�.���w©^�C�F©J�d���(�f�®�{�x©w�.�*������A���`�*�*�x�/�*�Z���* �Ç��^�*�Z�Z���.�A�x�F�*�����Z�Z���/�.�*���x�¡���C�*�Z��`�*�������.�x�*�d�d�C�f�Z�d�J�¶���­�����f�Z��� ¢#�C�{�Z�d�J�¶�x�F�J¤*�d�C�A���f�o�,���¡�/�{�7�F�� *�F���Z�Z�d�J���x�F�J¤*�d�C�A�C¥Á@�°�¡�o�`�x�Z�x�9�¡�����* ��*�f� �A�*�M���^�J���C�.���x���g�d�`���A�Z���* .�d��Ç��.�*�Z�Z���.�·�x�d�Z�`�F��¤x�*�Z�d�J��%

Page 4: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� �! «"/$&� 'J)É+,).-A /+10, ¦3� � �������5)���(*�#��� (¦��(x�C��)�����.)���) � �2Ö ��Õ!Ô����«Ö�-ÍX���.�F�o .�d©.�C� �§�#�f�`�A�t�.���.�Z�YF B >Z� B N 7�4:9 ;�=�>@ ;�A�B;�CED ¥;È°�*�³���x�x�*�Z��4X�.�9�³©.���>¯�Z�J�9�!�f���Z�J�A�%¢#º*���­���x�x�*�,�x���A�C�*�Z�d�J���«¥.Èg�*�g�`�.�9 .���Z�`@/�.�F�,���d�`�*�C�,�F�C�f�#�*�x��¤t�C�F�Cª���´�³�*�d�M� �C�f�Z���`�*���`�f�`���g�d�d�g¤x�����F�� J�F���Z���¡�*�X�J�����.�Z�C���x�.���f�Z�d�J�´�>�f�`�«ª��J���`�*����.�F�A�C�f���� .�J�F�d�C�f�1©w�.�9���^¤*�¡����ª¦�@�J�o��º;�^��*�d�U@��37���>�Ä A ªx���¶�o�*�¡���¶�C�f�����>�*���>�f�`���d��������f�Z�Z�£¢#�C�f���¡�*�¶�`�f�`�«¥«ÍX�A�g�d�¡�%���J�*���C�^�`�Z�f�Z�A�J���`�*�A�C�f�����{�k�F�� J�9���Z�Z�d�J�·�Ò�*�g�`�*��Z���A�A¤x�����* #¥� �Z�`�x�A���* ��`�x�f�³�����x�*���Z�d�J�\2®¸Z4�Àg�x�*�x�C�F�d�d�����`�*���*¤*�Z�C�F©.�����#�f�>�xªx�`�*���`�{�`��d��Z�����^�@�C���>�*�A���x�*�����¡�*�����9�J�§�`�*� .�d©.�C�µ�#�f�`�xª��.�*�´�x�F���x�d�����d�Z��©w�f���*� [ �J�o�`�*�©w�{���*���f�!�`�*���J¤*�Z�C�F©f�f�Z�d�J� @ B�� D [ �f�g�*���»�x�.���^�Z��4 9 B�� D?= ¥�.) �^)!�* 2Õ! ,-Ö��/Õi$&+¶ ����¬Õ!Ô! /+��2Ö� �/Ô � �2Ö �¬Õ!Ô�� �#Ö¬-Á&�´���x�.�Z�^�A���`�F�d�­�.�x�x�9�J�f���¶�Z�b�9�� J�F���Z�Z�d�J�µ�2�q��º;�x�F�������`�*�­�x�x�*�*�f�³���&�x�*���Z�d�J�2¦¸54�À!�����Z�C���A�/�f�!���*�J�*�d���*�C�.�k���x�*���Z�d�J� 2¦¸54.V�,�À!�x�.�Z�^�A���Z�C�F�dË�����¤.�­�x�^�Z�.�A���Z�C�9�,¶¥������� �"! #%$�&('*) �+#-,/.+�102) 04365"718-9:) ;<7=0?>A@ �Z���* ����Z���,�f��¤x�f���¡�k���x�*���Z�d�J�*�Y7�BAC#¸Z4�À A1DC CED ª�,���C�.���o�F�d�Z�

2®¸54]V�,�À N DEC CEDGF C B C ¸541À S ¸ � ÀÁÒ���`�*�³¤x�f�Z�d�%�&�x�*���Z�d�J�*�g�.�F�³�*�J�*�d���*�C�.�i�&�x�*���Z�d�J�*�,�f� 4��`�*�M���f�!�`�*�°�@�.�d�¡�f�g���* ���f�x���f��¤x�f�Z�d�,�&�x�*���Z�d�J�*�o���C�.�>�F���b�f�%¢#º*���b�t�.���.�Z� 7w�"C A D C CED ªB C ¸54�À:N ��º;�IH6J ¸54KJX� C ÀML�"N L O > ¸ � À

�>�*�C�^2¦¸54.V�,�Àx�d�!�g�*�J�*�d���*�C�.�¬�&�x�*���Z�d�J���f��4.V��*�f�,��©.�C��ª��Z���*���%�`�*�/�x�C�t�C�*�x�C�*����{��2��*���>�*�­�x�.�Z�.�����Z�C�F�Y, �d���d���*�C�.��ª¬�2��A�d J�^�����J�A���Z���A�����F�>�@�C�o�Z���`�*�d��{�³��� �d���*�C�.��±#���J�x���@¥T �>�*�C���x�^�Z�Z��¤*�d���Z���Z���f�,¢#ºJ���(¤x�f�Z�d�����x�*���Z�d�J�*�A���*�����*�x�b�t�.�d�;�*�J�����{�¡�q�`�*�M��{�PB C ¸Z4�À:NRQTSU1QWVX �o�*�C�F��Y��.�*�IZ��^�F�����.�Z�� ^�C�g�x�f�,�C�F�g�`�x�{�2�x�C�t�C�*�¶�J��[�¥������� �"! #]\*&_^ ,T�"�=9M) `=#K.+�102) 0�365"718-9M) ;<710->�� �d�Z�C���x�f�Z�d©.���d�.ª1�2��A�d J�^����.�{�������x�*�>¯���¡�*� 2¦¸54�À����F�*�¿¤x�f�Z�d�,�&�x�*���Z�d�J�*�,�³�*�d�����x�C�x�C�*���*�­�f�x�x�d�Z�d�J�x�{�4�x�^�Z�.�A���Z�C�9����*�����*�x���¾��� �`�*��©.�����Z�J�Y,¶¥�ÁÂ�Ê�·�_�,�������.�C�o�@�����*�@�J�F�g�.�F�Ê�*�C�x���f�2�*���F�,�J�Z��°�¡�>�b�*�*�*�¡���*�C�.���*�d�x�x�C�Ê�x�*�d�Z�A�.�*�X��d���*�C�.���J�*�`�x�*�Cª«�`�*���&�x�*���Z�d�J�¶�C�.�¶¤x��o�F�d�Z�Z�C�

2®¸Z4.V�,�À N DEC CED F 9�L�=C �`�.�x��acbEU C DdF 9 D?=C U Q Ude F 9 D =C2fhg e F 9�L�=f ¸ � À

Page 5: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� ��o�*�C�F� ���d�g�`�*�°�x�����C�*�Z�d�J�x�f�d�d�_���{���`�*�o���x�x�*�°�`�x�f�����.�*�­�>�*�g�,���¡ *�.�,©.�����Z�*�,§���J�*�Z�d�Z���³�f�!�`�*�����x�x�*���,���d J�.��� 7 F 9 D =C U A ªx�>�*���*�d�x�x�C�¶�x�*�¡��¤*���f�Z��� 7 F 9 D =C2f A ª�>�*���J�*�`�x�*�g�,���d J�^�Z� 7 F 9 L=C A �.�*���`�*���J�*�>�x�*�³¤*���f� F 9�L�=f ¥ÍX�°�`�*�C����^�@�C�%�`�*�,�&�x�*���Z�d�J� 2¦¸54.V,�À1¤^�����^�@�C�Z�F���* A�`�*���x�.�Z�.�A�����C�F�:,b¥f¼¶�.���

�Z�C�*�Z��¤*�d���A���`�*�*�x�o�Ò�J�°���^�Ò�C���F���* ��`�*��x�.�Z�^�A���Z�C�F�o�C�.��¤t����.���C�Z�x�F���Z���¶���¶�Z�C�Z����f�/�¨,���.���Z���.�����J�x���¦�@�J�,�>�*���x�F�J¤*�d�C��ª«���·�³�*�d�M�·�`�*���t�.�Z�Z�C�9�¡�*�g�x�F�J¤x�.¤*�d�d�d�F���f��`�*���x�.���.�A���Z�C�F�°�¡�° .�d©.�C��¤^�

K¸5, L � B >QF B À.NK¸O� B L ,G>MF B À�K¸5,�ÀK¸O� B LOF B À S ¸ � À

Èg�*�°���{���Z�J�.K¸Ò� B L ,G>MF B À%�Z�`�f�Z���%�`�*���x�F�J¤x�.¤*�d�d�d�_���f���`�*�o�J¤*�Z�C�F©^���­�#�f�>���x�^���^�Z��³�*�C���`�*���x�.�Z�^�A���Z�C�F� , ¸@�^�*���*�C�*���.ªx�>�*�g�&�x�*���Z�d�J� 2*À/�^�F���J�*�f�³�¦¥*Èg�*�d�³�x�F�J¤^¯�.¤*�d�d�d�_�(�x�d�Z�>�F��¤x�*�Z�d�J�(�d��f�@�Z�C�´�`�^�f�C�X���µ¤t���¶�Z�C�x�.���.¤*�d��Ç��.�*�Z�����^�¦ª��C�{�M�´�#�f�>��x�^���^�6@ ; �x�$#��C�F���* ����9�J� �`�*���x�*�x�C�F�d�*���* ´©w�{���*� 2¦¸54 9<;�= V,�À�¤^�X�f�x�x�d�Z�d©.���*�.�d�Z�.¥Èg�*�°���{���Z�J� K¸5,�À!�`�t����� ¢#���o�`�*���x�F�d�J�,�x�F�*¤x�.¤*�d�¡�d�F���x�d�Z�`�F��¤x�*�Z�d�J���{���`�*���x�.�Z�^�A�>¯�Z�C�F��¥JÈg�*�d�g�Z�*�A�d�g�f�@�Z�C��>�.�f�C�A�Z�¤t�������C�x�.�Z�.¤*�d��Ç��^�*�Z�Z���.�q�x�¡���`�F��¤x�*�Z�d�J�¦¥¦ÁO���`�*��x�C�x�C�*�x�C�*���A�f�:2A�J� , �d�³�*�J�*�d���*�C�.�°�`�*���x�.�Z���C�F�d�J�,�x�d�Z�`�F��¤x�*�Z�d�J�\K¸5, L � B >MF B À�d�7�*�^�g���� .�C�*�C�Z�{�4�qÇ��.�*�Z�����^���x�¡���`�F��¤x�*�Z�d�J�¦¥

Èg�*�����^�@�C�F�C�*�����C�^�­¤t������*�d�C�A�C�^�Z��������©w�^�F�d�J�*�g�g���J�C¥ T �*���Z�����x�*�¡Øx�*���d�g����A���*���A�dË���.���J¤ �_�����Z�d©.�o�&�x�*���Z�d�J�

�̸5,�À`N J��d�. ��OK¸O� B L ,G>MF B À�K¸5,�À�� ¸@Æ^À

�g�d�`�Î�F���`�t�������Z� ,bª%�d�J�C�f�����*  �`�*�¶�d�J�C�f�d�d� �A�.�Z���x�F�J¤x�^¤*�¡�X�x�.���.�A���Z�C�F��ª/�`�*�C��*�Z���`�*���C�x�F©f�f�`�x�F�¶�f��� ª�� L � ¸5,�À�� F U � F X ���Ê�x�>¢®�*�¶�C�Z�F�*�¤x�.�F��*�3,¶¥ ��A�J�9�³ .�C�*�C���f���A���`�*�*���*�Z���g¼X�.���f�f©����x�f����¼¶�J�^�Z��½g�.�F�d�A�Z�����x�*�dØ;�*���o�Z��C�F�C�{�Z��`�.�q�*�¡���°�&�F�J� �`�*���x�^�Z�Z�C�F�d�J�°�x�d�Z�`�F��¤x�*�Z�d�J�\K¸5, L � B >QF B ÀV¥-o��©J���* ��*¤*�`�f���*����J�*�,�f�¦�`�*���Z�³�F�C�x�9���Z�C�.�>�f�Z�d�J�*�!�f�¦�`�*�g���^�Ò�C�9�C�*���³�f��,¿ .�d©.�C��`�*���#�f�>�xªJ�x�F���x�d���Z�d�J�*���.�F���>�*�C����f�x��¤.����.�F ^���x�{�¡�dË����* ��w©^�C�/�>�*���x�.�Z�.�A�����C�F���

K¸5@ B�� D L � B >MF B�� D À:N ��� D , K¸Z@ B�� D L ,G>�4 9 B�� D = À�K¸5, L � B >MF B À S ¸@Ð^À

ÁO���,���x��©.��@�J�x�*�Î�bÇ��.�*�Z�Z���.�(�9�C�x�F���Z�C�^�`�f�Z�d�J�´�f���`�*���t�.�Z�Z�C�F�d�J���x�¡���`�F��¤x�*�Z�d�J�K¸5, L � B >QF B À�ª.�>�*�C���`�*�d�g���.�Z�� *�Z�f�¦�C�.���F�;�*�d�C�f�d�d��¤x����©f�f���x�f�Z�����x���F�����Z�d�.¥¦Á&���`�*��f�d�Z�C�Z�x�{�Z�d©.�¼¶�J�^�Z�½g�.�F�d���.�x�x�F�*�f�M�µ�³�*�d�M�¶ ^�C�*�C�Z�f�Z�����Ì�`�.��*�d��� , 9���= �o�*�¡����.�F�A���^�Z�C�*�x���Ê����¤x��`�^��*�d�����&�F�J�§�`�*�­�t�.�Z�Z�C�9�¡�*�o�x�¡���`�F��¤x�*�Z�d�J�3K¸5, L � B >QF B ÀVª�,���.�x�x�F�fº*���q�f�Z���`�*���x�F���x�d���Z�d©.�A�x�d�Z�`�9��¤x�*���¡�*�b¤^�

K¸Z@ B�� D L � B >QF B�� D À�� Ä� �E��CED K¸5@ B � D L , 9�� = >4 9 B � D = À S ¸�/^À

Page 6: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

Æ �! «"/$&� 'J)É+,).-A /+10, ¦3

�.)��^) �2Ô����* ,Õ! 2-qÖ��/Õ!$&+¶ �����Õ!Ôi /+��2Ö��x)Á&�q�*�J�x�x�.�Z�.�����`�F�d�³�A���`�*�*�x�Cª.�x�F���x�d���Z�d�J�*�g�.�9�g�J¤*�`�f���*����°�¡�>�*�J�*�/ .�d©*���* ��`�*�³�x�^¯�*�*�w�o�°���x�*���Z�d�J� 2®¸Z4�À¦�.����ºx�*�d�¡���d�/�x�.���.�A���Z�C�F�dËC�f���¡�*�¦¥ T �*�/�,���d�J�*�*�w�o���*�J�x�x�.�Z��¯�A���`�9�¡���^�x�x�F�J�f��������>�*���F�� J�F���Z���¡�*�­�x�F�*¤*�¡�C� �d�g�`�*�o�`�*�d���*���>�A�J�^�`�*���* ������`�*�J�¸@Ño���A���d�x�J�Â���.�*�ÊÍ´�.�J¤x�¶Ä�Å.Ð"�.À�¥ � �`�*�d���*���Z�.���*�Z�d�J� �Z���·�J�*�Q0J�x���A�C�*�Z�d�J�x�f�g�F�>¯ J�F�����Z�d�J�(�x�F�J¤*�d�C���C�.�(¤t���x���Z�C�F��¤x���Î�f���Ò�^�¡�d�f�g���i�2���x�>¢®�*���`�*�����Z�����q�f�Z�J���f�2¦¸54�À%�Z�­¤t���`�*���&�x�*���Z�d�J���2¦¸54�À%�³�*�d�����A���*���A�dË������`�*�o�&�x�*���Z�d�J�x�f�

�̸�2¦¸�Q#À�À:N J Ä��� BE;�C D

¸�2®¸ Q 9<;�= À�J @ ; À L J Ä��� � �TQ �12 9 S = ¸ Q#À�� L ¸@Å^À

�³�*�C�F�62�9 S =i�¡���>�*�PYx�`�·�x�C�F�d©w�f���¡©^���{� 2��.�*� Y��d����t�.�Z�d�Z�d©.��*�x��¤t�C��¥¦ÁO�_Y��¡��������Z� � �`�*�C���`�*�A�F���`�*�d�Z���* ����x�*�����¡�*���2¦¸54�Àk�¡���q�C�x¤*�d�A�`�*�d���*�.ª¬�`�x�f�g�d�Cª¦���*�¡�������°�¡����C�x¤*�d�o���x�*�����¡�*�A�`�x�f�,�x�f���¡�*�*�.�Z��±P[ �x�d�Z���J�^�Z���J�*�d�Z�d���g���q�¡���/�Z�����J�*���x�C�F�d©w�{�Z�d©.��[�f�g�>�*���#�f�`�A�x�.���^�Z� 7�Q 9<;�= A ¥Èg�*�d�,���Z�Z����{�Z�d�J��A���`�*�*���C�.�¤x�o�`�x�Z�*���q���^�Z�A��¨,���.���Z���.��A���>�*�J��¤.�A�d�x�C�^¯�Z�£�@�J���* ��`�*���x�F�d�J�k�Ò�J�%�`�*�o�&�x�*���Z�d�J�\2®¸�Q«Àg�f���

�d�. �K¸�2¦¸�Q#À�L � À`N J Ä� � � �Q �12 9 S = ¸�Q«À�� L e ���J�*�Z�P> ¸9Ä1�.À�.�*� �>�*�µ�x�9�J¤x�.¤*�d�d�¡�F� �{���`�*�X�#�{�`�(�A�C�f�`�x�9�C�A�C�.����� B N 7�@ ;�A B;�C D �f�Z�`�x�A���* ���*�x�C�x�C�*�x�C�^��Ç��.�*�Z�Z���.���*�.�d�Z�A�f���

�¡�^  K¾¸>� B L�2¦¸�Q#ÀP> � À`N J Ä� � BE;�C D

¸�2®¸ Q 9<;�= À�J @ ; À L e ���J�*�Z� S ¸9Ä.ÄCÀ

� Èg�*�����J�*�Z�`�^�.�Z����� ��Ø;�x�f���¡�*�*�µ¸FÄ=�.À�.�*�¿¸FÄ.Ä�À�.�F�·���x�*���Z�d�J�*���{� � �.�*� � �F�>¯�`�t�����Z�d©.���d�.¥#¹*�`�F�d���Z�d���`�*�³�x�F�d�J��¸FÄ1�^À!�d�,���q�x�F�J�x�C�%�Z���*�����f�x�x�d�Z�d�J���{�¬�^�­�.��¤*�¡�>�Z�.�F��x�^�¡�x�*�J�A���f�!�{�/�x�� J�F���PY J¾Ä��Z� 2¦¸�Q«Àg�d���*�.�³���*�*�Z�`�Z�f���*����¥¦Èg�*�d������x�F�J�x�F�d���F���d��C�f�Z�d�d���F�����Z�£¢#���b¤^��`�*���f�x�x�d�Z�d�J���{�k¸ Y]J´ÄCÀ,�.�x�x�F�*�x�F���f�Z�o�Z�C�Z�A�,�Z��¸FÄ1�^À�¥ �®Ç��d©.�C��`�*�d�,���.�Z�C���x�F���`�f�Z�d�J���f���`�*�g�&�x�*���Z�d�J�*�,�����Øx�x�f�Z�d�J�¶¸@Å.ÀVª�� ¸�2¦¸�Q«ÀZÀ1�d�2��Øx�x�f�«�Z���`�*��d�. X�f�o�`�*���t�.�Z�Z�C�9�¡�*��x�F�J¤x�.¤*�d�d�d�F� K¸�2®¸ Q#À�L � B > � > � À�ª¦�°�¡�>�*��� �.�´�f�x�x�d�Z�d©.�����J�^¯�Z�`�^�.�Cª«�.�*���`�*�A�`�*�d���*���������Z����f�Z�d�J�¶�x�F�*�����#�x�F�A�C�.��¤t�A���^�Z�C�Z�x�9���Z���X�f�³�*�d���d�x���* ��¨,���.���Z���.�¶¼ �� ���Z�Z����f���.¥�Èg�*�­¨,���.���Z���.�¶�.�x�x�9�J�f���X�f�d�d�w�°���*���f�x�x�d�Z�d�J�x�f�d�d��Z��x�*�,�C�Z�F�J�,¤x�.�9�2�*��`�*���>�*�¡���*���o���Z�Z����f���7�.�*�������#�Z���Î�F�;�*�d�C�f�¦�`�.�q�*�¡���k���F�*��`�*���t�.�Z�Z�C�F�d�J�k�x�¡���`�F��¤x�*�Z�d�J�¦¥�Èg�*���d�Z�`�*���f�!�Z���Z�Z���* �`�*���^�x�x�C�Z�x�.���.�A���Z�C�F� � �.�*�� �d���.������x�J�9�`�.�^�g�J�*�.ª#�f�o�F��©J�d���,�������·¼µ�{�CÑ��C�¶¸FÄCÅ.Å � À�¥�.) *)+!Ô2-q-Ö������

� ¥ � ¥�Ä.¥��^8®cdLTB«6�K%8®<`LOD.<�K�:.<F6� g:��.K>K�LT:.Bq8®<FD�N`6VK`K�6�KÈg�*�A�x�F�d�J�g�x�d�Z�>�F��¤x�*�Z�d�J���x�>¢®�*���b������Øx�x�f�Z�d�J�ʸ9Ä1�.À,�d�o�������{���³�J�x�2¢®�F�Z�g��ºx�.��*�d��f�7�¶Ç��.�*�Z�Z���.�´�x�F�*�����Z�C¥!Èg�x�F�f�g���* X��f�`�*�C�q�f�Z�d�C�f�g�x�F�����d�Z�d�J�(�����`�*���g���*�x�Cª%�

Page 7: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ð

Ç��^�*�Z�Z���.���x�F�J�������g�C�.��¤x���x�>¢®�*�����f�g�A�x�F�J¤x�.¤*�d�d�d�F�­�x�d�Z�`�9��¤x�*���¡�*���J�����`�x�f�����f��&�x�*���Z�d�J�*� 2¦¸�Q«À/�o�*�¡�����C�^��¤x���³�F�d�Z�Z�C�����·�`�*�o�Ò�*�Z�

K¸�2¦¸�Q#À�L �i¸ Q#ÀP>��³À N Ä� ��ºx��� J Ä� ¸�2¦¸�Q«À_J��/¸�Q«ÀZÀ���A¸�2®¸ Q#À J��/¸�Q«ÀZÀ��> ¸9Ä � À

�³�*�C�F���i¸ Q#À°�¡���`�*�­�A�C�^���&�x�*���Z�d�J�¶�{�2�`�*�A�x�d�Z�`�F��¤x�*�Z�d�J�´�.�*� � �d�����d���*�C�.���J�^¯�C�Z�f���J��ª¦�.�*�¶�³�*�C�F�A�`�*����x�*�C���x�9�J�#�*�����f�,�F�2�q�&�x�*���Z�d�J�*�'2¦¸�Q#À �� ¸�Q#À°�d���x�>¢®�*���¤^�.ª.�@�J�%��ºx�.��*�d�.ª����TQ�2®¸ Q#À � ¸ Q#À�¥-g�C�F�.ª*�£�!�2�o�x�C�*�.�Z��¤^���Ì�`�*���d���*�C�.�,�J�t�C�Z�f�Z�*��³�*�d������.�*�Y2®¸�Q«À%�Z��`�*���x�C�F�d©f�f�Z�d©.�A�f�X2¦¸�Q#ÀVªJ�,���C�.�·�³�F�d�Z��¡�^ �K¸R2®¸�Q«À�L � À*N J Ä� � � �TQ ��� S 2®¸ Q#À�� L e ���J�*�Z�.N J Ä� 2¦¸�Q#À � �Y2¦¸�Q#À e ���*�*�Z�P>

¸9Ä � À�³�*�d�����x�f�g�>�*���`�.�A�o�@�J�Z� �{��¸FÄ � Ài�g�d�`���/¸�Q«À:NR�xª#�^�*��� H ��� S � � � S ¥

ÁÂ�(�J�F�x�C���Ò�J���`�*���x�9�¡�*�A���(��Øx�x�f�Z�d�J� ¸FÄ � À����µ¤t�b�X�x�9�J�x�C��x�9�¡�*��ª��§���*���¤x�����t�.�Z�d�Z�d©.���x�>¢®�*�d�Z���J�t�C�Z�f�Z�*��ª!LÒ[\6w[\ª��*�*��`�f�Z�d�F�@�*���*  2¦¸�Q#À � � 2¦¸�Q#À�� ���@�J���f�d��&�x�*���Z�d�J�*� 2¦¸�Q«À/�^�`�*�C�,�`�x�.�W2¦¸�Q«À:NR�x¥� ¥ � ¥ � ¥��^8®cdLTB«6�K�N`:.B¶RZ6��!<>LT=@=@6�B¶:fK,8;:.<F:.?A6�=@<`LON?ADCS.6�c£K¹x�*�d���*�����q�C��¤x�A�³�9�¡���Z�C�������Z�C���A�³�{�2�.�����^¢®�*�d�Z���Z���³�{�!¢#ºJ���X¤x�f�Z�d�o�&�x�*���Z�d�J�*�Cª�f�����¶��Øx�x�f�Z�d�J�(¸ � ÀVª®�f�o�@�.�d�d�f�g�C¥¦�!���F�Z���F���Z�C�f�d��>�*� Q �fºJ�d���Z���`�x�f�o�`�*�A���.�Z�C�9©w�f�¸���> ��� À%�d���A�*�M���g�d�x�C���>�x�.���`�*��Z�^�* .���f��Q�©w�f���*�����{�2���.���C�F���Z�C¥��¦�����`�*�¤x�f�Z�d��&�x�*���Z�d�J�*�/¤x�g�°�#�J�x�F�d�C�1�Z���]7C���.�d[WQ >��Z����[dQ¬ª�[]N���>CÄ�> � > S�SPS A ¥ @ �Z�,�`�*�2�9�� J�*���.�F�dË��C�

���X¸5,�À`N �EC C f Ä� [ �! F LC 9#"%$'& = e �EC CED Ä� [ �! F LC 9#&)(+*P= ¸9Ä � À�Z��x�>¢®�*�A�Ç��^�*�Z�Z���.���x�F�d�J�,�*�W,¶ª

K¸5, L � À*NÄ���ʸ � À ��ºx��¸6J � ����À S ¸9Ä � À

ÁO�AY.N � �`�*�C�q�,�³�x��©.�g�`�*�°�C�x¤*�¡���>�*�¡���*���³�9�� J�*���.�F�dË��C�,� � ¸5,�À�N�� 2 9 L= ¸�Q#À L �TQ�ªJ�{�������Øx�x�f�Z�d�J�´¸@Å.ÀPV*�£��Y]N¶Ä��,���x�C©^���`�*���F�� *�*���^�F�dË��C���-�X¸5,�À�N�� 2 95D = ¸�Q#À L �TQ�ªx�����.¥¸@Ȭ����.�f�A�`�*��x�F�d�J���x�F�J�t�C���,����*�����f�x�X�.�¶��º*�`�Z���F�� J�*���.�9�¡Ë��C���J���`�*��Z�C���

F f 9#"%$.& = ¥ À,Èg�*�*�2�����Z�C���A�,�f���`�*���x�F�d�J� K¸�2¦¸�Q«ÀZÀ%�`�*�C�F���d�³�*�����x�*�#�^�A�C�.�>�f�¦�x� #��C�¯�C�*����¤x���F�,���C� �`�*� �¡�*�J�x�x�^�Z�.�A���`�9�¡�.±¬�`�*�d���*�����.�x�x�9�J�f���X�.�*�´�.�`�*�C���x�^�Z�.�A���`�9�¡��.�x�x�F�*�f�M�*����¥

� ¥ � ¥ � ¥¶e,6F8®<F6�K�6CB«=@:[email protected]�L\K�LT<><F6Ccd6CY�:.B#=*E�D.<k8®<F6`[email protected]�®�9�J� �`�*�X�x�.���^���f�A©J�d��� �f��x�F���x�d���Z�d�J� �f���d�C�f�Z�Cª,�`�*�C�9�µ�^�F�¶�_�,�´�J¤ �F�����Z���f����.���C�F���Z�C¥.Èg�*�k¢®�F�Z�!�d�/�`�*�°���J�*�x�d�Z�d�J�x�f�#�x�d�Z�>�F��¤x�*�Z�d�J� K¸Z@ B�� D L � B >QF B�� D À1�x�>¢®�*������X��Øx�x�f�Z�d�J�θ@Ð.ÀV¥�Èg�*��.�`�*�C���J¤ �F�������f�g���^�Z�C�F���Z�Cª¬�`�*�J�*�d�´�2�q�g�d�`�X�������J��x�^�F�

Page 8: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

/ �! «"/$&� 'J)É+,).-A /+10, ¦3

�J�*�¶�A�J�x�����°�¡�>�(�.�`�*�C�9�Cª/�d���`�*� �_�^���^���x�F�J¤x�.¤*�d�d�d�_�Î�f���{�¡�o�`�*�¶�J¤*�Z�C�9©.���¾�#�f�>� .�d©.�C�¶�>�*�����J�x���@ª*K¸Ò� B LOF B À�ª¦�o�*�¡���X�.�x�t�C�.�F���Ê�{�³�`�*���*�J�Z��f�d�dË����* ����J�*���`�.�^����Î��Øx�x�f�Z�d�J�¿¸ � À�¥2ð���d�`�*�C���{���`�*���Z� Ø;�x�.�^�Z�d�Z�d���b�q�.�f�����.�.�Î�F�>�@�C�F�C�*���Ê���Ê�`�*��F�C�x�F�����C�.�`�{�Z�d�J��{���`�*���x�x�*�*�w�o�q���x�*���Z�d�J�W2¦¸�Q«À�¥J¹*�­�{�/�`�*���C�*���f�1�`�*���#���.ªJ�*�x����*�.�d�����f�/�F�C�x�F���Z�C�^�`�f���¡�*���¡�o���Z�F���d��©w�^�.�C¥

Èg�*�°Ø;�*���Z���¡�*��,�g�*�f� �f�x�#�F�����/�d�Cª.���A�>�*�g�C�f�Z�g�{�¬�t�J�x�*���.�/�x�^�Z�.�A���`�9�¡�o�A�J�*¯���d�Cª«�³�x�f�%�Ò�*�Z�Ì�x��`�*�������F�,��Øx�x�.�^�Z�d�Z�d���³�>�.�f����Í ���g�d�¡�1�Z�����`�x�f�%�Ò�*�,�Z�`�.�*�#�^�F��A�*�x���d�­�g�d�`� ¢#º*���¾¤x�f�Z�d�A�&�x�*���Z�d�J�*���.�*�¾Ç��^�*�Z�Z���.�´�x�d�Z�`�F��¤x�*�Z�d�J�*���J�´�`�*���x�^¯�*�*�w�o���x�.�Z�.�A�����C�F�Cª*�`�*���F�.���^�³�x�F�J¤x�.¤*�d�d�d�F���f�/�f�d���`�*���J¤*���C�F©.�����#�{�`�� .�d©.�C���`�*��A�*�x���@ª"K¸O� B LOF B ÀVªx�d�7��A�*�d�Z�d©w�^�F���f�Z��Ç��.�*�Z�Z���.�·�x�d�Z�`�F��¤x�*�Z�d�J���g�d�`���A�C�.��Ë��C�F��.�*�X�°�¡�>�X�����f©w�.�F���.�*������f�`�F�dº��x���Z�C�Z�A���*���(¤.���`�*�­¤x�f�Z�d�����x�*���Z�d�J�*��V��`�*�d������¯�*�d�d���2�>�x�f���>�*�2���*�*�x�¡���¡�*�x�f�#�x�d�Z�`�9��¤x�*���¡�*� K¸5@ B�� D L � B >QF B � D À1�d�/�f�d�Z����Ç��.�*�Z�Z���.��x�d�Z�`�F��¤x�*�Z�d�J�¦ª«�³�*�.�����A�C�.���x�C�x�C�*�x�o�d���*�C�.�F�d���J���>�*��©w�f���*���o�f���`�*���`�^�F .���Z�,� B ¥¹*�`�.�*�#�^�F���x�.�Z�.�����`�F�d���A�*�x���¡���.�F�������q�*�¡�A��ºx�.��*�d���o�f��Ç��^�*�Z�Z���.���x�9�J�����Z�����C¥

� �����=�������#����G(J�C��)O��I���E(<�T�q�-�¾��� 4����)\�A�����=����(x�C�P(x��.)���)%�x$ �2Ö4 2Õ´-Ô,�2Ö�� �

�¦�����*�����J�*���¡�x�C���(�F�� J�F�����Z�d�J�Î�x�F�J¤*�d�C� �*�Z���* �� ¢#ºJ��� ¤x�f���¡�·���x�*�����¡�*�*�Cª%�Ò�*���ºx�.��*�d���J�*�Q0*�x�����C�*�Z�d�J�x�f�!�Z�f�x���f��¤x�f���¡�k���x�*���Z�d�J�*���f�g�x�>¢®�*����������Øx�x�f�Z�d�J�ʸ � À�¥ÍX���g�d�d�1�`�*�C�����J�*���¡�x�C�°�³�x�f�g�x�.�x�t�C�*���f�g�,�o���*�C�9�C�f�Z���´¥

�¦���A�*��f�Z�`�x�A�q�`�x�f�����d�d�Z�A�f��� ���x�x�*��t�.���.�Z� 7�4 9<;�= A �x�f��¤t���C�X�`�t�����£¢#����.�*�(�x�>¢®�*���`�*� ����� ��f�`�F�dºÊ� �Z�X¤x���>�*����f�`�F�dºX�{�³©w�f���*����{�³�`�*��¤x�f�Z�d��&�x�*���Z�d�J�*�^7+B Cx¸541À A1DC CED �{�g�`�*���x�^���^�Z� 7�4 ; A ª

� ; C H B C ¸54 9<;�= À S ¸9ÄCÆ.ÀÍX�o�x�>¢®�*���`�*�o©.�����Z�J��� B �Z��¤t���`�*�g©.�����Z�*�/�{�4©f�f���*���g�f�*2¦¸54�À/�{�/�`�*� � �x�.���^�Z�Cª

2 ; HE C � ; C F C S ¸9ÄCÐ.À

ÁO�!�`�*�A�x�F�d�J�,�x�d�Z�`�F��¤x�*�Z�d�J���f�:, �d��Ç��.�*�Z�����^���g�d�`��Ë��C�F���A�C�.�¦ªK¸5,�À:N ð�J�Z��f�&¸��E>�� L� ��À > ¸9Ä�/.À

�`�*�C�¶���d�C�.�9�¡��,ª�¤x�����* b���d���*�C�.���&�x�*���Z�d�J�¶�f� ,bª«�d���f�d�Z�¶Ç��.�*�Z�����^���x�d�Z�>�F��¤x�*�Z����ª�g�d�`���A�C�.��Ë��C�F�#¥xÈg�*�����f©w�.�F���.�*���A��f�`�9�¡º��f���´�d�

� N ������� �:N!�&� ,U,,�*� �"�]N ���5,U,,� �x� � ¸9ÄCÅ.ÀN � L� ��� � S ¸ � �.À

¹*��`�*���x�9�¡�*�g�x�d�Z�`�9��¤x�*���¡�*���{���Ê�d���K¸#�!À:N Ãg�*�Z��f�&¸��E>$�À*N ð�J�Z�q�f�&¸�� >%� L� ��� � À S ¸ � ÄCÀ

Page 9: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Å

Èg�*�d���F���`�*�d�Cª¦�>�x�f���`�*��©^�����Z�J�o�f��� �&�x�*���Z�d�J�¶©f�f���*��� �¾�x�f����Ç��^�*�Z�Z���.���x�d�Z�`�F�£¯¤x�*�Z�d�J�¦ª1�d��`�Z�*�q�@�J���.�^�X�Z���d�����Z���¾�t�.���.��� F B ¥�È°�*�¡�q�¡�A�`�*���x�>¢®�*���*  �x�9�J�x�C�F�F��f�2��Ç��.�*�Z�Z���.�¶�x�F�*�����Z�C¥��1HJ6�8®<FDJR�:JR�LOcdLT=@I�S.L\KM=@<>LÒR �[email protected]´DFE:�E �JB«[email protected] 2¦¸54�ÀAL\K�: g:��^K`K�LO:.B�8®<FDCN>6�K>KgL E1EMD^<g:.B#I��,B#LO=@6gK�6Ccd6>[email protected]­D9E/8xD.LTB«=OK:4 9 D?= >�4 9�L�= > S�S�S >�4 9 B = P�=OHJ6?A:.<OUJLOB#:.c¬S.6CBtKMLO=@I K¸�2®¸Z4 9 D?= ÀP>M2¦¸54 9�L�= ÀP> S�S�S >M2¦¸54 9 B = ÀZÀ�L�K�:� g:��^K`K�LT:^B®[ð�f��ª*� �/�>�*���*�x��¤t�C�,�f�/¤x�f�Z�d�°���x�*���Z�d�J�*� � �d�g�`��f�d�d�C�o�`�x�.���>�*���J�x�A¤x�C�°�f��#�f�`�q�x�.���^�Z� �´ªx�>�*�C���`�*�A��f�`�F�dº� �g�d�d�!�*�.�7�x��©.�o�&�*�d�����.�x�#¥¦Á&�·�`�*�d�³�C�{�Z���`�*��x�F�J¤x�^¤*�¡�d�d�F�Ê�x�d�Z�>�F��¤x�*�Z�d�J�´�f� � �A�d J�.�A¤x���`�*�J�* J�^���{�°�{�����®�{�����d�d���*���¡�C�{�7�x�.�^¯�C�.�f�A���J�^¢®�*���´�Z���.�� 0J�x���A�C�*�Z�d�J�x�{�/�`�x¤*�`�x�{������X�`�*�!� 0J�x���A�C�*�Z�d�J�x�{�/�`�x�f��������³�*�d��� �´�d�¡©^���C¥

Í �x�f�­�^¤x�J�*��>�*���`�.�F .���A©f�f���*�����¶ÁO���C�f���´�`�.�F ^���'@ ; �d�­�{�Z�`�x�A��� �Z�¶�x� #��C�¤^���f�x�x�d�Z�d©.�AÇ��.�*���Z���.���*�.�d�Z���f�!©w�.�9���^�*��� � L� ���9�J� �`�*�����J�Z�F���>�x�J�*�x���* A�&�x�*���Z�d�J�©w�{���*�62 ; �`�*�C�·���f�d�Z���x�f�³�AÇ��.�*���Z���.���x�F�d�J�k�x�¡���`�F��¤x�*�Z�d�J�¦ª

K¸O�CÀ]N Ãg�*�Z��f�&¸��E>$� e � L� ��À S ¸ ��� ÀÍX���g�d�d�1�x�C�*�.�Z���>�*�����w©f�.�F���.�*���A��f�`�F�dº��f���A¤.�� �

N�� e � L� ��N � L� ��� � e � L� � S ¸ � � ÀÍ �*���`�*�C���*�³�*�.� � �x�f�o�&�*�d�2�Z�^�x�#ª¦�`�*�q���w©f�.�F���.�*���­�q�f�`�F�dºX �{�¡�g���*���x�f�o���*�d��Z�.�x�q�Z���*��� ��L� �o�¡�°�&�*�¡�1�Z�.�x�«¥Í �x�f�A�x�*����`�*�����f©w�.�9���^�*������f�`�F�dº ���d�J�*�X�d���f���¶Á&�´ .�C�*�C���f�@ª!�`�*�ʸ�`>� �dÀ�C�^�`�F���f� �Ì�d�

� ;�; � N � � L� �­� � � ;�; � N � L� E C B C ¸Z4 9 ;�= ÀMB C ¸54 9<; � = À ¸ �+� À�.�*���`�*��¸�`>� � Àk�C�.�`�9��f�, ¿�d�

;�; � N � L� E C B C ¸Z4 9 ;�= ÀMB C ¸54 9<; � = À e�� ;�; � > ¸ � � À�³�*�C�F� � ;�; � N»Ä��£���WN�� � �.�*�K�A�^�`�*�C�F�g�d�Z�.¥

�¦����±É�!�`�.�f�g�f�/�^����ºx�.��*�d���o�J�*�Q0J�x���A�C�*�Z�d�J�x�{�#�C�f�Z�.ªf�°�¡�>��Z�f�x���f�#¤x�f���¡�i���x�*�>¯�Z�d�J�*�C¥xÈg�*����ºx�x�F���Z���¡�*�q�Ò�J� � ;�; � ¤x�����J�A���°�Z����*�d���Z�g�£���,���f�Z�`�x���³�,���x�C©^�7�x�*�£¯�@�J�Z�A�d���`�x�f�����b¤x�{�Z�d�g�&�x�*���Z�d�J�*���.�*���`�^�f���`�*���d���A�d� �����Ϊ«�Z��`�x�{�g�`�*���`�x��f©.�C� [�¤x�����J�A���g�.�����^�Z�� J���f��V.�Z�A�C©^�.�d���x��©*���* ��o���f©f�.�F���.�*���o�`�x�f�/�x�d©.�C�9 .���/�g�d�`��´ª#�,�A�x�f�X¤x���Z�Z�C�o��.�{� � L� ���C�f�d���{��� «¸���¶À�ªx�³�*�C�9�������d���`�*��*�x�A¤x�C�o�f�¤x�f�Z�d�°���x�*�����¡�*�*�7�t�C�g�x�*�d�³�d�C�* .�`�·�f�!�`�*�]Q0;�{ºJ�d��Vx�>�*�C�

� ;�; � N � � C�����C � � ! �T[]B C ¸�Q 9 ;�= ÀMB C ¸�Q 9<; � = À ¸ � Æ.À

N � � C�����C � � ! �T[¶��ºx� H J ¸�Q 9 ;�= J [#À L�"N L O ��ºx� H J ¸�Q 9<; � = J [«À L�"N L O S ¸ � Ð.À

Page 10: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

Ä1� �! «"/$&� 'J)É+,).-A /+10, ¦3

ÁO�!�,���d���³�`�*���d���A�d�Z���f�!���.���� J�Z�f�Z�d�J��¤t��� �Ϊx�,���C�.�����.�d©.���`�*�d�g���^�Z�� J�Z�{�Z�

� ;�; � N � �hN L �A��ºx� H J ¸�Q 9 ; � = J Q 9<;�= À L�N L O S ¸ � /.À

ÍX�³�^�F�7�^�Z�F�d©J���* A�f�2���*��� �t�C�F�`�t�����Z�d©.���J�A�`�*�o���.���C�Z�x�.���f���¡�*�­�x�F�*¤*�¡�C�·¥;ÁÂ�*�Z�Z�C�f��f�g�`�t����� �@�*���* ´�`�*���x�F�d�J���x�d�Z�`�F��¤x�*�Z�d�J� �J���&�x�*���Z�d�J�*��`�x�f���`�*���Z�`�.�*�#�.�9� �Z�{�x���{�¤x�f�Z�d���&�x�*���Z�d�J� �A�*�x�����f�Z�`�x�A������� �Z�C�Z�����f��¤x�f�Z�d���&�x�*���Z�d�J�*�b�.�*� �x�F�d�J�9�­�J��x�.�Z�^�A���Z�C�F�Cª*�d�g�C�.��¤x���`�x���.�9�¡�������Z����*�d�b¤^���A���f©f�.�F���.�*�����&�x�*���Z�d�J�¦ª

�¸�Q 9<;�= > Q 9<; � = À H�� D ��º;� H J ¸�Q 9 ; � = J Q 9<;�= À L�TN L O > ¸ � Å.À

�³�*�C�F���,���x��©.�� .�d©.�C����*��� �x�.���.ª� D ªx�����>�*�����J�*�Z�>�.�.�,�J�*�k���F�*�.�C¥Ç��C�*�C�Z�f�d�dË����* q�&�F�J� �`�*�d�³�x�.�F���¡�C�*���.�k�C�f�Z�.ªx��©J�d�Z�`���f�1���^�Z�C�Z�t�.���f�Z�d�J���A���>�*�J�x�

�J�t�C�*�k�x�¦¥*Ç��d©.�C���.�^��©f�f�d�d�����w©f�.�F���.�*���°���x�*�����¡�*� � ¸54.>4 � À`[ �2�.±²�¡�«�x�d�Z�C�*�Z�,������A�J���C�.�o�³�x�f� �£©w�f�d�d��±��A�C�^�*��[ �,���C�.�·�x�>¢®�*��`�*�����w©f�.�F���.�*�����f�>�F�dº��Ò�J� �

�&�x�*���Z�d�J��©f�f���*���7�f�°�¡�*�C�f�Z�d�J�*� F B �Z��¤x���>�*����f�`�F�dº �  ^�¡©^�C��¤^�

� ;�; � N �¸Z4 9 ;�= >�4 9<; � = À ¸ � �.À�.�*�Î�`�*�¶���f©w�.�9���^�*���µ�q�f�`�F�dº(�@�J��� ���J�Z�9���`�x�J�*�x���*  �`�.�F .���q©w�f���*���Cªo�f�Z�`�x�A���* Ç��^�*�Z�Z���.���*�.�d�Z�.ª«�Z�¤x���`�*����f�`�9�¡º� ¿ .�d©.�C��¤.�

;�; � N �¸54 9 ;�= >�4 9<; � = À e � L� � ;�; � S ¸ � ÄCÀ

�.) �^)- �(�"�!$ �t ¦3kÖ¬Õ �,Ö��2Õi (���2Ö �!×µÔ,Õi0 �� ��2� � ������f$@ ���¬Õ!Ô2+!Ö���.Ö��

Èg�*�,�F�����C�.�!���^�Z�C�F���Z�!�.�A�*�* ³�*�C�x�Z�f�#�*���F�,�J�Z�o�F���Z�C�.�9�M�*�C�F�1���AÇ��.�*�Z�����^���x�F�*�����Z�Z����g�f�A���*�¡�����{�Z��� ¤^�X�`�*���,�J�Z�µ�f�7ð�C�f��¸FÄCÅ.Å.Æ^Ào�J�(�x�F�d�J�F�A�@�J�����^¢®�*�d�Z�X�*���F�,�J�Z�^�C¥�!�d J�x�F���¶Ä��.�*� � �`�*�f� �Z�J�����Z�.�*�x�J���>�.��*�d����&�F�J� �`�*�¶�x�F�d�J�q�x�¡���`�F��¤x�*�Z�d�J��f©.�C���&�x�*���Z�d�J�*���x�>¢®�*��� ¤^�¾�¶�Z���d�����Z�d�J�Î�{�7�Z�>�.�*�#�.�F�Î���*�d�Z�d�����.�C���x�C�9���C�*�`�F�J�*��g�d�`�¶���.�9 .��J�x�A¤x�C�9���f�k�*�d�x�x�C�´�x�*�¡���C¥�ð�C�f�1�`�*�f�2���¶�`�x�{���`�*��x�F�J�x�C�9�Z�d�����f�g��*�C�x�Z�f�¦�*���F�2�*�Z�o�g�d�`�A�J�*�o�*�¡�x�x�C�������.�C�g¸@�{�!���q��Øx�x�f�Z�d�J��¸ � ÀZÀ����*�.©.�C�9 .�g�Z���`�*�^�Z��f�³�¶Ç��.�*���Z���.�Ê�x�9�J�����Z��f�A�`�*���*�x��¤t�C���f�7�*�d�x�x�C�(�*�C�x�F�J�*����C�*�x���������^¢®�*�d�_��£�g�Z�`�.�*�#�.�9� �£�2���d J�^�o�x���C�C�¦±��x�F�d�J�F�A�.�F��f�Z�>�x�A����¥�Èg�*����f©w�^�F���.�*���A�&�x�*���Z�d�J�¶�f��`�*�d�³Ç��.�*�Z�Z���.���x�F�J�������g�x�C�x�C�*�x���J���>�*���x���`�f�d�d�³�f�1�`�*���x�F�d�J�F���f�Z�`�x�������Ò�J�%�`�*��,���d J�.���g�����`�*���*���F�,�J�Z��^�*���`�*���f�����¡©f�f�Z�d�J�����x�*���Z�d�J�*�o�f�!�`�*���*�d�x�x�C�¶�x�*�¡���C¥

Èg�*�d�g�*¤*�Z�C�F©w�{�Z�d�J�­���.�Z�d©w�f�����­�`�*�o�d�x�C�A�f���F�C�*���f�����* ��`�x�x�C�F©*�d�Z�����*�C�x�Z�f���*���F¯�,�J�Z�^��¤^��Ç��^�*�Z�Z���.�A�x�F�*�����Z�Z���Cª.���F�����C�.�F�����x���F�����Z�d�J�A��ºx�*�d�J�F���­¤^��ÍÎ�d�d�d���^�A�2�.�*�Ïg�f�>���*���Z�C�¾¸FÄCÅ^Å.Æ.À��.�*�Êð�C�f��¸FÄCÅ.Å.Ð^À�¥ � �`�*�*�F�J�* J�¶���*��x�.�F�d�Z�d�J� �f�kÇ��.�*�Z�Z���.��x�F�*�����Z�Z���1�g�d�`���.�`�*�C�������`�*�J�x�!�>�*�M���f���*�C�x���f�;�*���F�,�J�Z�^���.�*�A¼ � Ïg¹��g�f����f�x�¤^��Ïg�{�`�A�*�Z�Z�C�ʸ9ÄCÅ.Å.Æ.ÀV¥

Page 11: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ä^Ä

-10

-5

0

5

10

-2 -1 0 1 2 3 4

Out

put

Input

� � � (��'& � (+*

� � � $���� � Ä � (+*

����� ��������� ��$��������

����������

� � �!� � �" " "$# # #�2

# # #$" " "�Q% % % % %

� Ä &� � (��'& ' � (+*

' � $����

( )�*�+-,/.10�2436587�9;:�58</=>:@?7�ACBDA�E�FHG@</=>7�FI9�587�J�EHG@:@JLK-MNBO58B�FPJ-7�QRFH:@<TSU7�5�V�WYXUZP:1[\:�58</=>G@B�]U?�G@B�]>:7�A B</M�9-=>G@B�]6A�E�FHG@</=>7�F^9�587�J�EPG_:@J`K-MD</ZH:aFP:_</SU7�5�VbSU=></Zc58B�FHJ�7\QRSU:8=>d�Z-<�?e=>?C7�A 7�58J-:�5gf h^i�j�k�l_m</ZH:�ZP7�5�=>n@7�F-<�B�]!58B�FPd\:�=�FoSUZ-=>GpZ�</ZP:qA�E-FPG_</=>7�Fo[�B�5�=>:_?�?/=>d�F�=�rHG@B�F-</]>MI=>?q7�AU7�58J�:�5si-t � ��u8v i � ! m�B�FHJ</ZH:O?/ZH7�58<�:_?�<wZH7�5�=>n@7�F-<�B�]C]>:�FHd�</Zx?�G@B�]>:O=>?7�AC7�58J�:�5cy v i � ! W6XUZ�=>?qFH:@</SU7�5�VLZHB�Jzh|{~}����-�6B�FHJ�aB�EH?�?/=>B�F�SU:�=>d�Z-<�?aSU:858:ad�:8FP:�58B\<�:@J^SU=></Z�i�t � ��u {�}���i � ! {����-B�FPJNi j�k8l {���� ��W

� � ����) � ´� �)+&�(W�¾�­� ��C��)��A�¾���1����(x�C� � � �E(G� ) � ��(T®��(x�C��) �h�ÍX���x��©.�o�`�x�C�^�g�Z�*�A�³���������`�f���.���* ­�^¤x�J�*�³�x�9�¡�*�F�C¥*ÍX���*�f� �F���`�x�Z���Z�A�J�x�%�#�f�>��.�*���`�*�2�x�F�*¤*�¡�C� �f�®�x�F���x�d���Z�d�J�¦¥�-°�f�X�x�o�2�/�q�.�f�/�x�F���x�d���Z�d�J�*�%�g�d�`���gÇ��.�*�Z�Z���.��x�F�*�����Z���

-o��©J���* °�Ò�J���A�����`�*�!���f©w�.�9���^�*���2��f�>�F�dº� ¾�x�>¢®�*���A������Øx�x�f�Z�d�J��¸ � ÄCÀ«�J�x�4�`�f�`��d�³ ^�.���* �Z�¤x���Z�A���^�@�C� @ B�� D  .�d©.�C���`�*���*¤*�Z�C�F©.����©.�������J�%� B ¥#È°�*�����^�@�C�F�C�*���A�f�@ B�� D  ^�¡©^�C��� B �d�1�Z����*�d�³¤x���C�^�*�Z�,�`�*���F�.���.�1�x�C�*�Z�d�F�^K¸5@ B�� D >�� B À¦�d�/�oÇ��.�*�Z�����^��V�Z��>�*�����J�*�x�d�Z�d�J�x�f�1�x�¡���`�F��¤x�*�Z�d�J�

K¸5@ B�� D L � B À]N K¸5@ B � D >�� B ÀK¸O� B À¸ � � À

�d�2�f�d�Z�A��Ç��.�*�Z�Z���.�¦¥^ÍX�³�*�f�(�x�d�Z�Z���* J�*�d�`��¤x���F�,���C�A�x�$#��C�F�C�^�/�Z�dË����,�f�����f©w�.�F���.�*�����f�>�F�dº� ¾�°�¡�>���,�`�x¤*�Z�C�F���*�Cª��`�*���o�`�x�f�! B � D �d���`�*�³¸ � e Ä�À �³¸ � e ÄCÀ«���f©w�.�F���.�*�����f�>�F�dº´�Ò�J���>�*��©.�����Z�*�� B�� D H ¸5@ D > S�S�S >�@ B�� D À � ¥,ÍX�¶�x�>¢®�*�X�`�x¤x�q�f�`�F�d�������f�

Page 12: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

Ä � �! «"/$&� 'J)É+,).-A /+10, ¦3

¸��*À -1.4

-1.2

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

-2 -1 0 1 2 3 4 5

Output

Input¸���À

-1-0.5

00.5

1 -1-0.5

00.5

1

-2-1.5

-1-0.5

00.5

1

Input 1

Input 2

Output

( )�*�+-,/.��-2���� ����������������������� �����!�"�$#&%('��)�+*�,�-*���.�$*���0/,����1324�5*6 #&78'�9�0/)�:�&*���.�*���0/)����1;�#&%('<=����>�&*?Ni@t � ��u �5*6oi@� ! �&*A�B��*�C�-*���.�D*���E/,����1F5G�FD</Z-=>? rHd�E-58:��-h {�}��\���i @j�k�l { �-� � ��W5HH7�5q:_B�G�ZNd�58B�9-Z�</ZP:q9PB�58B�Q1:_<�:�5i @t � ��u <�B�V :@?aBDJ�=JI�:�58:�F-<q[�B�]�EH:�=�FN</ZH:�?�:8K�EP:�FHG@:ML����N���}-�5O��QP�� y\W N-� y�W P����-W �-�P�-W }-�P��W O����-WJPB#�A�587�Q Q17�?�< SU=>d�d�]>M^<�7D?�Q17�7\</ZP:_?�<0'�W�X ZH:q9PB�58B�Q1:@<�:85i@� ! SUB�?CB�]>?�7O[�B�5�=>:@J^?/EPG�ZN</ZHB�< i@� ! v i@t � ��u { ��� ��WPXUZH:a]>B�58d\:�5q[�B�]�EH:@?q7�A i3@� ! B�FHJNi@t � ��u 9�587�J�EHG@:</ZH:aQ17�58:qG@7�Q�9-]>:�R1A�E-FPG_</=>7�FH?aSU=></ZcQ17�58:=S-EPG_</EPB\</=>7�FH?@W�#&7�'�TU�E>Q����V��5�W��.�*V�������* ������6$.V���6XW>Y� �E/,�Y�-*���.�,*���0/,����1`SU=></Z[Z\h]\8i@� ! \8i@t � ��u \8i@j�k�l0^ {_Z�}\���"\ ��� �"\8��� �"\��-� � � ^ W B�� D �f�%�Ò�^�¡�d�f�g���

B�� D H`aab`b B

cde`b!f cdg f � h gBi h

ckjjd ¸ ��� À

Èg�*���t�.�Z�Z�C�F�d�J�°�x�d�Z�`�F��¤x�*�Z�d�J�´¸ � � À%�d�o .�d©.�C��¤^�K¸5@ B�� D L � B ÀmlÎ��º;� � J Ä� g � B @ B�� D h on D

B � D � � B@ B � D S ¸ � � ÀÍX�A�C�.����©w�{���x�{�Z��`�*��A�C�.�¶�.�*� �Z�`�.�*�#�.�9���x��©*���{�Z�d�J�¶�f�,�`�*��x�.�Z���C�F�d�J�o�x�d�Z�`�F�£¯¤x�*�Z�d�J���f� @ B�� D ¤^��¤x�Z�*�Z���@�J�F���A���.©^�C�F�Z�d�J���f�³ B � D ¥®È°�*�C�F�A�¡�A�­���J�F�����d�� J�^�.���ºx�x�F���Z�Z�d�J�µ�Ò�*���`�*�­�x�9���x�¡�����¡©^���x�¡���`�F��¤x�*�Z�d�J�¦ª!�*�f�2��©^�C��ª¦�³�*�d�M�´�d�A�*�Z�>���*�,�³�*�C�^¯��©.�C�g�x�9���x�¡�����¡�*�*���.�F���Z�­¤t����{�x���f�³��*�x�A¤x�C�°�f�i�*��� �x�.���^�Z�³�*���`�*��¤x�f���¡�o�f��`�*���#�f�>�������g�f�!�Z�dË�� �´¥*ÍX���C�.���³�F�d�Z�A on D

B � D �����Z�C�Z���g�f�/ B �.�*�¶ �n DB

�*�Z���* �`�*���x�.�9�Z�d�Z�d�J�*�������^©.�C�F�Z����Ø;�x�f���¡�*�*��¸@¨,�.�Z�*���Z��ÄCÅ.Ð.Å.À

n DB�� D N �_p �

� � � ¸ ��� À�³�*�C�F�

� N q i J f!r n DB f!s n D ¸ � Æ.À

Page 13: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ä �

� N J �� n DB f ¸ � Ð.À

p N n DBe Ä� � � r S ¸ � /.À

Í �*�C���,�o�`�x¤*�Z�Z�d�`�*�Z���`�*�d�7�q�f�`�F�dº����^�Z���Øx�x�f�Z�d�J�X¸ � � À%�,�o¢®�*�K¸Z@ B�� D L � B À]N Ä� ��ºx�

`b J ¸Z@ B�� D J �@ B�� D À L� � L��������cd

¸ � Å.À

�³�*�C�F�

�@ B�� D N f r n DB� B ¸ � �.À

� L�� ����� N i J f!r n DB f S ¸ � ÄCÀ

Èg�*�,�x�F���x�d���Z�d©.�³�A�C�.���f�1�`�*�2�*���¾�t�.���.�1�d�! .�d©.�C�A¤.� �@ B � D �.�*��� �������� �x�>¢®�*���!�`�*��C�Z�F�*��¤x�.�F�o�J�¶�`�*�d���x�F���x�d���Z�d�J�¦¥!ð�.�Z�d���A�`�x�f���,�A�x���*�.���*�����X�Z�����^©.�C�F�A B�� D��� �J�F�x�C�A�Z�´��.�f�¶�x�F���x�d���Z�d�J�*���f�U4:9 B�� D =F¥ T �*�d� B �*�����x���Z�ʤt�����^©.�C�F�Z����¥Èg�*�*�7Ç��.�*�Z�Z���.� �F�*�����Z�Z�����{�¡�d�f� �J�*�A�Z�� #������Z�d©.���d������*�d�C�A�C�^�����A�*�x�����g�d�`����*�x�A¤x�C�%�f��¤x�{�Z�d�/�&�x�*���Z�d�J�*� � �A�*�M�q���.�F .�C�i�`�x�.�q�`�*���J�x�A¤x�C�%�f���#�f�>���x�^���^�Z��´ª*�g�d�`���`�*�����*��x�*�`�f�Z�d�J�x�{���F��Øx�*���9�C�A�C�.�o¤x�����* ��J�*�d���f���J�9�x�C����w¥

Èg�*���x�F���x�d���Z�d�J�*�g�x�F�*�#�*������¤.���Ç��.�*�Z�����^��x�F�*�����Z�,�x�C�x�C�*���C�^�Z���F���d��J�A�`�*����f©w�.�9���^�*������f�`�F�dº� �¥JÍ ���g�d�¡�1�*�w�Î�x�d�Z�C�*�Z�°�`�*���Z�J�F���/�f�����f©f�.�F���.�*�����&�x�*���Z�d�J�*��J�*��A�d J�^�³���*�*�.�Z�����­�x�>¢®�*�� �ª#�`�*�C���*�f� �,���C�^�b�^�*�Z�J��f�����`�*�A�Z���d�����Z�d�J�¶�f��`�*�����f©w�^�F���.�*�����&�x�*���Z�d�J�������F���`�x�*�*�Z���Z�A�#�f�>�x¥

� ��4¬�� ���+(x� ���³�+��&x�#��)\�A�4��( � _���f��) �h����.)���) � Ö��2Ö¬Õ! (����Ô%$ �����

Èg�*���J�*�d�´���J�*�Z�`���f���.�A�J�´�J�x�����*�.�d�����f�o���w©f�.�F���.�*�����&�x�*���Z�d�J�(�d��>�x�f�A�¡�����*��� .�C�*�C�Z�{�Z�b�´�*�J�^¯_�*�� J�f���¡©^���x�>¢®�*�d�Z�X���f©w�^�F���.�*���X��f�`�F�dº´�@�J��.�^�(�Z�����f���x�^���^�Z�7�4 ; A B;�CED ¥!ÍX���g�d�d���x�C�*�.�Z���>�*���x�.�Z�.�A�����C�F��f���X���f©f�.�F���.�*�����&�x�*���Z�d�J�Τ^���A¥Èg�*�����f©w�^�F���.�*������{�`�F�dº­�{�����x�f�°�C�.�`�9�¡���o .�d©.�C��¤.�

�� ; N �¸54 9 � = >�4 9 ;�= V���À e�� � ;�� ¸Z4 9 ;�= V���À ¸ ��� À�³�*�C�F� ¿�d�o�`�*�����f©w�^�F���.�*�����&�x�*���Z�d�J���J���o�*�¡�����,�����J�*���C�^�`�Z�{�Z���&�F�J� �*�f� �*�¦ª�.�*� � �d�³�A�*�.�d�Z�����J�x�����o�*�¡�����A�d J�^�g¤x���Z�`�{�Z�d�J�x�.�F��*�/�>�x�f�Z���f�d�d�­©f�.�F�*���* «ª*�Ò�*���ºx�.��*�d�.ª

� ¸54.V���À*N�� � � �Ò�J�%���x�x�*�?0J���*�x�C�t�C�*�#�C�^���*�.�d�Z���º;� q����X CED � X B X ¸54�À s �Ò�J�%���x�x�*�?0J�x�C�t�C�*�x�C�.�A�*�.�d�Z�.¥ ¸ � � À

Page 14: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

Ä � �! «"/$&� 'J)É+,).-A /+10, ¦3

Èg�*�����J�^�Z���J�*�d�F�X�x�F�J�t�C�F�Z�d���A�f�� �x���Z�C���A���*���`�*����J�^�Z���J�*�d�F�Ê�x�F�*�x�C�F�Z�d���A�f��F�;�*�d�C�f�«�`�.��*�d���%�&�F�J�»�>�*�³Ç��.�*���Z���.��x�F�*�����Z�g�x�F�d�J��¥*ÁO� �¸54.>�4� Ài�¡�g�����J�.�����*�*�J�*��&�x�*���Z�d�J�X�{�k�d�Z��.�9 J�x�A�C�^�Z���`�*�C�µ�_�x�*�d�C�f�%���x�*�����¡�*�*� 2¦¸�Q«À��.�F�����J�.�����*�*�J�*���Z�J�«¥� ���C�*���*���¡�*�x�f���x�d�³�x�.�x�C�¬�J��Ç��.�*�Z�����^���x�F�*�����Z�Z���1 .�d©J���* ���.�^�³©f�f�d�d����f©w�.�F���.�*����&�x�*���Z�d�J�*�7�x�{�³¤x���C�·�³�F�d�Z�Z�C��¤.� � ¤x���.�x�.�A�Z�C�X¸9ÄCÅ.Å.Ð.ÀV¥�.) �^)!�"�¦ ��!$&Ô��/ 2Õ®3 +!Ô!"« 2Õ!$@ ��2+!ÖXÓ ���2+��!$&Ô����� KM=@:[email protected]«:.<`I ���f©w�.�F���.�*���·���x�*�����¡�*�´�¡���J�*���³�*�d���(�d��`���.�*�Z���f�Z�d�J�´���^©w�.�F���.�^�����`�x�f�,�d�o�`�f�Z�d�F¢#���

�¸Z4.>�4 � V���À:N �b¸54�J 4 � V���À ¸ �"� À�@�J�¦�Z�J���1���x�*���Z�d�J����ª.L@[�6f[�ª��>�*�/���f©w�.�9���^�*���/�d�/�%�&�x�*���Z�d�J���f�#���C�x�.�Z�f�Z�d�J�o�*�*�¡�.ªf�f�d�Z��*�*�w�o�X�f���`�*�­�^�*�Z�J���f©f�.�F���.�*���A�&�x�*���Z�d�J�¦¥!ÁO�³�f�x�x�d�Z�d�J�x�f�d�d� �J�*�d�X�x�C�x�C�*�x�A�J��`�*��?�:VUJB#LO= �*S.6A�f�!�`�*���x�d�Z�`�^�*����¤t���F�2���C� 4Ê�.�*�\4 � �`�*�C���`�*�����f©f�.�F���.�*�������x�*�>¯�Z�d�J�´�d�A�`�f�d�(�Z�X¤x���*�*�A�. .�C�*�J�*��¥�¹*�>�f�Z�d�J�x�.�F� ���w©f�.�F���.�*�����&�x�*���Z�d�J�*�­����X�f�d�Z�¤x���x���Z�C�F��¤x���¶�������C�Z�A�g�f�!�`�*���#�J�x�F�d�C�,�>�Z�.�*�F�@�J�Z� �f�!�`�*���&�x�*���Z�d�J� ��ªx�o�*�¡�����d��*�*�w�o�­�f�,�`�*���t�f�2�C�%�`�t�����`�Z�x�Ì�{���`�*��Ç��^�*�Z�Z���.���x�F�J�������C¥#Èg�*�d�g�«�J�x�F�d�C�,�`�Z�^�*�F¯�@�J�Z� �¡�/�*���������`�.�F�d�d��³�t�.�Z�d�Z�d©.�,�&�x�*���Z�d�J���f�#�&�F��Øx�*�C�*���.¥ T �*�,�k�����f�#���*�*�Z�`�Z�*���Z���* �°©w�f�d�d�­���`�f�Z�d�J�x�.�9�����w©f�.�F���.�*���%�&�x�*���Z�d�J�A�d�!�Z����*�d�A�Z�³���^©.�C�^�/���x�.�Z�d�Z�d©.�%�&�x�*���Z�d�J��f���&�F��Øx�*�C�*���­�.�*���x�>¢®�*� � �Z�¤x�o�d�Z�g���^©.�C�F�Z�o�#�J�x�9�¡�C�%�`���.�*�F�@�J�Z��¥ � �Z����*�d����º.¯�.��*�d���f�!�`�*�d�³�F�����f���¡�*�*�`�*�����d�g ^�¡©^�C��¤.����x�f�,�C�%�`�x�����>�Z�x�Ì�`�x�f�,�d����Ç��.�*�Z�Z���.��&�x�*���Z�d�J���f�¦���9��Ø;�*�C�*���.¥x¹*���*�����`�*�o�#�*�x�F�d�C�/�>�Z�.�*�F�@�J�Z� �f���AÇ��^�*�Z�Z���.�q�¡�g�AÇ��^�*�F¯�Z���.�¦ª«�`�*���^�*�Z�J���f©f�.�F���.�*�����&�x�*���Z�d�J�����J�Z�9���`�x�J�*�x���* ��Z�q�`�*�d�7�t�w�,�C�°�`�x�����>�Z�x� �d��Ç��.�*�Z�Z���.�q�&�x�*���Z�d�J���{���Z�C�x�^�Z�f�Z�d�J�¦¥#È°�*�¡���.�F *�x�A�C�.�g�F���x�C�9�¡©^���³�`�*�����f©w�.�F���.�*����&�x�*���Z�d�J���,���x�C�F�d©.���¶�f�g��Øx�x�f�Z�d�J�X¸ � Å^À�¥

T �*�A�x�.�Z����¤*�d���@�J�Z� �@�J�� ¿�d�

�¸54.>4 � V���À:N� D ��º;� H J Ä� bEU CED ¸ Q U J Q �U À LN LU O e � L ¸ � � À

�³�*�C�F�IQ U �¡���`�*��� � C ���*��x�J�*�C�^���f� 4/ª,�.� � �x���A�C�*�Z�d�J�x�f��©.�����Z�J��ª%�.�*� � N¸� D > � L >P7 N U A ÀV¥#Èg�*�C�F���¡���q�d�C�* .�`���Z�C�f�d� N U ���*�Z�F���`�t�J�*�x���* ��Z�­�C�{�M�·���x�x�*���o�*�¡������x�.�Z�f���Z�C�9�¡Ë������`�*��x�d�Z�`�^�*���­���¶�`�x�{���x�.�F���¡�C�*���.���x���F�����Z�d�J� �w©^�C�o�³�*�d�M� 2��¡����º.¯�x���������X�Z��©w�.�F���Z�d J�*�£¢#�C�.�^�Z�d�.¥ � ©.�C�F�����.�F ^���d�C�* .�>�¶�Z�C�f�d�­�A�C�^�*�³�`�x�{�^2��d����º.¯�x���������Ê�Z��¤t�­�����Z�C�.�����{�¡�d�(�����J�*�Z�`�^�.�o�&�x�*���Z�d�J� �f�g�`�x�f�����x�x�*�C¥!¹x�*�M� �.�¶���x�x�*����J�*�d� ¤t���`�{�¡� �Z�X¤x�������F���d��©w�.�^�Cª,�f����(�`�*���^�*�Z�J��f���¡���9���¡��©f�.�*���¶�x���Z�C�Z�A���x��¯�Z�d�J�¾¸ � Ï���À��A���`�*�*�¶�@�J���*�C�x�Z�{�2�*���F�,�J�Z�^�­¸O¼X�f�CÑ����ÊÄCÅ.Å � ª®Ã°�C�f�oÄCÅ.Å.Æ.ÀV¥®Èg�*�� D �^�x�x�C�Z�x�.���.�A���Z�C�%�x�>¢®�*���o�`�*�³©^�C�F�Z�d�C�f�¦�Z�C�f�d���{��©w�.�9���{�Z�d�J�*�g�f�����F�x�*�¡�C�{�¦���x�*�>¯�Z�d�J�¦¥1Èg�*�

� L �^�;�t�C�Z�x�.�Z�.�����Z�C���f�d�d�f�g�A�`�*��³�*�^�¡�q�&�x�*���Z�d�J�X���b¤x���"#��Z�������g����&�F�J� Ë��C�F�¤.�q�Z�J�A���x�x�J�*�f�³�����*�*�Z�`�.�^�][ �Z��x�*�x�C�F���`�.�*���`�*�d�g�Z�C����ª.��ºx�.�A���*���Øx�x�f�Z�d�J�ʸ �+� À,�.�*�����J�*�Z�d�x�C�°�`�*��¤x�f�Z�d�°���x�*�����¡�*�KB!¸54�À:N»Ä^¥

Page 15: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ä �� �*�.�`�*�C�,���`�f�Z�d�J�x�.�9�­���f©w�^�F���.�*���o���x�*�����¡�*���d� �¸ Q > Q � À:NÎ��ºx��¸6J^L Q J Q � L � ÀPV ������� � S ¸ � Æ.À

�#�*��� N � ª¬�`�*�d�A�¡����`�t�������{�2�C�{�Z�­�{�k�>�*���x�F��©*�d�J�*�A���f©w�.�F���.�*�����&�x�*���Z�d�J�¦¥1�#�*����ʸ9Ä�> � ÀVªC�`�*�°�_�x�*�d�C�f�x�&�x�*���Z�d�J�*�%�&�F�J� �`�*�d�g�x�F�d�J�/�^�F�g�`�A�*�.�`�A¤x�*�g�*�.�,�.�x�f�d�J���¡��&�x�*���Z�d�J�*�C¥«�#�J����� Ä��_�x�*�d�C�f�¦�&�x�*���Z�d�J�*���.�F�����J�^�Z���J�*�*�*�³¤x�*�7�*�^�2�>�A�J�^�`�¦¥� ���f©f�.�F���.�*���´�&�x�*���Z�d�J� �>�x�f�b�A�*�x���d�Ê� ���x�*�����¡�*� �`�x�{�b�d�X�x�C�9�¡�*�x�d�¾�g�d�`��*�*�w�o���x�C�F�d�*�� U ���·�`�*� � �`� ���x�x�*���x���F�����Z�d�J�·�¡�

�¸54.>4 � V���À:N� D ��º;�

`ab J Ä� E U � �����eq ���� ¸�Q U J Q �U À sN U �� L ckjd S ¸ � Ð.À

�!�d J�x�F� � �`�*�f�g���Z�*�A�­�Z�.�*�x�*�§�`�.��*�d�����#���C�o�����9�J� Ç��.�*���Z���.�X�x�F�*�����Z�Z����g�d�`����©f�.�F�d���F���f�!�x� #��C�F�C�^�g���f©w�^�F���.�*�����&�x�*���Z�d�J�*�C¥

�.)��^) �2Ô����"�¦ ��!$&Ô��% 2Õ«3¾+!Ô!"« 2Õ!$@ ��2+!ÖXÓ ���2+��!$&Ô����

Èg�*���Z����*�d���Z���*�J�*�Z�`�f���¡�*�x�.�F�X���f©w�^�F���.�*�������x�*�����¡�*�´�¡�q�`�*���J�*�����J�Z�F���`�t�J�*�x���* �Z�����d���*�C�^���`�F�C�*��¥�½k�J�*�Z�d�x�C�o�`�*��*���.�*� 2¦¸54�À N � U F U Q U e�� ¥¦ÁO�,�`�*� 7 F U A �.�*�� �x��©.�¶Ç��.�*���Z���.� �x�¡���`�F��¤x�*�Z�d�J�*���°�¡�>�¾Ë��C�9� �A�C�^� �^�*�¾©w�^�F���.�*����� � � �.�*� ����F���`�t�����Z�d©.���d���`�*�C���>�*���*���.�*���x�{�³�A���f©w�.�9���^�*�����&�x�*���Z�d�J�

�� (+* ¸54]>�4 � V 7 � � >���� A À:N bEU CED � L� Q U Q �U e � L� S ¸ � /.À� ����º;�.�q�*�¡���{�i�Z�^�*�x�J� �`�.��*�d�o�&�x�*���Z�d�J�*�g���*���J�Z�t�J�Z�f�Z���* ��`�*�o�¡���*�C�.�°�Z�C�Z� �C�.�¤x���Z���C������¢# J�x�F� � ¸O�#ÀV¥

� ¥ � ¥�Ä.¥��^8;:.=@LO:.cOc¡IqYC:.<>IfLTB^U�cd6�B.UJ=OHqKMN>:.cd6�K��Èg�*���Z�`�.�*�#�.�9�����w©f�.�F���.�*�������x�*���Z�d�J�´¸ � � À,�f���`�x�A���g�`�x�{�g�`�*���d�C�* .�`�·�Z�C�f�d���^7 N U A�.�F��¢#º*����¥!ÍX�����¡ *�.�­¤t�����.�Z�C�9���Z�Z���¾���(�X���J�x���g���´�³�*�d���(�`�*���d�C�* .�>�(�Z�C�f�d����.�F�����J�A�C�*�f� ��f�x���Z�X¤x�·���x�*�����¡�*�*�­�f�Y4/¥1ÍX���C�.�x�*�.������q�*�¡�(�>�x¤*�Z�Z�d�`�*�Z�¶��x�.�Z�^�A���Z�C�F�dË������Ò�*�Z� �@�J� N U ¸54�Àk���^�Z����Ø;�x�{�Z�d�J�(¸ � � Àg�{�³�`�*�d�o�g�d�d�/�*�.�³���� .�C�*�C�Z�{� .�d©.���*�2���x�.�Z�d�Z�d©.���x�>¢®�*�d�Z�����f©f�.�F���.�*���°���x�*���Z�d�J�¦¥xÇ���¤x¤*��¸FÄ�Å.Å.Ð.À1�`�*�f�g�!�>�x�f�/�`�*����f©w�.�9���^�*�����&�x�*���Z�d�J�

�*� ¸Z4.>�4 � À:N� D�� U � �"N U ¸541À N U ¸54 � ÀN LUJ¸541À e N LUJ¸54 � À�� D��ML ��º;�Ka�J E U ¸�Q U J Q �U À LN LU;¸Z4�À e N LU;¸Z4 � À g >

¸ � Å.À�d�2�t�.�Z�d�Z�d©.�o�x�>¢®�*�¡���7�.�*���x�f�/�`�x�{�Z���f�d�¡�A©f�.�F�*���* A�d�C�* .�`���Z�C�f�d���Cª.�o�*�C�F� N U ¸54�À¬�d�2�.��.�Z¤*�d�`���.�F�­�t�.�Z�d�Z�d©.���&�x�*���Z�d�J���f�`4/¥xÁ@�³�f�d�Z��x�f�°�`�*�7�x�9�J�x�C�F�F��>�x�f�,�`�*����.�F ^���x�{�©w�^�F���.�*�����d�o���*�x�C�t�C�*�x�C�.���{�X4Ê�^�*����Ø;�x�f�¬�Z�

� D ¥

Page 16: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

ÄCÆ �! «"/$&� 'J)É+,).-A /+10, ¦3

−3.0 −1.0 1.0 3.0 5.0x

−2.0

−1.0

0.0

1.0

2.0

3.0

t

−3.0 −1.0 1.0 3.0 5.0x

−4.0

−2.0

0.0

2.0

4.0

t

¸@�^À � S �i��º;� q1J 9�� n � � = !LQ95D�� ��= ! s ¸@¤xÀ � S �!��ºx� q1J 9�� n � � = !LQ9 f � ����= ! s

−3.0 −1.0 1.0 3.0 5.0x

−4.0

−2.0

0.0

2.0

4.0

t

−3.0 −1.0 1.0 3.0 5.0x

−4.0

−2.0

0.0

2.0

4.0

6.0t

¸O�CÀ � S �!��ºx��q-J & (+* ! 9 � 9�� n � � = � ��� f =L 9 f � �= ! s ¸O�#À � S �i��º;�oq1J 9�� n � � = !L 9 D�� �= ! s e Ä S �"QdQ �

( )�*�+-,/.�-2 ��5Y��� ���Y6$� ��/C* �0�����]�5.��� � ��* ��� ��V������ �����������MF XUZ�=>?1rHd�E-58:L?/ZH7�SC?</S 7�A�E-FPG@</=>7�FP? J�58B�SUF^A�587\Q :@B�G�Z^7�A6A�7�E-5g�aB�EH?�?/=>B�FN9�587�G@:_?�?e9-5�=>7�58?aSU=></ZNJ�=JI�:�58:�F-< G@7�[�B�5�=>B�FHG@:A�E-FPG_</=>7�FH?@W�X ZH:qG@7�5�58:@?/9�7�FHJ�=�FPdcG@7�[�B�5�=>B�FHG@:qA�E�FHG@</=>7�FL=>?Cd�=>[\:�F^K�:�]>7�S :@B�G�Zb9-]>7�<@W�XUZH:aJ-:@G�58:@B\?�:=�Fb]>:8FPd\</Z^?�G@B�]>:aA�587�Q #�B�'6<�7 #�K+' 9-587�J�EHG@:@? Q17�58:C58B�9-=>J�]>MBS�EHG@</EHB�</=�FHd A E�FHG@</=>7�FH?@WPXUZH:e9�:85�=>7�J�=>G9-587�9�:�58</=>:_?q7�A </ZH:qG@7�[�B�5�=>B�FHG@:�A�E-FHG@</=>7�FN=�F�#�G�'UG@B�FNG8]>:@B�5�]>MbK�:q?�:_:�F W�XUZH:qG@7�[�B�5�=>B�FHG@:�A E�FHG@</=>7�F=�F #�J�'6G@7�F-<�B�=�FP? </ZP:UFH7�F �/?�<�B\</=>7�FHB�58M^<�:�58Q���� � G@7�5�58:_?/9�7�FHJ�=�FHdb<�7</ZH:eG_7�[�B�5�=>B�FHG@:�7�AYB�?�</58B�=>d�Z-<]�=�FH:���?�71</ZHB�<a<TM�9�=>G_B�] A E�FHG@</=>7�FH?a=�FHG�]�EPJ-:�]�=�FH:@B�5</58:8FPJ-?@W

�.) *)A× ¦3 ��Ô,Ób-� /0,$ � � Ó �2Õ�� �,Ö�Õ´+!Ô!"# ,Õ!$@ ��2+!Ö¶Ó ���2+��!$&Ô����

� �� �����+��&x�#��)��A����( � ��4�{��)����4� & ÁO�� D ¸�Q >2Q � À��.�*� L ¸ Q > Q � À!�.�9�k¤t�.�`�����f©w�.�9� ¯�^�*���¶���x�*�����¡�*�*�b�f©.�C���>�*�Ê�`�^�A�¶�`�x�f��� Q �`�*�C� �b¸�QE> Q � À N D ¸ Q > Q � À e L ¸�QE> Q �¡À%�d�7�f�d�Z���A���f©w�.�F���.�*�������x�*�����¡�*�¦¥

Page 17: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ä�Ð

� )�� �_� ( ���=� �� 4�f� & ÁO� D ¸�QE> Q � À��.�*� L ¸�QE> Q � À1�.�F�%���f©w�.�F���.�*���i���x�*�����¡�*�*�!�J���`�*��>�.�A���`�x�f�����>�*�C���Z��d���¶¸�QE> Q �dÀ H D ¸�Q >2Q �dÀ L ¸�Q >2Q � À�¥

]��&x�#��)\�A�4��( � _���f��) �h��� � �®� ���=� � ��f�­� ���#��(;� & ÁO� D ¸�Q >2Q � À¬�.�*� L ¸�2J>Q2 � À¦�.�F����f©f�.�F���.�*���¶�&�x�*���Z�d�J�*���f©.�C�q�x� #��C�F�C�^���>�x�f�����Cª,�.�*� �,���x�>¢®�*�Ê�(�x�9�J�#�*����>�x�f�����GN ¸�QE>M2*Ào�`�*�C� �¶¸��J>�� � À N D ¸�Q >2Q � À e L ¸�2�>M2 � À��.�*� ��¸��J>�� � À^N D ¸�QE> Q � À L ¸�2J>Q2 � Àg�.�F���{�¡������f©w�.�F���.�*�������x�*�����¡�*�*�C¥

-°�C�*�����,�­�C�^�´ .�C�*�C�Z�f�Z���*���Ì�&�x�*���Z�d�J�*���*�Z���* X�Z����*�d�C����f©f�.�F���.�*�����&�x�*���Z�d�J�*��f�A�`�*��¤x�*�d�d�x���*  ¤*�d�J���^�C¥!�#�*����ºx�.��*�d�.ª!�,���C�.�(�*�Z���¶�>�x���f�³�Z��©^�C�Z�f�,�f�³�`�*�Ç��^�*�Z�Z���.���Z�C�Z���g�³�*�d�M���.�x�x�C�^�,������Øx�x�f�Z�d�J�X¸ � � À�ª*�C�f�����g�d�`�����*�x�C�t�C�*�x�C�.���^�.¯�x�C���x�.�Z�.�A�����C�F�Cª«���µ�`�*�A���w©f�.�F���.�*���A�&�x�*���Z�d�J�¦¥�Èg�*�d�� .�d©.���A�*���`�*��x�.���Z��¤*�¡�d�d�F�X�f��A�*�x���d�¡���* ¶���.�F .�A�Z�C�{�¡� �®�*���`�x�f�Z�d�J�*�����µ�J�*�A�x���9�����Z�d�J�¶�g�d�`�¶�*�*��Ç��.�*�Z�Z���.�¶�.�*��`��{�¡�d�C�°�Z�C�f�d� �®�*���>�x�f�Z�d�J�*�o�g�d�`���.�*�.�`�*�C�VªJ�@¥É�.¥\ª#�x�F�*�#�*�����* ��^���f�x�x�d�Z�d©.���A�*�x���@¥

� ¥ � ¥�Ä.¥¶hgc �J<><>LTB^UÍX���C�.������f .���*���.�^���* ���*���»Ç��^�*�Z�Z���.���x�9�J�����Z��¤^�­���J�^©.�.�d©*���* ��.�·�.�d���J�*� ¿�°�¡�>���.���.��¤*�¡�>�Z�.�F�­�{�C�Z�*���_[ �

�¶¸�Q >2Q � À:N � �2 �2 � [�¸ Q%J 2*À �¸�2J>Q2 � ÀM[1¸�2 � J Q � À S ¸ � �.À� �����q�*�¡��Ç��^�*�Z�Z���.�¶�x�F�*�����Z���&�F�J� �³�*�d�M� �Z���Z�`�.�9�³�d���>�*���o�*�¡���­�*�.�d�Z�­�x�F�*�����Z��x��©J���* ! �¸�Q >2Q � À:N � ¸�QE> Q � À�¥xÁO�1�2�������¡�����o�f�,�J�x�g�f�C�Z�*�������J�*�Q0J�x���A�C�*���¡�*�x�f�����J��x�f�,�&�x�*���Z�d�J�·�f���°�¡�x�>�¶Ä.ªx�,���J¤*�`�f�����

D ¸�QE> Q � À:N � Ä J L Q%J Q �ZL L Q J Q ��L � Ä� L Q J Q � L � Ä S ¸ � ÄCÀÁO���,�����w©^�­�Z�¶�`�x�9���­�x���A�C�*�Z�d�J�*���.�*�¾�*�Z�����`�x�*�C�9�¡�C�{�g�Z�J�´�x�f�����x�*�����¡�*�(�,��J¤*�`�{�����

� ¸�Q >2Q � À:N � Ä�J � L L Q J Q �ZL e DL L Q%J Q � L � L Q J Q � L � Ä� L Q J Q � L � Ä > ¸ � � À�³�*�d�����d�7��©w�f�d�d�����f©w�^�F���.�*�����&�x�*���Z�d�J�����·�J�*�.ªx�F�,���*�,�`�x�F�����x���A�C�*�Z�d�J�*��¥

T �`�*�C���f�C�Z�*���d���C�^�b¤t�­�*�Z���Ê�^�*�b ^�¡©^�­�F�d�Z��Z���.�`�*�C�o���f©f�.�F���.�*���A�&�x�*���Z�d�J�*�C¥Èg�*���f�C���*�����*�����b�*�.�o¤x�����Z�`�F�d���Z�d���x�^�Z�d�Z�d©.���&�x�*���Z�d�J�¦¥

� ¥ � ¥ � ¥��«6C<>=@LTN>:.c¦<F6�K�N`:.cdLOB.U� �`�F�d©*���f�³�g���X�f���q�.�.���* (�X�*�J�*�Z�>�f�Z�d�J�x�.�F�´���f©w�.�9���^�*�����&�x�*���Z�d�J� �&�F�J���Z�*�A� .�d©.�C�´���f©w�^�F���.�*�������x�*�����¡�*� �¸Z4.>�4 � À��d��Z�¶���.�`�9�J�#�*���¶�.�.�µ���x�*���Z�d�J���®¸Z4�À��.�*��x�>¢®�*� �b¸54]>�4 � À H �¦¸54�À �¸54.>4 � À��¦¸54 � À S ¸ ��� ÀÈg�*�d�!�&�x�*���Z�d�J�A�d�,��©w�{�¡�d�����f©w�.�F���.�*���k���x�*���Z�d�J�¦ª*�.�*��£���`�*�,�J�F�d .���x�f�t���x�*���Z�d�J���k�{��Z�`�{�Z�d�J�x�.�F�A�g�d�`����^�F .���x�f�¦©w�.�9���^�*��� �¸54.>4�À H f �@�J�,�f�d��4/ª.�`�*���*��� �&�x�*���Z�d�J��x�f�³�q�.�F .���x�f��©f�.�F���.�*�����b¸54]>�4�À N �f4�¦¸54�À L ¥

Page 18: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

Ä�/ �! «"/$&� 'J)É+,).-A /+10, ¦3

� ¥ � ¥ � ¥���:.<�8®LOB.U�D^<�6C?RZ6>S.S.LOB.UÇ��d©.�C�q�.�.�����f©w�.�F���.�*���°�&�x�*���Z�d�J� �¸ X> �dÀ�ªf�,�2�C�^�A���.�`�9�J�#�*���³�^��.�Z¤*�d�`�Z�^�F���*�J�^¯�d���*�C�.�³�q�.�x�*���*  4 � i¸Z4�À,�.�*���x�>¢®�*����*��� ���f©w�.�9���^�*�����&�x�*���Z�d�J�

�b¸Z4.>�4 � À H �¸ /¸54�ÀP> i¸Z4 � À�À S ¸ � � ÀÁO�A�`�*���*�F�d .���x�f�����f©w�.�F���.�*�����&�x�*���Z�d�J� �d���Z�`�f���¡�*�x�.�F�.ª!�`�*�d����^�x�*���* (�°�¡�d����� .�C�*�C�Z�{�;�x�F�*�#�*���³�o�*�J�*�Z�`�{�Z�d�J�x�.�F�����f©w�^�F���.�*���%���x�*���Z�d�J���g�d�`�A�x�*� �@�J�Z� ©f�.�F���.�*���.¥

ð�.�Z�,�`�x�f�:4��^�*� ��*�����­�*�^�/�x�C©^�2�>�*�2�>�.�A�,�x���A�C�*�Z�d�J�x�f�d�d�F���f�!�C�{�M���.�`�*�C�Vª�.�*���`�*�°���x�*���Z�d�J� 4 � i¸541À/�*�������*�.�g¤x�o���.©^�C�F�Z��¤*�d� [ �`�*�J�* J�q�£���F�,���x�d�Z�Z���*���©w�{���*�����f�.4(�`�f���¡�9�Ò� i¸54 9���=@À�N /¸54:9��X=OÀ°�`�*�C�¶�f�d�!�`�.��*�d�A�&�x�*���Z�d�J�*�^2¦¸54�Àk���F�*��`�*�AÇ��.�*�Z�����^���x�F�*�����Z�o�g�d�¡�!�*�������Z�`�^�F�d�¡�¶�x��©.�'2¦¸54 9��"= À]N 2¦¸54 9��X= À�ªx�o�*�¡�������¡ *�.��J�g���¡ *�.�³�*�^�³¤x���x���Z���F����¥� �´��º;�^��*�d���f�7�^�´�C��¤t���x�x���* (�f�7�¶�J�*�Q0*�x�����C�*�Z�d�J�x�f��Q´��� �X�*�d J�*�C�A�x�£¯�A�C�*�Z�d�J�x�{�g�`�x�f��� N ¸�� D >�� L À��d�­�>�*����.�x�*���*  N ¸O���.�f¸�Q#ÀP>��Z���®¸ Q#ÀZÀ�¥!Èg�*�C��¶¸�Q >2Q � ÀYN� �¸ i¸�Q«ÀP>$ /¸�Q � ÀZÀo�d���.�*���J��f�Z�d�C�f�d�d�X�����f©w�.�F���.�*�����&�x�*���Z�d�J���@�J�����x�>¯�F�d�*�x�¡�����x�*���Z�d�J�¦¥ @ �Z���* ��`�*�A�Z�`�^�*�#�.�F� �f�/��Ø;�x�{�Z�d�J�(¸ � � À�ªt�`�*�d���¡���*�*���g�����f��x�C�F�d©*���* ��>�*�����w©f�.�F���.�*�������x�*���Z�d�J�· .�d©.�C��������Øx�x�f�Z�d�J�´¸ � Ð.À�¥� ¥ � ¥ � ¥ E�6 � S.6C<>LTY�6`S�N>D.YC:.<>LO:.B#N>6%E �*B#N�[email protected]@ �Z���* (�`�*���`�9�¡���^���f�7©^�C�F�Z�d�C�f���F���Z�C�f�d���*  �.�*�Î�A�*�¡�����*�d�d�C�f�Z�d�J�¦ª°�,�µ�q�C�´�J¤*�`�{����Z�J���b�A�J�9�����f©w�.�9���^�*�����&�x�*���Z�d�J�*���&�F�J� Ç���¤x¤*�C±É���&�x�*���Z�d�J�»¸ � Å^À�¥ � �Z�`�x�A�¶�,��x�>¢®�*�����J�A���x�^�Z�d�Z�d©.���&�x�*���Z�d�J� N ¸�Q«À�¥

��*¸�Q >2Q � À N ÄN ¸ Q#À L e N ¸�Q � À L ��º;� H J ¸�Q J Q � À LN ¸�Q«À L e N ¸ Q � À L�O ¸ ��� À � �¸�Q >2Q � À N N ¸�Q#À N ¸�Q � ÀN ¸ Q#À L e N ¸�Q � À L ��º;� H J ¸�Q J Q � À LN ¸�Q«À L e N ¸ Q � À L�O ¸ � Æ.À � ¸�Q >2Q � À N Ä

� N ¸�Q#À n L e N ¸�Q � À n L � D �ML ��ºx� H J ¸�Q J Q � ÀMLN ¸�Q«À L e N ¸�Q � À L�O ¸ � Ð.ÀÍ �*���`�*�C�°�`�*���Z�����w©f�.�F���.�*�������x�*���Z�d�J�*���^�F���*�Z�>�&�*���F�C�q�f���*�³�Z��¤x�������C�¦¥®Èg�*�

�&�x�*���Z�d�J� ��A�d�J�J�^�A�d���{�����F�C�f�Z�J�x�^¤*�¡���A�*�x���!�@�J���*�C�x�F�J�x�{�/�`�*���f���Cª!�f���d��f�Z���f¯�����f�Z���o�`�*�J�F�,�d�C�* .�`�*���C�f�d�����g�d�`�����.�F .��©.�C�9�Z�d�C�f��©w�^�F���f�Z�d�J�*�C¥

� ¥ � ¥ � ¥���� m7:VUJ:.B�� K�?ADCS^6Cc� �*�.�`�*�C�¦���f©w�^�F���.�*���!�&�x�*���Z�d�J���*¤*�`�f���*����¤^�7�A�*�d�Z���*�d�d�C�f�Z�d�J�A�.�*���{�x�x�¡���¡�*�­¸ T ±1-o�f J�^�ÄCÅ.Ð�/.À%�¡� �¶¸�Q >2Q � À]NRQ �¸�Q >2Q � ÀMQ � e �¸�Q >2Q � ÀP> ¸ � /.À�³�*�C�F� �d���^�.�¶���J�^©.�C�*�d�C�.�����f©w�.�F���.�*���q�&�x�*���Z�d�J�¦ª¦�@�J�o��ºx�.��*�d�­�>�*��Z�`�.�*�#�^�F��J�*�¸ � � ÀV¥JÁO�!�`�*�o�d�C�* .�`���Z�C�f�d���f�� »�¡�°�¡�*�* ��>�*�C���_�x�*�d�C�f�«���x�*�����¡�*�*�³�x��©.�³Øx�x�f�Z� 0�d���*�C�.���`�9�C�*�x�Cª¦��ºJ���C�*���`�x�f�o�`�*�A�Z�d�J�x���.�*�X���.���C�F���C�*���f�/�>�*���d���*�C�.���`�F�C�*�X�����g�.�*�x�C�,�g�d�`��Q¬¥

Page 19: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� Ä�Å

¸@�.À 0.0 2.0 4.0 6.0−3.0

−1.0

1.0

3.0

5.0

7.0

¸@¤xÀ 0.0 2.0 4.0 6.0−3.0

−1.0

1.0

3.0

5.0

7.0

¸Ò�CÀ0.5 1 1.5 2 2.5 3 3.5 4

0.5

1

1.5

2

2.5

3

3.5

4

� �

N D�

( )�*�+-,/.���2�� .������& ��6��5���!�&1"�(�&�&����W6��Q.�*V�������*�MFYXUZ�=>?qrPd�E�58:1Z-=>d�Z-]�=>d�Z-<�?D</ZP:19-587�K-]>:@Q1?</ZHB�<aG_B�F^K�:q:�FHG@7�E�F-<�:�58:_JLSUZH:�F^EP?/=�FHdbB �aB�EH?�?/=>B�FI9-587�G@:@?�? S =></Z^FH719�5�=>7�58?q7�F </ZP:qZ-M�9�:�5�9HB �58B�Qs:@<�:�58?@W�#�B�'6?/ZP7�SC?U</ZH:aQ17\?�<!9-587�KHB�K-]>:a=�F-<�:�5�9�7�]>B�F-<aB�FPJD=><�?ay�ib:�5�587�5UKHB�58?U7�KP<�B�=�FP:@JcSUZP:�FcB�aB�EH?�?/=>B�F^9-587�G@:@?�?CSUB\?!EH?�:@Jb<�7Q17�J-:�]Y</ZP: J�B\<�B1?/ZP7�SUFDK-MD</ZP:CK�]>B\GpVD9�7�=�F-<�?@WPXUZP: G@7�[�B�5�=>B�FHG@:A�E-FPG_</=>7�FEP?�:@Jq=>?6d�=>[\:�F=�F1:�K�EHB�</=>7�F #�}�� '�W�XUZP:6Z-M�9�:�5�9HB�58B\Q1:@<�:�58? 7�A-</ZH:C�aB�EH?�?/=>B�Fs9�587�G@:_?�?6SU:�58:=�F-=></=>B�]�= n@:@JbSU=></Zs</ZP:UFH7�=>?�:U]>:@[\:�]PB�FPJ]>:�FPd\</ZD?�G@B�]>: K;7�</Zs?�:@<6<�7e]>7�S�[�B�]�EP:@? #�� {���� ��yM\ � � { y\� �4'B�FHJI</ZH:D:@[�=>J�:8FPG@:cSUB�?qQsBMR�=>Q�=>n@:_J SU=></ZI58:_?/9�:@G@<<�7^</ZP:Z-M�9�:�5�9HB�58B�Qs:@<�:�58?�EH?/=�FPdNG@7�F��/EHd�B\<�:d�58B\J�=>:8F-<�?@W5#�K�'�?/ZP7�SC?6</ZH:UQ17�?�<�9�587�KPB�K�]>:U=�F-<�:�5�9;7�]>B�F-< B�FHJw=><�?Uy i :85�587�56KHB�58?67�KH<�B�=�FH:@J1SUZH:�FsB�F=>J-:�F-</=>G@B�] �aB�EH?�?/=>B�F^9-587�G@:@?�?CSU=></ZD=>J�:�F-</=>G_B�] </58B�=�F-=�FHd1J�B\<�B1B�FHJ1]>:@B�5�F-=�FHd 9-587�G@:@J�E-58:qSUB�?Ud�=>[�:�FJ�=JI�:�58:�F-<q=�F�=></=>B�] G@7�FHJ�=></=>7�FP? #�Z�=>d�ZIFP7�=>?�:�]>:@[\:�]UB�FPJ^]>B�58d\:1]>:�FPd\</Zo?�G@B�]>:]#� { P�� �"\�� � {$}-� �4'�'�W36B�FH:�]m#�G 'a?/ZP7�SC?qB^G@7�F-<�7�E�59-]>7�<17�AC</ZP:]�=�V�:�]�=�Z�7�7�J�7�A���WYX ZH:1<TSU7bJ�=>?�</=�FPG_<1Q17�J-:@? #�7�FP:DB\<���U{~�-� � ����� { �-� �^B�FPJI7�FP:sB�<����U{ O-������� { O-� �4'aSUZ�=>G�Zod�=>[\:O5�=>?�:D<�7b</ZH:D</SU7cJ�=JI;:�58:�F-<?�7�]�EH</=>7�FH?qB�58:?/ZH7�SUFcK-MOG8587�?�?�:@?@W

Page 20: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� � �! «"/$&� 'J)É+,).-A /+10, ¦3� � � ��� �¬���x��) �h� � ����� 4����)\�A� ���=�4��(;��� � � �E(G�O��¦���,�*�k�{�Z�`�x�A�g�>�x�f�/�o�@�J�Z� �f�����f©w�^�F���.�*���g�&�x�*���Z�d�J���x�f�2¤t���C����*�.�Z�C�¦ª*¤x�*�/�`�x�{��d���x�C�x�C�*�x�A�J�¶�x�*�x���Z�C�Z�����*���(�^�;�t�C�Z�x�.�Z�.�����Z�C�F� �A¥¦ÍX�A�,�J�*�d�X�d���f��Z� � �d�C�.���¦±�`�*���Z���.�x�x�C�Z�x�^�Z�.�A���Z�C�9���&�F�J� �>�*��#�f�`�x¥�È°�*�¡�A�d�C�.�Z�*���* X�x�F�*�����Z�A�d����Øx�*�d©w�f�d�C�^��Z���`�*�����^�@�C�F�C�*�����f�/�`�*���^�x�x�C�Z�x�.���.�A���Z�C�F�o�f�2���*�C�x�Z�{���*���F�,�J�Z�«ª*�@�J�g��ºx�.��*�d�.ª�,���d J�.�o�x���C�����^�x�x�C�Z�x�.���.�A���Z�C�F��¥®Á��x�C�f�d�¡���,���,�J�*�d���d���f�A�Z��x�>¢®�*���x�F�d�J�°�x�d�F¯�`�F��¤x�*�Z�d�J���J�A�`�*�³�^�x�x�C�Z�x�.���.�A���Z�C�F�/�^�*����.�Z�� *�Z�f�Z�,�f©.�C�1�`�*�C� ���q�J�F�x�C�1�Z����^�f��J�x�g�x�9���x�¡�����¡�*�*�Cª�L@[\6w[\ªx�,���2�*�*�¡���d���f�A�Z��¢®�*�

K¸Z@ B�� D L 4 B�� D >�� B >MF B À.N � K¸5@ B�� D L 4 B�� D >��6>�� B >MF B À�K¸ �UL � B >QF B À� �¸ � Å.À¨,�*���`�*�d�����^�Z�� J���f�!�d���*�`�x�f�d�d�X���^�`�Z�f���`�^¤*�¡�.¥1Èg�*�C�F�­�^�F�A�_�,���.�x�x�F�J�{�M�*�����2�A�C�.��`�.�{�.¥Ä.¥�Í �³�C�.���.�x�x�F�fº*����f�Z�o�`�*�o���^�Z�� J���f�®¤^�­�*�Z���* �`�*���A�.���2�x�F�J¤x�^¤*�¡��©f�f���*���g�f��^�x�x�C�Z�x�.���.�A���Z�C�F��¥

K¸5@ B�� D L 4 B�� D >Z� B >MF B À�� K¸Z@ B�� D L 4 B�� D >�� B >MF B >������wÀ ¸�Æ"�.À� ¥ T ���2���C�^�(�x�C�Â�@�J�Z� �`�*�����^�Z�� J�Z�f���¡�*�´�w©^�C� � �J�x���C�F�d�C�f�d�¡�¾�*�����* ´¼¶�J�^�Z�½°�.�F�d�­�A���`�*�*�x��¸OÍÎ�d�d�d���^�A���.�*��Ïg�f�>���*���Z�C�XÄCÅ^Å.ÆxªJð�C�f�/Ä�Å.Å.Ð.À�¥�i�¡�>�*�C���f�x�`�*���Z�,�.�x�x�F�J�{�M�*�����d�1����*�d�C�A�C�.���������.�Z�����­���d�C�^�Z�d���£�#�`�*�! J���f�x�d�C�.�

�f�!�`�*���x�^�Z�Z�C�F�d�J�g�x�9�J¤x�.¤*�d�d�¡�F���f� �»�C�^��¤x����©f�f���x�f�Z����¥

�.)���) � Õ! ,�/$&Ö ���

Èg�*���t�.�Z�Z�C�F�d�J�o�x�F�J¤x�^¤*�¡�d�d�F���f� � �¡�

K¸ � LF� B >MF B Àml K¸O� B L�F B >���À�K¸ ��À ¸�ÆxÄCÀ

Èg�*���d�. ��f���`�*��¢®�F�Z�g���C�Z� ¸O�`�*����©*�¡�x�C�*�����@�J�,�`�*���^�x�x�C�Z�x�.���.�A���Z�C�F�>À¾�d�

N J Ä� �d�. /�x���¬ B J Ä� � rB �n D

B� B J �

� �d�.  ��� ¸�Æ � À�.�*���d�Z�o�x�C�F�d©w�f���¡©^���g�d�`���F���`�x�����°�Z�­��^�;�t�C�Z�x�.�Z�^�A���Z�C�

��d�

����N J � ����f��� �x n D

B�¬ B���� e Ä

� � rB n DB�¬ B�� n DB� B S ¸�Æ � À

�.) �^)+!Ô2-q-Ö������� �Z�`�x�A���* ��>�x�f�o¢®�*�x���* b�>�*���x�C�9�¡©f�f�Z�d©.���A�f�,�`�*�­�x�F�d�J�F���d���Z�`���f�d J�.�9�Ò�J�9�k�^�F��ªx�,��C�.���*�w� �Z�C�.�9�M�q�@�J� � ��� ¥J-g�f�,��©.�C�,�>�*�C�F���.�9���F�,�­�x�F�J¤*�d�C�A�o�`�x�f�g�,�A�*�����b���

Page 21: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � Ĥx�¶���k�^�F���f�Z¥��!���F���Z�d�.ª2�f�q�¡�d���*�Z�`���f�Z���Î���´¢# J�x�F� � ª!�`�*���#�f�`��0*�x�C�x�C�*�x�C�^�­�Z�C��� �¡���f�@�Z�C�¶���*�d�Z���A�*�#�f�@¥�È°�*�¡���C�.�X�A�C�^���>�x�f���`�*� � ��� �`�x�f�o�d���@�J�x�*�ʤ^���`�*��J�*�Z���A�dËC�f���¡�*���F�J�*�����*���d�g�x�C�t�C�*�x�C�.�o�J���`�*�����*�d�Z���f�����*�*�x�¡���¡�*�*�C¥®¹x�*�d�`�^¤*�¡�A�x�F�d�J�F��.�*�¶��Z�C�*����¤*�d�­�x�^�Z�.�A���Z�C�9�¡ËC�{�Z�d�J���f�!�`�*�����w©f�.�F���.�*�����&�x�*���Z�d�J���f�Ò���C�����d���A���x�f�Z��`�*�d���x�F�J¤*�d�C��¥g¹*�����J�*�x�d� �^�*� �x�C���x�.�*���A�.�Z�q���q�x�J�F�>�.�.���¡�(�>�*�b��©f�f���x�f�Z�d�J� �f��`�*�g *�Z�f�x�d�C�.�%�f���`�*�g�d�. ��¡���f���d���*�*�J�X�F��Øx�*���F���/�`�*�o��©w�{���x�{�Z�d�J��{�� n D

B¥ � �^���º;�{���

���.©^�C�F�Z�d�J� �A���>�*�J� �x�f���.�Î�f�Z�Z�*�����f�Z���Î���J��x�*�>�f�Z�d�J�x�f�o���.�Z���`�x�f���d���f���J�9�x�C�� � �.�*������C�f�d�C�*���f�Z���* � J�Z�f�x�d�C�^�Z�2¤t�����J�A���,�Z���A�o���J�*�`�x�A���* ��Ò�*�!���.�F .�o�`�Z�{���*���* �#�f�`���Z���Z�C¥

� � � � ��� ( �G(d�«���x��)���� � �³����( p � � (<�Èg�*�C�F�´�.�F�X�F�,� �t�.�Z�Z��¤*�d�¾�.�x�x�F�*�f�M�*�������(�`�*�X����*�d�C�A�C�^�`�f�Z�d�J� �f�­�x�F���x�d���Z�d�J�¸O��Øx�x�f�Z�d�J�*��¸ � �.À,�.�*� ¸ � ÄCÀZÀ%�.�*�� J���f�x�d�C�.�g���*��x�*�`�f�Z�d�J�X¸Ò��Ø;�x�f���¡�*�X¸@Æ � ÀZÀV¥

�.)���)�/$&Õ%Ö�+��Ê-Ö � �2Ô,���

Èg�*�X�A�.�����J¤.©*�d�J�*������*�d�C�A�C�^�`�f�Z�d�J�Î�{���`�*���Z�¶��Øx�x�f�Z�d�J�*���d�����Ê��©f�f���x�f�Z�X�`�*����.©^�C�F�Z�A�f�/�`�*�����w©f�.�F���.�*�����f�>�F�dº���º;�f�����¡�.¥¦Èg�*�d���C�.�¶¤x���x�J�*��*�Z���* ��©f�.�F�d���F��f�/�A���`�*�*�x�g�`�*�����f�o½g�*�.�d���`�^���x�����J��x�^�Z�d�Z�d�J�¦ª � @ �x�����J��x�^�Z�d�Z�d�J���J�°Ç��.�*�Z� 0_.�J�9�#�.� �!�d���A���x�f�Z�d�J�¦¥ -³��©*���* b�*¤*�`�f���*���¾�`�*����ºx�*�¡�d���d�����.©^�C�F�Z�.ª1�,���`�*�C�(�.�x�*�d��d�A�x���9�����Z�d�X�Z���>�*�­�.�x�x�F�J�x�9���{�Z�­©^�����Z�J�F�C¥�È°�J�*�����´�*�F�x�C���Z���C�{�¡�C�*���f�������Z���* .�d��x�F���x�d���Z�d�J� �@ B�� D ª.�,�,���J�*�Z�`���*���!�`�*�g©.�����Z�*� f ªf���.©.�C�9�!�`�*�³��f�>�F�dº­ B ªf�C�f�d�C�*���f�Z��`�*��©.�����Z�J� & N �n D

�� � �.�*���>�*�C��¢®�*�¶�`�*���x�^�³�x�F�*�#�*��� �@ B � D N ¸ f r &�À�¥xÁÒ�2�,��g�d�`� �Z�X¢®�*� �`�*�b���.�Z�­�x�F�*¤x�.¤*�d�b©f�f���*�¶�f�7�>�*�����.���C�Z�x�.���.�^���f���^�*�.�`�*�C��*���

�x�^���^� 4 B�� L  ^�¡©^�C��`�*�°�`�.�A�g�#�{�`��� B >MF B ¸O�o�*�¡���q�x�J����B#D^=����*�����*�x�^@ B�� D ÀVª.�,��*�����¶�J�*�d�����J�*�Z�`���*���g�`�*���*��� ©.�����Z�*� f B�� L �.�*��¢®�*���`�*���x�.�o�x�F�J�#�*�����{���`�*�d�©.�����Z�*�o�g�d�`� & [ �*�*�¡���­¸ �¶À��*�x�C�Z�f���¡�*�*�C¥�Èg�*�d��A�C�.�*���>�x�f�� .�d©.�C� �`�*�­�A�.����x�F�J¤x�^¤*�¡���^�x�x�C�Z�x�.���.�A���Z�C�F�o�.�*���*�����* ��`�*����ºx�*�d�¡���d���F�C�x�F���Z�C�^�`�f���¡�*���f�/ �n D

B�,�

�C�.���C�f�d�C�*���f�Z�g�>�*�k���.�Z�!�x�F�J¤x�.¤*�d�g©f�f���*�g�f�#�`�*�,���.���C�Z�x�.���.�^�2�{� � �x�.���^�Z�1�Ò�*���`�*����.�Z���{�/�J�*�d�b�*�*���q�f�`�F�dº����^©.�C�F�Z�d�J�¦ª¬�J�*��.�x�*�d�d�C�f�Z�d�J� �f�k����{�`�F�dº��Z����©.�����Z�*��.�*� � �x�^�7�x�F�*�#�*���Z�C¥�È°�J�*�o¢®�*�x���* ��>�*���x�9���x�¡�����¡©^�­�A�C�.�¶�x�f�������.�Z�o�Z���A�d���.��Z�A�`�*�o���.�Z�,�f���*�����* ����@�����*�@�J�F�g�.�F���*���F�2�*�Z���g�d�`� � ¢#ºJ����¤x�{�Z�d�,���x�*�����¡�*�*�C¥#Á&��`�*�d���^�x�f�d�. .�.ª¦�`�*�©^�����Z�J�Y&¾�d���`�*��,���d J�.��©.�����Z�J���^�*�X�`�*�!��¤x�{�Z�d���&�x�*���Z�d�J�*��.�F�]B ; ¸Z4�À H �¸Z4 9 ;�= >�4�ÀVªf�@�J� �WN»Ä�> S�S�S > �´¥�%�f�M�µ��©w�f���x�f�Z�d�J�´�{�2�`�*�� J�Z�f�x�d�C�^���f�g�`�*�q�¡�^ ��d���f���d���*�*�*� �f�d�Z�¶�F��Ø;�*���F���A�`�*����.©^�C�F�Z�d�J���{�2 B �f�g�,���d�!�f�,�@�J�x�g��f�>�F�dº�0J����0J©.�����Z�*�/�.�x�*�d�d�C�f�Z�d�J�*���.�*���J�*���x�^��x�F�*�#�*���C¥¦Èg�*�A��©w�f���x�f�Z�d�J�µ�f�2È����f���]q� n D

B�� ��� s �x�J�����*�.���F��Øx�*���9��`�*����ºx�*�d�d���¡�

�C�f�d�C�*���f�Z�d�J���f�, n DB��� ���

�f�°�2���*�������J�*�d�­��©f�f���x�f�Z���¡���³�x���f .�*�x�f�����d�C�A�C�^�Z�C¥Èg�*����ºx�*�d�d���¡�¶�A���`�*�*�¾�x�f��F�,�X�x�F���*�����x�{�³�x�d�`�f�x©f�.�^�`�f .���C¥i�!���9�Z�Z�d�.ª!�`�*�����^¯

©.�C�F���¡�*�(�f�� B �C�.� ¤x���Z���A�����J�*�`�x�A���*  �Ò�*�A���.�F .���#�f�>�¶�Z���Z�C¥%¹*�����J�*�x�d�.ª/�`�*��A���`�*�*���¡�g�x�F�*�*�g�Z���*�x�A�C�F�d�C�f�¦���x�f���C�x�Z�{���¡����¥#Èg�*�o�x�.�2�x�F�*�#�*��� f r &X������`�x�Z�

Page 22: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

��� �! «"/$&� 'J)É+,).-A /+10, ¦3

�J�*�,�Z�A¤x�o�`�*���`�x� �f��©.�C�F����.�9 .�7�t�.�Z�d�Z�d©.���.�*���*�� J�f���¡©^�7�*�x�A¤x�C�F�g�f�d�`�*�J�* *��d�Z���f *�*�¡�>�*�x���q�C�¶¤x�A�`��{�¡�@¥�Èg�*�d�A������¡�C�{�X�Z�����x�{���C�x�Z�f���d�������¶�`�*�A��©f�f���x�f�Z�d�J��f�,�`�*��A�.�Z���x�F�J¤x�.¤*�d�A©w�{���*���f�/�`�*�A���^�Z�C�Z�x�^���^�.�A�.�*�¶�¡�����C�Z�F�J�o¤x�.�F���³�*�C���`�*��A�*�x���¦�¡�°���q�*�¡�C���C�.�Z�����*�­�����J��x�*���C��¥xÈg�*�7�x�9�J¤*�d�C�Ì�d�g�C�.�*�Z����¤.���.��d�d�����J�^¯�x�d�Z�d�J�*���X���f©w�^�F���.�*�����f�`�F�dº¦ª*�@�J�g��ºx�.��*�d�.ª«�³�*�C���`�*��A�*�x�����f���`�x�A������`�q�f�d��*�.�d�Z�o�d��©.���@¥;Ȭ���9���#�*���³�`�*�����J�x�A�C�9�¡�C�{�#�C�Z�F�*�F�Cªf�,�g�C�.���*�Z�g�`�*� � @ �x�����J��t�.�Z�£¯�Z�d�J�q�f�/ B �J�%���¡ ^�C�.©.�������J���f���d .�C�^©w�f���*���x�����J��x�^�Z�d�Z�d�J�*�C¥ � �*�.�`�*�C�%�g���������x�C�{��g�d�`���d�d�10*���J�*�x�d�Z�d�J�*�T�* X�d���Z���`�*�d�d� Ì���.�����Z��©.�C�Z�f�!�*�d��������.�*�X��.�f�A�*�Z��f�/�`�*��d�x�C�.���¡�F�

�� e p � � n D N n D J n D p ¸@� e �µ n D p À n D �¶ n D S ¸�Æ � ÀÈg�*�d�g�d�³�A�*�Z�>�&�*�¦�k���A�Z��x�.�*�x�d���d�d�����J�*�x�d�Z�d�J�*���* ��x�9�J�#�*�����¶¤.�­�����.�F ^�³©f�f���*���f��`�*�����J�*���`�.�^�g�Z�C�Z�

� L �����`�*�����f©w�^�F���.�*�����&�x�*���Z�d�J���{����Ø;�x�{�Z�d�J�ʸ � � À�¥Èg�*��������º;�f����A���>�*�J�x�A�Z�C�f�d���f� �­¸ � � À��.�*�(�C�.�´¤x���������­���J�*�>�x�A���* ¶�Ò�*����.�F .���#�{�`�A�Z���Z��¥

�.) �^)A �����Õ!Ô��/$&-A �/Öb-qÖ�� �2Ô,���� ��f�d�Z�C�Z�x�f���¡©^�7�A���>�*�J�A�@�J�i�`�*�g����*�d�C�A�C�^�`�f�Z�d�J�q�f��Ç��.�*���Z���.��x�F�*�����Z�Z���g¤x�f�Z����J�o�`�*�%�d�x�C�f���{�t¹x�^�d�¡�d���* �¸9ÄCÅ.Å � À¦��^�f�����.�x�x�F�fº*����f�Z�d�J�*������ n D �2�.�*��È1�Z�f���f n D�*�Z���* ¶�d�Z�C�Z�f�Z�d©.���A���`�*�*�x���o�*�¡���´�Z�C�f�d���f� �­¸ �IL>À�¥�È°�*���Z�������`�*�J�x�A�.�F�­�*���>���*��³�*�C���`�*�g�*�x��¤t�C�1�f�#�#�f�`�o�x�^���^�Z�!��º*�������x�2�k�Ò���¾�*�x�*�#�F����¸@Ç���¤x¤*�/�^�*��¼X�f�CÑ����ÄCÅ.Å^Æ.À�¥

� � �U(T®��(x�C��)���� � 4��� ��� (;�ÍX�A�x�F���Z�C�^�g�F�2�A�Z����*�d���ºx�.��*�d���C¥«Èg�*��¢®�F���g�d���A�J�*���x���A�C�*���¡�*�x�f���9�� J�F���Z�Z�d�J��x�F�J¤*�d�C��¥1Èg�*�d�A���J�*�Z�d�Z�Z���f�³���Z�����f� � Ð��*�.�d�Z�¶�`�Z�f���*���* ¶�#�f�`���t�.���.�Z�A�`�*�f�³�����¢# J�x�F� � ¸@�.À�¥*ÍX���*�Z�����`�*��¤x�f�Z�d�����w©f�.�F���.�*�������x�*���Z�d�J�· .�d©.�C�����·��Ø;�x�f���¡�*�X¸ � � À�¥

Ȭ�C���Z�x�*�¬�2�C�9�/�x�C�Â�@�J�Z�A�����°�¡�>���x�$#��C�F�C�.�¬���*�d�Z���f�*���J�*�x�d�Z�d�J�*�!�Z�, J�x�^�F���f J�f���*�Z��`�*�(�x�.���Z��¤*�¡�d�d�F�»�f�­�A�*�¡�����*�d�Î��fº*���q�(��� K¸ �UL � B >MF B À�¥o¨2�9�J�f�»�x�F�d�J�F�¶�,�C�F��*���f����� �J�Î�f�d���`�*�Ê�^�;�t�C�Z�x�.�Z�.�����Z�C�F�ʸO J�^���´�x�F�d�J�F���J�Î�>�*�b�d�C�* .�>�Î�Z�C�f�d����V���.©^�C�F�Z� J�^�����x�F�d�J�F���J�

� D > � L �.�*� � � À��f���d���g�f�A�f�Z�`�x�A��� �`�x�f���`�*�C�F�q�k�{��d�d�Z�Z�d�b�x�F�d�J�q�J�*�f�g�d���x .���.�`�*�C���`�x�.�(�¶¤x���d�d�>���>�x�f�A�`�*�����.�Z�C���x�.���.�^�­�>�*�J�*�d� ¤x��F�����f�Z�d©.���d�X�>�A�J�^�`�¦¥��«�J�o�C�f���X�Z�x� �`�*����*�d�Z���f�,©w�f���*����f�,�`�*���.�x�x�C�Z�x�^�Z�.�A���Z�C�9��,�C�F�g�`�^��*�d�������F�*�»�`�*�����,�x�F�d�J�F�g�.�*���`�*�C�������J� �Z�* J�f�Z�o J�Z�{�x�¡�C�^�/�*�*�Z���A�dËC�f�Z�d�J��F�J�*�����*���g�f�A�*�Z���´�Z��¢®�*� �����t¥�Èg�*����{�`�F�dº¶���^©.�C�F���¡�*�*����.©.�^�¡©^���(���´�>�*�­�J�^¯�Z���A�dËC�f�Z�d�J�´�,�C�F���x�C�_�Ò�J���A��� �*�����*  ��º;�f���!� @ ¯&�x�����J��t�.�Z�d�Z�d�J� �A���`�*�*�x�C¥ �/�f����Z�x�¶���J�J�¶�.�x�x�9�wº*����f�Z���d�(Ä1���Z�����*�*�x���*�X��¹x�x�X¹ W� Ï,½¿�����f���Z�d�.¥�È°�*�­�F���`�*�d�Z��C�.��¤t���Z���C�·����¢# J�x�F� � ¸�¤xÀ�¥

�«�J���`�*���Z�����J�*�(��ºx�.��*�d� � �"���*�.�d�Z�Ê�#�{�`���t�.���.�Z�A�,�C�F�� .�C�*�C�Z�f�����X�&�F�J� �� � ���x�*�����¡�*� ¸O�Z����¢# *�x�F��Æ#¸@�.À�À�¥ �  J�f���(¤x�F�J�{� �x�F�d�J�9��,�C�F���*���f�����¾�J�´�f�d�g�`�*�

Page 23: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � �

¸��.À −3.0 −1.0 1.0 3.0 5.0−2.0

−1.0

0.0

1.0

2.0

3.0

4.0

¸�¤xÀ −3.0 −1.0 1.0 3.0 5.0−2.0

−1.0

0.0

1.0

2.0

3.0

4.0

( )�*�+-,/.���2��M6������� �����AFY#�B�'!?/ZH7�Se? </ZP: O�aFP7�=>?�MOJ-B�<�Bq9�7�=�F-<�?eEH?�:@JDB�?U</ZH:a</58B�=�F�=�FHdDJ�B\<�B�Wa7\<�:�</ZH:q]>B�G�VN7�A J�B\<�BO=�F�</ZP:q58:@d�=>7�F�P������ � � O�� ��WQG�F�#�K�'CSU:?�:@:�</ZH:q=�F-<�:�5�9�7�]>B�F-<1B�FHJ^=><�?y�io:�5�587�5qKHB�58?@WYXUZP:D:�5�587�5qKPB�58?w58:89�58:@?�:8F-<wZH7�S E-FHG@:�58<�B�=�FxSU:sB�58:1B�K�7�EH<�</ZH:1=�F-<�:�5�9�7�]>B�F-<1B\<:@B\GpZN9�7�=�F-<B�?�?/EHQ�=�FHd^</ZPB\<q</ZP:sQ17�J�:8]6=>?qG@7�5�58:@G_<@W� 7�<�:qZP7�S </ZP::�5�587�5qKPB�58?a=�FPG�58:_B�?�:DSUZP:�58:</ZH:�J-B�<�B�9;7�=�F-<qJ-:�FP?/=><TM^J�:_G�58:@B�?�:_?@W�X ZH:a9�7�=�F-<aFP:@B�59#�y \���'!=>?a7�EP<�?/=>J-:1</ZH:�:85�587�5CKPB�58?eK�:_G@B�EH?�:</ZH:e9-5�=>7�5q7�Fc</ZP:a]>:�FHd�</Z ?�G@B�]>:_?e?/9;:@G�=�rH:@?a</ZHB�<C</ZH:e=�F-<�:�5�9�7�]>B�F-<a=>?CQ17�J-:�58B�<�:8]>MO?�Qs7�7�</ZYW��a:8FPG@:</Z-=>?e9�7�=�F-<e=>?a</58:_B�<�:@JcB�?CB�F^=>Q�9-587�KHB�K-]>:17�EP</]�=>:�5�W

�^�;�t�C�Z�x�.�Z�.�����Z�C�F���.�*�¶�Z�C�¶�Z�x�*���,�C�F���t�C�Â�Ò�*�Z�A����ª«�C�f�M���g�d�`�����*�d�Z���f�2�^�x�x�C�Z�x��¯�Z�.�����Z�C�F�1�`�.��*�d�������9�J� �>�*�����!�x�9�¡�*�F�C¥fÁ&�A�`�*�d�!�C�f���/�`�*�g�.�x�x�F�fº*����f�Z�%�Z���M�x�*�dØx�*����f�2¹*�����Z�d�J� Ðx¥ � �2�C�9���*�Z���¶�Z����©f�f���x�f�Z�A���.©.�C�9�Z�����.�*�¶�`�Z�f������¥®Èg�*��F���>�*�¡���o���F�*��C�f���(�Z�x�´�,�C�F���Z���A�d���.���.�*�(�`�*�����^�Z�C�Z�t�.���.�^�­�J¤*�>�f���*���´���F�*� �>�*��¢®�F�Z�­�Z�x�´�d��`�*�f�³������¢# *�x�F��Æ#¸@¤xÀ�¥

Èg�*�q�Z���A��F��Ø;�*���F���´�Z���x�C�Â�@�J�Z�§�>�*��J�*�Z���A�dËC�f�Z�d�J�µ���µ�`�*��Z�����J�*�¶��ºx�.��*�d��g�f�2�{�/�@�.�d�d�f�g�C¥ �/�f���q�`�Z�f���*���* ­�Z�x���Z�*�J��^¤x�J�*��ÄCÆ��A���J�*�Z���o�*�Z���* �`�*���.�x�x�F�fº^¯����f�Z�����.©.�C�9�Z�d�J���Z���M�x�*�dØx�*���C¥�È1�Z�f���*���* ��Z�x�*�7�t�C�Â�@�J�Z�A���¶�*�Z���* ��x���9�����7�A���>�*�J�x��Z�*�J���.�x�x�F�fºJ����{�Z���d� � Å­�����*�*�Z���C¥¦Èg�*�d���`�*�f�g�g�>�*���f�x©f�.�.�>�f .���f�/�`�*�A�.�x�x�F�fº*� ¯��f�����A���`�*�*�x�g�³�*�C���x�C�{�¡���* ��g�d�`�����.�9 .���.�A�J�x�^�Z�,�f�!�`�Z�f���*���* ��#�f�`�x¥*�!�d J�x�F�AÐ�`�*�f�g���`�*�A�`���f���*���* ��Z���A���o�@�J�g�#�{�`���Z���Z���f�/©f�.�F�*���* ��Z�dË�� .�C�*�C���f�Z���X�*�Z���* ��`�*��`�.���o���x�*���Z�d�J�¦¥

� � � � &x�A����( � �-� �`)T�.� ) � ��(T®��(x�C��) �h��.)���)Ô���� �t$ �2Ö¶�! �® ´ 2�,�%$ �!$&Ô��

½,�J�*���¡�x�C�¬�`�*�!�C�f���!�����³�*�d�M���,�/�x�C©^�/�,�#�f�`�%�Z���:7�4 ; >�@ ;�A ¸� N»Ä������ �bÀ¦�.�*�A�x��©.��@�J�x�*�(�`�*���A�.�����x�9�J¤x�.¤*�d�b�^�;�t�C�Z�x�.�Z�^�A���Z�C�F��{�³�`�*��Ç��^�*�Z�Z���.�¾�x�9�J�����Z� �����t¥Èg�*�C� �,�­�J¤*�>�f���Ê���*��� �#�{�`���t�.���.�W7�4 B�� D >�@ B�� DQA �.�*�´�g�d�`�X�������*���J�Z�t�J�Z�f�Z��`�*�d����^�Z�X�`�*���A�*�x���@¥��4���­�*�­�f�Z�>�x�A�­�>�x�f��`�*���*��� �*�d�������f�³�#�f�`�µ�x�J���­�*�^�����*�d�b�A���x�.�* .�����·�`�*���^�;�t�C�Z�x�.�Z�^�A���Z�C�F�Cª¦L@[�6f[�ªt�`�x�f�,�`�*���@�J�Z� �f�!�`�*�o�&�x�*���Z�d�J�

Page 24: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

�+� �! «"/$&� 'J)É+,).-A /+10, ¦3

¸��.À

-1-0.5

00.5

1 -1-0.5

00.5

1

0

0.05

0.1

0.15

0.2

0.25

0.3

¸�¤xÀ

-1-0.5

00.5

1 -1-0.5

00.5

1

-0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

( )�*�+-,/.���2��"6 ������ ����� F #�B�'q?/ZH7�SC?1</ZH:1A�E-FPG@</=>7�FoA�587�Q SUZ�=>G�Zx}��\�bFP7�=>?�MIJ�B\<�B`9;7�=�F-<�?SU:�58:qd\:�FH:�58B�<�:@JNB�FHJN</ZP:qFP7�=>?�M^J�B\<�B19�7�=�F-<�?a=�FN58:�]>B�</=>7�Fo<�71</ZH:wA E�FHG@</=>7�FYWYX ZH:7 I�?�:@< 7�A :@B�G�ZJ-B�</EHQ J�EH:e<�7aFH7�=>?�:C=>?!?/ZH7�SUFDB�? BqJ�B\?/ZP:_J ]�=�FH:�W(G�F #�K+' SU: ?�:@:C</ZP:UQs7�?�<69�587�KPB�K�]>:a=�F-<�:�5�9;7�]>B�F-<d�:8FP:�58B\<�:@JOEH?/=�FHd1B�FDB�9�9-587�R�=>Q1B�<�:q=>Q�9-]>:@Q1:�F-<�B\</=>7�FN7�A6B�aB�EH?�?/=>B�F^9-587�G@:@?�?@W�y iO:�5�587�5UKPB�58?UB�58:7�F-]>Mbd�=>[�:�F�B�< ?�:�]>:@G@<�:@J^9�7�=�F-<�?e=�FN7�58J-:�5 <�7�9-58:@?�:�58[\:�G�]>B�5�=></M�W

¸��.À 0 200 400 600 800Number of training points

0

100

200

300

400

Tra

inin

g t

ime

(m

ins)

Approximate InversionLU decomposition

¸�¤xÀ 0 200 400 600 800Number of training points

1

10

100

Tra

inin

g t

ime

(m

ins)

Approximate InversionLU decomposition

( )�*�+-,/.���2 �V��5�&�&*?]�"� �������&*��-*? � �-[� /C� � �o�� ��.�*W�m�(�=6��(����F #�B4'!?/ZP7�SC?C</ZP:q</58B�=�F�=�FHd</=>Q1:@?UA�7�5UFH7�=>?�MbJ-B�<�B?�:@<�?C7�A J�=JI;:�58:�F-<a?/=>n_:@?Cd�:�FH:�58B�<�:_JOA�587\Q~</ZH:aA�E�FHG@</=>7�FN?/ZP7�SUFD=�FbrHd�E-58:)N-WXU=>Q1:@?1B�58:b?/ZH7�S FxA�7�5sK�7�</Zx</ZH:bJ�=�58:@G@<���� J�:_G@7�Q�9;7�?/=></=>7�F Q1:@</ZH7�JoB�FHJ�</ZH:bB�9�9-587�R�=>Q1B�<�:Q1:@</ZH7�J�W#�K+' ?/ZH7�SC?a</ZH:q?�B�Q1:qd�58B�9-ZNS =></Z B�]>7�d\B�5�=></ZHQ�=>GD[�:�58</=>G_B�] ?�G@B�]>:�W5HP7�5 ?�Q1B�]�] J-B�<�B1?�:_<�?</ZH:����Qs:@</ZP7�JD=>?U?/=>d�F-=�rHG@B�F-</] M]K�E-=>GpV :�5q</ZHB�Fc</ZH:aB�9�9-587�R�=>Q1B�<�:B�9-9�587\B�G�Z W�C<U7�[�:85qy@�\��J-B�<�B9�7�=�F-<�?OS :bG@B�F�?�:_:b</ZHB�<1</ZH: �9#�� ! '�?�G@B�]�=�FPd�7�Aq</ZH:bB�9�9-587�R�=>Q1B�<�:NQ1:@</ZH7�JIK�:@d�=�FP?c<�7^M�=>:�]>JK�:�FH:�rH<�?@W(HP7�5 }��\�qB�FHJO�\���qJ-B�<�Ba9�7�=�F-<�?C</ZP:CB�9-9-587 R�=>QsB�<�:qQ1:@</ZH7�J1=>?!?/=>d�F�=�rHG@B�F-</]�MDA�B�?�<�:�5 </ZHB�F</ZH:�����J-:@G@7\Q�9�7�?/=></=>7�FNQ1:@</ZH7�J�W G < ?/ZP7�E�]>J���ZP7�SU:@[\:�5���K�:UFH7�<�:@Js</ZPB\<!</ZH:U9�587�K�]>:@Q =>?U7�F-]>M1<TSU7J�=>Q1:�FH?/=>7�FHB�]6B�FPJs</ZP:!K;:�FP:8rP<�?U7�A�</ZH:UB�9-9�587�R�=>Q1B\<�:qQ1:@</ZH7�J�A�7�56Z�=>d�ZP:�5 J�=>Q1:8FP?/=>7�FPB�] 9-587�K-]>:@Q1?SU=�]�] 7�F-]>MOK�:q7�K-[�=>7�EH?aA�7�5C]>B�58d�:�5gJ�B\<�B1?�:@<�?@W

Page 25: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � ��x���Z�C�F��¤t��� ¤^�´�`�*�b�*��� ���.�9 .�C�A�#�f�`�µ�Z����d���^�x�x�F�fºJ����f�����¡�´�`�*���`�^�A���f��`�x�{��x���Z�C�F��¤t���µ¤^���`�*���.�d��¥xÍX���C�.���C�f�d�C�*���f�Z� n D

B � D �&�F�J� B �^�*�¶ n DB

�*�Z���* ­�`�*��x�.�F���¡���¡�*�*�������^©.�C�F�Z�,��Øx�x�f�Z�d�J�*�g¸ ��� 0 � /.À�¥>�#�*���`�*�%�x���F�����!����*�d�C�A�C�.�>�f�Z�d�J�¦ªf�³�*�C�F��,�2�f���F�C�{�x���x�C©^�2�.����º;�*�d�d���d�!�@�J�Z� �@�J�i n D

Bª��`�*�2���.�Z�1���.�Z�Z�d���x�.�F�¬�f�#�C�f�d�C�*���f�Z���* 

n DB�� D �¡�%�`�*�³�.�x�*�d�d�C�f�Z�d�J�q�f������f�>�F�dº��Z����©.�����Z�J�!�F��Øx�*���F���*  �q¸ � L>À1�J�t�C�Z�f�Z�d�J�*��������J��x�.�9�¡���J���Z�A�`�*� �­¸ � � À%�J�t�C�Z�f�Z�d�J�*�o�F��Ø;�*���F���·�Ò�*�/�>�*�³���^©.�C�F�Z�d�J�·�f�/ B�� D�&�F�J� �Z�C�Z�f���M�¦¥

�.) �^)- �(�"�!$ ���#ֶ������������

Èg�*���`�x¤ �F�����³�f�2�A�*�d�Z���*�d�A�J�*�`�x�*�Z�¸O�J�,���{¯_�J�F�d .���* Ê¸@½°�F���Z�Z�d�­Ä�Å.Å � ÀZÀ%�d���x�F�J¤*�d�C��¯�f�Z�d�.¥.Á��/�d�2�t�.�Z�Z��¤*�d�³�����x�>¢®�*�7Ç��.�*�Z�Z���.��x�9�J�����Z�����/�g�d�`��A�*�d�Z���*�d�³�*�*�`�x�*�Z�/¤x�*�/�d��d�2�*�.�%���d�C�.�!���q .�C�*�C�Z�f�¦�*�w�(�>�*�g���f©w�.�F���.�*���°�&�x�*���Z�d�J��>�*�J�*�d�­¤x�o�x�>¢®�*����¥*¼µ�^�.��x�F�J¤*�d�C�A���.�F�����;������`�F�d�Ê:·8®<>LTD.<>LOª!���¾�>�x�f�A�`�*���Z�d J� �f�7�.� �J�*�`�x�*�©f�.�F���.¤*�d����J�*�d�ʤt� �#���x�x����ª!�.�*�¶�`�*��*�Z�C���,�J�*�d�X¤x���*�J�*��`�*�A�g�d�Z�C��¥�ÁÒ�2�`�*�d���Z�;�q�A���`�F��f���`�*���*�Z�C��±É�,�x�F�d�J�!�x�d�Z�>�F��¤x�*�Z�d�J���*�.�d�x�Cª^�`�*�C�q�`�*�³���f©f�.�F���.�*���°���x�*���Z�d�J�q�C�.�q�J�*�d�¤x�o�f�¦�`�*�,�@�J�Z�

� ; � N � � ; ��ª^�³�*�C�F� �A�.�*� �2���x��f©.�C�1�`�*�°�J�*�`�x�*�!©w�^�F���.¤*�d���C¥

Èg�*�d�/�A�C�.�*�1�`�x�f�1�C�f�����J�*�>�x�*�!�¡�!�A�*�x���d�¡�������*�x�C�x�C�*�x�C�^�Z�d�6[��³�����`�*�J��*�*�f�³��f�,���*�d�Z�£¯_�*�F�d .���* �¸OÍÎ�¡�d�d���.�A�³�^�*�­Ïg�f�`�A�*�Z���C��ÄCÅ.Å.Æ^À�¥ � �!�`�*�d�g�x�.���^�/�,�³������Ò������`�x�f��Ç��^�*�Z�Z���.���x�9�J�����Z�������.�F�����¡���Z���* ��J�*�³�*���Z�J�����`�*���* #ª¦�Z���*���A�2�A�A�d J�^�³���^¯�`�*�d�Z�d©.���d����ºx�x�����°�_�,�A�J�*�`�x�*�°©w�.�F���.¤*�d�����Z��x��©.���Z�*�A�o�Ò�C�{�`�x�F���g�������*��A�J�¦¥

T �*���k��������x�*�°���·�`�*� �¡�A�d�Z�����* q�Z�J�A���`�*���* #±«�A�d J�.�o¤x���Z����^�`�F�*�#�*�����Z�*�A����J����J� HJI�8;6C<�8;:^<_:^?�6�=@6C<�K���.�Z���>�*����f©w�.�F���.�*�����&�x�*���Z�d�J�*���@�J�o�J�*�>�x�*�Z�[���.�*��f¥xÁ&���x�.�F�Z�d�C�*���.��ª«�J�*���A�d J�^�g���.�>�F�J�#�*�����g�.�Z�*���* A�&�x�*���Z�d�J�*� /¸54�ÀVª;�{�g�����Z�����Z�d�J�� ¥ � ¥ � ª>�`�x�f���^�F�/���J�q�A�J�����³¤x�.�>�����f©w�.�9���^�*���/�&�x�*���Z�d�J�*�Cªf���g�`�x�f�1�,�/�x�C©^�/���f©w�.�9� ¯�.�*���1�&�x�*���Z�d�J�*��

� � ¸54.>4��ÉÀ.N�� 9 � = ¸ /¸54�À >$ /¸54��ÉÀZÀ¦�.�*� � ¸54.>4�� À:N�� 9 = ¸ /¸54�ÀP> i¸Z4�� ÀZÀ�ª

�g�d�`� i¸Z4�À�¤t�����* ´�.�¾:�8®<`LOD.<>L��x�*�x���Z�C�Z�����*���´�&�x�*���Z�d�J�¦¥/ÁÒ� ¾�d�A�`�x¤*�Z��Øx�*�C�.���¡����^�Ò�C���F���X�Z��¤t�����J�A��*�J�*�d���*�C�.�����x�*���Z�d�J�¦ª¦�>�*�C�¶�`�*�A©w�.�9�¡�*�*���J�*�`�x�*�o�&�x�*���Z�d�J�*�2 9 � = ¸54�ÀP>Q2 9 = ¸54�À S�S�S �g�d�d��¤x�o�&�x�*���Z�d�J�*�o�³�*�d�M�¦ªx�o�*�¡�d���`�*���­�.�F�����Z�d�¡�1�x�*���J�Z�F�����f�Z������ �Z�C�Z�A��{�7�`�*�������x�F�d�J�q�Z�����J�*�¾�*�F�x�C����`�f�Z�d�Z�Z�d���Cªi�`�*�f� �`�*�������A�.�Z�A���J�q�*�¡��º©w�^�F���f�Z�d�J�*�o���·�`�*���`�.�����F�� .�d�J�*�g�f�:4X�`�x�{���.¥

% �¬�» �\�#�C��)��/�f�x��) �h�Èg�*���,�J�Z���f��Ïg�f�`�A�*�Z�Z�C�θFÄCÅ^Å.Æ.À��x�{���>�*�w�o�X�`�x�{���@�J�A�*�J��0J�d���*�C�.��9�� J�F���Z�Z�d�J��x�F�J¤*�d�C�A���g�d�`�X¤t���_�,���C���J�*�­�^�*�b�*�*��`�*�J�*�`�^�*�b�#�{�`���x�.���^�Z�Cª�Ç��.�*�Z�Z���.�¶�x�F�f¯�����Z�Z���o�`�*�J�*�d�¶���C�F�`�{���*�d��¤t�����*�*�Z�d�x�C�F���X�f�³�F�C�*���f���C�A�C�^�°�Ò�J�k�`�x�x�C�F©*�d�Z���Ê�*�C�x�Z�{��*���F�,�J�Z�^�C¥*Í �x�{�k�^¤x�J�*�g�����f���Z�£¢#�C�f�Z�d�J�¶�x�F�J¤*�d�C�A���

Ç��.�*�Z�Z���.���x�F�J�������Z���g�C�.��¤x�����^�Z�� J�Z�{�Z�������.�Z�q�����{�Z�Z�£¢#�C�f�Z�d�J�¶�A�*�x���d�¡���* ��J�*����,�,�¡�x�C�^�Z�£�@�­��©f�.�F���.¤*�d�³�o�*�¡���A�C�.���Z�C�*�Z��¤*�d��¤t�g .�d©.�C���Ç��.�*�Z�����^��x�F�*�����Z�2�x�F�d�J�V¥

ÁÂ� �(�´¤*���x�.�F� �����{�Z�Z�£¢#�C�f�Z�d�J� �x�9�J¤*�d�C��ª,�,���C�.� �x�>¢®�*�Ê� Ø;�x�^�.�Z�d�F� � ; H

Page 26: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� Æ �! «"/$&� 'J)É+,).-A /+10, ¦3

�¦¸54:9<;�=@À,�`�*�����>�x�f�,�`�*���x�F�J¤x�.¤*�d�d�d�F���`�x�f�,�`�*�������f�Z�g�d�AÄ��Z�f�`�*�C�%�`�x�^���A�d�K¸5@ ; N Ä�LJ� ; À:N Ä

Ä e�� n � � S ¸�Æ � À���.�9 .���x�.���¡���¡©^��©w�f���*�����f�A� ���J�Z�9���`�x�J�*�(���µ�x�9�J¤x�.¤*�d�d�¡���¡�������d�.�����Z�¶�J�*��V1���.�F .��*�� J�f���¡©^��©w�f���*���g�f�,�A�x�>¢®�*�A�x�F�J¤x�.¤*�d�d�d�Z�d�����`�x�f�g�.�F�o���d�.�Z���Z�AË��C�F�#¥xÁÂ���������f�Z�Z�£¢x¯�C�f�Z�d�J���x�F�J¤*�d�C��ª¦�,���F�;�*�d�C�f�d�d�¶���.�Z�C�*�¶�`�x�{�g�`�*���x�9�J¤x�.¤*�d�d�¡�F�GK¸5@ ; N¿Ä�À,�`�*�J�*�d�¤x�����`�A�*�.�`�*�d�¶©w�.�F�*���* ��&�x�*���Z�d�J�¶�f� 4/¥¦ÍX��C�^���C�A¤t�J�x�¶�`�*�d���x�9�¡�*��¤x���d�d�>�7¤^��x�>¢®�*���* Y�¦¸54�À¦���7�x��©.�,�³Ç��.�*�Z�Z���.�A�x�F�*�����Z�/�x�F�d�J��¥fð�C�f�4¸9ÄCÅ.Å.Ð.À4 .�d©.�����^�`�*�C���g���*��f�!���J�x�*�����Z���* �Ç��.�*�Z�����^���x�F�J�������Z���³���������f���Z�£¢#�C�f�Z�d�J�¶�A�*�x���¡��¥

���^)��C)�$&-!�h�#Ö¬-Ö����¦ ��!$&Ô��

Á@�1�d���*�^���Z�g�C�f���³�Z�o�x�C�Â�@�J�Z�Î���^�@�C�F�C�*�����2�^�*���f�#�.�*���`�*�,Ç��.�*���Z���.���x�F�*�����Z�����J�x����Z�o�#�f�`�°�����o�����f���Z�£¢#�C�f�Z�d�J��A�*�x���x�f������9�� J�F���Z�Z�d�J���x�F�J¤*�d�C�A�,¤x���C�.�*�Z�,�`�*�,�d���f���d�£¯�*�*�J���&�x�*���Z�d�J���¡�/�*�^���oÇ��.�*���Z���.�����x�*���Z�d�J���f� � ; ¥f¹*���`�*�2�t�.�Z�Z�C�9�¡�*�1�x�¡���`�F��¤x�*�Z�d�J��f���� .�d©.�C���Z�J�����J¤*�Z�C�F©f�f�Z�d�J�*�g���d���*�.�gÇ��.�*�Z�����^���.�*���`�*���*�J�Z�q�f�d�¡ËC�{�Z�d�J�����J�^¯�Z�`�^�.�:K¸O� B LOF B À1�C�.�x�*�.�,¤x�g�o�F�d�Z�Z�C���x�f�³�A�.�x�f�d�J���¡�C�{�¡�d�.¥x¨,�.�Z¤t�C�/�.�*�ÍÎ�d�d�d���^�A�¸FÄCÅ^Å.Ð.À!�x��©.�g����*�d�C�A�C�^�Z���������f�Z�Z�£¢#�C�F�o¤x�f�Z����J��Ç��^�*�Z�Z���.��x�F�*�����Z�g�x�F�d�J�F�g�*�Z���* ���.�*���f�����.�x�x�F�fºJ����{�Z�d�J�*�C¥¦Ãg�C�f�g¸FÄCÅ^Å.Ð.Àg�x�f�o����*�d�C�A�C�^�Z��� �q¼¶�J�^�Z��½g�^�F�d���.�^¯�x�F�J�{�M���Z������*�d�C�A�C�.�����* X��Ç��.�*�Z�Z���.�¶�x�F�*�����Z�������f�Z�Z�£¢#�C��¥1Ç���¤x¤*���^�*�b¼X�f�CÑ����¸FÄCÅ^Å.Ð.À��x��©.������*�d�C�A�C�^�Z��� �.�*�^�`�*�C���M�*�C�.�(�^�*�(�M�*���C�Â�&�*�g�.�x�x�F�J�{�M�(¤x�f�����Ê�J��`�*��A���`�*�*�x���{� _J�.�^�J�f�^�����^�*� _.�J�F�#�^� ¸9ÄCÅ.Å.Æ.ÀV¥#Á&�¶�>�*�¡��YC:.<>LO:.=@LTD^B#:.c g:��.K>K�LT:.B8®<FDCN>6�K>K�NCcd:fK>K�L �,6C<�¸��³Ç�½°À�ªx�,�A�J¤*�`�f�����`�Z�f���>�.¤*�d���x�x�x�C���.�*�¶�d�w�,�C�o¤x�J�x�*�x���Ò�*��`�*�³�x�x�*�*�Z��f�d�dË������x�.���Z�C�F�d�J�!�x�C�*���¡�F�A�f©.�C�1��ª�K¸Ò� B L �#ÀK¸O�#À�¥JÈ°�*���Z�³¤x�*�x�*�x�k�^�F��x�.�Z�^�A���Z�C�F�dË����­¤^�A©w�.�F���f���¡�*�x�f�®�x�.���.�A���Z�C�F�!�o�*�¡����.�9�³�f�"�Z�*�Z�Z������q�J�F�x�C�1�Z���J¤^¯�`�f��� �`�*���Z�d J�^�Z���Z�A�x�.�Z����¤*�d�·¢#�C¥ @ �Z���* Ê�*�*�Z��f�d�dË����(©.�C�F�Z�d�J�*�q�f�³�`�*���J�*�Z���A�dË����¤x�*�x�*�x�³�,���`�*�C�·���J��x�*�Z���.�x�x�9�wº*����f�Z�d�J�*�°�Z��`�*���x�F���x�d���Z�d©.�A�x�d�Z�`�9��¤x�*���¡�*�*�C¥

���^) �.)AÕ/Ö��"� �"���AÔ�� �/Ö �����!Ô,Ô/0 ��Õ!Ô�� �#Ö�- �

ÍX���`�F�d�����J�x���³Ç�½ �����`�*�J���J���F�,�A�,���¡�!�*�*�w�o�������{�Z�Z�£¢#�C�f�Z�d�J�¶�x�F�J¤*�d�C�A��ª#�`�*�]�6F8®=@D�UJ<F:>8#K �^K��C�Z�.¤*���.�*� ����´Á&�*�x���.�Î�x���.¤t���Z�����#�{�`�f�Z���Z� D ¥,Èg�*�b�9���`�*�d�Z���Ò�*�¤x�^�`���`�f�`�^�Cª��Z�^ .���`�*�C�¬�g�d�`�����J��x�.�F�d�Z�*�*�!�g�d�`���Z��©.�C�Z�f�*�.�`�*�C�!�����`�*�J�x�!�.�F�, .�d©.�C������`�^¤*�¡��Ä.¥

ÁÂ�¶�`�*��]�6F8®=@D�UJ<F:>8#K �.Kg�C���.¤*�7�x�9�J¤*�d�C� �,���f���Z�C��*�Z���¶�Z�������f�Z�Z�£�@�b�>�*������º��f��C�Z�.¤*�o¤x�f�Z�����x�x�*���Z�dº��M�x�.���f���Z�C�F�d�Z�Z�d���C¥ � �"�����.¤x���d�d���X��ºx�.��*�d���³�.�F���>�*�¡�d�o���.�Z����`�Z�{���*���* A�Z���,�f�*/"���.�*�����Z���Z�,�Z���%�f�/Ä � �x¥*Èg�*�7�t�C�Â�@�J�Z��.�*���o�f���`�*���³Ç�½ �d�k�*�^��Z�d J�*�£¢#�C�.�^�Z�d�­�x�$#��C�F�C�^�!�&�F�J� �`�*�o¤x���Z�%�f���`�*�g�.�`�*�C�%�A���`�*�*�x�C¥.Èg�*� �����Á&�*�x���.��x���.¤x���������x�F�*¤*�¡�C� ���^©.�.�d©.���(�>�*���x�F���x�d���Z�d�J�(�f�o�`�*���J���C�x�9�C�*�����f�³�x���.¤t���Z�������,�J�A�C�o�f� ����°Á&�*�x���.�A�*�C�F�d�`�f .�/¤x�{�Z�����J������©.�C�o�M�x�^�Z�f���Z�C�F�d�Z���¡����¥ ��� � ��ºx�.��*�d����

[�B�=�]>B�K-]>:1A�587�Q�� ������� ������������������� ��� �����! "����#��%$ ���&� $�'���(�) *�*PW

Page 27: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � Ð

�!58B�K 3 =>Q1B�^:@</ZH7�J �65�587�5 ��� 5�587�5 �65�587�5 ���65�587�5a:8E�58B�] a:_</SU7�5�V #�y ' O�� y�W � P�W���� y\W } � �a:8E�58B�] a:_</SU7�5�V # P ' ��� P�W>y }-WJP�� y\W � � �a:8E�58B�] a:_</SU7�5�V #&O4' � � ��� PMP�W N��=�FH:@B�5e=>?�G85�=>Q�=�FPB�F-< ��� P�W � N-W ��� P�W O N��� ��W O P��-WJP�� P�WJP� ��� #�J-:@d�58:_:{ y ' ��� P�W � N-W ��� P�W O ����� ��W N PMP�W N�� P�W OP1�aB�EP?�?/=>B�F��b=kR�</E-58: � � N�}�� ��WJP y��-W O�� P�WJP����� �aB�EH?�?/=>B�FN9-587�G@:@?�? O�� y�W � P�W���� y\W } N���� ��W } P��-W���� P�WJP� �� }�� P O-W O�� y\W N ����� ��W } P�y\W y�� P�WJPX �� ���Iy\W�m�& �9��*6 � ���5X���C��� .�� �8� FHXUZP:U<�B�K�]>:C?/ZH7�Se?6</ZH:!9�:85�A�7�58Q1B�FPG_:7�A B 58B�FPd\:�7�A J�=JI;:�58:�F-<G�]>B�?�?/=�rHG@B�</=>7�FxQ17�J�:8]>?q7�FN</ZH:q3 =>Q1BcB�FHJ��!58B�KH?e9-587�K �]>:@Qs?9#�� =�9-]>:@Moy�� ��}����U=�9�]>:_M�y�� �MN�'�W�XUZH:�F�EHQwK�:857�A G�]>B�?�?/=�rHG@B�</=>7�F�:�5�587�58?qB�FHJ</ZH:19�:�58G@:�F-<�B\d�:c7�A :�5�587�58?qK�7\</Z 58:8A�:�5s<�7^</ZP:D<�:@?�<?�:@<@WYX ZH:D:�5�587�5KHB�58?1d�=>[�:�FB�58:1G@B�]>G8E�]>B\<�:@JIEP?/=�FHd`K-=�FH7�Q�=>B�]C?�<�B�</=>?�</=>G@?@W X ZH:�58:@?/E-]><�?,K�EP7\<�:@JLA�7�5</ZP:�� ��B�58:1</ZP7\?�:17�KH<�B�=�FH:@JIEH?/=�FPdN</ZP:sB�9-9�587�R�=>Q1B\</=>7�FH? A 587�Q </ZH:�]>7�SU:�5qK�7�E�FHJ�W6XUZP:�������aB�EH?�?/=>B�F^9-587�G@:@?�?e=>?C</ZH:qG�]>B�?�?/=�rH:�5gJ�:@?�G85�=�K�:@J^K-M�� B�5�K�:�5 B�FPJ�� =�]�]�=>B�Qs?#�y ���� '�W

�,�C�F���C©f�f�d���.¤*�d���.�*�­�>�*���Z���,�C�F�g�`�*�d�d�g���.��� � �"���`���f���*���* q��º;�.�q�*�¡���o�.�*� ��� � �Z�������ºx�.��*�d���C¥ ����� �f�®�>�*�³�x�J�x�*���f���¡�*��,�C�F�g�F�C�t�J�F�Z��������x�C©^�2�x���.¤t���Z���/�����.���C�Z�F�*��Z�f�����f� ����� �C�.��¤t��f�M�*�d��©.���X¤^���x�������.�F���* ��f�d����ºx�.��*�d�����Z��¤x��*�J�^¯&�x���.¤t���Z�d�.¥Èg�*���³Ç�½(�{�M�*�d��©.�����.���C�Z�F�J�%�Z�f�Z�,�f� � Ä � [ �{ J�f���A���J��x�^�Z�.¤*�d�³�°�¡�>��`�*�o¤x���Z��f�!�`�*���.�`�*�C�°�A���`�*�*�x�C¥

���^)��.)�×ÊÖh�#� +!Õ! /+10,$ � � Ö �/ ,-!�h�«Ö-°�.�/�C�Z�{�M�^���* ��C�^��*���C�x�,����,���d�x�³�f�%�`�*������*�.�@¥xÈg�*�³�*���C�x�F�C�*�����f�1�`�*�M�q�C�Z�f���^��x�C�x�C�*�x�q�J�¶�`�*����*�C�A�d�C�f�,���J��t�.�Z�d�Z�d�J� �f�g�`�*��,���d� �����`�f�@ª��`�*�����*�.�d���* X�Z�{�Z��.�*���`�*�o�2���d�� .���J�A���>�F�.¥.ÍX�o�g�d�`�q�Z���x�9���x�¡���°�³�*���`�*�C�/�� .�d©.�C�q�,���d�­�g�d�d���C�Z�{�M�¤^����º;�.�����*���* ��`�*���x�C�x�C�*�x�C�*�����f�!�C�Z�f���.���* ��J� Ä � ���x�x�*��©w�.�9���^¤*�¡�����x���Z�C�F��¤*���* ���,���¡��¥%Èg�*�d���x�F�*¤*�¡�C� �x�f��x�F��©J�d�J�*���¡�¾¤t���C�(�`�{�M�^�d���¾�*�Z���*  ¨,���.���Z���.�(�*�C�x�Z�{��*���F�,�J�Z�^��¸�Á@���*�������k�tª#¨,�x�f�x���`�*���­�^�*��¼X�f�CÑ�����ÄCÅ.Å^Æ.À�¥� �����*�¡�����{���Z���Z�,�g�f�g�x�C�Â�@�J�Z�������*�Z���* ­���`�Z�f���*���* �Z���,�f��Ð^Ð���ºx�.��*�d���³�^�*����Z���Z�%�Z���,�f��Ð.Ð���º;�^��*�d���C¥xÈg�*���Z���Z�%�C�Z�F�J�%�Z�f�Z���g�.�*���Z���Z�%�¡�^ ��d���f���d���*�J�*�x�o�@�J�!�`�*��³Ç�½¾�.�*���`�*��¨2���.�������^��*�C�x�Z�f���*���F�,�J�Z�A�.�x�x�F�J�{�M��¸�Á@���*�������k�����,�f�@¥®Ä�Å.Å.Æ.À1�C�.�¤x���Z���C�����·�`�.¤*�d� � �³�*�C�F���`�*���Z���Z�°�¡�^ �d���{���¡���*�*�J� �¡�o�x�>¢®�*���b�{�

�����Z�,�¡�^ ­�d���f���d���*�J�*� N B l� u lE;�CED

@ ; �d�. �¸�2 ; À e ¸9Ä(JG@ ; Àt�d�. ®¸FÄ�J 2*ÀP> ¸�Æ.Æ.À

Page 28: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� / �! «"/$&� 'J)É+,).-A /+10, ¦3

�^:@</ZH7�J X6:_?�< � 5�587�5 � 7\d ��=�V�:�]�=�ZH7�7�J�UB�M\:@?/=>B�F a:�E-58B�] a:@<TSU7�5�V � � P O�W N� B�5�=>B\</=>7�FHB�] �a3 �!]>B�?�?/=�rH:�5 y@�c��y_� � P���W ��Ob� � O�y\W�� �X �� ��� P�W�� �(��6 � ���"V41W�&*? � ���"�8�����$V��"������* �m����X����(oFXUZ-=>?�<�B�K�]>:D?/ZH7�SC?q</ZH:1<�:@?�<q:�5�587�5B�FHJ`]>7\db]�=�V�:�]�=�ZH7�7-J�?�G@7�58:@?q7�A</ZH: � ��~B�FHJ�</ZH: �UB�M�:_?/=>B�F�FH:�E�58B�]aFH:@</S 7�5�Vx7�A G G�Z�=�V\B�SUBI:@<B�]�W#�y�� �MN4'�W�XUZH:a<TSU7w58:_?/E�]><�?Cd�=>[\:�FbA 7�5C</ZH:� �� G@7�5�58:@?/9�7�FHJ^<�7</ZH:CB�9-9�587�R�=>Q1B\</=>7�FH? EH?/=�FHd�</ZH:!]>7�SU:�5 B�FHJ�E-9�9�:85!K�7�E�FHJ�58:@?/9;:@G �</=>[\:�]>M�W

�³�*�C�F�\@ ; �¡���`�*�¶�`�Z�*���Z���Z������­�����f�Z��� ¢#�C�{�Z�d�J�¿¸O���d�`�*�C��� �J��ÄCÀ��.�*� 2 ; �d���`�*��x�F���x�d���Z�d�J� K¸5@ ; N ÄL � B >MF B À�¥®È°�*���t�C�Â�@�J�Z��.�*���A�f�,�`�*� �³Ç�½ �d���Z�d�d J�.���¡�¶���^¯�@�C�F�d�J�,�Z��>�x�f�,�f���`�*�A¨2���.�������^���*�C�x�Z�f���*���F�,�J�Z�«¥�-°�f�2��©^�C�/�>�*���*�C�x�Z�f���*���F�,�J�Z��F���`�*�d�A�g�f���J¤*�`�{���*���¾�*�����* X�·���J��A�d�Z�Z���q�f�,�Ò�J�x���*���F�2�*�Z�.��¥ � ���.�F .�­�^�A�J�x�^��f����ºx�x�C�F���A�C�^�`�f�Z�d�J���°�¡�>���x� #��C�F�C�^�g�.�F���*�d�Z�����`�x�F���g�.�*���x�.�Z�.�����Z�C�!�Z�����Z���* .�,�k�{��x�C�_�Ò�J���A���X�.�*�¶�`�*�A�@�J�x�³�*���F�,�J�Z�^�°�Ò�J�x�*� �!LO=OHX=OHJ6�R�6�K�=,=@6�K�=g6C<><FD.<g�,�C�F��*�Z������¶�`�*����*��A�d�Z�Z����¸O�`�*�d���¡�� .�C�*�C�Z�f�d�d�X�F�� J�.�9�x���µ�{���M�*�C�f�����* «ª����¶�`�*���¶���J��x�^�¯�d�Z�J�*� %£À�¥xÈg�*� �³Ç�½ �F���`�*�d�Z�³�F��Øx�*���F���b�*�q�`�*�M����ºx�x�C�9�����C�.�`�{�Z�d�J�¦¥ � ����x�*�g�f���`�*��³Ç�½¶�g�d�`���x�$#��C�F���* o���*�d�Z���f�x���*�*�x�¡���¡�*�*�!�2�C�9�/�x�C�Â�@�J�Z�A�����Z�g���*���M�o�o�*���`�*�C�¦�`�*�C�F��,�C�F�����*�d�Z���*�d�������*����t¥#Èg�*���F���`�*�d�Z�gØx�*�.�Z���������`�.¤*�d� � �.�F�°���F�*�»�`�*�o¢®�F���2�Z�x��V�f�d���`�*�����x�*�7�x�F�*�#�*�����b�{�����.�Z�g�d�x�C�^�Z�d�C�f���9���`�*�d�Z�C¥

ÍX���`�*�C���`�Z�f���*���¶�`�*� �³Ç�½ �*�����* ��{�¡�,Ä � � ��ºx�.��*�d�����.�*�����`�*�x�d���b�>�*���C�.�¯¤x�*���x�C�x�C�*�x�C�*���A�f�!�`�*���x�F�*¤x�.¤*�d�¡�d�F���{���C�Z�{�M�^���* ­�f�g����Á��M�*�����C�g�A���o�f�@¥�¸FÄCÅ.Å^Æ.À�¥� �*�¡�^���{�³�`�*���C�.�Z¤t�J�´�x�C�x�C�*�x�C�*���¶�C�.�´¤x���Z���C�´��� ¢# J�x�F� /¶�f�d�J�* ¶�g�d�`�´�`�*����J�Z�9���`�x�J�*�x���* ��F���`�*�d�Z�o�f�/Á@���*�������k�·6C=/:^c¡¥

���^) J)A+!��,+ � ���f$&��

Ç��^�*�Z�Z���.���x�F�*�����Z�Z���g�C�^��¤x���*�������Z�­�x�F�*�#�*����� #������Z�d©.��¤*���x�.�F�������f�Z�Z�£¢#�C�F��¥®Èg�*��F���`�*�d�Z���*�����* ��>�*��©f�.�F���f�Z�d�J�x�{�/Ç��.�*�Z�����^�b�x�9�J�����Z�������f���Z�£¢#�C���.�F�����J��x�.���.¤*�d������`�*�g¤x�����/�f�#�C�x�Z�9�C�.�!�����f�Z��� ¢#�C�{�Z�d�J�­���J�x���d�C¥f¼X�*�d�Z� 0J�����f�Z�%�����{�Z�Z�£¢#�C�f�Z�d�J���x�F�J¤*�d�C�A��C�.���f�d�Z��¤t���Z�^�¡©^�����g�d�`�·¼b�*�.�Z��½°�.�F�d�­�A���`�*�*�x�¸@Ãg�C�{�/ÄCÅ.Å.Ð^À2�^�*��©w�^�F���f�Z�d�J�x�f��A���`�*�*�x��¸@Ç���¤x¤*��ÄCÅ^Å.Ð.À�¥

%J% � W)O�C� ��C��)����Ç��^�*�Z�Z���.�¶�x�F�*�����Z�Z�����.�F�A�A�*�x�C�Z�f�Z���d�������q�*�¡�q�Z�­����*�d�C�A�C�^���.�*�X�*�Z�.¥�¨%���C�.�*�Z�©.�C�F���Ò���(�x�.�Z�^�A���Z�C�F�1�f�®�>�*�k���J�x���#�*�����A�Z��¤t�2�x�����C�Z�A���*���­¤^���x�.�*�b¸Ò .�C�*�C�Z�f�d�d��J�*�d���`�*�,�x�F�d�J�F�1�J���`�*�,�.�x�x�C���x�.�Z�.�A�����C�F�`À�ªCÇ��.�*�Z�Z���.���x�F�*�����Z�Z���!�.�F�/�*�Z�>�&�*�J���J�.�d��@�J��.�*�Z�*��f�Z���(�`�{�`�.�A�³�*�C�9��¢®�*���>�x�*���* ´�@�J�A�C�{�M�(�x�F�*¤*�¡�C� �d���*�.�­�t�.�Z�Z��¤*�d�.¥

Page 29: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � Å

0.00 0.05 0.10Carbon content in Weld metal / wt.%

0.0

0.2

0.4

0.6

0.8

1.0

Pre

dic

ted P

robabili

ty o

f C

rackin

g

ichikawaL approx.

( )�*�+-,/.��-2 � ��� X���*�� �(���(*6��(*V��,�"� � �(� 6 � ���(V�1��&*?]������X��X��&�&� �0>�F�XUZP:@?�:Cd�58B�9-ZP?U?/ZH7�S</ZH: 9-58:@J�=>G@</=>7�FH?aB\?!BaA E�FHG@</=>7�F 7�A�7�FP: </ZP:qy8Oa=�F�9-EP<C[�B�5�=>B�K�]>:_?ed�=>[�:�FcK-M�BqG_7�Q1Q�=><�<�:_:a7�A�FH:�E-58B�]FH:@</SU7�5�V-?=# G G�Z-=�V�B�SUBs:@<UB�]�W�y ���MN4'!B�FHJb</ZH7�?�:CA�7�E-FHJOEH?/=�FPd1</ZH:e]>7�SU:85UK�7�E-FHJ^B�9-9�587�R�=>Q1B\</=>7�FN7�AB�� ��aW �U7�</Z^ZHB�[�:q</ZH:q?�B�Q1:a]>B�58d�:?�G@B�]>:qA�:@B\</E�58:@?@W

-°�w�,��©.�C�%�,���x�­�*�.�o�.�x�x�C�.�k�Z�A�`�f�C�F�£¢#�����^�.���x�C�Â�@�J�Z�q�.�*���o�Ò�*�,�`�*�d�g�Z����*�d�d���d�_�.¥Á����¡���C�{�Z���Z�����J�*�Z�`�Z�*����Ç��^�*�Z�Z���.�¶�x�F�*�����Z�Z�����`�x�f���x��©.���x�^�F�Z�d�C�*���.�o�x���Z���F���

�x�F�J�t�C�F�Z�d����V*�@�J�%��ºx�.��*�d���,�³�C�.���q�.�f�����>�Z�.�*�`�x�.�9�C�.�Z�d������q�*�¡�A�.�*�Z�J�q�f�Z�d�7�9��� ¯��©w�^�*�����x���Z�C�Z�����x�{�Z�d�J���A�*�x���@¥

T �*�%�J¤.©*�d�J�*�!�x�F�J¤*�d�C� �°�¡�>���.�^�7�����`�*�J�A¤x�f�Z�����x�t�J�AÇ��.�*�Z�����^���x�F�J�������Z�����d��`�*�%���J��x�*�`�f���¡�*�x�f�J���^�Z���f�Z���J�����f�Z���A�g�d�`�����.©.�C�9�Z���* ��.� � ��� ��f�`�9�¡º¦¥CÈg�*�,���.����f���x���F�����g�A���`�*�*�x�/�f�����^©.�C�F�Z�d�J������¤x�����J�A���x�F�J�*��¤*�d�Z�d©.���³�*�C�q�`�*�³�*�x�A¤x�C�%�f��#�f�`�o�x�^���^�Z���Ì�d�1 J�F�C�f���C���`�x�^���»Ä1���"�x¥CÁÂ��Ç���¤x¤*�/�.�*�A¼µ�{�CÑ��C�­¸9ÄCÅ.Å.Æ.À4���­���d�C�.��A���`�*�*�x�!�@�J�%��f�`�F�dºA���.©^�C�F�Z�d�J�¶¸@¹x�.�d�d�d���* bÄCÅ^Å � À!�.�F�°�x��©.���d�J�x�����`�x�{�2�f�d�d�f�¾���.�F .��#�f�`�q�Z���Z������¤t���>�f�M�^�d����¥�¨,�*�o���x�F�>�*�C���F���Z�C�.�F�����d�� .�^���* �����¤t�­�*�����x���ʤx�>�@�J�F�Ç��^�*�Z�Z���.�A�x�F�*�����Z�Z���/�C�^��¤t�³�.�x�*�d�d���­�����A�J�F�,�`�x�.�A�.¤t�J�*�gÄ1�xª �"�"�,�#�f�>���x�.���^�Z�C¥.Á�`�t���C�*���{�Z���`�x�f�!�`�*�C�9�³����¤x�����*�Z�>�&�*�#���J�x�*�������¡�*��Z�A¤x����f�x�³¤t���F�2���C��Ç��^�*�F¯�Z���.�´�x�F�*�����Z�Z����.�*� � �`�x�x�x�*�F��©.�������J��±¦�d�C�.�Z�*���* Ê��{�M�*���*����¸@¹*���*�.���f�J�^�Zª�¨,�x�F .����.�*��/�^�x�*��� ÄCÅ.Å � ª �/�^�x�*��� ÄCÅ.Å � ÀVª¦�³�*�d�M�X�^�F����X���J�A��g���J��Øx�*�d�Z���Z���A�d���^�����Ç��^�*�Z�Z���.���x�F�*�����Z�Z���C¥� �x�F�J¤*�d�C� �g�d�`���`�*��©f�.�F���f�Z�d�J�x�{���.�x�x�F�J�{�M�q�@�J�,�����f�Z��� ¢#�C�{�Z�d�J���¡�°�`�*���x�F�{¢#� ¯�C�Z�f���¡�*���{�2©w�^�F���f�Z�d�J�x�f�/�x�.���.�A���Z�C�F���o�*�C���x�C�{�¡���* ¶�g�d�`�¶���.�9 .��.�A�J�x�^�Z�o�f�2�`�*��#�f�`�t¥.Ï,���#�*�����* �`�*�³�*�x�A¤x�C�!�{�4�>�*���Z�g©w�^�F���f�Z�d�J�x�f�¦�x�.�Z�.�A�����C�F�!�d�k�^�A����x�J�9�`�.�^�

Page 30: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� � �! «"/$&� 'J)É+,).-A /+10, ¦3

�x���F�����Z�d�J�·�@�J�i���x�F�>�*�C�g�F���Z�C�.�9�M�¦¥

� ��)��C) �/ #",Ö¶×ÊÖ � �2Õ!Ôi× � � �2Ö �� ���3 Ô����(×X$ � � � �2Ö �1 �� �(× ��/Ö�Õ��� �����J�F�x���* ��Z�o�`�*�g�^�;�t�2�{��ÄCÅ�/.Ðxªf�*�C�x�Z�f�x�*���F�,�J�Z�^���,�C�F�g�A�C�.�^�1�Z�7¤t�,���^�Z���d�d�d .�C�.��A�*�x���d�g�³�*�d�M���x�d�Z���f©.�C�9����@�C�f�`�x�F���g�.�*���x�f�Z���C�Z�*�,�����#�{�`�x¥JÇ��.�*�Z�Z���.���x�F�*�����Z�Z���������*�.�`���f�Z�!�.�F�g�Z����*�d��>�A�J�^�`�*���* ��x��©J�d�����C¥�-°�w�(�C�^�Ç��.�*���Z���.��x�F�*�����Z�Z���,�x�.�F¯�Z��¤*�d�b�F�C�*���f���A�*�C�x�Z�f���*���F�,�J�Z�^���oÍ �x�f�g�d�g ^�.���* ­�J� �

Ái�`�*���x��³�x�{�2�>�*�³�,�J�Z���f�1Í �d�d�d���.�A���.�*��Ïg�f�`�A�*�Z���C�b¸FÄ�Å.Å.Æ.Ài�`�*�f�g�/�d�g�`�x�{���.�^���F�C�f� 0J�,�J�9�¡���#�f�`�g���J�x���d�d���* ��x�9�J¤*�d�C�A���^�F�2�t�C�Â�Ò�������¡���,���¡�x���.�d©.����¤^���Z�C�*�Z�£¯¤*�d���`�A�*�.�`�*���* ������`�*�J�x��¥;È°�*�7�A�^�Z�!���.�Z�C�9���Z�Z���* ­�x�F�J¤*�d�C�A��ªJ�>�*�g�`�f�`���f�¬�Ò�C�f�>�x�F��x�d�Z���f©.�C�F� �Ò�*����ºx�.��*�d�.ª/�^�F���*�^���*�*����³�*�d�M� Ç��.�*���Z���.�Ê�x�9�J�����Z������g�d�d�³�Z�^�¡©^�.¥¨,�*�³����x¤x���A�*�d�Z�d�����.�C�o�x�C�9���C�*�`�F�J�*�o�C�.�¦±É�g���.�d©.���`�*�C�Ì���d�`�*�C��¥

T � �`�*���.�`�*�C���x�^�*��ª��d�A����µ¤t���`�x�f���`�*���d���A�d��f�³�.�¶���^¢®�*�d�Z�b�*�x�A¤x�C���f��*�d�x�x�C�X�x�*�d�Z�Cª¬�Z�­�o�*�¡���¶Ç��.�*���Z���.�¶�x�F�J�������Z�������J�Z�F���>�x�J�*��ª¦�g�f���­¤x�{�b�d���A�d������`�.�{��V�����;¤t��,��`�*�J�*�d�(¤x�f�M�^�`�Z�{�M�«ª#�*���A�*�x�£�Ò�¶�`�*�­�x�9�¡�*���*�X�*�C�x�Z�f�/�*���F�,�J�Z��x�.�Z�^�A���Z�C�F�Cªi�Z�Ê�f���Z�X�C�F�C�{�Z�b�*��� �A�*�x���¡���A�J�9�����.���C�F���Z�Z���* (�`�x�.�(Ç��.�*�Z�Z���.��x�F�*�����Z�Z���C¥ �!©*�¡�x�C�*���¶�`�x�{��`�*�d�­���^¢®�*�d�Z�¶�d���A�d���x�f��d�.�Z���Z�J�A���>�*���*  ���J��x�.�F����g�d�`��¢®�*�d�Z���*�C�x�Z�f�¦�*���F�2�*�Z�.�!���*�A���!�&�F�J� �`�*�°�J¤*�Z�C�F©f�f�Z�d�J�q�`�x�f�!���­�7¢®�*�d�Z�7�*�C�^¯�Z�f�!�*���F�,�J�Z�q�g�d�`�¶�A�J�F���`�x�.���*�*���*�*�`�x�*�Cª«�`�*�C�F���^�F��*�J��0J�`�F�d©*���f�����*�Z�F�����f�Z�d�J�*�¤x���F�,���C���`�*���J�*�`�x�*�Z��¸O�Z���*�����`�*���­�>�x�.�F�����x�x�*�Z�°���F�*�Ì���J��A�*�­�*�d�x�x�C�¶�x�*�d�Z�`ÀPV¤x�*�A���´�`�*�­�d���A�d��f���.�¶���^¢®�*�d�Z�b�*�x�A¤x�C���f�7�*�d�x�x�C�¾�x�*�d�Z��ª��>�*���Z�­���*�Z�F�����f�Z�d�J�*�©w�^�*�¡�>�¦¥®Ïg�{�*�Ò�J�9��Ãg�C�f���x�f�°�`�* . .���Z�����­�`�*���*�����f�i�*�*��0;Ç��.�*���Z���.���x�F�d�J�F�,�����*���F¯�,�J�Z�^�/�g�d�`���A�*�d�Z���*�¡�A�*�d�x�x�C�������.�C�F�C¥ � �*�.�`�*�C�%�J�*�Z�d�J�q�`�* . .�����Z���­�����Z�������¡�*�­Åx¥ ��d�g�Z�A���.�>�F�J�#�*�����*�d J��0*�J�F�x�C�,���J���F�����f�Z�d�J�*�g¤x���F�,���C���J�*�`�x�*�,©w�^�F���.¤*�d���7¤^�­�x��©J���* �`�*�����oÇ��.�*�Z�����^���x�F�J�������³�x�F�d�J�F�o�`�x�.�F���{�#�.�*�`�.¤*�d���^�;�t�C�Z�x�.�Z�.�����Z�C�F�C¥

¨,�*��x�C�Z�x�^�*�­���&�F���`� �Z�`�.�9���d��*�����x����ª/�.�x�x�F�J�{�M�*���* ¶�`�*���x�F�J¤*�d�C���f�7�q��¯���*���*�q�¡�C�^�Z�*���* ��&�F�J�§���x�.�Z�{�x�¡ *�§�x� #��C�F�C�^���&�F�J� �`�*�A�`�x�t�C�F©J�d�Z��� �@�����*�Ò�J�9�k�^�F���.�x�*���* #¥

�x$ �/Ö¬Õ! ����,Õ/ÖÈg�*�o�Z�`�*�x�A�f��Ç��^�*�Z�Z���.���x�F�J�������Z���%�Ò�J�%�F�� J�F�����Z�d�J��d�%�&�.�¬���9�J�¿�*����¥xÈ,���A�o�Z�C�F�d����.�x�f�d�*�Z�d���g�f��¤x�����* b�t�C�Â�@�J�Z�A���X¤^���`�*��f�Z�>�F�J�*�J�A�C�°È�¥ Ã�¥®Èg�*�d���d���*�Z���* bÇ��^�*�F¯�Z���.���x�F�*�����Z�Z���,���¶Ä�/�/��­¸ ���^�x�F�d�ZË��C�¶ÄCÅ�/xÄ�À�¥.Á&���`�*�AÄCÅ � �f�Cª.ÍÎ�d�C�*�C� 0;Ño�^�����. .�J�F�f©�x�F���x�d���Z�d�J� �`�*���J�F���g�f�³���^�`�F�*�#�*�����X�@�J���x�F���x�d���Z�d�J�µ�f�2�`���"�F�����Z�J�F�d�����f�2�A�d�d�d�`�.�F��`�.�9 .���Z�³¸OÍÎ�d�C�*�C�gÄCÅ � /.À�¥fÍÎ�d�`�*����>�*�g .���.�Z�>�f�Z�d�Z�Z�d���!¢#���d��ª*¼X�f�`�*�C�F�*��¸9ÄCÅ.Æ � À1�x�F�f¯�x�^�Z��� � ���Z�^�A���,�J�Z�µ�Ò�J���9�� J�F���Z�Z�d�J�Î�*�Z���* (�J�*�����q�f�³�d���*�C�.�����Z�Z����{�Z�J�F��o�*�¡����*�(�C�f�d�d��� �¡�*�F�d .���* #±��w�Ò�Z�C� �¥ Çq¥³Ñ��F�d .�.ª�� ¹*�*�*�`� � �&�F�d�C�.�»�A���*���*  �C�* .���*���C��¥Èg�*�d�q���Z�^�A���,�J�Z���d�­�d�x�C�^�Z�d�C�f�³���X�`�*��Ç��^�*�Z�Z���.�(�x�F�*�����Z�­�.�x�x�9�J�f���´�Z�Ê�F�� J�9���F¯�Z�d�J�¦¥¦Ñ��F�d .���* ��x�f�³¤t���C���x��©^���¡�*�x���X���J�*���¡�x�C���.¤*�d�������`�*�����f�Z�o�`�*���F�F�­�.�C�^�F��¸O�Z���½g�F�����Z�d� ¸FÄCÅ^Å � À��@�J��.� ��ºJ�����d�d�C�^�b�F��©*�d���³À���*�����*�x���* Î�Z��©.�C�Z�f�o¨2���.�������^�(�`�F�C�{�F¯�A�C�^�Z��¸ T ��F�AÄCÅ�/^ÐxªJÑo�d�`�.�*�d�x�d�ÄCÅ�/^Æ.À�¥�-°�f�,��©.�C�!�`�*�� ^���.�Z�`�f���¡���Z�d���k�^�x�x�F�J�f������

Page 31: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� ������f$@ ���¬Õ!Ô2+!Ö���.Ö�� � Ä

�`�*��Ç��.�*���Z���.�Ê�x�9�J�����Z��A�*�x���2�x�{�����*�*���C�.�`���f�Z���(��f���*�d�Ê�J�µ�¡�f�,¯&�x���A�C�*���¡�*�x�f��x�F�J¤*�d�C�A���^�*� �x�f�����.�F .���d�(�d J�*�J�F��� �.�^�(�x�F�J¤x�.¤*�d�d�d�Z�Z�d�Ê���^�Z�C�Z�x�F���>�f�Z�d�J�(�{�7�`�*��A�*�x���g�.�*� �^�.�X���^�Z�C�Z�x�F���>�f�Z�d�J� �f�g�`�*�­���*�x�d©*�¡�#�x�{�7�x�.���.�A���Z�C�F���f�³�`�*�����f©w�.�9� ¯�.�*�����&�x�*���Z�d�J�¦¥�Ñ��f����^��¢#�d�Z�C�F���.�F�A�g�d�x���d�Ê�*�Z���¶�Z������*�d�C�A�C�^�����^�@�C�F�C�*�������Ò�*��Z�`�{�Z�d�J�x�.�F�o�J�*�Q0J�x���A�C�*�Z�d�J�x�{�®Ç��^�*�Z�Z���.���x�9�J�����Z�����³¸@¨,�.�¯_¹x�x�f�d�J� �.�*���«�J�F�`�q�.�x�ÄCÅ�/�/.À�¥ T ± -³�f *�.� ¸9ÄCÅ.Ð�/.À����.�`�9�J�#�*�����Î�.�Ê�^�x�x�F�J�f���´�Z���A�d���.����µÇ��.�*�Z�Z���.�´�x�F�f¯�����Z�Z����¥JÇ��C�*�C���f�d�¡Ë��������f�x���f�®¤x�f���¡�i���x�*�����¡�*�*��¸ �. . .�d���.�*�­Ç����F�.�Z�1ÄCÅ�/.Å.ÀVª � Ï,¼ ��A�*�x���d��¸OÍÊ�.�*¤x��ÄCÅ.Å"�^À/�.�*��©f�.�F���.¤*�d���A���`�F�d���f�C���*���4�����`�*�J�x�A¸ �¦�f�,��ÄCÅ^Å � À/�^�F��f�d�����d�.�Z���d�¶�F�����f�Z�����Z�­Ç��.�*�Z�Z���.���x�9�J�����Z�����C¥

� ( � (;��(W�4��(x�eK-58B�ZHB�Qs?�:�F � 36W LUy ��� ��� 58:_[�=>:@SR7�A�aB�EP?�?/=>B�F�58B�FHJ�7\Q rP:�]>J-?DB�FHJ�G@7�5�58:�]>B�</=>7�F�A�E-FPG@</=>7�FP?@�

�-.������P)������ .� ���,�����0���� a7�58SU:@d�=>B�F�� 7\Q�9-EP</=�FHd �U:�F-<�:�5�� �U7�R1y�y@}-� �!]�=�FHJ�:�5�FY�� �T�MO-y@}��a?/]>7�� 7�58SUB�M�W�P FHJ^:@J�=></=>7�F W

�UB�5 � �ZHB�]>7�Qc����W_B�FHJ)HP7�58<�Q1B�F-FY��XqWkL�y��\���-����,�������)���*������������ �"!$#�#%����)�����)������ aG_B�J-:@Q�=>GU3658:@?�?@W�UB�5�K�:�5����WYB�FHJ�� =�]�]�=>B\Q1?@� �gW�&1W3GpWkL6y�� ����6�aB�EP?�?/=>B�F 9-587�G@:@?�?�:_?aA�7�5 �UB�M\:@?/=>B�FxG�]>B\?�?/=�rPG@B\</=>7�F[�=>B1Z-M�K-5�=>J �^7�F-<�: �UB�5�]>7�� )�� �IW��aW �^7�n_:�5����IW�G�W�'�7�58J�B�FNB�FHJ^XqW�36:_<�?�GpZH: #�:_J�?0'���(q.�+�,)�

*��,+%��,�-.����)����0/U,)����.%#�#@)�� *$1�2�#%��.�-$#���� �[G X 3658:@?�?@��9YW�3�UB�5�FP:@<�<@� ;WkL y ������546����,�)8704^.��9�����#�+%��,�:"��*�)��P.8.�,;#������<1=��) .>��� )9#%��#8� �^G��e58B�S � �C=�]�]�W�!58:@?�?/=>:�� �WkL�y ��� O��?1��@����)A#,� )��B#�+%��,C1 ���� )����D���@��� �o=�]>:@M�W�e=�K-KP?@� �IWW LPy ��� ����EC��2\.%#@)����GFC��+H#�#@)����$/ ,����8.B#�#_.B#�+%��,I� ./*�,/.%#�#@)����<�����KJ59�#�#@) LI������)����-�@36Z </ZH:@?/=>?@� � B\QwK-5�=>J-d�: �CF�=>[\:�58?/=></M�W�e=�K-KP?@� �IW �W\B�FHJ �^B�G%&qB�M�� W�'�W �aWkL�y�� �MN�� �NMDG8=>:�F-< =>Q9�]>:@Qs:�F-<�B�</=>7�F^7�A��aB�EH?�?/=>B�FD9�587�G_:@?�?�:@?A 7�5U=�F-<�:�5�9;7�]>B�</=>7�FY��=�F^9�58:�9HB�58B\</=>7�FYW�e=�K-KP?@� �IW W6B�FHJ��^B�G,&qB�M\� WO'�W �gWkL y���� ��� � B�5�=>B\</=>7�FHB�]w�aB�EH?�?/=>B�F�9-587�G@:@?�?sG�]>B�?�?/=�rH:�58?@�!=�F9-58:�9HB�58B\</=>7�FYWG G�Z-=�V�B�SUB-��&1W>� �!ZHB�J-:@?/Z-=>B�����WP&1W �W�W�B�FPJ��^B\G%&qB�M�� W�'�W �aW L�y ���MN-� �^7�J-:�]PA�7�5!ZH7�< G�58B�G�V�=�FHd=�FD]>7�S �TB�]�]>7�MD?�<�:@:�]YSU:�]>JDQ1:@<�B�]>?@��1���)�.�����."�����Q�-.��������9�8*�2R�S+KTc.B9��)���*D�����<U���)��P)���*�����} O>V����W'�B�B�V�V�7�]>B��6XqW� PW B�FPJW'�7�58J-B�FY���IW3GpWkL y ��� N�� � 7\Q�9-EP</=�FHd`E-9-9�:�5sB�FHJ`]>7�SU:�5qK;7�E-FPJ-?�7�FI]�=�V�:8]�= �ZH7�7�J-? =�FD=�F-</58B\G@<�B�K-]>:�FH:@</SU7�5�V-?@��/ ,�����.8.���)���*#I�S+��9�P.K�5X6.% +%�9�YJ?���%+@.�,T.>����.����[Z?����.�,�� ��)����@2)��K!$*�� �^7�58d�B�F\&qB�E�A Q1B�FYW&a=>Q1:�]>J-7�5�A �6��W� PW�B�FHJ �NB�Z�KHB�� ��WkL6y������� G@7�5�58:@?/9�7�FHJ-:�FPG_:OK�:@<TSU:@:�F�� B�M\:@?/=>B�Fz:@?�</=>Q1B�</=>7�F7�A ?�<�7�GpZHB�?�</=>G19-587�G@:@?�?�:@?qB�FPJN?�Q17�7\</Z�=�FHdbK-M^?/9�]�=�FH:@?@�O!D�����8#R�S+D4]���9�P.�-.��� )�����1=� ����)A#,��)��%#

^ �"# PM'��-}�� �BV�����P�W&a=><�B�F-=>J�=>?@�P36W&1WkL�y��\�MN-��36B�58B\Q1:@<�:�5 E�FHG@:�58<�B�=�F-</M�=�Fc:@?�</=>QsB�</=>7�Fc7�A�?/9PB\</=>B�]�A�E-FPG_</=>7�FH?�L �UB�M�:@?/=>B�FB�FPB�]>M�?/=>?@�<TG����.�,�� .%#%��+-,��8.%#I�U.%#_.���,)��� � ���P}�� �>V������W� B�E�5�=><�n_:�F � PW�� W LYy����-y��YXU=>Q1:�?�:85�=>:@?qB�FHB�]>M�?/=>?�=�Fxy@�\���-� BDJ�=>?�G�EP?�?/=>7�Fx7�ACG@7�F-</5�=�K�EH</=>7�FH?1Q1B\J�:K-MDXqW �W-XUZ�=>:�]>:\�?*S1�*I� .>_�)�.�X ^=` �5O-y��>V4OMO O�W� 7�SU:\� �W-��WkL-y���� ��� �=>Q�=�]>B�5�=�<TMbQ1:@</5�=>GC]>:@B�5�F-=�FHd�A�7�5 Bq[�B�5�=>B�K�]>:aV :�5�FP:8] G8]>B�?�?/=�rH:�5��5(g.�+-,���Ja��-$b

Y+c�@����)����Dd�� �MP%V�� ��W�^B�G,&qB�M\� �W='�W �gWkL�y�� ��P�� �UB�M�:@?/=>B�FL=�F-<�:85�9�7�]>B\</=>7�FY�I(q.�+-,��?J?��-I Y+c� ����)���� ^ #&O�'��H}�y��%V�}\}��W�^B�G,&qB�M\� �Wc'�W �gWkL-y����\}�� � B�M\:@?/=>B�F Q1:@</ZH7�J�? A�7�5 KPB\GpV�9-587�9HB�d\B�</=>7�F^FP:@<TSU7�5�V-?@�Y)����eW 7�Q1B�F-M��

'�W �!WH[�B�F � :@Q1Q1:8FNB�FHJ]&1W� �G�Z�E�]><�:8F #�:@J-?0'��?4]����.%8#.�S+D(q.�+�,)��(q.��@X?��,��#R*S*S*�� 9-5�=�FHd�:�5 �� :�5�]>B\d��� :@Se� 7�5�V��PG�ZHB�9H<�:�5 N���9-9YW�P�y\y�V P���}-W

�^B�</ZH:�587�F �Y��WkL�y��MN O��H3 5�=�FHG�=�9-]>:@?�7�A d�:@7\?�<�B�</=>?�</=>G@?@�O:"��������-)��0FC.��9�8*H2"f�g��Yy�P�} N>VHy�P N N�Wa:_B�]�� �qW �IWkLPy ���MN-��EC��2�.%#_)����<h�.���,��H)���*i+,��,j(g.�+�,)�k(g.>�@X?��,)�#���F�EPQqK�:�5gy�y@�q=�Flh;.�����+�,T.�(���� .%#)��Q1��@��� )9#%��)��%#8� 9-5�=�FPd\:�5�� a:@Se� 7�5�V�Wa:_B�]�� �qW �IWkLPy�� ���� �^7�F-<�:�� B�5�]>7w=>Q9�]>:@Qs:�F-<�B�</=>7�FI7�A6�aB�EP?�?/=>B�Fb9-587�G@:@?�?UQs7�J�:�]>? A�7�5 �UB�M�:@?/=>B�F58:_d�58:@?�?/=>7�F B�FHJ G8]>B�?�?/=�rHG@B�</= 7�FY�]�-.������P)����?� .� ���,��0J5�DFIm�����mc���>m����� :�9H<@WU7�A��U7�Q�9-EP<�:85

�G�=>:�FHG@:�� �CF�=>[\:�58?/=></M^7�A6X67�587�F-<�7�W

Page 32: welling/teaching/KernelsICS273B/gpB.pdfF J * ¡Ë X . 9 ` * C F C * f X¤^ Z ... J t C Z f Z d J * ³ * * ` * w©f .

� � �! «"/$&� 'J)É+,).-A /+10, ¦3

��� �aB�d\B�FY� �WkL y�������"�eFoG�E-58[�:DrP<�</=�FHdIB�FPJo7�9H</=>Q1B�]aJ-:@?/=>d�F�A�7�5�58:@d�58:@?�?/=>7�FY�DU���+-,����O�S+K�A�P.�"��2��1��@��� )9#%��)�����1�����)�.�� 2

�E ^�� � y�V�}4P�W

�aQ�58:�� ��WkL�y ������ �UB�M�:@?/=>B�FbV�5�=>d�=�FHd � Q1:�58d�=�FHd17�KP?�:�58[�B\</=>7�FH?eB�FPJBK�EHB�]�=�rH:@J^d�EH:@?�?�:@? =�FOV�5�=>d�=�FPd-�46���9�P.>-.����)����5FC.��9�8*H2 � ` �+P��BV4O��-W367�d\d�=>7-�6XqW B�FPJ��e=�587�?/=��$HUWkL6y���� ��� </ZP:_7�58MN7�A FP:@<TSU7�5�V-?qA�7�5B�9-9�587�R�=>Q1B\</=>7�F�B�FPJN]>:@B�5�F-=�FPd-��-.������P)����c�U.� ���,��5!2A*82 0�0������ �IW GpW XqW

�CB�?�QqEP?�?�:8F ���aW �CWkL�y ��� N��?:"_>�>+c����)����K�S+0FC��+H#�#_)����0/U,)�>�8.%#�#_.%#��������I�9�P.�,�4^.��9�����#�+%��,R(D���kbh )��P.���,I�U.T*�,/.%#�#_)������\36Z </ZH:@?/=>?@� �CF�=>[\:�58?/=></M^7�A X67�587�F-<�7-W

�U=�9�]>:_M���� W W LYy�� ��y���1��@����)A#%��)�����*��%+@.�,T.>����.?+%��,C1 �����)��k/ ,����8.%#�#_.%#�� �UB\QwK-5�=>J�d\:�W�U=�9�]>:_M�� �aW�W L y�� ��}-�H ]>:�R�=�K-]>:bFH7�FcV�]�=�FH:@B�5cB�9-9-587�B�G�ZH:@?1<�7bG8]>B�?�?/=�rHG@B�</=>7�FY�q)�����W �!ZP:85�V�B\?�?/V-M��

'�W �W�H-5�=>:@J�QsB�F B�FHJ ��W �N:@G�ZP?/]>:�5Y#�:@J-?0'��a(�,)��- 1��@����)A#,� )��B# �@�l(q.�+�,)�I(q.��@X?��,)� #_2.���P.%b��,�2]�����Q/"���@� .�,��l�U.����8*��P)���)����K!I � �>)������ )����H#8��F�EHQwK;:�5D?/E-KP?�:�5�=>:_? H�=�F !$1�*./ ,�����.8.���)���*#�� �9-5�=�FPd\:�5 � �!:�5�]>B\d�W

�U=�9�]>:_M���� W W LYy�� �MN���/I���@��.�,��K�U.�����*��P)�� )����0�����0(q.�+-,���(g.>�@X?��,)�#�� �UB\QwK-5�=>J�d\:�W�UEPQs:�]�ZPB�58<@���W �eW>���e=�F-<�7�FY����W �eW-B�FPJ �o=�]�]�=>B�Q1?@� �qW�'�WkL�y ��� N�� �Y:@B�5�F-=�FHdO58:�9-58:@?�:�F-<�B\</=>7�FH?aK-MKHB�G�V�V�9-587�9HB�d\B�</=�FHd^:�5�587�58?@��(D����+-,/.� �������OMO�V-� O N�W �GpZH7�]�V 7�9-A�� �aW>� � E�58d\:@?@���aW!B�FPJ �!B�9�F-=�V�� ��WkLCy�� ����� ��R�</58B\G@</=�FHd ?/E-9-9�7�58<cJ�B\<�BLA�7�5cBId�=>[�:�F<�B\?/V��q)�� ��W �IW!HPB�M�M�B\J�B�FHJ �qW �a</Z�E-5�EH?�B�QM #�:@J-?0'��R/ ,����8.�.���)���*#1( )�,S#,�$*�����.�,�������)������

Ja���%+@.�,/.����8.Q�����D����Xi>.���*�.Q�q)A#,����_�.�,�2Y�����Y�D���@�Y4 )��P)���*�� �G�3 58:_?�?@� �^:�F-]>7o36B�5�V��� W

�V�=�]�]�=�F�d���'�WkL�y���� O�� � B�M\:@?/=>B�FsF�EPQ1:85�=>G@B�]YB�FHB�]>M�?/=>?@�Y)�� � W\XqW\�e58B�FHJ�M\�c'�5�W�B�FHJ136W �b=�]>7�F-F�=$#�:@J-?0'��/a��2>#_)��%#C�����0/ ,��� ��� �)A>)��@2�� �aW �W 36W>� �UB�QqK�5�=>J-d�:�W

� B�9-F�=�V�� ��WkLPy �������O���P.R(���� +-,/.��S+�1��@����)A#,��)������h�.���,��P)���*K���P.���,�2�� �9�5�=�FHd�:�5�� :�5�]>B�d-��a:@S �!7�5�V�W�NB�Z�KHB�� ��W LYy����\���O1 �>)��P.D4]����.%8#?+,��,�� %#@.�,�_���� )��������D���@��� �7�G�=>:_</MbA�7�5,G FHJ�EP?�</5�=>B�]CB�FHJ e9 �9-]�=>:@J��^B�</ZH:@Q1B\</=>G@?@W�� � �� � � H �C:@d�=>7�FPB�] �U7�F-A�:�58:�FHG@:?�:�5�=>:@?e=�FNB�9�9-]�=>:@JNQ1B�</ZH:@Q1B\</=>G@?@W� =>:8FP:�5�� W L�y ��}��-�IJ?2� �.�,��P.���)��%#�� � =�]>:@M\W� =�]�]�=>B\Q1?@���aWP&1W GpW\B�FHJ��CB�?�QqEP?�?�:8F � �aW �eWkL-y���� N�� �aB�EH?�?/=>B�Fc9�587�G@:_?�?�:@? A 7�5658:@d�58:@?�?/=>7�FY�Y)�� W PWX67�E�58:_<�n�V-M�� �IW �aW �^7�n_:�5CB�FHJ �IW �eW��aB\?�?�:�]>Q17-WW#�:_J�?0'���!R��_������8.%#U)��K(q.�+-,��c*��%+%��,�-<����)����

/ ,����8.%#�#_)���*D1�2>#,��.>-D# ��� �[G X 3 58:@?�?@W

�!�C�F�Z�d�J� � ¥ � ¥ ¼X����Ä�/xª¦ÄCÅ.Å�/