Overcast - Carnegie Mellon School of Computer Scienceroni/10601-slides/ch3.pdf · Outlook Overcast...

29

Transcript of Overcast - Carnegie Mellon School of Computer Scienceroni/10601-slides/ch3.pdf · Outlook Overcast...

� ����������� ����� � ������� ��� �

������� � !�"#�%$�&'�(� )+*�,�-��.0/21 1 �(3#�4�5� �768�9�:.0;=<>��< )�?A@2BC)4?EDF*

GIH ��.0;=<>;J/ 3 &K�-�(� �-�($��-��<>�938&-�%&';J/23GILMH ) NJ���%�-3�;J3PO �%NQO2/2�-;J&K"�1GIR 3S&K��/ $8T2B L 3�UV/2��1 �%&K;J/23 OW�X;J3G Y Z �(�K[#&K&K;J3�O

\A] ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� ����������� ����� ���� � ������� ��� ��

Outlook

Overcast

Humidity

NormalHigh

No Yes

Wind

Strong Weak

No Yes

Yes

RainSunny

\A� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� ����� �� � �P��� ����� � �� � ���P��� �����

���%�-3���� UV��/ 1 1 ����;r.(�%N��-��.0/ �:��< /XU @������ � /21 �(3� �(OW�X&K; Z � � 6��%1 $�NJ�5< �%�-� !��<>�5.0&K;J/23C<�������������! �"#%$ &'����� &(�!"#)�*�+�,-�.0/21*�3�*04+�,�+658794 : �<; ����=�=��������! #%$ &'����� &(�!=#> /21*�?65879@A38.%BC3�*�DE+658704 : F ; ��"� �"����G�A�E#%$ &'H F � &(� F #> > /21C5�IJ5!KC,�1L79@A3 : F ; ����H�H������!�#%$ &'H�"�� & F �#> > /21C5�IJ5!KC,�1L79@A3 : �<; ���� ������G ��#%$ &'��M2� &(�! #> > > )�*�+�,-�.0N65�3E+21*�3�3 : F ; ������M2����M�"#%$ &'����� &(�!=#> > > > O 5018+�PQ.9RC*�5ES�P+ T ����M�H�; ��= F �U����� F &' #%$ &'H�V�� & F V> > > > O 5018+�PQ.9RC*�5ES�P+ W%: ����M�H�; �X�!�������G�� �&YMC#%$ &'"���� &'=> > > )�*�+�,-�.0N65�3E+21*�3�3 : �<; ����M2���G=A�E#%$ &' �=�� &'���#> /21*�?65879@A38.%BC3�*�DE+658704 : �<; ��V�V����G��V#%$ &' A�U� &'��H#)�*�+�,-�.0/21*�3�*04+�,�+658794 : =�; �������G=�H#%$ &(���U� &'��H#)�*�+�,-�.0/21*�3�*04+�,�+658794 : ��; �������G=�=#%$ &'=�"�� &'"��#

\[Z ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� ����������� ����� �

H �5.0;r<K;J/23 &K���9� �-�($��-��<K�(38& �%&K;J/23��GIR �2.:" ;J3S&K�(�-3#�%N�3P/S�4� &K��<K&-< �X3 �X&K&K�-;�����&K�GIR �2.:" ��� �%3#.:" .0/ ���-��<K$ /23#��< &K/ �%&K&'��;�����&K� Z �%N����GIR �2.:" NJ�5�+U 3�/S��� � <�<K;JO23#< � .7Nr�2<-<>; [ .(�%&K;r/23

� /E� � /���Nr� � � ���($P����<K�(3S&�G ��� ���� Y �G ��� � �� ��� ��� � �G � /XU��

\A� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � � �� � � ���'� ��� � �������4� � �P�����

GIL 3#<K&-�%3#.7��< �4��<-.0�-;��#� �PNJ� �ST �%&K&'��;�����&K��� Z �XN ��� $C�%;J� <G�� �%��O �(&IU ��3#.7&K;J/23 ;=< �4;=<�.0�-�(&K� Z �%N������GIH ;r<�� ��3C.0&K; Z � "8T�$ / &K"���<K;r< 1 �5T � � �-��� ��;J�-���G / <�<K;���NJT 3P/2;r<KT &K�:�X;J3�;J3�O ���%&-�

R 6��%1 $�NJ�5< �GIR � ��;Q$�1 �(3S& /2� 1 ����;r.(�%N���;r�%O23�/ <>;r<G ! �-���4;Q& ��;=<�� �%3C�%NJTS<K;r<G� /S�4�9NJ;J3�O .(�%NJ�93#���%� <-. "P��� ��NJ;Q3�O $��-�7U �9���(3C.0��<

��� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� ������� �� ��� ����������� ��� � ������������ � �������

�%;J3 NJ/�/2$ �@ ? � � &K"�� � ��<K&"! ����.0;r<K;J/23 �%&K&K�-;����P&K� UV/2� 3��768& $#&%�

' ?�( <�<K;JO23 � �2< �4��.0;r<K;J/23 �%&K&K�-;�����&'� UV/2� $#&%�)�?*)�/2� ��� . " Z �%N���� /XU � B#.0�-���%&K� 3�� � �4��<-.0�(3C���%38& /XU

�#&%�DP?,+�/2�-& &'�:�%;Q3�;J3�O � 6��%1 $�NJ�5< &K/ NJ���+U 3�/S����<- ? L U &K� �%;J3�;Q3�O �76��%1 $�NJ��< $ �(�'U ��.0&'NJT .0N=�2<�<K; [��5� B � "��(3+ � Y B R Nr<>� ;J&'�(�:�X&K� / Z �(� 3���� NJ���+U 3�/S����<

. "�;=. " �%&'&K��; ����&K� ;=< � ��<K&0/

A1=? A2=?

ft ft

[29+,35-] [29+,35-]

[21+,5-] [8+,30-] [18+,33-] [11+,2-]

�g� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � �P������

Ent

ropy

(S)

1.0

0.5

0.0 0.5 1.0p+

G � ;r< � <��%1 $�NJ� /FU &K�:�X;J3�;J3�O �76��%1 $�NJ��<G��� ;r< &'"�� $���/ $ /2��&';J/23 /XU $ / <>;J&'; Z � �76��%1 $�NQ��< ;Q3 �G�� ;r< &'"�� $���/ $ /2��&';J/23 /XU 3P�(OW�%&K; Z � �76��%1 $�NJ��< ;J3 �GIR 3S&K��/ $8T 1 �5�2< �P����< &K"�� ;J1 $�����;Q&MT /XU �

� ��� &# � � ������� ���� NJ/ O�� �� � � NJ/2O�� ��

��� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � �P������

� ��� # � � ������� �768$ �5.0&K��� 3 ��1 � �9� /XU ��;Q&-< 3P�(���4��� &K/�(3#.0/S�4� .0N=�2<�< ��� /2� � � /XU �:�X3#�4/21 NQT �4� ��� 31 �(1 � �9� /XU � � ��3#�4�9� &'"�� /2$�&K;J1 �%N�B <>"�/ ��&K�5<>&'��NJ�(3PO2&K".0/S�4� �

. "ST/

L 3�U / ��1 �X&K;J/23 &K"��9/2��T � /2$P&K;J1 �%N NJ�(3�O2&'" .0/S�4� � <�<K;JO23#<� NJ/2O�� � ��;J& < &K/ 1 �5<�<-�%O2� "#� Z ;J3PO $P��/ �C� ��;JNJ;Q&MT � ?

+�/�B��768$ �5.0&K��� 3 ��1 � �(� /FU ��;J&-< &K/ �(3#.0/S��� � /2� � /XU� �%3#�4/21 1 �(1 � �(� /FU � �

��� � � NJ/ O�� �� ��� �� � � NJ/ O�� � �

� ��� # � � ������� ���� NQ/2O�� �� � �� NJ/2O�� �

��� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

��� ������ � ��� � � � ���

� �� ��� � � � � �768$ ��.0&K�5� ���5� �#.0&K;Q/23 ;J3 �(38&'��/2$ST � ��� &K/<>/2�-&K;J3PO / 3 �

� �� ��� � � � � � ��� &# � � ����� � ������� ������������

� � � �� � � � �� &# � � ��� � �

A1=? A2=?

ft ft

[29+,35-] [29+,35-]

[21+,5-] [8+,30-] [18+,33-] [11+,2-]

� \ ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

�P� ��� ��� � � � � � � �� �

H � T Y �P&KNJ/�/ � � �(1 $ �(� �%& �P��� � �P1 ;r�4;J&T . ;J3#� Nr�5T � �(3P3�;r<H @ + ��3P38T � /2& � ;JO2" . ��� � � /H ' + ��3P38T � /2& � ;JO2" +�&K�-/23�O � /H ) Y Z �(� .(�2<K& � /2& � ;JO2" . ��� � � �5<H D � �X;J3 ;QNr� � ;JO2" . ��� � � �5<H - � �X;J3 !�/�/2N � /2��1 �%N . ��� � � �5<H � � �X;J3 !�/�/2N � /2��1 �%N +�&K�-/23�O � /H � Y Z �(� .(�2<K& !�/�/2N � /2��1 �%N +�&K�-/23�O � �5<H � + ��3P38T ;QNr� � ;JO2" . ��� � � /H � + ��3P38T !�/�/2N � /2��1 �%N . ��� � � �5<H @�� � �X;J3 ;QNr� � /2��1 �%N . ��� � � �5<H @ @ + ��3P38T ;QNr� � /2��1 �%N +�&K�-/23�O � �5<H @ ' Y Z �(� .(�2<K& ;QNr� � ;JO2" +�&K�-/23�O � �5<H @5) Y Z �(� .(�2<K& � /2& � /2��1 �%N . ��� � � �5<H @9D � �X;J3 ;QNr� � ;JO2" +�&K�-/23�O � /

��� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � �� � ����� � � � � � � � � � ����#��� � ���

Which attribute is the best classifier?

High Normal

Humidity

[3+,4-] [6+,1-]

Wind

Weak Strong

[6+,2-] [3+,3-]

= .940 - (7/14).985 - (7/14).592 = .151

= .940 - (8/14).811 - (6/14)1.0 = .048

Gain (S, Humidity ) Gain (S, )Wind

=0.940E =0.940E

=0.811E=0.592E=0.985E =1.00E

[9+,5-]S:[9+,5-]S:

�J] ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

Outlook

Sunny Overcast Rain

[9+,5−]

{D1,D2,D8,D9,D11} {D3,D7,D12,D13} {D4,D5,D6,D10,D14}

[2+,3−] [4+,0−] [3+,2−]

Yes

{D1, D2, ..., D14}

? ?

Which attribute should be tested here?

Ssunny = {D1,D2,D8,D9,D11}

Gain (Ssunny , Humidity)

sunnyGain (S , Temperature) = .970 − (2/5) 0.0 − (2/5) 1.0 − (1/5) 0.0 = .570

Gain (S sunny , Wind) = .970 − (2/5) 1.0 − (3/5) .918 = .019

= .970 − (3/5) 0.0 − (2/5) 0.0 = .970

�J� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � � �� � ������� � � � ��� � ��� ��� � � � ��� �

...

+ + +

A1

+ – + –

A2

A3+

...

+ – + –

A2

A4–

+ – + –

A2

+ – +

... ...

� Z ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � � �� � ������� � � � ��� � ��� ��� � � � ��� �

G � T�$ /2&K"���<K;r< <>$C�2.0� ;r< .0/21 $�NQ�(&K���

� � �%�-O2�(&IU �P3#.0&K;J/ 3 < ���-�(NJT ;J3 &K"��9���2?r?r?G Y �P&K$���&-< � <K;J3�O NJ� "8T�$ / &K"���<K;r< � � "�;r. " /23�� / ��! �%3��e& $�Nr�5T ' � � �P��<>&';J/23#<(?A?r?

G � / �#�2.�� &'�:�2.�� ;J3�O

� /S.(�%N�1 ;Q3�;J1 �4?r?r?

G +�&-�%&K;=<>;r.9�%NANrT�� �#�2<K��� <K���%� . " .:"�/2;r.0�5<

� � / ���#<>& &K/ 3�/2;r<KT �P�%&-�4?r?A?GIL 3#� �C.0&K; Z � ��;r�2<���%$�$P��/v6 �$��-�7U �9� <>"P/2��&'��<>& &K�-�(� !

�J� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

��� � � ���P��� � � �� � ��� ��� �

� /2&K� � ;r< &K"�� $ /E� �9� <>�9& /FU ;J3#<K&-�%3#.0�5<��

� � 3 ��;r�2<K��� /� /2& �-���%NJNJT ?A?r?G �-�7U �9���(3C.0� U /2� <K"�/2�-& &'���(�5< B �%3#� U /2� &'"�/W<K� � ;J&'""�;JO2" ;J3�UV/2�-1 �%&K;J/ 3 OW�%;J3 �%&'&K��; ����&K��< 3P���%� &K"�� �-/�/2&

G� ;r�2< ;r< � ��� ��� ��� ����� �UV/2� <>/21 � "8T�$ / &K"���<K��<(B�� �%&K"��9�&K"#�%3 � �� ������������������ /XU "ST�$ /2&K"���<K;r< <>$C�2.0� �

G Y .9.(�%1 �z< �:�� 9/2� � $��-�7UV�(� &K"�� <K"�/2�-&K��<K& "8T�$ /2&K"P��<>;=<&K"#�%&I[�&-< &K"�� ���X&-�

]�� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� ����� � � � ���� �

. "ST $��-�7UV�(� <K"�/2�-& "ST�$ /2&K"��5<>��<0/( �-O ��1 �(3S& ;J3 U�� Z /2� �G )���� �9� <>"P/2��&I"8T�$#<(? &K"#�%3 NJ/ 3�O "8T�$C< ?

� � <K"�/2�-& "ST�$ &K"#�%&I[�&-< ���%&-� ��3�NQ; �%�(NJT &K/ � �.0/2;J3#.7;r�4�(3#.7�

� � NQ/23�O "8T�$ &K"#�%& [#&-< ���%& � 1 ;JO2"8& � � .0/2;Q3#.0;r�4�93#.0�

( �-O ��1 �(3S& /2$�$ /W<K��� �G�� "P�(��� �%�-� 1 �%38T �I�5TS< &K/ �4�7[�3�� <K1 �%NQN�<K�(&-< /XU�"8T�$#<G �2?EOP?AB#�XNJN�&K�-�(��< � ;J&'" � $���;Q1 � 3 ��1 � �(� /XU 3�/S�4�5< &K"#�%&�#<>� �%&'&K��; ����&K��< � �(O2;Q3�3�;J3�O � ;J&K" �� !

G . "#�%& �z< <K/ <>$ ��.7;r�%N � � / ��& <K1 �%NQN�<K�(&-< �#�2<K��� /23 ������ /XU "8T�$ /2&'"���<K;r< /�/

]g� ^`_babcedgf�_ihj^lklmg_bh-npoAf�cj_bqrcEsgoroAtvu%wJxzyA{}|�~:��~ewJ�e|�{}|J�A� a�8� oA�����r�Xk`c�a��r_b^l^p���Xa���fj�����'kl^l^������J�J�

� � � ��� �2����� � ��� � ���������M � �P��� �

!�/23#<K;r�4�(� �2���4;J3PO 3�/2;r<KT &K� �%;J3�;Q3�O �76��%1 $�NJ� � � - �

������� � � # � � � # �� �� � � �� # ��� � � �� �� ��������� � � #

. ����� "!� $#%� &(' $��)+*-,. /) �0)1 / �2

Outlook

Overcast

Humidity

NormalHigh

No Yes

Wind

Strong Weak

No Yes

Yes

RainSunny

3�� 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWVJ�A� 7��^ FH_�`�aJ`�B69b7dcJ584C4p�Y`�7feg<AhjilkmBC4C4��onjp-p-q

� ������� ������

� &(' �0,�� /) /)+)1&() &�� ����� &(�0� �� ,�� � &��( /)� �0)[��,-' ,-'�� � �Q�1��� � �!�#"!��$&%(')+*�, �.-� /'��0,.)+ ��,�� �m)+,0/21 �0,-&(' 3 &#�4� �Q�1��� � �!��"!�654, �.-7 ��� & �0� ��0,�� � 8 9 :�;=<?>�@BA�C �0)[��,-' ,-'�� � �Q�1� ,&� �0� /)1 ,��

�Q' �Q*.�0 /)1'��Q�0,0� ����� &(�0� �� ,�� ��DE8 9 �F1�#[� �0� �Q�

� �!�#"!��$&%(')+*�, �.-�G � ���#"!� $&%H')+*I, � D -�Q' �

� �!�#"!� 5 , �.-�J � ���#"!� 5 , � D -

30K 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWVJ�A� 7��^ FH_�`�aJ`�B69b7dcJ584C4p�Y`�7feg<AhjilkmBC4C4��onjp-p-q

� ����������� ��� � � ����������� � ����� � �������� ���

0.5

0.55

0.6

0.65

0.7

0.75

0.8

0.85

0.9

0 10 20 30 40 50 60 70 80 90 100

Acc

urac

y

Size of tree (number of nodes)

On training dataOn test data

3�� 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWVJ�A� 7��^ FH_�`�aJ`�B69b7dcJ584C4p�Y`�7feg<AhjilkmBC4C4��onjp-p-q

� ��� �� � � � ��� ������� ���

7 &�� # �Q' � � �(&(,�� &��( /)�� �0�0,-'2��2

� � �0&I� � )+&�� ,.'�� � � /' � �Q�1� � � *-,-� ' &(� �0�1�Q�0,��0�0,J# �Q*H*��� ,0� ' ,�� #/��'��

� �()+&�� � 1 *.* �0)1 / �0� /' � & �0��� � ) 1 '

7 &�� �m& �0 /*- #%� / �� ��� �0)1 / ���� $�I�F1 )1 � ) ��&()�� �Q'�#% &!� /) �0)[��,-' ,-'�� � �Q�1���� $�I�F1 )1 � ) ��&()�� �Q'�#% &!� /) � 6� �Q)[���0 � �Q*-,�� ���0,H& '� �Q�1� �0 /�

��� � � ��� ,-' ,�� ,��/ �/���(��,�� ��� � -�� �/���(��, � ����� �� � �/�� �!� �o� "O� � ,�� ��� � - -

3�" 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� ��� � � ��� ��� � � � � ��� � � �

� *.,-� � �Q�1� ,-'��m& � ��� ��������� �Q' � � ���Y����� � � "�� �0 /�

� & 1 ' �0,-* � 1 )1�0� /) � ) 1 ' ,-'�� ,�� ����)�� � 1 * ������ � �Q* 1��Q�0 , � ���(#%� &(' � ���Y����� �o� "�� �0 /� &#� � ) 1 ' ,-'��

$�(# � � & � � ,0/ *- ' &�� , � *01 � �0� & � / /*-&�� ,-� - !��" )+ �� ,-*0� )1 � &��( �m� &(' �0���Q� � & � � ,�� � )1&!�( �� ���Y����� � � "�� � /� �(#/# 1 ) �(# �

� � )+&��E1�#% �� � � �Q*.*- ��0� �( /) � ,.&(' &#� � & �0� �(# # 1 ) �Q�0 �F1�/ �0)+

�$# ���Q� ,&� � �Q�1� ,�� *-,�� ,.�0 �� 2

3-3 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� � ��� � �� � ��� � � ��� ��� � � � � � � � ��

0.5

0.55

0.6

0.65

0.7

0.75

0.8

0.85

0.9

0 10 20 30 40 50 60 70 80 90 100

Acc

urac

y

Size of tree (number of nodes)

On training dataOn test data

On test data (during pruning)

3-q 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� � � � � �� � ��� ��� � � �

��� � & '��( /)1� �0)1 / �0& ��?1 ,0� �Q*. �' � �0 /� &#� ) 1 *- � !��� ) 1 ' $�(# � ) 1 *- ,-' �� 6� /' � '��0*0� &#� &(�0� /) �� � &()1� ��'��Q*�) 1 *- �� ,-' �0& � � ,-)1 �� �0 ��?1 /'�#" � &() 1 �

� /)1��� � � � & �0� � )1 ��?1 '��0*0� 1 �0 �� � /�0� &�� , � � � � ��� �-

3�� 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� ������B���2�� � � ��� � � � � � � �

Outlook

Overcast

Humidity

NormalHigh

No Yes

Wind

Strong Weak

No Yes

Yes

RainSunny

3-p 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

��� ,�� � � � " "�� � ��� ��� -� , 9 ��� ��� �!��� � 9 � � �.-� 7 ��� � � ����� � � ���� � � "

��� ,�� � � � " "�� � ��� ��� -� , 9 ��� ��� �!��� � � "!��� ��� -� 7 ��� � � ����� � � ���� � � ���

�����

q�� 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� �� �2� � � � � � � � � ��� � ����� ��� � � � �

� )+ �Q�0 � � ,��1#%)+ �0 ���0�0)1,0/�1 �0 �0& �0 ��0� #%& '��0,-'�1 & 1 ���� � � ��� ��� � � �� � ���� , � � � ��� � � ��� ��� J �

�� - � ���

����� ������������� �6� !#" ! $ " � " %&"'�()��*+����,�,�-/. � � & � & 0 � 0 �� 0 �� � &

q=n 4658789;:=<>5@?A4CBCD=58?1EGFH<�9A58IJ9LK=FJFHMONQP-RTSHUWVYX[Z\X;P-];VYUWV�#%$ 7&�^ FH_�`�aJ`�B69b7dcJ584C4'$Y`�7feg<AhjilkmBC4C4($onjp-p-q

� ���2� ��� � �E� � � � ��� � ��� � � � � � �

���� /��� � �� � �� ���� �� /21���� �� � � ���� �� �01�� � �� ����� � � � ���������� � �

� � � � � ��� 1 � � �2� � � � � !���� � � %&% $ �" ���� �� /21����

# ��� ��� �$� %�&� � 1 �'� � �����)( � �*� " � � ������ �

� �����+( � �,� "E,� �.- -�/ � ����� ,� �$- -+� �0�!�21 � ="!� � � �,� "�� ,� �'- -

+� �0�!�31 � ="!��� � �,� "�� ,� �4- -�/ 5 67)98;:< ) << < � �>=

< ) << <

�"��� � � =) �@? ? 1�/ ? ��� �BA AC�%� �"� � �&� - �� ? �� � 1�� � )

D�E FHGJIJKMLONPGRQSFUTUVOGJQ$WYXZN4KSGJ[@K]\OX@XZ^`_�a�bdcZegf0h&ijhMa�kMf0egf�#%$ I&ml XZnporq@oBTHKsIut@GJFUF'$0oBIwvxNSy{z;|}TUFUF($*~{����D

� ��������� � � � � � ����� � ���� �

� � � ?�� � �

� � � � � � � �%� � ?'� ? �� ������� � ����� �� ? � � ? � � � � "

� ���� � � � � ? �� ��� ��� ������� � � � � ? � � ? � � ? ��� �

! ��" � � �� � � � � � ?��@? �����m� � � � � ""� �}� ��" �$#�% � � ��� � � ? �'&# ��� %(% �$� %�&�*) � �+%� %� � � � � ��,

� � �� �� � �� �.- - � � / � %&%&"�0� �����

= / �.- 01 ���2� / - 0 �

� � 3 ���+4 / � % & 0 �576�8:9<;>=@?BADC 5 E/ 1 ���2� / - 0*F E�0�G

" ��� � � H I J " � E$K � ��� �L- � ��� ?"�M- % �%� �$ ������ � A � � ? �

DMN FHGJIJKMLONPGRQSFUTUVOGJQ$WYXZN4KSGJ[@K]\OX@XZ^`_�a�bdcZegf0h&ijhMa�kMf0egfMOQP IRml XZnporq@oBTHKsIut@GJFUFSP0oBIwvxNSy{z;|}TUFUFTP*~{����D

� � � � � � � � ��������� � � � � ��� ��

� �� B� � A�?���- � � # - %��� ? - �@?$?'� �(� �� � 3 � ? � A - &� ? � � � � � � �(� � # - %��� �� ,�" ,���?��%� � �}� �� 3 �%� � � ���

��� A � �D � � ��� ? � ? - � ?$?'� � � - � ? �"� � - - � � �� � 3 � �BA- - � ��� � ����� � �$# - %��� ? ?��%� ��� � � � �D � �

� ??�� �%� - � ? � � ��- - � � �� � 3 � � A - - � ��� � ����� ��$# - %� � ? ""� ��� ? - � �$ � �%������ � 3 �

� ??�� �%� % �$��� ��� � � , � 8 � � �� � � % � ?$?'�M� �� �� B 3 � � 8 � A-

� ?$?'� �%� A � %� � ��� � � 8 �BA � # - %��� � � �� � � � ? � ��� ��m� � � � � ���

� @ ?$?'�9A , ��� " �$# - %��� ? � � ? - � A ? � ��� �

D�� FHGJIJKMLONPGRQSFUTUVOGJQ$WYXZN4KSGJ[@K]\OX@XZ^`_�a�bdcZegf0h&ijhMa�kMf0egfMOQP IRml XZnporq@oBTHKsIut@GJFUFSP0oBIwvxNSy{z;|}TUFUFTP*~{����D