ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ...
Transcript of ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ...
�
� � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � �
� � � � � � � � � � � � � � � � � �� � ! " # $ � � � % &
' ' !
( � � � � � ) � � � �
* + � � � , � � � - � � � � � � � � � � � � . � � � � / � � � � � 0 � 1 � �� 2 3 4 5 6 7 8 7 4 5 9 : � � 6 7 ; 3 < 7 = 7 5 9 8 7 > ? � � � . � . � @ � � � � ,A � B � @ � � � " $ C D + E D � � B � � � � , �
* F � , � 1 � � GH I J K L M NO K J N M J P Q Q R S P Q L T K S U V S W P X Q KY I J K L W P Z K N [ K P \ L [ V N X Q V S T V S P [ K ] V [ \ V U] N X M R N \ [ N Q P ] ] L N W T V S [ P X [ U K P [ R S K \Y I J K L P ] ] V ^ P R [ V W P [ N Q _ R N ] ` N X M V U ] P X M R P M KN X ` K T K X ` K X [ a S K [ P S M K [ P _ ] K b c d W V ` R ] K \
e f g h i j k l m f h n g i g f h o p q f n r p k
s t V N X [ u M K X K S P [ N O K v W V ` K ] \ T ] P Q K T S V _ P _ N ] N [ N K \ V O K S_ V [ J V _ \ K S O K ` ` P [ P P X ` [ J K J N ` ` K X \ [ R U U u M K X K wS P [ K [ J K V _ \ K S O K ` ` P [ P U S V W J N ` ` K X \ [ R U U v xY y ] ] [ J K _ K \ [ Z X V ^ X z [ P [ b c d W V ` K ] \ x
{ | } ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � } � � � � ~ � � � � � � �� � � � � � � � � � � � ¡ ¢ £ � ¤ � ¥ � � ¤ � � ¦ § � ¤ ¥ ¢ ¦ � � ¨ ¢ © ¢ ¥ � �� � ª �¡ ¢ � « � � ¥ ¬ � ¬ � ¤ ® � ® � ¦ � ¯ ¤ ¡ ¢ � © � ¥ ¥ ¢ �� � � � ¢ ª � ¡ ¢ � © ¢ ¥ � � °
± ² � ~ � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � ~ � � � � � � � � � � � � �� � � � � ³ � � � � � � � � � � � � � � � � � � � � � ´ µ ¶ � � �� � � � � � � � � � � ·
¸ £ � « ¥ §
¸ £ � ¹ ¥ §
º » ¼ ½ ¾ ¿ ½ À Á Â Ã » Ä Å Æ Ç » È É Ê Ë ½ È ¾
� Ì � ¯ ¢ � � ¢ ¥ � � ª � � � � ¥ � � Í � � � � ¦ ¢ � Î ¤ � � � � ¥ ¤ �¡ � � � � ® ¦ ¢ � « � � ¥ ¦ � � ¢ � Î ¤ � ¥ � � ¢ � ¥ ¢ ¬ ¢ � ¥ ¢ � � � ¢ �� Ï ¤ � ¢ ¡ � � � � ® ¦ ¢ � � � ¢ ¤ ® � ¢ � ¡ ¢ ¥ Ð � ¤ � ¢ � � ¢ © � ¥ ¥ ¢ �� Ñ � � © � ¤ ¥ ¢ � � � ¦ � ¦ ¢ � ¦ � � � � Î � ¢ � £ � ¤ � ¥ � � ¤ � � ¦¬ � ¤ ® � ® � ¦ � ¯ � ® ¦ ¢ § ® � � ¢ ¥ ¤ � � � � ¤ � � � ª � � � �
c
d1 d 2 d 3� � � � � � � � � �
c
d1 d2 d3
Ò ¢ � ¢ � � �¡ ¢² � ~ � � � � � Ó � ~ � � � � � � �� � � � � � � � � � � ¡ ¢
Ô Ê Õ Ë Æ À Æ Ê Õ » È Ö Ê Ë ½ È ¾ × Ê Ã Ø × ½ È È ÙÚ Ê Ã Ë Û ½ Õ ¾ ½ Ü Æ ¾ » Ö Ý Æ Þ ß » À Æ Ê Õ
à á â ã ä å æ ç è é ê ë ì í î ï í ð éñ ë ò é ó é ë í ô õ é ñ ö ÷ è ø ä ù æ ä ùú û ü ý þ ü æ ä ç ç ü ÷ ü ä ÿ æ ç æ ü ä ø �ã � ç æ ý ø ç æ ü ä æ ä ÷ û ã ø � ã �� ã û ú ü û ý ø ä ÷ ãà � è ø ç æ � ö å ã � � ã ç è ã � ø ý ã� ý ü ü ç è æ ä ù ö ø ä ÿ ç è ã � ø ý ã� � õ � � ì î ë ñ ñ ú ã ø ç � û ã � ö å ãþ � � ç ÷ è ø ä ù ã ç è ã ä � ý ã û � � ø û ø ý ã ç ã û � �
� û ø æ ä æ ä ù � ã ç
� � �� ü ä ÿ � � æ � ã �� � � �� ü æ ä ç � æ � ã �
� ÷ ÷ � û ø ÷ �� þ ã ÷ ç æ â ã
� ã � ç � ã ç
� � � �� ü ä ÿ � � æ � ã �� � � �� ü æ ä ç � æ � ã �
� ÷ ÷ � û ø ÷ �� þ ã ÷ ç æ â ã
´ � � � � � � � � � � � � � � ~ � � � � � ³ � � � ~ µ � � � � � � � } � � � � ·
! ½ » À ß Ã ½ ¾
� " � © ¢ � ¢ � ¦ � ¥ ¢ � � � ¥ � ¤ � � � # ¢ � Í ¤ � ¨ °$ % & ' ( ) % * + , - - . - / - 0 1 + , 2 3 4 - 5 - 6 7 8 - 9 4 : - 0 5 - 1 ; + 1. 4 0 < + 6 3 - 5 1 6 7 8 = ; + 1 = - 7 > 6 - , 9 - ? = 4 1 ; + 5 + 1 - @ 7 , 2A 1 ; + 1 = - = + 0 1 1 7 3 , - : 4 5 1 B
C D 8 - + 1 E , - ; + 6 + F > 7 E 0 : - : G , - + . 9 + . E - Hf: C × D I R C J 6 E + . .2 8 - + 1 E , - 6 + , - 4 0 : 4 5 + 1 7 , 8 E 0 5 1 4 7 0 6 7 8
3 , 7 3 - , 1 4 - 6 7 8 1 ; - 4 0 3 E 1 + 0 : + 3 + , 1 4 5 E . + , 5 . + 6 6F % K % ) L M N % O % P ) % * % N ' Q * G R S ; - 2 3 4 5 < 7 E 1 + 6 E > 6 - 1 RT fi(c, d) ≡≡≡≡ [U (d) ∧∧∧∧ c = ci] V W + . E - 4 6 X 7 , Y Z
C [ - = 4 . . 8 , - - . 2 6 + 2 1 ; + 1 \(d)
4 6 + 8 - + 1 E , - 7 8 1 ; - : + 1 +d ] = ; - 0 ] 8 7 , - + 5 ;
ci ] 1 ; - 5 7 0 ^ E 0 5 1 4 7 0 \(d) ∧∧∧∧ c = ci
4 6+ 8 - + 1 E , - 7 8 1 ; - : + 1 + _ 5 . + 6 6 3 + 4 ,
(c, d)R
�
� � � � � � � �
C � 7 , - + / 3 . - H f1(c, d) ≡ [c= “NN” ∧∧∧∧ islower(w0) ∧∧∧∧ ends(w0, “d”)] f2(c, d) ≡ [c = “NN” ∧∧∧∧ w-1 = “to” ∧∧∧∧ t-1 = “TO”] f3(c, d) ≡ [c = “VB” ∧∧∧∧ islower(w0)]
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! "� # $ % � � � � � � � � � � & � ' % � � � � � � � ( � � � � � � � � � )
� � � � � � ' % � � � � � � � � � � � � � � � � )
* + , ,- . / 0 1 2 , 3 30 4 5 6 7 8* + 9 :- . / 0 12 , , ,0 4 5 8 1
;∈
=),(observed),(
),()( empiricalDCdc ii dcffE
<∈
=),(),(
),(),()(DCdc ii dcfdcPfE
= > ? @ A B > C D ? E > F G H F > I E
J K L M N M O P Q P R S T U R V W T N T W T X R P S W P Q U T Q M NR S Y Z R S W L M [ M T W V \ M Q T O W P ] M T W W L T W X R P S W ^
_ ` a b c d a a e a f g h i jk l f m n o m p q n q g r st m f m
u o m f v p o jw s x j f g h i j x k l f x m xn o m p q n x q g r x s y
z m { o q_ ` a b c d a a
| o } f~ m f o � g p l � m f l g �
s f g p o j f p v h f v p o{ m � i e � � c d � � o { f �t m f m
u o m f v p o jw s x � � p o j f p v h f v p o xc � � o { f x z � � � x s y
z m { o q� � c d �
� g p � � a o � j ot l j m � { l � v m f l g �
t | � � c c s| k o � p o � l g v j � m q q st m f m
u o m f v p o jw � � � m q q x � | � � �� � � � p o � l g v j y
z m { o qc c
� � a | m � � l � �
� � ? � � I > � � > � @ � ? @ > � H B � � ? @ � H �
� � � ¡ ¢ ¡ £ ¤ ¥ ¦ § ¨ © © ª «¬ ® ¯ ° ± ² ® ³ ¯ ² ® ¯ ´ µ ² ¶ · ¸ ¶ µ ¹ ± º ® ¸ ° ¯ ¸ ¶ ¹ » ¯ ³ ³ ¼ ° ½ ® ¾
¶ µ ¿ ® ¯ ° ± ² ® ³ ® » ® ¹ ° · µ ¸ ° µ ± ³ ® ² ® » · ¯ À » ® · ¸ ¶ · ¹ ¯ ° µ ² ³ Á¬  ® ³ ° ³ µ ¸ ¹ » ¯ ³ ³ · ¹ à ® ± ° ® ² ³ ¶ ¯ ° ¯ ³ ® ° ¼ ¯ ¸ ¶ µ ° ½ ® ² ³ Á
Ä Å ¯ Æ Ç ® È ¯ ¾ ® ³ É Ê Ê Ë Ì Í ÎÏ Ð Ñ Ò Ó Ô Õ Õ Ó Ö Õ Ó × × Ñ Ø Ò Ù Ú Û Ü Ý ÞÏ Ð Ø Ö Ñ × ß Ñ à Õ Ó Ö Õ Ó × × Ñ Ø Ò Ù Ú Û Ü á ÞÏ â ã ä ä Ø Õ ß å Ó à ß Ø Õ æ Ô à ç Ñ Ò Ó Ù Ú Û Ü è Þ
é ê æ ä ç Ô × Ñ ë Ó × ß ç Ó Ñ æ ä Ø Õ ß Ô Ò à Ó Ø ì í î ï ð ñ ò í ó ô ò õ ó ö ÷ø × æ Ø Ø ß ç Ñ Ò Ö ù ì Ø Õ × ã à à Ó × × ì ã ú ã × Ó Ø ì û Ñ × à Õ Ñ æ Ñ Ò Ô ß Ñå Óæ Ó ß ç Ø û × ø Ò Ø ß ã × Ó û Ñ Ò æ Ø × ß Ó Ô Õ ú ü ý Ð þ ÿ � � � Ø Õ � ù
� � � � � � � � � � � � � � �Ï � � � � � � � � � � � � � � � � � � � ! " # # $ % & ' ( # $ ) * + " , ' % $ - & . + # / , * % * , + 0 1 & * + % + # & + 2 $ & 3 $ # 45 6 # $ ) * + " , 7 + # % $ - & 8 + % $ ' & . + ' & 3 # $ $ & 1 2 , 45 9 + # / : * % & $ # % 1 0 ; $ 1 & " # $ , < . + # / & = ( $ , ' , " ; ; * - $ , ' / 1 , 3 $ , ' $ & > 4
?@ @ A BC D E EF G HI J D K K KK K KL M FN N OF I P QRS QS @S TU V W X Y Z V [ \ ] ^ \ _ ] X \ ` a ] b
c d e fg h i j k l k c m nn o o p q r s jt u v q t u w r s jt u v x f y yz u v {z | v } } ~ �z �� ] W � b � V [ � V � [ \
� � � � � � � � � � J � Q � � B � I G � � � � G � � D � � E A @ R R T � D � � A �
� � � � � � � � � � � � � � � � � ¡¢ £ ¤ ¥ ¦ ¤ ¥ § ¤ ¨ © ª ¥ « ¬ ® « ¤ ¦ ¤ § ¦ ¯ © ¥ ° ± ² ³ ´ µ µ ¶ · ¸ ¸ ¸ ¹º » ¼ ½ ¾ ¿ À Á  ¾ à  Á Ä ¼ ¾ à Š¾ Ã Æ ¾ Á ¿ Ç È È ¿ ¾ É À Ç Å À Á à ÊË Ì Ì ¬ ¦ ¦ ¬ § Í Î ¤ ¥ ¦ ° Ï Ð Ñ Ò Ð Ó Ð Ô ³ ´ ² Õ Ö Ö × ¹º Ø ¾ Ç Å Ù ¿ ¾ ¼ Á Ä Ú ¾ Ç Â Ã Á Ù Ã Û ½ ¿ ¾ ½ Á ¼ À Å À Á Ã Û ¾ Å Æ ÜË Ý ¬ ¥ Þ ª ¬ Þ ¤ Î © « ¤ ß à ° Ï á â µ Ò ã µ ä å Õ Ö Ö æ ¹º ç è é ê ë é ì í Û î Û é ì ï ð Ü Ø ¾ Ç Å Ù ¿ ¾ ¼ Ç ¿ ¾ é Á ¿  à ñ ò ¿ Ç óÄ ¾ Ç Å Ù ¿ ¾ ¼ Û Ç Ã Â Å ¿ À ò ò ¾ ¿ Ä ¾ Ç Å Ù ¿ ¾ ¼ é Ú À Æ Ú ó Á  ¾ ô¿ ¾ ½ ¾ Å À Å À Á à ¼ Á Ä Å Ú ¾ ¼ Ç ó ¾ é Á ¿  ÜË Ì ¬ à ¯ ¥ Þ ° Ï Ð Ñ Ò Ð Ó Ð Ô ³ ´ ² Õ Ö Ö õ ö ÷ á ´ Ò â á Ò µ Ñ Ð ä ø Õ Ö Ö Ö ù µ Ñ ú ø ¹º û À Å Ú ¾ ¿ ü ý Á Æ Ç ô Æ ô Ç ¼ ¼ À Ä À Æ Ç Å À Á à ¼  ¾ Æ À  ¾ ½ Ç ¿ ¼ ¾ ¿Ç Æ Å À Á à ¼ Á ¿ Ä ¾ Ç Å Ù ¿ ¾ Æ Á Ù Ã Å ¼ Æ Ú Á Á ¼ ¾ Ç ½ Ç ¿ ¼ ¾ Ü
þ ÿ � � � � � ÿ � � � � � � ÿ � � � � � � � � ÿ ÿ �
� � ¾ Ú Ç É ¾ ¼ Á ó ¾ Â Ç Å Ç {( d, c)} Ç Ã Â é ¾ é Ç Ã Å Å Á ½ ô Ç Æ ¾½ ¿ Á È Ç È À ô À Å �  À ¼ Å ¿ À È Ù Å À Á à ¼ Á É ¾ ¿ À Å Ü� � � � � � � � � � � � � � � � � ! � " # " � � � $ � � � P(d,c) # % � $ ! � � �$ � � # & � � � ' � $ ( � � � � ) � � � ( � � � *
+ , $ $ - ! % � � - $ $ � " � $ ! � � � # � $ � . ( � � � � / � � � ( $ � 01 - � $ ! � � # $ � � � 2 ! � 3 - � % . � � � *4 5 6 � � 7 � � � � � 8 9 � � � � � � � � � � ! � " # " � � � $ � � � P(c|d) * , $$ # ) � � $ ( � � # $ # # � � �� � % # % � � � � � � � � % � : $ ( �. � % � � $ � � % # � ! � " # " � � � $ : � 2 $ ( � . � # � � *
+ ; � � � � ) $ � � # & � � � ' � . � % � � $ � � % # � � � ) � � � ( � � � *+ < # ! � � ! $ � � � = # � / � > � � � � � ? @+ A � ! � . � � � � � : ! � � # $ � � $ � . � # � � � 2 � . # $ � � % � ! ! � ! *
�
� � � � � � � � � � � � � � � � � 4 � � � % � # ! � . � # � � � 2 � � ! � 0
+ � � # � � � 2 : 2 ! � � 2 � # $ - ! � � � � $ � { fi}$ � . � # � � � � { c}.+ 5 � � � � % # / � � � ( $ λi
$ � � # . ( 2 � # $ - ! � fi*
+ � � ! # # � ! = c,d@ � 2 � # $ - ! � � � � $ � / � $ ( $ ( � � ! / � � � ( $ � 0� vote(c) = Σλifi(c,d)
+ � ( � � � � $ ( � . � # � � c / ( � . ( � # & � � � ' � � Σλifi(c,d) = VB+ � ( � ! � # ! � � # % : / # : � $ � . ( � � � / � � � ( $ �� � � � � � � � � � � ! " � # $ � % � � � � � & ' ( " ) � & $ ) ) " ! " � # � * $ ( � & � + $ � #� % # , � - � " , . � ) " � � . � # " � � � � " � � � ! $ � � � � � � � � & $ ) ) " ! " � $ � " � �
/ 0 1 12 3 4 5 6 / 0 7 82 3 4 5 69 : ; < 9 : = > : ?
@ A B C D E A F G B H A I J K B H H L M L A E HN O P Q R S T S U V W X Y X R Z [ X V S T W \ ] ^ W P T S U ] X R Z V _ U V ` ] a V b b _ c ^ R d T X _ ef g _ T U h T X V S T W \ ` R ^ b V S W U V R S Σλifi(c,d) U R Q \ R d i ` T WQ \ R b W b V X V _ U V ` ^ R d T X e
j k l 1 1 m 2 3 n 4 5 6 n / 0 o p q r s t u v r s w x y u r s t u v r s w z u { s | } ~ � � � �� � y � � � � � � � � � � � � } ~ u { s | x y u r s t u v r s w z u { s | } ~ � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ¡ � ¡ � ¢ � � £� � ¤ � ¢ ¥ ¦ � � ¡ � § � ¤ ¨ � � � © � � � � � ª « ¬ § ¦ � � � §� � ¨ � § � � � � � � ¤ � ¢ � � � ¥ � � � � ¢ ¢ ¦ � � � � � � � � � � � � � � �{λi}
� � � � ® ¯ ° ± ® ± ² ³ ´ µ ³ ¶ · ¸ ¹ ± ´ ± · ¸ ¯ º º ± » ³ º ± µ · · ¹ � � � �¤ � � � � ¦ ¦ � � ¤ � § � � � � � � � � � ¤ � ¢ ¼
½ ½'
),'(expc i
ii dcfλ=),|( λdcP ¾i
ii dcf ),(exp λ ¿ À Á Â Ã Ä Å Æ Â Ã Ç Å Ã È Æ È Ä Â ÉÊ Å Ë Ì À Í È Î Â Ã Ä Å Æ Â Ã É
Ï Ð Ñ Ò Ó Ô Ò Õ Ð Ö Ó Ò × Ø Õ Ù Ò Ú Û Ü Õ Ù Ù Ý Þ Ý Ò Ó Ùß à á â â ã ä å æ â æ ç è é ê ë å ì â ê é ä ä í å é î á è ï å æ â ð é ñ å òì â î è ì è æ ó á å ð ç å ð â è ó á ç ò â é ç ô í â ï õ ó èö â æ ì é ç é ÷ß ø ç î å æ ï ç í ô î ç ï æ å ç å æ ê ñ î ê é ï ï è ò è î é ç è å æ ï õ ù ô çä í å ù é ù è ê è ç ñ ì è ï ç í è ù ô ç è å æ ï å ö â í î ê é ï ï è ò è î é ç è å æ ï ÷ß à á â í â é í â å ç á â í ú ó å å ì û ü ð é ñ ï å ò ì è ï î í è ë è æ é ç è æ óî ê é ï ï â ï ý þ ÿ � ï õ ù å å ï ç è æ ó õ â ö â æ ä â í î â ä ç í å æ ï �ç á å ô ó á ç á â ï â ë â ç á å ì ï é í â æ å ç é ï ç í è ö è é ê ç åè æ ç â í ä í â ç é ï ì è ï ç í è ù ô ç è å æ ï å ö â í î ê é ï ï â ï ÷
� � � � � � � � � � � � � � � � � � �
� � � � � � � � � � � � � � � � � ! � " � � # $ � " % # � � � � $ � % � � � � &' ( � ! � � � � ) * � % ! � $ " � � + � , � � " � � ) # � �- + � � $ � � * " � � . / ! � % ! / � / � * # + # � 0 � � * � � � 1 " � + � % � � � ! � " � � " � � ) # � - ! � % # � � � . &' 2 ! � � � � � � � � � � � � # � 0 � # � ! � � + � � � " % # � � � � �� � &
c
φ1 φ 2 φ 3
=),|( λdcP ∏i
i cPcP )|()( φ3∏
'
)'|()'(c i
i cPcP φ
45678
9+ :
ii cPcP )|(log)(logexp φ
; ; <=>?@
A+
'
)'|(log)'(logexpc i
i cPcP φ
BCDEF
G Hi
icic cdf ),(exp λ
I I JKLMN
O'
'' )',(expc i
icic cdfλ
P Q R S T U V Q W T X Y X Z [ X \ Q ]T ^ _ ` ] T ] \ Y Q a b ` c T a d
e f g h i j k l f m n f o i p q r s t i u r l
v w x y z { | } ~ { � � | � � y { y � � y � � y � � y y � � ~ � � y �� ~ � y � ~ � � } ~ � y � � } � � y � � ~ { y �� � � � � � � � � � � � � � � � �
� � ¡ ¢ £ � ¤ ¤ ¤ ¢ ¥ � ¦ ¡ §¤ ¢ ¨ ¨ © ª « ¬ ¦ � ¨ � ¬ ¦ � ¬ ¡� « ¦ � ¬ ® � ¯� � ¡ ¢ £ � ¤ ° � « ± ² ¡ ¤ ¡ ³ �´ � ¡ ¢ £ � ¦ � ¨ � ¬ ¦ � ¬ ® � « ¬ ¡ § ® ® § ¢ ¬ ¡ ¯� � ¡ ¢ £ � ° � « ± ² ¡ ¤ ® ¬ µ � ¤ � ¡« ¬ ¦ � ¨ � ¬ ¦ � ¬ ¡ © ª ¯ � � ¡ ¢ £ � ° � « ± ² ¡ ¤ ¥ ¢ ¤ ¡ µ �¥ ¢ ¡ ¢ © © ª � ¤ ¡ « ¥ ¡ � ¦ ¯
� � ¡ ¢ £ � ¤ ¥ ¢ ¤ ¡ µ � § ´ ¡ ² �® § ¬ ¶ ¢ ¬ ® ¡ « � ·(d) ∧ c = ci´ § £ ¥ ¯
� � ¡ ¢ £ � ¤ ¬ � � ¦ ¬ § ¡ µ � § ´ ¡ ² �® § ¬ ¶ ¢ ¬ ® ¡ « � ´ § £ ¥ ¸ µ ¢ ¡¢ ¤ ¢ © © ª £ � ¹ ¯
º £ « ¬ � ¦ ¡ § ¥ » « ¥ « ¼ � ¶ § « ¬ ¡© « ³ � © « ² § § ¦ § ´ ¦ ¡ ¬ ¦® © ¤ ¤ � ¤ ¯º £ « ¬ � ¦ ¡ § ¥ » « ¥ « ¼ � ¡ ² �® § ¬ ¦ « ¡ « § ¬ © © « ³ � © « ² § § ¦ § ´® © ¤ ¤ � ¤ ¯
½ ¾ ¿ À Á Â Ã Ä Å Ã Æ Ç È É Ç
Ê Ë Ì Í Î Ï Ð Ñ Ò ÓÔ Õ Ö × Ø Ù Ú Û ÜÔ Õ Ö Ý Þ × Ø Ù Ú Û ßÔ Õ Ö Ý Þ à Ø Ù á Û ß
â ã ä å ä å æ ç è å å é
ê ë ì í ì í î ï ð ñ ò ó ê ë ì í ì í ô ï ð õ ò ó
ö ÷ ø ù ú û ü
ê ë ý í ý í î ï ð õ ò ó ê ë ý í ý í ô ï ð ñ ò ó
â ã ä å ä å æ þ
ÿ � ÿ �
� � � � � ÷ ù Õ Ñ � � Î Ï Ð Ê Ò ÓÔ Õ Ö à Ý Ý Ø Ù Ö � Ø Ö � Ø Ö � ØÔ Õ Ö × Ý Ý Ø Ù Ö � Ø Ö Ø Ö ØÔ Õ Ö à Þ Ý Ý Ø Ù � Û Ú �Ô Õ Ö × Þ Ý Ý Ø Ù Ú Û Ú �
�
½ ¾ ¿ À Á Â Ã Ä Å Ã Æ Ç È É Ç
Ô Õ à � � � � � Ó Ê Ë � � � � � � � � � × � � � � � � � � � �
Ô � � � � � � � � � � � � à Ó� � � � � � � � � � � � � � � (M1,…Mn,R) � � ! " � � # � � $ %
& fri: Mi=+, R=r ' ( ) * + , - λλλλ . /& fsi: Mi=+, R=s ' ( ) * + , - λλλλ 0 /� � 1 2 3 λλλλ . / 4 λλλλ 0 / 5 � $ ! � " � 6 � � � 7 � � � 8 � # $ � P(+|r)/P(+|s)� 9 : # � 7 $ � � � � " : � � 7 8 ; < � � � � � : � ; = > ?� 9 : � 6 � # $ � � " � � � � � ; < @ A fri] � � # � � : � " � � ! � 8 ! � �
! � 7 ! � � � 8 � � " ; B C D
)|(
)|(...
)|(
)|(
)(
)(
)...|(
)...|(
sP
rP
sP
rP
sP
rP
sP
rP
++
++=
++++
E F G H I J K L M N O I J P Q R N S
T U V W X Y Z [ \ ] U ^ V T U V W X Y _ \ [ ] ` ^
a b V c \ c d e f g h i a b \ c V c d e f g h i a b \ c \ c j e f k h i
Z [ \ ] U ^ V l
m n o Z
p q r s t u v
w u x v y z {
| } ~ � � � � � � �� � � � � � � � �� � � � �� � � � � �� � � � �� � � � � �
� � � � � � � � �� � � � � � � � �� � � � � � � � �
E F G H I J K L M N O I J P Q R N S
� � � � � � � � � � � � � � � � � � � � � � ¡ � � � � � ¢ � � � � � � � � � � £¤ ¥ ¦ § ¨ © ¨ © ª « ¦ ¬ ® ª ¦ ¬ ª ¦ ¬ ª « ¬ ® « ¯ ° ±¤ ¥ ¦ ² ¨ © ¨ © ª « ¦ ³ ® ª ¦ ¬ ° ª ¦ ¬ ° ª « ³ ° ± « ³ ° ±¤ ¥ ¦ ² ´ © ¨ © ª « ³ ¬ µ ¶
� � � · � � � ¸ � � � � � � � � � ¹ � � ¢ ¡ � ¢ º � � � � � ¢ � � � � � � � � � � » ¢ ¡ � ¼
� ½ � � � ¢ ¡ � ¢ ¾ � � � � � � � � � � � � � � � � ¢ � � � � ¹ � � � � � �¤ ¥ ¦ § ¨ © ¨ © ª « ¦ ¬ ° ª ¦ ¬ ª ¦ ¬ ª « ¬ ° « ¯ ±¤ ¥ ¦ ¿ ¨ © ¨ © ª « ¦ ¬ ° ª ¦ ¬ ° ª ¦ ¬ ° ª « ¬ ± « ¬ ±¤ ¥ ¦ ² ´ © ¨ © ª « ¬ À ¶
� � � � ¡ � ¢ ¡ � � � � Á � � � � � � � � � ¹ � � ¸ � � � º � ¡ � ¢ � ¢ � ¡ � �� º º ¸ � � º � � � � � �  Á � ¡ � � � ¾ � � � � � ¢ » � � ¢ � � � � ¼
E F I O Ã K Ã N P G J Ä O Å K J Æ P Ç K J P R O O Å
� È �  ¢ � ¸ � É ¢ » � � ¢ � � � � � � � ¡ � ¢ � ¢ � ¡ � � � È � � � � � �¤ Ê Ë Ì Í Î Ï Ð Ñ Ò Í Ó Ô Ñ © Ð ¨ Õ Ö Ñ Ñ × Í Ì Ï Ó Ø Í × Ñ ÔÙ Ï © Ï Ð Í Ú Í © × Ú Ñ Ð Ï Û Ë Ð Ë Ü Í Ú Ö Í ¦ Õ Ñ Î Ò Ë Ú Ë Ñ Î Ï Ó ª
Ó Ë Ý Í Ó Ë Ö Ñ Ñ Ò Ñ Ô Ú Ö Í Ò Ï Ú Ï Þ
� ß Â Á � ¡ � ¡ � ¢ � � � � � � � ¾ � � � ¹ ¾ � � � � � � � � � � � � ¹ à � �
áá∈∈
==),(),(),(),(
log),|(log),|(logDCdcDCdc
dcPDCP λλ â â'
),'(expc i
ii dcfλ
ãi
ii dcf ),(exp λ
ä å æ ç è æ é ê ë ì ë í î é ï ì ð è î ç
ñ ò ó ô õ ö ó ô ó ÷ ø ù ú ó û ü õ ö ý õ þ ÷ ø ÿ ú ô ù ö þ ø õ ÿ ö û � ÿ � ó ú ý ÷ ø ÷� ÿ õ ö ø û �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �
� � � �
ñ � ÿ ú ÷ ö � õ � ó ö ô ó ÷ ø ù ú ó ! ó õ " ø û # ! ó ! ÷ ö ø ø ÿ $ ó ÷ $ % ó ø ÿþ ÷ % þ ù % ÷ ø ó &� ' � � � ( � � � � � � � � � ) � � * � � � � � � �� ' � � � � � � � � � � � � � � � * � � � � � � � � � � � � � � � � � � � � � � � �
+ , - . . / 0 . 1 2 3 2 4 5 6 - 5 7 . 3 1 8 7 . 3 2 9 : . 3 1 1 5 : ; 4 6 < 2 5 2 8 . = 5 ; . >? @ A B C D E F G H D A I J I K F L D J M F N F A O E D P Q B F R D H L M D S T
U V W X Y Z W [ Y V \ \ ] ^ _ [ ` W
a b c d e f g h i j g k l m n m g k o f f m p d f m c g g l m q o r s k j n m g k g r n c d m m l l o n oeC,Di o k l n c d t o u o v d n d u q λ w
a x r n c d u d o u d k y n v o k z { o f s d q g r | } m n y q d o q z n g j o f j s f o n d w
a ~ d j o k q d t o u o n d n c m q m k n g n � g j g v t g k d k n q w
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �
�∏
∈∈
==),(),(),(),(
),|(log),|(log),|(logDCdcDCdc
dcPdcPDCP λλλ
�∈
=),(),(
log),|(logDCdc
DCP λ � �'
),(expc i
ii dcfλ
�i
ii dcf ),(exp λ
� � �∈ ),(),( '
),'(explogDCdc c i
ii dcfλ� �∈ ),(),(
),(explogDCdc i
ii dcfλ −=),|(log λDCP
)(λN )(λM=),|(log λDCP −
�
� � � � � � � � � � � � � � � � � � � �
i
DCdc iii dcf
λ
λ
∂
∂=
� �∈ ),(),(
),(
� �∈ ∂
∂=
),(),(
),(
DCdc i
iii dcf
λ
λ
�∈
=),(),(
),(DCdc
i dcf
i
DCdc iici
i
dcfN
λ
λ
λλ
∂
∂=
∂∂
� �∈ ),(),(
),(explog)(
� � � � � � � � � � � � � � � � � � � � � � � � ! " � � � � # � � � $ � % $ � � � � & ' ( ) * +
, - . / . 0 1 2 3 4 1 2 . 5 5 6 / . 7 8 9 1 7 3 4 8 0
i
DCdc c iii
i
dcfM
λ
λ
λλ
∂
∂=
∂∂ : : :∈ ),(),( '
),'(explog)(
; ; ;; ;∈ ∂
∂=
),(),(
'
''
),'(exp
),''(exp
1
DCdc i
c iii
c iii
dcf
dcf λ
λ
λ
< < <<< <∈ ∂
∂=
),(),( '''
),'(
1
),'(exp
),''(exp
1
DCdc c i
iii
iii
c iii
dcfdcf
dcf λ
λλ
λ
i
iii
DCdc cc i
ii
iii dcf
dcf
dcf
λ
λ
λ
λ
∂
∂=
== = = ==
∈
),'(
),''(exp
),'(exp
),(),( '''> >
∈
=),(),( '
),'(),|'(DCdc
ic
dcfdcP λ ? @ A B C D E F B C E G H I F J K L M λ N
O P Q R Q S T U V W T U Q X X X
Y Z [ \ ] ^ _ ` a b a ^ c d c a \ _ \ d e c d \ _ [ \ ] f \ e g ] d h [ ` i [\ c i [ g \ c _ b d \ j e ^ d \ k ` i _ \ k \ l ^ \ i _ c _ ` ] f \ m b c n e ` _ e\ a ^ ` d ` i c n \ l ^ \ i _ c _ ` ] f o Z [ \ ] ^ _ ` a b a k ` e _ d ` p b _ ` ] f ` e qr s t u v w x y z { | y } ~ � y � � v � v � } � } � x � v w z � � � } y z { | y } Nr s t u v w x } � { x � x ~ { � � } v � y � } � � y z � x v � } � � � � v � � y v t � v � v N �Y Z [ \ e \ a ] k \ n e c d \ c n e ] i c n n \ k a c l ` a b a \ f _ d ] ^ �a ] k \ n e p \ i c b e \ h \ g ` f k _ [ \ a ] k \ n [ c � ` f � a c l ` a b a\ f _ d ] ^ � c f k e c _ ` e g � ` f � _ [ \ i ] f e _ d c ` f _ e q
=∂
∂
i
DCP
λλ),|(log
),(countactual Cfi ),(countpredicted λif−
jfEfE jpjp ∀= ),()( ~
� T W W T � � W P Q � � � Q �� � � � � � � � � � � � � ¡ � � � ¢£ � � � � ¤ � � � � ¥ � � � � � � � � � ¦ ¦ � § ¨ ¦ � © � ¦ � � � � � � � � � �� � � � � � § � � � � � � � ¡ � ª � ¡ � « � � �
¬ � � � ¦ � § ¨ ¦ � © � ¦ � � � � � � ¢ ¥ � � ¥ � � � � � � � ¢ �¢ � � § ¦ � ¡ � ª � ¡ ¤ ¡ ® ¤ ¢ � ¯ � ¤ � � � � � �� ¤ ¡ � � ¥ � ¦ � � � � ¡ � « � � � � � � � ¥ © � § �¬ ° � � � ¦ � § � ¢ ¥ � ¦ � � � ¥ � � � ± ¤ � ¢ ² ¥ � � ³ ¤ § � � �§ � � � � � � � ¦ � ¡ � � � � ¡ � ¡ � ¯ ± ¤ � ¢ � ¨ ´ � £ � � �
321 ,, λλλ
)|(log)(1
i
n
ii dcPDCLogLik µ
=
=
¶ · ¸ ¸ · ¹ º ¸ » ¼ ½ ¾ ¿ ¼ ÀÁ ¼ ¹ ¼ Â Ã À · Ä ¼ ¿ Å ¸ ¼ Â Ã ¸ · Æ ¼ Ç È Ã À · ¹ º
¬ É ¢ � ¡ � ¦ � � � � � ¡ � « � � � � � � ¦ § � � � � ¡ £ � � ¥ �£ � © ¢ £ � � � � � � � � � � ¤ � ¢ � � � � � ¨ � � § � � � �¬ Ê � � � � � � � � � � � � � � ¢ ¦ � ¥ © � � � � ¤ � � � ¡ � © �� � � � � � � ¤ � ¢ ¢ ¤ ¡ � � � ¥ � � ¢ � � � � � � � ¦ ¦¥ � � ¢ � � � � � � � � ¢ � � ¡¬ Ë � � � � �¬ É � � � � £ � � � � ¤ �
CD×
),(max1
,cdfM i
m
jj
ci Ì=
=
),(),(1
1 cdfMcdfm
jjm Í
=+ −=
Á ¼ ¹ ¼  à À · Ä ¼ ¿ Å ¸ ¼  à ¸ · Æ ¼ Ç È Ã À · ¹ º¬ Î � ¡ � ¤ � � � ¡ � � � ¥ � ¦ � ª � � ¥ � � � � � � � � � ¦ ¦ � � � � ¤ � ¢¬ Ï � � � � � ¦ � « �¬ Ð � � � � �Ñ Ò Ó Ô Õ Ö × Ø Ù Ø Ú × Ö Û Ø Ø Ü Õ Ø Ý × Ú × Þ Ó ß à Ú Ý Ý Ó Û á Þ ß â × Ó Ý Ö Û Û Ø ß ×Ô Ó á Ø ã
ä å æ ç è é ê æ è ë è ì ê é ê ë íî ï ð ñ ò ó ô õ ð ö ÷ ø ù ÷ ú
1...1,0 +== mjjλ
),(1
)(1
~ ii
n
ijjp cdf
NfE û
=
=
),()|(1
)(1 1
kij
N
ii
K
kkj cdfdcP
NfE tp ü ü
= =
=
ýýþÿ
��
�
�
+=+
)(
)(log
1 ~)()1(
jp
jptj
tj fE
fE
M t
λλ
�
� � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � ! "# $ % & ' % ( ) * ' & + * , - & * % . ' % - & & / 0 + 0 1 2 % ' & % ( & / 0 23 0 + 4 ' 5 * 6 0 ) 1 ' 5 0 7 * ( * 7 1 % 3 0 + ( * & 8# 9 0 : ; . & ; ) * ' & + * , - & * % . : / * 7 / * ' - . * ( % + 20 < 7 0 5 & * . ' 5 0 7 * ( * 7 : ; 4 ' : 0 + 0 = - * + 0 8# > . * ( % + 2 * & 4 2 0 ; . ' / * ? / 0 . & + % 5 4 @ : 0 7 ; .' 0 ; + 7 / ( % + ) * ' & + * , - & * % . ' : / * 7 / / ; 3 0 5 + % 5 0 + & * 0 ': 0 ) 0 ' * + 0 1 , - & ; A ' % / ; 3 0 / * ? / 0 . & + % 5 4 8
B � � � � � � � C � � � � � D � � � � � E " � ! � � � � � � � � � � E � F � G � H � � � I � � � � � J� K � � � � � F E � � L � � � � � � � � � E M N H � � � � � H � O P "# Q 3 0 . & x# R + % , ; , * A * & 4 px# S T - + 5 + * ' 0 U log(1/px)� D � � � � � E " � V � � � � G H � � � � � H � M � � � � pP "
W−=
xxx ppp log)(H
XYZ[\
]=
xp p
Ep1
log)(H ^ _ ` a b c d e a f a gh ` g i j b _ k l i m a bd ` l m d m a l _ ` a b npHEADS
H
� � � � � � � � � � � � � op q r s t u v w x w s y t z { v | s u } ~ t { } � � t } v y �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �p � v � � t } v y � | s � } | } x x y t { v ¡ ¢ H £ ~ � � ¤ x ¥ t t vz x s t � { x ¦ � s ~ x u ¥ v y ~ t { s } y t ~ �
p § u u } y ¨ ¥ v y ~ t { s } y t ~ © z x s t � { x ~ ª �� « � ¬ � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � ® � � � � � � � � �� ¯ � � � ° � � ® � � � � � � � � � � � � � � � � � ® � � � � � � � � � � � � �� ¯ � � � ° � � ® � � � � � � � � � � � � � � � � � � � � � � � � �
[ ] [ ]ipip fEfE ˆ= ±∈
=ifx
ix Cp
² y ¥ v y ~ t { s } y x u £| s � s t ³ ´ µ
¶ v y ~ t { s } y t t r s tpHEADS = 0.3
· ¸ ¹ º » ¼ ½ ¹ ¸ ¾ ¿ À º Á Â ÂH(pH pT,) pH + pT = 1 pH = 0.3
- x log x
1/e
· ¸ ¹ º » ¼ ½ ¹ ¸ ¾ ¿ À º Á Â Â ÂÃ Ä Å Æ Ç Ç È É Ê Å Ë È Ì Å Æ Ë Å Í Î Ï Ï Î Ê Ð Ñ Ò Å Ì Å Ñ Æ Ç Ó È Ô Å ÕÃ Ö È Ñ × Æ Ë Å Í Î Ï Ï Î Ê Ð Ñ Ò Å Ø Ó Ð Ù Ð Ô È Ï × È Æ È ÕÃ Ú È Û Ð Ø Ð Ü Å Ý ÕÃ Ö Ê È Ñ Æ Ó Ù Î Þ È Þ Ð Ï Ð Æ Ð Å Ç Õ ß à á á â á á ã â á á ä â á á ä ã â å æ ç â å æ è é ê ë
å æ èå æ çá á ä ãá á äá á ãá á
ì í îì í îì í îì í îì í îì í îì í ïì í ïì í ïì í ïì í ïì í ï
ìðì ðì ìñð
ò ó ô õ ö ÷ ø ô ó ù ú û õ ü ý þÿ � � � � � � � � � � �ÿ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � f� � � �
� � � � � � � � � � � � � � f� � � � � � !
ÿ " � � � # � � # � � � � � � � � � � � � � � � � � $ � � � � � � � � � � � � � � � � � � �� � � � � � � f % � � � � � � � � � � � � � � f % � � � & � !
ÿ " � � � � ' � ( � � # � � � � � � � ) � � � � � � � ' � � � * ) * + , � � � � � ) � � � � � � � �� � � � � � � � ) � � � � � � � ) � ' � � - � * # ' � � � ' � � � � � � � � - � � + � , # � � *
. / 0 1. / 0 12 / 0 12 / 0 12 / 0 12 / 0 1
. / 0 1. / 0 13 . / 01
3 . / 01
4 / 0 14 / 0 1
� 5 6� 5 7 � � � �
�
� õ ó ÷ � � õ � � õ � û ó ú� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � ! � � � � � � � � � � " � # � � � � � � � $
%&' %&( )*
% + ,% + ,' % + ,% + ,( )*- . / 0 1 0 2 ) 3 * 3 3 4 %
'( )*
% + 5% + 6' % + 5% + 6( )** 4 & + 6'( )*
% + 5% + 6' % + 5% + 6( )** 4 & + 6'( )*
'( )*λ 7' λ 7( )*
λ 8 9 : λ 8 8 9' λ 8 9 : λ 8 8 9( )*
; < = > ? @ A B C ; D E F A G @ = ?
H I J KH I L MN O P QR S T U V W X W T Y Z [ S V \ ] H I J KO H I L ^Q O P Q OP QR S T U O Z [ S O _ T Q W V \ ]
` a b cd e a f cg h i j k lm n o p qr n o q ns r t r u tv
o w x y x z r { r | } ~ w � �
n o � �n o p nu t� } ~ ~ z � x w � � � y x } ~ zr n o � qr n o � n
sx � z ~v ~ z � � � } w w x y x z n o � �r n o � n
� � � � vv ~ z � y � � | } ~ x y � w n o � �n o � �� � v� } ~ ~ z � x
v s �x y �
r n o n �n o � �� ��
z � � � � � � � � � � ~ y � n o n nn o n �� � � � �� } ~ ~ z � x � � ~ � n o � �r n o � �
� �v ~ z � � � } w � � ~ �� � �� ¡ ¢£ ¤ j i ¥ ¦ ¤£ ¤ j i ¥ ¦ ¤ g § ¨ ¤
© ª© ªª« ¬ ® ® ¯® ® ¯° ®± ² ³ ´ ² µ¶ · ² ¸ ¹² º» ´ · µ ¼ ¼ ¼¼ ¼ ¼½ º ¾ ¹ ·« º ² º ¹ ® ¹ ª º¿ À ·¯ · ¹ ÁÂ Ã Ä Å Æ Ç Ã È É Ê Ë É
Ì Ê Å É Í Î Ê Ï Ê Ð Ñ Ò É ÓÔ Õ Ö × Ø Ù Ú × Û Õ Õ Ø Ü Ö Ý Ø Þß Ù Ý à á â ã ä å æ ç è é ÝÞ Û Ø Ú ê Û Ý Ö Þ Þ ë é × àØ ì Ù Þ Ø ê × Ø Û ê Ý Û í Û îÖ Ü Õ Ø Ö Þ ï ð ê Û ß Ù ê ñí Õ Ø î Ù ò î Ø Ö Ý é Õ Ø Ú ó
ô õ ö ÷ ø ù õ ú û ÷ õ ù ö ü ÷ ý þ ûÿ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �
������ ��
� � � � �� � � � � ��
! " # $ % $ & � '� ' ' ( �
�� ��
� � )� � *�� � )� � *� ��
� ( + � *�� ��
� � ,+ � ,� + � , � ,� ��� ( + � *
�� ��
������ ��
λ -� λ -� ��
λ -� λ.λ/ 0 λ 1� ��
2 3 4 5 6 7 3 8 9 5 3 7 4 : 5 ; < 9
= > � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ?
= @ � � A � � � � � � � � � � � � � � � � � � � � � � � � � � � � � B � � � � C ?
������ ��
! " # $ % $ & � '
� � )� � *�� � )� � *� ��
� ( + � *�� ��
� � ,+ � ,� + � , � ,� ��� ( + � *
�� ��
�� � *�� � *� � *� ��
� � ( � � *�� ��
�� ��
�� � *�� � *� � *� ��
2 3 4 5 6 7 3 8 9 5 3 7 4 : 5 ; < 9
D E F G H I J H K L M N O P H I J K Q R K S O M J O M Q Q K I L T I U M H Q K LQ R N R K Q R K S Q V K R K Q Q R N L U N O U R I U I N J O M M U WQ R M X Y K Q M Q M N O S Z I [ M O R Z M Q X N S M I \ N H HX I Q Q K ] H M K L R M O N S R K I L R M O T Q ^
_ ` Z K Q S I T ] K L N R I O K N H Q X N S M K Q M a X I L M L R K N H K LQ K b M V ] c R R Z N R d Q I e N W N Q T I Q R Q R N R K Q R K S QT I U M H Q I L H W Z N [ M f g h \ M N R c O M Q ^
_ i L j k l V I c O T I U M H Q S I T T I L H W c Q M Z c L U O M U QI \ R Z I c Q N L U Q I \ \ M N R c O M Q V Q I R Z N R d Q L I R I e N W ^
_ m I T T I L H W V K L R M O N S R K I L R M O T Q N O M N U U M U ] WZ N L U ] N Q M U I L H K L J c K Q R K S K L R c K R K I L Q ^
n o p q r s t u v n w x y z t { p | z } ~ y
� � � �� � � �� � � �� � � � � � � � � � � � � � � �� � � �� � � � �� � � � �� �� � � � � � � � � � � � � � � �
� � � �� � � � �� � ¡ ¢ £¤� � � ¥� � � ¥ �� � � � � �� � � � � � � � ¦ � � � � � � �
� � § �� � � �� �¨ � � � � � � � � � � � � � � �� � � � ¥� � � � �� � © � �� � � � � ª � � � � � � �� � « §� � � « �¬ �� � � � � � ® � � � � � � �� � § ¯� � § � �¨ � � � � � � � � ° � � �
� � � � §� � § ¯± ²³ � � � � � � � � ´ � � � � µ� � � �� � � �² ¶ · ¸ ¹¨ � � � � � � º ª � ®� � � §� � � � �· »� � � � � ª � � º ª � ® ¼ ½ ¾
¿ À Á ÂÃ Ä ¡ Å Æ ÄÃ Ä ¡ Å Æ Ä � Ç È Ä
É ÊÉ ÊÊË Ì Í Î Î ÏÎ Î ÏÐÎ
Ñ Ò Í Ó ÔÒ ÕÖ × Ò Ø ÙÒ ÚÛ
Ô× Õ Ü Ü ÜÜ Ü Ü
Ý Ú Þ Ù ×Ë Ú Ò Ú Ù ÎÙ Ê Úß à ×
Ï× Ù á
â ã ä å æ ç ã è é ê ë é
ì ê å é í î ê ï ê ð ñ ò é óÏ
× Ù á ÌÔ
à ô õ ô Ú Ò Ú Ù Ò ö Õ Ø à × × Ù ö Ú õô Ì Í ö Ò Ú à × Ù Þ Ò á Ù Ì ö Ú Ù × Ò Ø Ú ÌÔ
ö ô ÷Ù ø Í øÏ ù Ï ú Ó
Ë õ ßù
É Ê Ì ö Õ Ì Ø Ò Ú Ù ôßù Ï ú Ó
Ë û à Ø Þ ûÔ
× Ù ô Ú ×Ô
ö Í ü ýÚ Þ Ò ö ßù
É Ê Ò ö ÕÏ ù Ï ú Ó
ËÌ ö Õ Ù þ Ù ö Õ Ù ö Ú ü ý øÑ Þ Ì ô ÿ Ù Ò Ú à × Ù Ú ý þ Ù Ò ü ü
Ô �ô Ú Þ Ùû
ÔÕ Ù ü Ú
ÔØ Ò þ Ú à × Ù Ú Þ Ì ôÌ ö Ú Ù × Ò Ø Ú Ì
Ôö ø
�
� s p � � } � } | p z } ~ y
� � � � � � � � � � � � � � � � � � P(X) � � � � � � � � � � � � � � � � � � � � � P(C|D)�� � � � � � � � � � � � � � � C×D � � � � � � � � � X �� C � � � � � ! " # # $ � % " # # & � ' � ' ( ) * + , , - . / � 0 0 # " � � � � 12 D � � � � � ! " # # $ 3 4 � � & � ' � ' ( 4 % 5 � ! . 6 7 . 0 4 % � - � 1� � � � � � 8 � � � 9 � � � � � � � 8 : ; � � � � � � � � 9 P(C,D) �� � � � � � � � � � � � � � � � � � � ; � � � � � < � � � � � � � � � � � �� � � � ; 9 � � = � � 9 C×D > ?
� @ � � � 9 � � � A � � � 9 � � � � � � � ? � � � B � � � ; � � 9 � � � d� � � � � � � � � � A �
X
C×D
D
C
C∈
=),(),(
),(),()(DCdc ii dcfdcPfE
D E F G G H I H J F K H L M N N
O D � � A : � � ; < � 9 � � � � � � � � 8 : ; � � � A � � � � d � � ; 9 � � ; 9 � � � �� � � � � � � � � � � � � � � � ; 9 � � 9 � � � � d � � � � � � 9 � � � � � � � � � � � � � � � � � � � � � � ; 9� � � � 9 � � � � � � � �
� P � 8 � � � � � � 9 � � � � P(c,d) � � � � : � Q � 9 �� � � � � � � � � 9 � � 9 � ; � � � � � � ; � � � � � � � 9 � ; � :
)(ˆ)()( dPdPDd =∈∀
R∈
=),(),(
),(),()(DCdc ii dcfdcPfE S
>∧∈=
0)(ˆ),(),(),(),(
dPDCdc i dcfdcP
D
C
T U V W W X Y X Z V [ X \ ] ^ ^ ^
_ ` a b c d e f gh f i j k l b m n c k f o b p f D q n m r c k n s l
b p f k b p f j k s t b p c k r b p n b i n k h n m t c l b p f i j k o c b c j k n so c l b m c u a b c j k l v
_ w p c l c l b p f i j k k f i b c j k u f b e f f k x j c k b n k o i j k o c b c j k n sq n y f k b z f y { j k f k b c n s q j o f s l v| } ~ � � � � � ~ � � � � ~ � � � � � � � � � � � ~ � � � � ~ � � � � ~ � � � � ~ � � � �� � � � � � � � � � � � � ~ � � � � � � � � � �_ � n y c q c � c k r x j c k b s c � f s c p j j o n k o i j k o c b c j k n ss c � f s c p j j o j d b p f o n b n c k b p c l q j o f s n m f f � a c h n s f k b �
)(ˆ)|(
)()|(),(
dPdcP
dPdcPdcP
=
=
)(ˆ)()( dPdPDd =∈∀
� � \ \ [ � X ] � � ^ W W � � W \ Y � Z V U �
_ � j b l j d d f n b a m f l v| � ¡ � � ¢ � � � � ~ � � � � � � � � � £ � ~ £ � � ¤ ¥ � � � � � � � � �| ¦ £ � � � � ~ � � � � � � � � � � � � � � � § ~ � ¨ � � � � � � � � £ � � � � � � � �� � £ � � � � � � � � � � � � � � � � ~ � § � ~ � � �
_ � j b l j d l { n m l c b t v| © £ � � � � � � � � � £ � � § � � � § ª � � � � � � ~ ~ � � � � � «| ¥ � � § � � � � � � � � � � � � � � � � � � � � � � � � � � � � £ � � ~ � � � � � � � � � � �� � � � � � � � �
_ ¬ { b c q c � n b c j k { m j u s f q l v| � � � � � � � � � � � � � � � � � � � � � � � � � � ® � � � � � � � � � � £ � � ~ � £ � � �� � � � � ¯ � � � ~ � � � � � � � ~ � � � � ~ � � ~ � � � � � � � � � � � � �
� � \ \ [ � X ] � � ^ W W � � W
° ± ² ² ³ ´ µ ¶ · µ ¸ ¹ º º ¹ » ¼ ½ ¾ µ ´ ¿ ¼ À ¼ Á Â º Ã ¼ ² ¶ À ¼ Ä ³ ¶ ¼ ¹ ½ Å
° Æ µ Â ¶ ³ À µ ² Å Ç È µ Â Ã ² É Ê Ç Ë Â ¼ º ² É° Ì µ Í º º · Â Î µ ¶ · µ ¸ ¹ º º ¹ » ¼ ½ ¾ ´ ¹ Ã µ º Ã ¼ ² ¶ À ¼ Ä ³ ¶ ¼ ¹ ½ Å
° Ï µ  º ºÐ Ê ¹ ½ º Ð ¹ ½ µ à µ ¾ À µ µ ¹ ¸ ¸ À µ µ à ¹ ´ Ñλ Ò λÓ Ô λÕ Ö
th
× Ø Ù Ú ÛÜ Ý Ø Þ Û
TH
H
HEADS λλ
λ
ee
ep
+=
TH
T
TAILS λλ
λ
ee
ep
+=
0HEADS TTTH
TH
ee
e
eeee
eep
+=
+= −−
−
λ
λ
λλλλ
λλ
0
0
TAILS ee
ep
+= λ
λ
ß à á á â ã ä å æ ç è é é ê ë é
ì í î ï ð ñ ò ñ ó ô õ ï ó ô î ö ö ð ô ÷ ò î ô ø ù ö ð ï ó ô ø úTAILSHEADS loglog)|,(log ptphthP +=λ)1(log)()|,(log λλλ ehththP ++−=
22
× Ø Ù Ú ÛÜ Ý Ø Þ Û13
× Ø Ù Ú ÛÜ Ý Ø Þ Û04
× Ø Ù Ú ÛÜ Ý Ø Þ Ûλ λ λ
log P log P log P
�
ß à á á â ã ä å æ ç � � � � � ß â á � � ä å æ
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � ! " # $ % & ' % & ( � ) λ * % + ∞ , * � # - � # + %& . / " 0 # ! ) 0 % . ! " # $ # 1 % " # . ! 0 - � 2 ( 0 � 3� � � � & � % 0 . � 2 2 # + " 0 # 4 ( " # . # + 5 ( + " % + + ! # 6 � 2% + " � � � $ ! # 0 # - % & . � 7 . + $ " � # . / 38 9 : ; < = > ? @ A @ B C ; D @ ? E F A A G ; A F A ? @ H G A ?A ? @ I ? E ; @ I ? F J F K = ? F @ : ; = L B > M = N ? ; L = N ; <F ? ; L = ? F @ : A O� � � � ' % & ( � ) λ * # & & 4 � ) # . # " � P 4 ( "! 0 � + ( $ % 4 & Q 4 # / R 3� � � � ! " # $ # 1 % " # . * . S " " % 6 � ) 0 � ' � 0P - & � % 0 & Q R 3� T $ $ . & Q ( + � 2 # . � % 0 & Q $ % U � . " * 0 6 3
04
V W X Y Z[ \ W ] Z
01
V W X Y Z[ \ W ] Z^ _ ` a b
c a b ` a b
λ
d e f f g h i j k l m n i f n o p q r m st u � % " # ) * � � % 2 % ! 0 # 0 � U ! � - " % " # . " � % " ! % 0 % $ � " � 0 ' % & ( � +* ( & 2 . S " 4 � ' � 0 Q & % 0 / � vt u � - ( & 2 " � � . 4 % & % . - � � ' # 2 � . - � + ( / / � + " # . / & % 0 / �! % 0 % $ � " � 0 + P 0 # . ) # . # " � R % / % # . + " ( 0 ! 0 # 0 3t � � � � ' # 2 � . - � * ( & 2 . � ' � 0 " " % & & Q 2 � ) � % " " � � ! 0 # 0 , % . 2! % 0 % $ � " � 0 + * ( & 2 4 � + $ " � � 2 P % . 2 6 � ! " ) # . # " � w R 3t u � - % . 2 " � # + � U ! & # - # " & Q 4 Q - � % . / # . / " � � ! " # $ # 1 % " # . 4 5 � - " # ' � " $ % U # $ ( $ ! + " � 0 # 0 & # 6 � & # � 2 x
),|(log)(log)|,(log λλλ DCPPDCP +=y z { | } ~ � z ~ y ~ � z ~ � � � � } � � }
d e f f g h i j k l m n i f n ot � % ( + + # % . , 0 � ( % 2 0 % " # - , ! 0 # 0 + x� � . " ( # " # . x ! % 0 % $ � " � 0 + + � ( & 2 . S " 4 � & % 0 / � 3� � 0 $ % & # 1 % " # . x ! 0 # 0 � U ! � - " % " # . " � % " � % - �! % 0 % $ � " � 0 * # & & 4 � 2 # + " 0 # 4 ( " � 2 % - - 0 2 # . / " % / % ( + + # % . * # " � $ � % . µ % . 2 ' % 0 # % . - � σ� �
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � µ¡ ¢ £ �� ¤ σ� ¡ ¥ ¦ � � § � � � � � � � � � � � � ¦ � � � �
¨ © ª « ¬ ® ¯° ª ± ª ®² ³ ´ µ ° ³ ¶ µ · ª ¸ «® ³ ¸ ª ³ ® « ¸ ¹ ª º»»¼½¾¾¿À −−= 2
2
2
)(exp
2
1)(
i
ii
i
iPσ
µλπσ
λ
2σ2
=1
2σ2
= 10
2σ2 = ∞
Á Â Ã Ã Ä Å Æ Ç È É Ê Ë Æ Ã Ë ÌÍ Î Ï Ð Ñ Ò Ó Ñ Ô Õ Ò Ó Ó Ö Õ × Ø Ù Ö Ú Ù Ó Û� Ü � � � � � � � � � � � � Ý � � Þ � � � � � � ß � � � Þ � � � � � � � � � � � � � � � � � � � � � � � � �� à � � � � � � � � � � � � � � � � � � � Þ � � á � � � Þ � � � � � � � � � Ý � � � � � � � � � �� � � � � â � � � � � � � Þ � � � � � � � � � � � � � � � � � � � Þ � � � � � � � � ¦ � � � � � �� ã Þ Þ � � � Þ � � � � � � � � � � � � � � äÍ å æ Õ × Ô Ñ ç æ Ñ Ú è é Ñ ê ç Ö ë Ñ Û
Í å æ Õ × Ô Ñ ç æ Ñ ì Ñ Ù Ö ë Õ ç Ö ë Ñ Û
)(log λP−),|(log)|,(log λλ DCPDCP = í∈
=),(),(
),|()|,(logDCdc
dcPDCP λλ ki i
ii +−
− î 2
2
2
)(
σµλ
),(predicted),(actual/)|,(log λλλ iii fCfDCP −=∂∂ 2/)( σµλ ii −−
2σ2
=1
2σ2
= 10
2σ2 = ∞
ï ð ñ ò ó ô õ ö ÷ ï ø ù ò ú ú û ü ý þ ÿ
� � � �� � � �� � � � � � � � � � � � � � � � �� � � �� � � � � � � �� � � � � � � � � � � � � �
� � � �� � � � �� ! " # $%� � � &� � � & �� � � � � � � � � � � ' � � � � � � �
� � ( �� � � �� ) � � � � � � � � � � � � � � �� � � � &� � � � �� � * � � � � � + � � � � � � �� � , (� � � , �- . . . � � � � / � � � � � � �� � ( 0� � ( �. . ) � � � � � � � 1 � � �
� � � � (� � ( 02 34 � � � � � � � � 5 � � � � 6� � � �� � � �3 7 8 9 :) � � � � � � ; + � /� � � (� � � � �8 < � � � + � � ; + � /= > ?@ A B CD E " ! F G ED E " ! F G E � H I E
J KJ KKL M NO O PO O PQ OR S NT U S VW X S Y ZS [\ U X V] ] ]] ] ]^ [ _ Z XL [ S [ ZO Z K [` a XP X Z b
c d e f g h d i j k l j
m k f j n o k p k q r s j tu Z Y S a v Z U w v x U U [ _ M y N z[ _ Z x U X Z Y U x x U y { X Z w M KS y V v M y N | Z } [ S N w Z S [ a X Z v_ S b Z | S X N Z X ~ Z M N _ [ v Z b Z y[ _ U a N _ Z y [ M X Z } ~ U X V S y V[ S N } { S M X w Z S [ a X Z v S X Zx U X Z v { Z Y M w M Y �
ï ð ñ ò ó ô õ ö � � ù � ñ ÿ ÿ ý þ ÿ� � � � � � � � � � � � � � � � � � � � � � � � � � �
� � � � � � � � � � � � � � � �� � ¡ ¢ £ ¤ ¥ ¦ § ¥ ¢ ¨ § © ª ¢ § ¤ ¥ «� ¬ ª ¥ £ ¥ ® £ § ¯ ¢ ¤ ¢ ° ¨ £ £ ± ² ³ ´ ¤ ´ ¢ ¨ µ ¡ £ ´ ¢ ª ¨ £ ¥ «� ¶ ³ ³ ® ¥ ° ´ ¤ µ ¡ £ ´ ¢ ª ¨ £ ¥ ¢ © £ ¦ ª ° ² £ ¦ ¥ ´ ¡ £ ³ µ § ¤ ¢ ¢ £ ° § ± «� � ² £ £ ¦ ¥ ª ² · ¤ ¸ £ ¨ ¯ £ ¤ · £ ¹ § ¡ © ¢ ´ ¨ £ ´ ³ ³ ® £ ¦ ¢ · ¤ ¸ £ ¨ ¯ £ º »
¼ ¼ ½ ¾ ¿À Á ½ Â ¿Ã Ä Å ÆÇ È É É Å Æ Ä Ê Ë
¼ Ì ½ ¾ ¿À Í ½ Ì ÎÃ Ä Å Æ É Ï ÅÇ È É É Å Æ Ä Ê Ë
Ð Ê Ñ Ê É Ò ÊÃ É Ó Ô Õ Ö Ö
× Ø Ù Ó Ú Û ÛÕ Ö Ö Ï Ó Ú Ö Ü
� �
� � � � � � � � � � � � � � � � � �
� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ½� ! " � � � # � �
� ! $ % � & � # � � � � � � � � � � ' � ( � � " � � � � � � � � � � � � � ½� ) � � � # � � � � � � � * � � � � � � � � � � � ' + � � ' � � � � � � �& � � � � � # � ½
� , � � � � � - � � ( ( � � � � � � � + � . � � # � � � � � � . � � � � � /
04
0 Ú Ä Û 12 Ù Ú Ô 115
0 Ú Ä Û 12 Ù Ú Ô 1
� � � � � � � � 3 � � � 3 � � 4 4 5
� 6 � 7 8 9 + � � � % � � � ( � � � # � ( � � � � � � . � # . � % � � � ( � � �% � % � # #: � � � � � � � ½
; < = > ? @ = A B A C D E C D E > = F G H I J J G K E C L I = G K J D M; N O P E Q A R = C G G J R J F B E C L G K = E > @ = E L K G G J S = T = > J M; N O P E Q A R = C G G J A H H E L C E C L G K = I L A P H H E A C U > E J > H @ E G K
I = A C T = > J A C D Q A > E A C F = T = > J M; V > J U U E C L R J @ F J P C G H D J = H > = I J Q = G K = W = A G P > = H
@ K E F K @ = > = I J H G E C C = = D J W H I J J G K E C L X; X A C D H U = = D H P U G K = = H G E I A G E J C S ? > = D P F E C L I J D = R
H E T = X; X S P G F J P C G F P G J W W H L = C = > A R R ? K P > G A F F P > A F ? E C G K =
U > = H = C F = J W U > J U = > H I J J G K E C L MY Z [ \ [ ] ^ _ _ [ ` a b a ^ ` c d e f [ ] ^ e ` d ] e d ^ g g f e ` h [ f f
i j f ^ h e d [ h k ` [ ] [ f f i \ k l