Principle Maximum Entropy

7/28/2019 Principle Maximum Entropy

1/13

Institute for Research in Cognitive Science

IRCS Technical Reports Series

University of Pennsylvania Year

A Simple Introduction to Maximum

Entropy Models for Natural Language

ProcessingAdwait Ratnaparkhi

University of Pennsylvania,

University of Pennsylvania Institute for Research in Cognitive Science Technical Re-port No. IRCS-97-08.

This paper is posted at ScholarlyCommons@Penn.

http://repository.upenn.edu/ircs reports/81


2/13

,

University of Pennsylvania

3401 Walnut Street, Suite 400A

Philadelphia, PA 19104-6228

May 1997

Site of the NSF Science and Technology Center for

Research in Cognitive Science

IRCS Report 97--08

Institutefor Research in CognitiveScience

A Simple Introduction to Maximum

Entropy Models for Natural

Language Processing

Adwait Ratnaparkhi


3/13

A S i m p l e I n t r o d u c t i o n t o M a x i m u m E n t r o p y

M o d e l s f o r N a t u r a l L a n g u a g e P r o c e s s i n g

A d w a i t R a t n a p a r k h i

D e p t . o f C o m p u t e r a n d I n f o r m a t i o n S c i e n c e

U n i v e r s i t y o f P e n n s y l v a n i a

a d w a i t @ u n a g i . c i s . u p e n n . e d u

M a y 1 3 , 1 9 9 7

A b s t r a c t

M a n y p r o b l e m s i n n a t u r a l l a n g u a g e p r o c e s s i n g c a n b e v i e w e d a s l i n -

g u i s t i c c l a s s i c a t i o n p r o b l e m s , i n w h i c h l i n g u i s t i c c o n t e x t s a r e u s e d t o p r e -

d i c t l i n g u i s t i c c l a s s e s . M a x i m u m e n t r o p y m o d e l s o e r a c l e a n w a y t o c o m -

b i n e d i v e r s e p i e c e s o f c o n t e x t u a l e v i d e n c e i n o r d e r t o e s t i m a t e t h e p r o b a -

b i l i t y o f a c e r t a i n l i n g u i s t i c c l a s s o c c u r r i n g w i t h a c e r t a i n l i n g u i s t i c c o n -

t e x t . T h i s r e p o r t d e m o n s t r a t e s t h e u s e o f a p a r t i c u l a r m a x i m u m e n t r o p y

m o d e l o n a n e x a m p l e p r o b l e m , a n d t h e n p r o v e s s o m e r e l e v a n t m a t h e m a t -

i c a l f a c t s a b o u t t h e m o d e l i n a s i m p l e a n d a c c e s s i b l e m a n n e r . T h i s r e p o r t

a l s o d e s c r i b e s a n e x i s t i n g p r o c e d u r e c a l l e d G e n e r a l i z e d I t e r a t i v e S c a l i n g ,

w h i c h e s t i m a t e s t h e p a r a m e t e r s o f t h i s p a r t i c u l a r m o d e l . T h e g o a l o f t h i s

r e p o r t i s t o p r o v i d e e n o u g h d e t a i l t o r e - i m p l e m e n t t h e m a x i m u m e n t r o p y

m o d e l s d e s c r i b e d i n R a t n a p a r k h i , 1 9 9 6 , R e y n a r a n d R a t n a p a r k h i , 1 9 9 7 ,

R a t n a p a r k h i , 1 9 9 7 ] a n d a l s o t o p r o v i d e a s i m p l e e x p l a n a t i o n o f t h e m a x -

i m u m e n t r o p y f o r m a l i s m .

1 I n t r o d u c t i o n

M a n y p r o b l e m s i n n a t u r a l l a n g u a g e p r o c e s s i n g ( N L P ) c a n b e r e - f o r m u l a t e d a s

s t a t i s t i c a l c l a s s i c a t i o n p r o b l e m s , i n w h i c h t h e t a s k i s t o e s t i m a t e t h e p r o b a b i l i t y

o f \ c l a s s " a o c c u r r i n g w i t h \ c o n t e x t " b , o r p ( a b ) . C o n t e x t s i n N L P t a s k s u s u a l l y

i n c l u d e w o r d s , a n d t h e e x a c t c o n t e x t d e p e n d s o n t h e n a t u r e o f t h e t a s k f o r

s o m e t a s k s , t h e c o n t e x t b m a y c o n s i s t o f j u s t a s i n g l e w o r d , w h i l e f o r o t h e r s , b

m a y c o n s i s t o f s e v e r a l w o r d s a n d t h e i r a s s o c i a t e d s y n t a c t i c l a b e l s . L a r g e t e x t

c o r p o r a u s u a l l y c o n t a i n s o m e i n f o r m a t i o n a b o u t t h e c o o c c u r r e n c e o f a ' s a n d b ' s ,

b u t n e v e r e n o u g h t o c o m p l e t e l y s p e c i f y p ( a b ) f o r a l l p o s s i b l e ( a b ) p a i r s , s i n c e

t h e w o r d s i n b a r e t y p i c a l l y s p a r s e . T h e p r o b l e m i s t h e n t o n d a m e t h o d f o r

u s i n g t h e s p a r s e e v i d e n c e a b o u t t h e a ' s a n d b ' s t o r e l i a b l y e s t i m a t e a p r o b a b i l i t y

m o d e l p ( a b ) .

1


4/13

C o n s i d e r t h e P r i n c i p l e o f M a x i m u m E n t r o p y J a y n e s , 1 9 5 7 , G o o d , 1 9 6 3 ] ,

w h i c h s t a t e s t h a t t h e c o r r e c t d i s t r i b u t i o n p ( a b ) i s t h a t w h i c h m a x i m i z e s e n -

t r o p y , o r \ u n c e r t a i n t y " , s u b j e c t t o t h e c o n s t r a i n t s , w h i c h r e p r e s e n t \ e v i d e n c e " ,

i . e . , t h e f a c t s k n o w n t o t h e e x p e r i m e n t e r . J a y n e s , 1 9 5 7 ] d i s c u s s e s i t s a d v a n -

t a g e s :

. . . i n m a k i n g i n f e r e n c e s o n t h e b a s i s o f p a r t i a l i n f o r m a t i o n w e m u s t

u s e t h a t p r o b a b i l i t y d i s t r i b u t i o n w h i c h h a s m a x i m u m e n t r o p y s u b -

j e c t t o w h a t e v e r i s k n o w n . T h i s i s t h e o n l y u n b i a s e d a s s i g n m e n t w e

c a n m a k e t o u s e a n y o t h e r w o u l d a m o u n t t o a r b i t r a r y a s s u m p t i o n

o f i n f o r m a t i o n w h i c h b y h y p o t h e s i s w e d o n o t h a v e .

M o r e e x p l i c i t l y , i f A d e n o t e s t h e s e t o f p o s s i b l e c l a s s e s , a n d B d e n o t e s t h e s e t

o f p o s s i b l e c o n t e x t s , p s h o u l d m a x i m i z e t h e e n t r o p y

H ( p ) = ;

X

x 2 E

p ( x ) l o g p ( x )

w h e r e x = ( a b ) , a 2 A , b 2 B , a n d E = A B , a n d s h o u l d r e m a i n c o n s i s t e n t

w i t h t h e e v i d e n c e , o r \ p a r t i a l i n f o r m a t i o n " . T h e r e p r e s e n t a t i o n o f t h e e v i d e n c e ,

d i s c u s s e d b e l o w , t h e n d e t e r m i n e s t h e f o r m o f p .

2 R e p r e s e n t i n g E v i d e n c e

O n e w a y t o r e p r e s e n t e v i d e n c e i s t o e n c o d e u s e f u l f a c t s a s f e a t u r e s a n d t o i m p o s e

c o n s t r a i n t s o n t h e v a l u e s o f t h o s e f e a t u r e e x p e c t a t i o n s . A f e a t u r e i s a b i n a r y -

v a l u e d f u n c t i o n o n e v e n t s : f

j

: E ! f 0 1 g . G i v e n k f e a t u r e s , t h e c o n s t r a i n t s

h a v e t h e f o r m

E

p

f

j

= E

~p

f

j

( 1 )

w h e r e 1 j k . E

p

f

j

i s t h e m o d e l p ' s e x p e c t a t i o n o f f

j

:

E

p

f

j

=

X

x 2 E

p ( x ) f

j

( x )

a n d i s c o n s t r a i n e d t o m a t c h t h e o b s e r v e d e x p e c t a t i o n , E

~p

f

j

:

E

~p

f

j

=

X

x 2 E

~p ( x ) f

j

( x )

w h e r e ~ p i s t h e o b s e r v e d p r o b a b i l i t y o f x i n s o m e t r a i n i n g s a m p l e S . T h e n , a

m o d e l p i s c o n s i s t e n t w i t h t h e o b s e r v e d e v i d e n c e i f a n d o n l y i f i t m e e t s t h e k

c o n s t r a i n t s s p e c i e d i n ( 1 ) . T h e P r i n c i p l e o f M a x i m u m E n t r o p y r e c o m m e n d s

t h a t w e u s e p

,

P = f p j E

p

f

j

= E

~p

f

j

j = f 1 : : : k g g

p

= a r g m a x

p 2 P

H ( p )

2


5/13

p ( a b ) 0 1

x ? ?

y ? ?

t o t a l . 6 1 . 0

T a b l e 1 : T a s k i s t o n d a p r o b a b i l i t y d i s t r i b u t i o n p u n d e r c o n s t r a i n t s p ( x 0 ) +

p ( x 1 ) = : 6 , a n d p ( x 0 ) + p ( x 1 ) + p ( y 0 ) + p ( y 1 ) = 1

0 1

x . 5 . 1

y . 1 . 3

t o t a l . 6 1 . 0

T a b l e 2 : O n e w a y t o s a t i s f y c o n s t r a i n t s

s i n c e i t m a x i m i z e s t h e e n t r o p y o v e r t h e s e t o f c o n s i s t e n t m o d e l s P . S e c t i o n 5

s h o w s t h a t p

m u s t h a v e a f o r m e q u i v a l e n t t o :

p

( x ) =

k

Y

j = 1

f

j

( x )

j

0 <

j


6/13

0 1

x . 3 . 2

y . 3 . 2

t o t a l . 6 1 . 0

T a b l e 3 : T h e m o s t \ u n c e r t a i n " w a y t o s a t i s f y c o n s t r a i n t s

w h e r e

E

p

f =

X

a 2 f x y g b 2 f 0 1 g

p ( a b ) f ( a b )

a n d w h e r e f i s d e n e d a s f o l l o w s :

f ( a b ) =

1 i f b = 0

0 o t h e r w i s e

T h e o b s e r v e d e x p e c t a t i o n o f f , o r E

~p

f , i s : 6 . T h e o b j e c t i v e i s t h e n t o m a x i m i z e

H ( p ) = ;

X

a 2 f x y g b 2 f 0 1 g

p ( a b ) l o g p ( a b )

s u b j e c t t o t h e c o n s t r a i n t ( 3 ) .

A s s u m i n g t h a t f e a t u r e s a l w a y s m a p a n e v e n t ( a b ) t o e i t h e r 0 o r 1 , a c o n -

s t r a i n t o n a f e a t u r e e x p e c t a t i o n i s s i m p l y a c o n s t r a i n t o n t h e s u m o f c e r t a i n

c e l l s i n t h e t a b l e t h a t r e p r e s e n t s t h e e v e n t s p a c e . W h i l e t h e a b o v e c o n s t r a i n e d

m a x i m u m e n t r o p y p r o b l e m c a n b e s o l v e d t r i v i a l l y ( b y i n s p e c t i o n ) , a n i t e r a t i v e

p r o c e d u r e i s u s u a l l y r e q u i r e d f o r l a r g e r p r o b l e m s s i n c e m u l t i p l e c o n s t r a i n t s m a y

o v e r l a p i n w a y s t h a t p r o h i b i t a c l o s e d f o r m s o l u t i o n .

F e a t u r e s t y p i c a l l y e x p r e s s a c o o c c u r r e n c e r e l a t i o n b e t w e e n s o m e t h i n g i n t h e

l i n g u i s t i c c o n t e x t a n d a p a r t i c u l a r p r e d i c t i o n . F o r e x a m p l e , R a t n a p a r k h i , 1 9 9 6 ]

e s t i m a t e s a m o d e l p ( a b ) w h e r e a i s a p o s s i b l e p a r t - o f - s p e e c h t a g a n d b c o n t a i n s

t h e w o r d t o b e t a g g e d ( a m o n g o t h e r t h i n g s ) . A u s e f u l f e a t u r e m i g h t b e

f

j

( a b ) =

1 i f a = D E T E R M I N E R a n d c u r r e n t w o r d ( b ) = \ t h a t "

0 o t h e r w i s e

T h e o b s e r v e d e x p e c t a t i o n E

~p

f

j

o f t h i s f e a t u r e w o u l d t h e n b e t h e n u m b e r o f

t i m e s w e w o u l d e x p e c t t o s e e t h e w o r d \ t h a t " w i t h t h e t a g D E T E R M I N E R i n t h e

t r a i n i n g s a m p l e , n o r m a l i z e d o v e r t h e n u m b e r o f t r a i n i n g s a m p l e s .

T h e a d v a n t a g e o f t h e m a x i m u m e n t r o p y f r a m e w o r k i s t h a t e x p e r i m e n t e r s

n e e d o n l y f o c u s t h e i r e o r t s o n d e c i d i n g w h a t f e a t u r e s t o u s e , a n d n o t o n h o w

t o u s e t h e m . T h e e x t e n t t o w h i c h e a c h f e a t u r e f

j

c o n t r i b u t e s t o w a r d s p ( a b ) ,

i . e . , i t s \ w e i g h t "

j

, i s a u t o m a t i c a l l y d e t e r m i n e d b y t h e G e n e r a l i z e d I t e r a t i v e

S c a l i n g a l g o r i t h m . F u r t h e r m o r e , a n y k i n d o f c o n t e x t u a l f e a t u r e c a n b e u s e d i n

t h e m o d e l , e . g . , t h e m o d e l i n R a t n a p a r k h i , 1 9 9 6 ] u s e s f e a t u r e s t h a t l o o k a t t a g

b i g r a m s a n d w o r d p r e x e s a s w e l l a s s i n g l e w o r d s .

4


7/13

S e c t i o n 4 d i s c u s s e s p r e l i m i n a r y d e n i t i o n s , s e c t i o n 5 d i s c u s s e s t h e m a x i m u m

e n t r o p y p r o p e r t y o f t h e m o d e l o f f o r m ( 2 ) , s e c t i o n 6 d i s c u s s e s i t s r e l a t i o n t o m a x -

i m u m l i k e l i h o o d e s t i m a t i o n , a n d s e c t i o n 7 d e s c r i b e s t h e G e n e r a l i z e d I t e r a t i v e

S c a l i n g a l g o r i t h m .

4 P r e l i m i n a r i e s

D e n i t i o n s 1 a n d 2 i n t r o d u c e r e l a t i v e e n t r o p y a n d s o m e r e l e v e n t n o t a t i o n . L e m -

m a s 1 a n d 2 d e s c r i b e p r o p e r t i e s o f t h e r e l a t i v e e n t r o p y m e a s u r e .

D e n i t i o n 1 ( R e l a t i v e E n t r o p y , o r K u l l b a c k - L i e b l e r D i s t a n c e ) . T h e r e l -

a t i v e e n t r o p y D b e t w e e n t w o p r o b a b i l i t y d i s t r i b u t i o n s p a n d q i s g i v e n b y :

D ( p q ) =

X

x 2 E

p ( x ) l o g

p ( x )

q ( x )

D e n i t i o n 2 .

A = s e t o f p o s s i b l e c l a s s e s

B = s e t o f p o s s i b l e c o n t e x t s

E = A B

S = n i t e t r a i n i n g s a m p l e o f e v e n t s

~p ( x ) = o b s e r v e d p r o b a b i l i t y o f x i n S

p ( x ) = t h e m o d e l p ' s p r o b a b i l i t y o f x

f

j

= A f u n c t i o n o f t y p e E ! f 0 1 g

E

p

f

j

=

X

x 2 E

p ( x ) f

j

( x )

E

~p

f

j

=

X

x 2 E

~p ( x ) f

j

( x )

P = f p j E

p

f

j

= E

~p

f

j

j = f 1 : : : k g g

Q = f p j p ( x ) =

k

Y

j = 1

f

j

( x )

j

0 <

j


8/13

L e m m a 1 . F o r a n y t w o p r o b a b i l i t y d i s t r i b u t i o n s p a n d q , D ( p q ) 0 , a n d

D ( p q ) = 0 i f a n d o n l y i f p = q .

P r o o f : S e e C o v e r a n d T h o m a s , 1 9 9 1 ] .

L e m m a 2 ( P y t h a g o r e a n P r o p e r t y ) . G i v e n P a n d Q f r o m D e n i t i o n 2 , i f

p 2 P , q 2 Q , a n d p

2 P \ Q , t h e n

D ( p q ) = D ( p p

) + D ( p

q )

T h i s f a c t i s d i s c u s s e d i n C s i s z a r , 1 9 7 5 ] a n d m o r e r e c e n t l y i n D e l l a P i e t r a e t a l . , 1 9 9 5 ] .

T h e t e r m \ P y t h a g o r e a n " r e e c t s t h e f a c t t h a t t h i s p r o p e r t y i s e q u i v a l e n t t o t h e

P y t h a g o r e a n t h e o r e m i n g e o m e t r y i f p , p

, a n d q a r e t h e v e r t i c e s o f a r i g h t t r i a n g l e

a n d D i s t h e s q u a r e d d i s t a n c e f u n c t i o n .

P r o o f . N o t e t h a t f o r a n y r s 2 P , a n d t 2 Q ,

X

x 2 E

r ( x ) l o g t ( x ) =

X

x

r ( x ) l o g +

X

j

f

j

( x ) l o g

j

] =

l o g

X

x

r ( x ) ] +

X

j

l o g

j

X

x

r ( x ) f

j

( x ) ] =

l o g

X

x

s ( x ) ] +

X

j

l o g

j

X

x

s ( x ) f

j

( x ) ] =

X

x

s ( x ) l o g +

X

j

f

j

( x ) l o g

j

] =

=

X

x

s ( x ) l o g t ( x )

U s e t h e a b o v e s u b s t i t u t i o n , a n d l e t p 2 P , q 2 Q , a n d p

2 P \ Q :

D ( p p

) + D ( p

q ) =

X

x

p ( x ) l o g p ( x ) ;

X

x

p ( x ) l o g p

( x ) +

X

x

p

( x ) l o g p

( x ) ;

X

x

p

( x ) l o g q ( x ) =

X

x

p ( x ) l o g p ( x ) ;

X

x

p ( x ) l o g p

( x ) +

X

x

p ( x ) l o g p

( x ) ;

X

x

p ( x ) l o g q ( x ) =

X

x

p ( x ) l o g p ( x ) ;

X

x

p ( x ) l o g q ( x ) = D ( p q )

5 M a x i m u m E n t r o p y

L e m m a s 1 a n d 2 d e r i v e t h e m a x i m u m e n t r o p y p r o p e r t y o f m o d e l s o f f o r m ( 2 )

t h a t s a t i s f y t h e c o n s t r a i n t s ( 1 ) :

6


9/13

T h e o r e m 1 . I f p

2 P \ Q , t h e n p

= a r g m a x

p 2 P

H ( p ) . F u r t h e r m o r e , p

i s

u n i q u e .

P r o o f . S u p p o s e p 2 P a n d p

2 P \ Q . L e t u 2 Q b e t h e u n i f o r m d i s t r i b u t i o n

s o t h a t 8 x 2 E u ( x ) =

1

j E j

.

S h o w t h a t H ( p ) H ( p

) :

B y L e m m a 2 ,

D ( p u ) = D ( p p

) + D ( p

u )

a n d b y L e m m a 1 ,

D ( p u ) D ( p

u )

; H ( p ) ; l o g

1

j E j

; H ( p

) ; l o g

1

j E j

H ( p ) H ( p

)

S h o w p

i s u n i q u e :

H ( p ) = H ( p

) = ) D ( p u ) = D ( p

u ) = ) D ( p p

) = 0 = ) p = p

6 M a x i m u m L i k e l i h o o d

S e c o n d l y , m o d e l s o f f o r m ( 2 ) t h a t s a t i s f y ( 1 ) h a v e a n a l t e r n a t e e x p l a n a t i o n u n d e r

t h e m a x i m u m l i k e l i h o o d f r a m e w o r k :

T h e o r e m 2 . I f p

2 P \ Q , t h e n p

= a r g m a x

q 2 Q

L ( q ) . F u r t h e r m o r e p

i s

u n i q u e .

P r o o f . L e t ~ p ( x ) b e t h e o b s e r v e d d i s t r i b u t i o n o f x i n t h e s a m p l e S , 8 x 2 E .

C l e a r l y ~ p 2 P .

S u p p o s e q 2 Q a n d p

2 P \ Q .

S h o w t h a t L ( q ) L ( p

) :

B y L e m m a 2 ,

D ( ~p q ) = D ( ~p p

) + D ( p

q )

a n d b y L e m m a 1 ,

D ( ~p q ) D ( ~p p

)

; H ( ~p ) ; L ( q ) ; H ( ~p ) ; L ( p

)

L ( q ) L ( p

)

7


10/13

S h o w p

i s u n i q u e :

L ( q ) = L ( p

) = ) D ( ~p q ) = D ( ~p p

) = ) D ( p

q ) = 0 = ) p

= q

T h e o r e m s 1 a n d 2 s t a t e t h a t i f p

2 P \ Q , t h e n p

= a r g m a x

p 2 P

H ( p ) =

a r g m a x

q 2 Q

L ( q ) , a n d t h a t p

i s u n i q u e . T h u s p

c a n b e v i e w e d u n d e r b o t h t h e

m a x i m u m e n t r o p y f r a m e w o r k a s w e l l a s t h e m a x i m u m l i k e l i h o o d f r a m e w o r k .

T h i s d u a l i t y i s a p p e a l i n g , s i n c e p

, a s a m a x i m u m l i k e l i h o o d m o d e l , w i l l t t h e

d a t a a s c l o s e l y a s p o s s i b l e , w h i l e a s a m a x i m u m e n t r o p y m o d e l , w i l l n o t a s s u m e

f a c t s b e y o n d t h o s e i n t h e c o n s t r a i n t s ( 1 ) .

7 P a r a m e t e r E s t i m a t i o n

G e n e r a l i z e d I t e r a t i v e S c a l i n g D a r r o c h a n d R a t c l i , 1 9 7 2 ] , o r G I S , i s a p r o c e d u r e

w h i c h n d s t h e p a r a m e t e r s f

1

: : :

k

g o f t h e u n i q u e d i s t r i b u t i o n p

2 P \ Q .

T h e G I S p r o c e d u r e r e q u i r e s t h e c o n s t r a i n t t h a t

8 x 2 E

k

X

j = 1

f

j

( x ) = C

w h e r e C i s s o m e c o n s t a n t . I f t h i s i s n o t t h e c a s e , c h o o s e C t o b e

C = m a x

x 2 E

k

X

j = 1

f

j

( x )

a n d a d d a \ c o r r e c t i o n " f e a t u r e f

l

, w h e r e l = k + 1 , s u c h t h a t

8 x 2 E f

l

( x ) = C ;

k

X

j = 1

f

j

( x )

N o t e t h a t u n l i k e t h e e x i s t i n g f e a t u r e s , f

l

( x ) r a n g e s f r o m 0 t o C , w h e r e C c a n

b e g r e a t e r t h a n 1 .

F u r t h e r m o r e , t h e G I S p r o c e d u r e a s s u m e s t h a t a l l e v e n t s h a v e a t l e a s t o n e

f e a t u r e t h a t i s a c t i v e ,

8 x 2 E 9 f

j

f

j

( x ) = 1

T h e o r e m 3 . T h e f o l l o w i n g p r o c e d u r e w i l l c o n v e r g e t o p

2 P \ Q

( 0 )

j

= 1

( n + 1 )

j

=

( n )

j

~

E f

j

E

( n )

f

j

]

1

C

( 4 )

8


11/13

w h e r e

E

( n )

f

j

=

X

x 2 E

p

( n )

( x ) f

j

( x )

p

( n )

( x ) =

l

Y

j = 1

(

( n )

j

)

f

j

( x )

S e e D a r r o c h a n d R a t c l i , 1 9 7 2 ] f o r a p r o o f o f c o n v e r g e n c e . D a r r o c h a n d R a t c l i , 1 9 7 2 ]

a l s o s h o w t h a t t h e l i k e l i h o o d i s n o n - d e c r e a s i n g , i . e . , t h a t D ( ~p p

( n + 1 )

) D ( ~p p

( n )

) ,

w h i c h i m p l i e s t h a t L ( p

( n + 1 )

) L ( p

( n )

) . S e e D e l l a P i e t r a e t a l . , 1 9 9 5 ] f o r a d e -

s c r i p t i o n a n d p r o o f o f I m p r o v e d I t e r a t i v e S c a l i n g , w h i c h n d s t h e p a r a m e t e r s o f

p

w i t h o u t t h e u s e o f a \ c o r r e c t i o n " f e a t u r e . S e e C s i s z a r , 1 9 8 9 ] f o r a g e o m e t r i c

i n t e r p r e t a t i o n o f G I S .

7 . 1 C o m p u t a t i o n

E a c h i t e r a t i o n o f t h e G I S p r o c e d u r e r e q u i r e s t h e q u a n t i t i e s E

~p

f

j

a n d E

p

f

j

.

T h e c o m p u t a t i o n o f E

~p

f

j

i s s t r a i g h t f o r w a r d g i v e n t h e t r a i n i n g s a m p l e S =

f ( a

1

b

1

) : : : ( a

N

b

N

) g , s i n c e i t i s m e r e l y a n o r m a l i z e d c o u n t o f f

j

:

E

~p

f

j

=

N

X

i = 1

~p ( a

i

b

i

) f

j

( a

i

b

i

) =

1

N

N

X

i = 1

f

j

( a

i

b

i

)

w h e r e N i s t h e n u m b e r o f e v e n t t o k e n s ( a s o p p o s e d t o t y p e s ) i n t h e s a m p l e S .

H o w e v e r , t h e c o m p u t a t i o n o f t h e m o d e l ' s f e a t u r e e x p e c t a t i o n ,

E

( n )

f

j

=

X

a b 2 E

p

( n )

( a b ) f

j

( a b )

i n a m o d e l w i t h k ( o v e r l a p p i n g ) f e a t u r e s c o u l d b e i n t r a c t a b l e s i n c e E c o u l d c o n -

s i s t o f 2

k

d i s t i n g u i s h a b l e e v e n t s . T h e r e f o r e , w e u s e t h e a p p r o x i m a t i o n o r i g i n a l l y

d e s c r i b e d i n L a u e t a l . , 1 9 9 3 ] :

E

( n )

f

j

N

X

i = 1

~p ( b

i

)

X

a 2 A

p

( n )

( a j b

i

) f

j

( a b

i

) ( 5 )

w h i c h o n l y s u m s o v e r t h e c o n t e x t s i n S , a n d n o t E , a n d m a k e s t h e c o m p u t a t i o n

t r a c t a b l e .

T h e p r o c e d u r e s h o u l d t e r m i n a t e a f t e r a x e d n u m b e r o f i t e r a t i o n s ( e . g . , 1 0 0 ) ,

o r w h e n t h e c h a n g e i n l o g - l i k e l i h o o d i s n e g l i g i b l e .

T h e r u n n i n g t i m e o f e a c h i t e r a t i o n i s d o m i n a t e d b y t h e c o m p u t a t i o n o f

( 5 ) w h i c h i s O ( N P A ) , w h e r e N i s t h e t r a i n i n g s e t s i z e , P i s t h e n u m b e r o f

p r e d i c t i o n s , a n d A i s t h e a v e r a g e n u m b e r o f f e a t u r e s t h a t a r e a c t i v e f o r a g i v e n

e v e n t ( a b ) .

9


12/13

8 C o n c l u s i o n

T h i s r e p o r t p r e s e n t s t h e r e l e v a n t m a t h e m a t i c a l p r o p e r t i e s o f a m a x i m u m e n -

t r o p y m o d e l i n a s i m p l e w a y , a n d c o n t a i n s e n o u g h i n f o r m a t i o n t o r e i m p l e m e n t

t h e m o d e l s d e s c r i b e d i n R a t n a p a r k h i , 1 9 9 6 , R e y n a r a n d R a t n a p a r k h i , 1 9 9 7 ,

R a t n a p a r k h i , 1 9 9 7 ] . T h i s m o d e l i s c o n v e n i e n t f o r n a t u r a l l a n g u a g e p r o c e s s i n g

s i n c e i t a l l o w s t h e u n r e s t r i c t e d u s e o f c o n t e x t u a l f e a t u r e s , a n d c o m b i n e s t h e m

i n a p r i n c i p l e d w a y . F u r t h e r m o r e , i t s g e n e r a l i t y a l l o w s e x p e r i m e n t e r s t o r e - u s e

i t f o r d i e r e n t p r o b l e m s , e l i m i n a t i n g t h e n e e d t o d e v e l o p h i g h l y c u s t o m i z e d

p r o b l e m - s p e c i c e s t i m a t i o n m e t h o d s .

R e f e r e n c e s

C o v e r a n d T h o m a s , 1 9 9 1 ] C o v e r , T . M . a n d T h o m a s , J . A . ( 1 9 9 1 ) . E l e m e n t s

o f I n f o r m a t i o n T h e o r y . W i l e y , N e w Y o r k .

C s i s z a r , 1 9 7 5 ] C s i s z a r , I . ( 1 9 7 5 ) . I - D i v e r g e n c e G e o m e t r y o f P r o b a b i l i t y D i s t r i -

b u t i o n s a n d M i n i m i z a t i o n P r o b l e m s . T h e A n n a l s o f P r o b a b i l i t y , 3 ( 1 ) : 1 4 6 { 1 5 8 .

C s i s z a r , 1 9 8 9 ] C s i s z a r , I . ( 1 9 8 9 ) . A G e o m e t r i c I n t e r p r e t a t i o n o f D a r r o c h a n d

R a t c l i ' s G e n e r a l i z e d I t e r a t i v e S c a l i n g . T h e A n n a l s o f S t a t i s t i c s , 1 7 ( 3 ) : 1 4 0 9 {

1 4 1 3 .

D a r r o c h a n d R a t c l i , 1 9 7 2 ] D a r r o c h , J . N . a n d R a t c l i , D . ( 1 9 7 2 ) . G e n e r a l -

i z e d I t e r a t i v e S c a l i n g f o r L o g - L i n e a r M o d e l s . T h e A n n a l s o f M a t h e m a t i c a l

S t a t i s t i c s , 4 3 ( 5 ) : 1 4 7 0 { 1 4 8 0 .

D e l l a P i e t r a e t a l . , 1 9 9 5 ] D e l l a P i e t r a , S . , D e l l a P i e t r a , V . , a n d L a e r t y , J .

( 1 9 9 5 ) . I n d u c i n g F e a t u r e s o f R a n d o m F i e l d s . T e c h n i c a l R e p o r t C M U - C S 9 5 -

1 4 4 , S c h o o l o f C o m p u t e r S c i e n c e , C a r n e g i e - M e l l o n U n i v e r s i t y .

G o o d , 1 9 6 3 ] G o o d , I . J . ( 1 9 6 3 ) . M a x i m u m E n t r o p y f o r H y p o t h e s i s F o r m u -

l a t i o n , E s p e c i a l l y f o r M u l t i d i m e n s i o n a l C o n t i n g e n c y T a b l e s . T h e A n n a l s o f

M a t h e m a t i c a l S t a t i s t i c s , 3 4 : 9 1 1 { 9 3 4 .

J a y n e s , 1 9 5 7 ] J a y n e s , E . T . ( 1 9 5 7 ) . I n f o r m a t i o n T h e o r y a n d S t a t i s t i c a l M e -

c h a n i c s . P h y s i c a l R e v i e w , 1 0 6 : 6 2 0 { 6 3 0 .

L a u e t a l . , 1 9 9 3 ] L a u , R . , R o s e n f e l d , R . , a n d R o u k o s , S . ( 1 9 9 3 ) . A d a p t i v e

L a n g u a g e M o d e l i n g U s i n g T h e M a x i m u m E n t r o p y P r i n c i p l e . I n P r o c e e d i n g s

o f t h e H u m a n L a n g u a g e T e c h n o l o g y W o r k s h o p , p a g e s 1 0 8 { 1 1 3 . A R P A .

R a t n a p a r k h i , 1 9 9 6 ] R a t n a p a r k h i , A . ( 1 9 9 6 ) . A M a x i m u m E n t r o p y P a r t o f

S p e e c h T a g g e r . I n C o n f e r e n c e o n E m p i r i c a l M e t h o d s i n N a t u r a l L a n g u a g e

P r o c e s s i n g , U n i v e r s i t y o f P e n n s y l v a n i a .

R a t n a p a r k h i , 1 9 9 7 ] R a t n a p a r k h i , A . ( 1 9 9 7 ) . A S t a t i s t i c a l P a r s e r B a s e d o n

M a x i m u m E n t r o p y M o d e l s . T o a p p e a r i n T h e S e c o n d C o n f e r e n c e o n E m p i r -

i c a l M e t h o d s i n N a t u r a l L a n g u a g e P r o c e s s i n g .

1 0


13/13

R e y n a r a n d R a t n a p a r k h i , 1 9 9 7 ] R e y n a r , J . C . a n d R a t n a p a r k h i , A . ( 1 9 9 7 ) . A

M a x i m u m E n t r o p y A p p r o a c h t o I d e n t i f y i n g S e n t e n c e B o u n d a r i e s . I n F i f t h

C o n f e r e n c e o n A p p l i e d N a t u r a l L a n g u a g e P r o c e s s i n g , p a g e s 1 6 { 1 9 , W a s h i n g -

t o n D . C .

1 1

Principle Maximum Entropy

Documents

Transcript of Principle Maximum Entropy