Mcs Ensembles

7/23/2019 Mcs Ensembles

1/15

E n s e m b l e M e t h o d s i n M a c h i n e L e a r n i n g

T h o m a s G . D i e t t e r i c h

O r e g o n S t a t e U n i v e r s i t y , C o r v a l l i s , O r e g o n , U S A ,

t g d @ c s . o r s t . e d u ,

W W W h o m e p a g e : h t t p : / / w w w . c s . o r s t . e d u / ~ t g d

A b s t r a c t . E n s e m b l e m e t h o d s a r e l e a r n i n g a l g o r i t h m s t h a t c o n s t r u c t a

s e t o f c l a s s i e r s a n d t h e n c l a s s i f y n e w d a t a p o i n t s b y t a k i n g a ( w e i g h t e d )

v o t e o f t h e i r p r e d i c t i o n s . T h e o r i g i n a l e n s e m b l e m e t h o d i s B a y e s i a n a v e r -

a g i n g , b u t m o r e r e c e n t a l g o r i t h m s i n c l u d e e r r o r - c o r r e c t i n g o u t p u t c o d i n g ,

B a g g i n g , a n d b o o s t i n g . T h i s p a p e r r e v i e w s t h e s e m e t h o d s a n d e x p l a i n s

w h y e n s e m b l e s c a n o f t e n p e r f o r m b e t t e r t h a n a n y s i n g l e c l a s s i e r . S o m e

p r e v i o u s s t u d i e s c o m p a r i n g e n s e m b l e m e t h o d s a r e r e v i e w e d , a n d s o m e

n e w e x p e r i m e n t s a r e p r e s e n t e d t o u n c o v e r t h e r e a s o n s t h a t A d a b o o s t

d o e s n o t o v e r t r a p i d l y .

1 I n t r o d u c t i o n

C o n s i d e r t h e s t a n d a r d s u p e r v i s e d l e a r n i n g p r o b l e m . A l e a r n i n g p r o g r a m i s g i v e n

t r a i n i n g e x a m p l e s o f t h e f o r m f ( x

1

y

1

) : : : ( x

m

y

m

) g f o r s o m e u n k n o w n f u n c -

t i o n y = f ( x ) . T h e x

i

v a l u e s a r e t y p i c a l l y v e c t o r s o f t h e f o r m h x

i 1

x

i 2

: : : x

i n

i

w h o s e c o m p o n e n t s a r e d i s c r e t e - o r r e a l - v a l u e d s u c h a s h e i g h t , w e i g h t , c o l o r , a g e ,

a n d s o o n . T h e s e a r e a l s o c a l l e d t h e f e a t u r e s o f x

i

. L e t u s u s e t h e n o t a t i o n x

i j

t o r e f e r t o t h e j - t h f e a t u r e o f x

i

. I n s o m e s i t u a t i o n s , w e w i l l d r o p t h e i s u b s c r i p t

w h e n i t i s i m p l i e d b y t h e c o n t e x t .

T h e y v a l u e s a r e t y p i c a l l y d r a w n f r o m a d i s c r e t e s e t o f c l a s s e s f 1 : : : K g

i n t h e c a s e o f c l a s s i c a t i o n o r f r o m t h e r e a l l i n e i n t h e c a s e o f r e g r e s s i o n . I n

t h i s c h a p t e r , w e w i l l c o n s i d e r o n l y c l a s s i c a t i o n . T h e t r a i n i n g e x a m p l e s m a y b e

c o r r u p t e d b y s o m e r a n d o m n o i s e .

G i v e n a s e t S o f t r a i n i n g e x a m p l e s , a l e a r n i n g a l g o r i t h m o u t p u t s a c l a s s i e r .

T h e c l a s s i e r i s a n h y p o t h e s i s a b o u t t h e t r u e f u n c t i o n f . G i v e n n e w x v a l u e s , i t

p r e d i c t s t h e c o r r e s p o n d i n g y v a l u e s . I w i l l d e n o t e c l a s s i e r s b y h

1

: : : h

L

.

A n e n s e m b l e o f c l a s s i e r s i s a s e t o f c l a s s i e r s w h o s e i n d i v i d u a l d e c i s i o n s a r e

c o m b i n e d i n s o m e w a y ( t y p i c a l l y b y w e i g h t e d o r u n w e i g h t e d v o t i n g ) t o c l a s s i f y

n e w e x a m p l e s . O n e o f t h e m o s t a c t i v e a r e a s o f r e s e a r c h i n s u p e r v i s e d l e a r n i n g h a s

b e e n t o s t u d y m e t h o d s f o r c o n s t r u c t i n g g o o d e n s e m b l e s o f c l a s s i e r s . T h e m a i n

d i s c o v e r y i s t h a t e n s e m b l e s a r e o f t e n m u c h m o r e a c c u r a t e t h a n t h e i n d i v i d u a l

c l a s s i e r s t h a t m a k e t h e m u p .

A n e c e s s a r y a n d s u c i e n t c o n d i t i o n f o r a n e n s e m b l e o f c l a s s i e r s t o b e m o r e

a c c u r a t e t h a n a n y o f i t s i n d i v i d u a l m e m b e r s i s i f t h e c l a s s i e r s a r e a c c u r a t e a n d

d i v e r s e ( H a n s e n & S a l a m o n , 1 9 9 0 ) . A n a c c u r a t e c l a s s i e r i s o n e t h a t h a s a n

e r r o r r a t e o f b e t t e r t h a n r a n d o m g u e s s i n g o n n e w x v a l u e s . T w o c l a s s i e r s a r e


2/15

2

d i v e r s e i f t h e y m a k e d i e r e n t e r r o r s o n n e w d a t a p o i n t s . T o s e e w h y a c c u r a c y

a n d d i v e r s i t y a r e g o o d , i m a g i n e t h a t w e h a v e a n e n s e m b l e o f t h r e e c l a s s i e r s :

f h

1

h

2

h

3

g a n d c o n s i d e r a n e w c a s e x . I f t h e t h r e e c l a s s i e r s a r e i d e n t i c a l ( i . e . ,

n o t d i v e r s e ) , t h e n w h e n h

1

( x ) i s w r o n g , h

2

( x ) a n d h

3

( x ) w i l l a l s o b e w r o n g .

H o w e v e r , i f t h e e r r o r s m a d e b y t h e c l a s s i e r s a r e u n c o r r e l a t e d , t h e n w h e n h

1

( x )

i s w r o n g , h

2

( x ) a n d h

3

( x ) m a y b e c o r r e c t , s o t h a t a m a j o r i t y v o t e w i l l c o r r e c t l y

c l a s s i f y x . M o r e p r e c i s e l y , i f t h e e r r o r r a t e s o f L h y p o t h e s e s h

a r e a l l e q u a l t o

p


3/15

3

T h e r s t r e a s o n i s s t a t i s t i c a l . A l e a r n i n g a l g o r i t h m c a n b e v i e w e d a s s e a r c h -

i n g a s p a c e H o f h y p o t h e s e s t o i d e n t i f y t h e b e s t h y p o t h e s i s i n t h e s p a c e . T h e

s t a t i s t i c a l p r o b l e m a r i s e s w h e n t h e a m o u n t o f t r a i n i n g d a t a a v a i l a b l e i s t o o s m a l l

c o m p a r e d t o t h e s i z e o f t h e h y p o t h e s i s s p a c e . W i t h o u t s u c i e n t d a t a , t h e l e a r n -

i n g a l g o r i t h m c a n n d m a n y d i e r e n t h y p o t h e s e s i n H t h a t a l l g i v e t h e s a m e

a c c u r a c y o n t h e t r a i n i n g d a t a . B y c o n s t r u c t i n g a n e n s e m b l e o u t o f a l l o f t h e s e

a c c u r a t e c l a s s i e r s , t h e a l g o r i t h m c a n \ a v e r a g e " t h e i r v o t e s a n d r e d u c e t h e r i s k

o f c h o o s i n g t h e w r o n g c l a s s i e r . F i g u r e 2 ( t o p l e f t ) d e p i c t s t h i s s i t u a t i o n . T h e

o u t e r c u r v e d e n o t e s t h e h y p o t h e s i s s p a c e H . T h e i n n e r c u r v e d e n o t e s t h e s e t o f

h y p o t h e s e s t h a t a l l g i v e g o o d a c c u r a c y o n t h e t r a i n i n g d a t a . T h e p o i n t l a b e l e d f

i s t h e t r u e h y p o t h e s i s , a n d w e c a n s e e t h a t b y a v e r a g i n g t h e a c c u r a t e h y p o t h e s e s ,

w e c a n n d a g o o d a p p r o x i m a t i o n t o f .

H H

H

Statistical Computational

Representational

h1

h3h4

h2

f f

f

h1

h2h3

h1

h2

h3

F i g . 2 . T h r e e f u n d a m e n t a l r e a s o n s w h y a n e n s e m b l e m a y w o r k b e t t e r t h a n a s i n g l e

c l a s s i e r


4/15

4

T h e s e c o n d r e a s o n i s c o m p u t a t i o n a l . M a n y l e a r n i n g a l g o r i t h m s w o r k b y p e r -

f o r m i n g s o m e f o r m o f l o c a l s e a r c h t h a t m a y g e t s t u c k i n l o c a l o p t i m a . F o r e x -

a m p l e , n e u r a l n e t w o r k a l g o r i t h m s e m p l o y g r a d i e n t d e s c e n t t o m i n i m i z e a n e r r o r

f u n c t i o n o v e r t h e t r a i n i n g d a t a , a n d d e c i s i o n t r e e a l g o r i t h m s e m p l o y a g r e e d y

s p l i t t i n g r u l e t o g r o w t h e d e c i s i o n t r e e . I n c a s e s w h e r e t h e r e i s e n o u g h t r a i n i n g

d a t a ( s o t h a t t h e s t a t i s t i c a l p r o b l e m i s a b s e n t ) , i t m a y s t i l l b e v e r y d i c u l t

c o m p u t a t i o n a l l y f o r t h e l e a r n i n g a l g o r i t h m t o n d t h e b e s t h y p o t h e s i s . I n d e e d ,

o p t i m a l t r a i n i n g o f b o t h n e u r a l n e t w o r k s a n d d e c i s i o n s t r e e s i s N P - h a r d ( H y a l

& R i v e s t , 1 9 7 6 B l u m & R i v e s t , 1 9 8 8 ) . A n e n s e m b l e c o n s t r u c t e d b y r u n n i n g t h e

l o c a l s e a r c h f r o m m a n y d i e r e n t s t a r t i n g p o i n t s m a y p r o v i d e a b e t t e r a p p r o x i -

m a t i o n t o t h e t r u e u n k n o w n f u n c t i o n t h a n a n y o f t h e i n d i v i d u a l c l a s s i e r s , a s

s h o w n i n F i g u r e 2 ( t o p r i g h t ) .

T h e t h i r d r e a s o n i s r e p r e s e n t a t i o n a l . I n m o s t a p p l i c a t i o n s o f m a c h i n e l e a r n -

i n g , t h e t r u e f u n c t i o n f c a n n o t b e r e p r e s e n t e d b y a n y o f t h e h y p o t h e s e s i n H .

B y f o r m i n g w e i g h t e d s u m s o f h y p o t h e s e s d r a w n f r o m H , i t m a y b e p o s s i b l e

t o e x p a n d t h e s p a c e o f r e p r e s e n t a b l e f u n c t i o n s . F i g u r e 2 ( b o t t o m ) d e p i c t s t h i s

s i t u a t i o n .

T h e r e p r e s e n t a t i o n a l i s s u e i s s o m e w h a t s u b t l e , b e c a u s e t h e r e a r e m a n y l e a r n -

i n g a l g o r i t h m s f o r w h i c h H i s , i n p r i n c i p l e , t h e s p a c e o f a l l p o s s i b l e c l a s s i e r s . F o r

e x a m p l e , n e u r a l n e t w o r k s a n d d e c i s i o n t r e e s a r e b o t h v e r y e x i b l e a l g o r i t h m s .

G i v e n e n o u g h t r a i n i n g d a t a , t h e y w i l l e x p l o r e t h e s p a c e o f a l l p o s s i b l e c l a s s i e r s ,

a n d s e v e r a l p e o p l e h a v e p r o v e d a s y m p t o t i c r e p r e s e n t a t i o n t h e o r e m s f o r t h e m

( H o r n i k , S t i n c h c o m b e , & W h i t e , 1 9 9 0 ) . N o n e t h e l e s s , w i t h a n i t e t r a i n i n g s a m -

p l e , t h e s e a l g o r i t h m s w i l l e x p l o r e o n l y a n i t e s e t o f h y p o t h e s e s a n d t h e y w i l l

s t o p s e a r c h i n g w h e n t h e y n d a n h y p o t h e s i s t h a t t s t h e t r a i n i n g d a t a . H e n c e ,

i n F i g u r e 2 , w e m u s t c o n s i d e r t h e s p a c e H t o b e t h e e e c t i v e s p a c e o f h y p o t h e s e s

s e a r c h e d b y t h e l e a r n i n g a l g o r i t h m f o r a g i v e n t r a i n i n g d a t a s e t .

T h e s e t h r e e f u n d a m e n t a l i s s u e s a r e t h e t h r e e m o s t i m p o r t a n t w a y s i n w h i c h

e x i s t i n g l e a r n i n g a l g o r i t h m s f a i l . H e n c e , e n s e m b l e m e t h o d s h a v e t h e p r o m i s e o f

r e d u c i n g ( a n d p e r h a p s e v e n e l i m i n a t i n g ) t h e s e t h r e e k e y s h o r t c o m i n g s o f s t a n -

d a r d l e a r n i n g a l g o r i t h m s .

2 M e t h o d s f o r C o n s t r u c t i n g E n s e m b l e s

M a n y m e t h o d s f o r c o n s t r u c t i n g e n s e m b l e s h a v e b e e n d e v e l o p e d . H e r e w e w i l l

r e v i e w g e n e r a l p u r p o s e m e t h o d s t h a t c a n b e a p p l i e d t o m a n y d i e r e n t l e a r n i n g

a l g o r i t h m s .

2 . 1 B a y e s i a n V o t i n g : E n u m e r a t i n g t h e H y p o t h e s e s

I n a B a y e s i a n p r o b a b i l i s t i c s e t t i n g , e a c h h y p o t h e s i s h d e n e s a c o n d i t i o n a l p r o b -

a b i l i t y d i s t r i b u t i o n : h ( x ) = P ( f ( x ) = y j x h ) . G i v e n a n e w d a t a p o i n t x a n d a

t r a i n i n g s a m p l e S , t h e p r o b l e m o f p r e d i c t i n g t h e v a l u e o f f ( x ) c a n b e v i e w e d

a s t h e p r o b l e m o f c o m p u t i n g P ( f ( x ) = y j S x ) . W e c a n r e w r i t e t h i s a s w e i g h t e d


5/15

5

s u m o v e r a l l h y p o t h e s e s i n H :

P ( f ( x ) = y j S x ) =

X

h 2 H

h ( x ) P ( h j S ) :

W e c a n v i e w t h i s a s a n e n s e m b l e m e t h o d i n w h i c h t h e e n s e m b l e c o n s i s t s o f a l l o f

t h e h y p o t h e s e s i n H , e a c h w e i g h t e d b y i t s p o s t e r i o r p r o b a b i l i t y P ( h j S ) . B y B a y e s

r u l e , t h e p o s t e r i o r p r o b a b i l i t y i s p r o p o r t i o n a l t o t h e l i k e l i h o o d o f t h e t r a i n i n g

d a t a t i m e s t h e p r i o r p r o b a b i l i t y o f h :

P ( h j S ) / P ( S j h ) P ( h ) :

I n s o m e l e a r n i n g p r o b l e m s , i t i s p o s s i b l e t o c o m p l e t e l y e n u m e r a t e e a c h h 2 H ,

c o m p u t e P ( S j h ) a n d P ( h ) , a n d ( a f t e r n o r m a l i z a t i o n ) , e v a l u a t e t h i s B a y e s i a n

\ c o m m i t t e e . " F u r t h e r m o r e , i f t h e t r u e f u n c t i o n f i s d r a w n f r o m H a c c o r d i n g t o

P ( h ) , t h e n t h e B a y e s i a n v o t i n g s c h e m e i s o p t i m a l .

B a y e s i a n v o t i n g p r i m a r i l y a d d r e s s e s t h e s t a t i s t i c a l c o m p o n e n t o f e n s e m -

b l e s . W h e n t h e t r a i n i n g s a m p l e i s s m a l l , m a n y h y p o t h e s e s h w i l l h a v e s i g n i f -

i c a n t l y l a r g e p o s t e r i o r p r o b a b i l i t i e s , a n d t h e v o t i n g p r o c e s s c a n a v e r a g e t h e s e t o

\ m a r g i n a l i z e a w a y " t h e r e m a i n i n g u n c e r t a i n t y a b o u t f . W h e n t h e t r a i n i n g s a m -

p l e i s l a r g e , t y p i c a l l y o n l y o n e h y p o t h e s i s h a s s u b s t a n t i a l p o s t e r i o r p r o b a b i l i t y ,

a n d t h e \ e n s e m b l e " e e c t i v e l y s h r i n k s t o c o n t a i n o n l y a s i n g l e h y p o t h e s i s .

I n c o m p l e x p r o b l e m s w h e r e H c a n n o t b e e n u m e r a t e d , i t i s s o m e t i m e s p o s s i b l e

t o a p p r o x i m a t e B a y e s i a n v o t i n g b y d r a w i n g a r a n d o m s a m p l e o f h y p o t h e s e s

d i s t r i b u t e d a c c o r d i n g t o P ( h j S ) . R e c e n t w o r k o n M a r k o v c h a i n M o n t e C a r l o

m e t h o d s ( N e a l , 1 9 9 3 ) s e e k s t o d e v e l o p a s e t o f t o o l s f o r t h i s t a s k .

T h e m o s t i d e a l i z e d a s p e c t o f t h e B a y e s i a n a n a l y s i s i s t h e p r i o r b e l i e f P ( h ) . I f

t h i s p r i o r c o m p l e t e l y c a p t u r e s a l l o f t h e k n o w l e d g e t h a t w e h a v e a b o u t f b e f o r e

w e o b t a i n S , t h e n b y d e n i t i o n w e c a n n o t d o b e t t e r . B u t i n p r a c t i c e , i t i s o f t e n

d i c u l t t o c o n s t r u c t a s p a c e H a n d a s s i g n a p r i o r P ( h ) t h a t c a p t u r e s o u r p r i o r

k n o w l e d g e a d e q u a t e l y . I n d e e d , o f t e n H a n d P ( h ) a r e c h o s e n f o r c o m p u t a t i o n a l

c o n v e n i e n c e , a n d t h e y a r e k n o w n t o b e i n a d e q u a t e . I n s u c h c a s e s , t h e B a y e s i a n

c o m m i t t e e i s n o t o p t i m a l , a n d o t h e r e n s e m b l e m e t h o d s m a y p r o d u c e b e t t e r

r e s u l t s . I n p a r t i c u l a r , t h e B a y e s i a n a p p r o a c h d o e s n o t a d d r e s s t h e c o m p u t a t i o n a l

a n d r e p r e s e n t a t i o n a l p r o b l e m s i n a n y s i g n i c a n t w a y .

2 . 2 M a n i p u l a t i n g t h e T r a i n i n g E x a m p l e s

T h e s e c o n d m e t h o d f o r c o n s t r u c t i n g e n s e m b l e s m a n i p u l a t e s t h e t r a i n i n g e x a m -

p l e s t o g e n e r a t e m u l t i p l e h y p o t h e s e s . T h e l e a r n i n g a l g o r i t h m i s r u n s e v e r a l t i m e s ,

e a c h t i m e w i t h a d i e r e n t s u b s e t o f t h e t r a i n i n g e x a m p l e s . T h i s t e c h n i q u e w o r k s

e s p e c i a l l y w e l l f o r u n s t a b l e l e a r n i n g a l g o r i t h m s | a l g o r i t h m s w h o s e o u t p u t c l a s -

s i e r u n d e r g o e s m a j o r c h a n g e s i n r e s p o n s e t o s m a l l c h a n g e s i n t h e t r a i n i n g d a t a .

D e c i s i o n - t r e e , n e u r a l n e t w o r k , a n d r u l e l e a r n i n g a l g o r i t h m s a r e a l l u n s t a b l e . L i n -

e a r r e g r e s s i o n , n e a r e s t n e i g h b o r , a n d l i n e a r t h r e s h o l d a l g o r i t h m s a r e g e n e r a l l y

v e r y s t a b l e .


6/15

6

T h e m o s t s t r a i g h t f o r w a r d w a y o f m a n i p u l a t i n g t h e t r a i n i n g s e t i s c a l l e d B a g -

g i n g . O n e a c h r u n , B a g g i n g p r e s e n t s t h e l e a r n i n g a l g o r i t h m w i t h a t r a i n i n g s e t

t h a t c o n s i s t s o f a s a m p l e o f m t r a i n i n g e x a m p l e s d r a w n r a n d o m l y w i t h r e p l a c e -

m e n t f r o m t h e o r i g i n a l t r a i n i n g s e t o f m i t e m s . S u c h a t r a i n i n g s e t i s c a l l e d a

b o o t s t r a p r e p l i c a t e o f t h e o r i g i n a l t r a i n i n g s e t , a n d t h e t e c h n i q u e i s c a l l e d b o o t -

s t r a p a g g r e g a t i o n ( f r o m w h i c h t h e t e r m B a g g i n g i s d e r i v e d B r e i m a n , 1 9 9 6 ) . E a c h

b o o t s t r a p r e p l i c a t e c o n t a i n s , o n t h e a v e r a g e , 6 3 . 2 % o f t h e o r i g i n a l t r a i n i n g s e t ,

w i t h s e v e r a l t r a i n i n g e x a m p l e s a p p e a r i n g m u l t i p l e t i m e s .

A n o t h e r t r a i n i n g s e t s a m p l i n g m e t h o d i s t o c o n s t r u c t t h e t r a i n i n g s e t s b y

l e a v i n g o u t d i s j o i n t s u b s e t s o f t h e t r a i n i n g d a t a . F o r e x a m p l e , t h e t r a i n i n g s e t

c a n b e r a n d o m l y d i v i d e d i n t o 1 0 d i s j o i n t s u b s e t s . T h e n 1 0 o v e r l a p p i n g t r a i n i n g

s e t s c a n b e c o n s t r u c t e d b y d r o p p i n g o u t a d i e r e n t o n e o f t h e s e 1 0 s u b s e t s .

T h i s s a m e p r o c e d u r e i s e m p l o y e d t o c o n s t r u c t t r a i n i n g s e t s f o r 1 0 - f o l d c r o s s -

v a l i d a t i o n , s o e n s e m b l e s c o n s t r u c t e d i n t h i s w a y a r e s o m e t i m e s c a l l e d c r o s s -

v a l i d a t e d c o m m i t t e e s ( P a r m a n t o , M u n r o , & D o y l e , 1 9 9 6 ) .

T h e t h i r d m e t h o d f o r m a n i p u l a t i n g t h e t r a i n i n g s e t i s i l l u s t r a t e d b y t h e

A d a B o o s t a l g o r i t h m , d e v e l o p e d b y F r e u n d a n d S c h a p i r e ( 1 9 9 5 , 1 9 9 6 , 1 9 9 7 ,

1 9 9 8 ) . L i k e B a g g i n g , A d a B o o s t m a n i p u l a t e s t h e t r a i n i n g e x a m p l e s t o g e n e r a t e

m u l t i p l e h y p o t h e s e s . A d a B o o s t m a i n t a i n s a s e t o f w e i g h t s o v e r t h e t r a i n i n g

e x a m p l e s . I n e a c h i t e r a t i o n , t h e l e a r n i n g a l g o r i t h m i s i n v o k e d t o m i n i m i z e

t h e w e i g h t e d e r r o r o n t h e t r a i n i n g s e t , a n d i t r e t u r n s a n h y p o t h e s i s h

. T h e

w e i g h t e d e r r o r o f h

i s c o m p u t e d a n d a p p l i e d t o u p d a t e t h e w e i g h t s o n t h e

t r a i n i n g e x a m p l e s . T h e e e c t o f t h e c h a n g e i n w e i g h t s i s t o p l a c e m o r e w e i g h t

o n t r a i n i n g e x a m p l e s t h a t w e r e m i s c l a s s i e d b y h

a n d l e s s w e i g h t o n e x a m p l e s

t h a t w e r e c o r r e c t l y c l a s s i e d . I n s u b s e q u e n t i t e r a t i o n s , t h e r e f o r e , A d a B o o s t

c o n s t r u c t s p r o g r e s s i v e l y m o r e d i c u l t l e a r n i n g p r o b l e m s .

T h e n a l c l a s s i e r , h

f

( x ) =

P

w

h

( x ) , i s c o n s t r u c t e d b y a w e i g h t e d v o t e

o f t h e i n d i v i d u a l c l a s s i e r s . E a c h c l a s s i e r i s w e i g h t e d ( b y w

) a c c o r d i n g t o i t s

a c c u r a c y o n t h e w e i g h t e d t r a i n i n g s e t t h a t i t w a s t r a i n e d o n .

R e c e n t r e s e a r c h ( S c h a p i r e & S i n g e r , 1 9 9 8 ) h a s s h o w n t h a t A d a B o o s t c a n b e

v i e w e d a s a s t a g e - w i s e a l g o r i t h m f o r m i n i m i z i n g a p a r t i c u l a r e r r o r f u n c t i o n . T o

d e n e t h i s e r r o r f u n c t i o n , s u p p o s e t h a t e a c h t r a i n i n g e x a m p l e i s l a b e l e d a s + 1

o r ; 1 , c o r r e s p o n d i n g t o t h e p o s i t i v e a n d n e g a t i v e e x a m p l e s . T h e n t h e q u a n t i t y

m

i

= y

i

h ( x

i

) i s p o s i t i v e i f h c o r r e c t l y c l a s s i e s x

i

a n d n e g a t i v e o t h e r w i s e . T h i s

q u a n t i t y m

i

i s c a l l e d t h e m a r g i n o f c l a s s i e r h o n t h e t r a i n i n g d a t a . A d a B o o s t

c a n b e s e e n a s t r y i n g t o m i n i m i z e

X

i

e x p

; y

i

X

w

h

( x

i

)

!

( 1 )

w h i c h i s t h e n e g a t i v e e x p o n e n t i a l o f t h e m a r g i n o f t h e w e i g h t e d v o t e d c l a s s i e r .

T h i s c a n a l s o b e v i e w e d a s a t t e m p t i n g t o m a x i m i z e t h e m a r g i n o n t h e t r a i n i n g

d a t a .


7/15

7

2 . 3 M a n i p u l a t i n g t h e I n p u t F e a t u r e s

A t h i r d g e n e r a l t e c h n i q u e f o r g e n e r a t i n g m u l t i p l e c l a s s i e r s i s t o m a n i p u l a t e

t h e s e t o f i n p u t f e a t u r e s a v a i l a b l e t o t h e l e a r n i n g a l g o r i t h m . F o r e x a m p l e , i n a

p r o j e c t t o i d e n t i f y v o l c a n o e s o n V e n u s , C h e r k a u e r ( 1 9 9 6 ) t r a i n e d a n e n s e m b l e

o f 3 2 n e u r a l n e t w o r k s . T h e 3 2 n e t w o r k s w e r e b a s e d o n 8 d i e r e n t s u b s e t s o f

t h e 1 1 9 a v a i l a b l e i n p u t f e a t u r e s a n d 4 d i e r e n t n e t w o r k s i z e s . T h e i n p u t f e a t u r e

s u b s e t s w e r e s e l e c t e d ( b y h a n d ) t o g r o u p t o g e t h e r f e a t u r e s t h a t w e r e b a s e d o n

d i e r e n t i m a g e p r o c e s s i n g o p e r a t i o n s ( s u c h a s p r i n c i p a l c o m p o n e n t a n a l y s i s a n d

t h e f a s t f o u r i e r t r a n s f o r m ) . T h e r e s u l t i n g e n s e m b l e c l a s s i e r w a s a b l e t o m a t c h

t h e p e r f o r m a n c e o f h u m a n e x p e r t s i n i d e n t i f y i n g v o l c a n o e s . T u m e r a n d G h o s h

( 1 9 9 6 ) a p p l i e d a s i m i l a r t e c h n i q u e t o a s o n a r d a t a s e t w i t h 2 5 i n p u t f e a t u r e s .

H o w e v e r , t h e y f o u n d t h a t d e l e t i n g e v e n a f e w o f t h e i n p u t f e a t u r e s h u r t t h e

p e r f o r m a n c e o f t h e i n d i v i d u a l c l a s s i e r s s o m u c h t h a t t h e v o t e d e n s e m b l e d i d

n o t p e r f o r m v e r y w e l l . O b v i o u s l y , t h i s t e c h n i q u e o n l y w o r k s w h e n t h e i n p u t

f e a t u r e s a r e h i g h l y r e d u n d a n t .

2 . 4 M a n i p u l a t i n g t h e O u t p u t T a r g e t s

A f o u r t h g e n e r a l t e c h n i q u e f o r c o n s t r u c t i n g a g o o d e n s e m b l e o f c l a s s i e r s i s t o

m a n i p u l a t e t h e y v a l u e s t h a t a r e g i v e n t o t h e l e a r n i n g a l g o r i t h m . D i e t t e r i c h &

B a k i r i ( 1 9 9 5 ) d e s c r i b e a t e c h n i q u e c a l l e d e r r o r - c o r r e c t i n g o u t p u t c o d i n g . S u p p o s e

t h a t t h e n u m b e r o f c l a s s e s , K , i s l a r g e . T h e n n e w l e a r n i n g p r o b l e m s c a n b e

c o n s t r u c t e d b y r a n d o m l y p a r t i o n i n g t h e K c l a s s e s i n t o t w o s u b s e t s A

a n d B

.

T h e i n p u t d a t a c a n t h e n b e r e - l a b e l e d s o t h a t a n y o f t h e o r i g i n a l c l a s s e s i n s e t

A

a r e g i v e n t h e d e r i v e d l a b e l 0 a n d t h e o r i g i n a l c l a s s e s i n s e t B

a r e g i v e n

t h e d e r i v e d l a b e l 1 . T h i s r e l a b e l e d d a t a i s t h e n g i v e n t o t h e l e a r n i n g a l g o r i t h m ,

w h i c h c o n s t r u c t s a c l a s s i e r h

. B y r e p e a t i n g t h i s p r o c e s s L t i m e s ( g e n e r a t i n g

d i e r e n t s u b s e t s A

a n d B

) , w e o b t a i n a n e n s e m b l e o f L c l a s s i e r s h

1

: : : h

L

.

N o w g i v e n a n e w d a t a p o i n t x , h o w s h o u l d w e c l a s s i f y i t ? T h e a n s w e r i s t o

h a v e e a c h h

c l a s s i f y x . I f h

( x ) = 0 , t h e n e a c h c l a s s i n A

r e c e i v e s a v o t e . I f

h

( x ) = 1 , t h e n e a c h c l a s s i n B

r e c e i v e s a v o t e . A f t e r e a c h o f t h e L c l a s s i e r s

h a s v o t e d , t h e c l a s s w i t h t h e h i g h e s t n u m b e r o f v o t e s i s s e l e c t e d a s t h e p r e d i c t i o n

o f t h e e n s e m b l e .

A n e q u i v a l e n t w a y o f t h i n k i n g a b o u t t h i s m e t h o d i s t h a t e a c h c l a s s j i s

e n c o d e d a s a n L - b i t c o d e w o r d C

j

, w h e r e b i t i s 1 i f a n d o n l y i f j 2 B

. T h e

- t h l e a r n e d c l a s s i e r a t t e m p t s t o p r e d i c t b i t o f t h e s e c o d e w o r d s . W h e n t h e L

c l a s s i e r s a r e a p p l i e d t o c l a s s i f y a n e w p o i n t x , t h e i r p r e d i c t i o n s a r e c o m b i n e d

i n t o a n L - b i t s t r i n g . W e t h e n c h o o s e t h e c l a s s j w h o s e c o d e w o r d C

j

i s c l o s e s t ( i n

H a m m i n g d i s t a n c e ) t o t h e L - b i t o u t p u t s t r i n g . M e t h o d s f o r d e s i g n i n g g o o d e r r o r -

c o r r e c t i n g c o d e s c a n b e a p p l i e d t o c h o o s e t h e c o d e w o r d s C

j

( o r e q u i v a l e n t l y ,

s u b s e t s A

a n d B

) .

D i e t t e r i c h a n d B a k i r i r e p o r t t h a t t h i s t e c h n i q u e i m p r o v e s t h e p e r f o r m a n c e o f

b o t h t h e C 4 . 5 d e c i s i o n t r e e a l g o r i t h m a n d t h e b a c k p r o p a g a t i o n n e u r a l n e t w o r k

a l g o r i t h m o n a v a r i e t y o f d i c u l t c l a s s i c a t i o n p r o b l e m s . R e c e n t l y , S c h a p i r e


8/15

8

( 1 9 9 7 ) h a s s h o w n h o w A d a B o o s t c a n b e c o m b i n e d w i t h e r r o r - c o r r e c t i n g o u t -

p u t c o d i n g t o y i e l d a n e x c e l l e n t e n s e m b l e c l a s s i c a t i o n m e t h o d t h a t h e c a l l s A d -

a B o o s t . O C . T h e p e r f o r m a n c e o f t h e m e t h o d i s s u p e r i o r t o t h e E C O C m e t h o d

( a n d t o B a g g i n g ) , b u t e s s e n t i a l l y t h e s a m e a s a n o t h e r ( q u i t e c o m p l e x ) a l g o r i t h m ,

c a l l e d A d a B o o s t . M 2 . H e n c e , t h e m a i n a d v a n t a g e o f A d a B o o s t . O C i s i m p l e -

m e n t a t i o n s i m p l i c i t y : I t c a n w o r k w i t h a n y l e a r n i n g a l g o r i t h m f o r s o l v i n g 2 - c l a s s

p r o b l e m s .

R i c c i a n d A h a ( 1 9 9 7 ) a p p l i e d a m e t h o d t h a t c o m b i n e s e r r o r - c o r r e c t i n g o u t -

p u t c o d i n g w i t h f e a t u r e s e l e c t i o n . W h e n l e a r n i n g e a c h c l a s s i e r , h

, t h e y a p p l y

f e a t u r e s e l e c t i o n t e c h n i q u e s t o c h o o s e t h e b e s t f e a t u r e s f o r l e a r n i n g t h a t c l a s s i e r .

T h e y o b t a i n e d i m p r o v e m e n t s i n 7 o u t o f 1 0 t a s k s w i t h t h i s a p p r o a c h .

2 . 5 I n j e c t i n g R a n d o m n e s s

T h e l a s t g e n e r a l p u r p o s e m e t h o d f o r g e n e r a t i n g e n s e m b l e s o f c l a s s i e r s i s t o

i n j e c t r a n d o m n e s s i n t o t h e l e a r n i n g a l g o r i t h m . I n t h e b a c k p r o p a g a t i o n a l g o r i t h m

f o r t r a i n i n g n e u r a l n e t w o r k s , t h e i n i t i a l w e i g h t s o f t h e n e t w o r k a r e s e t r a n d o m l y .

I f t h e a l g o r i t h m i s a p p l i e d t o t h e s a m e t r a i n i n g e x a m p l e s b u t w i t h d i e r e n t

i n i t i a l w e i g h t s , t h e r e s u l t i n g c l a s s i e r c a n b e q u i t e d i e r e n t ( K o l e n & P o l l a c k ,

1 9 9 1 ) .

W h i l e t h i s i s p e r h a p s t h e m o s t c o m m o n w a y o f g e n e r a t i n g e n s e m b l e s o f n e u -

r a l n e t w o r k s , m a n i p u l a t i n g t h e t r a i n i n g s e t m a y b e m o r e e e c t i v e . A s t u d y b y

P a r m a n t o , M u n r o , a n d D o y l e ( 1 9 9 6 ) c o m p a r e d t h i s t e c h n i q u e t o B a g g i n g a n d t o

1 0 - f o l d c r o s s - v a l i d a t e d c o m m i t t e e s . T h e y f o u n d t h a t c r o s s - v a l i d a t e d c o m m i t t e e s

w o r k e d b e s t , B a g g i n g s e c o n d b e s t , a n d m u l t i p l e r a n d o m i n i t i a l w e i g h t s t h i r d

b e s t o n o n e s y n t h e t i c d a t a s e t a n d t w o m e d i c a l d i a g n o s i s d a t a s e t s .

F o r t h e C 4 . 5 d e c i s i o n t r e e a l g o r i t h m , i t i s a l s o e a s y t o i n j e c t r a n d o m n e s s

( K w o k & C a r t e r , 1 9 9 0 D i e t t e r i c h , 2 0 0 0 ) . T h e k e y d e c i s i o n o f C 4 . 5 i s t o c h o o s e a

f e a t u r e t o t e s t a t e a c h i n t e r n a l n o d e i n t h e d e c i s i o n t r e e . A t e a c h i n t e r n a l n o d e ,

C 4 . 5 a p p l i e s a c r i t e r i o n k n o w n a s t h e i n f o r m a t i o n g a i n r a t i o t o r a n k - o r d e r t h e

v a r i o u s p o s s i b l e f e a t u r e t e s t s . I t t h e n c h o o s e s t h e t o p - r a n k e d f e a t u r e - v a l u e t e s t .

F o r d i s c r e t e - v a l u e d f e a t u r e s w i t h V v a l u e s , t h e d e c i s i o n t r e e s p l i t s t h e d a t a i n t o

V s u b s e t s , d e p e n d i n g o n t h e v a l u e o f t h e c h o s e n f e a t u r e . F o r r e a l - v a l u e d f e a t u r e s ,

t h e d e c i s i o n t r e e s p l i t s t h e d a t a i n t o 2 s u b s e t s , d e p e n d i n g o n w h e t h e r t h e v a l u e

o f t h e c h o s e n f e a t u r e i s a b o v e o r b e l o w a c h o s e n t h r e s h o l d . D i e t t e r i c h ( 2 0 0 0 )

i m p l e m e n t e d a v a r i a n t o f C 4 . 5 t h a t c h o o s e s r a n d o m l y ( w i t h e q u a l p r o b a b i l i t y )

a m o n g t h e t o p 2 0 b e s t t e s t s . F i g u r e 3 c o m p a r e s t h e p e r f o r m a n c e o f a s i n g l e

r u n o f C 4 . 5 t o e n s e m b l e s o f 2 0 0 c l a s s i e r s o v e r 3 3 d i e r e n t d a t a s e t s . F o r e a c h

d a t a s e t , a p o i n t i s p l o t t e d . I f t h a t p o i n t l i e s b e l o w t h e d i a g o n a l l i n e , t h e n t h e

e n s e m b l e h a s l o w e r e r r o r r a t e t h a n C 4 . 5 . W e c a n s e e t h a t n e a r l y a l l o f t h e p o i n t s

l i e b e l o w t h e l i n e . A s t a t i s t i c a l a n a l y s i s s h o w s t h a t t h e r a n d o m i z e d t r e e s d o

s t a t i s t i c a l l y s i g n i c a n t l y b e t t e r t h a n a s i n g l e d e c i s i o n t r e e o n 1 4 o f t h e d a t a s e t s

a n d s t a t i s t i c a l l y t h e s a m e i n t h e r e m a i n i n g 1 9 d a t a s e t s .

A l i & P a z z a n i ( 1 9 9 6 ) i n j e c t e d r a n d o m n e s s i n t o t h e F O I L a l g o r i t h m f o r l e a r n -

i n g P r o l o g - s t y l e r u l e s . F O I L w o r k s s o m e w h a t l i k e C 4 . 5 i n t h a t i t r a n k s p o s s i b l e

c o n d i t i o n s t o a d d t o a r u l e u s i n g a n i n f o r m a t i o n - g a i n c r i t e r i o n . A l i a n d P a z z a n i


9/15

9

0

10

20

30

40

50

60

0 10 20 30 40 50 60

200-foldRandomizedC4.5

(percenterror)

C4.5 (percent error)

F i g . 3 . C o m p a r i s o n o f t h e e r r o r r a t e o f C 4 . 5 t o a n e n s e m b l e o f 2 0 0 d e c i s i o n t r e e s

c o n s t r u c t e d b y i n j e c t i n g r a n d o m n e s s i n t o C 4 . 5 a n d t h e n t a k i n g a u n i f o r m v o t e .

c o m p u t e d a l l c a n d i d a t e c o n d i t i o n s t h a t s c o r e d w i t h i n 8 0 % o f t h e t o p - r a n k e d c a n -

d i d a t e , a n d t h e n a p p l i e d a w e i g h t e d r a n d o m c h o i c e a l g o r i t h m t o c h o o s e a m o n g

t h e m . T h e y c o m p a r e d e n s e m b l e s o f 1 1 c l a s s i e r s t o a s i n g l e r u n o f F O I L a n d

f o u n d s t a t i s t i c a l l y s i g n i c a n t i m p r o v e m e n t s i n 1 5 o u t o f 2 9 t a s k s a n d s t a t i s t i c a l l y

s i g n i c a n t l o s s o f p e r f o r m a n c e i n o n l y o n e t a s k . T h e y o b t a i n e d s i m i l a r r e s u l t s

u s i n g 1 1 - f o l d c r o s s - v a l i d a t i o n t o c o n s t r u c t t h e t r a i n i n g s e t s .

R a v i v a n d I n t r a t o r ( 1 9 9 6 ) c o m b i n e b o o t s t r a p s a m p l i n g o f t h e t r a i n i n g d a t a

w i t h i n j e c t i n g n o i s e i n t o t h e i n p u t f e a t u r e s f o r t h e l e a r n i n g a l g o r i t h m . T o t r a i n

e a c h m e m b e r o f a n e n s e m b l e o f n e u r a l n e t w o r k s , t h e y d r a w t r a i n i n g e x a m p l e s

w i t h r e p l a c e m e n t f r o m t h e o r i g i n a l t r a i n i n g d a t a . T h e x v a l u e s o f e a c h t r a i n i n g

e x a m p l e a r e p e r t u r b e d b y a d d i n g G a u s s i a n n o i s e t o t h e i n p u t f e a t u r e s . T h e y

r e p o r t l a r g e i m p r o v e m e n t s i n a s y n t h e t i c b e n c h m a r k t a s k a n d a m e d i c a l d i a g n o s i s

t a s k .

F i n a l l y , n o t e t h a t M a r k o v c h a i n M o n t e C a r l o m e t h o d s f o r c o n s t r u c t i n g B a y e s i a n

e n s e m b l e s a l s o w o r k b y i n j e c t i n g r a n d o m n e s s i n t o t h e l e a r n i n g p r o c e s s . H o w e v e r ,

i n s t e a d o f t a k i n g a u n i f o r m v o t e , a s w e d i d w i t h t h e r a n d o m i z e d d e c i s i o n t r e e s ,

e a c h h y p o t h e s i s r e c e i v e s a v o t e p r o p o r t i o n a l t o i t s p o s t e r i o r p r o b a b i l i t y .

3 C o m p a r i n g D i e r e n t E n s e m b l e M e t h o d s

S e v e r a l e x p e r i m e n t a l s t u d i e s h a v e b e e n p e r f o r m e d t o c o m p a r e e n s e m b l e m e t h o d s .

T h e l a r g e s t o f t h e s e a r e t h e s t u d i e s b y B a u e r a n d K o h a v i ( 1 9 9 9 ) a n d b y D i e t t e r i c h

( 2 0 0 0 ) . T a b l e 1 s u m m a r i z e s t h e r e s u l t s o f D i e t t e r i c h ' s s t u d y . T h e t a b l e s h o w s

t h a t A d a B o o s t o f t e n g i v e s t h e b e s t r e s u l t s . B a g g i n g a n d r a n d o m i z e d t r e e s g i v e


10/15

1 0

s i m i l a r p e r f o r m a n c e , a l t h o u g h r a n d o m i z a t i o n i s a b l e t o d o b e t t e r i n s o m e c a s e s

t h a n B a g g i n g o n v e r y l a r g e d a t a s e t s .

T a b l e 1 . A l l p a i r w i s e c o m b i n a t i o n s o f t h e f o u r e n s e m b l e m e t h o d s . E a c h c e l l c o n t a i n s

t h e n u m b e r o f w i n s , l o s s e s , a n d t i e s b e t w e e n t h e a l g o r i t h m i n t h a t r o w a n d t h e a l g o r i t h m

i n t h a t c o l u m n .

C 4 . 5 A d a B o o s t C 4 . 5 B a g g e d C 4 . 5

R a n d o m C 4 . 5 1 4 { 0 { 1 9 1 { 7 { 2 5 6 { 3 { 2 4

B a g g e d C 4 . 5 1 1 { 0 { 2 2 1 { 8 { 2 4

A d a B o o s t C 4 . 5 1 7 { 0 { 1 6

M o s t o f t h e d a t a s e t s i n t h i s s t u d y h a d l i t t l e o r n o n o i s e . W h e n 2 0 % a r t i c i a l

c l a s s i c a t i o n n o i s e w a s a d d e d t o t h e 9 d o m a i n s w h e r e B a g g i n g a n d A d a B o o s t

g a v e d i e r e n t p e r f o r m a n c e , t h e r e s u l t s s h i f t e d r a d i c a l l y a s s h o w n i n T a b l e 2 .

U n d e r t h e s e c o n d i t i o n s , A d a B o o s t o v e r t s t h e d a t a b a d l y w h i l e B a g g i n g i s

s h o w n t o w o r k v e r y w e l l i n t h e p r e s e n c e o f n o i s e . R a n d o m i z e d t r e e s d i d n o t d o

v e r y w e l l .

T a b l e 2 . A l l p a i r w i s e c o m b i n a t i o n s o f C 4 . 5 , A d a B o o s t e d C 4 . 5 , B a g g e d C 4 . 5 , a n d

R a n d o m i z e d C 4 . 5 o n 9 d o m a i n s w i t h 2 0 % s y n t h e t i c c l a s s l a b e l n o i s e . E a c h c e l l c o n t a i n s

t h e n u m b e r o f w i n s , l o s s e s , a n d t i e s b e t w e e n t h e a l g o r i t h m i n t h a t r o w a n d t h e a l g o r i t h m

i n t h a t c o l u m n .

C 4 . 5 A d a B o o s t C 4 . 5 B a g g e d C 4 . 5

R a n d o m C 4 . 5 5 { 2 { 2 5 { 0 { 4 0 { 2 { 7

B a g g e d C 4 . 5 7 { 0 { 2 6 { 0 { 3

A d a B o o s t C 4 . 5 3 { 6 { 0

T h e k e y t o u n d e r s t a n d i n g t h e s e r e s u l t s i s t o r e t u r n a g a i n t o t h e t h r e e s h o r t -

c o m i n g s o f e x i s t i n g l e a r n i n g a l g o r i t h m s : s t a t i s t i c a l s u p p o r t , c o m p u t a t i o n , a n d

r e p r e s e n t a t i o n . F o r t h e d e c i s i o n - t r e e a l g o r i t h m C 4 . 5 , a l l t h r e e o f t h e s e p r o b -

l e m s c a n a r i s e . D e c i s i o n t r e e s e s s e n t i a l l y p a r t i t i o n t h e i n p u t f e a t u r e s p a c e i n t o

r e c t a n g u l a r r e g i o n s w h o s e s i d e s a r e p e r p e n d i c u l a r t o t h e c o o r d i n a t e a x e s . E a c h

r e c t a n g u l a r r e g i o n c o r r e s p o n d s t o o n e l e a f n o d e o f t h e t r e e .

I f t h e t r u e f u n c t i o n f c a n b e r e p r e s e n t e d b y a s m a l l d e c i s i o n t r e e , t h e n

C 4 . 5 w i l l w o r k w e l l w i t h o u t a n y e n s e m b l e . I f t h e t r u e f u n c t i o n c a n b e c o r r e c t l y

r e p r e s e n t e d b y a l a r g e d e c i s i o n t r e e , t h e n C 4 . 5 w i l l n e e d a v e r y l a r g e t r a i n i n g

d a t a s e t i n o r d e r t o n d a g o o d t , a n d t h e s t a t i s t i c a l p r o b l e m w i l l a r i s e .

T h e c o m p u t a t i o n a l p r o b l e m a r i s e s b e c a u s e n d i n g t h e b e s t ( i . e . , s m a l l e s t )

d e c i s i o n t r e e c o n s i s t e n t w i t h t h e t r a i n i n g d a t a i s c o m p u t a t i o n a l l y i n t r a c t a b l e , s o

C 4 . 5 m a k e s a s e r i e s o f d e c i s i o n s g r e e d i l y . I f o n e o f t h e s e d e c i s i o n s i s m a d e i n c o r -

r e c t l y , t h e n t h e t r a i n i n g d a t a w i l l b e i n c o r r e c t l y p a r t i t i o n e d , a n d a l l s u b s e q u e n t

d e c i s i o n s a r e l i k e l y t o b e a e c t e d . H e n c e , C 4 . 5 i s h i g h l y u n s t a b l e , a n d s m a l l


11/15

1 1

c h a n g e s i n t h e t r a i n i n g s e t c a n p r o d u c e l a r g e c h a n g e s i n t h e r e s u l t i n g d e c i s i o n

t r e e .

T h e r e p r e s e n t a t i o n a l p r o b l e m a r i s e s b e c a u s e o f t h e u s e o f r e c t a n g u l a r p a r t i -

t i o n s o f t h e i n p u t s p a c e . I f t h e t r u e d e c i s i o n b o u n d a r i e s a r e n o t o r t h o g o n a l t o

t h e c o o r d i n a t e a x e s , t h e n C 4 . 5 r e q u i r e s a t r e e o f i n n i t e s i z e t o r e p r e s e n t t h o s e

b o u n d a r i e s c o r r e c t l y . I n t e r e s t i n g l y , a v o t e d c o m b i n a t i o n o f s m a l l d e c i s i o n t r e e s

i s e q u i v a l e n t t o a m u c h l a r g e r s i n g l e t r e e , a n d h e n c e , a n e n s e m b l e m e t h o d c a n

c o n s t r u c t a g o o d a p p r o x i m a t i o n t o a d i a g o n a l d e c i s i o n b o u n d a r y u s i n g s e v e r a l

s m a l l t r e e s . F i g u r e 4 s h o w s a n e x a m p l e o f t h i s . O n t h e l e f t s i d e o f t h e g u r e

a r e p l o t t e d t h r e e d e c i s i o n b o u n d a r i e s c o n s t r u c t e d b y t h r e e d e c i s i o n t r e e s , e a c h

o f w h i c h u s e s 5 i n t e r n a l n o d e s . O n t h e r i g h t i s t h e b o u n d a r y t h a t r e s u l t s f r o m

a s i m p l e m a j o r i t y v o t e o f t h e s e t r e e s . I t i s e q u i v a l e n t t o a s i n g l e t r e e w i t h 1 3

i n t e r n a l n o d e s , a n d i t i s m u c h m o r e a c c u r a t e t h a n a n y o n e o f t h e t h r e e i n d i v i d u a l

t r e e s .

Class 1

Class 2

Class 1

Class 2

F i g . 4 . T h e l e f t g u r e s h o w s t h e t r u e d i a g o n a l d e c i s i o n b o u n d a r y a n d t h r e e s t a i r c a s e

a p p r o x i m a t i o n s t o i t ( o f t h e k i n d t h a t a r e c r e a t e d b y d e c i s i o n t r e e a l g o r i t h m s ) . T h e

r i g h t g u r e s h o w s t h e v o t e d d e c i s i o n b o u n d a r y , w h i c h i s a m u c h b e t t e r a p p r o x i m a t i o n

t o t h e d i a g o n a l b o u n d a r y .

N o w l e t u s c o n s i d e r t h e t h r e e a l g o r i t h m s : A d a B o o s t , B a g g i n g , a n d R a n -

d o m i z e d t r e e s . B a g g i n g a n d R a n d o m i z a t i o n b o t h c o n s t r u c t e a c h d e c i s i o n t r e e

i n d e p e n d e n t l y o f t h e o t h e r s . B a g g i n g a c c o m p l i s h e s t h i s b y m a n i p u l a t i n g t h e i n -

p u t d a t a , a n d R a n d o m i z a t i o n d i r e c t l y a l t e r s t h e c h o i c e s o f C 4 . 5 . T h e s e m e t h o d s

a r e a c t i n g s o m e w h a t l i k e B a y e s i a n v o t i n g t h e y a r e s a m p l i n g f r o m t h e s p a c e o f

a l l p o s s i b l e h y p o t h e s e s w i t h a b i a s t o w a r d h y p o t h e s e s t h a t g i v e g o o d a c c u r a c y

o n t h e t r a i n i n g d a t a . C o n s e q u e n t l y , t h e i r m a i n e e c t w i l l b e t o a d d r e s s t h e s t a -

t i s t i c a l p r o b l e m a n d , t o a l e s s e r e x t e n t , t h e c o m p u t a t i o n a l p r o b l e m . B u t t h e y d o

n o t d i r e c t l y a t t e m p t t o o v e r c o m e t h e r e p r e s e n t a t i o n a l p r o b l e m .

I n c o n t r a s t , A d a B o o s t c o n s t r u c t s e a c h n e w d e c i s i o n t r e e t o e l i m i n a t e \ r e s i d -

u a l " e r r o r s t h a t h a v e n o t b e e n p r o p e r l y h a n d l e d b y t h e w e i g h t e d v o t e o f t h e

p r e v i o u s l y - c o n s t r u c t e d t r e e s . A d a B o o s t i s d i r e c t l y t r y i n g t o o p t i m i z e t h e w e i g h t e d

v o t e . H e n c e , i t i s m a k i n g a d i r e c t a s s a u l t o n t h e r e p r e s e n t a t i o n a l p r o b l e m . D i -


12/15

1 2

r e c t l y o p t i m i z i n g a n e n s e m b l e c a n i n c r e a s e t h e r i s k o f o v e r t t i n g , b e c a u s e t h e

s p a c e o f e n s e m b l e s i s u s u a l l y m u c h l a r g e r t h a n t h e h y p o t h e s i s s p a c e o f t h e o r i g -

i n a l a l g o r i t h m .

T h i s e x p l a n a t i o n i s c o n s i s t e n t w i t h t h e e x p e r i m e n t a l r e s u l t s g i v e n a b o v e . I n

l o w - n o i s e c a s e s , A d a B o o s t g i v e s g o o d p e r f o r m a n c e , b e c a u s e i t i s a b l e t o o p t i -

m i z e t h e e n s e m b l e w i t h o u t o v e r t t i n g . H o w e v e r , i n h i g h - n o i s e c a s e s , A d a B o o s t

p u t s a l a r g e a m o u n t o f w e i g h t o n t h e m i s l a b e l e d e x a m p l e s , a n d t h i s l e a d s i t t o

o v e r t v e r y b a d l y . B a g g i n g a n d R a n d o m i z a t i o n d o w e l l i n b o t h t h e n o i s y a n d

n o i s e - f r e e c a s e s , b e c a u s e t h e y a r e f o c u s i n g o n t h e s t a t i s t i c a l p r o b l e m , a n d n o i s e

i n c r e a s e s t h i s s t a t i s t i c a l p r o b l e m .

F i n a l l y , w e c a n u n d e r s t a n d t h a t i n v e r y l a r g e d a t a s e t s , R a n d o m i z a t i o n c a n

b e e x p e c t e d t o d o b e t t e r t h a n B a g g i n g b e c a u s e b o o t s t r a p r e p l i c a t e s o f a l a r g e

t r a i n i n g s e t a r e v e r y s i m i l a r t o t h e t r a i n i n g s e t i t s e l f , a n d h e n c e , t h e l e a r n e d

d e c i s i o n t r e e w i l l n o t b e v e r y d i v e r s e . R a n d o m i z a t i o n c r e a t e s d i v e r s i t y u n d e r a l l

c o n d i t i o n s , b u t a t t h e r i s k o f g e n e r a t i n g l o w - q u a l i t y d e c i s i o n t r e e s .

D e s p i t e t h e p l a u s i b i l i t y o f t h i s e x p l a n a t i o n , t h e r e i s s t i l l o n e i m p o r t a n t o p e n

q u e s t i o n c o n c e r n i n g A d a B o o s t . G i v e n t h a t A d a B o o s t a g g r e s s i v e l y a t t e m p t s

t o m a x i m i z e t h e m a r g i n s o n t h e t r a i n i n g s e t , w h y d o e s n ' t i t o v e r t m o r e o f t e n ?

P a r t o f t h e e x p l a n a t i o n m a y l i e i n t h e \ s t a g e - w i s e " n a t u r e o f A d a B o o s t . I n

e a c h i t e r a t i o n , i t r e w e i g h t s t h e t r a i n i n g e x a m p l e s , c o n s t r u c t s a n e w h y p o t h e s i s ,

a n d c h o o s e s a w e i g h t w

f o r t h a t h y p o t h e s i s . I t n e v e r \ b a c k s u p " a n d m o d i e s

t h e p r e v i o u s c h o i c e s o f h y p o t h e s e s o r w e i g h t s t h a t i t h a s m a d e t o c o m p e n s a t e

f o r t h i s n e w h y p o t h e s i s .

T o t e s t t h i s e x p l a n a t i o n , I c o n d u c t e d a s e r i e s o f s i m p l e e x p e r i m e n t s o n s y n -

t h e t i c d a t a . L e t t h e t r u e c l a s s i e r f b e a s i m p l e d e c i s i o n r u l e t h a t t e s t s j u s t o n e

f e a t u r e ( f e a t u r e 0 ) a n d a s s i g n s t h e e x a m p l e t o c l a s s + 1 i f t h e f e a t u r e i s 1 , a n d

t o c l a s s ; 1 i f t h e f e a t u r e i s 0 . N o w c o n s t r u c t t r a i n i n g ( a n d t e s t i n g ) e x a m p l e s b y

g e n e r a t i n g f e a t u r e v e c t o r s o f l e n g t h 1 0 0 a t r a n d o m a s f o l l o w s . G e n e r a t e f e a t u r e

0 ( t h e i m p o r t a n t f e a t u r e ) a t r a n d o m . T h e n g e n e r a t e e a c h o f t h e o t h e r f e a t u r e s

r a n d o m l y t o a g r e e w i t h f e a t u r e 0 w i t h p r o b a b i l i t y 0 . 8 a n d t o d i s a g r e e o t h e r w i s e .

A s s i g n l a b e l s t o e a c h t r a i n i n g e x a m p l e a c c o r d i n g t o t h e t r u e f u n c t i o n f , b u t

w i t h 1 0 % r a n d o m c l a s s i c a t i o n n o i s e . T h i s c r e a t e s a d i c u l t l e a r n i n g p r o b l e m

f o r s i m p l e d e c i s i o n r u l e s o f t h i s k i n d ( d e c i s i o n s t u m p s ) , b e c a u s e a l l 1 0 0 f e a t u r e s

a r e c o r r e l a t e d w i t h t h e c l a s s . S t i l l , a l a r g e e n s e m b l e s h o u l d b e a b l e t o d o w e l l o n

t h i s p r o b l e m b y v o t i n g s e p a r a t e d e c i s i o n s t u m p s f o r e a c h f e a t u r e .

I c o n s t r u c t e d a v e r s i o n o f A d a B o o s t t h a t w o r k s m o r e a g g r e s s i v e l y t h a n s t a n -

d a r d A d a B o o s t . A f t e r e v e r y n e w h y p o t h e s i s h

i s c o n s t r u c t e d a n d i t s w e i g h t

a s s i g n e d , m y v e r s i o n p e r f o r m s a g r a d i e n t d e s c e n t s e a r c h t o m i n i m i z e t h e n e g a t i v e

e x p o n e n t i a l m a r g i n ( e q u a t i o n 1 ) . H e n c e , t h i s a l g o r i t h m r e c o n s i d e r s t h e w e i g h t s

o f a l l o f t h e l e a r n e d h y p o t h e s e s a f t e r e a c h n e w h y p o t h e s i s i s a d d e d . T h e n i t

r e w e i g h t s t h e t r a i n i n g e x a m p l e s t o r e e c t t h e r e v i s e d h y p o t h e s i s w e i g h t s .

F i g u r e 5 s h o w s t h e r e s u l t s w h e n t r a i n i n g o n a t r a i n i n g s e t o f s i z e 2 0 . T h e p l o t

c o n r m s o u r e x p l a n a t i o n . T h e A g g r e s s i v e A d a B o o s t i n i t i a l l y h a s m u c h h i g h e r

e r r o r r a t e s o n t h e t e s t s e t t h a n S t a n d a r d A d a B o o s t . I t t h e n g r a d u a l l y i m -

p r o v e s . M e a n w h i l e , S t a n d a r d A d a B o o s t i n i t i a l l y o b t a i n s e x c e l l e n t p e r f o r m a n c e


13/15

1 3

o n t h e t e s t s e t , b u t t h e n i t o v e r t s a s m o r e a n d m o r e c l a s s i e r s a r e a d d e d t o t h e

e n s e m b l e . I n t h e l i m i t , b o t h e n s e m b l e s s h o u l d h a v e t h e s a m e r e p r e s e n t a t i o n a l

p r o p e r t i e s , b e c a u s e t h e y a r e b o t h m i n i m i z i n g t h e s a m e f u n c t i o n ( e q u a t i o n 1 ) .

B u t w e c a n s e e t h a t t h e e x c e p t i o n a l l y g o o d p e r f o r m a n c e o f S t a n d a r d A d a B o o s t

o n t h i s p r o b l e m i s d u e t o t h e s t a g e - w i s e o p t i m i z a t i o n p r o c e s s , w h i c h i s s l o w t o

t t h e d a t a .

160

165

170

175

180

185

190

195

200

205

210

1 10 100 1000

Errors(outof

1000)onthetestdataset

Iterations of Adaboost

Standard Adaboost

Aggressive Adaboost

F i g . 5 . A g g r e s s i v e A d a B o o s t e x h i b i t s m u c h w o r s e p e r f o r m a n c e t h a n S t a n d a r d A d -

a B o o s t o n a c h a l l e n g i n g s y n t h e t i c p r o b l e m

4 C o n c l u s i o n s

E n s e m b l e s a r e w e l l - e s t a b l i s h e d a s a m e t h o d f o r o b t a i n i n g h i g h l y a c c u r a t e c l a s s i -

e r s b y c o m b i n i n g l e s s a c c u r a t e o n e s . T h i s p a p e r h a s p r o v i d e d a b r i e f s u r v e y o f

m e t h o d s f o r c o n s t r u c t i n g e n s e m b l e s a n d r e v i e w e d t h e t h r e e f u n d a m e n t a l r e a s o n s

w h y e n s e m b l e m e t h o d s a r e a b l e t o o u t - p e r f o r m a n y s i n g l e c l a s s i e r w i t h i n t h e

e n s e m b l e . T h e p a p e r h a s a l s o p r o v i d e d s o m e e x p e r i m e n t a l r e s u l t s t o e l u c i d a t e

o n e o f t h e r e a s o n s w h y A d a B o o s t p e r f o r m s s o w e l l .

O n e o p e n q u e s t i o n n o t d i s c u s s e d i n t h i s p a p e r c o n c e r n s t h e i n t e r a c t i o n b e -

t w e e n A d a B o o s t a n d t h e p r o p e r t i e s o f t h e u n d e r l y i n g l e a r n i n g a l g o r i t h m . M o s t

o f t h e l e a r n i n g a l g o r i t h m s t h a t h a v e b e e n c o m b i n e d w i t h A d a B o o s t h a v e b e e n

a l g o r i t h m s o f a g l o b a l c h a r a c t e r ( i . e . , a l g o r i t h m s t h a t l e a r n a r e l a t i v e l y l o w -

d i m e n s i o n a l d e c i s i o n b o u n d a r y ) . I t w o u l d b e i n t e r e s t i n g t o s e e w h e t h e r l o c a l

a l g o r i t h m s ( s u c h a s r a d i a l b a s i s f u n c t i o n s a n d n e a r e s t n e i g h b o r m e t h o d s ) c a n b e

p r o t a b l y c o m b i n e d v i a A d a B o o s t t o y i e l d i n t e r e s t i n g n e w l e a r n i n g a l g o r i t h m s .


14/15

B i b l i o g r a p h y

A l i , K . M . , & P a z z a n i , M . J . ( 1 9 9 6 ) . E r r o r r e d u c t i o n t h r o u g h l e a r n i n g m u l t i p l e

d e s c r i p t i o n s . M a c h i n e L e a r n i n g , 2 4 ( 3 ) , 1 7 3 { 2 0 2 .

B a u e r , E . , & K o h a v i , R . ( 1 9 9 9 ) . A n e m p i r i c a l c o m p a r i s o n o f v o t i n g c l a s s i c a t i o n

a l g o r i t h m s : B a g g i n g , b o o s t i n g , a n d v a r i a n t s . M a c h i n e L e a r n i n g , 3 6 ( 1 / 2 ) ,

1 0 5 { 1 3 9 .

B l u m , A . , & R i v e s t , R . L . ( 1 9 8 8 ) . T r a i n i n g a 3 - n o d e n e u r a l n e t w o r k i s N P -

C o m p l e t e ( E x t e n d e d a b s t r a c t ) . I n P r o c e e d i n g s o f t h e 1 9 8 8 W o r k s h o p o n

C o m p u t a t i o n a l L e a r n i n g T h e o r y , p p . 9 { 1 8 S a n F r a n c i s c o , C A . M o r g a n

K a u f m a n n .

B r e i m a n , L . ( 1 9 9 6 ) . B a g g i n g p r e d i c t o r s . M a c h i n e L e a r n i n g , 2 4 ( 2 ) , 1 2 3 { 1 4 0 .

C h e r k a u e r , K . J . ( 1 9 9 6 ) . H u m a n e x p e r t - l e v e l p e r f o r m a n c e o n a s c i e n t i c

i m a g e a n a l y s i s t a s k b y a s y s t e m u s i n g c o m b i n e d a r t i c i a l n e u r a l n e t -

w o r k s . I n C h a n , P . ( E d . ) , W o r k i n g N o t e s o f t h e A A A I W o r k s h o p

o n I n t e g r a t i n g M u l t i p l e L e a r n e d M o d e l s , p p . 1 5 { 2 1 . A v a i l a b l e f r o m

h t t p : / / w w w . c s . f i t . e d u / ~ i m l m / .

D i e t t e r i c h , T . G . ( 2 0 0 0 ) . A n e x p e r i m e n t a l c o m p a r i s o n o f t h r e e m e t h o d s f o r

c o n s t r u c t i n g e n s e m b l e s o f d e c i s i o n t r e e s : B a g g i n g , b o o s t i n g , a n d r a n d o m -

i z a t i o n . M a c h i n e L e a r n i n g .

D i e t t e r i c h , T . G . , & B a k i r i , G . ( 1 9 9 5 ) . S o l v i n g m u l t i c l a s s l e a r n i n g p r o b l e m s v i a

e r r o r - c o r r e c t i n g o u t p u t c o d e s . J o u r n a l o f A r t i c i a l I n t e l l i g e n c e R e s e a r c h ,

2 , 2 6 3 { 2 8 6 .

F r e u n d , Y . , & S c h a p i r e , R . E . ( 1 9 9 5 ) . A d e c i s i o n - t h e o r e t i c g e n e r a l i z a t i o n o f

o n - l i n e l e a r n i n g a n d a n a p p l i c a t i o n t o b o o s t i n g . T e c h . r e p . , A T & T B e l l

L a b o r a t o r i e s , M u r r a y H i l l , N J .

F r e u n d , Y . , & S c h a p i r e , R . E . ( 1 9 9 6 ) . E x p e r i m e n t s w i t h a n e w b o o s t i n g a l g o -

r i t h m . I n P r o c . 1 3 t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g , p p .

1 4 8 { 1 4 6 . M o r g a n K a u f m a n n .

H a n s e n , L . , & S a l a m o n , P . ( 1 9 9 0 ) . N e u r a l n e t w o r k e n s e m b l e s . I E E E T r a n s .

P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l . , 1 2 , 9 9 3 { 1 0 0 1 .

H o r n i k , K . , S t i n c h c o m b e , M . , & W h i t e , H . ( 1 9 9 0 ) . U n i v e r s a l a p p r o x i m a t i o n

o f a n u n k n o w n m a p p i n g a n d i t s d e r i v a t i v e s u s i n g m u l t i l a y e r f e e d f o r w a r d

n e t w o r k s . N e u r a l N e t w o r k s , 3 , 5 5 1 { 5 6 0 .

H y a l , L . , & R i v e s t , R . L . ( 1 9 7 6 ) . C o n s t r u c t i n g o p t i m a l b i n a r y d e c i s i o n t r e e s i s

N P - C o m p l e t e . I n f o r m a t i o n P r o c e s s i n g L e t t e r s , 5 ( 1 ) , 1 5 { 1 7 .

K o l e n , J . F . , & P o l l a c k , J . B . ( 1 9 9 1 ) . B a c k p r o p a g a t i o n i s s e n s i t i v e t o i n i t i a l

c o n d i t i o n s . I n A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , V o l . 3 ,

p p . 8 6 0 { 8 6 7 S a n F r a n c i s c o , C A . M o r g a n K a u f m a n n .

K w o k , S . W . , & C a r t e r , C . ( 1 9 9 0 ) . M u l t i p l e d e c i s i o n t r e e s . I n S c h a c h t e r , R . D . ,

L e v i t t , T . S . , K a n n a l , L . N . , & L e m m e r , J . F . ( E d s . ) , U n c e r t a i n t y i n A r -

t i c i a l I n t e l l i g e n c e 4 , p p . 3 2 7 { 3 3 5 . E l s e v i e r S c i e n c e , A m s t e r d a m .


15/15

1 5

N e a l , R . ( 1 9 9 3 ) . P r o b a b i l i s t i c i n f e r e n c e u s i n g M a r k o v c h a i n M o n t e C a r l o m e t h -

o d s . T e c h . r e p . C R G - T R - 9 3 - 1 , D e p a r t m e n t o f C o m p u t e r S c i e n c e , U n i v e r -

s i t y o f T o r o n t o , T o r o n t o , C A .

P a r m a n t o , B . , M u n r o , P . W . , & D o y l e , H . R . ( 1 9 9 6 ) . I m p r o v i n g c o m m i t t e e

d i a g n o s i s w i t h r e s a m p l i n g t e c h n i q u e s . I n T o u r e t z k y , D . S . , M o z e r , M . C . ,

& H e s s e l m o , M . E . ( E d s . ) , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g

S y s t e m s , V o l . 8 , p p . 8 8 2 { 8 8 8 C a m b r i d g e , M A . M I T P r e s s .

R a v i v , Y . , & I n t r a t o r , N . ( 1 9 9 6 ) . B o o t s t r a p p i n g w i t h n o i s e : A n e e c t i v e r e g u -

l a r i z a t i o n t e c h n i q u e . C o n n e c t i o n S c i e n c e , 8 ( 3 { 4 ) , 3 5 5 { 3 7 2 .

R i c c i , F . , & A h a , D . W . ( 1 9 9 7 ) . E x t e n d i n g l o c a l l e a r n e r s w i t h e r r o r - c o r r e c t i n g

o u t p u t c o d e s . T e c h . r e p . , N a v a l C e n t e r f o r A p p l i e d R e s e a r c h i n A r t i c i a l

I n t e l l i g e n c e , W a s h i n g t o n , D . C .

S c h a p i r e , R . E . ( 1 9 9 7 ) . U s i n g o u t p u t c o d e s t o b o o s t m u l t i c l a s s l e a r n i n g p r o b -

l e m s . I n P r o c e e d i n g s o f t h e F o u r t e e n t h I n t e r n a t i o n a l C o n f e r e n c e o n M a -

c h i n e L e a r n i n g , p p . 3 1 3 { 3 2 1 S a n F r a n c i s c o , C A . M o r g a n K a u f m a n n .

S c h a p i r e , R . E . , F r e u n d , Y . , B a r t l e t t , P . , & L e e , W . S . ( 1 9 9 7 ) . B o o s t i n g t h e m a r -

g i n : A n e w e x p l a n a t i o n f o r t h e e e c t i v e n e s s o f v o t i n g m e t h o d s . I n F i s h e r ,

D . ( E d . ) , M a c h i n e L e a r n i n g : P r o c e e d i n g s o f t h e F o u r t e e n t h I n t e r n a t i o n a l

C o n f e r e n c e . M o r g a n K a u f m a n n .

S c h a p i r e , R . E . , & S i n g e r , Y . ( 1 9 9 8 ) . I m p r o v e d b o o s t i n g a l g o r i t h m s u s i n g

c o n d e n c e - r a t e d p r e d i c t i o n s . I n P r o c . 1 1 t h A n n u . C o n f . o n C o m p u t . L e a r n -

i n g T h e o r y , p p . 8 0 { 9 1 . A C M P r e s s , N e w Y o r k , N Y .

T u m e r , K . , & G h o s h , J . ( 1 9 9 6 ) . E r r o r c o r r e l a t i o n a n d e r r o r r e d u c t i o n i n e n s e m b l e

c l a s s i e r s . C o n n e c t i o n S c i e n c e , 8 ( 3 { 4 ) , 3 8 5 { 4 0 4 .

Mcs Ensembles

Documents

Transcript of Mcs Ensembles