adaptive caching

download adaptive caching

of 18

Transcript of adaptive caching

  • 7/30/2019 adaptive caching

    1/18

    S e a r c h i n g f o r t h e n e x t b e s t m a t e

    P e t e r M . T o d d

    C e n t e r f o r A d a p t i v e B e h a v i o r a n d C o g n i t i o n

    M a x P l a n c k I n s t i t u t e f o r P s y c h o l o g i c a l R e s e a r c h

    L e o p o l d s t r a s s e 2 4 , 8 0 8 0 2 M u n i c h G E R M A N Y

    p t o d d @ m p i p f - m u e n c h e n . m p g . d e

    A b s t r a c t . H o w d o w e h u m a n s g o a b o u t c h o o s i n g a m a t e ? D o w e s h o p

    f o r t h e m , c h e c k i n g p r i c e s a n d v a l u e s a n d s e l e c t i n g t h e b e s t ? D o w e a p p l y

    f o r t h e m , w o o i n g s e v e r a l a n d t a k i n g t h e b e s t t h a t a c c e p t s u s i n r e t u r n ? O r

    d o w e s c r e e n t h e m , t e s t i n g o n e a f t e r a n o t h e r i n s u c c e s s i o n u n t i l t h e r i g h t

    o n e c o m e s a l o n g ? E c o n o m i s t s a n d o t h e r b e h a v i o r a l s c i e n t i s t s h a v e a n a l y z e d

    t h e s e m a t e - c h o i c e a p p r o a c h e s t o n d t h e i r o p t i m a l a l g o r i t h m i c s o l u t i o n s ; b u t

    w h a t p e o p l e r e a l l y d o i s o f t e n q u i t e d i e r e n t f r o m t h e s e o p t i m a . I n t h i s

    p a p e r , w e a n a l y z e t h e t h i r d a p p r o a c h o f m a t e c h o i c e a s a p p l i c a n t s c r e e n i n g

    a n d s h o w t h r o u g h s i m u l a t i o n a n a l y s e s t h a t a t r a d i t i o n a l o p t i m a l s o l u t i o n

    t o t h i s p r o b l e m { t h e 3 7 % r u l e { c a n b e b e a t e n a l o n g s e v e r a l d i m e n s i o n s b y a

    c l a s s o f s i m p l e \ s a t i s c i n g " a l g o r i t h m s w e c a l l t h e T a k e t h e N e x t B e s t m a t e

    c h o i c e r u l e s . T h u s , h u m a n m a t e s e a r c h b e h a v i o r s h o u l d n o t n e c e s s a r i l y b e

    c o m p a r e d t o t h e l o f t y o p t i m a l i d e a l , b u t i n s t e a d m a y b e m o r e u s e f u l l y s t u d i e d

    t h r o u g h t h e d e v e l o p m e n t a n d a n a l y s i s o f p o s s i b l e \ f a s t a n d f r u g a l " m e n t a l

    m e c h a n i s m s .

    1 I n t r o d u c t i o n

    S o m e p e o p l e v i e w t h e p r o c e s s o f n d i n g a m a t e a s s i m i l a r t o t h a t o f s h o p p i n g

    f o r t o m a t o e s : y o u k n o w w h a t y o u w a n t , b u t y o u d o n o t k n o w w h a t y o u w i l l

    n d , s o y o u d r i v e a r o u n d t o d i e r e n t s t o r e s , s q u e e z i n g t h e m e r c h a n d i s e a n d

    c h e c k i n g t h e p r i c e a t e a c h o n e . Y o u d r i v e t o a s m a n y s t o r e s a s n e c e s s a r y t o

    n d t h e p r i c e y o u l i k e , t a k i n g i n t o a c c o u n t t h e c o s t o f y o u r t i m e a n d e n e r g y

    a s y o u g o . F i n a l l y , y o u r e t u r n t o t h e s t o r e w i t h t h e b e s t p r i c e ( u s u a l l y t h e

    l a s t o n e y o u v i s i t e d ) , w h e r e t h e t o m a t o e s w i l l b e r e a d y a n d w a i t i n g t o g o

    h o m e w i t h y o u , a n d y o u m a k e y o u r p u r c h a s e .

    O t h e r s v i e w t h e m a t i n g g a m e a s s o m e t h i n g m o r e l i k e a p p l y i n g t o c o l l e g e :

    y o u k n o w a l l t h e o p t i o n s a h e a d o f t i m e , a n d y o u k n o w h o w m u c h y o u l i k e

    e a c h o n e , b u t y o u d o n o t y e t k n o w h o w m u c h t h e y l i k e y o u i n r e t u r n . S o

    y o u c o u r t t h e m a l l , a n d w a i t f o r t h e i r r e p l i e s . T h e c o s t o f c o u r t i n g i s t r i v i a l

    c o m p a r e d t o t h e u l t i m a t e c o s t o f t h e f o u r ( o r m o r e ) y e a r l o n g r e l a t i o n s h i p

    w i t h t h e m , s o t h i s i s n o t t a k e n i n t o a c c o u n t . T h e c o y s c h o o l s e v e n t u a l l y m a k e

  • 7/30/2019 adaptive caching

    2/18

    t h e i r c h o i c e s a s w e l l , a n d y o u e n d u p w i t h t h e r s t o n e o n y o u r p r e f e r e n c e

    l i s t t h a t a l s o f a v o r e d y o u .

    T h e r e a l s i t u a t i o n i n h u m a n m a t e c h o i c e i s , o f c o u r s e , s o m e w h e r e i n -

    b e t w e e n t h e s e t w o i d e a l i z e d c a s e s . A s i n t o m a t o s h o p p i n g , t h e f u l l l i s t o f

    c a n d i d a t e s i s n e v e r k n o w n a h e a d o f t i m e ; b u t a s i n c o l l e g e a d m i s s i o n s , t h e

    c a n d i d a t e s a r e r a t i n g a n d d e c i d i n g o n y o u i n r e t u r n . U n l i k e t o m a t o s h o p p i n g ,

    t h e c o s t s a s s o c i a t e d w i t h s e a r c h a r e n o t s i m p l y t i m e a n d e n e r g y , a n d t h e

    c a n d i d a t e s a r e n o t w a i t i n g f o r y o u t o m a k e u p y o u r m i n d ; u n l i k e c o l l e g e

    s h o p p i n g , t h e r e a r e r e a l c o s t s a s s o c i a t e d w i t h c o n s i d e r i n g e x t r a c a n d i d a t e s ,

    a n d t h e r a n k o r d e r i n g o f c a n d i d a t e s c a n n o t b e d e t e r m i n e d a l l a t o n c e .

    I n s t e a d , w e c a n c h a r a c t e r i z e m a t e c h o i c e a s a s e q u e n t i a l s e a r c h p r o c e s s ,

    m o r e a k i n t o h i r i n g a n e w e m p l o y e e f o r a j o b o p e n i n g : y o u c a n i n t e r v i e w

    a s u c c e s s i o n o f c a n d i d a t e s , b u t i n t h i s h y p o t h e t i c a l s e t t i n g y o u m u s t d e c i d e

    w h e t h e r o r n o t t o h i r e e a c h o n e a s y o u s e e t h e m { y o u c a n n o t g o b a c k t o e a r l i e r

    c a n d i d a t e s t h a t y o u p a s s e d o v e r , b e c a u s e t h e y h a v e g o n e o a n d b e e n h i r e d

    s o m e w h e r e e l s e . Y o u c a n n o t k n o w t h e r a n g e o f q u a l i c a t i o n s o f c a n d i d a t e s

    a h e a d o f t i m e ; i n s t e a d , y o u m u s t g u r e t h i s o u t a s y o u c o n d u c t i n t e r v i e w s ,

    a n d u s e t h a t i n f o r m a t i o n t o d e c i d e w h e n t o s t o p a n d h i r e t h e c u r r e n t c a n d i -

    d a t e . Y o u m a y n o t e v e n k n o w h o w m a n y c a n d i d a t e s y o u c o u l d p o s s i b l y l o o k

    a t , f u r t h e r c o m p l i c a t i n g y o u r s e a r c h p r o c e s s . I n t h i s s i t u a t i o n , h o w a r e y o u

    t o d e c i d e w h e n t o s t o p s e a r c h i n g a n d s e t t l e d o w n w i t h t h e c u r r e n t c a n d i d a t e ?

    ( N o t e t h a t t h i s a s s u m e s t h e c u r r e n t c a n d i d a t e i s i n d e e d a v a i l a b l e t o y o u { b u t

    a n a l c h a l l e n g e m a y l u r k : w h e n y o u a t l a s t d e c i d e w h o m y o u w a n t t o h i r e ,

    t h a t p e r s o n m a y n o t b e i m p r e s s e d e n o u g h w i t h y o u r r m t o a c c e p t y o u r o e r .

    W e r e t u r n t o t h i s c h a l l e n g e i n t h e l a s t s e c t i o n . )

    I n t h i s p a p e r , w e e x p l o r e s o m e p o s s i b l e a n s w e r s t o t h e q u e s t i o n o f h o w

    t o g o a b o u t a s e q u e n t i a l m a t e s e a r c h . E c o n o m i s t s a n d o t h e r s h a v e a n a -

    l y z e d t h e m a t e s e a r c h a n d m a t c h i n g p r o b l e m f r o m a v a r i e t y o f v i e w p o i n t s ,

    i n c l u d i n g t h o s e r e p r e s e n t e d i n t h e s e t h r e e s t o r i e s , a n d h a v e p r o p o s e d o p t i m a l

    a l g o r i t h m s f o r e a c h . B u t w h a t p e o p l e d o i s o f t e n q u i t e d i e r e n t f r o m w h a t

    o p t i m a l i t y w o u l d p r e d i c t . W e o f t e n b e h a v e i n a b o u n d e d r a t i o n a l f a s h i o n ,

    u s i n g s i m p l e a l g o r i t h m s a n d h e u r i s t i c s t o a c h i e v e a \ s a t i s c i n g " s o l u t i o n t o a

    p r o b l e m i n a f a s t e r , l e s s i n f o r m a t i o n - i n t e n s i v e w a y . I t i s i m p o r t a n t t o u n d e r -

    s t a n d t h e s e a l g o r i t h m s a n d t h e i r i n f o r m a t i o n p r o c e s s i n g a b i l i t i e s , b e c a u s e t h i s

    c a n a l s o s h e d l i g h t o n t h e n a t u r e o f t h e a d a p t i v e p r o b l e m t h e s e a l g o r i t h m s

    e v o l v e d t o s o l v e , a n d t h e k i n d s o f i n f o r m a t i o n e n v i r o n m e n t s t h e y e v o l v e d i n .

    F o r e x a m p l e , a s w e w i l l d i s c u s s l a t e r , i t i s c o m m o n l y b e l i e v e d t h a t h u m a n s

    d o n o t s e a r c h l o n g e n o u g h w h e n l o o k i n g f o r a m a t e ( F r e y & E i c h e n b e r g e r ,

    1 9 9 6 ) ; b u t t h e c l a s s o f s i m p l e s e q u e n t i a l s e a r c h a l g o r i t h m s w e e x p l o r e h e r e

    c h a l l e n g e s t h i s v i e w , s h o w i n g h o w r o b u s t s e a r c h p e r f o r m a n c e c a n b e a c h i e v e d

    w i t h o u t l o o k i n g t o o l o n g , a n d i n d i c a t i n g t h a t o u r e v o l v e d s e a r c h b e h a v i o r s

    c o u l d i n f a c t b e w e l l - a d a p t e d t o t h e m a t e e n v i r o n m e n t i n w h i c h t h e y o p e r a t e .

    T h e p r o b l e m o f s e q u e n t i a l s e a r c h h a s b e e n e x p l o r e d e x t e n s i v e l y o v e r t h e

    l a s t t h r e e d e c a d e s i n e x q u i s i t e m a t h e m a t i c a l d e t a i l ( s e e f o r e x a m p l e F e r g u -

  • 7/30/2019 adaptive caching

    3/18

    s o n , 1 9 8 9 , a n d C o r b i n , 1 9 8 0 ) . S o w h y i s t h e r e a n y t h i n g l e f t t o s a y a b o u t

    t h i s p r o b l e m , a n d w h y s h o u l d w e s a y i t w i t h s i m u l a t i o n s r a t h e r t h a n e x -

    p l i c i t d e r i v a t i o n s ? T h e a n s w e r t o b o t h q u e s t i o n s i s t h e s a m e : b e c a u s e w e

    w a n t t o e x p l o r e a r a n g e o f p s y c h o l o g i c a l l y p l a u s i b l e a l t e r n a t i v e a l g o r i t h m s

    f o r p e r f o r m i n g a d a p t i v e l y i n s e q u e n t i a l s e a r c h . T h e m a t h e m a t i c a l a n a l y s e s

    o f t h i s p r o b l e m h a v e f o c u s e d a l m o s t e x c l u s i v e l y o n n d i n g t h e o p t i m a l s o -

    l u t i o n u n d e r a v a r i e t y o f c o n d i t i o n s . T h e s e s o l u t i o n s h a v e o f t e n b e e n q u i t e

    c o m p l e x , w i t h l i t t l e r e g a r d f o r t h e i r f e a s i b i l i t y w h e n i m p l e m e n t e d b y r e a l

    n o n - m a t h e m a t i c i a n o r g a n i s m s . ( C o r b i n , 1 9 8 0 , h o w e v e r , d o e s t a k e c o g n i t i v e

    l i m i t a t i o n s i n t o a c c o u n t . ) I n s t e a d o f t h i s t o p - d o w n a n a l y t i c a l a p p r o a c h , w e

    s t a r t h e r e f r o m t h e b o t t o m a n d w o r k o u r w a y u p , a s k i n g h o w f a r v e r y s i m -

    p l e s e a r c h r u l e s c a n g e t u s i n t h i s d o m a i n { s o m e t h i n g t h a t t h e m a t h e m a t i c a l

    a n a l y s e s h a v e l a r g e l y n o t a d d r e s s e d . T o u n d e r t a k e t h i s e x p l o r a t i o n , a c o n -

    v e n i e n t a p p r o a c h i s t o u s e i n d i v i d u a l - b a s e d s i m u l a t i o n m o d e l s , i n w h i c h w e

    i n s t a n t i a t e m a t e s e a r c h a l g o r i t h m s i n a r t i c i a l i n d i v i d u a l s w h o l i v e a n d m a t e

    i n r e p r e s e n t a t i v e e n v i r o n m e n t s . T h i s w a y , w e c a n t e s t t h e a l g o r i t h m s ' p e r f o r -

    m a n c e d i r e c t l y . F o r s i m p l e s i t u a t i o n s , t h i s s i m u l a t i o n a p p r o a c h i s m e r e l y a n

    a u g m e n t a t i o n a n d c o n r m a t i o n o f ( o r s u b s t i t u t e f o r ) m a t h e m a t i c a l a n a l y s i s ;

    b u t w h e n t h e c o n d i t i o n s b e c o m e m o r e c o m p l e x , a s f o r i n s t a n c e w h e n w e a d d

    i n m u t u a l m a t e s e a r c h b e t w e e n t h e t w o s e x e s ( i n l a t e r p a p e r s ) , m a t h e m a t i c a l

    t r a c t a b i l i t y b e g i n s t o p l u m m e t , a n d t h e u s e f u l n e s s o f s i m u l a t i o n m o d e l s f o r

    e x p l o r a t i o n b e c o m e s a n e c e s s i t y .

    I n t h e n e x t s e c t i o n , w e b r i e y d i s c u s s t h e p a s t o p t i m a l a n d b e h a v i o r a l ,

    s a t i s c i n g a p p r o a c h e s t o m a t e s e a r c h w h e n c o n d u c t e d a s t o m a t o s h o p p i n g

    a n d c o l l e g e a p p l y i n g , a n d t h e n c o n c e n t r a t e o n t h e m a t e - c h o i c e - a s - a p p l i c a n t -

    h i r i n g ( o r , a s w e r e f r a m e i t , d o w r y - m a x i m i z i n g ) v i e w o f h u m a n m a t e s e a r c h

    a n d i t s o p t i m a l s o l u t i o n , t h e s o - c a l l e d 3 7 % r u l e . T h e n i n s e c t i o n t h r e e w e

    d i s c u s s a c l a s s o f s i m p l e s a t i s c i n g a p p r o a c h e s t o t h i s p r o b l e m , w h i c h w e

    c a l l t h e T a k e t h e N e x t B e s t m a t e c h o i c e r u l e s . W e s h o w h o w w e l l t h e s e

    r u l e s d o i n c o m p a r i s o n t o t h e o p t i m a l m e t h o d t h r o u g h s i m p l e s i m u l a t i o n s

    w i t h s m a l l p o p u l a t i o n s , a n d h o w t h e i r b e h a v i o r c h a n g e s a s t h e p o p u l a t i o n

    o f p o t e n t i a l m a t e s g r o w s l a r g e r . W e a l s o i n d i c a t e t h e i m p l i c a t i o n s o f t h e s e

    r e s u l t s i n t e r m s o f t h e \ f a s t a n d f r u g a l " ( G i g e r e n z e r & G o l d s t e i n , 1 9 9 6 )

    s a t i s c i n g v i e w o f h u m a n b e h a v i o r . F i n a l l y , w e c o n c l u d e w i t h a d i s c u s s i o n o f

    t h e f u r t h e r d i r e c t i o n s t h a t w e c a n t a k e t o e x p l o r e t h e m a t e s e a r c h a n d c h o i c e

    a l g o r i t h m s t h a t w e h u m a n s r e a l l y u s e .

    2 D i e r e n t t y p e s o f m a t e s e a r c h : o p t i m a l a n d

    a c t u a l b e h a v i o r

    D a r w i n ( 1 8 7 1 ) b e g a n t h e s e r i o u s e v o l u t i o n a r y - m i n d e d s t u d y o f h o w a n i m a l s

    i n c l u d i n g h u m a n s c h o o s e t h e i r m a t e s , a n d o f t h e e e c t s o v e r t i m e o f t h e s e

    s e a r c h a n d c h o i c e b e h a v i o r s . I n t h e p a s t f e w y e a r s , r e s e a r c h i n t h i s a r e a h a s

  • 7/30/2019 adaptive caching

    4/18

    e x p l o d e d , b o t h i n t e r m s o f h o w h u m a n s ( e . g . B u s s , 1 9 9 4 ) a n d o t h e r a n i m a l s

    ( e . g . B a t e s o n , 1 9 8 3 ) c h o o s e m a t e s , a n d t h e e v o l u t i o n a r y e e c t s o f s e x u a l

    s e l e c t i o n t h r o u g h m a t e c h o i c e ( e . g . R i d l e y , 1 9 9 3 , a n d M i l l e r , i n p r e s s , f o r t h e

    e e c t s o n h u m a n e v o l u t i o n , a n d A n d e r s s o n , 1 9 9 4 , a n d C r o n i n , 1 9 9 1 , f o r t h e

    e e c t s o n a n i m a l e v o l u t i o n ; M i l l e r & T o d d , 1 9 9 5 , a n d T o d d & M i l l e r , 1 9 9 3 , i n

    p r e s s , p r e s e n t s i m u l a t i o n m o d e l s o f t h e e v o l u t i o n a r y e e c t s o f m a t e c h o i c e ) .

    B e c a u s e h u m a n m a t e s e a r c h a n d c h o i c e a r e i n t e r e s t i n g e x a m p l e s o f h u m a n

    c h o i c e b e h a v i o r i n g e n e r a l , a n d b e c a u s e t h e y o f t e n h a v e p r o f o u n d e c o n o m i c

    i m p a c t , e c o n o m i s t s h a v e b e c o m e i n t e r e s t e d i n t h i s f o r m o f b e h a v i o r a s w e l l

    ( s e e e . g . B e c k e r , 1 9 9 1 ; R o t h & S o t o m a y o r , 1 9 9 0 ; F r e y & E i c h e n b e r g e r , 1 9 9 6 ;

    a n d H a r r i s o n & M c C a b e , 1 9 9 6 ) .

    2 . 1 M a t e s e a r c h a s s h o p p i n g a n d a p p l y i n g

    E c o n o m i s t s h a v e l a r g e l y b e e n i n t e r e s t e d i n f o r m u l a t i n g t h e o p t i m a l d e c i s i o n

    r u l e s f o r b e h a v i o r i n m a t e s e a r c h a n d c h o i c e s i t u a t i o n s , a n d t h e n s e e i n g h o w

    w e l l h u m a n b e h a v i o r m a t c h e s t h o s e o p t i m a . T h u s , f o r i n s t a n c e , w h e n t h e

    m a t e s e a r c h t a s k c a n b e c o n s i d e r e d o n e o f s h o p p i n g f o r m a t e s w i t h a c o s t

    f o r s e a r c h e o r t , t h e o p t i m a l r u l e i s t o k e e p c h e c k i n g p o t e n t i a l m a t e s u n -

    t i l t h e r s t o n e t h a t m e e t s s o m e p r e c a l c u l a t e d r e s e r v a t i o n v a l u e b a s e d o n

    t h e d i s t r i b u t i o n o f m a t e v a l u e s a n d t h e s e a r c h c o s t ( R a p o p o r t & T v e r s k y ,

    1 9 7 0 ) . H o w e v e r , p e o p l e d o n o t g e n e r a l l y s e e m t o a d h e r e t o t h i s o p t i m a l b e -

    h a v i o r . H e y ( 1 9 8 2 , 1 9 8 7 ) h a s i d e n t i e d s e v e r a l n o n - o p t i m a l s a t i s c i n g \ r u l e s

    o f t h u m b " t h a t p e o p l e o f t e n u s e i n s t e a d , s u c h a s t h e \ o n e b o u n c e " r u l e ( k e e p

    c h e c k i n g v a l u e s a s l o n g a s t h e y g o u p e a c h t i m e ; a s s o o n a s t h e y g o d o w n , s t o p

    a n d t a k e t h e p r e v i o u s v a l u e ) . T h e s e n o n - o p t i m a l r u l e s , t h o u g h , a r e s i m p l e r t o

    c a l c u l a t e ( n o n e e d t o c o m p u t e t h e r e s e r v a t i o n v a l u e ) , a n d i n p r a c t i c e a c h i e v e

    p e r f o r m a n c e c l o s e t o t h e o p t i m u m . ( M a r t i n & M o o n , 1 9 9 2 , h a v e s i n c e g o n e

    f u r t h e r , e x p l o r i n g a w i d e r r a n g e o f s i m p l e s e a r c h r u l e s b o t h e x p e r i m e n t a l l y

    a n d t h r o u g h c o m p u t e r s i m u l a t i o n s i n a n a p p r o a c h s i m i l a r t o t h a t w e t a k e

    h e r e . )

    I n c o n t r a s t , w h e n t h e m a t e s e a r c h t a s k i s d e s c r i b e d a s o n e o f m u t u a l c h o i c e

    l i k e a p p l y i n g f o r c o l l e g e s , t h e p r o c e d u r e t o f o l l o w t o e n s u r e t h a t e v e r y o n e g e t s

    a m a t e t h e y a r e h a p p y w i t h i s t h e G a l e - S h a p l e y a l g o r i t h m ( G a l e & S h a p l e y ,

    1 9 6 2 ) . T h i s p r o c e d u r e p r o d u c e s a s e t o f m a t e d p a i r s f r o m a p o p u l a t i o n o f

    m a l e s a n d f e m a l e s , a n d g u a r a n t e e s t h a t n o m a l e a n d f e m a l e w h o a r e n o t

    m a t e d i n a p a i r w o u l d b o t h b e h a p p i e r i f t h e y w e r e t o g e t h e r . I n t h i s s e n s e ,

    t h e m a t i n g s p r o d u c e d b y t h e G a l e - S h a p l e y r u l e a r e s t a b l e ( a n d o p t i m a l , i f

    s t a b i l i t y i s t h e o p t i m a l i t y c r i t e r i o n ) . T h i s p r o c e d u r e r e q u i r e s t h a t e v e r y o n e

    h a s a x e d p r e f e r e n c e r a n k i n g o f a l l t h e i r p o t e n t i a l m a t e s , a n d t h a t t h e y

    r e p o r t t h i s r a n k i n g a c c u r a t e l y f o r u s e i n t h e a l g o r i t h m . H o w e v e r , a s e v i d e n c e d

    b y t h e h i g h d i v o r c e r a t e s i n m a n y c o u n t r i e s ( F r e y & E i c h e n b e r g e r , 1 9 9 6 ) ,

    s t a b l e p a i r i n g s a r e r a t h e r s e l d o m o b t a i n e d i n r e a l i t y , a r g u i n g a g a i n s t t h e u s e

    o f a G a l e - S h a p l e y t y p e a l g o r i t h m b y m a t e - s e e k e r s o n a n i n d i v i d u a l b a s i s .

    A n d e v e n w h e n a c e n t r a l i z e d G a l e - S h a p l e y p r o c e d u r e i s u s e d t o m a k e p a i r

  • 7/30/2019 adaptive caching

    5/18

    m a t c h e s , p e o p l e o f t e n m i s r e p r e s e n t t h e i r t r u e p r e f e r e n c e r a n k i n g s t o g a i n

    a n a d v a n t a g e , a n d y e t e n d u p m a k i n g t h e m a t c h i n g p r o c e d u r e w o r k f u r t h e r

    a g a i n s t t h e i r d e s i r e s ( H a r r i s o n & M c C a b e , 1 9 9 6 ) .

    T h e o p t i m a l m a t c h i n g r e s e a r c h b e g u n b y G a l e a n d S h a p l e y h a s s p a w n e d

    a l a r g e l i t e r a t u r e , a s r e v i e w e d b y R o t h a n d S o t o m a y o r ( 1 9 9 0 ) . B u t t h e w o r k

    i n t h i s a r e a a s s u m e s t h a t a l l p a r t i e s i n v o l v e d h a v e c o m p l e t e k n o w l e d g e a b o u t

    t h e i r o w n p r e f e r e n c e s a n d t h e a v a i l a b l e o p t i o n s t o c h o o s e a m o n g . I n c o n t r a s t ,

    i n t h e j o b s e a r c h l i t e r a t u r e , p r e f e r e n c e s a n d o p t i o n s a r e u s u a l l y a s s u m e d t o

    b e a t l e a s t p a r t i a l l y u n k n o w n , a n d t h e s e a r c h p r o c e s s i t s e l f e n t a i l s o n g o i n g

    c o s t s . R o t h a n d S o t o m a y o r ( p . 2 4 7 ) i n d i c a t e t h a t t h e s e t w o k i n d s o f m o d e l s

    c a n b e p r o t a b l y b r o u g h t t o g e t h e r , t o e x p l o r e m o r e r e a l i s t i c m u t u a l s e a r c h

    s i t u a t i o n s , b u t p o i n t o u t t h a t t h i s i s s t i l l a n o p e n r e s e a r c h a r e a . T h i s m u t u a l

    p a r t i a l - i n f o r m a t i o n c o s t l y - s e a r c h m o d e l i s a l s o e x a c t l y w h a t w e n e e d i n t h e

    c a s e o f m a t e s e a r c h . H e r e , w e n e x t c o n s i d e r t h e s i m p l i e d v e r s i o n o f t h i s

    p r o b l e m i n w h i c h o n e p a r t y s e a r c h e s a s t a b l e s e t o f s e q u e n t i a l a l t e r n a t i v e s ,

    b u t i n s e c t i o n 4 w e i n d i c a t e t h e d i r e c t i o n w e a r e h e a d i n g i n f o r e x p l o r i n g t h e

    m u t u a l s e a r c h c a s e .

    2 . 2 A t h i r d v i e w : s e q u e n t i a l m a t e s e a r c h w i t h l o s s o f

    c a n d i d a t e s

    W e h a v e j u s t c o n s i d e r e d t h e i d e a l i z e d v e r s i o n s o f m a t e c h o i c e a s t o m a t o

    s h o p p i n g a n d a p p l y i n g t o c o l l e g e s , a n d t h e s a t i s c i n g a p p r o a c h e s p e o p l e t a k e

    t o t h e s e s o r t s o f p r o b l e m s . B u t j u s t b e c a u s e w e h a v e f o u n d e v i d e n c e f o r h o w

    p e o p l e r e a l l y b e h a v e i n t h e s e k i n d s o f s e t t i n g s d o e s n o t m e a n t h a t w e k n o w

    m o r e a b o u t h o w p e o p l e r e a l l y c h o o s e m a t e s : i f t h e s e i d e a l i z e d v e r s i o n s o f

    m a t e c h o i c e d i e r f r o m r e a l m a t e c h o i c e i n i m p o r t a n t w a y s , t h e n p e o p l e ' s

    b e h a v i o r i n t h e s e i d e a l i z e d p r o b l e m s c o u l d a l s o d i e r f r o m t h e i r b e h a v i o r i n

    r e a l m a t e c h o i c e i n s i g n i c a n t w a y s .

    A n d t h e s e i d e a l i z e d v e r s i o n s d o i n d e e d d i e r f r o m t h e s i t u a t i o n t h a t

    p r e s e n t s i t s e l f t o m e n a n d w o m e n s e a r c h i n g f o r a m a t e , a t l e a s t i n m a n y

    m o d e r n W e s t e r n c u l t u r e s . T h i s t y p e o f m a t e c h o i c e u s u a l l y c o n s i s t s o f a

    s e q u e n t i a l s e a r c h t h r o u g h s u c c e s s i v e p o t e n t i a l m a t e s , i n w h i c h e a c h o n e i s

    e v a l u a t e d a n d d e c i d e d o n i n t u r n , i n a p r o c e s s t h a t c a n t a k e m i n u t e s , h o u r s ,

    d a y s , o r y e a r s . ( H e r e t h e d e c i s i o n c a n b e t h o u g h t o f a s w h e t h e r o r n o t t o s e t -

    t l e d o w n a n d h a v e c h i l d r e n w i t h a p a r t i c u l a r p e r s o n , t h o u g h o t h e r d e n i t i o n s

    a r e p o s s i b l e . ) T h e r e a r e c e r t a i n l y c o s t s a s s o c i a t e d w i t h e a c h p e r s o n t h a t o n e

    c h e c k s o u t d u r i n g t h i s s e a r c h ; b u t p e r h a p s t h e m o s t s i g n i c a n t c o s t i s t h a t

    i t i s d i c u l t , a n d o f t e n i m p o s s i b l e , t o r e t u r n t o a p o t e n t i a l m a t e t h a t h a s

    b e e n p r e v i o u s l y d i s c a r d e d ( b e c a u s e t h e y r e m a i n i n t h e \ m a t i n g p o o l " a n d a r e

    l i k e l y t o p a i r u p w i t h s o m e o n e e l s e i n t h e m e a n t i m e w h i l e o n e ' s o w n s e a r c h

    c o n t i n u e s { a s c o u n t l e s s r o m a n t i c t r a g e d i e s o f m i s s e d o p p o r t u n i t i e s a t t e s t ) . T o

    f u r t h e r c o m p l i c a t e m a t t e r s , o n e d o e s n o t k n o w a h e a d o f t i m e w h a t t h e r a n g e

    o f p o t e n t i a l m a t e s m a y b e : h o w c a n w e k n o w , d u r i n g o u r r s t l o v e , w h e t h e r

    s o m e o n e e l s e m i g h t b e a b l e t o i n c i t e s t i l l d e e p e r p a s s i o n s , i f w e j u s t k e e p

  • 7/30/2019 adaptive caching

    6/18

    s e a r c h i n g l o n g e n o u g h t o n d t h e m ? W e c a n n o t e v e n t e l l h o w m a n y m o r e

    p o t e n t i a l m a t e s w e m a y e n c o u n t e r ! G i v e n t h e s e r e s t r i c t i o n s o n t h e s e a r c h

    p r o c e s s a n d l a c k o f k n o w l e d g e a b o u t t h e s p a c e o v e r w h i c h w e a r e s e a r c h i n g ,

    n d i n g a m a t e l o o k s , u n d e r s t a n d a b l y , l i k e a v e r y d a u n t i n g p r o b l e m i n d e e d .

    E a r l i e r w e c o m p a r e d t h i s s e q u e n t i a l m a t e s e a r c h p r o b l e m t o a r m t r y -

    i n g t o h i r e s o m e o n e f r o m a s t r e a m o f j o b a p p l i c a n t s . W e c a n p r e s e n t t h i s

    s i t u a t i o n i n m o r e p r e c i s e d e t a i l , a n d i n a f o r m m o r e c l o s e l y l i n k e d t o m a t e

    c h o i c e , v i a t h e \ d o w r y p r o b l e m , " a w e l l - k n o w n p u z z l e f r o m p r o b a b i l i t y t h e o r y

    ( M o s t e l l e r , 1 9 8 7 ; G i l b e r t & M o s t e l l e r , 1 9 6 6 ; C o r b i n , 1 9 8 0 ; t h i s i s a l s o k n o w n

    a s t h e \ s e c r e t a r y p r o b l e m " o r \ b e a u t y c o n t e s t p r o b l e m " a n d e v e n \ G o o g o l " ) .

    A s u l t a n w i s h e s t o t e s t t h e w i s d o m o f h i s c h i e f a d v i s o r , t o k n o w i f h e s h o u l d

    r e t a i n t h i s c a b i n e t p o s i t i o n . T h e c h i e f a d v i s o r i s s e e k i n g a w i f e , s o t h e s u l t a n

    t a k e s t h i s o p p o r t u n i t y t o j u d g e h i s w i s d o m : t h e s u l t a n a r r a n g e s t o h a v e 1 0 0

    w o m e n f r o m t h e k i n g d o m b r o u g h t b e f o r e t h e a d v i s o r i n s u c c e s s i o n , a n d a l l

    t h e a d v i s o r h a s t o d o t o r e t a i n h i s p o s t i s t o c h o o s e t h e w o m a n w i t h t h e

    h i g h e s t d o w r y ( m a r r i a g e g i f t f r o m h e r f a m i l y ) . I f h e c h o o s e s c o r r e c t l y , h e

    g e t s t o m a r r y t h a t w o m a n , a n d k e e p h i s p o s t ; i f n o t , h e r e m a i n s s i n g l e , a n d

    l o s e s h i s h e a d . T h e a d v i s o r c a n s e e o n e w o m a n a t a t i m e a n d a s k h e r d o w r y ;

    t h e n h e m u s t d e c i d e i m m e d i a t e l y i f s h e i s t h e o n e w i t h t h e h i g h e s t d o w r y o u t

    o f a l l 1 0 0 w o m e n , o r e l s e l e t h e r p a s s b y a n d g o o n t o t h e n e x t w o m a n . H e

    c a n n o t r e t u r n t o a n y w o m a n h e h a s s e e n b e f o r e { o n c e h e l e t s t h e m p a s s , t h e y

    a r e g o n e f o r e v e r . M o r e o v e r , t h e a d v i s o r h a s n o i d e a o f t h e r a n g e o f d o w r i e s

    b e f o r e h e s t a r t s s e e i n g t h e w o m e n . W h a t s t r a t e g y c a n h e p o s s i b l y u s e t o

    h a v e t h e h i g h e s t c h a n c e o f p i c k i n g t h e w o m a n w i t h t h e h i g h e s t d o w r y ?

    I t t u r n s o u t t h a t t h e a l g o r i t h m t h e a d v i s o r s h o u l d u s e , t o g u a r a n t e e t h e

    h i g h e s t c h a n c e o f c h o o s i n g c o r r e c t l y , i s a s f o l l o w s : H e s h o u l d l o o k a t t h e r s t

    3 7 w o m e n , l e t t i n g e a c h o n e p a s s , b u t r e m e m b e r i n g t h e h i g h e s t d o w r y f r o m

    t h a t s e t { c a l l t h i s v a l u e D T h e n , s t a r t i n g w i t h t h e 3 8 t h w o m a n , h e s h o u l d

    s e l e c t t h e r s t w o m a n w i t h a d o w r y g r e a t e r t h a n D ( F o r d e r i v a t i o n s o f t h i s

    p r o c e d u r e , s e e M o s t e l l e r , 1 9 8 7 ; G i l b e r t & M o s t e l l e r , 1 9 6 6 ; F e r g u s o n , 1 9 8 9 ) .

    I f t h e a d v i s o r f o l l o w s t h i s p r o c e d u r e , h e w i l l h a v e a 3 7 % c h a n c e o f s u c c e e d i n g

    i n c h o o s i n g t h e w o m a n w i t h t h e h i g h e s t d o w r y . T h i s i s t h e b e s t h e c a n d o { n o

    o t h e r a l g o r i t h m w o u l d i m p r o v e h i s o d d s o f p i c k i n g c o r r e c t l y .

    M o r e g e n e r a l l y , i f t h e a d v i s o r k n o w s t h a t h e w i l l b e p r e s e n t e d w i t h a

    s u c c e s s i o n o f w o m e n f r o m a t o t a l s e t o f N w o m e n , h e s h o u l d c h e c k t h e r s t

    3 7 % o f t h o s e w o m e n , r e m e m b e r i n g t h e h i g h e s t d o w r y , a n d t h e n s e l e c t t h e

    r s t o n e a f t e r t h o s e 3 7 % w h o e x c e e d s t h e p r e v i o u s h i g h e s t v a l u e . T h i s 3 7 %

    r u l e , t o r e p e a t , n d s t h e h i g h e s t v a l u e m o r e o f t e n t h a n a n y o t h e r a l g o r i t h m

    ( a g a i n , 3 7 % o f t h e t i m e ) , a n d t h u s i s , i n t h i s s e n s e , t h e o p t i m a l s o l u t i o n t o

    t h i s p r o b l e m . T h e a d v i s o r h a s s l i g h t l y b e t t e r t h a n a 1 i n 3 s h o t a t p i c k i n g

    t h e r i g h t w o m a n a n d k e e p i n g h i s h e a d . T h e o t h e r t w o - t h i r d s o f t h e t i m e ,

    w e l l , t h e s u l t a n h a s t o l o o k f o r a n o t h e r w i s e m a n .

  • 7/30/2019 adaptive caching

    7/18

    2 . 3 L o o k i n g f o r b e t t e r s e a r c h r u l e s

    O f c o u r s e , i n t h e r e a l w o r l d , o u r m a t i n g d e c i s i o n s a r e s e l d o m t h i s d r a m a t i c {

    w e u s u a l l y g e t t o ( o r h a v e t o ) l i v e w i t h w h a t e v e r c h o i c e w e m a k e , e v e n i f

    i t w a s n o t t h e \ b e s t " o n e . T o t h e s u l t a n ' s a d v i s o r , t h e p e r f o r m a n c e o f t h e

    3 7 % r u l e o n t h o s e o c c a s i o n s w h e n i t d i d n o t p i c k t h e h i g h e s t d o w r y d i d n o t

    m a t t e r { h e w a s k i l l e d i n a n y c a s e . B u t t o a p o p u l a t i o n o f i n d i v i d u a l s a l l u s i n g

    s u c h a n a l g o r i t h m t o c h o o s e t h e i r m a t e s , w h a t t h i s r u l e d o e s t h e o t h e r 6 3 %

    o f t h e t i m e w o u l d m a t t e r r a t h e r a l o t . F o r i n s t a n c e , i f a p p l i e d t o a s e t o f

    1 0 0 d o w r i e s r a n g i n g f r o m 1 t o 1 0 0 , t h e 3 7 % r u l e r e t u r n s a n a v e r a g e v a l u e o f

    a b o u t 8 2 ( t h a t i s , t h e m e a n o f a l l d o w r i e s c h o s e n b y t h i s r u l e ) . O n l y 6 7 %

    o f t h e i n d i v i d u a l s s e l e c t e d b y t h i s r u l e l i e i n t h e t o p 1 0 % o f t h e p o p u l a t i o n ,

    w h i l e 8 % f a l l i n t h e b o t t o m 2 5 % . A n d i t t a k e s t h e 3 7 % r u l e a n a v e r a g e o f 7 4

    t e s t s o f p o t e n t i a l m a t e s ( t h a t i s , d o u b l e t h e 3 7 t h a t m u s t b e c h e c k e d b e f o r e

    s e l e c t i o n c a n b e g i n ) b e f o r e a m a t e i s c h o s e n . ( T h e s e g u r e s a r e a l l d i s c u s s e d

    i n t h e n e x t s e c t i o n . ) I f a n y o f t h e s e p e r f o r m a n c e g u r e s c o u l d b e i m p r o v e d

    u p o n b y s o m e o t h e r s e q u e n t i a l c h o i c e a l g o r i t h m , t h a t a l g o r i t h m c o u l d w e l l

    p r o v e m o r e a d a p t i v e f o r a p o p u l a t i o n o f m a t e - c h o o s e r s , a l l o w i n g t h e m t o

    p i c k b e t t e r m a t e s m o r e o f t e n , o r m o r e q u i c k l y , o r w i t h a s m a l l e r c h a n c e o f

    p i c k i n g a t o t a l l o s e r , a n d w e m i g h t t h e r e f o r e r e a s o n a b l y e x p e c t i t t o e v o l v e

    i n p r e f e r e n c e t o t h e 3 7 % r u l e .

    T o t h e e x t e n t t h a t h u m a n s u s e a n y s u c h s e q u e n t i a l s e a r c h a l g o r i t h m w h e n

    c h o o s i n g m a t e s , t h e m o r e a d a p t i v e o n e s ( i f t h e y e x i s t ) w o u l d m a k e a b e t t e r

    y a r d s t i c k a g a i n s t w h i c h t o c o m p a r e h u m a n b e h a v i o r . T h e 3 7 % r u l e h a s a t

    l e a s t t w o d i s a d v a n t a g e s a s a m o d e l o f h u m a n b e h a v i o r : F i r s t , i t r e q u i r e s

    k n o w i n g h o w m a n y p o t e n t i a l m a t e s , N t h e r e a r e t o c h e c k t h r o u g h , i n o r d e r

    t o c a l c u l a t e h o w m a n y a r e i n t h e r s t 3 7 % t o l o o k a t b e f o r e m a k i n g a n a l

    c h o i c e . I n o u r a n c e s t r a l e n v i r o n m e n t s , N m a y n o t h a v e v a r i e d m u c h { o u r

    h u n t e r - g a t h e r e r t r i b e s i z e s m a y h a v e b e e n f a i r l y c o n s t a n t , s o t h a t a n e v o l v e d

    v a l u e o f N c o u l d b e u s e d i n t h i s a l g o r i t h m . B u t i n m o d e r n m e t r o p o l i t a n

    e n v i r o n m e n t s , t h e n u m b e r o f p o t e n t i a l m a t e s h a s i n c r e a s e d e n o r m o u s l y , a n d

    t o w o r k o p t i m a l l y , t h e 3 7 % r u l e w o u l d h a v e t o t a k e t h o s e n e w l a r g e v a l u e s

    o f N i n t o c o n s i d e r a t i o n . S e c o n d , t h i s r u l e r e q u i r e s c h e c k i n g t h r o u g h a l a r g e

    n u m b e r o f i n d i v i d u a l s b e f o r e a d e c i s i o n c a n b e m a d e { 7 4 o u t o f 1 0 0 i n t h e

    p r e v i o u s e x a m p l e . E v e n a s s u m i n g a r a t h e r q u i c k a s s e s s m e n t o f s o m e o n e ' s

    m a t e p o t e n t i a l , p e r h a p s a f e w d a t e s o v e r a m o n t h ' s t i m e , t h e s e a r c h t i m e

    i n v o l v e d b e c o m e s e x t e n s i v e .

    T h u s , u s i n g t h e 3 7 % r u l e f o r h u m a n m a t e s e a r c h m a y r e q u i r e i n f o r m a t i o n

    t h a t i s d i c u l t t o o b t a i n ( a n a c c u r a t e v a l u e f o r N ) , a n d a l a r g e n u m b e r

    o f i n d i v i d u a l s t o b e c h e c k e d a n d c o n s e q u e n t l y a l o n g s e a r c h t i m e . O n t h e

    o t h e r h a n d , F r e y a n d E i c h e n b e r g e r ( 1 9 9 6 ) a r g u e t h a t o n e o f t h e p a r a d o x e s o f

    m a r r i a g e i s t h a t p e o p l e s e a r c h t o o l i t t l e f o r t h e i r m a r r i a g e p a r t n e r s , c h e c k i n g

    t o o f e w i n d i v i d u a l s b e f o r e m a k i n g a l i f e - l o n g c o m m i t m e n t t o o n e o f t h e m .

    T h e e v i d e n c e t h e y c i t e a r g u e s a g a i n s t t h e p r e s e n c e o f t h e 3 7 % r u l e i n h u m a n

    m a t e s e a r c h { b u t i t a l s o a r g u e s t h a t , b y n o t s e a r c h i n g l o n g e n o u g h , p e o p l e

  • 7/30/2019 adaptive caching

    8/18

    a r e m a k i n g s u b o p t i m a l m a t e c h o i c e s . I f p e o p l e a r e n o t u s i n g a n a l g o r i t h m a s

    l o n g - w i n d e d a s t h e 3 7 % r u l e , w h a t m i g h t t h e y b e d o i n g i n s t e a d ? A n d i s i t

    p o s s i b l e t h a t t h e r e a r e a n y f a s t e r s e a r c h r u l e s t h a t s t i l l p e r f o r m w e l l , s o t h a t

    F r e y a n d E i c h e n b e r g e r ' s f e a r s o f s u b o p t i m a l m a t e c h o i c e c a n b e c o u n t e r e d ?

    I f s o , w i l l t h e s e r u l e s p r o v e m o r e c o m p l i c a t e d ? I n t h e n e x t s e c t i o n , w e e x p l o r e

    t h e a n s w e r s t o t h e s e q u e s t i o n s , a n d d i s c o v e r t h a t w e c a n i n f a c t d o m o r e , i n

    m a t e c h o i c e , w i t h l e s s .

    3 T h e p e r f o r m a n c e o f s i m p l e r s e q u e n t i a l m a t e

    s e a r c h a l g o r i t h m s

    O p t i m a l r u l e s h a v e b e e n d e r i v e d f o r t h e p r o b l e m o f s e q u e n t i a l s e a r c h i n a

    v a r i e t y o f s e t t i n g s t h a t a r e m o r e o r l e s s r e l e v a n t t o m a t e s e a r c h . F o r i n -

    s t a n c e , G i a n i n i - P e t t i t t ( 1 9 7 9 ) a n a l y z e d t h e s i t u a t i o n i n w h i c h t h e n u m b e r

    o f p o t e n t i a l m a t e s t o b e s e a r c h e d t h r o u g h i s u n k n o w n . C o r b i n ( 1 9 8 0 ) c a m e

    u p w i t h m e t h o d s f o r s p e c i f y i n g s e a r c h p r o c e s s e s w h e n t h e s e a r c h e r c a n b e

    s a t i s e d w i t h o u t c o m e s t h a t a r e n o t n e c e s s a r i l y r a n k e d a s n u m b e r o n e ( t h a t

    i s , w h e r e g e t t i n g t h e s e c o n d b e s t , o r t h i r d b e s t , e t c . , a l l h a v e s o m e n o n - z e r o

    u t i l i t y a s w e l l ) . S h e a l s o c o n s i d e r e d t h e c a s e w h e r e p a s t c a n d i d a t e s m i g h t

    s t i l l b e a v a i l a b l e f o r t h e s e a r c h e r t o r e t u r n t o , w i t h s o m e p r o b a b i l i t y { i n t h i s

    s i t u a t i o n , i t i s s o m e t i m e s b e s t t o s e a r c h t h r o u g h t h e w h o l e s e t o f p o t e n t i a l

    c a n d i d a t e s a n d t r y t o g o b a c k t o t h e b e s t o n e o n c e t h e e n d o f t h e s e q u e n c e h a s

    b e e n r e a c h e d . G i l b e r t a n d M o s t e l l e r ( 1 9 6 6 ) l o o k e d a t s i t u a t i o n s w h e r e t h e

    d i s t r i b u t i o n o f c a n d i d a t e v a l u e s i s k n o w n o r u n k n o w n , a n d a t w h a t h a p p e n s

    w h e n t h e s e a r c h e r c a n s e l e c t s e v e r a l c a n d i d a t e s ( i . e . , b e a p o l y g a m i s t , a n d t r y

    t o g e t t h e b e s t m a t e a m o n g t h e s e t o f c a n d i d a t e s c h o s e n ) . A n d Q u i n e a n d

    L a w ( 1 9 9 6 ) f o u n d o p t i m a l a l g o r i t h m s f o r m a x i m i z i n g t h e r a n k o f a s e l e c t e d

    c a n d i d a t e ( a s o p p o s e d t o m a x i m i z i n g t h e p r o b a b i l i t y o f s e l e c t i n g t h e a b s o l u t e

    t o p c a n d i d a t e ) .

    H o w e v e r , t h e s e o p t i m a l s o l u t i o n s g e n e r a l l y r e q u i r e l o n g e r s e a r c h , o r m o r e

    k n o w l e d g e , o r g r e a t e r c o m p u t a t i o n , t h a n e v e n t h e b a s i c 3 7 % r u l e . F o r i n -

    s t a n c e , Q u i n e a n d L a w ' s ( 1 9 9 6 ) a l g o r i t h m f o r m a x i m i z i n g t h e s e l e c t e d r a n k

    h a s t h e s e a r c h e r r s t c h e c k s o m e n u m b e r o f i n d i v i d u a l s , a n d t h e n t a k e t h e

    n e x t b e s t o n e a f t e r u p t o s o m e n e x t p o i n t i n t h e s e q u e n c e , a n d t h e n s e l e c t a n y

    c a n d i d a t e i n t h e t o p t w o r e l a t i v e - r a n k p o s i t i o n s u p t o a n o t h e r l a t e r p o i n t i n

    t h e s e q u e n c e , a n d t h e n s e l e c t a n y c a n d i d a t e i n t h e t o p t h r e e p o s i t i o n s , a n d s o

    o n , s u c c e s s i v e l y l o w e r i n g o n e ' s s t a n d a r d s a s t h e s e a r c h p r o g r e s s e s . W h i l e t h i s

    m a k e s i n t u i t i v e s e n s e ( a n d w o r k s q u i t e w e l l ) , i t i n v o l v e s a l e n g t h y s e a r c h ( o n

    a v e r a g e ) a n d t h e n o n - t r i v i a l c o m p u t a t i o n o f m u l t i p l e c r i t e r i o n - s h i f t i n g p o i n t s ,

    a l l o f w h i c h m a k e s t h i s a l g o r i t h m u l t i m a t e l y l e s s p s y c h o l o g i c a l l y p l a u s i b l e . I n -

    s t e a d , w e w a n t e d t o s t a r t w i t h v e r y s i m p l e s e a r c h r u l e s w h i c h m o s t p e o p l e

    w o u l d a g r e e c o u l d b e p s y c h o l o g i c a l l y p l a u s i b l e ( o r a t l e a s t c o u l d b e e a s i l y

    f o l l o w e d b y a n o r g a n i s m ) , a n d s e e h o w w e l l { o r h o w f a r b e l o w o p t i m u m { t h e s e

  • 7/30/2019 adaptive caching

    9/18

    s i m p l e r u l e s c o u l d a l s o d o i n t h e s e a r c h t a s k . I f t h e y d o w e l l , w e w i l l h a v e

    a s i m p l e r b a s e l i n e a g a i n s t w h i c h w e c a n c o m p a r e h u m a n b e h a v i o r ( a n d a

    c a n d i d a t e s e t o f r u l e s t o l o o k f o r e v i d e n c e o f i n h u m a n b e h a v i o r ) , a n d i f n o t ,

    t h e n w e c a n b e g i n t o e n h a n c e t h e m , a d d i n g s l o w l y t o t h e i r c o m p l e x i t y u n t i l

    t h e y d o p e r f o r m a d a p t i v e l y .

    T o i n v e s t i g a t e w h e t h e r o r n o t a n y s i m p l e s e q u e n t i a l s e a r c h r u l e s e x i s t t h a t

    c a n o u t p e r f o r m t h e s t a n d a r d 3 7 % r u l e i n t h e s t a n d a r d \ s e c r e t a r y p r o b l e m "

    s e a r c h d o m a i n i n v a r i o u s w a y s , w e b e g a n b y s t u d y i n g a c l a s s o f r u l e s d e r i v e d

    f r o m t h e 3 7 % r u l e . I t t u r n e d o u t t h a t e v e n t h i s s m a l l s e t o f r u l e s c o n t a i n e d

    s o m e w h i c h a r e b e t t e r t h a n t h e 3 7 % r u l e o n m a n y d i m e n s i o n s , a n d s o w e

    r e s t r i c t o u r d i s c u s s i o n h e r e t o t h i s t y p e o f r u l e ( w i t h t h e u n d e r s t a n d i n g t h a t

    o t h e r t y p e s o f s e a r c h a l g o r i t h m s o r r u l e s , w h i c h w e a r e c u r r e n t l y e x p l o r i n g ,

    m a y p r o v e t o h a v e e v e n b e t t e r p e r f o r m a n c e ) . W e h a v e d u b b e d t h e c l a s s

    o f r u l e s w e c o n s i d e r h e r e t h e T a k e t h e N e x t B e s t ( T N B ) m a t e - c h o i c e r u l e

    f a m i l y ( a f t e r t h e T a k e T h e B e s t o r T T B d e c i s i o n a l g o r i t h m o f G i g e r e n z e r

    a n d G o l d s t e i n , 1 9 9 6 , w h i c h i s a p r i m e e x a m p l e o f a s i m p l e s a t i s c i n g m e n t a l

    m e c h a n i s m ) .

    T N B r u l e s w o r k i n d i r e c t a n a l o g y t o t h e 3 7 % r u l e a s f o l l o w s : f o r s o m e

    s p e c i e d C t h e r s t C % o f t h e N t o t a l p o t e n t i a l m a t e s a r e c h e c k e d ( w i t h o u t

    b e i n g s e l e c t e d ) , a n d t h e h i g h e s t d o w r y D i s r e m e m b e r e d . A f t e r t h e r s t

    C % o f p o t e n t i a l m a t e s h a v e g o n e b y , t h e n e x t p o t e n t i a l m a t e w i t h a d o w r y

    g r e a t e r t h a n D i s t h e o n e c h o s e n . ( I f n o g r e a t e r d o w r y t u r n s u p , t h e n w e

    a s s u m e t h a t t h e s e a r c h e r a c c e p t s t h e v e r y l a s t i n d i v i d u a l i n t h e s e q u e n c e {

    t h i s i s w h y o u r p e r f o r m a n c e c u r v e s i n t h e g u r e s t o c o m e d o n o t e n d u p g o i n g

    t o z e r o . ) T h i s s i m p l e s o r t o f a l g o r i t h m ( o f w h i c h t h e 3 7 % r u l e i s o n e s p e c i c

    e x a m p l e ) h a s m i n i m a l c o g n i t i v e r e q u i r e m e n t s : i t o n l y u s e s m e m o r y f o r o n e

    v a l u e a t a t i m e ( t h e c u r r e n t h i g h e s t d o w r y ) , o n l y n e e d s t o k n o w N a n d C a n d

    c a l c u l a t e N x C / 1 0 0 , a n d o n l y n e e d s t o b e a b l e t o c o m p a r e t w o d o w r y v a l u e s

    a t a t i m e . W h a t w e w a n t t o k n o w i s h o w t h e p e r f o r m a n c e o f t h e s e s i m p l e

    a l g o r i t h m s c h a n g e s a s w e c h a n g e t h e p e r c e n t o f p o t e n t i a l m a t e s c h e c k e d , C

    B e c a u s e w e a l s o w a n t e d t o b e a b l e t o c h a n g e t h e u n d e r l y i n g a s s u m p t i o n s o f

    t h i s p r o b l e m , s u c h a s t h e d i s t r i b u t i o n o f d o w r y v a l u e s , o r t h e c o s t o f c h e c k i n g

    e a c h p o t e n t i a l m a t e , o r w h e t h e r o r n o t N i s e v e n k n o w n , t h e m a t h e m a t i c s

    q u i c k l y g r e w c o m p l i c a t e d , a n d w e d e c i d e d o n a m u c h m o r e e x i b l e s i m u l a t i o n

    a p p r o a c h t o t h e s e q u e s t i o n s .

    W e t e s t e d t h e b e h a v i o r o f T N B s e a r c h a l g o r i t h m s w i t h v a l u e s o f C f r o m

    0 % ( c o r r e s p o n d i n g t o a l w a y s c h o o s i n g t h e r s t p o t e n t i a l m a t e ) t o 1 5 % i n

    i n c r e m e n t s o f 1 % , f r o m 2 0 % t o 5 0 % i n i n c r e m e n t s o f 5 % ( e x c e p t a r o u n d 3 7 %

    w h e r e w e a g a i n i n c r e a s e d t h e r e s o l u t i o n ) , a n d f r o m 6 0 % t o 9 0 % i n i n c r e m e n t s

    o f 1 0 % ( b e c a u s e w e b e l i e v e d m o r e o f t h e a c t i o n { g o o d p e r f o r m a n c e { w o u l d

    o c c u r i n t h e l o w e r C r a n g e s ) . W e r a n e a c h r u l e i n a v a r i e t y o f \ m a t e e n v i r o n -

    m e n t s , " o r d i e r e n t n u m b e r s N a n d d i s t r i b u t i o n s o f d o w r y v a l u e s . F o r e a c h

    s u c h m a t e e n v i r o n m e n t , w e r a n e a c h r u l e a g a i n s t 1 0 , 0 0 0 d i e r e n t r a n d o m l y -

    c r e a t e d d o w r y ( o r m a t e v a l u e ) l i s t s . W e c o l l e c t e d s t a t i s t i c s o n t h e d i s t r i b u t i o n

  • 7/30/2019 adaptive caching

    10/18

    o f m a t e v a l u e s s e l e c t e d b y e a c h a l g o r i t h m ( i n c l u d i n g t h e m e a n , s t a n d a r d d e -

    v i a t i o n , q u a r t i l e d i s t r i b u t i o n s , a n d n u m b e r o f t i m e s t h e s i n g l e b e s t d o w r y

    v a l u e w a s c h o s e n ) a n d p o s i t i o n s a t w h i c h m a t e s w e r e s e l e c t e d ( t h e m e a n a n d

    s t a n d a r d d e v i a t i o n ) . W i t h t h e s e v a l u e s i n h a n d , w e c a n a n s w e r t h e q u e s t i o n s

    p o s e d a t t h e e n d o f t h e p r e v i o u s s e c t i o n : c a n a n o t h e r s e q u e n t i a l m a t e s e a r c h

    a l g o r i t h m b e a t t h e 3 7 % r u l e ?

    3 . 1 P e r f o r m a n c e o f T N B r u l e s w i t h 1 0 0 p o t e n t i a l m a t e s

    T h e a n s w e r , e v e n f r o m t h e c l a s s o f s i m p l e - m i n d e d T N B r u l e s , i s a r e s o u n d i n g

    \ y e s . " I t i s t r u e , t h e 3 7 % r u l e y i e l d s t h e h i g h e s t m a t e v a l u e m o s t o f t e n

    w h e n t h e d i s t r i b u t i o n o f m a t e v a l u e s i s c r e a t e d w i t h o u t r e p l a c e m e n t ( i . e .

    n o d u p l i c a t e v a l u e s ) . B u t w h e n w e s t a r t r e l a x i n g t h e m a t e c h o i c e c r i t e r i o n

    s l i g h t l y , a s w e d o i n F i g u r e 1 , t h i s r u l e b e g i n s n o t t o l o o k s o g o o d . I n t h e

    g u r e , t h e \ T o p 1 " l i n e s h o w s t h e n u m b e r o f t i m e s o u t o f 1 0 , 0 0 0 t h a t t h e

    h i g h e s t m a t e v a l u e w a s p i c k e d b y a T N B a l g o r i t h m , f o r d i e r e n t n u m b e r s o f

    \ d a t e s " ( p o t e n t i a l m a t e s ) c h e c k e d ( i . e . d i e r e n t v a l u e s o f C { h e r e C i s o u t o f

    1 0 0 , s o i t i s e q u i v a l e n t t o p e r c e n t a g e a s w e l l ) . ( S e e G i l b e r t & M o s t e l l e r , 1 9 6 6 ,

    F i g u r e 1 , p . 4 2 , f o r t h e m a t h e m a t i c a l l y - d e r i v e d e q u i v a l e n t o f t h i s f u n c t i o n . )

    T h i s c u r v e e x h i b i t s a c l a s s i c a t m a x i m u m , s o t h a t i t d o e s n o t m u c h m a t t e r

    w h a t e x a c t v a l u e o f C i s u s e d { t h e r e s u l t s a r e l a r g e l y t h e s a m e f o r C b e t w e e n

    2 0 % a n d 4 0 % . T h e g r e a t e s t c h a n c e o f c h o o s i n g t h e h i g h e s t m a t e v a l u e o r

    d o w r y c o m e s w i t h a C o f 3 7 % , a s e x p e c t e d , b u t t h i s h i g h e s t - v a l u e m a t e i s

    o n l y f o u n d i n 3 7 % o f t h e c a s e s . A n d t h i n g s g e t w o r s e f r o m h e r e .

    A n a n i m a l s e a r c h i n g f o r a m a t e i s p r o b a b l y n o t , a s w e m e n t i o n e d e a r l i e r ,

    o n l y w i l l i n g t o s e t t l e f o r t h e \ b e s t " m e m b e r o f t h e o p p o s i t e s e x { o t h e r \ p r e t t y

    g o o d " p o t e n t i a l m a t e s w i l l o f t e n b e s e l e c t e d i n s t e a d , t o s a v e s e a r c h t i m e o r

    e n e r g y ( o r e v e n b e c a u s e t h e a n i m a l c a n n o t p e r c e p t u a l l y d i s t i n g u i s h b e t w e e n

    \ b e s t " a n d \ p r e t t y g o o d " ) . I t m a y s u c e , i n t e r m s o f h a v i n g a n a d a p t i v e

    a d v a n t a g e o v e r o t h e r c o m p e t i n g m a t e - s e e k e r s , t o n d a p o t e n t i a l m a t e w i t h

    a m a t e v a l u e i n t h e t o p 1 0 % o f t h e p o p u l a t i o n r e l a t i v e l y q u i c k l y . I n F i g u r e

    1 , w e s e e t h a t t h e v a l u e o f C t h a t r e t u r n s t h e m o s t c h o s e n m a t e s i n t h e

    t o p 1 0 % o f t h e v a l u e d i s t r i b u t i o n i s o n l y 1 2 % , a n d c h e c k i n g t h e r s t 1 2 % o f

    t h e s e q u e n c e o f m a t e s b e f o r e m a k i n g a n a l c h o i c e r e s u l t s n d i n g a t o p - 1 0 %

    m a t e o v e r 7 7 % o f t h e t i m e . I f o n e ' s s t a n d a r d s a r e a b i t m o r e l a x , a n d i t

    i s o n l y d e s i r e d t o o b t a i n a m a t e i n t h e h i g h e s t q u a r t i l e ( t o p 2 5 % ) w i t h t h e

    g r e a t e s t c h a n c e , t h e n o n l y C = 8 % o f t h e i n i t i a l s t r e a m o f p o t e n t i a l m a t e s

    n e e d b e c h e c k e d , y i e l d i n g m a t e s i n t h a t t o p q u a r t i l e o v e r 9 0 % o f t h e t i m e .

    F i n a l l y , r a t h e r t h a n b e i n g r i s k - s e e k i n g i n s e a r c h i n g f o r a m a t e i n t h e t o p

    r a n k s o f t h e p o p u l a t i o n , a n a n i m a l m a y b e r i s k - a v e r s e , p r e f e r r i n g o n l y t o

    m i n i m i z e i t s c h a n c e s o f l a n d i n g a m a t e w i t h a v a l u e i n t h e b o t t o m q u a r t i l e

    o f t h e p o p u l a t i o n , w h e r e t h e m u t a n t s l i e . F r o m t h e l i n e m a r k e d \ B o t t o m

    2 5 % " w e c a n s e e t h a t t h e w a y t o a c h i e v e t h i s g o a l i s t o u s e a m u c h l o w e r

    C o f 2 % , y i e l d i n g o n l y 1 % o f c h o s e n m a t e s b e i n g f r o m t h e b o t t o m ( q u a r t e r )

    o f t h e b a r r e l . T h e 3 7 % r u l e w o u l d p i c k t h e s e p o o r m a t e s o v e r 1 1 % o f t h e

  • 7/30/2019 adaptive caching

    11/18

    0

    20.00

    40.00

    60.00

    80.00

    100.00

    0 20 40 60 80 100

    Percentofmatesineachcategory

    Number of possibilities checked

    Top 25%Top 10%

    Top 1Bottom 25%

    F i g u r e 1 : C h a n c e o f n d i n g a m a t e i n a p a r t i c u l a r c a t e g o r y , g i v e n d i e r e n t

    n u m b e r o f m a t e s c h e c k e d r s t b e f o r e t a k i n g t h e n e x t b e s t , o u t o f 1 0 0 t o t a l

    p o s s i b l e m a t e s .

    t i m e { m u c h w o r s e p e r f o r m a n c e b y r i s k - a v e r s e s t a n d a r d s .

    I f i n s t e a d a n a n i m a l w o u l d g a i n t h e m o s t a d a p t i v e a d v a n t a g e o v e r i t s c o m -

    p e t i t o r s b y s i m p l y m a x i m i z i n g i t s a v e r a g e s e l e c t e d m a t e v a l u e o v e r m u l t i p l e

    u s e s o f i t s T N B s e q u e n t i a l s e a r c h a l g o r i t h m , F i g u r e 2 s h o w s h o w t o a c c o m -

    p l i s h t h i s g o a l . B y u s i n g C = 8 % i n t h i s e n v i r o n m e n t o f 1 0 0 p o t e n t i a l m a t e s ,

    o v e r t i m e t h e s e a r c h e r w i l l s e l e c t m a t e s w i t h a n a v e r a g e m a t e v a l u e o f 8 9 . I n

    c o n t r a s t , i f t h e s e a r c h e r w e r e t o u s e t h e 3 7 % r u l e , t h e y w o u l d o n l y a v e r a g e

    7 4 ( w h i c h i s , i n f a c t , t h e s a m e p e r f o r m a n c e l e v e l a s i f t h e y c h e c k e d o n l y 1 %

    o f t h e p o p u l a t i o n b e f o r e t a k i n g t h e n e x t b e s t c a n d i d a t e ! ) .

    T h e m a t e v a l u e s e l e c t e d b y t h e s e s e a r c h a l g o r i t h m s m a y n o t b e t h e o n l y

    c r i t e r i o n t h a t m a t t e r s t o a m a t i n g a n i m a l { t h e t i m e a n d e n e r g y s p e n t s e a r c h -

    i n g m a y a l s o s t r o n g l y i n u e n c e t h e a d a p t i v e n e s s o f t h e a l g o r i t h m u s e d ( s e e ,

    e . g . , P o m i a n k o w s k i , 1 9 8 7 ; S u l l i v a n , 1 9 9 4 ) . I n F i g u r e 3 , w e s e e h o w m a n y

    t o t a l p o t e n t i a l m a t e s m u s t b e l o o k e d a t , o n a v e r a g e , b e f o r e t h e n a l m a t e i s

    c h o s e n , v a r y i n g a s a f u n c t i o n o f t h e n u m b e r o f p o t e n t i a l m a t e s c h e c k e d , C

    b e f o r e m a t e s e l e c t i o n c a n b e g i n . F o r t h e 3 7 % r u l e o p e r a t i n g i n t h i s e n v i r o n -

    m e n t , 7 4 p o t e n t i a l m a t e s m u s t b e l o o k e d a t o n a v e r a g e b e f o r e a n a l m a t e i s

    s e l e c t e d . W i t h l o w e r v a l u e s o f C t h e n u m b e r o f m a t e s t h a t m u s t b e l o o k e d

    a t f a l l s o r a p i d l y , w i t h i n c r e a s i n g a d v a n t a g e a s C d e c r e a s e s . T h e o p t i m a l

    v a l u e o f C a c c o r d i n g t o t h i s c r i t e r i o n i s C = 0 , i . e . , p i c k t h e r s t p o t e n t i a l m a t e

  • 7/30/2019 adaptive caching

    12/18

    0

    20

    40

    60

    80

    100

    0 20 40 60 80 100

    Averagematevalue

    Number of possibilities checked

    F i g u r e 2 : A v e r a g e v a l u e o f s e l e c t e d m a t e ( b a r s i n d i c a t e o n e s t a n d a r d d e v i -

    a t i o n ) , g i v e n d i e r e n t n u m b e r o f m a t e s c h e c k e d r s t b e f o r e t a k i n g t h e n e x t

    b e s t , o u t o f 1 0 0 t o t a l p o s s i b l e m a t e s .

    e n c o u n t e r e d . W h e n c o m b i n e d w i t h t h e o t h e r c r i t e r i a , t h e e x a c t c o s t a s s i g n e d

    f o r e a c h p o t e n t i a l m a t e l o o k e d a t w i l l d e t e r m i n e t h e p r e c i s e t r a d e o b e t w e e n

    n d i n g a g o o d m a t e a n d s p e n d i n g t i m e a n d e n e r g y l o o k i n g f o r t h a t m a t e .

    3 . 2 P e r f o r m a n c e o f T N B r u l e s w i t h a g r e a t e r n u m b e r

    o f p o t e n t i a l m a t e s

    A l l o f t h e s e c r i t e r i a , b e y o n d m a x i m i z i n g t h e c h a n c e o f p i c k i n g t h e s i n g l e b e s t

    m a t e , p o i n t t o T N B r u l e s w i t h C o t h e r t h a n 3 7 % . C h e c k i n g a b o u t 1 0 % o f

    t h e p o p u l a t i o n o f p o t e n t i a l m a t e s b e f o r e s e l e c t i n g t h e n e x t h i g h e s t o n e t o

    f o l l o w w i l l r e s u l t i n j u s t a b o u t t h e h i g h e s t a v e r a g e m a t e v a l u e p o s s i b l e , m o s t

    o f t h e c h o s e n m a t e s i n t h e t o p q u a r t i l e a n d t h r e e q u a r t e r s o f t h e m i n t h e t o p

    1 0 % , a n d a s e a r c h t h r o u g h 3 6 o r s o p o t e n t i a l m a t e s b e f o r e t h e n a l s e l e c t i o n

    i s m a d e . T h i s s e e m s l i k e q u i t e r e a s o n a b l e p e r f o r m a n c e , e s p e c i a l l y b e c a u s e i t

    m e a n s o n l y c h e c k i n g 1 0 i n d i v i d u a l s i n i t i a l l y o u t o f t h e w h o l e l i s t o f 1 0 0 . B u t

    w h a t h a p p e n s i f t h e p o p u l a t i o n s i z e i s i n c r e a s e d t o 1 0 0 0 ? T h e n c h e c k i n g 1 0 %

    m e a n s t e s t i n g 1 0 0 i n d i v i d u a l s , w h i c h s t a r t s t o s e e m l e s s l i k e f u n a n d m o r e

    l i k e h a r d w o r k . I f t h e n u m b e r o f i n d i v i d u a l s t h a t m u s t b e t e s t e d b y a T N B

    r u l e g o e s u p l i n e a r l y w i t h t h e t o t a l p o p u l a t i o n s i z e ( w h i c h i t w i l l d o o f c o u r s e

    i f C i s a p e r c e n t a g e , r a t h e r t h a n a c a r d i n a l n u m b e r ) , t h e s e r u l e s m a y n o t e n d

  • 7/30/2019 adaptive caching

    13/18

    0

    20

    40

    60

    80

    100

    0 20 40 60 80 100

    Averagemateposition

    Number of possibilities checked

    F i g u r e 3 : A v e r a g e p o s i t i o n a t w h i c h a m a t e i s s e l e c t e d ( b a r s s h o w o n e s t a n -

    d a r d d e v i a t i o n ) , g i v e n d i e r e n t n u m b e r o f m a t e s c h e c k e d r s t b e f o r e t a k i n g

    t h e n e x t b e s t , o u t o f 1 0 0 t o t a l p o s s i b l e m a t e s .

    u p b e i n g s o \ f a s t a n d f r u g a l , " a t l e a s t f o r l a r g e r p o p u l a t i o n s , a f t e r a l l .

    B u t F i g u r e 4 , t e s t i n g T N B r u l e s i n a p o p u l a t i o n o f 1 0 0 0 p o t e n t i a l m a t e s

    w i t h m a t e v a l u e s f r o m 0 t o 1 0 0 0 ( w i t h p o s s i b l e d u p l i c a t e s ) , s h o w s t h a t o u r

    f e a r s o f l i n e a r t i m e i n c r e a s e a r e u n w a r r a n t e d . A s b e f o r e , t h e g r e a t e s t c h a n c e

    o f p i c k i n g t h e s i n g l e h i g h e s t - v a l u e m a t e ( o r b i g g e s t d o w r y ) c o m e s f r o m r s t

    c h e c k i n g 2 5 - 3 0 % o f t h e p o p u l a t i o n . B u t t o m a x i m i z e t h e c h a n c e s o f p i c k i n g a

    m a t e i n t h e t o p 1 0 % ( w i t h a 9 5 % p r o b a b i l i t y ) , o n l y 3 % o f t h e p o t e n t i a l m a t e s

    n e e d t o b e c h e c k e d r s t t o n d D ; a n d f o r a m a t e i n t h e t o p 2 5 % ( w i t h a

    9 8 % p r o b a b i l i t y ) , o n l y 1 % o f t h e p o t e n t i a l m a t e s n e e d b e c h e c k e d . S i m i l a r l y ,

    t o m i n i m i z e t h e c h a n c e s ( t o 0 . 4 % ) o f c h o o s i n g a r o t t e n m a t e i n t h e b o t t o m

    2 5 % , o n l y 1 % o f p o p u l a t i o n n e e d s t o b e c h e c k e d . A n d n a l l y , t o m a x i m i z e

    t h e a c t u a l m e a n v a l u e o f t h e s e l e c t e d m a t e , o n l y 3 % o f t h e p o p u l a t i o n s h o u l d

    b e c h e c k e d , a s s h o w n i n F i g u r e 5 .

    T h u s , t o m a x i m i z e p o t e n t i a l m a t e v a l u e a n d m i n i m i z e r i s k i n t h i s p o p u -

    l a t i o n o f 1 0 0 0 p o t e n t i a l m a t e s , s o m e w h e r e b e t w e e n 1 % a n d 3 % o f t h e p o p -

    u l a t i o n , o r 1 0 a n d 3 0 i n d i v i d u a l s , s h o u l d b e r s t c h e c k e d t o c o m e u p w i t h

    t h e t a r g e t v a l u e f o r D I n t h e p r e v i o u s p o p u l a t i o n o f 1 0 0 i n d i v i d u a l s , a l s o

    c h e c k i n g a b o u t 1 0 o f t h e m r e s u l t e d i n t o p s e a r c h p e r f o r m a n c e a l o n g t h e s e

    c r i t e r i a . S o d e s p i t e t h e t e n f o l d i n c r e a s e i n p o p u l a t i o n s i z e , t h e n u m b e r o f

    i n d i v i d u a l s t o c h e c k h a s i n c r e a s e d o n l y s l i g h t l y . T h i s s u g g e s t s t h a t o u r T N B

  • 7/30/2019 adaptive caching

    14/18

    0

    20.00

    40.00

    60.00

    80.00

    100.00

    0 200 400 600 800 1000

    Percentofmatesineachcategory

    Number of possibilities checked

    Top 25%Top 10%

    Top 1Bottom 25%

    F i g u r e 4 : C h a n c e o f n d i n g a m a t e i n a p a r t i c u l a r c a t e g o r y , g i v e n d i e r e n t

    n u m b e r o f m a t e s c h e c k e d r s t b e f o r e t a k i n g t h e n e x t b e s t , o u t o f 1 0 0 0 t o t a l

    p o s s i b l e m a t e s . N o t e t h a t a s m a l l e r p e r c e n t a g e o f p o t e n t i a l m a t e s n e e d n o w

    b e c h e c k e d t o m a x i m i z e t h e c h a n c e s o f g e t t i n g a t o p m a t e .

    r u l e s c a n b e s i m p l i e d , s o t h a t i n s t e a d o f r e q u i r i n g t h a t C % o f t h e p o p u l a t i o n

    i s c h e c k e d t o c o m e u p w i t h a v a l u e f o r D n o w o n l y C { a n u m b e r i n d e p e n d e n t

    o f p o p u l a t i o n s i z e o v e r a w i d e r a n g e , f o r i n s t a n c e C = 1 2 ( \ T a k e a d o z e n " )

    f o r p o p u l a t i o n s i z e s f r o m 1 0 0 t o 1 0 0 0 o r s o { n e e d b e c h e c k e d . F u r t h e r m o r e ,

    t h i s a n s w e r s t h e c r i t i c i s m s o f t h e 3 7 % r u l e r a i s e d a t t h e e n d o f t h e l a s t s e c -

    t i o n : a s i m p l e s e q u e n t i a l s e a r c h r u l e t h a t p e r f o r m s b e t t e r t h a n t h e 3 7 % r u l e

    i n s e v e r a l a s p e c t s d o e s i n d e e d e x i s t , a n d i t d o e s n o t n e e d k n o w l e d g e o f t h e

    t o t a l p o p u l a t i o n s i z e , n o r r e q u i r e t h a t a n i n o r d i n a t e n u m b e r o f i n d i v i d u a l s

    b e c h e c k e d b e f o r e a c h o i c e c a n b e m a d e . F i n a l l y , t h e s e r e s u l t s i n d i c a t e t h a t

    F r e y a n d E i c h e n b e r g e r ' s ( 1 9 9 6 ) p e s s i m i s m o v e r s h o r t - s e a r c h i n g h u m a n s e v e r

    n d i n g t h e i r i d e a l m a t e m a y b e u n f o u n d e d : e v e n a l i t t l e b i t o f s e a r c h m a y

    g o a l o n g w a y .

    4 F u r t h e r d i r e c t i o n s

    O f c o u r s e , w e h a v e l e f t m u c h o u t o f t h i s d i s c u s s i o n o f m a t e s e a r c h . I n f o c u s i n g

    o n t h e p r o c e s s e s b y w h i c h o n e i n d i v i d u a l c a n n d h i s o r h e r s e m i - i d e a l m a t e ,

    w e h a v e n e g l e c t e d a l l a s p e c t s o f m u t u a l c h o i c e . B e i n g a b l e t o h a v e a h i g h

  • 7/30/2019 adaptive caching

    15/18

    0

    200

    400

    600

    800

    1000

    0 200 400 600 800 1000

    Averagematevalue

    Number of possibilities checked

    F i g u r e 5 : A v e r a g e v a l u e o f s e l e c t e d m a t e ( b a r s i n d i c a t e o n e s t a n d a r d d e v i -

    a t i o n ) , g i v e n d i e r e n t n u m b e r o f m a t e s c h e c k e d r s t b e f o r e t a k i n g t h e n e x t

    b e s t , o u t o f 1 0 0 0 t o t a l p o s s i b l e m a t e s . N o t e t h a t a s m a l l e r p e r c e n t a g e o f

    p o t e n t i a l m a t e s n e e d n o w b e c h e c k e d t o m a x i m i z e t h e a v e r a g e s e l e c t e d m a t e

    v a l u e .

    p r o b a b i l i t y o f n d i n g a g o o d - q u a l i t y m a t e q u i c k l y i s c e r t a i n l y i m p o r t a n t ; b u t

    i n o u r s p e c i e s a t l e a s t , t h a t i s u s u a l l y o n l y h a l f t h e b a t t l e . W e m u s t a l s o w o r r y

    a b o u t b e i n g c h o s e n b y t h e o t h e r i n d i v i d u a l i n r e t u r n ( a s e m p h a s i z e d i n t h e

    m a t e - c h o i c e - a s - c o l l e g e - a p p l i c a t i o n s c e n a r i o ) . T h i s i s t h e t w o - s i d e d m a t c h i n g

    s i t u a t i o n o f G a l e & S h a p l e y , 1 9 6 2 , a n d R o t h & S o t o m a y o r , 1 9 9 0 , w h i c h m u s t

    b e c o m b i n e d w i t h t h e l i m i t e d - k n o w l e d g e c o s t l y - s e a r c h s i t u a t i o n w e h a v e a d -

    d r e s s e d h e r e . W e c a n ( a n d w i l l ) e x a m i n e t h e m u t u a l c h o i c e b e h a v i o r o f T N B

    r u l e s b y i n c o r p o r a t i n g t h e m i n t o a w h o l e p o p u l a t i o n o f m a t e - s e a r c h i n g i n d i -

    v i d u a l s a n d r e c o r d i n g t h e n u m b e r o f i t e r a t i o n s i t t a k e s f o r e v e r y o n e i n t h e

    p o p u l a t i o n t o e i t h e r g e t m a t c h e d u p o r f a i l t o n d a m a t e . W e w i l l c o m p a r e

    t h i s b e h a v i o r t o t h a t o f a n o p t i m a l m a t c h i n g r u l e l i k e t h e G a l e - S h a p l e y a l g o -

    r i t h m i n t e r m s o f p o p u l a t i o n s t a b i l i t y , n u m b e r o f u n m a t e d i n d i v i d u a l s , a n d

    t i m e t o s e t t l e . I t m a y b e t h a t a s i m p l e , f a s t a n d f r u g a l a l g o r i t h m l i k e T N B

    c a n o u t p e r f o r m o t h e r s a l o n g i m p o r t a n t d i m e n s i o n s s u c h a s t h e s e .

    B u t t h i s i s a n o t h e r i s s u e w e m u s t a d d r e s s : w h a t a r e t h e m o s t i m p o r t a n t

    d i m e n s i o n s o v e r w h i c h s e a r c h a l g o r i t h m s l i k e t h e s e s h o u l d b e c o m p a r e d ? H e r e

    w e h a v e a r g u e d t h a t n d i n g t h e a b s o l u t e b e s t i n d i v i d u a l i n a p o p u l a t i o n i s

    n o t n e c e s s a r i l y t h e m o s t a d a p t i v e g o a l , i f t h e s e a r c h t i m e , o r m e a n m a t e

  • 7/30/2019 adaptive caching

    16/18

    v a l u e , o r d i s t r i b u t i o n o f m a t e v a l u e s , c a n b e i m p r o v e d u p o n . B u t w e n e e d

    t o s u p p o r t t h i s c l a i m . O n e w a y t o a p p r o a c h t h i s p r o b l e m i s t o c r e a t e e v o -

    l u t i o n a r y s i m u l a t i o n s i n w h i c h d i e r e n t a l g o r i t h m s c o m p e t e w i t h e a c h o t h e r

    f o r m a t e s a n d o s p r i n g , a n d s e e w h i c h t y p e s o f a l g o r i t h m s w i n o u t o v e r t i m e .

    T h i s a p p r o a c h , t h o u g h , w i l l o n l y s u c c e e d i n t e l l i n g u s s o m e t h i n g a b o u t r e a l

    e v o l v e d h u m a n ( o r a n i m a l ) b e h a v i o r t o t h e e x t e n t t h a t w e s u c c e s s f u l l y i n c o r -

    p o r a t e t h e r e l e v a n t e c o l o g i c a l d e t a i l s ( o f h o w m a t e v a l u e m a p s o n t o n u m b e r

    o f o s p r i n g , f o r i n s t a n c e ) i n t o o u r m o d e l .

    A n o t h e r a p p r o a c h t o t h i s q u e s t i o n i s t o s t u d y t h e a c t u a l e v o l v e d s e a r c h

    b e h a v i o r t h a t h u m a n s a n d o t h e r a n i m a l s u s e , a s o t h e r s h a v e d o n e i n d i e r e n t

    s e t t i n g s ( e . g . H e y , 1 9 8 2 , 1 9 8 7 ; H a r r i s o n & M c C a b e , 1 9 9 6 ; M a r t i n & M o o n ,

    1 9 9 2 ; R a p o p o r t & T v e r s k y , 1 9 7 0 ; S e t h u r a m a n , C o l e , & J a i n , 1 9 9 4 ; A l a t a l o ,

    C a r l s o n , & L u n d b e r g , 1 9 8 8 ) . W e a r e i n t e r e s t e d i n p u r s u i n g t h i s l i n e o f e v i -

    d e n c e a s w e l l , b u t t h e r e i s a l w a y s t h e c o n c e r n t h a t e x p e r i m e n t a l s i t u a t i o n s

    m a y n o t t a p i n t o t h e m e n t a l m e c h a n i s m s u s e d i n r e a l - w o r l d b e h a v i o r . A l t e r -

    n a t i v e l y , w e c a n l o o k f o r e v i d e n c e o f d i e r e n t s e a r c h a l g o r i t h m s i n t h e r e a l

    o b s e r v e d m a t e s e a r c h b e h a v i o r o f p e o p l e a n d o t h e r a n i m a l s ; w e a r e c u r r e n t l y

    e x p l o r i n g t h e o p t i o n s o f e x i s t i n g m a t e s e a r c h d a t a b a s e s .

    B u t o u r m a i n g o a l w i l l c o n t i n u e t o b e t o s e e k s i m p l e b u t e e c t i v e p o s -

    s i b l e m e n t a l a l g o r i t h m s f o r t h e m a t e s e a r c h t a s k , a n d t e s t t h e s e a l g o r i t h m s

    t h r o u g h s i m u l a t i o n i n a v a r i e t y o f m a t e p o p u l a t i o n e n v i r o n m e n t s . I n t h i s

    w a y , w e h o p e t o d i s c o v e r f u r t h e r \ f a s t a n d f r u g a l " a l g o r i t h m s , l i k e t h e c l a s s

    o f T N B r u l e s w e h a v e p r e s e n t e d h e r e , t h a t p r o d u c e a d a p t i v e b e h a v i o r w i t h a

    m i n i m u m o f i n f o r m a t i o n a n d c o m p u t a t i o n . F i n d i n g a g o o d - e n o u g h m a t e , a s

    m a k i n g a v a r i e t y o f c h o i c e s , d o e s n o t r e q u i r e o p t i m a l a n d e x p e n s i v e c o g n i t i v e

    a l g o r i t h m s . W h e t h e r h o p i n g f o r a r i p e t o m a t o , a w i l l i n g c o l l e g e , o r a v a s t

    d o w r y , i t m a y n o t t a k e m u c h t o g e t t h e n e x t b e s t t h i n g .

    A c k n o w l e d g m e n t s

    T h a n k s t o R o n T o d d , G e o r e y M i l l e r , D a v i d K . S m i t h , a n d t h e m e m b e r s

    o f t h e C e n t e r f o r A d a p t i v e B e h a v i o r a n d C o g n i t i o n ( A B C ) i n M u n i c h f o r

    h e l p f u l c o m m e n t s o n t h i s w o r k .

  • 7/30/2019 adaptive caching

    17/18

    R e f e r e n c e s

    A l a t a l o , R . V . , C a r l s o n , A . , & L u n d b e r g , A . ( 1 9 8 8 ) . T h e s e a r c h c o s t i n m a t e

    c h o i c e o f t h e p i e d y c a t c h e r . A n i m a l B e h a v i o u r , 3 6 ( 1 ) , 2 8 9 - 2 9 1 .

    A n d e r s s o n , M . ( 1 9 9 4 ) . S e x u a l s e l e c t i o n . P r i n c e t o n , N J : P r i n c e t o n U n i v e r s i t y

    P r e s s .

    B a t e s o n , P . P . G . ( E d . ) ( 1 9 8 3 ) . M a t e c h o i c e . C a m b r i d g e , U K : C a m b r i d g e U n i -

    v e r s i t y P r e s s .

    B e c k e r , G . ( 1 9 9 1 ) . A t r e a t i s e o n t h e f a m i l y . C a m b r i d g e , M A : H a r v a r d U n i v e r s i t y

    P r e s s .

    B u s s , D . M . ( 1 9 9 4 ) . T h e e v o l u t i o n o f d e s i r e : S t r a t e g i e s o f h u m a n m a t i n g . N e w

    Y o r k : B a s i c B o o k s .

    C o r b i n , R . M . ( 1 9 8 0 ) . T h e s e c r e t a r y p r o b l e m a s a m o d e l o f c h o i c e . J o u r n a l o f

    M a t h e m a t i c a l P s y c h o l o g y , 2 1 ( 1 ) , 1 - 2 9 .

    C r o n i n , H . ( 1 9 9 1 ) . T h e a n t a n d t h e p e a c o c k : A l t r u i s m a n d s e x u a l s e l e c t i o n f r o m

    D a r w i n t o t o d a y . C a m b r i d g e , U K : C a m b r i d g e U n i v e r s i t y P r e s s .

    D a r w i n , C . ( 1 8 7 1 ) . T h e d e s c e n t o f m a n , a n d s e l e c t i o n i n r e l a t i o n t o s e x ( 2 v o l s . ) .

    L o n d o n : J o h n M u r r a y .

    F e r g u s o n , T . S . ( 1 9 8 9 ) . W h o s o l v e d t h e s e c r e t a r y p r o b l e m ? S t a t i s t i c a l S c i e n c e ,

    4 2 8 2 - 2 9 6 .

    F r e y , B . S . , & E i c h e n b e r g e r , R . ( 1 9 9 6 ) . M a r r i a g e p a r a d o x e s . R a t i o n a l i t y a n d

    S o c i e t y , 8 ( 2 ) , 1 8 7 - 2 0 6 .

    G a l e , D . , & S h a p l e y , L . ( 1 9 6 2 ) . C o l l e g e a d m i s s i o n s a n d t h e s t a b i l i t y o f m a r r i a g e .

    A m e r i c a n M a t h e m a t i c a l M o n t h l y , 6 9 , 9 - 1 5 .

    G i a n i n i - P e t t i t t , J . ( 1 9 7 9 ) . O p t i m a l s e l e c t i o n b a s e d o n r e l a t i v e r a n k s w i t h a

    r a n d o m n u m b e r o f i n d i v i d u a l s . A d v a n c e s i n A p p l i e d P r o b a b i l i t y , 1 1 , 7 2 0 - 7 3 6 .

    G i g e r e n z e r , G . , & G o l d s t e i n , D . ( 1 9 9 6 ) . R e a s o n i n g t h e f a s t a n d f r u g a l w a y :

    M o d e l s o f b o u n d e d r a t i o n a l i t y . P s y c h o l o g i c a l R e v i e w , 1 0 3 ( 4 ) , 6 5 0 - 6 6 9 .

    G i l b e r t , J . P , a n d M o s t e l l e r , F . ( 1 9 6 6 ) . R e c o g n i z i n g t h e m a x i m u m o f a s e q u e n c e .

    A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n J o u r n a l , 6 1 , 3 5 - 7 3 .

    H a r r i s o n , G . W . , & M c C a b e , K . A . ( 1 9 9 6 ) . S t a b i l i t y a n d p r e f e r e n c e d i s t o r t i o n

    i n r e s o u r c e m a t c h i n g : A n e x p e r i m e n t a l s t u d y o f t h e m a r r i a g e p r o b l e m . I n

    R . M . I s a a c ( E d . ) , R e s e a r c h i n e x p e r i m e n t a l e c o n o m i c s , v o l . 8 . G r e e n w i c h :

    J A I P r e s s .

    H e y , J . D . ( 1 9 8 2 ) . S e a r c h f o r r u l e s f o r s e a r c h . J o u r n a l o f E c o n o m i c B e h a v i o r

    a n d O r g a n i z a t i o n , 3 , 6 5 - 8 1 .

    H e y , J . D . ( 1 9 8 7 ) . S t i l l s e a r c h i n g . J o u r n a l o f E c o n o m i c B e h a v i o r a n d O r g a n i -

    z a t i o n , 8 , 1 3 7 - 1 4 4 .

    M a r t i n , A . , & M o o n , P . ( 1 9 9 2 ) . P u r c h a s i n g d e c i s i o n s , p a r t i a l k n o w l e d g e , a n d

    e c o n o m i c s e a r c h : E x p e r i m e n t a l a n d s i m u l a t i o n e v i d e n c e . J o u r n a l o f B e h a v -

    i o r a l D e c i s i o n M a k i n g , 5 ( 4 ) , 2 5 3 - 2 6 6 .

    M i l l e r , G . F . ( i n p r e s s ) . S e x u a l s e l e c t i o n i n h u m a n e v o l u t i o n : R e v i e w a n d

    p r o s p e c t s . T o a p p e a r i n C . C r a w f o r d & D . K r e b s ( E d s . ) , E v o l u t i o n a n d

    h u m a n b e h a v i o r : I d e a s , i s s u e s , a n d a p p l i c a t i o n s . M a h w a h , N J : L a w r e n c e

    E r l b a u m .

  • 7/30/2019 adaptive caching

    18/18

    M i l l e r , G . F . , & T o d d , P . M . ( 1 9 9 5 ) . T h e r o l e o f m a t e c h o i c e i n b i o c o m p u t a t i o n :

    S e x u a l s e l e c t i o n a s a p r o c e s s o f s e a r c h , o p t i m i z a t i o n , a n d d i v e r s i c a t i o n . I n

    W . B a n z h a f & F . H . E e c k m a n ( E d s . ) , E v o l u t i o n a n d b i o c o m p u t a t i o n : C o m -

    p u t a t i o n a l m o d e l s o f e v o l u t i o n . ( L e c t u r e n o t e s i n c o m p u t e r s c i e n c e 8 9 9 , p p .

    1 6 9 - 2 0 4 . ) B e r l i n : S p r i n g e r - V e r l a g .

    M o s t e l l e r , F . ( 1 9 8 7 ) . F i f t y c h a l l e n g i n g p r o b l e m s i n p r o b a b i l i t y w i t h s o l u t i o n s .

    N e w Y o r k : D o v e r . ( R e p r i n t o f t h e 1 9 6 5 A d d i s o n - W e s l e y e d i t i o n . )

    P o m i a n k o w s k i , A . ( 1 9 8 7 ) . T h e c o s t s o f c h o i c e i n s e x u a l s e l e c t i o n . J o u r n a l o f

    T h e o r e t i c a l B i o l o g y , 1 2 8 , 1 9 5 - 2 1 8 .

    Q u i n e , M . P . , a n d L a w , J . S . ( 1 9 9 6 ) . E x a c t r e s u l t s f o r a s e c r e t a r y p r o b l e m . J o u r -

    n a l o f A p p l i e d P r o b a b i l i t y , 3 3 , 6 3 0 - 6 3 9 .

    R a p o p o r t , A . , & T v e r s k y , A . ( 1 9 7 0 ) . C h o i c e b e h a v i o u r i n a n o p t i m a l s t o p p i n g

    t a s k . O r g a n i z a t i o n a l B e h a v i o u r a n d H u m a n P e r f o r m a n c e , 5 , 1 0 5 - 1 2 0 .

    R i d l e y , M . ( 1 9 9 3 ) . T h e r e d q u e e n : S e x a n d t h e e v o l u t i o n o f h u m a n n a t u r e .

    L o n d o n : V i k i n g .

    R o t h , A . E . , & S o t o m a y o r , M . ( 1 9 9 0 ) . T w o - s i d e d m a t c h i n g : A s t u d y i n g a m e -

    t h e o r e t i c m o d e l i n g a n d a n a l y s i s . C a m b r i d g e , U K : C a m b r i d g e U n i v e r s i t y

    P r e s s .

    S e t h u r a m a n , R . , C o l e , C . , & J a i n , D . ( 1 9 9 4 ) . A n a l y z i n g t h e e e c t o f i n f o r m a t i o n

    f o r m a t a n d t a s k o n c u t o s e a r c h s t r a t e g i e s . J o u r n a l o f C o n s u m e r P s y c h o l o g y

    3 ( 2 ) , 1 0 3 - 1 3 6 .

    S u l l i v a n , M . S . ( 1 9 9 4 ) . M a t e c h o i c e a s a n i n f o r m a t i o n g a t h e r i n g p r o c e s s u n -

    d e r t i m e c o n s t r a i n t : I m p l i c a t i o n s f o r b e h a v i o u r a n d s i g n a l d e s i g n . A n i m a l

    B e h a v i o u r , 4 7 ( 1 ) , 1 4 1 - 1 5 1 .

    T o d d , P . M . , & M i l l e r , G . F . ( 1 9 9 3 ) . P a r e n t a l g u i d a n c e s u g g e s t e d : H o w p a r e n t a l

    i m p r i n t i n g e v o l v e s t h r o u g h s e x u a l s e l e c t i o n a s a n a d a p t i v e l e a r n i n g m e c h a -

    n i s m . A d a p t i v e B e h a v i o r , 2 ( 1 ) , 5 - 4 7 .

    T o d d , P . M . , & M i l l e r , G . F . ( i n p r e s s ) . B i o d i v e r s i t y t h r o u g h s e x u a l s e l e c t i o n .

    T o a p p e a r i n C . L a n g t o n ( E d . ) , A r t i c i a l L i f e V . C a m b r i d g e , M A : M I T

    P r e s s / B r a d f o r d B o o k s .