Howard Rachlin - A Molar Theory of Reinforcement Schedules

8/13/2019 Howard Rachlin - A Molar Theory of Reinforcement Schedules

1/16

JOURNAL OF THE EXPERIMENTAL ANALYSIS OF BEHAVIOR

A MOLAR THEORY OF REINFORCEMENT SCHEDULESHOWARD R A C H L I N 1S T A T E U N I V E R S I T Y O F NEW YORK AT S T O N Y BROOK

B e h a v i o r o f s u b j e c t s e x p o s e d t o c o n c u r r e n t a n d i n d i v i d u a l i n t e r v a l a n d r a t i o s c h e d u l e s o fr e i n f o r c e m e n t may b e d e s c r i b e d i n t e r m s o f a s e t o f e x p r e s s i o n s r e l a t i n g t h e v a l u e o f r e -s p o n s e s t o t h e i r d u r a t i o n s , a f e e d b a c k e q u a t i o n r e l a t i n g r e i n f o r c e m e n t t o r e s p o n s e d u r a t i o n ,a n d t h e a s s u m p t i o n t h a t s u b j e c t s a l l o c a t e t h e i r t i m e among v a r i o u s r e s p o n s e s s o a s t om a x i m i z e v a l u e .K e y w o r d s : m o l a r , r e i n f o r c e m e n t , e c o n o m i c s , f e e d b a c k , c o n c u r r e n t s c h e d u l e s , i n t e r v a ls c h e d u l e s , r a t i o s c h e d u l e s

B e h a v i o r o f s u b j e c t s e x p o s e d t o v a r i o u s c o n -c u r r e n t a n d i n d i v i d u a l s c h e d u l e s o f r e i n -f o r c e m e n t may b e m e a s u r e d a n d d e s c r i b e d i ns e v e r a l w a y s . T h i s p a p e r c o n s i d e r s t h e i m p l i -c a t i o n s o f o n e s y s t e m o f m e a s u r e m e n t a n dd e s c r i p t i o n . I t h a s t h e f o l l o w i n g c h a r a c t e r -i s t i c s :1 . B e h a v i o r i s m e a s u r e d t e m p o r a l l y . (Bauma n d R a c h l i n , 1 9 6 9 ; P r e m a c k , 1 9 6 5 ) . T h a t i s ,t i m e ( r a t h e r t h a n r a t e ) o f r e s p o n s e o r r e i n -f o r c e m e n t i s t h e m e a s u r e o f d e p e n d e n t a n di n d e p e n d e n t v a r i a b l e s . Time m e a s u r e s may b ec o n v e r t e d d i r e c t l y t o r a t e m e a s u r e s i f t h e d u -r a t i o n o f e a c h r e s p o n s e i s k n o w n . The a d v a n -t a g e o f t i m e m e a s u r e s i s t h a t t h e t i m e o f o n er e s p o n s e a n d a n o t h e r a r e c o m m e n s u r a t e a n dc o n v e r s i o n c o n s t a n t s , o t h e r w i s e n e c e s s a r y , c a nb e e l i m i n a t e d f r o m e q u a t i o n s r e l a t i n g o n e r e -s p o n s e t o a n o t h e r .

2 . O n l y t h r e e c l a s s e s o f b e h a v i o r a r e o b -s e r v e d a n d m e a s u r e d : I , t h e i n s t r u m e n t a l r e -s p o n s e ; C , t h e c o n t i n g e n t r e s p o n s e ( o r r e i n -f o r c e m e n t ) ; N , a l l o t h e r b e h a v i o r , c o n s i d e r e da s a s i n g l e v a r i a b l e . Th e t h r e e c l a s s e s a r e a r -r a n g e d t o b e m u t u a l l y e x c l u s i v e . I n t h e u s u a lo p e r a n t s i t u a t i o n w i t h p i g e o n s , f o r i n s t a n c e ,t h e p i g e o n c a n n o t p e c k a k e y ( I ) a n d consumeg r a i n ( C ) a t t h e s a m e t i m e . Th e o t h e r b e h a v -i o r ( N ) i s e x c l u s i v e b y d e f i n i t i o n .3 . A s c h e d u l e o f r e i n f o r c e m e n t i s c h a r a c t e r -i z e d b y a f e e d b a c k f u n c t i o n : C = f ( I ) , w h i c hd e s c r i b e s t h e r e i n f o r c e m e n t o b t a i n e d a s r e -s p o n d i n g i s v a r i e d ( B a u m , 1 9 7 3 ) .4 . A l l r e s p o n s e s h a v e v a l u e s . Th e v a l u e o fa r e s p o n s e i s a f u n c t i o n o f i t s d u r a t i o n a n dt h e v a l u e o f a g r o u p o f r e s p o n s e s i s a f u n c t i o n

o f t h e v a l u e s o f t h e r e s p o n s e s c o m p r i s i n g t h eg r o u p . T h u s ,V C = f ( C )V I = f ( I )V N = f ( N )

a n dV C , I N = f ( V c , V I , V N ) -

T h e F e e d b a c k F u n c t i o nA l t h o u g h i t m i g h t s e e m a s t h o u g h a f e e d -b a c k f u n c t i o n ( t h e f u n c t i o n r e l a t i n g r e s p o n d -

i n g t o t h e r e i n f o r c e m e n t o b t a i n e d b y t h a t r e -s p o n d i n g ) s h o u l d b e a f i x e d c h a r a c t e r i s t i c o fa s c h e d u l e ( a n i n d e p e n d e n t v a r i a b l e ) , i n f a c ti t i s n o t c o m p l e t e l y i n d e p e n d e n t o f b e h a v i o r .The r e a s o n f o r t h i s i s t h a t t h e f e e d b a c k f u n c -t i o n a s d e f i n e d a b o v e a p p l i e s t o m o l a r , t e m p o -r a l a s p e c t s o f b e h a v i o r , w h e r e a s m o s t s c h e d u l e so f r e i n f o r c e m e n t a r e a r r a n g e d t o b e s e n s i -t i v e t o a m o l e c u l a r a s p e c t - i . e . , a n i n d i v i d u a lr e s p o n s e m e a s u r e d a s a n i n s t a n t a n e o u s e v e n t .T h u s , t h e f e e d b a c k f u n c t i o n d e p e n d s o n t h ei n t e r r e s p o n s e - t i m e ( I R T ) d i s t r i b u t i o n uponw h i c h t h e s c h e d u l e a c t s . To c o m p l i c a t e t h ea n a l y s i s f u r t h e r , t h e r e i s s o m e e v i d e n c e t h a tt h e IRT d i s t r i b u t i o n c h a n g e s i n t h e c o u r s e o ft r a i n i n g . A t t h e b e g i n n i n g o f t r a i n i n g , w i t h av a r i a b l e - i n t e r v a l s c h e d u l e , t h e IRT d i s t r i b u -

' T h e a u t h o r t h a n k s J o h n G i b b o n a n d J o h n S t a d d o nf o r many h e l p f u l comments a n d c r i t i c i s m s . P r e p a r a t i o no f t h e p a p e r w a s s u p p o r t e d b y a g r a n t f r o m t h e N a -t i o n a l S c i e n c e F o u n da t i o n . R e p r i n t s may b e o b t a i n e df r o m Howard R ac h l i n , P s yc h o l o g y D e p a r t m e n t , S t a t eU n i v e r s i t y o f Ne w Y o r k , S t o n y B r o o k , Ne w Y o r k 1 1 7 9 4 .3 4 5

1 9 7 8 , 3 0 , 3 4 5 - 3 6 0 NUMBER 3 ( N O V E M B E R )


2/16

HOWARD RACHLINt i o n a n d t h e d i s t r i b u t i o n o f r e s p o n s e p r o b a -b i l i t i e s ( I R T s p e r o p p o r t u n i t y ) , u s u a l l y r e -f l e c t r a n d o m r e s p o n d i n g . B u t a t a s y m p t o t e ,t h e s e d i s t r i b u t i o n s c l e a r l y d e v i a t e f r o m t h o s et h a t w o u l d b e o b t a i n e d i f r e s p o n d i n g w e r er a n d o m i n t i m e ( A n g e r , 1 9 5 6 , M c G i l l , 1 9 6 3 ,S h i m p , 1 9 6 7 ) .R e g a r d l e s s o f t h e a c t u a l a s y m p t o t i c f u n c -t i o n , we c a n s t i l l e x a m i n e t h e m o l a r c h a r -a c t e r i s t i c s o f v a r i o u s s c h e d u l e s a n d s e l e c t af e e d b a c k f u n c t i o n t h a t w o u l d p r o d u c e t h e s ec h a r a c t e r i s t i c s . W i t h r e s p e c t t o v a r i a b l e - i n t e r -v a l s c h e d u l e s , t h e f e e d b a c k f u n c t i o n s h o u l dh a v e t h e f o l l o w i n g c h a r a c t e r i s t i c s :

( a ) When r e s p o n d i n g i s z e r o , r e i n f o r c e m e n ts h o u l d b e z e r o .( b ) A s r e s p o n d i n g i n c r e a s e s , r e i n f o r c e m e n ts h o u l d i n c r e a s e m o n o t o n i c a l l y .( c ) A s r e s p o n d i n g a p p r o a c h e s i t s m a x i m u m ,r e i n f o r c e m e n t s h o u l d a p p r o a c h t h e l e v e lp r o g r a m m e d b y t h e v a r i a b l e - i n t e r v a ls c h e d u l e .( d ) Th e r a t e o f i n c r e a s e o f r e i n f o r c e m e n tw i t h r e s p o n d i n g s h o u l d b e a d e c r e a s i n gf u n c t i o n o f t h e l e v e l o f r e s p o n d i n g . I no t h e r w o r d s , a s r e s p o n d i n g i n c r e a s e sf r o m z e r o , r e i n f o r c e m e n t s h o u l d i n -c r e a s e r a p i d l y t o a h i g h p r o p o r t i o n o fi t s maximum. B u t t h e r a t e o f i n c r e a s es h o u l d t h e r e a f t e r d e c r e a s e .

A s i m p l e f u n c t i o n t h a t h a s t h e s e p r o p e r t i e si s t h e p o w e r f u n c t i o n :C=aIm, ( 1 )

w h e r e I i s t h e f r a c t i o n o f t h e s e s s i o n s p e n t r e -s p o n d i n g a n d c a n v a r y f r o m z e r o t o 1 . 0 . W i t hv a r i a b l e - i n t e r v a l s c h e d u l e s , 0


3/16

REINFORCEMENT SCHEDULESs u m e t h a t m i s u s u a l l y c o n s t a n t a c r o s s v a r i o u sv a r i a b l e - i n t e r v a l s c h e d u l e s b u t may b e a l t e r e db y a l t e r i n g t h e d i s t r i b u t i o n o f p r o g r a m m e dr e i n f o r c e m e n t s o r b y s u c h d e v i c e s a s i m p o s i n ga c h a n g e o v e r d e l a y ( a d e l a y b e t w e e n c h a n g -i n g o v e r f r o m o n e r e s p o n s e t o t h e o t h e r a n dt h e s o o n e st p o s s i b l e r e i n f o r c e m e n t ) w i t h c o n -c u r r e n t v a r i a b l e - i n t e r v a l s c h e d u l e s . S e e A p p e n -d i x I f o r a f u r t h e r d i s c u s s i o n o f t h e s e p o i n t s .A f e w e x a m p l e s w i l l c l a r i f y t h e a p p l i c a t i o no f E q u a t i o n 1 t o a c t u a l s c h e d u l e s o f r e i n f o r c e -m e n t . With v a r i a b l e - r a t i o ( V R ) s c h e d u l e s , C ,t h e c o n t i n g e n t r e s p o n s e , i s d i r e c t l y p r o p o r -t i o n a l t o I , t h e i n s t r u m e n t a l r e s p o n s e . I nE q u a t i o n 1 , s u c h p r o p o r t i o n a l i t y i s o b t a i n e dw i t h m= 1 . F o r i n s t a n c e , w i t h a VR 1 0 s c h e d -

u l e , 1 0 r e s p o n s e s a r e r e q u i r e d , o n a v e r a g e , p e rr e i n f o r c e m e n t . S u p p o s e e a c h r e s p o n s e t a k e s0 . 2 5 s e c a n d r e i n f o r c e m e n t s a r e 4 s e c i n d u r a -t i o n . T h e n , w i t h m= 1 i n E q u a t i o n 1 a = C / I- 4 / ( 0 . 2 5 x 1 0 ) = 1 . 6 a n d C = 1 . 6 1 .W i t h a v a r i a b l e - i n t e r v a l ( V I ) s c h e d u l e , 0 1 c o r r e s p o n d t o c a s e sw h e r e t h e s u b j e c t s p e n d s m o r e t i m e c o n s u m -i n g r e i n f o r c e m e n t ( o u t s i d e t h e s e s s i o n ) t h a nt h e d u r a t i o n o f t h e s e s s i o n ( I + N = 1 ) i t s e l f .V a l u e

R a c h l i n a n d B u r k h a r d ( 1 9 7 8 ) h a v e e x a m -i n e d s e v e r a l v a l u e f u n c t i o n s . On e s e t o f f u n c -t i o n s , c a l l e d p o w e r - f u n c t i o n t h e o r y w a s h e l p -f u l i n e x p l a i n i n g s o m e d a t a w i t h humans u b j e c t s . We w i l l c o n s i d e r t h i s s e t o f f u n c t i o n sh e r e :vc= C xV I = I YVN= N' , ( 2 )

a n dV C , 1 , N =VC + V I + V N . ( 3 )

Th e e x p o n e n t s x , y , a n d z a r e i n d e p e n d e n t o ft h e e x p o n e n t , m . T h a t i s , t h e p o w e r - f u n c t i o nt h e o r y o f v a l u e i s i n d e p e n d e n t o f t h e a s s u m p -t i o n t h a t t h e f e e d b a c k f u n c t i o n i s a p o w e rf u n c t i o n . E q u a t i o n 2 c o u l d b e t r u e a n d E q u a -t i o n 1 , f a l s e o r v i c e - v e r s a .I n a d d i t i o n t o E q u a t i o n s 1 , 2 , a n d 3 , wea s s u m e t h a t a s y m p t o t i c b e h a v i o r d u r i n g a n ys c h e d u l e o f r e i n f o r c e m e n t i s a l l o c a t e d amongt h e t h r e e r e s p o n s e s , C , I , a n d N s o a s t om a x i m i z e t h e i r c o l l e c t i v e v a l u e .A p p l i c a t i o n t o C o n c u r r e n t S c h e d u l e s

A l t h o u g h c o n c u r r e n t s c h e d u l e s a r e , i n p r i n -c i p l e , more c o m p l i c a t e d t h a n t h e i n d i v i d u a ls c h e d u l e s o f w h i c h t h e y a r e c o m p o s e d , we c o n -s i d e r t h e m f i r s t b e c a u s e , w i t h c o n c u r r e n t s c h e d -u l e s , we may c o n f i n e o u r a t t e n t i o n t o r e l a t i v er a t h e r t h a n a b s o l u t e r a t e s o f r e s p o n s e ( H e r r n -

3 4 7


4/16

HOWARD RACHLINs t e i n , 1 9 6 1 ) . T h i s a l l o w s s e v e r a l s i m p l i f i c a t i o n sa n d i l l u s t r a t e s w e l l how t h e m o d e l o p e r a t e s .W i t h c o n c u r r e n t s c h e d u l e s , a s e s s i o n i s d i -v i d e d i n t o t h r e e p a r t s : r e s p o n d i n g on s c h e d -u l e - l ( I I ) , r e s p o n d i n g o n s c h e d u l e - 2 ( 1 2 ) , a n dn o t r e s p o n d i n g ( N ) . Th e r e i n f o r c e r s , C 1 a n dC 2 , o c c u r o u t s i d e o f t h e s e s s i o n . Th e v a l u e o ft h e s e r e s p o n s e s t o g e t h e r , a c c o r d i n g t o E q u a -t i o n s 2 a n d 3 i s :

V = ( C 1 + C 2 ) z + ( I ,+ 1 2 ) y + ( N ) s . ( 4 )S u b s t i t u t i n g C = a I m ( E q u a t i o n 1 ) a n d N = 1-1-I 2 ( a u n i t s e s s i o n ) ;V = ( a l I l m l + a 2 1 2 M 2 ) x + I 1 + I 2 ) + ( 1 I1-2).

We now c a n t a k e p a r t i a l d e r i v a t i v e s o f t h ea b o v e e x p r e s s i o n w i t h r e s p e c t t o I 1 a n d I 2 :

I= x ( a 1 1 - i m + a 2 I 1 m 2 ) - 1 * [ a 1 m I l m i - ]+ y ( l + I 1 2 ) - l - z ( 1 - 1112)1 0 V = x ( a 1 I 1 m i + a , 1 2 m 2 ) ~ l . * [ a 2 m I 2 l m 2 - l ]+ y ( I L + I 2 ) Y 1 - z ( 1 l1 2 ) .

Any p o i n t o f maximum v a l u e ( w e a r e a s s u m -i n g s u b j e c t s a l l o c a t e t i m e t o I , , I 2 , a n d N s oa s t o m a x i m i z e v a l u e ) w i l l b e w h e r e :v- v 0 .

( 9 1 1 - 0 1The t w o p a r t i a l d e r i v a t i v e s a r e i d e n t i c a l e x -c e p t f o r a s i n g l e t e r m i n e a c h ( t h e t e r m i nb r a c k e t s ) . T h e s e t e r m s m u s t e q u a l e a c h o t h e ra t a maximum:

a 1 m I l m i 7 l = a 2 m 2 1 2 m 2 -I l l - m l ml a l 5122 m 2 a 2S u b s t i t u t i n g a = Cl-m ( f r o m E q u a t i o n 1 ) i nE q u a t i o n 5 :

I = m l c 1 ( 6 )1 2 m 2 ( C 2E q u a t i o n 6 i s n o t n e c e s s a r i l y a maximums o l u t i o n o f E q u a t i o n 4 . R a t h e r , i t d e s c r i b e s as e t o f p o i n t s , among w h i c h a n y maximumm u s t l i e . T h u s , i f b e h a v i o r m a x i m i z e s v a l u ei t m u s t c o n f o r m t o E q u a t i o n 6 . B u t i f b e h a v -i o r c o n f o r m s t o E q u a t i o n 6 i t n e e d n o t m a x i -m i z e v a l u e . ( I t c a n b e s h o w n , h o w e v e r , b yt e c h n i q u e s s i m i l a r t o t h e a b o v e , t h a t E q u a -

t i o n 6 i s t h e o n l y maximum i f 1 1 + 1 2 i s a s -s u m e d c o n s t a n t a n d b e h a v i o r m a x i m i z e s C 1 +C 2 o n l y . )W i t h c o n c u r r e n t v a r i a b l e - i n t e r v a l ( V I V I )o r v a r i a b l e - r a t i o (VR VR) s c h e d u l e s , w h e r e m lim 2 , E q u a t i o n 6 i s H e r r n s t e i n ' s m a t c h i n g

l a w ( H e r r n s t e i n , 1 9 7 0 ) , w h i c h h a s b e e n s h o w nt o h o l d f o r a w i d e v a r i e t y o f c o n c u r r e n t s c h e d -u l e s ( d e V i l l i e r s , 1 9 7 7 ) . T h u s , w i t h c o n c u r r e n ts c h e d u l e s , when r e s p o n d i n g i s d i s t r i b u t e d b e -t w e e n a l t e r n a t i v e s s o a s t o m a x i m i z e o v e r a l lr e i n f o r c e m e n t , m a t c h i n g w i l l r e s u l t . T h i s r e l a -t i o n s h i p w a s s h o w n s t o c h a s t i c a l l y ( w i t h c o m -p u t e r s i m u l a t i o n o f v a r i o u s r e s p o n s e d i s t r i b u -t i o n s b e t w e e n a l t e r n a t i v e s ) b y R a c h l i n e t a l .( 1 9 7 6 ) . Th e c o m p u t e r w a s p r o g r a m m e d t o d i s -t r i b u t e r e s p o n s e s i n a c e r t a i n p r o p o r t i o n( b u t o t h e r w i s e r a n d o m l y ) t o t w o v a r i a b l e - i n -t e r v a l s c h e d u l e s . N w a s a s s u m e d t o e q u a l z e r oa n d t h e s e s s i o n d i v i d e d b e t w e e n I , a n d I 2 . Th ep r o p o r t i o n w a s v a r i e d f r o m 0 : 1 0 0 t h r o u g h 5 0 :5 0 t o 1 0 0 : 0 p e r c e n t i n s t e p s o f 1 0 % . R e i n f o r c e -m e n t s t h a t w o u l d h a v e b e e n o b t a i n e d w i t he a c h p r o p o r t i o n f r o m e a c h a l t e r n a t i v e w e r ed e t e r m i n e d . I t w a s f o u n d t h a t t h e maximumt o t a l r e i n f o r c e m e n t ( f r o m b o t h a l t e r n a t i v e s t o -g e t h e r ) w a s o b t a i n e d when t h e p r o p o r t i o n o fr e s p o n s e s m a t c h e d t h e p r o p o r t i o n o f r e i n f o r c e -m e n t s . E q u a t i o n 6 c o n f i r m s t h i s r e l a t i o n s h i pa n a l y t i c a l l y .I n t h e c o m p u t e r s i m u l a t i o n , c h a n g e o v e r d e -l a y s ( d e l a y s i m p o s e d b e t w e e n s w i t c h i n g f r o mo n e a l t e r n a t i v e t o a n o t h e r a n d t h e s o o n e s tp o s s i b l e r e i n f o r c e m e n t f o l l o w i n g t h e s w i t c h )w e r e v a r i e d i n d u r a t i o n . H i g h e r c h a n g e o v e rd e l a y s t e n d e d t o f l a t t e n t h e f e e d b a c k f u n c t i o n s .F i g u r e 1 s h o w s t h a t f l a t t e r f e e d b a c k f u n c t i o n sc o r r e s p o n d t o h i g h e r v a l u e s o f m . A p p e n d i x Is h o w s t h a t t h e s l o w e r a l t e r n a t i o n c a u s e d b yt h e c h a n g e o v e r d e l a y r e s u l t s i n f l a t t e r f e e d -b a c k f u n c t i o n s . B u t t h e s i m u l a t i o n b y R a c h l i ne t a l . ( 1 9 7 6 ) r e s u l t e d i n f l a t t e r f e e d b a c k f u n c -t i o n s w i t h a COD, e v e n when r e s p o n s e p a t -t e r n s r e m a i n e d c o n s t a n t . T h u s , f l a t t e r f e e d b a c kf u n c t i o n s ( h i g h e r v a l u e s o f m) may r e s u l t b o t hf r o m t h e COD i t s e l f a n d f r o m t h e a l t e r a t i o no f r e s p o n s e p a t t e r n i n g t h a t t h e COD c a u s e s .L e t u s s a y t h a t a g i v e n c h a n g e o v e r d e l a y i n -c r e a s e s m b y a g i v e n i n c r e m e n t , Am; t h eg r e a t e r t h e c h a n g e o v e r d e l a y t h e g r e a t e r t h ev a l u e o f A m . T h u s , w i t h c h a n g e o v e r d e l a y s :

I , m l +Am C 1I 2 m2+ A m n C2 ( 7 )I f c o n c u r r e n t s c h e d u l e s h a v e d i f f e r e n t v a l u e so f m , e x a c t m a t c h i n g w i l l n o t b e o b t a i n e d .B u t a d d i n g a c h a n g e o v e r d e l a y w i l l t e n d t op r o m o t e m a t c h i n g , s i n c e g r e a t e r m ' s w i l l c a u s e

t h e f r a c t i o n , m l + A m ) / ( m 2 + A m ) i n E q u a -t i o n 7 t o a p p r o a c h u n i t y . I n t h e c o m p u t e r s i m -

3 4 8


5/16

REINFORCEMENT SCHEDULESu l a t i o n ( R a c h l i n e t a l . , 1 9 7 6 ) a n d i n e x -p e r i m e n t s w i t h p i g e o n s ( H e r r n s t e i n , 1 9 6 1 ) ,c h a n g e o v e r d e l a y s t e n d e d t o i n c r e a s e t h et e n d e n c y f o r m a t c h i n g t o o c c u r a s E q u a t i o n7 p r e d i c t s . Th e e f f e c t o f t h e c h a n g e o v e r d e -l a y , h o w e v e r , s h o u l d b e j u s t t h e o p p o s i t ew i t h r e s p e c t t o t h e r e l a t i o n b e t w e e n r e -s p o n d i n g a n d t h e p r o g r a m m e d r a t e s o f r e i n -f o r c e m e n t . E q u a t i o n 5 p r e d i c t s t h a t e v e nw h e r e m l = M 2 , m a t c h i n g w i l l n o t b e o b t a i n e db e t w e e n I 1 / 1 2 a n d a l / a 2 . A s l o n g a s m > 0 , t h er a t i o o f t h e r e s p o n s e s w i l l a l w a y s d i f f e r f r o mt h e r a t i o o f p r o g r a m m e d r e i n f o r c e r s . O v e r -m a t c h i n g , a c c o r d i n g t o Baum ( 1 9 7 4 ) , r e f e r st o a c o n d i t i o n i n E q u a t i o n 5 w h e r e m l = M2=m a n d 1 - m i s a f r a c t i o n l e s s t h a n u n i t y . Th eg r e a t e r m i s , t h e more o v e r m a t c h i n g t h e r es h o u l d b e o f r e l a t i v e r e s p o n d i n g t o r e l a t i v ep r o g r a m m e d r e i n f o r c e m e n t s . I n c r e a s i n g t h ec h a n g e o v e r d e l a y , h e n c e i n c r e a s i n g m , s h o u l dc a u s e more o v e r m a t c h i n g w i t h r e s p e c t t o p r o -g r a m m e d r a t e s o f r e i n f o r c e m e n t . T h i s , a g a i n ,w a s f o u n d i n b o t h t h e c o m p u t e r s i m u l a t i o n( R a c h l i n e t a l . , 1 9 7 6 ) a n d i n e x p e r i m e n t s w i t hr a t s ( S h u l l a n d P l i s k o f f , 1 9 6 7 ) .W i t h c o n c u r r e n t r a t i o s c h e d u l e s , m l = M2 =1 a n d m a t c h i n g m u s t o c c u r a c c o r d i n g t o E q u a -t i o n 6 . H e r r n s t e i n ( 1 9 7 0 ) s h o w e d t h a t m a t c h -i n g w i t h u n e q u a l r a t i o s c h e d u l e s w i l l b e o b -t a i n e d o n l y w h e n e i t h e r I , = 0 o r 1 2 = 0 . I nE q u a t i o n 6 , s u b s t i t u t i n g a l f o r C :

I , - a , 1 1I 2 a 2 1 2I f a l i s s e t u n e q u a l t o a 2 t h e a b o v e e q u a t i o nw i l l h o l d o n l y i f I 1 o r 1 2 e q u a l s z e r o . T h a t i s ,r e s p o n d i n g w i l l b e a l l - o r - n o n e t o o n e a l t e r n a -t i v e . S u c h e x c l u s i v e d i s t r i b u t i o n w a s f o u n d i nt h e c o m p u t e r s i m u l a t i o n ( R a c h l i n , e t a l . , 1 9 7 6 )a n d i n e x p e r i m e n t s w i t h p i g e o n s ( H e r r n s t e i n ,1 9 6 1 ) .W i t h c o n c u r r e n t v a r i a b l e - i n t e r v a l , v a r i a b l e -r a t i o ( V I VR) s c h e d u l e s , t h e e x p o n e n t , m , o ft h e f e e d b a c k f u n c t i o n c o r r e s p o n d i n g t o t h er a t i o s c h e d u l e i s 1 . 0 , s o E q u a t i o n 6 b e c o m e s :

1 C ,I 2 M2 C 2

w h e r e t h e s u b s c r i p t , 2 , s t a n d s f o r t h e i n t e r v a ls c h e d u l e . T h i s e q u a t i o n i s o n e f o r b i a s e dm a t c h i n g . S i n c e m 2 i s l e s s t h a n 1 . 0 , 1 1 / 1 2s h o u l d b e g r e a t e r t h a n C 1 / C 2 . I n o t h e r w o r d s ,s u b j e c t s s h o u l d s p e n d p r o p o r t i o n a l l y moret i m e o n t h e r a t i o s c h e d u l e t h a n on t h e i n t e r -

v a l s c h e d u l e . I f m2 0 . 2 , t h e b i a s w o u l d b e5 : 1 i n f a v o r o f t h e r a t i o s c h e d u l e . S t a d d o n a n dM o t h e r a l l ( i n p r e s s ) p r e d i c t a s i m i l a r b i a s w i t ha m a x i m i z a t i o n a n a l y s i s b a s e d o n d i s c r e t er a t h e r t h a n c o n t i n u o u s r e s p o n d i n g . C o n t r a r yt o t h e s e p r e d i c t i o n s , f i n d i n g s w i t h c o n c u r r e n tV I VR s c h e d u l e s ( e x p e r i m e n t s o f H e r r n s t e i na n d L o v e l a n d r e p o r t e d i n d e V i l l i e r s , 1 9 7 7 ) a r ev e r y c l o s e t o u n b i a s e d m a t c h i n g ( a l t h o u g h v a r -i a b l e ) . T h i s d i s c r e p a n c y c o u l d b e d u e t o t h ep r e s e n c e o f t h e c h a n g e o v e r d e l a y ( C O D ) . ACOD w o u l d i n c r e a s e M 2 . I f r a t i o - s c h e d u l e r e -s p o n s e s a c c u m u l a t e d when made d u r i n g t h eCOD, t h e COD w o u l d h a v e n o e f f e c t o n m l ,w h i c h w o u l d s t i l l e q u a l u n i t y . T h u s , t h e CODs h o u l d b e a v e r y i m p o r t a n t f a c t o r i n VI VRc h o i c e e x p e r i m e n t s . With n o COD, a s t r o n gb i a s s h o u l d b e f o u n d f o r t h e r a t i o s c h e d u l e .W i t h a COD, t h e b i a s s h o u l d b e r e d u c e d . Tot h e a u t h o r ' s k n o w l e d g e , t h e COD h a s n o t b e e nv a r i e d i n V I VR e x p e r i m e n t s , s o t h e p r e d i c -t i o n h a s y e t t o b e t e s t e d .L o o k i n g a g a i n a t E q u a t i o n 6 , we s e e t h a tm a t c h i n g i s i n d e p e n d e n t o f t h e p r o g r a m m e dr a t e s o f r e i n f o r c e m e n t , i n d e p e n d e n t o f t h ee x p o n e n t , x , b y w h i c h v a l u e o f r e i n f o r c e -ment i n c r e a s e s w i t h i t s d u r a t i o n , i n d e p e n -d e n t o f t h e t o t a l d u r a t i o n o f r e s p o n d i n g a n de v e n , i n a s e n s e , i n d e p e n d e n t o f m , t h e e x p o -n e n t o f t h e f e e d b a c k e q u a t i o n . Baum a n dR a c h l i n ( 1 9 6 9 ) s h o w e d t h a t a m u l t i p l i c a t i v et e r m , s u c h a s m l / m 2 i n E q u a t i o n 6 , i s p r o p -e r l y i n t e r p r e t e d a s b i a s c o n s i s t e n t w i t h m a t c h -i n g , r a t h e r t h a n a d e v i a t i o n f r o m m a t c h i n g .G i v e n t h i s u n i v e r s a l i n d e p e n d e n c e , i t i s n o ts u r p r i s i n g t h a t m a t c h i n g i s s u c h a p e r v a s i v ef i n d i n g . 2 I t i s s u r p r i s i n g r a t h e r t h a t i t i s o c c a -s i o n a l l y n o t f o u n d . Baum ( 1 9 7 4 ) s p e c u l a t e dt h a t m a t c h i n g f a i l s t o o c c u r w h e n t h e s o u r c eo f e a c h r e i n f o r c e m e n t ( i . e . , w h i c h o f t h e r e -s p o n s e s p r o d u c e d i t ) i s o b s c u r e d . S u c h a n e x -p l a n a t i o n w o u l d n o t f i t w i t h o u r a s s u m p t i o n( i m p l i c i t i n E q u a t i o n 4 ) t h a t r e i n f o r c e m e n t sf r o m a n y s o u r c e a r e e q u i v a l e n t . D e v i a t i o n sf r o m b i a s e d m a t c h i n g , t o b e i n a c c o r d a n c ew i t h o u r a s s u m p t i o n s , w o u l d h a v e t o r e s u l tf r o m o t h e r f a c t o r s . One s u c h f a c t o r c o u l d b ef a i l u r e t o m e a s u r e a c c u r a t e l y t h e r e i n f o r c e -ment a c t u a l l y o b t a i n e d . D e V i l l i e r s ( 1 9 7 7 ) s p e c -

2 B e c a u s e m a t c h i n g i s i n d e p e n d e n t o f t h e e x p o n e n t ,x , m a t c h i n g w o u l d f o l l o w f r o m a f u n c t i o n t ha t e q u a t e sv a l u e w i t h r e i n f o r c e m e n t ( x = 1 , y =0 , z = 0 ) . That i s ,m a t c h i n g f o l l o w s f r o m s i m p l e m a x i m i z a t i o n o f r e i n -f o r c e m e n t .

3 4 9


6/16

HOWARD RACHLINu l a t e d t h a t t h e amount o f r e i n f o r c e m e n t a c t u -a l l y o b t a i n e d ( C ) may b e l e s s t h a n t h e amountm e a s u r e d ( s a y d u e t o l o s s o f f o o d f r o m t h e h o p -p e r , d e l a y i n e a t i n g p r o f f e r e d f o o d , f a i l u r e t os w a l l o w t h e f o o d e a t e n , f a i l u r e t o t a s t e o r c h e wa l l f o o d s w a l l o w e d , e t c . ) .E a c h d e l i v e r e d r e i n f o r c e m e n t i s c o n s u m e dw i t h l e s s t h a n 100 e f f i c i e n c y . Some r e i n f o r c e r sw i l l b e a c t u a l l y c o n s u m e d a n d s o m e w a s t e d .W h e t h e r o n e f i n d s m a t c h i n g , o v e r m a t c h i n g , o ru n d e r m a t c h i n g w i l l d e p e n d o n t h e r e l a t i o n o ft h e e f f i c i e n c y t o t h e amount d e l i v e r e d . I f t h eamount w a s t e d i s p r o p o r t i o n a l l y g r e a t e r f o rs m a l l e r a m o u n t s d e l i v e r e d , a s i t w o u l d b e i ft h e l a t e n c y o f p i g e o n ' s a p p r o a c h t o a f o o d -d e l i v e r y h o p p e r w e r e a s i g n i f i c a n t f r a c t i o n o ft h e d e l i v e r y d u r a t i o n , o v e r m a t c h i n g w i l l b eo b t a i n e d . I f , on t h e o t h e r h a n d , t h e amountw a s t e d i s p r o p o r t i o n a l l y g r e a t e r f o r l a r g e ra m o u n t s d e l i v e r e d , a s i t w o u l d b e i f a r a tc o u l d n o t c h e w l a r g e r p e l l e t s o r i f a t e m p o -r a r y s a t i a t i o n e f f e c t o c c u r r e d w i t h l a r g e l o c a la m o u n t s o r r a t e s o f r e i n f o r c e m e n t , u n d e r -m a t c h i n g w i l l b e o b t a i n e d .T h e s e r e l a t i o n s h i p s c a n b e s t b e i l l u s t r a t e db y e x a m p l e . F i r s t , l e t u s a s s u m e m 1 = m 2 i nE q u a t i o n 6 . S u p p o s e t h e amount d e l i v e r e d o fC 1 i s f o u r u n i t s a n d t h e amount d e l i v e r e d o fC 2 i s s i x u n i t s . Th e r e l a t i v e r a t e o f d e l i v e r e dr e i n f o r c e m e n t a s m e a s u r e d i s 4 / 1 0 = 0 . 4 . No ws u p p o s e t h e w a s t e i s o n e - f o u r t h o f t h e amountd e l i v e r e d , s o t h e a c t u a l a m o u n t s o b t a i n e d a r et h r e e u n i t s a n d 4 . 5 u n i t s . Th e r e l a t i v e r a t e o fo b t a i n e d r e i n f o r c e m e n t ( a n d h e n c e o f r e s p o n d -i n g ) i s 3 / 7 . 5 = 0 . 4 , w h i c h m a t c h e s t h e m e a -s u r e d r e l a t i v e r a t e . No w s u p p o s e i n s t e a d t h a tt h e w a s t e i s a c o n s t a n t o f o n e u n i t ( p r o p o r -t i o n a l l y g r e a t e r f o r s m a l l e r v a l u e s o f C ) , s ot h e a c t u a l a m o u n t s o b t a i n e * a r e t h r e e o f t h ef o u r u n i t s d e l i v e r e d a n d f i v e o f t h e s i x u n i t s .The r e l a t i v e r a t e o f o b t a i n e d r e i n f o r c e m e n t( a n d , h e n c e , o f r e s p o n d i n g ) i s 3 / 8 = 0 . 3 7 5 ,w h i c h i s f u r t h e r f r o m i n d i f f e r e n c e t h a n 0 . 4 ,t h e m e a s u r e d r e l a t i v e r a t e o f r e i n f o r c e m e n t .T h i s c o n s t i t u t e s o v e r m a t c h i n g . W i t h p r o p o r -t i o n a l l y g r e a t e r w a s t a g e f o r l a r g e r a m o u n t s ,t h e o n e - f o u r t h r e d u c t i o n o f f o u r u n i t s t o t h r e eu n i t s m i g h t b e a c c o m p a n i e d b y a o n e - t h i r dr e d u c t i o n o f s i x u n i t s t o f o u r u n i t s . Th e r e l a -t i v e r a t e o f o b t a i n e d r e i n f o r c e m e n t ( h e n c e , r e -s p o n d i n g ) w o u l d b e 3 / 7 = 0 . 4 3 , w h i c h i s c l o s e rt o i n d i f f e r e n c e t h a n 0 . 4 , t h e m e a s u r e d r e l a t i v er a t e o f r e i n f o r c e m e n t . T h i s c o n s t i t u t e s u n d e r -m a t c h i n g .

A n o t h e r p o s s i b l e c a u s e o f u n d e r m a t c h i n g ,t h e d e v i a t i o n f r o m m a t c h i n g m o s t commonly( a l t h o u g h n o t a l w a y s ) f o u n d ( B a u m , 1 9 7 4 )m i g h t b e l o n g - t e r m o r d e r e f f e c t s . C r o s s ( 1 9 7 3 )s h o w e d , w i t h c r o s s - m o d a l i t y m a t c h i n g i n p s y -c h o p h y s i c s , t h a t r e g r e s s i o n e f f e c t s a r e e n t i r e l yd u e t o t h e o r d e r i n w h i c h t h e s t i m u l i a r e p r e -s e n t e d , e a c h r e s p o n s e b e i n g a f u n c t i o n o f t h ep r e s e n t s t i m u l u s a n d t h e p r e v i o u s r e s p o n s e .Th e e f f e c t o c c u r s e v e n w i t h r a n d o m o r d e r so f s t i m u l i . A p a r a l l e l phenomenon c o u l d o c -c u r i n m a t c h i n g e x p e r i m e n t s ; r e s p o n d i n g t oa c u r r e n t c o n d i t i o n c o u l d b e a f u n c t i o n o f t h a tc o n d i t i o n p l u s t h e p r e v i o u s c o n d i t i o n . S u c h h y s t e r e s i s e f f e c t s h a v e b e e n known t o o c c u ri n c h o i c e e x p e r i m e n t s w i t h p i g e o n s ( R a c h l i n ,1 9 6 7 a n d may o c c a s i o n a l l y b e r e s p o n s i b l e f o ru n d e r m a t c h i n g . T h u s , t h e d e g r e e o f m a t c h i n gi n a n e x p e r i m e n t may b e a m e a s u r e , n o t o f t h eo r g a n i s m ' s t e n d e n c y t o m a t c h ( w h i c h i s a n i n -e v i t a b l e c o n s e q u e n c e o f o u r a s s u m p t i o n s ) b u to f o u r a b i l i t y t o m e a s u r e r e i n f o r c e m e n t a c t u -a l l y o b t a i n e d . I a r g u e d p r e v i o u s l y ( R a c h l i n ,1 9 7 1 ) t h a t m a t c h i n g i s b e s t r e g a r d e d a s a n a s -s u m p t i o n , r a t h e r t h a n a n e m p i r i c a l f i n d i n g .H e r e we s e e t h a t t h e a s s u m p t i o n o f m a t c h i n gi s n o t i n c o n s i s t e n t w i t h t h e a s s u m p t i o n s o f t h ep r e s e n t a r g u m e n t .V a r i a b l e - I n t e r v a l a n dV a r i a b l e - T i m e S c h e d u l e s

W i t h v a r i a b l e - i n t e r v a l s c h e d u l e s , we a s s u m et h a t r e s p o n s e r a t e s a r e m o d e r a t e a n d t h a t I ,t h e amount o f r e s p o n d i n g , h a s l i t t l e e f f e c t o nt h e v a l u e o f t h e s e s s i o n a s a w h o l e . T h u s , y ,i n E q u a t i o n 2 i s z e r o a n d :V ( I , C , N ) = V C + V I + V N

= C X + 1 0 + N .= [ a I m ] x + 1 + [ 1 - I ] zdVt = g m x a t h dmit-Z(1e-ut - z eS e t t i n g t h e d e r i v a t i v e e q u a l t o z e r o :

mxax I I m x - 1 = z ( l I ) 1 .S u b s t i t u t i n g C f o r a f r o m E q u a t i o na r r a n g i n g t e r m s :

C = [Z. I ( 1 - I ) Z - X ]

( 9 )1 a n d r e -

( 1 0 )I f we s e t m= 0 . 1 f o r t y p i c a l v a r i a b l e - i n t e r v a ls c h e d u l e s , E q u a t i o n 1 0 b e c o m e s a n e x p r e s s i o nr e l a t i n g C , t h e o b s e r v e d r e i n f o r c e m e n t t o I ,t h e o b s e r v e d f r a c t i o n o f t i m e r e s p o n d i n g o n

3 5 0


7/16

REINFORCEMENT SCHEDULES

0

_~~ ~ A AVRG 6 S U B J E C Tfi O ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~U B J E C T 1 1 80 0 S U B J E C T 1 2 1

50 100 1 5 0 200 2 5 0 300 350 40 0R E I N F O R C E M E N T S PER HOUR 450 500F i g . 2 . D a t a f r o m C a t a n i a and R e y n o l d s ( 1 9 6 8 ) . R a t e o f r e s p o n d i n g as a f u n c t i o n o f r a t e o f r e i n f o r c e m e n t i n a

v a r i a b l e - i n t e r v a l s c h e d u l e . S o l i d l i n e i s p r e d i c t e d f u n c t i o n .a v a r i a b l e - i n t e r v a l s c h e d u l e i n terms o f t w oc o n s t a n t s , x and z . We c an now t a k e I and Cf r o m a c t u a l e x p e r i m e n t s w i t h v a r i a b l e - i n t e r v a ls c h e d u l e s a n d t r y t o d e t e r m i n e t h e c o r i s t a n t sx a n d z . C a t a n i a a n d R e y n o l d s ( 1 9 6 8 ) e x p o s e dp i g e o n s t o v a r i o u s v a r i a b l e - i n t e r v a l s c h e d u l e sa n d m e a s u r e d r a t e o f r e s p o n d i n g . R e i n f o r c e -ment d u r a t i o n was 4 sec when i t was p r e s e n t e d ,so:

C secondsperreinforcemento b s e r v e d s e c o n d s b e t w e e n r e i n f o r c e m e n t s (11)I =o b s e r v e d responses p er s e c o n d X 0 . 2 5 sec

p e r r e s p o n s eA p p e n d i x II o f t h i s p a p e r d e s c r i b e s howE q u a t i o n 1 0 was f i t t e d t o t h e C a t a n i a - R e y n -

o l d s d a t a . F i g u r e 2 s h o w s p r e d i c t e d and a c t u a lf u n c t i o n s f o r m= . 1 , x= . 2 , z = 0 . 0 3 4 . I n a s -s u m i n g t h a t r e s p o n d i n g p e r se d o e s not a l t e rv a l u e we have a s s u m e d y = . C o m b i n i n g x , y ,a n d z i n E q u a t i o n 1 0 :

C= 1 4 . 2 ( 1 1 ) 4 . 8 :The s o l i d l i n e s l h o w s t h e r e l a t i o n s h i p b e t w e e nr e i n f o r c e m e n t s p e r l h o u r and r e s p o n s e s p e rm i n u t e p r e d i c t e d b y the a b o v e e q u a t i o n . Thet r i a n g l e s are averages o f s i x p i g e o n s t e s t e d b yC a t a n i a and R e y n o l d s . The d i a m o n d s , c i r c l e s ,a n d squares are d a t a o f t h e s l o w e s t - r e s p o n d i n gp i g e o n , an av e r ag e p i g e o n , a n d t h e f a s t e s t -r e s p o n d i n g p i g e o n . The s o l i d l i n e f i t s the d a t a

a b o u t as w e l l as a s i n g l e l i n e c o u l d f i t s u c hv a r i a b l e d a t a .I t i s not s u r p r i s i n g t h a t an e q u a t i o n w i t hs e v e r a l c o n s t a n t s c an b e made t o f i t t h e r e s u l t so f a g i v e n e x p e r i m e n t . A b e t t e r t e s t o f t h emodel i s w h e t h e r t h e same constants can b eu s e d t o e x p l a i n r e s u l t s o f o t h e r e x p e r i m e n t s .B e f o r e t u r n i n g to t h i s q u e s t i o n , h o w e v e r , l e tu s c o n s i d e r a n o t h e r way to represent t h e d a t a ,w h i c h b e t t e r i l l u s t r a t e s t h e d y n a m i c s o f t h em o d e l . We h a v e a s s u m e d t h a t I + N=1 re p-r e s e n t s a u n i t s e s s i o n . T h u s , a l a r g e C w o u l dr e s u l t i n a l o n g e r a c t u a l s e s s i o n . To n o r m a l i z eC , I , a n d N w i t h r e s p e c t to a c t u a l s e s s i o n d u -r a t i o n :

c- c _ cI+N+C 1 + CT= 1 ( 1 2 )I+N+C 1 +CN N

II+N+C +CTh e r e s p o n s e - v a r i a b l e s C , I , and N add t o1 . 0 and may b e r e p r e s e n t e d as c orner s o f t h ee q u i l a t e r a l t r i a n g l e i n F i g u r e 3 , ( R a c h l i n andB u r k h a r d , 1 9 7 8 ; S t a d d o n , i n p r e s s ) . The p o i n t ,

C =1 , I =, N = 0 i s a t t h e C-vertex o f t h et r i a n g l e ; t h e p o i n t , C= , T = , N = i s a tt h e I - v e r t e x ; t h e p o i n t , C = , T = , N= i sa t t h e N - v e r t e x . A p o i n t on an e d g e o f t h e t r i -a n g l e r e p r e s e n t s zer o t i m e a l l o c a t e d t o t h er e s p o n s e on t h e o p p o s i t e v e r t e x , and an a l l o c a -

0

01 2 5

1 0 0

7550

0w0 rC LU f )LC )z0U )w n1 2 51 P

0 ' -0

3 5 1


8/16

HOWARD RACHLIN

EQUAL V A L U E CONTOURSV I 1 2 ' F E E D B A C K F U N C T I O N_. L O C U S OF P O I N T S FOR V A R I O U S

VI SCHEDULES ( P R E D I C T E D )oO I N T OF TANGENCYaCATANIA-REYNOLDS AVERAGE

VAWE=2.50

I/ c--A--- ---F i g . 3 . R e p r e s e n t a t i o n o f C +1 N = 1 . 0 on t r i a n g u l a r c o o r d i n a t e s . S o l i d l i n e i s f e e d b a c k f u n c t i o n f o r VI 1 2 - s e cs c h e d u l e . D o t t e d l i n e s a r e e q u a l - v a l u e c o n t o u r s : V = O C ` 2 + 1+- * . C i r c l e i s p o i n t o f t a n g e n c y o f s o l i d w i t h d o t t e dl i n e . B r o k e n l i n e i s l o c u s o f s u c h p o i n t s o f t a n g e n c y f o r d i f f e r e n t v a r i a b l e - i n t e r v a l s c h e d u l e s . S m a l l t r i a n g l e s a r ea v e r a g e d a t a f r o m C a t a n i a a n d R e y n o l d s ( 1 9 6 8 ) .t i o n o f t i m e t o t h e o t h e r t w o r e s p o n s e s i n p r o -p o r t i o n t o t h e c l o s e n e s s o f t h e p o i n t t o t h e i rr e s p e c t i v e v e r t i c e s . Any p o i n t i n t h e t r i a n g l er e p r e s e n t s a g i v e n a l l o c a t i o n o f b e h a v i o ramong t h e t h r e e r e s p o n s e s d e t e r m i n e d b y i t sd i s t a n c e f r o m t h e t h r e e v e r t i c e s . I f a l i n e w e r ed r a w n i n t h e t r i a n g l e f r o m o n e v e r t e x t o t h eo p p o s i t e s i d e , i t w o u l d c o n t a i n a l l p o i n t s o f af i x e d p r o p o r t i o n o f t h e t w o r e s p o n s e s c o r r e -s p o n d i n g t o t h e t w o o p p o s i t e v e r t i c e s . T h u s , al i n e f r o m t h e c - v e r t e x t o t h e I - N e d g e b i s e c t -i n g t h e I - N e d g e w o u l d r e p r e s e n t a l l p o i n t s a tw h i c h T = N . Th e p o i n t a t t h e C - v e r t e x w o u l db e T= N = 0 , C = 1 . Th e p o i n t w h e r e t h e l i n ew o u l d i n t e r s e c t t h e I - N e d g e w o u l d b e I = N= 0 . 5 , C = 0 . Th e p o i n t i n t h e m i d d l e o f t h et r i a n g l e i s I = N = C = 0 . 3 3 . A l l p o s s i b l e a l l o -c a t i o n s o f b e h a v i o r t o T , N , a n d C a r e r e p r e -s e n t e d i n t h e t r i a n g l e . 3I n t h e t r i a n g l e o f F i g u r e 3 , t h e d o t t e d l i n e sa r e c o n t o u r s o f e q u a l v a l u e a c c o r d i n g t o E q u a -t i o n 1 3 :

V = C X + I Y + N ZV = C O . 2 + 1 0 + N O oV=C12+ I + N . O - , ( 1 3 )

w h e r e C a n d N a r e c o n v e r t e d t o C a n d N i nt h e f i g u r e . The d o t t e d l i n e s s h o w n a r e s a m p l e sf r o m a n i n f i n i t e s e t o f l i n e s o f s i m i l a r s h a p er a n g i n g f r o m l o w v a l u e s l o w i n t h e t r i a n g l e t oh i g h v a l u e s h i g h i n t h e t r i a n g l e . The h i g h e s tp o i n t i s a t t h e C - v e r t e x . The l o w e s t p o i n t i sa t t h e T - v e r t e x . The s o l i d l i n e s r e p r e s e n t t h ef e e d b a c k e q u a t i o n ( E q u a t i o n 1 ) f o r a v a r i a b l e -i n t e r v a l s c h e d u l e w i t h 1 2 s e c programmed b e -t w e e n r e i n f o r c e m e n t s ( V I 1 2 - s e c ) . The f e e d -b a c k f u n c t i o n r e s t r i c t s t h e p o s s i b l e a l l o c a t i o n s( e a c h a l l o c a t i o n r e p r e s e n t e d b y a p o i n t i n t h et r i a n g l e ) t o t h o s e o n ( o r b e l o w ) t h e s o l i d l i n e .

' T r i a n g u l a r c o o r d i n a t e g r a p h p a p e r i s u s e d i n c h e m -i s t r y t o r e p r e s e n t v a r i o u s c o m p o u n d s i n s o l u t i o n . I t i sa v a i l a b l e f r o m m o s t c o m p a n i e s t h a t make e n g i n e e r i n gg r a p h p a p e r ( e . g . , 1 2 - 0 8 2 , N a t i o n a l B l a n k Book Com-p a n y , H o l y o k e , M a s s a c h u s e t t s 0 1 0 4 0 ) .

3 5 2


9/16

REINFORCEMENT SCHEDULESF e e d b a c k f u n c t i o n s o f h i g h e r VI s c h e d u l e s( e . g . , V I 1 - m i n ) w o u l d b e l o w e r i n t h e t r i -a n g l e . T h o s e o f l o w e r VI s c h e d u l e s ( e . g . , VI8 - s e c ) w o u l d b e h i g h e r . We assume t h a t t h es u b j e c t w i l l a l l o c a t e b e h a v i o r ( a m o n g C , I,a n d N ) , s o as t o m a x i m i z e v a l u e . T h u s , t h es u b j e c t m u s t r e s p o n d a t t h e p o i n t on t h ef e e d b a c k f u n c t i o n t h a t t o u c h e s t h e contouro f h i g h e s t v a l u e . T h i s p o i n t w i l l b e where t h ef e e d b a c k f u n c t i o n i s tangent t o t h e h i g h e s tp o s s i b l e v a l u e contour. I n F i g u r e 3 , t h e p o i n to f tangency i s shown as a c i r c l e and t h e l o c u so f s u c h p o i n t s w i t h v a r i o u s o t h e r v a r i a b l e -i n t e r v a l s c h e d u l e s i s s h o w n as a b r o k e n l i n e .The d a t a o f C a t a n i a and R e y n o l d s ( 1 9 6 8 ) c on-v e r t e d t o a p p r o p r i a t e u n i t s b y E q u a t i o n s 11* a n d 1 2 are p l o t t e d as s m a l l t r i a n g l e s .The f a c t t h a t t h e C a t a n i a - R e y n o l d s d a t awas f i t b y t h e m o d e l i n d i c a t e s t h a t a s i n g l es e t o f v a l u e contours c a n a p p l y w i t h v a r i o u sv a r i a b l e - i n t e r v a l s c h e d u l e s . V a r i a b l e - t i m e ( V T )s c h e d u l e s are d e s c r i b e d b y f e e d b a c k f u n c t i o n st h a t , i n F i g u r e 3 , would b e h o r i z o n t a l l i n e s( c o n s t a n t C ) . B e c a u s e t h e v a l u e contours area l l s l o p e d s l i g h t l y u p w a r d t o t h e l e f t , a h o r i -z o n t a l f e e d b a c k f u n c t i o n would t o u c h t h eh i g h e s t v a l u e contour on t h e C-N e d g e ( w h e r eI = ) . T h u s , I s h o u l d e q u a l zero w i t h v a r i -a b l e - t i m e s c h e d u l e s , c o r r e s p o n d i n g t o t h e f i n d -i n g t h a t f r e e r e i n f o r c e m e n t a t v a r i a b l e i n t e r -v a l s d o e s not generate r e s p o n d i n g . H o w e v e r ,t h e s h a l l o w s l o p e o f t h e v a r i a b l e - i n t e r v a l f e e d -b a c k f u n c t i o n a n d a h o r i z o n t a l f u n c t i o n m i g h tw e l l prov e d i f f i c u l t t o d i s c r i m i n a t e o n c e r e -s p o n d i n g had r e a c h e d t h e v a l u e i t w o u l d a t -t a i n w i t h a v a r i a b l e - i n t e r v a l s c h e d u l e . T h u s ,t h e m o d e l c an account f o r t h e s u p e r s t i t i o u sp e r s i s t e n c e o f r e s p o n d i n g f o u n d when s c h e d -u l e s are c h a n g e d f r o m V I t o VT.N o t e t h a t i n t h e b r o k e n l i n e o f F i g u r e 3 ,T f i r s t i n c r e a s e s a n d t h e n d e c r e a s e s as C i n -creases f r o m zero ( t h e I - N e d g e ) t o 1 . 0 ( t h eC - v e r t e x ) . H o w e v e r , i n F i g u r e 2 , r a t e o f r e -s p on s e i n c r e a s e s c o n t i n u o u s l y w i t l h r a t e o f r e -i n f o r c e m e n t . T h i s i s b e c a u s e o f t h e t r a n s f o r -m a t i o n f r o m I i n F i g u r e 2 t o I i n F i g u r e 3 .At r e l a t i v e l y h i g h v a l u e s o f C , T w i l l b e m u c ls m a l l e r t h a n I ( a s E q u a t i o n 1 2 d e m a n d s ) .V a r i a b l e - R a t i o S c h e d u l e s

F e e d b a c k f u n c t i o n s f o r v a r i a b l e - r a t i o ( V R )s c l h e d u l e s are l i n e s o f constant p r o p o r t i o n a l i t yb e t w e e n C and I and ( a s c a n b e s e e n f r o mE q u a t i o n 1 2 ) o f an e q u a l p r o p o r t i o n a l i t y b e -

t w e e n C a n d I . S u c h a l i n e o n t h e t r i a n g l e o fF i g u r e 3 i s a s t r a i g h t l i n e f r o m t h e R - v e r t e xt o e d g e C - I . H i g h v a r i a b l e - r a t i o s c h e d u l e sw o u l d h a v e f l a t t e r s l o p e s . A l i n e a l o n g t h e N - Te d g e c o r r e s p o n d s t o VR o o ( i . e . , e x t i n c t i o n ) ; al i n e a l o n g t h e N- e d g e c o r r e s p o n d s t o VR 0( C , c o n t i n u o u s l y a v a i l a b l e ; I , u n a v a i l a b l e ) . I ti s o b v i o u s f r o m F i g u r e 3 t h a t p o i n t s o f t a n -g e n c y o f s t r a i g h t l i n e s ( f r o m N - v e r t e x t o e d g eC - I ) a n d t h e v a l u e c o n t o u r s w o u l d b e g e n e r -a l l y t o t h e l e f t o f t h o s e o f V I f e e d b a c k f u n c -t i o n s . F i g u r e 4 s h o w s t w o e x a m p l e s o f VRf e e d b a c k f u n c t i o n s ( s t i l l a s s u m i n g e a c h r e -s p o n s e t a k e s 0 . 2 5 s e c a n d e a c h r e i n f o r c e m e n tl a s t s 4 s e c ) , VR 1 0 a n d VR 1 0 0 a n d t h e v a l u ec o n t o u r s ( u s i n g t h e s a m e c o n s t a n t s a s i n F i g -u r e 3 ) t o w h i c h t h e y a r e t a n g e n t . Th e a c t u a lp o i n t s o f t a n g e n c y w e r e d e t e r m i n e d b y t h em e t h o d d e s c r i b e d i n A p p e n d i x I I . The b r o k e nl i n e i s t h e l o c u s o f p o i n t s o f t a n g e n c y f r o mVR 0 t o VR 0 0 . F i g u r e 5 s h o w s t h i s f u n c t i o nt r a n s f o r m e d i n t o a c u r v e o f r e s p o n s e s p e r m i n -u t e v e rs u s t h e VR s c h e d u l e . The f u n c t i o n i n -v o l v e s h i g h e r r a t e s o f r e s p o n s e t h a n t h a t o fF i g u r e 2 , a s w o u l d b e e x p e c t e d w i t h r a t i os c h e d u l e s .

T h e r e i s a p a u c i t y o f a c t u a l d a t a t o c o m -p a r e w i t h t h e s e p r e d i c t i o n s , b u t t h o s e d a t at h a t a r e a v a i l a b l e w i t h p i g e o n s u b j e c t s , f i x e d -r a t i o f u n c t i o n s o b t a i n e d b y F e l t o n a n d Lyon( 1 9 6 6 ) a n d v a r i a b l e - r a t i o f u n c t i o n s i n m u l t i -p l e s c h e d u l e s o b t a i n e d b y Z u r i f f ( 1 9 7 0 ) , a r el o w e r i n r a t e o f r e s p o n s e t h a n t h e c u r v e o fF i g u r e 5 ( a l t h o u g h s t i l l h i g h e r t h a n t h e r a t e so f r e s p o n s e o b t a i n e d w i t h i n t e r v a l s c h e d u l e s )a n d f a l l o f f s u d d e n l y i n r a t e a t h i g h r a t i o s( r a t i o - s t r a i n ) . A l t h o u g h t h e f u n c t i o n o f F i g -u r e 5 d e c r e a s e s w i t h i n c r e a s e d r a t i o s , i t d o e sn o t d e c r e a s e s u d d e n l y a s r a t i o s i n c r e a s e , a tl e a s t w i t h i n t h e r a n g e o f r a t i o s n o r m a l l y p r o -g r a m m e d .A t t h i s p o i n t , we h a v e t o a b a n d o n t h e l a s to f t h e s i m p l i f y i n g a s s u m p t i o n s made a t t h eb e g i n n i n g : t h a t r e s p o n d i n g i s o f m o d e r a t e r a t ea n d i n i t s e l f h a s n o e f f e c t o n t h e v a l u e o f t h es e s s i o n . W i t h i n t e r v a l s c h e d u l e s , t h e a s s u m p -t i o n p r o b a b l y i s v a l i d , a t l e a s t w i t h p i g e o n sp e c k i n g k e y s . H o w e v e r , w i t h r a t i o s c h e d u l e s ,a n d t h e h i g h r e s p o n s e r a t e s t h e y g e n e r a t e , e v e ns m a l l e f f e c t s o f e a c h r e s p o n s e o n v a l u e w o u l dc u m u l a t e s i g n i f i c a n t l y . I t s e e m s l i k e l y t h a tw i t h l o w r a t e s o f r e s p o n s e , r e s p o n d i n g i s i n -s i g n i f i c a n t i n v a l u e , b u t w i t h h i g h r a t e s o fr e s p o n s e , r e s p o n d i n g p e r s e h a s a n e g a t i v e i n -

3 5 3


10/16

HOWARD RACHLIN

- - - - E Q U A L V A L U E C O N T O U R S- . V R I O , V R I O O FEEDBACK F U N C T I O N S_._LOCUS O F P O I N T $ F M V A R [ C Q IVR SCHEDUf ( P R E D I C0 P O I N T S O F TANGENCY

IF i g . 4 . R e p r e s e n t a t i o n o f C +T+N = 1 . 0 a s i n F i g u r e 3 . S o l i d l i n e s a r e f e e d b a c k f u n c t i o n s f o r v a r i a b l e - r a t i os c h e d u l e s . A g a i n , V= C O 2 + NO.

L L J

biHzw

oa -U )wL L JU )z. 0a -U t )w L

250 r2001 5 0I O O F5 0 Fc I *I

F i g . 5 . R a t e o f r e s p o n d i n g a s a f u n c t i o n o f t h e v a r i a b l e - r a t i o s c h e d u l e i m p o s e d . T h i s f u n c t i o n i s t h e b r o k e nl i n e o f F i g u r e 4 c o n v e r t e d f r o m t e m p o r a l u n i t s t o r a t e u n i t s .

1 0 0 2 0 0 3 0 0 4 0 0VR S C H E D U L E ( R E S P O N S E S P E R R E I N F O R C E M E N T )I

3 5 4

I.a O - I


11/16

REINFORCEMENT SCHEDULES

-- E Q U A L V A L U E CONTOURSV R I O , VR50 FEEDBACK F U N C T I O N SL O C U S O F P O I N T S FOR V A R I O U SVR SCHEDULES ( P R E D I C T E D )oO I N T S OF TANGENCYa FELTON-LYON S U B J E C T 27 2

I

~ ~ ~ ~ ~ ~ ~ ~ ~F i g . 6 . R e p r e s e n t a t i o n o f C + T +N = 1 . 0 a s i n F i g u r e 4 . V a l u e c o n t o u r s a r e d i f f e r e n t i n t h i s f i g u r e b e c a u s eh e r e V = C O 2 + I - 0 . s + N0 0 3 8 . S m a l l t r i a n g l e s a r e d a t a f r o m F e l t o n a n d L y o n ( 1 9 6 6 ) .

f l u e n c e on v a l u e . That i s , h i g h r a t e s o f r e -s p ons e are assumed t o b e s l i g h t l y p u n i s h i n g .T h i s p u n i s h i n g e f f e c t can b e i n c o r p o r a t e d i n t ot h e model b y a b a n d o n i n g t h e a s s u m p t i o n t h a t ,i n E q u a t i o n 2 , y = 0 and m a k i n g y n e g a t i v e .F i g u r e 6 i l l u s t r a t e s t h e e f f e c t s o f a s s i g n i n g y =- 0 . 0 8 . The p a r t i c u l a r e x p o n e n t , - 0 . 0 8 wasc h o s e n , b y t h e method d e s c r i b e d i n A p p e n -d i x II, t o f i t t h e d a t a o f a t y p i c a l one o f F e l t o na n d L y o n ' s s u b j e c t s ( 2 7 2 ) . The n e g a t i v e s i g no f y b e n d s t h e v a l u e contours i n w a r d . Thee q u a t i o n f o r v a l u e i s now:

V =C 0 . 2 + I - 0 . 0 8 + NI0. ( 1 4 )Tw o V R - s c h e d u l e f e e d b a c k f u n c t i o n s , VR 1 0and VR 5 0 , are tangent t o t h e t w o v a l u e c o n -t o u r s s h o w n a t p o i n t s w h e r e c i r c l e s are drawni n F i g u r e 6 . The l o c u s o f p o i n t s o f tangencyi s s h o w n as a b r o k e n l i n e i n F i g u r e 6 . N o t et h a t as t h e VR s c h e d u l e i n c r e a s e s , t h i s l o c u sf a l l s away f r o m t h e T-vertex much more rap-i d l y t h a n t h e c o r r e s p o n d i n g l o c u s o f F i g u r e 4( w h e r e y = ) . The s m a l l t r i a n g l e s are d a t a o fF e l t o n a n d L y o n ' s S u b j e c t 2 7 2 . N o t e t h a t

b e c a u s e o f t h e i n w a r d b e n d i n g o f t h e v a l u ec o n t o u r s e a c h r a t i o f e e d b a c k f u n c t i o n t o u c h e sa g i v e n v a l u e c o n t o u r a t t w o p o i n t s : t h e p o i n ton t h e b r o k e n l i n e a n d t h e p o i n t a t t h e N -v e r t e x ( w h e r e I = C = 0 ) . Th e t r u e v a l u ec o n t o u r s p r o b a b l y l o o k l i k e t h o s e o f F i g u r e 4w h e n T i s s m a l l a n d l i k e t h o s e o f F i g u r e 6w l h e n I i s l a r g e . N o t e a l s o t h a t t h e b r o k e nl i n e o f F i g u r e 6 b e c o m e s n e a r l y h o r i z o n t a la b o v e t h e T - N e d g e o f t h e t r i a n g l e . High r a t i os c h e d u l e s ( a b o v e FR 1 3 0 ) d o n o t i n t e r s e c t t h i sl i n e , a n d t h u s t o u c l h t h e v a l u e c o n t o u r s o fF i g u r e 6 o n l y a t t h e N - v e r t e x . T h u s , r e s p o n d -i n g w i t h s u c h h i g h - v a l u e d r a t i o s c h e d u l e ss h o u l d b e u n s t a b l e . A t I = 0 , t h e v a l u e c o n -t o u r s o f F i g u r e 4 s l h o u l d a p p l y a n d r e s p o n d -i n g a t h i g h r a t e s s h o u l d o c c u r . B u t a s s o o n a sr e s p o n d i n g a c t u a l l y d o e s i n c r e a s e s u f f i c i e n t l y ,t h e v a l u e c o n t o u r s o f F i g u r e 6 s h o u l d a p p l ya n d r e s p o n d i n g s h o u l d d e c r e a s e t o z e r o . Them o d e l t h u s a c c o u n t s f o r t h e e r r a t i c b e h a v i o ra t v e r y h i g h r a t i o s ( r a t i o s t r a i n ) . F i g u r e 7 c o n -v e r t s a n d r e p l o t s t h e b r o k e n l i n e o f F i g u r e 6on t h e s a m e a x e s a s F i g u r e 5 . The t r i a n g l e

3 a 5 5


12/16

HOWARD RACHLIN

2 5 0

z

C )c , nU )z0U )w n

200

150

100

50

0

P R E D I C T I O N- .UNSTABLE R E S P O N D I N GB E Y O N D L I N E

F E L T O N - L Y O N S U B J E C T1 IDIFF A k / F P A r ( F r l A T A4*/LV A l l I AV I AA\000 O O ) ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

IIIIIIIIII5 0 100

o I P o %2 7 2

0

I150

I200

VRSCHEDULERESPONSESPER REINFORCEMENT

F i g . 7 . R a t e o f r e s p o n d i n g as a f u n c t i o n o f t h e v a r i a b l e - r a t i o s c h e d u l e i m p o s e d . H e r e , t h e broken l i n e o f F i g u r e6 i s c o n v e r t e d f r o m t e m p o r a l u n i t s t o r a t e u n i t s . Th e t r i a n g l e s a re d a t a o f F e l t o n and Lyon ( 1 9 6 6 ) . Th e c i r c l e s ared a t a o f Z u r i f f ( 1 9 7 0 ) . Th e d o t t e d p o r t i o n o f t h e cu rve r e p r e s e n t s u n s t a b l e r e s p o n d i n g ( r a t i o s t r a i n ) .p o i n t s a g a i n a r e t h e d a t a o f F e l t o n a n d L y o n s 's u b j e c t . Th e c i r c l e d p o i n t s a r e t h e d a t a o f a na v e r a g e s u b j e c t o f Z u r i f f ( 1 9 7 0 ) .T h i s m e t h o d o f f i t t i n g r a t i o a n d i n t e r v a ld a t a i s p r o b a b l y n o t t h e m o s t e f f i c i e n t p o s s i b l e .An a l t e r n a t i v e w o u l d h a v e b e e n t o c o n s i d e rb o t h i n t e r v a l a n d r a t i o d a t a t o g e t h e r , a n d a r -r i v e a t a common s e t o f e x p o n e n t s x , y , a n d z

i n t h e e q u a t i o n f o r v a l u e . S t i l l a n o t h e r a l t e r -n a t i v e w o u l d h a v e b e e n t o i n t r o d u c e c o e f f i -c i e n t s f o r t h e t e r m s i n t h e e q u a t i o n . Th e n e g a -t i v e e x p o n e n t c r e a t e s s o m e a w k w a r d n e s s a tb o u n d a r y c o n d i t i o n s a n d f u r t h e r m o r e v i o l a t e ss o m e r e a s o n a b l e a s s u m p t i o n s a b o u t b e h a v i o r( d i m i n i s h i n g m a r g i n a l s u b s t i t u t a b i l i t y o f r e -s p o n s e s ) t h a t a r e i n c o n s i s t e n t w i t h t h e i n w a r d

m s

3 5 6


13/16

REINFORCEMENT SCHEDULESb e n d o f t h e c o n t o u r s o f F i g u r e 6 ( R a c h l i n a n dB u r k h a r d , 1 9 7 8 ) . N e v e r t h e l e s s , t h e e a s e w i t hw h i c h t h e v a l u e e q u a t i o n c a n a c c o u n t f o r t h es c h e d u l e d a t a e n c o u r a g e s t h e g e n er a l a s s u m p -t i o n t h a t s u b j e c t s e x p o s e d t o s c h e d u l e s o f r e i n -f o r c e m e n t a d j u s t t h e i r b e h a v i o r s o a s t o m a x i -m i z e i t s v a l u e w i t h i n t h e r e s t r i c t i o n s t h a t t h es c h e d u l e i m p o s es .

CONCLUSIONB e h a v i o r u n d e r s o m e commonly s t u d i e d

s c h e d u l e s o f r e i n f o r c e m e n t i s n o t i n c o n s i s t e n tw i t h t h e a s s u m p t i o n t h a t v a l u e g r o w s a s ap o w e r f u n c t i o n o f r e s p o n s e d u r a t i o n a n d t h a ts u b j e c t s a l l o c a t e b e h a v i o r among r e s p o n s e s s oa s t o m a x i m i z e v a l u e . No p r o o f o f t h e s e a s -s u m p t i o n s i s o f f e r e d o r s u g g e s t e d . T h e i r t r u t ho r f a l s i t y w i l l r e s t o n t h e s t a b i l i t y o f t h e c o n -s t a n t s i n t h e e q u a t i o n s , t h e d e v e l o p m e n t o fm e t h o d s t o e v a l u a t e t he v a r i o u s c o n s t a n t s ( a l lo f w h i c h may b e i n d e p e n d e n t l y d e t e r m i n e d ) ,a n d t h e e x t e n s i o n o f t h e m o d e l t o o t h e r a r e a s .A m o r e g e n e r a l f o r m o f t h e m o d e l , w i t l h d e t e r -m i n a t i o n s o f v a l u e o t h e r t h a n t h o s e o f E q u a -t i o n s 2 a n d 3 , i s d e s c r i b e d i n a n o t h e r a r t i c l e( R a c h l i n a n d B u r k h a r d , 1 9 7 8 ) .

A P P E N D I X ID e r i v a t i o n o f t h e f e e d b a c k f u n c t i o n . S u p -p o s e t h e p a t t e r n o f r e s p o n s e s i s a l t e r n a t i o n o fb u r s t s a n d p a u s e s . We c a n c o n s i d e r a c y c l e o fd u r a t i o n T m i n u t e s d i v i d e d i n t o a p e r i o d o fr e s p o n d i n g , w i t h e x p e c t e d v a l u e i m i n u t e s ,a n d a p e r i o d o f n o n r e s p o n d i n g , w i t h e x p e c t e dv a l u e n m i n u t e s , s o t h a t i + n = T . A s e s s i o n ,S , c o n s i s t s o f a n u m b e r , B , o f c y c l e s s o t h a t S =B T . Th e v a r i a b l e - i n t e r v a l s c h e d u l e , when i ti s r u n n i n g , d e l i v e r s r e i n f o r c e m e n t s a t a r a t e o fr r e i n f o r c e m e n t s p e r m i n u t e .Ou r f i r s t o b j e c t i s t o d e t e r m i n e t h e e x p e c t e dnumber o f r e i n f o r c e m e n t s d u r i n g a c y c l e , T .Th e v a r i a b l e - i n t e r v a l s c h e d u l e i s r u n n i n g c o n -t i n u o u s l y d u r i n g i n t e r v a l i a n d d e l i v e r i n g r e -i n f o r c e m e n t s , s o t h a t t h e e x p e c t e d number o fr e i n f o r c e m e n t s d u r i n g i i s r i . D u r i n g n , t h ev a r i a b l e - i n t e r v a l s c h e d u l e w i l l r u n o n l y u n t i l

a r e i n f o r c e m e n t s e t s u p . I f a r e i n f o r c e m e n t i ss e t u p , i t w i l l n o t b e d e l i v e r e d u n t i l t h e b e g i n -n i n g o f t h e n e x t i - p e r i o d . N e v e r t h e l e s s , we a s -s i g n t h e r e i n f o r c e m e n t t o t h e n - p e r i o d d u r i n gw h i c h i t i s s e t u p . S i n c e , a t m o s t , o n e r e i n f o r c e -ment c a n s e t up d u r i n g a n n - p e r i o d , t h e e x -p e c t e d n u m b e r o f r e i n f o r c e m e n t s m u s t b e l e s s

t h a n 1 . I t i s e q u a l t o t h e p r o b a b i l i t y o f a r e -i n f o r c e m e n t s e t t i n g up d u r i n g t h e n - p e r i o d ,w h i c h i s 1 m i n u s t h e p r o b a b i l i t y o f n o r e i n -f o r c e m e n t s s e t t i n g u p . I f , a s i s u s u a l l y t h ec a s e , t h e v a r i a b l e i n t e r v a l s a r e e x p o n e n t i a l l yd i s t r i b u t e d , t h e p r o b a b i l i t y o f no r e i n f o r c e -ment s e t t i n g up i s e - r n . T h u s , t h e p r o b a b i l i t yo f a r e i n f o r c e m e n t s e t t i n g up d u r i n g a n n -p e r i o d i s 1 - e - r n a n d t h e e x p e c t e d n u m b e ro f r e i n f o r c e m e n t s d u r i n g a c y c l e , T , i s r i ( 1 - e - r n ) .Th e e x p e c t e d number o f r e i n f o r c e m e n t sd u r i n g a s e s s i o n i s B , t h e number o f c y c l e s ,m u l t i p l i e d b y t h e n u m b e r o f r e i n f o r c e m e n t sp e r c y c l e ( a s s u m i n g f i x e d c y c l e d u r a t i o n ) , o rB - ( r i + 1 - e - r n ) .Th e v a r i a b l e , C ( p r o p o r t i o n o f s e s s i o n s p e n tc o n s u m i n g r e i n f o r c e m e n t ) , i s t h i s e x p e c t e dnumber t i m e s t h e d u r a t i o n o f e a c h r e i n f o r c e -ment ( H , f o r h o p p e r - t i m e - u p ) d i v i d e d b y t h es e s s i o n d u r a t i o n :

C = B H ( r i + 1 - e - r n ) .Th e v a r i a b l e , I ( p r o p o r t i o n o f s e s s i o n r e -s p o n d i n g ) i s , s i m i l a r l y , t h e p e r i o d , i , o f t h e

c y c l e s p e n t r e s p o n d i n g t i m e s t h e number o fc y c l e s d i v i d e d b y t h e s e s s i o n d u r a t i o n :B iI - S .

Now, n , t h e p e r i o d s p e n t n o t r e s p o n d i n g ,e q u a l s T - i a n d T = S / B s oS S i Sing - B = - f ( 1 - I

S u b s t i t u t i n g , I , S , a n d B f o r T , i a n d n :-rg

C= S [r B +1 -e- r 8

C= H r l +HB I _-(e - .The c o n s t a n t , a , t h e programmed p r o p o r t i o no f r e i n f o r c e m e n t i s e q u a l t o r H . S u b s t i t u t i n gi n E q u a t i o n 1 :

-asHBC=aI+I -e ] ( 1 6 )T h i s i s t h e f e e d b a c k f u n c t i o n f o r v a r i a b l e -

i n t e r v a l s c h e d u l e s . The f u n c t i o n i s s o m e w h a tawkward t o use. F i g u r e 8 p l o t s C v e r s u s I onl o g - l o g c o o r d i n a t e s w i t h v a r i o u s v a l u e s o f B( t h e number o f c y c l e s ) a s s u m i n g a 6 0 - m i n s e s -s i o n ( S = 0 ) a n d a 4 - s e c r e i n f o r c e m e n t d e -

( 1 5 )

3 5 7


14/16

HOWARD RACHLINa . V I / M / / N . b . V I 2M/A/.

. 1 0. 0 7. 0 4

( ). 0 2

. 0 1 1

2 0 -15-1 0 -7 44. -

. 2 . 4 . 7 1 . 0 1 . . 2 . 4 . 7 1 . 0Ic . D A T A . M c S W E E N Y ( / 9 7 5 )

AS-394* S-259

2 4 7 10 1 5 2 0PECKS PER MINUTEF i g . 8 . a . E q u a t i o n 1 6 , t h e f e e d b a c k e q u a t i o n d e r i v e d i n A p p e n d i x I f o r a V I 1 - m i n s c h e d u l e . R e i n f o r c e m e n t( C ) i s a f u n c t i o n o f r e s p o n d i n g ( I ) . The parameter ( B ) i s t h e number o f b u r s t - p a u s e c y c l e s o c c u r r i n g i n a 6 0 - m i ns e s s i o n . b . Same as a , b u t f o r a VI 2 - m i n s c h e d u l e . c . An e m p i r i c a l f u n c t i o n o b t a i n e d w i t h a V I 4 - m i n s c h e d u l e .The o r d i n a t e and a b s c i s s a may b e c o n v e r t e d t o C an d I b y m u l t i p l i c a t i o n b y a p p r o p r i a t e c o n s t a n t s . T h i s w v o u l d

not c h a n g e t h e s h a p e o f t h e f u n c t i o n .

l i v e r y (H = / 6 0 w i t h t w o v a r i a b l e - i n t e r v a l s o l u t e v a l u e s o f n ) i n t e r v e n e b e t w e e n p e r i o d ss c h e d u l e s , VI 1 - m i n ( r = r e i n f o r c e m e n t p er o f r e s p o n d i n g . A l t h o u g h t h e f u n c t i o n s arem i n u t e ; a =0 . 0 6 7 ) and VI 2 - m i n ( r = . 5 r e - s l i g h t l y S - s h a p e d , t h e y a p p r o x i m a t e s t r a i g h ti n f o r c e m e n t s p er m i n u t e ; a =0 . 0 3 3 ) . W h e n B l i n e s and are w e l l a p p r o x i m a t e d b y t l l e s i m p l ei s l o w , C i s l o w b e c a u s e r e i n f o r c e m e n t s are power f u n c t i o n o f E q u a t i o n 1 ( s t r a i g h t l i n e sl o s t when l o n g p e r i o d s o f p a u s i n g ( h i g h a b - on l o g l o g c o o r d i n a t e s are power f u n c t i o n s ) .

Q Z Z

3 5 8


15/16

REINFORCEMENT SCHEDULES 3 5 9Th e s l o p e o f t h e f u n c t i o n i s d e t e r m i n e d b yB , t h e number o f c y c l e s p e r s e s s i o n . T h i s c o n -s t a n t c o r r e s p o n d s t o t h e c o n s t a n t , m , i n E q u a -t i o n 1 . When a COD i s a d d e d , s w i t c h e s a r e

p e n a l i z e d a n d B i s i n f a c t r e d u c e d . T h i s h a st h e e f f e c t o f i n c r e a s i n g m , t h e s l o p e o f t h e l i n ei n F i g u r e 8 . A s i n d i c a t e d i n t h e t e x t , e q u a li n c r e a s e s o f m f o r t w o s c h e d u l e s t e n d t o r e -d u c e b i a s a n d p r o m o t e m a t c h i n g . T h u s , h i g h e rCODs p r o m o t e m a t c h i n g .F o r c o n v e n i e n c e , we a s s u m e d i n t h e t e x tt h a t m w a s c o n s t a n t f o r v a r i o u s v a r i a b l e - i n t e r -v a l s c h e d u l e s . B u t e q u a l v a l u e s o f B g i v e d i f -f e r e n t s l o p e s f o r d i f f e r e n t s c h e d u l e s a s i n d i -c a t e d b y F i g u r e 8 . I n o r d e r f o r t h e s l o p e ( m )t o r e m a i n c o n s t a n t , B w o u l d h a v e t o c h a n g e ;s u b j e c t s w o u l d h a v e t o a l t e r n a t e b e t w e e n r e -s p o n d i n g a n d n o t - r e s p o n d i n g l e s s f r e q u e n t l yw i t h l o w e r r a t e s o f r e i n f o r c e m e n t . I n f o r m a lo b s e r v a t i o n o f c u m u l a t i v e r e c o r d s i n d i c a t e st h a t p i g e o n s d o p a u s e l o n g e r w i t h l o n g e r V Is c h e d u l e s . I f , h o w e v e r , m w e r e d i f f e r e n t f o rd i f f e r e n t V I s c h e d u l e s , b i a s e d m a t c h i n g w o u l db e o b t a i n e d a n d t h e f u n c t i o n o f F i g u r e 2w o u l d b e a l t e r e d . I t i s t h u s a n i m p o r t a n t e m -p i r i c a l q u e s t i o n w h e t h e r m s t a y s a p p r o x i -m a t e l y c o n s t a n t a c r o s s V I s c h e d u l e s . T h i sq u es t io n h a s n o t y e t b e e n a d d r e s s e d i n e x -p e r i m e n t s .F i g u r e 8 a l s o s h o w s a n a c t u a l f e e d b a c k f u n c -t i o n f r o m d a t a o b t a i n e d b y McSweeny ( 1 9 7 5 )w i t h c o n c u r r e n t v a r i a b l e - i n t e r v a l r e s p o n d i n go f p i g e o n s a t v a r i o u s b o d y w e i g h t s . Th e t w os e t s o f p o i n t s a r e f o r t h e o n l y t w o ( o f f i v e ) p i -g e o n s f o r w h i c h a c o m p l e t e s e t o f b o d y w e i g h t sw a s o b t a i n e d . The s c h e d u l e s h o w n ( V I 4 - m i n )w a s t h e l o w e s t r a t e o f r e i n f o r c e m e n t u s e d .W i t h h i g h e r r a t e s o f r e i n f o r c e m e n t , r e s p o n s er a t e s t e n d e d t o b u n c h a t h i g h v a l u e s . Th es p r e a d o f p o i n t s s h o w n i n F i g u r e 8 i s a p p r o x i -m a t e d b y a s t r a i g h t l i n e o n l o g l o g c o o r d i n a t e s .B u t n o t e t h a t t h e p o i n t s s h o w c o n s i d e r a b l ef l u c t u a t i o n , i n d i c a t i n g t h a t t h e f e e d b a c k f u n c -t i o n i s s e n s i t i v e t o t h e p a t t e r n i n g o f r e -s p o n d i n g .A t B = 0 , C = - a l , w h i c h i s t h e f e e d b a c k f u n c -t i o n f o r v a r i a b l e - r a t i o s c h e d u l e s . Th e f e e d b a c kf u n c t i o n h a s no m e a n i n g w h e r e I = 0 a n d B= 0 . T h i s c o r r e s p o n d s t o a l t e r n a t i o n o f n o n -r e s p o n d i n g ( n ) w i t h a n i o f z e r o . Th e r e i n -f o r c e m e n t s e t up i n n w o u l d n e v e r b e c o l -l e c t e d . T h u s , when I e q u a l s z e r o , B m u s t a l s oe q u a l z e r o . A t t h i s p o i n t ( a n d n e a r t h i s p o i n t )t h e V I a n d VR s c h e d u l e s a r e e q u i v a l e n t .

APPENDIX I IF i t t i n g t h e C a t a n i a - R e y n o l d s ( 1 9 6 8 ) d a t a .E q u a t i o n s 9 a n d 1 0 a r e t w o v e r s i o n s o f t h e

s a m e e q u a t i o n ; o n e , i n t e r m s o f p r o g r a m m e dr a t e o f r e i n f o r c e m e n t ; t h e o t h e r , i n t e r m s o fa c t u a l r a t e . We f i t E q u a t i o n 9 , w i t h t h e p r o -grammed r a t e s o f r e i n f o r c e m e n t , s i n c e t h e s ec o u l d b e c a l c u l a t e d a n d d i d n o t n e e d t o b ee s t i m a t e d f r o m F i g u r e 1 i n t h e C a t a n i a - R e y n -o l d s p a p e r , a s d i d r a t e s o f r e s p o n s e . We a s -s u m e m = 0 . 1 . From E q u a t i o n 1 1 ( a i n s t e a do f C ) w i t h a V I 1 - m i n s c h e d u l e , a = 4 / 6 0 =0 . 0 6 7 . From E q u a t i o n 1 1 a n d F i g u r e 1 ( o fC a t a n i a - R e y n o l d s , 1 9 6 8 ) , w i t h a V I 1 - m i ns c h e d u l e f o r a n a v e r a g e p i g e o n ( r a t e o f r e -s p o n s e i s 6 0 p e r m i n u t e = 1 p e r s e c o n d ) a s -s u m i n g e a c h r e s p o n s e t a k e s 0 . 2 5 s e c , I = 1 x0 . 2 5 = 0 . 2 5 . S u b s t i t u t i n g m= 0 . 1 , a = 0 . 0 6 7 , I= 0 . 2 5 i n E q u a t i o n 9 :

O . l x ( 0 . 0 6 7 ) : ( 0 . 2 5 ) - - 1 = z ( 0 . 7 5 ) ' .D o i n g t h e e q u i v a l e n t f o r V I 1 2 - s e c :

O . l x ( 0 . 3 3 ) ( 0 . 3 2 ) - . - 1 = z ( 0 . 6 8 ) s - 1 .S o l v i n g t h e t w o s i m u l t a n e o u s e q u a t i o n s f o r xa n d Z :

x = 0 . 2 , z = 0 . 0 3 4 .W i t h r a t i o s c h e d u l e s . No w we no l o n g e r a s -s u m e y = 0 . T h u s , f r o m E q u a t i o n s 2 a n d 3 :

V = C + l + N ' .From E q u a t i o n 1 a n d t h e r e l a t i o n , N = 1 - I ,

V = ( a l m ) + l ( I - I )dV- d I = m x a x T I E - i + y I 7 1 - - z 1 - 1 s -

I n r a t i o s c h e d u l e s , m = 1 . From t h e i n t e r v a ls c h e d u l e a n a l y s i s , x = 0 . 2 , z = 0 . 0 3 8 . FromZ u r i f f ' s ( 1 9 7 0 ) d a t a , w i t h VR 1 0 0 , r a t e o f r e -s p o n s e w a s a b o u t 1 0 0 r e s p o n s e s p e r m i n u t e .T h u s , a = C / I = 4 / ( 1 0 0 x 0 . 2 5 ) = 0 . 1 6 a n d I= ( 1 0 0 x 0 . 2 5 ) / 6 0 = 0 . 4 2 ( u s i n g c o n v e r s i o n f a c -t o r s i n E q u a t i o n 1 1 ) . S u b s t i t u t i n g t h e s e v a l u e si n t o t h e d e r i v a t i v e a b o v e a n d s e t t i n g i t e q u a lt o z e r o :0 = 0 . 2 ( 0 . l 6 ) o 0 2 ( 0 . 4 2 ) 4 8 + y ( o . 4 2 ) Y - 1 - 0 . 0 3 8 ( 0 . 5 8 ) 0 9

S o l v i n g t h e a b o v e , y = - 0 . 0 8 .REFERENCES

A n g e r , D . Th e d e p e n d e n c e o f i n t e r r e s p o n s e t i m e supon t h e r e l a t i v e r e i n f o r c e m e n t o f d i f f e r e n t i n t e r -


16/16

3 6 0 HOWARD RACHLINr e s p o n s e t i m e s . J o u r n a l o f E x p e r i m e n t a l P s y c h o l o g y ,1 9 5 6 , 5 2 , 1 4 5 - 1 6 1 .Baum, W. M. Th e c o r r e l a t i o n b a s e d l a w o f e f f e c t .J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o f B e h a v i o r ,1 9 7 3 , 2 0 , 1 3 7 - 1 5 3 .Baum, W. M. On t w o t y p e s o f d e v i a t i o n f r o m t h em a t c h i n g l a w : b i a s a n d u n d e r m a t c h i n g . J o u r n a l o ft h e E x p e r i m e n t a l A n a l y s i s o f B e h a v i o r , 1 9 7 4 , 2 2 ,2 3 1 - 2 4 2 .Baum, W. M. a n d R a c h l i n , H . C . C h o i c e a s t i m e a l l o -c a t i o n . J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o fB e h a v i o r , 1 9 6 9 , 1 2 , 8 5 1 - 8 7 4 .

C a t a n i a , A . C . a n d R e yn o l d s , G . S . A q u a n t i t a t i v ea n a l y s i s o f r e s p o n d i n g m a i n t a i n e d b y i n t e r v a l s c h e d -u l e s o f r e i n f o r c e m e n t . J o u r n a l o f t h e E x p e r i m e n t a lA n a l y s i s o f B e h a v i o r , 1 9 6 8 , 1 1 , 3 2 7 - 3 8 3 .C r o s s , D . V . S e q u e n t i a l d e p e n d e n c i e s a n d r e g r e s s i o ni n p s y c h o p h y s i c a l j u d g m e n t s . P e r c e p t i o n a n d P s y -c h o p h y s i c s , 1 9 7 3 , 1 4 , 5 4 7 - 5 5 2 .d e V i l l i e r s , P . C h o i c e i n c o n c u r r e n t s c h e d u l e s a n d aq u a n t i t a t i v e f o r m u l a t i o n o f l a w o f e f f e c t . I n W. K .Honig a n d J . E . R . S t a d d o n , ( E d s ) , H a n d b o o k o f

o p e r a n t b e h a v i o r . E n g l e w o o d C l i f f s , Ne w J e r s e y :P r e n t i c e - H a l l , 1 9 7 7 . P p . 2 3 3 - 2 8 7 .F e l t o n , M . a n d L y o n , D . 0 . Th e p o s t - r e i n f o r c e m e n t

p a u s e . J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o f B e -h a v i o r , 1 9 6 6 , 9 , 1 3 1 - 1 3 5 .H e r r n s t e i n , R . J . R e l a t i v e a n d a b s o l u t e s t r e n g t h o f

r e s p o n s e a s a f u n c t i o n o f f r e q u e n c y o f r e i n f o r c e -m e n t . J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o f B e -h a v i o r , 1 9 6 1 , 4 , 2 6 7 - 2 7 2 .H er r n s t e in , R . J . On t h e l a w o f e f f e c t . J o u i r n a l o f t h e

E x p e r i m e n t a l A n a l y s i s o f B e h a v i o r , 1 9 7 0 , 1 3 , 2 4 3 -2 6 6 .M c G i l l , W. J . S t o c h a s t i c l a t e n c y i n e c h a n i s m . I n R . D .L u c e , R . R . B u s h , a n d E . G a l a n t e r ( E d s ) , H a n d b o o ko f m a t h e m a t i c a l p s y c h o l o g y , V o l . 1 . Ne w Y o r k :W i l e y , 1 9 6 3 . P p . 3 0 9 - 3 6 1 .

M c S w e e n e y , F . K . C o n c u r r e n t s c h e d u l e r e s p o n d i n g a s

a f u n c t i o n o f b o d y w e i g h t . Animal L e a r n i n g a n dB e h a v i o r , 1 9 7 5 , 3 , 2 6 4 - 2 7 0 .P r e m a c k , D . R e i n f o r c e m e n t t h e o r y . I n D . L e v i n e ( E d ) ,N e b r a s k a s y m p o s i u m o n m l o t i v a t i o n : 1 9 6 5 . L i n c o l n :

U n i v e r s i t y o f N e b r a s k a P r e s s , 1 9 6 5 . P p . 1 2 3 - 1 8 8 .R a c h l i n , H . Th e e f f e c t o f s h o c k i n t e n s i t y on c o n c u r -

r e n t a n d s i n g l e - k e y r e s p o n d i n g i n c o n c u r r e n t c h a i ns c h e d u l e s . J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o fB e h a v i o r , 1 9 6 7 , 1 0 , 8 7 - 9 3 .R a c h l i n , H . On t h e t a u t o l o g y o f t h e m a t c h i n g l a w .J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o f B e h a v i o r ,1 9 7 1 , 1 5 , 2 4 9 - 2 5 1 .R a c h l i n , H . a n d B u r k h a r d , B . The t e m p o r a l t r i a n g l e :R e s p o n s e s u b s t i t u t i o n i n i n s t r u m e n t a l c o n d i t i o n i n g .P s y c h o l o g i c a l R e v i e w , 1 9 7 8 , 8 5 , 2 2 - 4 8 .R a c h l i n , H . , G r e e n , L . , K a g e l , J . H . , a n d B a t t a l i o , R . C .E c o n o m i c demand t h e o r y a n d p s y c h o l o g i c a l s t u d i e s

o f c h o i c e . I n G . Bower ( E d ) , The p s y c h o l o g y o fl e a r n i n g a n d m o t i v a t i o n , V o l . 1 0 . Ne w Y o r k : A c a -d e m i c P r e s s , 1 9 7 6 . P p . 1 2 9 - 1 5 4 .S h i m p , C . P . R e i n f o r c e m e n t o f s h o r t i n t e r r e s p o n s et i m e s . J o u r n a l o f t h e E x p e r i m e n t a l A n a l y s i s o f B e -h a v i o r , 1 9 6 7 , 1 0 , 4 2 5 - 4 3 4 .S h u l l , R . L . a n d P l i s k o f f , J . J . C h a n g e o v e r d e l a y a n dc o n c u r r e n t s c h e d u l e s : s o m e e f f e c t s on r e l a t i v e p e r -f o r m a n c e m e a s u r e s . J o u r n a l o f t h e E x p e r i m e n t a lA n a l y s i s o f B e h a v i o r , 1 9 6 7 , 1 0 , 5 1 7 - 5 2 9 .S t a d d o n , J . E . R . O p e r a n t b e h a v i o r a s a d a p t a t i o n t oc o n s t r a i n t . J o u i r n a l o f E x p e r i m e n t a l P s y c h o l o g y :G e n e r a l ( i n p r e s s ) .S t a d d o n , J . E . R . a n d M o t h e r a l l , S . On m a t c h i n g a n dm a x i m i z i n g i n o p e r a n t c h o i c e e x p e r i m e n t s . P s y c h o -l o g i c a l R e v i e w ( i n p r e s s ) .Z u r i f f , G . E . A c o m p a r i s o n o f v a r i a b l e - i n t e r v a l a n dv a r i a b l e - r a t i o s c h e d u l e s o f r e i n f o r c e m e n t . J o u r n a lo f t h e E x p e r i m e n t a l A n a l y s i s o f B e h a v i o r , 1 9 7 0 , 1 3 ,3 6 9 - 3 7 5 .

R e c e i v e d 9 J a n u a r y 1 9 7 8 .( F i n a l a c c e p t a n c e 2 5 May 1 9 7 8 . )

Howard Rachlin - A Molar Theory of Reinforcement Schedules

Documents

Transcript of Howard Rachlin - A Molar Theory of Reinforcement Schedules