8/18/2019 Measuring the Accuracy of Diagnostic Systems

1/9

Measuring t h e Accuracy of D i a g n o s t i c S y s t e m s

JOHNA . S W E T S

D i a g n o s t i cs y s t e m so f s e v e r a lk d n d sa r eu s e d to d i s t i n -g u i s hb e t w e e nt w od a s s e so f e v e n t s ,e s s e n t i a l l y s i g n a l sa n d n o i s e .F o rt h e m ,a n a l y s i si n t e r m so f the r e l a t i v eo p e r a t i n gc h a r a c t e r i s t i co f s i g n a ld e t e c t i o nt h e o r yp r o -v i d e sa p r e c i s ea n dv a l i dm e a s u r eo f d i a g n o s t i ca c c u r a c y .I t i s t h eo n l ym e a s u r ea v a i l a b l et h a ti s u n i n f l u e n c e db yd e c i s i o nb i a s e sa n dp r i o rp r o b a b i l i t i e s ,a n di t p l a c e st h ep e r f o r m a n c e so f d i v e r s es y s t e m so n a c o m m o n ,e a s i l yi n t e r p r e t e ds c a l e .R e p r e s e n t a t i v ev a l u e so f t h i sm e a s u r ea r er e p o r t e dhe re f o rs y s t e m si nm e d i c a li m a g i n g ,m a t e r i -a l s t e s t i n g ,w e a t h e rf o r e c a s t i n g ,i n f o r m a t i o nr e t r i e v a l ,p o l y g r a p hl i ed e t e c t i o n ,a n da p t i t u d et e s t i n g .T h o u g ht h em e a s u r ei t s e l fi ss o u n d ,the v a l u e so b t a i n e df r o mt e s t so fd i a g n o s t i cs y s t e m so f t e nr e q u i r eq u a l i f i c a t i o nb e c a u s et h et e s td a t ao nw h i c htheya r eb a s e da r eo fu n s u r eq u a l i t y .Acommon s e to f p r o b l e m si n t e s t i n gi sf a c e di n a l lf i e l d s .H o ww e l lt h e s ep r o b l e m sa r eh a n d l e d ,o r c a nb e h a n d l e di na g i v e nf i e l d ,d et er m i n e s th e d eg r eeo f c o n f i d e n c et h a tc a nb e p l a c e di na m e a s u r e dv a l u eo fa c c u r a c y .Some f i e l d sf a r emuch b e t t e rt h a n o t h e r s .

A G N O S T I CS Y S T E M SA R E A L LA R O U N DU S .THEYA R Eu s e dt o r e v e a l d i s e a s e s i np e o p l e ,m a l f u n c t i o n si nn u c l e a rp o w e rp l a n t s ,f l a w si nm a n u f a c t u r e dp r o d u c t s , t h r e a t e n i n g

a c t i v i t i e so ff o r e i g ne n e m i e s ,c o l l i s i o nc o u r s e so fa i r c r a f t ,a n de n t r i e so f b u r g l a r s .S u c hu n d e s i r a b l ec o n d i t i o n sa n de v e n t su s u a l l yc a l lf o rc o r r ec t i v e a c t i o n .O t h e r d i a g n o s t i cs y s t e m sa r e u s e d t o m a k ej u d i c i o u ss e l e c t i o nf r o mm a n yo b j e c t s .I n c l u d e da r ej o bo r s c h o o la p p l i c a n t swh o a r el i k e l yt o s u c c e e d ,i n c o m et a xr e t u r n st h a ta r ef r a u d u l e n t ,o i ld e p o s i t si nt h eg r o u n d ,c r i m i n a ls u s p e c t swh o l i e ,a n dr e l e v a n td o c u m e n t si n a l i b r a r y.S t i l lo t h e rd i a g n o s t i cs y s t e m sa r eu s e dt op r e d i c tf u t u r ee v e n t s .E x a m p l e sa r ef o r e c a s t so f t h ew e a t h e ra n do f e c o n o m i cc h a n g e .

I t i si m m e d i a t e l ye v i d e n tt h a td i a g no s t i c s y s t e m so f t h i s s o r ta r en o t p e r f e c t l ya c c u r a t e .I t i s a l s oc l e a rt h a tg o o d ,q u a n t i t a t i v ea s s e s s m e n t so f t h e i rd e g r e eo f a c c u r a c yw o u l db e v e r yu s e f u l .Va l i da n dp r e c i s ea s s e s s m e n t so f i n t r i n s i ca c c u r a c yc o u l dh e l pu s e r st ok n o wh ow o r w h e nt ou s et h es y s t e m sa n dhow m u c hf a i t ht op u ti nt h e m .S u c ha s s e s s m e n t sc o u l da l s oh e l ps y s t e mm a n a g e r st od e t e r -m i n ew h e nt o a t t e m p ti m p r o v e m e n t sa n d how t o e v a l u a t et h er e s u l t s .A f u l le v a l u a t i o no fa s y s t e m sp e r f o r m a n c ew o u l dg o b ey o n di t sg e n e r a l ,i n h e r e n ta c c u r a c yi no r d e rt oe s t a b l i s hq u a n t i t a t i v e l yi t su t i l i t yo r e f f i c a c yi na n ys p e ci f i c s e t t i ng ,b u tg o o d ,g e n e r a lm e a s u r e so fa c c u r a c ym u s tp r e c e d es p e c i f i cc o n s i d e r a t i o n so f e f f i c a c y( 1 ) .

I s u g g e s tt h a ta l t h o u g ha n a c c u r a c ym e a s u r ei so f t e nc a l c u l a t e di n

3 JUNE 1988

o n e o r a n o t h e ri n a d e q u a t eo r m i s l e a d i n gw a y, a g o o dw a yi sa v a i l a b l ef o rg e n e r a lu s e .T h e p r e f e r r e dw a yq u a n t i f i e sa c c u r ai n d e p e n d e n t l yo f t h er e l a t i v ef r e q u e n c i e so f t h ee v e n t s( c o n d i t i oo b j e c t s ) t ob e d i a g n o s e d( d i s e a s ea n d n o d i s e a s eo r r a i na n d n o r a i n ,f o ri n s t a n c e )a n da l s oi n d e p e n d e n t l yo f t h ed i a g n o ss y s t e m sd e c i s i o nb i a s ,t h a ti s ,i t sp a r t i c u l a rt e n d e n c yt oc h o o s eo n ea l t e m a t i v eo v e ra n o t h e r( b ei t d i s e a s eo v e r n o d i s e a s e ,o r v i c ev e r s a ) .I ns od o i n g ,t h ep r e f e r r e dm e a s u r ei sm o r ev a l i da n dp r e c it h a n t h ea l t e r n a t i v e sa n d c a n p l a c ea l ld i a g n o s t i cs y s t e m so n acommons c a l e .

O n t h eo t h e rh a n d ,g o o dt e s td a t ac a nb ev e r yd i f f i c u l tt oo b t a i nT h u s ,t h e t r u t ha g a i n s tw h i c hd i a g n o s t i cd e c i s i o n sa r es c o r e dm a yb e l e s st h a n p e r f e c t l yr e l i a b l e ,a n dt h es a m p l eo f t e s tc a s e ss e l e c tm a yn o ta d e q u a t e l yr e p r e s e n tt h ep o p u l a t i o nt ow h i c ht h es y s t e mi sa p p l i e di np r a c t i c e .S u c hp r o b l e m so c c u rg e n e r a l l ya c r o s sd i a g n o sf i e l d s ,b u t w i thm o r eo r l e s ss e v e r i t yd e p e n d i n go n t h ef i e l d .H e n c eo u rc o n f i d e n c ei na n a s s e s s m e n to f a c c u r a c yc a nb e h i g h e ri ns o m ef i e l d st h a n i n o t h e r s - h i g h e r ,f o ri n s t a n c e ,i n w e a t h e rf o r e c a s tt h a ni np o l y g r a p hl i ed e t e c t i o n .

T h eA p p r o p r i a t eM e a s u r eo f A c c u r a c yA l t h o u g hs o m ed i a g n o s e sa r em o r ec o m p l e x ,d i a g n o s t i cs y s t e m

o v e ra w i d er a n g ea r ec a l l e du p o nt od i s c r i m i n a t eb e t w e e nj u s tt w oa l t e m a t i v e s .T h e ya r eo n t h el o o k o u tf o rs o m es i n g l e ,s p e c i f i e dc l a so fe v e n t s( o b j e c t s ,c o n d i t i o n s ,a n ds o f o r t h )a n ds e e kt od i s t i n g ut h a tc l a s sf r o ma l lo t h e re v e n t s .T h u s ,a g e n e r a lt h e o r yo f s i g n ad e t e c t i o ni sg e r m a n et om e a s u r i n gd i a g n o s t i ca c c u r a c y .A d i a g n o ss y s t e ml o o k sf o ra p a r t i c u l a r s i g n a l ,h o w e v e rd e f i n e d ,a n da t t e m pt o i g n o r eo r r e j e c to t h e re v e n t s ,w h i c ha r ec a l l e d n o i s e .T h ed i s c r i m i n a t i o ni sn o tm a d ep e r f e c t l yb e c a u s en o i s ee v e n t sm a ym i m is i g n a le v e n t s .S p e c i f i c a l l y,o b s e r v a t i o n so r s a m p l e so f n o i s e - a le v e n t sa n do fs i g n a l( o rs i g n a l - p l u s - n o i s e )e v e n t sp r o d u c ev a l u e so fad e c i s i o nv a r i a b l et h a tm a yb e a s s u m e dt ov a r yf r o mo n eo c c a s i ot oa n o t h e r ,w i t ho v e r l a p p i n gd i s t r i b u t i o n so ft h ev a l u e sa s s o c i a t e dw i t ht h et w o c l a s s e so f e v e n t s ,a n dm o d e r nd e t e c t i o nt h e o r yt r e a t st h ep r o b l e ma so n eo fd i s t i n g u i s h i n gb e t w e e nt w os t a t i s t i c a lh y p o t h e( 2 ) .

T h er e l e v a n tp e r f o r m a n ed a t a .W i t ht w o a l t e r n a t i v ee v e n t sa n dt w o c o r r e s p o n d i n gd i a g n o s t i ca l t e r n a t i v e s ,t h ep r i m a r yd a t aa r et h o s eo f a t w o - b y - t w oc o n t i n g e n c yt a b l e( T a b l e1 ) .T h ee v e n t i sc o n s i d e r e dt o b e p o s i t i v eo r n e g a t i v e( w h e r et h es i g n a le v e ne v e n i fu n d e s i r a b l e ,i s c a l l e dp o s i t i v e ) ,a n dt h ed i a g n o s i sm a d ei sc o r r e s p o n d i n g l yp o s i t i v eo r n e g a t i v e .S o t h e r ea r et w o w a y si nw h i c ht h ea c t u a le v e n ta n dt h ed i a g n o s i sc a na g r e e ,t h a ti s ,t w ok i n do f c o r r e c to u t c o m e s ,c a l l e d t r u e - p o s i t iv ec e l la i nTa b l e1 )a n d t r u e - n e g a t i v ec e l ld ) .A nd t h e r ea r et w ow a y si nw h i c ht h ea c t u ae v e n ta n dt h ed i a g n o s i sc a nd i s a g r e e ,t h a ti s ,t w ok i n d so f e r r o rc a l l e d f a l s e - p os i t i v ec e l lb )a n d f a l s e - n e g a t i v ec e l lc ) .D a t af r o ma t e s to f a d i a g n o s t i cs y s t e mc o n s i s to f t h eo b s e r v e df r e q u e n c io ft h o s e f o u rp o s s i b l eo u t c o m e s .

A R T I C L E SI 2 8

T h e a u t h o ri s c h i e fs c i e n t i s ta t BBN L a b o r a t o r i e sI n c o r p o r a t e d ,C a m b r i d g e ,MA0 2 2 3 8 .H ei sa l s ol e c t u r e ro n c l i n i c a le p i d e m i o l o g ya t H a r v a r dM e d i c a lS c h o o l .

http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/http://www.sciencemag.org/

8/18/2019 Measuring the Accuracy of Diagnostic Systems

2/9

T a b l e1 .Tw o - b y - t w oc o n t i n g e n c yt a b l e .

E v e n t

D i a g -

n o s i s

Positive N e g a t i v e

a bP o s i t i v e Tr u e - F a l s e - a b

p o s i t i v e p o s i t i v e

c dN e g a t i v e F a l s e - Tr u e - c d

n e g a t i v e n e g a t i v e

a c b d

H o w e v e r ,i fwe c o n s i d e rp r o p o r t i o n sr a t h e rt h a n raw f r e q u e n c i e so f t h ef o u ro u t c o m e s , then j u s ttwo p r o p o r t i o n sc o n t a i na l lo f t h ei n f o r m a t i o na b o u tthe o b s e r v e do u t c o m e s . T a k et he s y m b o l sa , b , c ,a n d das d e n o t i n gt h ea c t u a ln u m b e r so f e a c h outcome t h a tar eo b s e r v e d ,a n d c e r t a i nr a t i o s ,s u c h as a / ( a c ) , as g i v i n g t h e i rp r o p o r t i o n s .T h e n ,w h e n e v e rthe p o s i t i v ee v e n t o c c u r s , t he d i a g n o -s i s i s e i t h e rp o s i t i v eor n e g a t i v e ,a n d h e n c e the f a l s e - n e g a t i v ep r o p o r t i o n ,c l a c ) ,i ss i m p l ythe c o m p l e m e n to f the t r u e - p o s i t i v ep r o p o r t i o n ,a / ( a c ) , w i t h the two p r o p o r t i o n si n t h a tc o l u m na d d i n gt o one. S i m i l a r l y ,f o r t he o t h e r c o l u m n , w h e n e v erthen e g a t i v ee v e n t o c c u r s , t he d i a g n o s i si s e i t h e rp o s i t i v eor n e g a t i v e ,a n ds o the t r u e - n e g a t i v ea n df a l s e - p o s i t i v ep r o p o r t i o n s a r e c o m p l e -m e n t s . T h e r e f o r e ,i n a t e s t o f a d i a g n o s t i cs y s t e m , a l lo f the r e l e v a n ti n f o r m a t i o nw i t h r e g a r dt o accuracy can b e c a p t u r e db y r e c o r d i n go n l yone member o fe a c ho f the c o m p l e m e n t a r yp a i r so f p r o p o r t i o n s( o n ep r o p o r t i o nf r o me a c h c o l um n ) .The u s u a lc h o i c e sa re t h o s eo ft he t o p row, n a m e l y ,the t r u e - p o s i t i v ep r o p o r t i o na n d the f a l s e -p o s i t i v ep r o p o r t i o n .T h e l a n g u a g eo f d e t e c t i o nt h e o r yi s o f t e n a p t :t h o s e two p r o p o r t i o n sar e o f h i t s a n d f a l s ea l a r m s .A n y opera t -i n gs y s t e m , u n l e s sp e r f e c t ,w i l ll e a d t o f a l s ea l a r m sa s well a s h i t s .A l t h o u g ho t h e r p r o p o r t i o n scan b e d r a w nf r o mthe t a b l e ,t h e s etwop r o p o r t i o n s a r e the m a j o rones a n d t he b a s i s f o ran a p p r o p r i a t ea c c u r a c y measure

A measure i n d e p e n d e n to f e v e n tf r e q u e n c i e s .C o n v e r t i n graw f r e -q u e n c i e st o p r o p o r t i o n si n the way j u s td e s c r i b e dc rea te s one o f twof u n d a m e n t a la t t r i b u t e so f a s u i t a b l ea c c u r a c y measure. I fi t c o n s i d e r so n l y the t r u e - p o s i t i v ea n d f a l s e - p o s i t i v ep r o p o r t i o n s ,an accuracymeasure i g n o r e sthe r e l a t i v ef r e q u e n c i e s ,or p r i o r p r o b a b i l i t i e s ,o fp o s i t i v ea n dn e g a t i v ee v e n t s - d e f i n e d ,r e s p e c t i v e l y,a s ( a c ) / Na n d( b d ) I N ,where N i s t he t o t a ln u m b e r o f events-and i t d o e sn o td e p e n don t h e m . T h i s i s as i t s h o u l db e .F o r e x a m p l e ,we do n o twant t he accuracy score a s s i g n e da p a r t i c u l a rsystem f o rd e t e c t i n gc r a c k si n m e t a l t o b e s p e c i f i ct o t he r e l a t i v ef r e q u e n c i e so f c r a c k e da n ds o u n ds p e c i m e n sc h o s e nf o rthe t e s t s a m p l e .

A m e a s u r e i n d e p e n d e n to f t h e d e c i s i o nc r i t e r i o n . Th e s e c o n df u n d a -m e n t a l a t t r i b u t eo f a s u i t a b l eaccuracy measure i s t h a t i t b eu n a f f e c t e db y t he s y s t e m ' sd e c i s i o nb i a sor t e n d e n c yt o f a v o rone ort he o t he rd i a g n o s t i ca l t e r n a t i v e .I t i s c o n v e n i e n tto t h i n ko f t h i sb i a sor t e n d e n c yas b a s e don t he c r i t e r i o nu s e db y t he system t o e s t a b l i s ha p o s i t i v ed i a g n o s i s .T h i sd e c i s i o nc r i t e r i o ncan b e t h o u g h to f a s t h ec r i t i c a l ,or t h r e s h o l d ,amount o f e v i d e n c ef a v o r i n gt he occurrence o ft h e p o s i t i v ee v e n t t h a t i s r e q u i r e dt o i s s u e a p o s i t i v ed i a g n o s i s .

The d e c i s i o nc r i t e r i o nc h o s e nb y or f o rt h e system s h o u l d( a n du s u a l l yd o e s ) d e p e n don t he p r i o r p r o b a b i l i t i e so f t he two even t s .T h u s , i n s i t u a t i o n si n which t he p o s i t i v ee v e n t h a s a h i g h p r i o rp r o b a b i l i t y ,t h e system s h o u l dh a v ea l e n i e n tc r i t e r i o n f o r a p o s i t i v ed i a g n o s i s .C o n s i d e rt he r a i nf o r e c a s t e ri nWashington ( m e r e l ya h i n t

I 2 8 6

o f r a i nl e a d st o ap o s i t i v ep r e d i c t i o n )o r t h em a m m o g r a pe x a m i n i n ga h i g h - r i s ko r s y m p t o m a t i cp a t i e n t( t h em i n i m a ls u g g et i o no f a l e s io nl e a d st o f u r t h e ra c t i o n ) .T h e nt h eq u a n t i t yf r o mT a b l e1 t h a tr e f l e c t st h ee n t i r ep o s i t i v er o w( n o tc o l u m n ) ,n a m e l( a b ) I N ,w i Ub eh i g hr e l a t i v et oi t sc o m p l e m e n ti nt h e n e g a t i v er o wn a m e l y , c d ) / N .C o n v e r s e l y ,a s t r i c tc r i t e r i o ns h o u l d b eu s e dw h e nt h ep o s i t i v ee v e n ti su n l i k e l yo np r i o rg r o u n d s .T h e nt h ep o s i t i v er o w p r o b a b i l i t yw i l lb el o w e rr e l a t i v et o t h en e g a t i v er o w s .

T h ep a r t i c u l a rd e c i s i o nc r i t e r i on t h a ti sa p p r o p r i a t ed e p e n d sa l s oo n t h eb e n e f i t sa s c r i b e dt o t h e c o r re c to u t c o m e sa n d t h ec o s t

a s c r i b e dt o t h ei n c o r r e c to u t c o m e s .P r e d i c t i n ga s e v e r es t o r mt h a td o e sn o t o c c u r af a l s ep o s i t i v e )i st y p i c a l l yr e g a r d e da sh a v i n ga c o s tt h a ti ss m a l lr e l a t i v et ot h ec o s to ff a i l i n gt op r e d i c ta s t o r mt h a td o eo c c u r( a f a l s en e g a t i v e ) ,s o t h ec r i t e r i o na d o p t e df o ra p o s i t id i a g n o s i si so n t h el e n i e n ts i d e .C o n v e r s e l y ,a s t r i c tc r i t e r i o nw o u l db es e tw h e nt h ec o s to fa f a ls e - po s i t i v eo u t c o m ei sd i s p r o p r o t i ol y h i g h ;f o r e x a m p l e ,t h ep h y s i c i a nw a n t sm u c ht o a v o i dl i f et h r e a t e n i n gs u r g e r yo n a p a t i e n tw h ot u r n so u tn o tt o h a v et h es u s p e c t e dd i s e a s e .Other e x a m p l e se x i s ti n w h i c ho n eo r a n o t hb e n e f i ti sp a r a m o u n t( r a t h e rt h a nc o s t sa sj u s ti l l u s t r a t e d )a n dh e n ch a sa m a j o re f f e c to n t h ed i a g n o s t i cc r i t e r i o nt h a ti s a d o p t e d .

W h e na p o s i t i v ed i a g n o s i si sm a d ea c c o r d i n gt oa l e n i e n td e c i s ic r i t e r i o n ,i t w i l lb em a d er e l a t i v e l yo f t e na n db o t ho ft h ep r i m ap r o p o r t i o n si n a c c u r a c ym e a s u r e m e n t ,t h et r u e -a n df a l s e - p o s ip r o p o r t i o n s ,w i l lb e h i g h .C o n v e r s e l y ,p o s i t i v ed i a g n o s e sm a d ea c c o r d i n gt o a s t r i c tc r i t e r i o nw i l lb em a d er e l a t i v e l yi n f r e q u e na n d b o t ho f t h e s ep r o p o r t i o n sw i l lb e l o w.A s y s t e mo f a f i x ec a p a c i t yt od i s t i n g u i s hb e t w e e np o s i t i v ea n dn e g a t i v ee v e n t sc a n ni n c r e a s et h et r u e - p o s i t i v ep r o p o r t i o nw i t h o u ta l s oi n c r e a s i n gt h ef a l s e - p o s i t i v ep r o p o r t i o n .N o r c a n i t d e c r e a s et h e f a l s e - p o s ip r o p o r t i o nw i t h o u ta l s od e c r e a s i n gt h et r u e - p o s i t i v ep r o p o r t i oAv a l i dm e a s u r eo fa c c u r a c yw i l la c k n o w l e d g et h a tt h et r u e -a n df a l sp o s i t i v ep r o p o r t i o n sw i l lv a r yt o g e t h e r ,a s t h ed e c i s i o nc r i t e r ic h a n g e s .W e d e s i r ea m e a s u r eo fa c c u r a c yt h a ti s v a l i df o ra l lt h es e t t i n g si n w h i c ha s y s t e mm a yo p e r a t e ,w i t ha n y o ft h ev a r i od e c i s i o nc r i t e r i at h a tm a yb ea p p r o p r i a t ef o rt h ev a r i o u ss e t t i n gA n d ,w i t h i na s i n g l es e t t i n g ,w ed e s i r ea m e a s u r eo fa c c u r a c yt h a ti sv a l i df o rt h ed i f f e r e n td e c i s i o nc r i t e r i a ,a p p r o p r i a t eo rn o t ,t h a tm a yb es e tb yd i f f e r e n td e c i s i o n - m a k e r s .W em u s tr e c o g n i z et h a ti n d i v iu a l sc a nd i f f e ri n t h e i re s t i m a t e so fp r i o rp r o b a b i l i t i e sa n do f c o s ta n db e n e f i t sa n ds oa d o p td i f f e r e n tc r i t e r i a .

B a s i s f o rc u l a t i n gt h es u i t a b l em e a s u r e .A m e a s u r eo fa c c u r a c yt h ai si n d ep e n den t b o t ho ft h er e l a t i v ef r e q u e n c i e so ft h et w oe v e n t sa n do f t h ed e c i s i o nc r i t e r i o nt h a ti s a d o p t e df o ra p o s i t i v ed i a g n o s ii sd e f i n e di n t e r m so f t h eg r a p hi l l u s t r a t e di n F i g .1 .On t h i sg r a p ho n eu s e st e s td a t at o p l o tt h et r u e - p o s i t i v ep r o p o r t i o na g a i n s tt h ef a l s e - p o s i t i v ep r o p o r t i o nf o rv a r i o u ss e t t i n g so ft h ed e c i s i o nc r i t e ro n .T h u s ,a c u r v eo n t h eg r a p hs h o w st h et r a d i n gr e l a t i o nb e t w e e nt r u e -a n df a l s e - p o s i t i v ep r o p o r t i o n st h a ti sc h a r a c t e r i s t i co fa p a r t i cl a rs y s t e m .O n ec a ns e ea ta g l a n c ew h a tp r o p o r t i o n( o rp r o b a b i lo f t r u ep o s i t i v e st h es y s t e mw i l lg i v ef o ra n yp a r t i c u l a rp r o p o r t( o r p r ob a b i l i t y )o ff a l s ep o s i t i v e s ,a n dv i c ev e r s a .T h ei d e at h e ni st oe x t r a c to n en u m b e rf r o ma c u r v e ,w h i c hr e p r e s e n t st h ee n t i r ec u r vt o p r o v i d ea s i n g l e - v a l u e d ,g e n e r a lm e a s u r eo fa c c u r a c y .

E n o u g hd a t a p o in t st o d ef in ea c u r v er e l i a b l y ,s a y,f i v eo rm o r ea r ec o l l e c t e db ye i t h e ro ft w op r o c e d u r e s .U n d e rt h eb i n a r y o r y e sn o p r o c e d u r e ,t h es y s t e mi s i n d u c e dt o a d o p ta d i f f e r e n td e c i s ic r i t e r i o nf r om o n eg r o u po f t r i a l st o a n o t h e r 3 ) .U n d e rt h er a t i np r o c e d u r e ,t h es y s t e mi ne f f e c tr e p o r t sw h i c ho n eo fs e v e r a ld i f f e r ec r i t e r i ai sm e to n e a c ht r i a l .I t d o e ss ob y i s s u i n ge i t h e ra r a t i n go fl i k e l i h o o dt h a ta p o s i t i v ee v e n to c c u r r e d - f o re x a m p l e ,o n a f i v ec a t e g o r ys c a l er a n g i n gf r o m v e r yl i k e l yt o v e r yu n l i k e l y e f f e c t i v e l ya c o n t i n u o u sq u a n t i t y ,f o re x a m p l e ,a p r o b a b i l i t ye s t im a t e ,t ha t t h ea n a l y s tc a nc o n v e r tt oa r a t i n g .T h e n ,i na n a l y s i s ,o n e

SCIENCE, VOL. 240

8/18/2019 Measuring the Accuracy of Diagnostic Systems

3/9

F i g .1 ( t o p ) .T h eROCg r a p h ,i nw h i c ht h et r u e -p o s i t i v ep r o p o r t i o ni sp l o t t e da g a i n s tt h ef a l s e -p o s i t i v ep r o p o r t i o nf o rv a r i o u sp o s s i b l es e t t i n g so f t h ed e c i s i o nc r i t e r i o n .T h e i d e a l i z e dc u r v e ss h o w n c o r r e s p o n dtot h e i n d i c a t e dv a l u e so ft h ea c c u r a c ym e a s u r eA .F i g .2 ( b o t t o m ) .E x a m -

p l eo f e m p i r i c a lR O C s ,s h o w i n gs t a n d a r da n de n h a n c e di n t e r p r e t a t i o n so f m a m m o g r a m s .

c U0Q0._o 0 . 2 -0 .0

0? 1 . 0

I -0u 0 . 8

+4

0 . 2 0 . 4 0 . 6 0 . 8b l ( b+ d ) , F a l s e - p o s i t i v ep r o p o r t i o n

n e g a t i v ed i a g n o s e sf o re a c ha l t e m a t i v ee v e n tt h a ta r eo b s e r v e df o rv a r i o u sc r i t e r i a( 9 - 1 1 ) .

I l s r a t i v eC a l u a t d o no f t h eA c u r a c yM e s u r eTe c h n i q u e sf o ro b t a i n i n ga ne m p i r i c a lR O C ,m a k i n ga m a x i m u

l i k e l i h o o df i t o f a s m o o t hc u r v et o i t s p o i n t s ,e s t i m a t i n gA ,e s t i m a t i n g t h ev a r i a b i l i t yi nA , e s t i m a t i n gc o m p o n e n t so fv a r i a b i li nA d u et oc a s ea n do b s e r v e rs a m p l i n ga n do b s e r v e ri n c o n s i s t ea n dd e t e r m i n i n gt h es t a t i s t i c a ls i g n i f i c a n c eo f a d i f f e r e n c eb e t w e e nt w o v a l u e so f A a r ed i s c u s s e de l s e w h e r e 9 , 1 0 ) .H e r e a b r i ei l l u s t r a t i o ni sg i v e no f t h em a j o ra s p e c t s .

T h ed a t au s e df o rt h i sp u r p o s ea r et a k e nf r o ma s t u d yi nw h i c hs i xg e n e r a lr a d i o l o g i s t sa t t e m p t e dt o d i s t i n g u i s hb e t w e e nm a l i g na n db e n i g nl e s i o n sa s v i e w e di n as e to f 1 1 8m a m m o g r a m( 5 8m a l i g n a n t ,6 0 b e n i g n ) ,f i r s tw h e nt h em a m m o g r a m sw e r ev i e w e di nt h eu s u a lm a n n e ra n dthen w h e nt h e yw e r ev i e w e dw i t ht w oa i d sT h er a d i o l o g i s t sc a m ef r o mc o m m u n i t yh o s p i t a l si nt h eC a m b r i d ga r e at oBBNL a b o r a t o r i e sw h e r emy c o l l e a g u e sa n dI h a da s s e m ba n a p p r o p r i a t es a m p l eo f m a m m o g r a m sf r o mo t h e ra r e ah o s p i t a( 1 2 ) .T h e a i d sw e r e i ) a c h e c k l i s to f p e r c e p t u a lf ea t u r e s t h aa r ed i a g n o s t i co f m a l i g n a n c y( o b t a i n e df r o ms p e c i a l i s t si nm a m m o gp h ya n dc o n f i r m e db y d i s c r i m i n a n ta n a l y s i s ) ,w h i c he l i c i t e da s c a lv a l u ef r o mt h e o b s e r v e rf o re a c hf e a t u r e ,a n d i i )a c o m p u t e rs y s t et h a tm e r g e dt h eo b s e r v e r ss c a l ev a l u e sa c c o r d i n gt o t h e i ro p t i mw e i g h t sa n de s t i m a t e da p r o b a b i l i t yo f m a l i g n a n c y .

E a c hmammogramw a sr a t e do na f i v e - c a t e g o r ys c a l eo fl i k e l i h ot h a tt h el e s i o nw a sm a l i g n a n t ;t h ef r e q u e n c i e so ft h e v a r i o u sr a t i n g

c o n s i d e r sd i f f e r e n tn u m b e r so f c a t e g o r i e sa sr e p r e s e n t i n ga p o s i t i v ea sp o o l e do v e rt h er e s p o n s e( 4 ) .M o s to f t h ed a t ar e p o r t e di nt h i sa r t i c l ew e r eo b t a i n e dTa b l e2 .T h ep r o c eb y t h er a t i n gm e t h o d . t o t h ev a r i o u sp a i l

A c u r v ea ss h o w ni nF i g .1 i sc a l l e da n R O C - s o m e t i m e ss h o r t c o r r e s p o n dt ov a r i of o rR e c e i v e rO p e r a t i n gC h a r a c t e r i s t i c ,e s p e c i a l l yi nt h ef i e l do fs i g n a l i nc o l u m n s4 a n d5d e t e c t i o n ,a n ds o m e t i m e ss h o r tf o rR e l a t i v eO p e r a t i n gC h a r a c t e r i s -p r o p o r t i o n sa r ep l ct i c ,i n g e n e r a l i z e da p p l i c a t i o n s .T h e h i s t o r yo f t h eROC a n d i t se x t e n s i v ea p p l i c a t i o n st o d i s c r i m i n a t i o nt a s ks i ne x p e r i m e n t a lp s y -c h o l o g y ,b e g i n n i n gi nt h ee a r l y1 9 5 0 s ,i sr e v i e w e de l s e w h e r e 5 ,6 ) . T a b l e2 .D a t at a b l efI t i s w e l le s t a b l i s h e dt h a tm e a s u r e dR O C s g e n e r a l l yt a k ea f o r mm u c hl i k et h a ts h o w ni n F i g .1 ( 7 ) ,a n da d e t a i l e dc o m p a r i s o no fR O Cm e a s u r e so f a c c u r a c yw i t ho t h e rc a n d i d a t em e a s u r e si sa v a i l - R a t i ga b l e( 8 ) .M e t h o d sf o ra p p l y i n gt h eR O C a n a l y s i st o d i a g n o s t i c Ys y s t e m sh a v eb e e nd e s c r i b e d 9 ,1 0 ) .

T h ep r e f e r r e dm e a s u r eo fa c c u r a c y.A s u i t a b l e ,s i n g l e - v a l u e dm e a s u r eo f a c c u r a c yi s s o m em e a s u r eo f t h e l oc u so f a n R O Cc u r v eo n i t s Ve r yl i k e l yg r a p h .T h en o w p r e f e r r e dm e a s u r e ,s p e c i f i c a l l y ,i st h ep r o p o r t i o no f m a l i g n a n tt h ea r e ao ft h ee n t i r eg r a p ht h a tl i e sb e n e a t ht h ec u r v e .T h em e a s u r e ,P r o b a b l yd e n o t e dA i n F i g .1 , i s s e e n t o v a r yf r o m0 . 5 0 to 1 . 0 .T h u s ,P o s s i b l gA = 0 . 5 0w h e nn od i s c r i m i n a t i o ne x i s t s ,t h a ti s ,w h e nt h ec u r v el i e s m a l i g n a n ta l o n gt h em a j o rd i a g o n a l( s o l i dl i n e ) ,w h e r et h et r u e -a n df a l s e -P r o b a b l yp o s i t i v ep r o p o r t i o n sa r ee q u a l .A s y s t e mc a na c h i e v et h a tp e r f o r m -b e n i g na n c eb yc h a n c ea l o n e .A ndA = 1 . 0f o rp e r f e c td i s c r i m i n a t i o n ,t h a t Ve r yl i k e l yb e n i g ni s ,w h e nt h ec u r v ef o l l o w st h el e f ta n du p p e ra x e s ,s u c ht h a tt h et r u e - S u mp o s i t i v ep r o p o r t i o ni so n e ( 1 . 0 )f o ra l lv a l u e so f t h ef a l s e - p o s i t i v ep r o p o r t i o n . Ve r yl i k e l y

T h r e eo t h e r ,i l l u s t r a t i v ev a l u e so fA a r ei n d i c a t e db y t h et h r e e m a l i g n a n ti n t e r m e d i a t ec u r v e so fF i g .1 .O b s e r v e dc u r v e su s u a l l yd i f f e rs l i g h t l yP r o b a b l yi n s h a p ef r o mt h ei d e a l i z e dc u r v e ss h o w n ;t h e ya r et y p i c a l l yn o t m a l i g n a n tp e r f e c t l ys y m m e t r i c a lb u ta r ea l i t t l eh i g h e ro no n es i d eo ft h em i n o r m a l i g n a n td i a g o n a l( d a s h e dl i n e )a n da l i t t l el o w e ro nt h eo t h e r .H o w e v e r ,t h e P r o b a b l ym e a s u r eA s u f f i c e sq u i t ew e l la sa s i n g l e - v a l u e dm e a s u r eo ft h el o c u s b e n i g no fc u r v e so ft h es o r tw i d e l yo b s e r v e d .C a l c u l a t i o no ft h em e a s u r ec a n Ve r yl i k e l yb ea c c o m p l i s h e dg r a p h i c a l l yb u t i su s u a l l yp e r f o r m e db ya c o m p u t e r e S n m g np r o g r a mt h a ta c c e p t sa s i n p u t st h ef r e q u e n c i e so f p o s i t i v ea n d

3 J U N E I 9 8 8

s i xo b s e r v e r s ,a r es h o w ni nc o l u m n s2 a n d3 o fd u r ed e s c r i b e da b o v ef o rc o n v e r t i n gr a t i n gd a t ar s o f t r u e -a n d f a l s e - p o s i t i v ep r o p o r t i o n st h a tu s d e c i s i o nc r i t e r i aw a su s e dt og e n e r a t et h ed a t; T h eROC p o i n t sd e f i n e db y t h o s ec o o r d i nt t e di n F i g .2 . ( T h ep o i n t ss p a nt h eg r a p hw e l

b ri l l u s t r a t i v eR O Cp l o t .

F r e q u e n c i e s P r o p o r t i o n

M a h l g - B e n i g n a bn a s e s c a s e s a c b dc a s e s

S t a n d a r dv i e w i n g1 3 2 1 9 0 . 3 8 0 . 0 5

8 5 5 0 0 . 6 2 0 . 1 9

6 3 4 8 0 . 8 0 0 . 3 3

5 3 1 5 1 0 . 9 6 0 . 7 4

1 5 9 2 1 . 0 1 . 0

3 4 8 3 6 0E n h a n c e dv i e w i n g

1 5 9 8 0 . 4 6 0 . 0 2

1 0 2 3 8 0 . 7 5 0 . 1 3

3 6 6 2 0 . 8 5 0 . 3 0

3 4 1 3 1 0 . 9 5 0 . 6 6

1 7 1 2 1 1 . 0 1 . 0

3 4 8 3 6 0

A RT I C L E S I 2 8 7

8/18/2019 Measuring the Accuracy of Diagnostic Systems

4/9

A

- Te m p e r a t u r ee x t r e m e

L F o g72 T e m p e r a t u r e

i n t e r v a l

A

A i r c r a f t s t r u c t u r e s _A e r o d y n a m i c s 2 - 0 . 9 0 -

0 . 7 0 -

= C o m p u t e rs c i e n c e( 2 )

A e r o d y n a m i c s1

o c u m e n t a t i o n

0.50-

e n o u g ht o a v o i dm u c h e x t r a p o l a t i o n - af i v e - c a t e g o r y r a t i n gs c a l e ,w h i c hy i e l d sf o u rp o i n t sw i t h i nt he g r a p h ,i su s u a l l ya d e q u a t e ;o t h e rd i a g n o s t i cf i e l d so f t e ny i e l dmore d a t a p o i n t s ,f o r i n s t a n c e ,w e a t h e rf o r e c a s t i n g ,w h e r e1 3 r a t i n g c a t e g o r i e sar e t he n o r m , a n da p t i t u d et e s t i n go r i n f o r m a t i o nr e t r i e v a l ,w h e r ethe a n a l y s tc a n o f t e nd e r i v ead o z e no r s o ROC p o i n t sf r o ma n e a r l yc o n t i n u o u sd e c i s i o nv a r i -a b l e . )

A n o n p a r a m e t r i ce s t i m a t eo fA c a n b e o b t a i n e db yc o n n e c t i n gthes u c c e s s i v eROC p o i n t sf o r a g i v e nc o n d i t i o nb y l i n e sa n du s i n gthet r a p e z o i d a lr u l e ,o r some r e l a t e d f o r m u l a ,t o m e a s u r e the areab e n e a t ht h e c o n n e c t e dp o i n t s( 5 ) .I n g e n e r a lp r a c t i c e ,h o w e v e r ,e m p i r i c a lR O C s ar e p l o t t e don o t h e r s c a l e s ,n a m e l y ,s c a l e st h a ta r el i n e a rf o r t h e n o r m a l - d e v i a t ev a l u es t ha tc o r r e s p o n dt o p r o b a b i l i t i e s( w h e r ep r o b a b i l i t i e sa r e i n f e r r e df r o mo b s e r v e dp r o p o r t i o n s ) .Ar o b u s t r e s u l ta c r o s s d i a g n o s t i cf i e l d si s t h a te m p i r i c a lR O C s a r ef i t t e dwell b y a s t r a i g h tl i n eon s u c h a b i n o r m a l g r a p h ,a se x e m p l i f i e de l s e w h e r ef o r t h e f i e l d st r e a t e d h e r e ( 7 ) .A computerprogram g i v e st he m a x i m u m - l i k e l i h o o df i to f the s t r a i g h tl i n e( w i t hp a r a m e t e r so f s l o p eand i n t e r c e p t )a l o n gw i t ha n e s t i m a t eo fA a n di t s v a r i a n c e 9 ,1 0 ) .F o r t h e p r e s e n tp u r p o s e s ,the s t r a i g h tl i n e ss of i t t e dw e r e t r a n s p o s e dt o t h e smooth c u r v e s on o r d i n a r ys c a l e si nF i g .2 . F o r t h e curves o f F i g .2 t h e x 2 t e s t o f t he g o o d n e s so f f i ty i e l d e dP 0 . 0 8 f o r t h e s t a n d a r dv i e w i n gc o n d i t i o na n dP 0 . 2 9f o r t he v i e w i n gc o n d i t i o ne n h a n c e db y t he a i d s ,i n d i c a t i n gs a t i s f a c -t o r yf i t s .T h e r e s p e c t i v ev a l u e so fA f o r t h e s e c u r v e s ( f r om p o o l edr a t i n g s )w e r e 0 . 8 1 and 0 . 8 7 w i t hs t a n d a r derrors o f 0 . 0 1 7a n d0 . 0 1 4 .( Av e r a g e Av a l u e sf o r curves f i t t e dt o i n d i v i d u a lo b s e r v e r sar es o m e t i m e ss l i g h t l yd i f f e r e n t ;h e r e t h e yw e r e 0 . 8 3 a n d0 . 8 8 . )T h ed i f f e r e n c eb e t w e e no b s e r v i n gc o n d i t i o n s( a s s e s s i n gthe g r o u p v a l u e so fA i n e i t he r w a y )i ss i g n i f i c a n tb ye i t h e ra c r i t i c a l - r a t i ot e s t o r t t e s ta t P 0 . 0 2 ( 1 3 ,1 4 ) .

Measured A c c u r a c i e so f S o m e CommonS y s t e m s

L e t u s c o n s i d e rnow m e a s u r e da c c u r a c i e so f some commons y s t e m si n s i x d i a g n o s t i cf i e l d s .Wi t h t he e x c e p t i o no f m e d i c a li m a g i n gs y s t e m s ,w h e r e u p w a r d so f 1 0 0 s t u d i e s h a v e r e p o r t e dR O C s ,I i n c l u d eh e r e a l lo f t h e s t u d i e si n e a c hf i e l dI know t h a t h a v eu s e d( o rw e r e l a t e rs u b j e c t e dt o )ROC a n a l y s i sa n dc a n b e r e p r e s e n t -ed b y a v a l u eofA.

I 2 8 8

We a t h e rf o r e c a s t i n g .R O C s f o rs o m e 2 0s e t so f w e a t h e rd a t ac o l l e c t e di n t h eU n i t e dS t a t e sa n dA u s t r a l i aw e r ec a l c u l a t e db yM a s o n( 1 5 ) .T h e p o s i t i v ee v e n t sc o n s i s t e do f r a i n ,t e m p e r a ta b o v eo rb e l o wa c r i t i c a lv a l u eo r w i t h i na r a n g e ,t o r n a d o e s ,s e v e rs t o r m s ,a n d f o g .I m a d ee s t i m a t e so f A f r o mh i sg r a p h s .T h e s ee s t i m a t e sa r eb a s e du s u a l l yo n h u n d r e d s ,s o m e t i m e st h o u s a n d so ff o r e c a s t s ,s o t h eu n c e r t a i n t yi n r e p o r t e dA v a l u e si s 0 . 0 1o r s o .Va r i o u sv a l u e sf o rw e a t h e re v e n t sa r es u m m a r i z e do nt h eA s c a l ei nF i g .3 , s h o w i n gr a n g e sw h e r ea v a i l a b l e .T h e a v e r a g eo r c e n t r av a l u e sa r ea p p r o x i m a t e l y0 . 8 9f o re x t r e m ec o l d ;0 . 8 2f o rr a i n ,0 . 7 6f o rf o g ,0 . 7 4f o rs t o r m s ,a n d0 . 7 1f o ri n t e r v a l so f t e m p e r a t u r e( 1 6 -1 8 ) .

I n f j r m a t i o nr e t n e v a l .M a j o rt e s t so f i n f o r m a t i o n - r e t r i e v as y s t e ma t t w ol o c a t i o n sw e r ec o n d u c t e di n t h em i d - 1 9 6 0 s( 1 9 ) ,a n dt h e i ra n a l y s i si n R O Ct e r m sw a sd e s c r i b e ds h o r t l yt h e r e a f t e r( 2 0 ) .T h et a s ko fs u c ha s y s t e mi st o f i n dt h ea r t i c l e sa n db o o k st h a ta r er e l e v at oe a c ho fa s e r i e so fq u e r i e st h a ta r ea d d r e s s e dt oi t ,a n dt or e j e c tt h ei r r e l e v a n td o c u m e n t s .I n a t r a d i t i o n a l ,m a n u a ll i b r a r ys y s t e m ,t h eq u e r i e sw i l lb e i nt e r m so f s o m ei n d e x i n gl a n g u a g e ;i n ac o m p u t e rb a s e ds y s t e m ,t h e yw i l lc o n t a i ns o m ec o m b i n a t i o no f k e yw o r d s .

F i g u r e4 s u m m a r i z e st h er e s u l t so b t a i n e dw i t ha c o m p u t e r - b a ss y s t e ma t H a r v a r dU n i v e r s i t yb y G e r a r dS a l t o na n dM i c ha el L es( o n t h er i g h t )a n dr e s u l t so b t a i n e dw i t ha m a n u a ll i b r a r ys y s t e ma tt h eC r a n f i e l dl i b r a r i e si nE n g l a n db y C y r i lC l e v e r d o na n dM i c h a eK e e n( o nt h el e f t ) .T h ec o m p u t e r - b a s e ds y s t e mm e a s u r e dt h ed e g r eo f r e l e v a n c eo f e v e r yd o c u m e n ti nt h ef i l et oe v e r yq u e r ya d d r e s st ot h ef i l e ,a n dI e s t a b l i s h e dd i f f e r e n td e c i s i o nc r i t e r i ab ys e l e c t i n gi nt u r nv a r i o u sv a l u e sa l o n gt h i sn e a r l yc o n t i n u o u sv a r i a b l e .Va r i o u sr e t r i e v a lm e t h o d su s e d s y n o n y m s ,s t a t i s t i c a lw o r da s s o c i a t i oh i e r a r c h i c a le x p a n s i o n s ,a n ds o f o r t ht o r e l a t et h el a n g u a g eo f t h ed o c u m e n tt o t h ek e yw o r d so f t h eq u e r y .T h e c o l l e c t i o n so fd o c u m e n t sw e r ei n t h es u b j e c tm a t t e r so f d o c u m e n t a t i o n ,a e r o d yn a m i c s ,a n dc o m p u t e rs c i e n c e s .U n d e re a c hm e t h o d ,a f ewh u n d r e dd o c u m e n t sw e r ee x a m i n e di n r e l a t i o nt o e a c ho f a b o u t2 0 t o 4 0q u e r i e s .W i t ha l m o s tn ov a r i a t i o na m o n gm e t h o d s ,t h ec o l l e c t i oo fd o c u m e n t so nd o c u m e n t a t i o ng a v ea t y p i c a lv a l u eo f Ae s t i m a t et ob e 0 . 7 5 ;t h ea e r o d y n a m i c sc o l l e c t i o n ,0 . 8 7 ;a n d t w oc o m p u t e rs c i e n c ec o l l e c t i o n s ,0 . 9 5a n d0 . 9 7 .F o rt h em a n u a ls y s t e m ,I a d o p t e dd i f f e r e n tc r i t e r i ab yv a r y i n gt h en u m b e ro fq u e r yt e r m sa d o c u m e nh a d t o s a t i s f yi n o r d e rt o b e r e t r i e v e d .I n t h i st e s t ,1 3 r e t r i e vm e t h o d sw e r ev a r i a t i o n so f s e v e r a li n d e x i n gl a n g u a g e s .T h e yw e r ea p p l i e dw i th a b o u t2 0 0 q u e r i e st o a c o l l e c t i o no f s o m e1 5 0 0d o c u m e n t so na e r o d y n a m i c s .A g a i nv e r yc o n s i s t e n t l yo v e rm e t h o d st h ea p p r o x i m a t em e a nv a l u eo fA w a s0 . 9 1 .S i xr e t r i e v a lm e t h o d sa p p l i e dt o a s m a l l e rc o l l e c t i o no n a i r c r a f ts t r u c t u r e sy i e l d eA = 0 . 9 3 .F o rb o t ho f t h e s et e s t si nt h el i b r a r ys e t t i n g ,t h en u m b e ro fo b s e r v a t i o n sw e r el a r g ee n o u g ht oy i e l dv e r yr e l i a b l ev a l u e so f A .

A p t i t u d et e s t i n g .T h ev a l i d i t yo fa p t i t u d et e s t si su s u a l l ym e a s u r eb y a c o r r e l a t i o nc o e f f i c i e n t ,b e c a u s et h ee v e n tp r e d i c t e d ,a sw e l la st h ed i a g n o s t i cs y s t e m so u t p u t ,i su s u a l l yr e p r e s e n t e db ya c o n t i nu m o fm a n yv a l u e s ,r a t h e rt h a nj u s tt w o .T h e s ev a l u e sa r et y p i c a ls c h o o lg r a d e so r j o br a t i n g s .H o w e v e r ,t h ep r e d i c t i o no f a t w o -v a l u e de v e n ti so f t e nr e q u i r e d ,a sw h e ns t u d e n t su n d e ri n d i v i d u ap a c e di n s t r u c t i o ne i t h e rc o m p l e t et h ec o u r s eo r n o t ,o r w h e nj o bp e r f o r m a n c ei s m e a s u r e ds i m p l ya s s a t i s f a c t o r yo r n o t .A n o t h e re x a m p l ec o m e sf r o mc u r r e n ti n t e r e s t i nh ow m u c ht h eS c h o l a sA p t i t u d eTe s t h e l p s ,b e y o n dk n o w i n gr a n ki nh i g hs c h o o lc l a s s ,i np r e d i c t i n gc o l l e g eg r a d u a t i o n .F o rs u c hi n s t a n c e sI s u g g e s tt h a tt h ea c c u r a c yo f p r e d i c t i o ni n R O C t e r m si s t h em o s ta p p r o p r im e a s u r eo f t e s tv a l i d i t y .F i g u r e5 s h o w ss u m m a r yr e s u l t so f t w os t u d i e so f s c h o o lp e r f o r m a n c eo n t h eA s c a l e .A l t h o u g hn e a r lc o n t i n u o u sg r a d e si n t h ec o u r s eh a p p e nt o b e a v a i l a b l eh e r e ,Is i m u l a t e da b i n a r yo u t c o m e o fp a s s - f a i lb y s e l e c t i n ga r b i t r a r i l yap a r t i c u l a rl e v e lo fc o u r s ep e r f o r m a n c ea st h ec u t o f ff o rp a s s i n g( 2 1 )

S C I E N C E , VOL. 2 40

F i g .3 . M e a s u r e dv a l u e so f A f o rf o r e c a s t so fs e v e r a ld i f f e r e n tw e a t h e rc o n d i t i o n s .R a n g e s a r e s h o w nw h e r em u l t i p l et e s t sw e r em a d e .

F i g .4 . M e a s u r e dv a l u e so fA f o ra m a n u a li n f o r -m a t i o n - r e t r i e v a ls y s t e m( o nt h el e f ta n da c o m -p u t e r - b a s e di n f o r m a -t i o n - r e t r i e v a ls y s t e m( o nt h er i g h t ) ,f o rd i f f e r e n tc o l l e c t i o n so fd o c u m e n t sa s i n d i c a t e d .

8/18/2019 Measuring the Accuracy of Diagnostic Systems

5/9

F i g .5 .M e a s u r e dv a l u e so f A f o r t w o a p t i t u d et e s t s( o nt h er i g h t )t h a tw e r ef o l l o w e db ys c h o o l -i n g o f a l l t e s t e e s ;ar o u g h l ya d j u s t e d r a n g eo f Av a l u e sf o ra t e s t( o nt h e l e f t )t h a tw a s f o l -l o w e db ys c h o o l i n go n l yo f t h o s ewh o a c h i e v e dac r i t e r i o ns c o r eo n t h et e s t .

F i g .6 . M e a s u r e dv a l u e so fA f o rs e v e r a li m a g i n gt e s t si nc l i n i c a lm e d i c i n e .

A

o . 9 0 o

Armed F o r c e sQ u a l i f i c a t i o nTe s t

G e n e r a la b i l i t i e sb a t t e r y

O t i s - Le n n o n T es t

0.501

A Computed

tomographyC l a s s i c a lc h e s t f i l m s - b r a i n t o m o g r a p h y ,Two c h e s t abnormalities a d r e n a lg l a n dD i v e r s e = 0 90 ~; \ \ - R a d i o n u c l i d es c a n s ,c h e s tl e s i o n s - r \ \ \ \ \ T_ b r a i n

ervical Ultrasound,

s c r e e n i n g a d r e n a lg l a n dM a m m o g r a p h y 0 . 7 0 - Mammography,c l a s s i f i c a t i o n d e t e c t i o n

0.50-

Th e t e s t e e s i n the s t u d yshown on the r i g h ti n F i g .5 w e r ea p p r o x i m a t e l y45 0 s t u d e n t se n t e r i n gthe s e v e n t hg r a d ei n f o u rc l a s s e si n e a c ho f t hr ee s c h o o l si n B a r q u i s i m e t o ,Ve n e z u e l a ,a l lo fw h o mwould t a k e a s p e c i a lc o u r s e on t i i n k i n gs k i l l s( 2 2 ) .The i n i t i a lt e s t s i n c l u d e dt h e O t i s - L e n n o nS c h o o lA b i l i t i e sTe s t ( O L S AT )a n da n e x t e n s i v eb a t t e r yo f g e n e r a l a p t i t u d et e s t s ( G AT ) .Th e y e a r - e n dm e a s u r e o f p e r f o r m a n c ecame f r o ma n e x t e n s i v et e s t c o n s i s t i n go fi t e m s s p e c i a l l yw r i t t e n t o t a p the t h i n k i n ga b i l i t i e sthe c o u r s e wasi n t e n d e dt o t e a c h ,c a l l e dt he T a r g e tA b i l i t i e sTe s t ( TAT ) .A c t u a l l y ,t h r e e v a l u e so fA w e r e c o m p u t e df o r b o t hO L S ATa n dG AT ,onef o re a c ho f t h ree d i f f e r e n tp e r c e n t i l ec u t s on T A Tp e r f o r m a n c et h a tIt o o k ( a r b i t r a r i l y )t o d e f i n ep a s s i n ga n df a i l i n g .F o rG AT ,the t h reec o r r e s p o n d i n gA v a l u e sr a n g e df r o m0 . 9 3 t o 0 . 9 4a n df o rO L S ATt h e yr a n g e dfrom 0 . 8 1 t o 0 . 8 9 .Th e c o r r e l a t i o nc o e f f i c i e n t sar e 0 . 8 7f o r GAT a n d0 . 7 1 f o rQ L S AT. O t h e rd a t a s o f a ra n a l y z e di nROCterms a r e on t h e a b i l i t yo f t he A r m e d F o r c e sQ u a l i f i c a t i o nTe s t t op r e d i c tp a s s - f a i lp e r f o r m a n c ei n f o u r N a v ys c h o o l s( 7 )a n d ar eshown on t h e l e f ti n F i g .5 ( 2 3 ,2 4 ) .

M e d i c a li m a g i n g . T h i r t yp u b l i s h e ds t u d i e s o f m e d i c a li m a g i n gt e c h n i q u e so r o f i m a g ei n t e r p r e t e r s ,i n w h i c hthe ROC was u s e df o ra c c u r a c ye v a l u a t i o n ,w e r e r e v i e w e ds e v e r a ly e a r s a go ( 2 5 ) .T h e r em a y now b e a s m a n y a s f i v et i m e s t h a tnumber i n the m e d i c a ll i t e r a t u r e 5 ,1 0 ) ,a n ds o the s u m m a r y h e r em u s t b e s e l e c t i v e .I h a v et e n d e d t o c h o o s es t u d i e sw i t h e n o u g hc l i n i c a lc a s e s a n d i m a g er e a d e r s ,a n dw i t he n o u g hp o i n t sp e r R O C , t o y i e l dr e l a t i v e l yr e l i a b l ee s t i m a t e so f A .T h e yf o c u son the a b i l i t i e so fc o m p u t e dt o m o g r a p h y ,m a m m o g r a p h y ,a n dc h e s tx - r a y st o d i s c r i m i n a t el e s i o n si n d i c a t i v eo fd i s e a s ef r o mn o r m a lv a r i a t i o n so f organ a p p e a r a n c e .Va l u e so fA a r es u m m a r i z e di n F i g .6 .

I n a n e a r l ys t u d yo f c o m p u t e dt o m o g ra p hy ( CT )r e l a t i v et or a d i o n u c l i d es c a n n i n g( R N )f o r d e t e c t i n gb r a i nl e s i o n s ,i m a g e so fb o t h m o d a l i t i e sw e r e o b t a i n e df r o mthe s a m e p a t i e n t s .W i t hthes p o n s o r s h i po f the N a t i o n a lC a n c e rI n s t i t u t e ,i m a g e so f 1 3 6c a s e swere s e l e c t e df r o m a b o u t 3 0 0 0 cases c o l l e c t e da t f i v em e d i c a lc e n t e r s .T h e s ei m a g e sw e r e i n t e r p r e t e dr e t r o s p e c t i v e l yb ys i xs p e c i a l -i s t si ne a c hm o d a l i t ywh o gave r a t i n g so f l i k e l i h o o dt h a ta l e s i o nwasp r e s e n t( 2 6 ) .About 60 o f t he c a s e sw e r e a b n o r m a la s proven b yh i s t o l o g y ;t h e n o r m a lc a s e sshowed no symptoms a f t e r8 m o n t h so ff o l l o w - u p .B o t ht he p o o l e da n da v e r a g eA v a l u e sa c r o s so b s e r v e r sw e r e 0 . 9 7 f o rC T a n d 0 . 8 7 f o rR N. A s t u d yc o m p a r i n g CI t ou l t r a s o u n di n d e t e c t i n ga d r e n a ld i s e a s e( f o rt he m o s t p a r t ,w i t hb o t he x a m i n a t i o n sm a d e of t h e same p a t i e n t s )was b a s e don cases a t t wo

3 JUNE I 9 8 8

m e d i c a lc e n t e r sa n d o n i n t e r p r e t a t i o n sm a d ei n t h ec o u r s eo fd i a g n o s i s .Va l u e so fA w e r e0 . 9 3f o rC T a n d0 . 8 1f o ru l t r a s o u( 2 7 - 3 5 ) .

M a t e i a l st e s t i n . M a t e r i a l st e s t i n gh e r em e a n st e s t i n gm e t as t r u c t u r e s ,s u c ha s a i r c r a f tw i n g s ,f o rc r a c k s .T h e r ei s o n em a j os t u d yi n t h ef i e l d ,i n w h i c ha s e to f 1 4 8 m e t a ls p e c i m e n s ,r e g a r d e dt o b e w i t ho r w i t h o u tc r a c k s ,w a st e s t e da t 1 6b a s e so f t h eU . S .A i rF o r c e .T h ed i a g n o s t i cs y s t e m sc o n s i s t e do fu l t r a s o u n da n de d d yc u r r e n td e v i c e su s e db y u p w a rd so f 1 0 0t e c h n i c i a n si n t w os e p a r a t et e s t s( 3 6 ) .

B e c a u s et h et e c h n i c i a n sm a d eo n l yb i n a r yd e c i s i o n s ,w i t h o um a n i p u l a t i o no f t h e i rd i a g n o s t i cc r i t e r i a ,j u s to n ep o i n to n e a ci n d i v i d u a l sROC i s a v a i l a b l e .T o c a l c u l a t eA , I a s s u m e dt h a tt h ap o i n tl a yon a s y m m e t r i c a lROC, a ss h o w ni nF i g .1 ( n o ta c r u c ia s s u m p t i o nh e r e ) .T h ea v e r a g eA v a l u e sa c r o s ss i t e sa r e0 . 9 3f o rt h ee d d y - c u r r e n tt e c h n i q u ea n d0 . 6 8f o rt h eu l t r a s o u n dt e c h n i q u eb u ta c c u r a c yv a r i e dw i d e l yf r o mo n eb a s et o a n o t h e r ,a c r o s st h er a n g es h o w ni nF i g .7 . I n d e e d ,t h ee x t e n to f t h er a n g em a yb e t h es a l i e nr e s u l t :a c a s ec o u l db e m a d ef o ra n a l y z i n gt h ee x p e r t i s ea t t h em o r ep r o f i c i e n ts i t e si no r d e rto e x p o r ti t t o t h el e s sp r o f i c i e n t .

P o l y g r a p hl i ed e t e c i o n .S t u d i e so f p o l y g r a p ha c c u r a c yi nl i ed e t e ct i o na r eo f t w o t y p e s .I n s o - c a l l e d f i e l ds t u d i e s ,f o r v a r i o u sr e a lc r i m e s ,t h ep o l y g r a p he x a m i n e r sd e c i s i o n sa b o u td e c e p t i o no r t r u t ha r ec o m p a r e de i t h e rto a c t u a lj u d i c i a lo u t c o m e s ,p a n e ld e c i s i oa b o u tg u i l t ,o r c o n f e s s i o n s .S o - c a l l e d a n a l o gs t u d i e sa r eo f m o co r r o l e - p l a y i n gc r i m e si na l a b o r a t o r ys e t t i n g ,f o re x a m p l e ,s t e a l i na 2 0 b i l lf r o ma n o f f i c ed o w nt h eh a l l .T h e o b v i o u sd i f f e r e nb e t w e e nt h et w o t y p e sc o n c e mt h es u r e t yo f t h e g r o u n dt r u t ha b o u tt h ep o s i t i v ee v e n to f g u i l t ya n dt h en e g a t i v ee v e n to f n o tg u i l t y ,a n dt h es e v e r i t yo f t h ec o n s e q u e n c e so ff a i l i n gt h et e s t .

F i g u r e8 s h o w ss u m m a r yv a l u e sf o rb o t h y p e so f s t u d y .A b o ut en p u b l i s h e ds t u d i e se x i s ti ne a c hc a t e g o r y .M o s to ft h ef i e l ds t u d i ew e r er e v i e w e di n t h ec o n t e x to f s i g n a ld e t e c t i o nt h e o r ya n dR O Ca n a l y s i s( 3 7 ) ,a n d b o t h c a t e g o r i e sw e r e r e v i e w e df o r t h eU . S .C o n g r e s sO f f i c eo f T e c h n o l o g yA s s e s s m e n t( 3 8 ) .I h a v ec a l c u l av a l u e so f A ,a g a i nu n d e rt h ea s s u m p t i o nt h a tt h es i n g l eROC p o i n ta v a i l a b l el i eon a s y m m e t r i cc u r v ea ss h o w ni nF i g .1 .( T h ep o s s i bi m p a c to f t h a ta s s u m p t i o ni s l e s s e n e db y t h ef a c tt h a tt h es t u d i eg e n e r a l l yg a v ep o i n t sn e a rt h en e g a t i v e ,d a s h e d - l i n e ,d i a g o n a lo ft h eROC g r a p h . )O f t h ef i e l ds t u d i e s ,f o u rg a v e Av a l u e sn e a r0 . 9 5 ,w i t ho n ea sh i g ha s0 . 9 8 ;t h e s ew e r ec o n d u c t e db ya c o m m e r c i a la g e n cF i v ef i e l ds t u d i e sc o n d u c t e di n u n i v e r s i t ys e t t i n g sg a v eA v a l u eb e t w e e n0 . 7 0a n d0 . 9 2 .N i n eo f e l e v e na n a l o gs t u d i e sp r o d u c e dAv a l u e sr a n g i n gf r o m0 . 8 1 t o 0 . 9 5 ;A v a l u e sf o rt h et w oo u t l y ia n a l o gs t u d i e sw e r e0 . 6 4a n d0 . 9 8 .One o f t h ea n a l o gs t u d i e su s e dt h er a t i n g - o f - l i k e l i h o o dp r o c e d u r eto y i e l df u l lR O C s ,b a s e do n s i xROC p o i n t s .I n t h i ss t u d y ,s i xe x a m i n e r sy i e l d e dA v a l u e sr a n g i nf r o m0 . 5 5to 0 . 7 5 ;f o u ro f t h e mw e r eb e t w e e n0 . 6 4a n d0 . 6 8( 3 9 )

Q u a l i f i c a t i o n so f M e a s u r e dA c c u r a c i e sM o s t ,i f n o t a l l ,o f t h ev a l u e so fA l i s t e df o rt h ev a r i o u sf i e l ds ho ul d b eq u a l i f i e di n o n e o r m o r ew a y s .C e r t a i nd e f i n i t i o

o p e r a t i o n s ,a n d a s s u m p t i o n sm a d ei n c o n d u c t i n gt h et e s t sh a v es e r v e dto b i a st h ec a l c u l a t e dv a l u e s - o f t e ni nu n k n o w nd i r e c t i o nt ou n k n o w ne x t e n t s ,s o m e t i m e si nk n o w nd i r e c t i o n s ,a n d ,i n f r e q u el y ,t o a n e x t e n tt h a tm a yb e e s t i m a t e d .S o ,c a l c u l a t e dv a l u e so f Aa r en e i t h e rp e r f e c t l yr e l i a b l e ,i n t h es e n s eo f b e i n gr e p e a t a b l ea c r o sd i f f e r e n tt e s t so f t h es a m es y s t e m ,n o rp e r f e c t l yv a l i d ,i nt h es e n s eo fm e a s u r i n gw h a tt h e ya r es u p p o s e dto m e a s u r e .T h e r ei sc o n s t a n ta sw e l la s v a r i a b l e ,e r r o r .T h ed i f f i c u l t yl i e sn o t ,I h a v ea r g u e d ,w i t ht h em e a s u r e :a s f a ra s we c a n t e l l ,t h e r ea r e n o i n t r i n s i cl i m i t son i t sr e l i a b i l i t y ,b e y o n do r d i n a r ys t a t i s t i c a lc o n s i d e r a t i o n s ,o r on i t s

A RT I C L E S 1 2 8 9

8/18/2019 Measuring the Accuracy of Diagnostic Systems

6/9

F i g .7 . M e a s u r e dv a l u e so fA f o rd e t e c t i n gc r a c k si na i r p l a n ew i n g sb yt w o t e c h n i q u e s ,f r o m s e v e r a lA i rF o r c eb a s e s .

F i g .8 . M e a s u r e dv a l u e so f A f o r p o l y g r a p hl i ed e t e c t i o ni n s e v e r a lf i e l ds t u d i e s o nt h el e f t )a n ds e v e r a la n a l o gs t u d i e s( o nt h er i g h t ) .

A

U 0 . 9 0

0 . 7 0

U l t r a s o u n d L

0 . 5 0 -

A

F o u ra g e n c yMf i e l ds t u d i e s0 . 9 0 - -

F i v eu n i v e r s i t yf i e l ds t u d i e s

0 . 7 0 4

L N i n eo fe l e v e n- a n a l o gs t u d i e s

R O Ca n a l o gs t u d y

0 . 5 0L

v a l i d i t y.T h ed i f f i c u l t ya r i s e s ,r a t h e r ,b e c a u s et h eq u a l i t yo f t e s td a t ai sn o te v e r y t d i n gi ts h o u l db e .I c o n s i d e rh e r e f o u ri d e a l sf o rt e s td a t aa n dc o m m e n to nhow w e l le a c ho f t h ed i a g n o s t i cf i e l d st r e a t e dh e r em a t c h e su p t o t h e s ei d e a l s .

A d e q u a c yo ft r u t h .T h et e s t e rs h o u l dk n o wc e r t a i n l yf o re v e r yi t e mi n t h et e s ts a m p l ew h e t h e ri t i s p o s i t i v eo r n e g a t i v e .I n c o r r e c t l yc l a s s i f y i n gt e s ti t e m sw i l lp r o b a b l yd e p r e s sm e a s u r e so f a c c u r a c y .

H o wa r et r u l yg u i l t ya n dt r u l yi n n o c e n tp a r t i e st ob ed e t e r m i n e df o rt e s t so f t h ep o l y g r a p h ?J u d i c i a lo u t c o m e sa n dp a n e ld e c i s i o n sm a yc a t e g o r i z ee r r o n e o u s l y ,a n d e v e n c o n f e s s i o n sc a nb e f a l s e .H e n c e ,o n em a yr e s o r tt ot h ea n a l o gs t u d y ,w h i c hs a c r i f i c e sr e a l i s mt og a i ns u r et r u t h .

S u r et r u t ha b o u tc r a c k si nm e t a l sc a no n l yb e o b t a i n e dd e s t r u c -t i v e l y ,b ys a c r i f i c i n gt h es p e c i m e n s .D e s t r u c t i v et e s t i n gt e n d sn o tt ob e d o n e ,b e c a u s ethen t h en e x td i a g n o s t i c t e c h n i q u e ,o r t h en e x tg r o u po fi n s p e c t o r s ,m u s tb e t e s t e do na n o t h e r ,d i f f e r e n ts e t .A s e to fs p e c i m e n sf o rw h i c hf a i r l yg o o dt r u t hi s f e l tt o b e a v a i l a b l ei sa c q u i r e do n l yp a i n s t a k i n g l y ,a n da n e ws e t w i l ln o t b ea commong r o u n df o rc o m p a r i n ga p o t e n t i a ld i a g n o s t i ct e c h n i q u ew i t he x i s t i n go n e s ,o rn e wi n s p e c t o r sw i t ho l d .J u s thow t r u t hi sd e t e r m i n e di nt h i sf i e l d ,s h o r to f s a c r i f i c e ,i s n o t c l e a rt o m e. I b e l i e v et h a ti t i sb a s e do n t h es a m ed i a g n o s t i ct e c h n i q u e so n eh o p e st ot e s t ,p e r h a p si n t h eh a n d so f e x p e r t sa n di nc o m b i n a t i o n .

T h e s o - c a l l e d g o l ds t a n d a r df o rt r u t hi n m e d i c a li m a g i n gi su s u a l l yr e g a r d e dt ob e s u r g e r yo ra u t o p s ya n da n a l y s i so ft i s s u e .I ti sr e c o g n i z e d ,h o w e v e r,t h a ti m a g e r ya n dp a t h o l o g ya r en o t p e r f e c t l yc o r r e l a t e di n s p a c eo r t i m e .T h ei m a g ei n t e r p r e t e ra n dp a t h o l o g i s tm a yl o o ka t d i f f e r e n tl o c a t i o n s ,a n dt h ep a t h o l o g i c a la b n o r m a l i t y

o b s e r v e dm a yn o t h a v eb e e np r e s e n tw h e nt h ei m a g ew a st a k e n .M o r e o v e r ,t h ep a t h o l o g i s t sc o d eo r l a n g u a g ef o rd e s c r i b i n gl e s i o n sd i f f e r sf r o mt h er a d i o l o g i s t s .Of c o u r s e ,t h i sh i s t o l o g ys t a n d a r di sa p p l i e dp r i m a r i l yt o p o s i t i v ec a s e s .N e g a t i v et r u t hi su s u a l l yb a s e do n m o n t h so ry e a r so ff o l l o w - u pw i t h o u tr e l a t e ds y m p t o m s .

F o ra s s e s s m e n t so f a p t i t u d et e s t i n gi n t e r m so f t h em e a s u r eA It h i n kt h ep r o b l e m so f t r u t hd a t aa r es l i g h t .I f h a n d i n gi n t h ea s s i g n e dw o r km e a n sp a s s i n g ,then we k n o wwh o p a s s e da n dwh of a i l e d ;i fs t a y i n go n t h ej o bc o n s t i t u t e ss u c c e s s ,l i k e w i s e .W e m a ya s s u m et h a te r r o r si nd e t e r m i n i n gwh o d i dw h a ta r ei n f r e q u e n t .

T h ed e f i n i t i o no f a d o c u m e n t sr e l e v a n c et o a q u e r y - o r ,i n t h i sc o n t e x t ,w h a t s h o u l dc o n s t i t u t et r u t h - h a s h a d a c o n t r o v e r s i a l

h i s t o r yi n t h ef i e l do fi n f o r m a t i o nr e t r i e v a l .I n t h es t u d i e sr e v i e wh e r e ,t h er e l e v a n c eo f e v e r yd o c u m e n ti n t h ef i l ew a sj u d g e db ys u b j e c t - m a t t e re x p e r t sf o re a c hq u e r y .I ns o m ei n s t a n c e s ,t h ed e g r eo f r e l e v a n c ew a se s t i m a t e do n a f o u r - c a t e g o r ys c a l e .Others t u d i eh a v ed r a w nq u e r i e sd i r e c t l yf r o m d o c u m en t si nt h ef i l e ,a p r o c e dt h a tb e t t e r d e f in e st h o s ed o c u m e n t sa sr e l e v a n tt h a ni td o e sa l lo t h e ra s i r r e l e v a n t .I n a n ye v e n t ,t h ed e p e n d e n c eo f t r u t ho n j u d g m e ns u g g e s t st h a ti t w i l lb em o r ea d e q u a t ef o rs o m es u b j e c tm a t t e rp r o b a b l yt h o s ew i t ha h i g h l yt e c h n i c a ll a n g u a g e ,t h a nf o ro t h e r s .

P r o b l e m si na s s e s s i n gt r u t hi nw e a t h e r - f o r e c a s t i n ga r i s ep r i m a r i

f r o ml o g i s t i cl i m i t a t i o n so n e s t a b l i s h i n gi n a f i n e - g r a i n e dm a n n ewhethe ra wea the re v e n to c c u r r e dt h r o u g h o u tt h ea r e ao f t h ef o r e c a s t .O n ek n o w sr a t h e rs u r e l yh o wm a n ym i l l i m e t e r s or a i nt h e r ea r e i n ac a na tt h ea i r p o r t ,b u tt h ef o r e c a s ti so f t e nm a d ef o ral a r g e ra r e a .S i m i l a r l y ,t o r n a d o e sm a yt o u c hd o w n ,o rs t o r m sm a yb es ev er e , i nu n o b s e r v e dp l a c e s .I ns h o r t ,i t i sd i f f i c u l tt oc o r r e l a t et h ef o r e c a s ta n d t h et r u t hd e t e r m i n a t i o ni n s p a c e .T h e c o r r e l a t i oo ff o r e c a s ta n d t r u t hd e t e r m i n a t i o ni n t i m ei s n o ts i m p l ee i t h e rb u ts e e m se a s i e r .

I n d e p e n d e n c eo ft r u t hd e t e r m i n a t i o na n ds y s t e mo p e r a t i o n .T h et r u t ha b o u ts a m p l ei t e m ss h o u l db ed e t e r m i n e dw i t h o u tr e g a r dt o t h es y s t e m so p e r a t i o n ,t h a ti s ,w i t h o u tr e g a r dt o t h e s y s t e m sd e c i s i oa b o u tt e s tc a s e s .I f t h i sc o n d i t i o ni s n o t m e t , t h et r u t hw i l lb ei n a p p r o p r i a t ef o rs c o r i n gt h es y s t e ma n dw i l lp r o b a b l yi n f l a t ei t sm e a s u r e da c c u r a c y .W h e nc o n f e s s i o n sa r eu s e dt od e t e r m i n eg u i l ta n di n n o c e n c et h el i k e l i h o o do f a c o n f e s s i o nd e p e n d so nwhethe rt h ep o l y g r a p ht e s ti sj u d g e dt o b e p o s i t i v eo rn e g a t i v e .E x a m i n e r sw o r kh a r dt o e l i c i tac o n f e s s i o nf r o ms u s p e c t swh o a p p e a rt o t e s tp o s i t i v e l ya n db e l i e vt h a tt h e e x i s t e n c eo f a p o s i t i v et e s ti s o f t e n t hem a i nf a c t o ri ns e c u r i n ga c o n f e s s i o n .( H e n c e ,t h e y c a n a r g u et h a tt h es y s t e me f f i c a c yi s h i g he v e ni fi t sa c c u r a c yi s l o w . )T h er e s u l tf o ra c c u r am e a s u r e m e n ti st h a tt h es y s t e mi ss c o r e da g a i n s ta d e t e r m i n a t io ft r u t ht h a t i t h e l p e dt o m a k e .T h a t t e s t p r o c e d u r et r e a t st h ep o l y g r a p hs y s t e mv e r yg e n e r o u s l y - i to u g h tt od ow e l l .Va l u e so f Aw i l lb e i n f l a t e d ,t o a n u n k n o w n ,b u tc o n c e i v a b l yl a r g e ,e x t e n t .

I f p a n e ld e c i s i o n sb a s e do n a l la v a i l a b l ee v i d e n c ea r eu s e dt oe s t a b l i s ht r u t hi nm a t e r i a l st e s t i n g ,t h e nt r u t hi sd e t e r m i n e di np a r

b y t h eo p e r a t i o no f t h es y s t e m o r s y s t e m su n d e rt e s t .I n g o o dp r a c t i c ei n m e d i c a li m a g i n g ,t h et r u t hi s d e t e r m ii n d e p e n d e n t l yo f s y s t e mo p e r a t i o n .O c c a s i o n a l l y ,t r u t hi s d e t e rm i n e db ya l lo ft h ec a s ee v i d e n c e ,i n c l u d i n gt h er e s u l t so ft h es y s t eu n d e rt e s t .T h a tp r a c t i c ec a nf a v o rC I F,s a y,o v e rt h ea l t e m a t i vi ft h eC T r e s u l ti sd o m i n a n ti nc a l l i n ga c a s e p o s i t i v eo rn e g a t i v e .C I Ti sthen s c o r e da g a i n s ti t s e l f .

I n d e p e n d e n c eo ft e s ts a m p ka n d t r u t hd e t e r m i n a t i o n .P r o c e d uu s e dt o e s t a b l i s ht h et r u t hs h o u l dn o t a f f e c tt h e s e le c t i o no fc a s eT h u s ,t h eq u e s tf o ra d e q u a t et r u t hm a yb i a st h es a m p l eo f t e s tc a s ep e r h a p sr e s u l t i n gi n a n e a s i e rs a m p l et h a ni s r e a l i s t i c .

Many c r i m i n a li n v e s t i g a t i o n sd o n o t r e s u l ti n ac o n f e s s i o n .Whenc o n f e s s i o ni st h es o l eb a s i sf o rd e t e r m i n i n gt r u t ha n dh e n c ed i c t a tt h es a m p l e ,t h es a m p l ew i l lp r o b a b l yn o tr e p r e s e n tt h ep o p u l a t i oo f

c a s e st ow h i c ht h ep o l y g r a p hi st y p i c a l l ya p p l i e d .A so n es p e c i f i ci t i sp o s s i b l et h a tt h em o r ep o s i t i v ea t e s ta p p e a r st o b e ,t h eg r e a t e rt h el i k e l i h o o do f a c o n f e s s i o n .S o t h es a m p l ew i l lt e n dt oc o n s i s to f t h ee a s i e rc a s e st o d i a g n o s e .A g a i n ,t h ep o s s i b i l i t ye x i s t so f s u b s t a ni n f l a t i o no f m e a s u r e da c c u r a c y .

I n m a t e r i a l st e s t i n g ,t h eu s eo f p a n e ld e c i s i o n sb a s e do n a l la v a i l a b l ee v i d e n c ew o u l ds e r v et oc o n d i t i o nt h ec o n s t i t u t i o no f t h es a m p l eb y t h ep r o c e d u r ef o rd e t e r m i n i n gt r u t h .

I n m e d i c a li m a g i n g ,p o t e n t i a lb i a s e si nt h es a m p l em a yr e s u l tf r o mt h ep r o c e d u r e sf o r -e s t a b l i s h i n gt r u t h .I f t i s s u ea n a l y s i si s t h es t a n d a r d ,t h es a m p l ew i l lb e m a d eu p o f c a s e st h a ta c h i e v et h aa d v a n c e ds t a g e ,q u i t ep o s s i b l yc a s e st h a ts h o wr e l a t i v e l yc l e a

S C I E N C E ,V O L . 2 401 2 9 0

8/18/2019 Measuring the Accuracy of Diagnostic Systems

7/9

l e s i o n s .F o rn e g a t i v ec a s e s ,a s a m p l em a yr e f l e c tt h ep o p u l a t i o nm o r eo r l e s sw e l l ,d e p e n d i n go n ho w l o n go n ew a i t s f o rf o l l o w - u p .Af o r m u l af o re l i m i n a t i n gt h e s eb i a s e sw a sr e c e n t l yp r o p o s e d( 4 0 ) .

A p r o b l e mf o ra p t i t u d et e s t i n ga r i s e sf r o mt h ef a c tt h a tt e s t i n gi sc a r r i e do u tt om a k es e l e c t i o n s ,a n dg r o u n dt r u t hi sa v a i l a b l eo n l yf o rt h o s es e l e c t e d .H o wt h ep e r s o n s s c o r i n gb e l o wt h es e l e c t i o nc r i t e r i -o n o nt h ea p t i t u d et e s tw o u l dh a v ep e r f o r m e di ns c h o o lo r o n t h ej o bi s u s u a l l yn o t k n o w n .P r o c e d u r e su s e d t o e s t a b l i s ht r u t h -o b s e r v i n ga n d g r a d i n gt h ei n d i v i d u a li n s c h o o lo r o n t h ej o b -d e t e r m i n et h es a m p l ec o m p l e t e l y .T h e s a m p l ef o ra s s e s s i n gt h e

d i a g n o s t i cs y s t e mi sb i a s e dr e l a t i v et o t h ep o p u l a t i o nt ow h i c ht h es y s t e mi sa p p l i e d .R e p r e s e n t a t i v e n e s so ft h es a m p l e .T h es a m p l eo f t e s ti t e m ss h o u l d

f a i r l yr e f l e c tt h ep o p u l a t i o no f c a s e st ow h i c ht h ed i a g n o s t i cs y s t e mi su s u a l l ya p p l i e d .T h ev a r i o u s t y p e so f e v e n t ss h o u l do c c u ri n t h es a m p l ei na p p r o x i m a t e l yt h es a m ep r o p o r t i o n sa st h e yd oi np r a c t i c e .

A r e p r e s e n t a t i v eo fc r i m i n a lc a s e sc o u l d ,i np r i n c i p l e ,b e o b t a i n e dp r o s p e c t i v e l y .I fa l lc r i m i n a lc a s e si nt h ec o u n t r yw e r ec o l l e c t e df o r as u f f i c i e n t l yl o n gt i m es t a r t i n gn o w ,then t h ev a r i o u st y p e so fc r i m e sa g a i n s t o b j e c t sa n dp e o p l ew o u l da p p e a ri n a p p r o p r i a t en u m b e r s .B u tt h a tw o u l db e a v e r yl o n gt i m ef r o mt h es t a n d p o i n to fs o m e o n ed e s i r o u so f a n a c c u r a c ym e a s u r es o o n .S e l e c t i o no f c r i m i n a lc a s e sr e t r o s p e c t i v e l yi n t h ea p p r o p r i a t ep r o p o r t i o n sw o u l dd e p e n do n acommona n da d e q u a t ec o d i n go fc a s et y p e sa c r o s st h ec o u n t r y ,o ra

c e n t r a lf i l e ,a n da n a b i l i t yt oa c q u i r ef u l lr e c o r d s f o rc a s e si nw h i c ht h ep o l y g r a p hw a su s e d .A r e a s o n a b l ed e d u c t i o nf r o ms a m p l es i z e si nt h ep o l y g r a p ha s s e s s m e n tl i t e r a t u r e ,r a n g i n gt y p i c a l l yf r o ma b o u t2 0 t o 5 0 i n f i e l ds t u d i e s ,i s t h a ts a m p l ei t e m sa r ev e r yd i f f i c u l tt oa c q u i r e .T h i s i s a n i n s t a n c eo f a p o t e n t i a lb i a si n t h ea c c u r a c ym e a s u r eo f a n u n k n o w nd i r e c t i o n ,l e ta l o n ee x t e n t( 4 1 ) .

F o rr e a s o n sg i v e ne a r l i e r ,i tw o u l ds e e mt ob ed i f f i c u l ti nm a t e r i a l st e s t i n gt os p e c i f ya r e p r e s e n t a t i v es a m p l eo ft y p e sa n ds i z e so fc r a c k sa n dt oe n s u r et h a to n ee x i s t s .

T h e p r o b l e mi n m e d i c a li m a g i n go f a c h i e v i n gr e p r e s e n t a t i v es a m p l e sw i t h r e s p e c tt o t y p ea n d e x t e n to f l e s i o nm i r r o r st h ep r o b l e mf o rc r i m i n a lc a s e s .P r o s p e c t i v es a m p l i n gi se x p e n s i v ea n dt i m e - c o n s u m i n g . I n d e e d ,a new a n da d v a n c e dm o d e l o ft h ei m a g i n gd e v i c em a yb e a v a i l a b l eb e f o r ee n o u g hc as e s a r ec o l l e c t e dw i t ht h et e s t e do n e .R e t r o s p e c t i v es a m p l i n gr e q u i r e sf i r s tt h a tt h ed a t ab ea c c e s s i b l e ,a n ds o f a rt h e y u s u a l l yh a v en o tb e e n .S u c hs a m p l i n ga l s or e q u i r e s g r e a tc a r e .F o r e x a m p l e ,r a r e c a s e sm u s tb e p r e s e n ti n a tl e a s tm i n i m a ln u m b e r st or e p r e s e n tt h er a r i t yf a i r l y ,a n dh a v i n gt h a tn u m b e ro f t h e mm a yd i s t o r tt h er e l a t i v ep r o p o r t i o n s .

I n i n f o r m a t i o nr e t r i e v a l ,i t i s d i f f i c u l tt o s a ywhethe ra r e p r e -s e n t a t i v es a m p l eo f d o c u m e n t si sa c q u i r e df o ra g e n e r a la s s e s s m e n to fa s y s t e m .Wo r k i n gw i t hs p e c i a ls u b j e c tm a t t e r ss e e m sa p p r o p r i a t ef o ra g i v e nt e s t ,b u t m o s ts y s t e m s ,a s i l l u s t r a t e de a r l i e r ,a r et e s t e dw i t hj u s ta f ewo f t h e m .A c r o s st h ef e wm e n t i o n e da b o v e ,a c c u r a c yv a r i e sc o n s i d e r a b l ya n d s e e m st o c o v a r yw i t h t h e h a r d n e s s ,o rt e c h n i c a ln a t u r e ,o f t h el a n g u a g eu s e d f o r t h ep a r t i c u l a rs u b j e c tm a t t e r .

T h e a b i l i t yo f w e a t h e rf o r e ca s t e r s t oa s s e m b l el a r g ea n dr e p r e -s e n t a t i v es a m p l e sf o rc e r t a i nw e a t h e re v e n t si so u t s t a n d i n g .P r e d i c -t i o no fp r e c i p i t a t i o na tC h i c a g ow a st e s t e da g a i n s t1 7 , 0 0 0i n s t a n c e s ,a n de v e ni n d i v i d u a lf o r e c a s t e r sw e r em e a s u r e do n 3 , 0 0 0i n s t a n c e s .Of c o u r s e ,s o m ew e a t h e re v e n t sa r es o r a r et h a tf e wp o s i t i v ee v e n t sa r eo n r e c o r d ,a n d f o rs u c he v e n t st h ep r e c i s i o na s w e l la s t h eg e n e r a l i t yo f t h em e a s u r e m e n t sw i l lb e l o w( 4 2 ) .

C o n c l u d i n gR e m a r k sC a nwe s a yhow a c c u r a t eo u rd i a g n o s t i cs y s t e m sa r e ?A c c o r d i n g

t o t h ee v i d e n c ec o l l e c t e d h e r e ,t h eanswer i sa q u i t ec o n f i d e n t y e s3 J U N E I 9 8 8

i nt h ef i e l d so fm e d i c a l i m a g i n g ,i n f o r m a t i o nr e t r i e v a l ,a n dw e a t h e rf o r e c a s t i n g ,a n d ,a tl e a s tf o rn o w ,a n o tv e r yw e l li nm o s ti fn o ta l lo t h e rf i e l d s ,a se x e m p l i f i e dh e r eb yp o l y g r a p hl i ed e t e c t i o n , m at e s t i n g ,a n d( e x c e p tf o rt h ef ewa n a l y s e sm e n t i o n e da b o v e )a p t i t ut e s t i n gf o rp r e d i c t i n ga b i n a r ye v e n t .ROC m e a s u r e so fa c c u r a c ya r ew i d e l yu s e di nm e d i c a li m a g i n g 5 ,1 0 ,2 4 ) ,h a v eb e e na d v o c a t e da n dr e f i n e dw i t h i nt h ef i e l do f i n f o r m a t i o nr e t r i ev a l ( 2 0 ,4 3 ) ,a n dh a v eb e e ne f f e c t i v e l yi n t r o d u c e di nw e a t h e rf o r e c a s t i n g( 1 5 ,1 7 , 1 8 ,4 4 )A l t h o u g hp r o b l e m so f b i a s i nt e s td a t ad o n o t l o o ma s l a r g ei ni n f o r m a t i o nr e t r i e v a la n dw e a t h e rf o r e c a s t i n ga s e l s e w h e r e ,t h o s

f i e l d sh a v es h o w na h i g hd e g r e eo f s o p h i s t i c a t e dc o n c e r nf o rs u c hp r o b l e m s ,a sh a sm e d i c a l i m a g i n g ,w h e r et h ep r o b l e m sa r eg r e a t( 4 5 ) .S o ,i nm e d i c a li m a g i n gw ec a nb e q u i t ec o n f i d e n tf o re x a m pa b o u t Av a l u e so f0 . 9 0t o0 . 9 8f o rp r o m i n e n ta p p l i c a t i o n so fC I a n dc h e s t x - r a yf i l m sa n dA v a l u e so f 0 . 8 0 t o0 . 9 0f o rm a m m o g r a pS i m i l a r l y ,i nw e a t h e rf o r e c a s t i n g ,c o n f i d e n ta b o u tA v a l u e so f 0 . 7t o0 . 9 0f o rr a i n ,d e p e n d i n gl a r g e l yo nl e a dt i m e ,a n d o f0 . 6 5t o0 . 8 0d e p e n d i n go nd e f i n i t i o n s ,f o rt e m p e r a t u r ei n t e r v a l sa n df o g ;a n di ni n f o r m a t i o nr e t r i e v a l , Av a l u e sr a n g i n gf r o m0 . 9 5t o0 . 7 5d e p e n d i no n s u b j e c tm a t t e r .A p o s i t i v ea s p e c to f t h ef i e l do f p o l y g r a pl i ed e t e c t i o ni s t h a ti t r e c o g n i z e s t h en e e df o ra c c u r a c yt e s t i n ga n da t t e m p t st o i d e n t i f ya n d c o p ew i t h i n h e r e n t l yd i f f i c u l td a t a - bp r o b l e m s ,a n dt h ef i e l do f m a t e r i a l st e s t i n gi sm a k i n gs o m eb e g i nn i n g si n t h e s er e s p e c t s .Of c o u r s e ,f o ro t h e rt h a n t h es p e c i a lc a s

c o n s i d e r e dh e r e ,t h ef i e l do f a p t i t u d et e s t i n gd e v o t e sa g o o dd e a lo fs o p h i s t i c a t e de f f o r tt ov a l i d i t yq u e s t i o n s .W h a tw i l lt h ef u t u r eb r i n g ?A b a s i ca s s u m p t i o no f t h i sa r t i c l ei s

t h a t t e s t i ngt h e a c c u r a c yo fd i a g n o s t i cs y s t e m si so f t e nd e s i r a b l ea n df e a s i b l ea n di ss o m e t i m e sc r u c i a l .A l t h o u g hi n d i v i d u a ld i a g n o s t i ca r et r e a t e dh e r eo n l yi np a s s i n g ,a s i mi l a r c a s ec o u l db em a d ef o rt h ei m p o r t a n c eo f t e s t i n gt h e m . I s u g g e s tt h a ta w i d e ra n d d e e pu n d e r s t a n d i n go f t h en e e d sa n dt h ep o s s i b i l i t i e sw o u l db e b e n e f i ci n s c i e n c e ,t e c h n o l o g y ,a n ds o c i e t y ,a n dt h a ti t i sa p p r o p r i a tf o rs c i e n t i s t st o t a k e t h el e a di ne n h a n c i n gt h a tu n d e r s t a n d i n g .S c i e n t im i g h th e l ps o c i e t yo v e r c o m et h er e s i s t a n c et oc a r e f u le v a l u a t i o nt h ai so f t e ns h o w nb y d i a g n o s t i c i a n sa n d b yd e s i g n e r sa n dm a n a g e r so fd i a g n o s t i c s y s t em s ,a n dh e l pt oe l e v a t et h en a t i o n a lp r i o r i t yg i v e nt of u n d i n gf o re v a l u a t i o ne f f o r t s .S p e c i f i c a l l y ,I s u b m i tt h a ts c i e n t i sc a n i n c r e a s eg e n e r a la w a r e n e s st h a tt h ef u n d a m e n t a lf a c t o r si na c c u r a c yt e s t i ng a r et h es a m ea c r o s sd i a g n o s t i cf i e l d sa n d t h a tas u c c e s s f u ls c i e n c eo f a c c u r a c yt e s t i n ge x i s t s .I n s t e a do f m a k i ni s o l a t e da t t e m p t st od e v e l o pm e t h o d s o ft e s t i n gf o rt h e i rown f i e l de v a l u a t o r sc o u l da d a p tt h ep r o v e nm e t h o d st os p e c i f i cp u r p o s e sa n dc o n t r i b u t em u t u a l l yt o t h e i rg e n e r a lr e f i n e m e n t .

R E F E R E N C E SAND N O T E S

1 . T h em e a s u re m en t o fe f f i c a c yi nt h e c o n te x to f t h ep r e s en t a p p r o a c ht oa c c u r a ci st r e a t e di ns o m ed e t a i le l s e w h e r e 9 ,1 0 ) .T h eu s e f u l n e s so f e m p i r i c a lm e a s u r eo fd i a g n o s t i c ,a n de s p e c i a l l y p r e d i c t i v e ,a c c u r a c yw a sf u r t h e rs e ti na s o c i e t a lc o n t e x ti na r e c e n te d i t o r i a l :D . E .K o s h l a n d ,J r . ,S c i e w c2 3 8 , 7 2 7( 1 9 8 7 ) .

2 . W . W . P e t e r s o n ,T . G . B i r d s a l l ,W . C .F o x ,1 R ET r a n s .P r o f .G r o pI n f :T h e oP G I T 4 ,1 7 1( 1 9 5 4 ) .3 . W i t ha h u m a nd e c i s i o n - m a k e r ,o n ec a ns i m p l yg i v ei n s t r u c t i o n st o u s ea m o r eo rl e s ss t r i c tc r i t e r i o nf o re a c hg r o u po ft r i a l s .A l t e r n a t i v e l y,o n ec a ni n d u c ea c h a n g ei nt h ec r i t e r i o nb yc h a n g i n gt h ep r i o rp r o b a b i l i t i e so ft h et w oe v e n t so r t h ep a t t e r no fc o s t sa n db e n e f i t sa s s o c i a t e dw i t h t h ef o u rd e c i s i o no u t c o m e s .I f ,on t h eo t h eh a n d ,t h ed e c i s i o nd e p e n d so n t h ec o n t i n u o u so u t p u to f s o m ed e v i c e ,s a y ,t h ei n t r a o c u l a rp r e s s u r em e a s u r e di n a s c r e e n i n ge x a m i n a t i o nf o rg l a u c o m a ,t h e n ,i nd i f f e r e n tg r o u p so f t r i a l s ,o n es i m p l yt a k e ss u c c e s s i v e l yd i f f e r e n tv a l u e sa l o n gt h en u m e r i c a l( p r e s s u r e )c o n t i n u u ma sp a r t i t i o n i n gi t i n t ot w or e g i o n so fv a l u e st h a tl e a dt op o s i t i v ea n dn e g a t i v ed e c i s i o n s ,r e s p e c t i v e l y.T h i se x a m p l eo fa c o n t i n uo u t p u to fa s y s t e ms u g g e s t st h e a l t er n at i v et ot h eb i n a r yp r o c e d u r e ,n a m e l y ,t h es o -c a l l e d r a t i n gp r o c e d u r e .

4 . T h u s ,t or e p r e s e n tt h es t r i c t e s tc r i t e r i o n ,o n et a k e so n l yt h et r i a l sg i v e nt h eh i g h ec a t e g o r yr a t i n ga n dc a lc u la t es t h er e l e v a n tp r o p o r t i o n sf r o mt h e m .F o r t h en e xs t r i c t e s tc r i t e r i o n ,t h et r i a l st a k e na r et h o s eg i v e ne i t he r t h eh i g h e s to r t h en e xh i g h e s tc a t e g o r yr a t i n g - a n ds oo nt ow h a ta m o u n t st oa v e r yl e n i e n tc r i t e r i o nf o ra

A RT I C L E S I 2 9

8/18/2019 Measuring the Accuracy of Diagnostic Systems

8/9

p o s i t i v er e s p o n s c .T h eg e n e r a li d e ai si l l u s t r a t e db yp r o b a b i l i s t i cp r e d i c t i o n so fr a i n :f i r s t ,e s t i m a t e so f8 0 o r h i g h e rm a yb e t a k c na sp o s i t i v ed e c i s i o n s ,t h e ne s t i m a t e so f60 o r h i g h e r ,a n ds o o n ,u n t i lt h ep a i r so ft r u e -a n df a l s e - p o s i t i v ep r o p o r t i o n sa r eo b t a i n e df o rc a c ho f s e v e r a ld e c i s i o nc r i t e r i a .

5 . D .M .G r e e na n dJ .A . S w e t s ,S j q n a lD e t e c i o nT h e o t ya n dP s y c J p y s i a s( W i l e y,N ewYo r k ,1 9 6 6 ;r e p r i n t e dw i t hu p d a t e dt o p i c a lb i b l i o g r a p h i e sb yK r i e g e r ,N ew Yo r k ,1 9 7 4 ,a n dP e n i n s u l aP u b l i s h i n g ,L o sA l t o s ,C A ,i np r e s s ) .

6 . J . A . S w e t s ,S c e n c e1 3 4 ,1 6 8( 1 9 6 1 ) ;i b i d .1 8 2 ,9 9 0( 1 9 7 3 ) .7 . P s y o l .B u l .9 9 , 1 8 1( 1 9 8 6 ) .8 . i b i d . ,p . 1 0 0 .9 . a n dR. M . P i c k e t t ,E v a l u a t i o no fD i a n o s t i cS y s t e m s :M e t h o d sf i r mS y n a l

D e t e c t i o nT h e o r y( A c a d e m i cP r e s s ,N ewYo r k ,1 9 8 2 ) .1 0 .C .E .M e t z ,I n v e s t .R a d i a l .2 1 ,7 2 0( 1 9 8 6 ) .1 1 . J us thow m u c ha c c u r a c ya p a r t i c u l a rv a l u eo f Ar e p r e s e n t st a k e so ns o m ei n t u i t i v e

m e a n i n gi f o n e c x a m i n e st h ev a r i o u sc o m b i n a t i o n so f t r u e -a n d f a l s e - p o s i t i v ep r o p o r t i o n si t r e p r e s e n t s .Va l u e so fA b e t w e e n0 . 5 0a n d0 . 7 0o rs o r c p r e s e n tar a t h e rl o wa c c u r a c y - t h et r u e - p o s i t i v ep r o p o r t i o ni sn o tm u c hg r e a t e rt h a nt h ef a l s e -p o s i t i v ep r o p o r t i o na n y w h e r ea l o n gt h e c u rv e .Va l u e so f Ab e t w e e na b o u t0 . 7 0a n d0 . 9 0r e p r e s e n ta c c u r a c i e st h a ta r eu s e f i lf o rs o m ep u r p o s e s ,a n dh i g h e rv a l u e sr e p r e s e n ta r a t h e rh i g ha c c u r a c y .F u r t h e ri n t u i t i v em e a n i n go fa n yv a l u e so f Aa r i s e sf r o mt h ef a c tt h a ti tc a nb ev i e w e da st h ep e r c e n t a g eo fc o r r e c t d e c i s i o n si na p a i r e dc o m p a r i s o n st a s k .I n t h i st a s k ,a p os i ti ve e v e n ta n da n e g a t i v e e v e n ta r ea l w a y sp r e s e n t e do n e a c ht r i a l( s i d eb y s i d eo r o n ea f t e rt h eo t h e r ) ,a n dt h ed i a g n o s t i cs y s t e mm u s ts a yw h i c hi sw h i c h .A l t h o u g h p e r c e n tc o r r e c ti su s u a l l ya m i s l e a d i n gm e a s u r ef o rd i a g n o s t i ct a s k s ,i t i sa u s e f u lm e a s u r ef o rt h ep a i r e d - c o m p a r i s o n st a s kb e c a u s eh e r er e l a t i v ef r e q u e n c i e sa r en o t a t i s s u ea n dt h e d e c i s io nc r i t e r i o nc a nb ee x p e c t e dt ob es y m m e t r i c a lr a t h e rt h a nb i a s e do n ew a yo r t h eo t h e r( t o w a r dt h el e f to r r i g h ts i d eo rt o w a r dt h ef i r s to r s e c o n dt i m ei n t e r v a l ) .T h ev a l u eo f Ao b t a i n e di nt h ew a yd e s c r i b e da b o v ec a nb es h o w n ,i ng e n e r a l ,t oe q u a lt h ep e r c e n t a g ec o r r e c ti n t h i ss p e c i a lt a s k 5 ) .T h u s ,A = 0 . 8 2 f o rr a i np r e d i c t i o n sm e a n st h a ti f t h ef o r e c a s t e rw e r ep r c s e n t e da p a i ro f r a n d o m l ys a m p l e dw e a t h e rc o n d i t i o n so ns u c c e s s i v et r i a l s - a l w a y sw i t ho n ec o n d i t i o nt h a tl e dt or a i na n do n et h a td i dno t -t h e f o re c as t erc o u l ds a yw h i c hi sw h i c h8 2 o f t h et i m e .

B e c a u s et h es l o p eo f t h eR O Cd e c r e a s e ss m o o t h l y ,t h en u m e r i c a lv a l u eo f t h es l o p ea ta n yp o i n to nt h eR O Ci sa ni n d e xo f t h ed e c i s i o nc r i t e r i o nt h a ty i e l d st h a tp o i n t .Va r i o u sd e f i n i t i o n so fo p t i m a ld e c i s i o n r u le ss p e c i f yt h eo p t i m a lc r i te r i on f o ra n ys p e c i f i cs i t u a t i o n( a sc h a r a c t e r i z e d ,f o re x a m p l e ,b yp a r t i c u l a rp r i o r p r ob a bi l i -t i e sa n db e n e f i t sa n dc o s t s )i nt e r m so f i t sc o r r e s p o n d i n gR O Cs l o p e 5 ,9 ) .

1 2 .D .J .G e t t y ,R. M .P i c k e t t ,C . J .D O r s i ,J .A .S w e t s , I n .R R a d i o l .2 3 ,2 4 0( 1 9 8 8 ) .1 3 .A s t r a i g h tl i n eo na b i n o m a lg r a p hi sp r e d i c t e df r o mt h e o r yw h e nt h ed i s t r i b u t i o n s

o f s a m p l e so r o b s e r v a t i o n so f t h et w od i a g n o s t i ca l t e r n a t i v e s( f o re x a m p l e ,s i g n a la n dn o i s e )a r eG a u s s i a n .H o w e v e r ,a l m o s ta n yf o r mo f d i s t r i b u t i o n ,i n d u d i n gl o g i s t i c ,t r i a n g u l a r ,a n dc x p o n e n t i a l ,y i e l d sv e r yn e a r l ya s t r a i g h tl i n eo na b i n o f m a lg r a p h ,a n d ,i np a r t i c u l a r ,a f o r m nt h a ti si n d i s t i n g u i s h a b l ef r o ma s t r a i g h tl i n ew i t ho r d i n a r ya m o u n t so f d a t a 8 ) .O b s e r v e ds l o p e so f t h el i n e a rR O Cr a n g ef o rt h em o s tp a r tf r o ma b o u t0 . 7 0t o 1 . 0( 7 ) .A s l o p eo f 1 . 0c o r r e s p o n d st oa n R O Co no r d i n a r ys c a l e st h a ti ss y m m e t r i c a la b o u tt h em i n o rd i a g o n a l( a si n F i g .1 ) ,a n ds l o p c so fl e s st h a n 1 . 0c o r r e s p o n dt oR O C so no r d i n a r ys c a l e st h a tr i s em o r es t e e p l yf r o mt h eo r i g i nt h a nd o c sa s y m n e t r i c a lc u r v e( 5 ) ,a sd ot h eR O C si nF i g .2 ( w h o s es l o p e so na b i n o r m a lg r a p ha re 0 . 9 2a n d0 . 7 1 ) .

T h em e a s u r eh e r ed e n o t e dA ( f o rc o n v e n i e n c e )i sd e n o t e dA , i n t h ep r i m a r yl i t e r a t u r e ,wher et h es u b s c r i p tz s e r v e sa sa r e m i n d e rt h a tt h em e a s u r ew a so b t a i n e df r o ma b i n o r m a lg r a p h .A ,c a nb ec s t i m a t e df r o mt h et w op a r a m e t e r so f t h el i n e a rR O C b y t h ef o r m u l az ( A )= a / ( 1 b 2 ) 1 2 ,w h e r eb i s t h es l o p ea n da i s t h ei n t e r c e p to ft h e l in ea rR O C ,a n dz ( A )i st h en o r n a l - d e v i a t cv a l u eo ft h ec u m u l a t i v es t a n d a r d i z e dn o r m a ld i s t r i b u t i o nt h a tc o r r c s p o n d st o a t a b l e da r e ab e n e a t ht h en o r m a ld i s t r i b u t i o ne q u a lt oA , 9 ) .F o rs o m ec r u d em e a s u r e m e n tp u r p o s e s ,o n ec a ne s t i m a t eA f r o ma s i n g l eR O Cp o i n tb y a s s u m n i gt h a tt h e l i ne arR O Ch a sas l o p eo f 1 . 0 ,o r ,e q u i v a l e n t l y,t h a tt h eR O Co no r d i n a r ys c a l e si ss y m m e t r i c a la b o u tt h en e g a t i v ed i a g o n a l .A s i m p l ep r o c e d u r ei s to u s ea p a i ro f t a b l e sp u b l i s h e de l s e w h e r e( 1 4 ) :o n ec a nt a k et h et r u e -a n df a l s e - p o s i t i v ep r o p o r t i o n st oo n et a b l et oo b t a i na q u a n t i t yc a l l e dd ( am c a s u r eo fa c c u r a c yb a s e do na l i n e a rb i n o r m a lR O Co f u n i ts l o p e )a n d t a k et h a tq u a n t i t yt o t h es e c o n dt a b l et o o b t a i nA ( t h e r ep r e s e n t e da s t h ep e r c e n t a g eo f c o r r e c tc h o i c e si n ap a i r e d - c o m p a r i s o n st a s k ,a sm e n t i o n e de a r l i e r ) .

T h ea d v a n t a g eo fR O Ca n a l y s i sa n d Ao v e ro t h e rcommonm e a s u r e so fa c c u r a c yc a n b e p a r t i a l l yi l l u s t r a t e db y t h ed a t ao f F i g .2 . C l e a r l y ,t h et r u e - p o s i t i v ep r o p o r t i o na l o n ei s i n a d e q u a t ca s a m e a s u r e :f o re x a m p l e ,f o rt h e s t a n d a r dc o n d i t i o ni tv a r i e so v e rt h ef o u ro b s e r v e dd a t ap o i n t sf r o m0 . 3 8t o0 . 9 6a l t h o u g ht h o s ep o i n t sr e p r e s e n tc h a n g e so n l yi nt h ed e c i s i o nc r i t e r i o nw h i l ea c c u r a c yr e m a i n sc o n s t a n t .C o n t r a r yt of a c t ,t h e s t a n d ar d c o n d i t i o nc o u l da p p e a rm o r ea c c u r a t et h a nt h e

e n h a n c e dc o n d i t i o n ,i f ,f o re x a m p l e ,t h et h i r d - l e f tp o i n tw e r eo b t a i n e di n

t h es t a n d ar d c o n d i t i o ny i e l d i n ga v a l u eo f0 . 8 0a n dt h es e c o n d - l e f tp o i n tw e r eo b t a i n e di n t h ee n h a n c e dc o n d i t i o ny i e l d i n ga v a l u eo f 0 . 7 5 .T h eo v e r a l lp e r c e n t a g co fc o r r e c td e t e c t i o n s ,( a d ) l Ni nT a b l e1 ,a l so v a ri e sa c r o s st h ef o u rp o i n t s :i f t h er e l a t i v ef r e q u e n c i e so fn o i s ea n ds i g n a lt r i a l sa r ee q u a l ,t h e nt h i sm e a s u r eg i v e s 0 . 6 7 ,0 . 7 2 , 0 .7 4 ,a n d0 . 6 1f o rt h e f o u rp o i n t so f t h es t a n d a r dc o n d i t i o n ,a n d0 . 7 2 ,0 . 8 1 ,0 . 7 8 ,a n d0 . 6 5f o rt h ee n h a n c e dc o n d i t i o n .We r et h es e c o n d - k f tp o i n to n e a c hc u r v et h eo n l yo n eo b t a i n e d ,t h ed i f f e r e n c eb e t w e e nc o n d i t i o n sw o u l db eseena s0 . 0 9 ,w h e r e a s ,i ft h et h i r d - l e f tp o i n tw e r et h eo n l yo n co b t a i n e d ,t h ed i f f c r c n c ew o u l db e0 . 0 4 ,s ot h a tt h ed i f f e r c n c eb e t w e e nc o n d i t i o n sm i g h tb ei n t e r p r e t e dt ob es t a t i s t i c a l l ys i g n i f i c a n ti no n ec a s ea n di n s i g n i f i c a n ti nt h eo t h e r .M e a n w h i l e ,h a dt h eo b s c r v e dp o i n t sb o e nb a s e don r c l a t i v cf r e q u e n c i c so f 7 5 s i g n a lt r i a l sa nd 2 5n o i s et r i a l s ,t h es t a n d a r dc o n d i t i o nw o u l dy i c l dp e r c c n t a g e so f 0 . 5 2 ,0 . 6 7 , 0 . 7 7 ,a n d0 . 7 9f or t h ef o u rp o i n t sa n dt h ec n h a n c e dc o n d i t i o nw o u l dy i e l d0 . 5 9 ,0 . 7 8 ,0 . 8 1 ,a n d0 . 8 0 ,v a l u e sq u i t cd i f f c r e n tf r o mt h o s cp r e d i c a t e do n e q u a lf r e q u e n c i e sa n de i t h e rh i g h e ro r l o w e rd e p e n d i n go n t h ed e c i s i o nc r i t c r i o n .

Ta k i n gb o t h c o o r d i n a t ep r o p o r t i o n sf r o ma s i n g l co b s c r v e dp o i n t( o rf r o ma

1 2 9 2

s i n g l et w o - b y - t w oc o n t i n g e n c yt a b l c )i s a l s oa commona n du s u a l l yi n a d e q up ra ct i ce : i nm e d i c i n e ,t h et r u e - p o s i t i v ep r o p o r t i o ni sc a l l e d s e n s i t i v i t ya n dt h et r u e - n e g a t i v ep r o p o r t i o n( t h ec o m p l e m e n to f t h ef a l s e - p o s i t i v ep r o p o r t i o ni sc a l l e d s p e c i f i c i t y .S u c ha n a p p r o a c hi sa d e q u a t eo n l yw h e nt h ed i a g n o s t i ct e s t si nq u e s t i o nh a v ea n a g r e e d - u p o na n di n v a r i a n td e c i s i o nc r i t e r i o n ,s u c ha sa t e s tt h a ty i e l d sa n u m b e ra l o n ga s c a l c .A d i f f i c u l t yf o rt e s t st h a td o n o t ( f o re x a m pi m a g i n gs y s t e m sw i t hh u m a ni n t e r p r e t e r s )i st h a td i f f e r e n c e sa r eo f t e ni n d e t e r mn a t e ;f o re x a m p l e ,i nF i g . 2 ,t h ef i r s t - l e f tp o i n to ft h es t a n d a r dc o n d i t i o nc o u l dt u r no u t t ob e o n t h es a m eR O Ca st h es e c o n d - l e f tp o i n to f t h ee n h a n c e dc o n d i t i oi ft h ef u l lc u r v e sw e r co b t a i n e d ,s o w i t ha s i n g l ep o i n tp e rc o n d i t i o no n em i g h tn o tk n o wi ft h e c o n d i t i o nsw e r ee q u a L l ya c c u r a t co r n o t .T a k i n gt h ei n v e r s e so ft h et w op r o p o r t i o n sj u s tm e n t i o n e d - t h a ti s ,t h ep r o b a b i l i t yo f t h es i g n a lc v e n t( o rt h en o i s ec v e n t )g i v e nt h ep o s i t i v e( o rn e g a ti v c ) d e ci s i on ,w h i c hi sc a l l e dt h ep o s i t i v( o rn e g a t i v e ) p r e di c t iv ev a l u eo f t h es y s t e m - i ss i m i l a r l yp r o b l e m a t i c :t h e s ev a l u e sv a r yo v e ra w i d er a n g ed e p e n d i n gb o t ho nt h ed e c i s i o nc r i t e r i o na n do n t h er e l a t i v ef r e q u e n c i e so ft h et w ok i n d so fe v e n t s .I n d e e d ,t h ep o s it i v e p r ed ic t ivv a r i e sf r o mt h ep r i o rp r o b a b i l i t y r e l a t i v ef r e q u e n c y )o ft h es i g n a le v e n t( w h i c hm a yb e l o w )w h e nt h ed e c i s i o nc r i t e r i o ni sl e n i e n to n u p t o 1 . 0w h e nt h ec r i t e r i o ni ss t r i c t( 9 ) .S i m i l a rp r o b l e m sp l a g u et h em e a s u r ec a l l e d r e l a t i ver i s ko r o d d sr a t i ow h i c hi s a r a t i oo f t w o i n v e r s ep r o b a b i l i t i e s 8 ,9 ) . I n g e n e r a l ,s i n g l e - v am e a s u r e st a k e nf r o ma s i n g l ep o i n t( o rt w o - b y - t w ot a b l e ) ,s u c ha s t h eo d d sr a t i oa n dp e r c e n t a g ec o r r e c ta n dv a r i o u sm e a s u r e so f a s s o c i a t i o ni n s t a t i s t i c s ,c a n b es h o w nt op r e d i c tR O C so f t o o r e s t r i c t e da f o r m( f o re x a m p l e ,a b i n o r m a ls l o p eo f1 . 0 )o r o f a f o r mv e r yd i f f e r e n tf r o mt h o s eo b s e r v e di na c t u a lp r a c t i c e 8 ) .

1 4 .J .A .S w e t s , E d . ,S n a lD e t e c t o na n dR e c g n i t i o nb yH u m a nO b s e r e m( W i l e y,N ewYo r k ,1 9 6 4 ;r e p r i n t e db y P e n i n s u l aP u b l i s h i n g ,L o sA l t o s ,C A ,i np r e s s ) .

1 5 .I . M a s o n ,A u s t .M e t e r o l .M A g .3 0 ,2 9 1( 1 9 8 2 ) .1 6 .S e v e r a lt e s t so fr a i na r ei n d u d e d ,i nw h i c ht h el i k e l i h o o do fr a i nd u r i n gt h ed a y t i m

h o u r sw a sf o r e c a s tt h ee v e n i n gb e f o r e .T h e i rv a l u e so f Aa r eg e n e r a l l y :0 . 8 5to 0 . 9 0a t t h eC a n b e r r a( A u s t r a l i a )a i r p o r t ,w h e na n ym e a s u r a b l et r a c eo f r a i nw a sd e f i n ea s r a i n ;0 . 8 9 t h e r ew h e nr a i nw a sd e f i n e da s 2 2 . 5 m m ;0 . 8 3a t S e a t t l e ;0 . 8 5a tC h i c a g o ;