8/3/2019 04767706

1/7

I E E E T R A N S A C T I O N S ON P A T T E R N A N A L Y S I S AND MACHINE I N T E L L I G E N C E , V O L . P A M I - 7 . N O . 5 , SEPTEMBER 1 9 8 5

C o n c e p t u a l C l u s t e r i n g i n K n o w l e d g e O r g a n i z a t i o nYIZONG C H E N G AND KING-SUN F U , F E L L O W , I E E E

A b s t r a c t - K n o w l e d g e o r g a n i z a t i o n i s a v e r y i m p o r t a n t s t e p i n b u i l d -i n g a n e x p e r t s y s t e m . The p r o b l e m i s how t o o r g a n i z e k n o w l e d g e i n t o ac o n c e p t u a l s t r u c t u r e a n d t h u s make i t c o m p l e t e , c o n c i s e , a n d c o n s i s t -e n t . I n t h i s p a p e r , c o n c e p t s u s e d i n k n o w l e d g e d e s c r i p t i o n a r e d i v i de di n t o t a n g i b l e o n e s a n d i n t e r m e d i a t e o n e s d e p e n d i n g o n w h e t h e r o r n o tt h e y a p p e a r i n t h e i n p u t o r t h e o u t p u t o f t h e s y s t e m . I n t e r m e d i a t e c o n -c e p t s a n d t h e i r r e l a t i o n s h i p s w i t h t a n g i b l e c o n c e p t s a r e s u b j e c t e d t oc h a n g e s . A d i s t a n c e m e a s u r e f o r r u l e s a n d a n a l g o r i t h m f o r c o n c e p t u a lc l u s t e r i n g a r e d e s c r i b e d . Ne w i n t e r m e d i a t e c o n c e p t s a r e g e n e r a t e du s i n g t h i s a l g o r i t h m . A f e w n e w c o n c e p t s ma y r e p l a c e a l a r g e numbero f o l d r e l a t i o n s h i p s a n d a l s o g e n e r a t e n e w r u l e s f o r t h e s y s t e m . An e x -p e r i m e n t o n t r a d i t i o n a l C h i n e s e m e d i c i n e s h o w s t h a t t h e p r o p o s e dm e t h o d p r o d u c e s l e s u l t s s i m i l a r t o t h o s e g e n e r a t e d b y e x p e r t s .I n d e x T e r m s - C l u s t e r i n g , e v i d e n t i a l r e a s o n i n g , e x p e r t s y s t e m s ,

k n o w l e d g e o r g a n i z a t i o n , l e a r n i n g .I . I N T R O D U C T I O N

JN e x p e r t s y s t e m s , k n o w l e d g e i s u s u a l l y d e s c r i b e d a s r e -l a t i o n s among c o n c e p t s , a n d t h e n l i s t e d a s r u l e b a s e s ,c o n n e c t e d a s s e m a n t i c n e t w o r k s , o r g r o u p e d a s f r a m e s .C o n c e p t s a r e u s u a l l y s e t s o r f u z z y s e t s o f o b j e c t s ( o b s e r -v a t i o n s , a c t i o n s , o r o t h e r c o n c e p t s ) . I n a n e x p e r t s y s t e m ,c o n c e p t s c a n b e e i t h e r t a n g i b l e , t h a t i s , u s e d a s i n p u t o ro u t p u t o f t h e s y s t e m , o r i n t e r m e d i a t e , t h a t i s , o n l y u s e di n t e r n a l l y w i t h i n t h e s y s t e m t o c o n s t r u c t t h e i n t e r m e d i a t es t e p s i n r e a s o n i n g .I n many e x p e r t s y s t e m s , i n t e r m e d i a t e c o n c e p t s a n d r e -l a t i o n s c o n n e c t i n g t h e m w i t h t a n g i b l e c o n c e p t s a r e a l l p r o -v i d e d b y e x p e r t s a s e x p e r t i s e . T h e s e i n t e r m e d i a t e c o n -c e p t s r e f l e c t s o m e h i d d e n m e c h a n i s m i n s i d e t h ek n o w l e d g e . One may o r may n o t f i n d p h y s i c a l i n t e r p r e t a -t i o n s c o r r e s p o n d i n g t o t h e s e i n t e r m e d i a t e c o n c e p t s . I ns c i e n t i f i c r e s e a r c h , t h i s k i n d o f f i n d i n g i s i m p o r t a n t , b u ti n e x p e r t s y s t e m a p p l i c a t i o n s , i t i s n o t n e c e s s a r y . I n t h el a t t e r c a s e , i n t e r m e d i a t e c o n c e p t s m e r e l y s e r v e a s t o o l s t os i m p l i f y t h e k n o w l e d g e s t r u c t u r e , t o a c c e l e r a t e t h e r e a -s o n i n g p r o ce d u r e , a n d t o e x t e n d t h e a p p l i c a b l e d o m a i n o ft h e k n o w l e d g e . An a n a l o g o u s r o l e i s p l a y e d b y s y n d r o m e si n t h e v i e w o f m e d i c a l n o s o l o g y [ 4 ] . T h e c o n s t r u c t i o n o fs y n d r o m e s i s n e v e r u n i q u e , a s l o n g a s t h e t r e a t m e n t s w o r k .T h e r e h a s b e e n g r o w i n g i n t e r e s t i n s t u d y i n g t h e n a t u r eo f i n t e r m e d i a t e c o n c e p t s . We c a n p o i n t o u t a t l e a s t t h r e em o t i v a t i o n s f o r t h i s s t u d y .M a n u s c r i p t r e c e i v e d J u n e 1 , 1 9 8 4 ; r e v i s e d May 2 8 , 1 9 8 5 . Recommendedf o r a c c e p t a n c e b y Y . T . C h i e n . T h i s w o r k was s u p p o r t e d b y t h e N a t i o n a lS c i e n c e F o u n d a t i o n u n d e r G r a n t I S T 8 4 - 0 5 0 5 2 .Y . C h e n g i s w i t h t h e S c h o o l o f E l e c t r i c a l E n g i n e e r i n g , P u r d u e U n i v e r -s i t y , W e s t L a f a y e t t e , I N 4 7 9 0 7 .K . - S . F u was w i t h t h e S c h o o l o f E l e c t r i c a l E n g i n e e r i n g , P u r d u e U n i v e r -s i t y , W e s t L a f a y e t t e , I N . He i s n o w d e c e a s e d .

1 ) C o m p r e s s i o n o f r a w k n o w l e d g e . A f e w i n t e r m e d i a t ec o n c e p t s c a n r e p r e s e n t a l a r g e b o d y o f k n o w l e d g e . T h i sm a k e s s t o r a g e a n d r e t r i e v a l o f k n o w l e d g e e f f i c i e n t .2 ) F i l l i n g t h e i n c o m p l e t e n e s s o f e x p e r i e n c e . An e x p e r ts y s t e m i s m o r e t h a n a d a t a b a s e s y s t e m i n t h e s e n s e t h a td e d u c t i o n i s m o r e p o w e r f u l t h a n s e a r c h . I n t e r m e d i a t ec o n c e p t s n o t o n l y s u m m a r i z e t h e e x i s t i n g r u l e s , b u t a l s oi m p l y new r u l e s f o r new s i t u a t i o n s .3 ) C o m p u t a t i o n a l c o n v e n i e n c e i n c o m b i n i n g e v i d e n c e .A s p o i n t e d o u t b y C h a r n i a k [ 2 ] , " t h e l a c k o f i n d e p e n -d e n c e o f s y m p t o m s g i v e n d i s e a s e s o f t e n c a n b e r e m o v e db y i n t r o d u c i n g p a t h o l o g i c a l s t a t e s a n d c a u s a l r e a s o n i n g . "I n t r o d u c i n g i n t e r m e d i a t e c o n c e p t s may i n c r e a s e t h e v a l i d -i t y o f c o n d i t i o n a l i n d e p e n d e n c e a n d g r e a t l y s i m p l i f y t h ep r o c e d u r e o f c o m b i n i n g e v i d e n c e .I n t h i s p a p e r , w e p r o p o s e a n a p p r o a c h o f f o r m i n g i n t e r -m e d i a t e c o n c e p t s a s a p r o c e d u r e u s e d i n t h e e x p e r t s y s t e mH U A T U O . 'H U A T U O i s a n e x p e r t s y s t e m o n t r a d i t i o n a l C h i n e s em e d i c i n e . T h e t a n g i b l e c o n c e p t s u s e d i n t h i s s y s t e m a r em a n i f e s t a t i o n s a n d t r e a t m e n t s , a n d t h e i n t e r m e d i a t e c o n -c e p t s a r e e i t h e r g i v e n b y e x p e r t s o r g e n e r a t e d b y t h e s y s -t e m i t s e l f . H U A T U O g a t h e r s k n o w l e d g e f r o m a v a s t v a -r i e t y o f s o u r c e s , i n c l u d i n g a n c i e n t l i t e r a t u r e , m o d e r nt e x t b o o k s , a n d s h o r t r e p o r t s . T h e k n o w l e d g e i s p r o c e s s e dp r o b a b i l i s t i c a l l y a n d t o p o l o g i c a l l y , a n d a l s o a c c e p t s d y -n a m i c c h a n g e s .C o n c e p t u a l c l u s t e r i n g i s a p a r t o f t h e p r o c e d u r e o fk n o w l e d g e o r g a n i z a t i o n o f HUATUO. F r o m e m p i r i c a lm a n i f e s t a t i o n - t r e a t m e n t r u l e s , p r o p e r i n t e r m e d i a t e c o n -c e p t s a r e d i s c o v e r e d b y t h e s y s t e m . T h e n H U A T U O com-p a r e s t h e s e i n t e r m e d i a t e c o n c e p t s t o t h o s e g i v e n b y e x -p e r t s a n d i n t h i s w a y c o m b i n e s a l l s o u r c e s t o g e t h e r .T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . S e c t i o n I I i s a r e v i e wo f s i m i l a r w o r k i n c o n c e p t f o r m a t i o n a n d r e v i s i o n . S e c t i o nI I I g i v e s a d i s t a n c e m e a s u r e f o r e m p i r i c a l r u l e s , a n d S e c -t i o n I V d e s c r i b e s t h e c l u s t e r i n g p r o c e d u r e . S e c t i o n s V a n dV I c o n t a i n a n e x p e r i m e n t a l e x a m p l e i n HUATUO.

I I . C O N C E P T LEARNING I N A R T I F I C I A L I N T E L L I G E N C ES i n c e c o n c e p t s p l a y a m a j o r r o l e i n human k n o w l e d g eo r g a n i z a t i o n , some e a r l y s t u d y i n a r t i f i c i a l i n t e l l i g e n c e h a sb e e n d e v o t e d t o t h i s s u b j e c t . B r a c h m a n [ 1 ] i d e n t i f i e s c o n -c e p t s a s n o d e s i n s e m a n t i c n e t w o r k s ; G o l d s t e i n a n d R o b -e r t s [ 5 ] r e p r e s e n t t h e m i n t h e f o r m o f f r a m e s ; a n d Gomez' H u a T u o i s t h e n a m e o f a l e g e n d a r y d o c t o r i n t r a d i t i o n a l C h i n e s e m e d -i c i n e o f t h e T h i r d C e n t u r y .

0 1 6 2 - 8 8 2 8 / 8 5 / 0 9 0 0 - 0 5 9 2 $ 0 1 . 0 0 1 9 8 5 IEEE

5 9 2

8/3/2019 04767706

2/7

C H E N G AND F U : C O N C E P T U A L CLUSTERING I N KNOWLEDGE ORGANIZATIONa n d C h a n d r a s e k a r a n [ 6 ] d e f i n e t h e m a s c l u s t e r s o f p r o -d u c t i o n r u l e s .C o n c e p t f o r m a t i o n i s o f t e n c l a s s i f i e d a s " l e a r n i n g w i t h -o u t a t e a c h e r " [ 1 3 ] . Tw o t y p i c a l e x a m p l e s a r e AM [ 8 ] a n dC L U S T E R [ 9 ] . I n AM, w h e n t h e f r e q u e n c y o f c o i n c i -d e n c e o f t w o o r m o r e p r o p e r t i e s i n s a m p l e s r e a c h e s a c e r -t a i n t h r e s h o l d s p e c i f i e d i n m e t a r u l e s , a c o n c e p t i s g e n e r -a t e d . I n CLUSTER, f o r a g i v e n d e s i r e d n u m b e r o f c l u s t e r sk a n d a s e t o f k i n i t i a l s e e d e v e n t s , a k p a r t i t i o n o f t h eg i v e n c o l l e c t i o n o f e v e n t s i s g e n e r a t e d a s k c o n c e p t s .C o n s t r u c t i o n a n d i m p r o v e m e n t o f r e l a t i o n s f o r f o r m e dc o n c e p t s a r e p e r f o r m e d i n W i n s t o n ' s f r a m e l e a r n i n g p r o -g r a m [ 1 2 ] a n d t h e S E E K p r o g r a m [ 1 0 ] . I n W i n s t o n ' s w o r k ,a n u m b e r o f i n s t a n c e s o f a c o n c e p t i s g i v e n i n t h e f o r m o fp r o p e r t y l i s t s . A s t a t i s t i c a l l o o k a t t h e s e i n s t a n c e s i s t a k e na n d t h e r e l a t i v e f r e q u e n c i e s o f d i f f e r e n t v a l u e s i n e a c h s l o to f t h e f r a m e a r e c a l c u l a t e d . I f t h e r e l a t i v e f r e q u e n c y o f ap a r t i c u l a r v a l u e i n a s l o t i s g r e a t e r t h a n 0 . 6 5 , i t i s t a k e n a sa t y p i c a l o r d e f a u l t v a l u e f o r t h i s s l o t . I f n o s u c h v a l u ee x i s t s , t h e t y p i c a l v a l u e i s n o t a s s i g n e d . I n S E E K , t w ot a b l e s a r e u s e d t o d e s c r i b e e a c h c o n c e p t ( i . e . , a d i s e a s e ) .T h e f i r s t t a b l e c o n t a i n s a l i s t o f a l l m a j o r m a n i f e s t a t i o n sa n d o n e o f t h e m i n o r m a n i f e s t a t i o n s . T h e s e c o n d t a b l ec o n t a i n s r e q u i r e m e n t s , e x c l u s i o n s , a n d n u m b e r s o f m a j o ra n d m i n o r m a n i f e s t a t i o n s n e e d e d i n o r d e r t o a c h i e v e c e r -t a i n c o n c l u s i o n s . T h e s e n u m b e r s a r e a u t o m a t i c a l l y a d -j u s t e d a c c o r d i n g t o t h e f r e q u e n c y a n a l y s i s o f t e s t r e s u l t s .T h e a p p r o a c h p r o p o s e d i n t h i s p a p e r f o l l o w s t h e l i n e o fs y s t e m i d e n t i f i c a t i o n . An e x p e r t s y s t e m i s t r e a t e d a s a ni n p u t - o u t p u t s y s t e m a n d i n t e r m e d i a t e c o n c e p t s t h e i n t e r -n a l s t r u c t u r e . From s o m e i n p u t - o u t p u t i n f o r m a t i o n , o n es h o u l d b e a b l e t o e s t i m a t e t h e s e i n t e r m e d i a t e c o n c e p t s .A l t h o u g h b o t h M i c h a l s k i a n d S t e p p ' s C L U S T E R a n do u r H U A T U O u s e i t e r a t i v e c l u s t e r i n g a l g o r i t h m s , t h e y a r ec o m p l e t e l y d i f f e r e n t f r o m i n i t i a l s e t u p , t e r m i n a t i o n c r i -t e r i a , t o r e s u l t s . I n CLUSTER, t h e n u m b e r o f f i n a l c l u s -t e r s a n d t h e i n i t i a l s e e d s a r e s p e c i f i e d a t t h e b e g i n n i n g ,w h i l e i n HUATUO, t h e n u m b e r i t s e l f i s a d i s c o v e r y o f t h ea l g o r i t h m a n d n o i n i t i a l s e e d s e l e c t i o n i s n e e d e d . CLUS-T E R ' s a l g o r i t h m t e r m i n a t e s w h e n a s p e c i f i e d n u m b e r o fi t e r a t i o n s d o e s n o t p r o d u c e a b e t t e r c l u s t e r i n g , w h i l eHUATUO's t e r m i n a t e s w h e n t h e n u m b e r o f d i f f e r e n t s t a r sd o e s n o t r e d u c e f u r t h e r . T h e r e s u l t i n g c l u s t e r i n g o fC L U S T E R i s a p a r t i t i o n o f t h e a t t r i b u t e s p a c e , w h i l e t h a to f H U A T U O i s a s e t o f i n t e r m e d i a t e c o n c e p t s w i t h d i f f e r -e n t m e m b e r s h i p d e g r e e s f o r e a c h s i t u a t i o n .

I I I . A D I S T A N C E MEASURE F OR R U L E SF o r m a l l y , a r u l e i s a n o r d e r e d p a i r w i t h t h e f i r s t c o m -p o n e n t a s e t o f c o n d i t i o n s a n d t h e s e c o n d c o m p o n e n t a s e to f a c t i o n s r = < C , A > .L e t x i b e a c o n d i t i o n o r a n a c t i o n , o r a m a n i f e s t a t i o n o r at r e a t m e n t i n t h e e m p i r i c a l r u l e s i n HUATUO. We w i l l c a l lx i a n e l e m e n t o f t h e r u l e . A t y p i c a l p r o b a b i l i t y t h a t x i o c -c u r s i n a r u l e i n H U A T U O i s n o l a r g e r t h a n 0 . 1 . An d t h ea v e r a g e l e n g t h o f a r u l e ( n u m b e r s o f x i ' s i n a r u l e ) i s a b o u t1 2 . T h u s , i f a l l x i ' s a r e u n c o n d i t i o n a l l y i n d e p e n d e n t , t h a t

i s , i f t h e r e i s n o r e a s o n t h a t some x i ' s s h o u l d o c c u r t o -g e t h e r i n a r u l e m o r e o f t e n t h a n o t h e r s , t h e n t h e c h a n c et h a t we s e e s i m i l a r r u l e s i s v e r y r a r e .H o w e v e r , t h e s i m i l a r i t y among many r u l e s i s v e r y h i g h .T h a t i s , t h e y s h a r e u n u s u a l l y many e l e m e n t s . T h i s i n d i -c a t e s a f a i l u r e o f t h e a s s u m p t i o n o f u n c o n d i t i o n a l i n d e -p e n d e n c e . A p o s s i b l e e x p l a n a t i o n f o r t h i s s i t u a t i o n i s t h a tt h e r e e x i s t s o m e " h i d d e n c a u s e s . " 2 L e t h b e o n e o f t h e s eh i d d e n c a u s e s a n d x , a n d x 2 t w o o f i t s p o t e n t i a l e f f e c t s ,t h a t i s , P ( x i h ) >> P ( x i ) f o r i = 1 , 2 . [ P ( x i ) i n d i c a t e st h e p r o b a b i l i t y t h a t x i o c c u r s i n a r u l e . ] A t y p i c a l s i t u a t i o nmay b e P ( x i ) = 0 . 1 , P ( x i h ) = 0 . 9 , a n d P ( h ) - 0 . 1 f o r i= 1 , 2 . [ t h i s a l s o i m p l i e s t h a t P ( x i h ) 0 . 0 1 1 . ] No wwe h a v eP ( x 1 , x 2 ) > P ( x i , x 2 I h ) P ( h )

> [ P ( x f l h ) + P ( x 2 1 h ) 1 ] P ( h ) - 0 . 0 8 .T h i s i s m u c h g r e a t e r t h a n P ( x 1 ) P ( x 2 ) w h i c h i s 0 . 0 1 . T h i ss h o w s t h a t t h e h i d d e n c a u s e h m a k e s u n c o n d i t i o n a l i n d e -p e n d e n c e a v e r y b a d a s s u m p t i o n . O n t h e o t h e r h a n d , i n -d e p e n d e n c e o f x i a n d x 2 g i v e n h i s n o t a b a d a s s u m p t i o n ,i n t h i s e x a m p l e , s i n c e t h e r a n g e o f P ( x i , X 2 h ) i s [ 0 . 8 , 0 . 9 ]a n d i t s v a l u e when c o n d i t i o n a l i n d e p e n d e n c e h o l d s i s 0 . 8 1 .L e t u s c o m p a r e s i m i l a r i t i e s o f r u l e s c a u s e d b y h a n d o ft h o s e n o t c a u s e d b y h . A l o w e r b o u n d f o r P ( x I , x 2 1 h ) i s0 . 8 , c o m p a r e d t o 0 . 0 1 1 , a n u p p e r b o u n d f o r P ( x 1 , X 2 1 h ) .F o r a c o n j u n c t i o n o f m o r e x i ' s , t h i s d i f f e r e n c e i s e v e n b i g -g e r . T h e r e f o r e , b y g r o u p i n g s i m i l a r r u l e s t o g e t h e r , we c a nf o r m i n t e r m e d i a t e c o n c e p t s c o r r e s p o n d i n g t o t h e s e h i d d e nc a u s e s .

I n g e n e r a l , a c c o r d i n g t o t h e d i s c u s s i o n a b o v e , a r e a s o n -a b l e d i s t a n c e b e t w e e n t w o r u l e s w i l l b e t h e n u m b e r o f d i f -f e r e n t e l e m e n t s i n t w o r u l e s . I n HUATUO, s o m e s p e c i a lc o n s i d e r a t i o n s a r e a l s o t a k e n . F i r s t , m a n i f e s t a t i o n s a n dt r e a t m e n t s s h o u l d b e c o n s i d e r e d s e p a r a t e l y . S e c o n d , i t i sn o t unc ommon t h a t s o m e e x i s t i n g m a n i f e s t a t i o n s a r e n o tr e c o r d e d , t h u s , t h e a c t u a l c o n d i t i o n a l p r o b a b i l i t i e s a n d t h ea c t u a l l e n g t h o f r u l e s c o u l d b e l a r g e r t h a n t h e y a p p a r e n t l ya r e . T h i r d , t o t a l l y d i f f e r e n t t r e a t m e n t s c a n b e g i v e n t o t h es a m e s e t o f m a n i f e s t a t i o n s . T h e s e c o n s i d e r a t i o n s a f f e c t t h ea c t u a l d i s t a n c e m e a s u r e t h a t w e u s e a n d a l s o t h e t h r e s h -o l d s we w i l l u s e i n c l u s t e r i n g .L e t r i - ( C i , A i > a n d r j = ( C j , A 1 > b e t w o r u l e s . T h ed i s t a n c e b e t w e e n r i a n d r j i s d e f i n e d a sd ( r 1 , r j ) m i n i ; K 1 Cj ic i

| A i - A j l A j -A l . II A - 1 ' l A A iIH e r e , X-Y d e n o t e s t h e s e t d i f f e r e n c e o f X a n d Y , o r t h es e t o f t h o s e e l e m e n t s i n X b u t n o t i n Y . X I d e n o t e s t h en u m b e r o f e l e m e n t s i n s e t X . T h i s d i s t a n c e h a s t h e f o l l o w -ing p r o p e r t i e s .1 ) I f e v e r y c o n d i t i o n i n o n e r u l e a l s o o c c u r s i n a n o t h e r

2 ' H i d d e n c a u s e " i s b o r r o w e d f r o m a c o m m u n i c a t i o n w i t h J . P e a r l .

5 9 3

8/3/2019 04767706

3/7

I E E E T R A N S A C T I O N S O N P A T T E R N A N A L Y S I S AN D M A C H I N E I N T E L L I G E N C E , V O L . P A M I - 7 , N O . 5 . S E P T E M B E R 1 9 8 5r u l e , t h e n t h e d i s t a n c e b e t w e e n t h e t w o r u l e s i s z e r o . T h es a m e i s t r u e f o r a c t i o n s .2 ) I f t h e r e i s n o t h i n g i n c o m m o n b e t w e e n t w o r u l e s , t h ed i s t a n c e i s o n e .3 ) T h e d i s t a n c e d e c r e a s e s w h e n t h e n u m b e r o f c o m m o ne l e m e n t s i n t h e t w o r u l e s i n c r e a s e s .4 ) T h e d i s t a n c e i s s y m m e t r i c , b u t t h e t r i a n g l e l a w d o e sn o t a l w a y s h o l d . T h a t i s , t h e r e may b e r u l e s r l , r 2 , a n d r 3s u c h t h a t

d ( r l , r 2 ) + d ( r 2 , r 3 ) < d ( r l , r 3 ) .An e x a m p l e o f t h i s c a s e i s w h e n r 1 = < A , B ) , r 2 = ( A UC , B U D>, a n d r 3 = ( C , D> w h e r e A , C a n d B , Da r e d i s j o i n t p a i r s o f s e t s . No w w e h a v e d ( r l , r 2 ) = d ( r 2r 3 ) = 0 a n d d ( r l , r 3 ) = 1 .S o m e t i m e s , a f t e r a l a y e r o f i n t e r m e d i a t e c o n c e p t s h a sb e e n e s t a b l i s h e d , c o n d i t i o n a l i n d e p e n d e n c e i s s t i l l a p r o b -l e m . T h e n a n o t h e r l a y e r o f i n t e r m e d i a t e c o n c e p t s may e x -i s t . B u t t h i s e x i s t e n c e o n l y i n c r e a s e s t h e s i m i l a r i t y b e -t w e e n r u l e s t h a t b e l o n g t o t h e same f i r s t - l a y e r i n t e r m e d i a t ec o n c e p t , s o i t w i l l n o t a f f e c t t h e f o r m a t i o n o f t h e f i r s t -l a y e r i n t e r m e d i a t e c o n c e p t s .

I V . AN ALGORITHM F O R CONCEPTUAL C L U S T E R I N GT h e a p p r o a c h p r o p o s e d f o r c l u s t e r i n g i s d i f f e r e n t f r o mt h o s e i n t r a d i t i o n a l c l u s t e r a n a l y s i s [ 3 ] . O u r a p p r o a c h i sa n i n t u i t i v e a t t e m p t t o m o d e l t h e h u m a n memory p r o c e s s .A t t h e b e g i n n i n g , w e h a v e a s h a r p memory a b o u t r u l e st h a t w e h a v e j u s t l e a r n e d . T h i s i s a s e t o f r u l e s w h i c h wec a l l a r u l e s y s t e m . W h i l e t h e m e m ory i s f a d i n g , w e d o n o ts e e t h e s h a r p f e a t u r e s o f t h e r u l e s a n d c a n n o t d i s t i n g u i s h

b e t w e e n s i m i l a r r u l e s . R u l e s m e r g e t o g e t h e r a n d f o r m ane w a n d d e f o c u s e d r u l e s y s t e m .B e c a u s e n e a r n e s s i s n o t a t r a n s i t i v e p r o p e r t y , c l u s t e r i n gh a s t o s t a r t f r o m s o m e " s e e d s " o r " c e n t e r o b j e c t s . " I no u r c l u s t e r i n g a l g o r i t h m , e v e r y r u l e i s u s e d a s a s e e d f r o mw h i c h w e c o n s t r u c t a " s t a r " c e n t e r i n g a t t h a t s e e d . T h eu s e o f t e r m s " s e e d " a n d " s t a r " i s a f t e r M i c h a l s k i a n dS t e p p [ 9 ] . A r e p r e s e n t a t i v e r u l e i s f o r m e d f o r e a c h s t a r .A new r u l e s y s t e m i s c o n s t r u c t e d b y r e p l a c i n g e a c h e x i s t -i n g r u l e b y t h e r e p r e s e n t a t i v e o f t h e s t a r c e n t e r i n g a t t h a tr u l e . U s u a l l y , t h i s n e w r u l e s y s t e m w i l l h a v e l e s s d i s t i n c tr u l e s t h a n t h e o r i g i n a l o n e . A f t e r a f i n i t e n u m b e r o f a p -p l i c a t i o n s o f t h e s a m e a l g o r i t h m t o t h e s e q u e n c e o f n e wr u l e s y s t e m s , t h e n u m b e r o f d i s t i n c t r u l e s i n t h e s y s t e mw i l l n o t d e c r e a s e a n y f u r t h e r , a n d t h e c l u s t e r i n g p r o c e s ss t o p s . D i s t i n c t r u l e s i n t h e r e s u l t i n g r u l e s y s t e m f o r m t h ef i r s t l a y e r o f c o n c e p t s . E a c h r u l e i n t h e o r i g i n a l s y s t e mw i l l r e f e r t o t h e c o n c e p t c o r r e s p o n d i n g t o t h e r e p r e s e n -t a t i v e s t a r t i n g f r o m a s t a r c e n t e r i n g a t t h a t r u l e . When t h en u m b e r o f r u l e s r e f e r r i n g t o a f i r s t - l a y e r c o n c e p t i s v e r yl a r g e , a s e c o n d -l a y e r c o n ce p t ua l c l u s t e r i n g i s n e c e s s a r y .T h i s c l u s t e r i n g i s d o n e f o r t h e s u b s y s t e m c o n t a i n i n g o n l yr u l e s r e f e r r i n g t o o n e c o n c e p t , a n d a d i f f e r e n t t h r e s h o l d i n gs h o u l d b e u s e d . I n t h i s m a n n e r , a h i e r a r c h y o f c o n c e p t s i sg e n e r a t e d .

T h e f o l l o w i n g i s t h e a l g o r i t h m f o r o n e - s t e p c l u s t e r i n g .A l g o r i t h m 1 : O n e - s t e p c o n c e p t u a l c l u s t e r i n g .

I n p u t : A r u l e s y s t e m R .O u t p u t : A r u l e s y s t e m R ' c o n s i s t i n g o f r e p r e s e n t a t i v e s .S t e p 1 : C a l c u l a t e t h e d i s t a n c e b e t w e e n e a c h p a i r o fr u l e s i n R.S t e p 2 : U s i n g e a c h r u l e a s a s e e d , c o l l e c t a l l r u l e sw i t h i n a d i s t a n c e t , f r o m t h e s e e d a n d f o r m a s t a r .S t e p 3 : C a l c u l a t e t h e r e l a t i v e f r e q u e n c y f o r e a c h c o n -d i t i o n a n d e a c h a c t i o n o c c u r r i n g i n e a c h s t a r .S t e p 4 : F o r m a r e p r e s e n t a t i v e r u l e f o r e a c h s t a r . T h ec o n d i t i o n s e t c o n t a i n s a l l c o n d i t i o n s w i t h r e l a t i v e f r e q u e n -c i e s o f o c c u r r e n c e i n t h e s t a r g r e a t e r t h a n t 2 . T h e a c t i o ns e t c o n t a i n s a l l a c t i o n s w i t h r e l a t i v e f r e q u e n c i e s g r e a t e rt h e n t 3 .S t e p 5 : R e p l a c e e a c h s e e d w i t h t h e r e p r e s e n t a t i v e r u l ef o r t h e s t a r c e n t e r i n g a t i t a n d c a l l t h e new r u l e s y s t e m R ' .T h r e s h o l d s t 1 , t 2 , a n d t 3 a r e c h o s e n a s a r e s u l t o f t h es p e c i a l c o n s i d e r a t i o n s m e n t i o n e d i n t h e l a s t s e c t i o n . F o rf i r s t - l a y e r c l u s t e r i n g , t l , t 2 , a n d t 3 a r e c h o s e n a s 0 . 5 , 0 . 4 ,a n d 0 . 3 , r e s p e c t i v e l y .Some i m m e d i a t e r e l a t i o n s b e t w e e n R a n d R ' c a n b ep r o v e d . T h e f o l l o w i n g a r e s o m e o f t h e m .P r o p o s i t i o n 1 : T h e n u m b e r o f d i s t i n c t r u l e s i n R ' i s n o tl a r g e r t h a n t h a t i n R .P r o p o s i t i o n 2 : I f d ( r , s ) < t , f o r a l l r , s i n R , t h e n a l lr u l e s i n R ' a r e i d e n t i c a l t o e a c h o t h e r .P r o p o s i t i o n 3 : I f d ( r , s ) > t , f o r e v e r y d i s t i n c t p a i r r , si n R, t h e n R ' = R , t h a t i s , t h e y c o n t a i n e x a c t l y t h e samer u l e s .T h e f o l l o w i n g i s a r e c u r s i v e a l g o r i t h m f o r o n e - l a y e r c o n -c e p t u a l c l u s t e r i n g , w h i c h g e n e r a t e s c o n c e p t s i n t h e same

l a y e r ( c o u l d b e e i t h e r t h e f i r s t o r t h e s e c o n d l a y e r ) .A l g o r i t h m 2 : O n e - l a y e r c o n c e p t u a l c l u s t e r i n g .I n p u t : A r u l e s y s t e m R .O u t p u t : A r u l e s y s t e m S c o n t a i n i n g r e p r e s e n t a t i v er u l e s f o r o n e - l a y e r c o n c e p t s .

S t e p 1 : A p p l y a l g o r i t h m 1 t o R t o g e t R ' .S t e p 2 : I f t h e n u m b e r o f d i s t i n c t r u l e s i n R ' i s e q u a l t ot h a t i n R, g o t o s t e p 3 . O t h e r w i s e , l e t I ? = R ' a n d g o t os t e p 1 .S t e p 3 : D e l e t e r e d u n d a n t r u l e s i n R ' a n d f o r m S .From p r o p o s i t i o n 1 w e c a n s e e t h a t a l g o r i t h m 2 h a l t sa f t e r , a t m o s t , n i t e r a t i o n s w h e r e n i s t h e n u m b e r o f d i s -t i n c t r u l e s i n R .T h e t i m e c o m p l e x i t y o f s t e p 2 i n a l g o r i t h m 1 i s 0 ( n 2 )w h e r e n i s t h e n u m b e r o f r u l e s . A l t h o u g h t h i s d i s t a n c ec o m p u t a t i o n c a n s p e e d u p i n a n S I M D m a c h i n e , i t i s n o tn e c e s s a r y i n m o s t c a s e s b e c a u s e a r u l e s y s t e m w i t h a m o d -e r a t e n u m b e r o f r u l e s i s s u f f i c i e n t t o p r o v i d e i n f o r m a t i o nf o r c o n c e p t u a l c l u s t e r i n g .

V . AN EXPERIMENT O F CONCEPT CLUSTERING F O RT R A D I T I O N A L C H I N E S E MEDICINEI n t h i s s e c t i o n , we d e s c r i b e a p r a c t i c a l u s e o f t h e d i s -t a n c e m e a s u r e a n d t h e c o n c e p t u a l c l u s t e r i n g a l g o r i t h md e s c r i b e d i n t h e p r e v i o u s s e c t i o n s . T h e r a w k n o w l e d g e i se m p i r i c a l e x p e r t i s e f r o m a s t a n d a r d C h i n e s e m e d i c i n e

5 9 4

8/3/2019 04767706

4/7

C H E N G AND F U : C O N C E P TUAL CLUSTERING I N K NOW L E DG E ORGANIZATIONTABLE IEXAMPLES OF R U L E S

No . M a m i f e s t a t i o n s T r e a t m e n t s5 5 d i z z i n e s s e l e v a t e d g a s t r o d i at i n n i t u s g a m b i r p l a n th e a d a c h e p u n c t u r e v i n ef u l l n e s s i n t h e h e a d s k u l l c a p

r e d f a c e p i t t o s p o r mi r a s c i b i l i t y b i d e n t a t e a c h y r a n t h e ss l e e p l e s s n e s s chrysan t hemu md r e a m - i i n e s s c o r e o f t u c k a h o eb i t t e r t a s t e i n mo u t hr e d t o n g u ey e l l o w f u rw i r y p u l s er e s t l e s s n e s s5 6 f e v e r r o o t - b a r k o f p e o n yr e s t l e s s n e s s p i t t o s p o r mi r a s c i b i l i t y C h i n e s e t h o r o w a xo p p r e s s i o n i n c h e s t r o o t o f h e r b a c e o u s p e o n yb i t te r t a st e i n mo u t h C h i n e s e a n g e l i c ay e l l o w f u r l a r g e - h e a d e d a t r a c t y l o d e sr a p i d p u l s e l i c o r i c e r o o tw i r y p u l s e p e p p e r m i n t

i r r e g u l a r m e n s t r u a t i o n t u c k a h o eg i n g e r r o o t5 7 w a t e r y s t o o l w r i n k l e d g i a n t h y s s o pa b d o m i n a l p a i nb o r b o r y g m u sl o s s o f a p p e t i t et h i n f u rw h i t e f u rw e a k - f l o a t i n g p u l s es t i c k y p u l s ef u l l n e s s i n s t o m a c h

l a r g e - h e a d e d a t r a c t y l o d e st u c k a h o eb a r k o f o f f i c i a l m a g n o l i as h e l l o f a r e c a n u tp u r p l e p e r i l l ad a h u r i a n a n g e l i c a

t e x t b o o k [ 1 1 ] . T h e e x p e r t i s e i s r e p r e s e n t e d a s 1 1 8 p r o d u c -t i o n r u l e s , e a c h h a s a s e t o f m a n i f e s t a t i o n s a s t h e e v i d e n c eo f a d i s e a s e , a n d a s e t o f C h i n e s e m a t e r i a m e d i c a a s ap o s s i b l e p r e s c r i p t i o n . 1 7 9 C h i n e s e m a t e r i a m e d i c a a n d 1 7 5m a n i f e s t a t i o n s a r e i n v o l v e d . Some r u l e s a r e s h o w n i n T a -b l e I .A l t h o u g h we d o n o t u s e a n y i n t e r m e d i a t e c o n c e p t s a si n p u t t o t h e a l g o r i t h m s , w e g r o u p t h e r u l e s a c c o r d i n g t ot h e e x p l a n a t i o n s t h e a u t h o r s o f t h e t e x t b o o k p r o v i d e . T h e s ee x p l a n a t i o n s r e f l e c t t h e h i d d e n c a u s e s c o m m o n l y a s s u m e di n t r a d i t i o n a l C h i n e s e m e d i c i n e s c h o o l s . T h e y w i l l b e u s e di n t h e e v a l u a t i o n o f t h e a l g o r i t h m s t o c o m p a r e w i t h t h ei n t e r m e d i a t e c o n c e p t s g e n e r a t e d b y t h e c o m p u t e r . We o r -d e r t h e s e r u l e s a c c o r d i n g t o t h e e x p l a n a t i o n s a s i n T a b l eI I . S i n c e t h e o r d e r o f r u l e s d o e s n o t a f f e c t t h e p r o c e d u r ew e u s e , t h i s o r d e r i n g d o e s n o t b r i n g a n y e x t r a i n f o r m a t i o ni n t o t h e r a w d a t a , a n d m e r e l y p r o v i d e s a c o n v e n i e n c e f o rf u t u r e c o m p a r i s o n .T h e f i r s t s t e p i s t o c a l c u l a t e t h e d i s t a n c e b e t w e e n e a c hp a i r o f t h e r u l e s . T a b l e I I I s h o w s t h e r e s u l t s f o r r u l e s 5 1 -6 0 . T a b l e I V i s t h e d i s t r i b u t i o n o f d i s t a n c e s . We c h o o s et h e t h r e s h o l d f o r d i s t a n c e t 1 = 0 . 5 , a n d t h e r e a r e 8 . 4 p e r -c e n t o f 6 9 0 3 p a i r s o f r u l e s o r 5 8 0 p a i r s u n d e r t h i s t h r e s h -o l d . T a b l e V i s p a r t o f t h e r u l e g r o u p s t o b e c o n s i d e r e d a ss t a r s . T h e n w e c a l c u l a t e t h e r e l a t i v e f r e q u e n c y f o r e a c hc o n d i t i o n a n d a c t i o n w i t h i n e a c h s t a r a n d t h r e s h o l d t h e mw i t h t 2 = 0 . 4 a n d t 3 = 0 . 3 , r e s p e c t i v e l y . T h e r e s u l t i s ar e p r e s e n t a t i v e r u l e f o r e a c h s t a r . T h i s i s t h e e n d o f t h eo n e - s t e p c l u s t e r i n g p r o c e d u r e . T h i s p r o c e d u r e i s t h e n r e -p e t i t i v e l y a p p l i e d t o t h e r e p r e s e n t a t i v e r u l e s j u s t f o r m e d

TA B L E I IE X P L A N A T I O N S O F R U L E SNo . o f r u l e E x p l a n a t i o n c o n c e p t

1 - 2 3 d e f i c i e n c y o f v i t a l e n e r g y 12 4 - 4 0 d e f i c i e n c y o f b l o o d 14 1 - 4 7 s t a g n a t i o n o f v i t a l e n e r g y 34 8 - 5 6 l i v e r - f i r e 25 7 - 7 0 c o l d - w e t n e s s e v i l 47 1 - 8 6 w e t n e s s - h e a t e v i l 28 7 - 9 3 w i n d - h e a t 29 4 - 1 1 8 i n t e r i o r - h e a t c a u s e d b y d e f i c i e n c y o f y i n 2

T A B L E I l ID I S T A N C E S BETWEEN R U L E S ( X 1 0 0 )5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0

5 1 0 5 0 6 6 0 4 1 4 4 9 9 9 9 8 8 7 75 2 5 0 0 3 3 5 5 6 0 4 4 8 8 9 9 9 9 9 95 3 6 6 3 3 0 7 1 6 6 6 6 8 8 9 9 9 9 9 95 4 0 5 5 7 1 0 3 3 4 4 9 9 9 9 8 8 7 75 5 4 1 6 0 6 6 3 3 0 4 4 9 9 9 9 9 9 9 15 6 4 4 4 4 6 6 4 4 4 4 0 7 1 7 1 6 6 6 65 7 9 9 8 8 9 8 9 9 9 9 7 1 0 0 0 3 35 8 9 9 9 9 9 9 9 9 9 9 7 1 0 0 0 4 05 9 8 8 9 9 9 9 8 8 9 9 6 6 0 0 0 6 26 0 7 7 9 9 9 9 7 7 9 1 6 6 3 3 4 0 6 2 0

TA B L E I VD I S T A N C E D i S T R I B U T I O NR a n g e F r e q u e n c y ( % )

0 - 9 1 . 21 0 - 1 9 0 . 32 0 - 2 9 1 . 53 0 - 3 9 2 . 14 0 - 4 9 3 . 35 0 - 5 9 1 1 . 66 0 - 6 9 1 4 . 37 0 - 7 9 1 9 . 08 0 - 8 9 2 6 . 89 0 - 1 0 0 2 0 . 0

T A B L E VS T A R S C E N T E R E D A T R U L E S 5 1 - 6 0S e e d S t a r

5 1 4 8 4 9 5 0 5 1 5 4 5 5 5 6 7 5 8 0 8 2 1 0 0 1 0 1 1 0 3 1 0 75 2 4 9 5 2 5 3 5 6 8 5 9 15 3 5253 1 1 3 1 1 75 4 4 8 4 9 5 0 5 1 5 4 5 5 5 6 7 5 8 0 8 2 1 1 25 5 4 8 4 9 5 0 5154 5 5 5 6 1 0 05 6 1 2 4 8 4 9 5 0 5 1 5 2 5 4 5 5 5 6 6 2 6 5 7 5 1125 7 2 5 7 5 8 5 9 6 0 6 2 6 3 6 45 8 5 7 5 8 5 9 6 0 6 2 6 3 6 4 7 0 7 3 7 5 8 65 9 5 7 5 8 59 6 3 6 4 6 56 0 5 7 5 8 6 0 6 2 6 5 6 6 7 0 7 7 7 9

u n t i l n o m o r e c h a n g e w i l l h a p p e n . T h e n u m b e r o f d i s t i n c tr u l e s i n t h e s e r e p r e s e n t a t i v e r u l e s e t s d e c r e a s e s s h a r p l y a ss h o w n i n T a b l e V I . When t h e s i z e o f t h e r u l e s y s t e ms h r i n k s , e a c h o r i g i n a l r u l e r e f e r s t o a f i n a l r e p r e s e n t a t i v er u l e .T h e f i n a l f o u r r e p r e s e n t a t i v e r u l e s o f w h i c h e a c h r e p -r e s e n t s m o r e t h a n t h r e e o r i g i n a l r u l e s a r e s h o w n i n T a b l eV I I a n d t h e y r e p r e s e n t t h e f i r s t - l a y e r i n t e r m e d i a t e c o n -c e p t s g e n e r a t e d b y t h e c o m p u t e r . T h e r e a r e o n l y t w o o r i g -i n a l r u l e s r e f e r r e d t o t h e f i f t h g e n e r a t e d c o n c e p t , a n d i t i s

5 9 5

8/3/2019 04767706

5/7

IEEE T R AN S AC T I O N S O N P A T T E R N ANALYSIS AND M A C H I N E INTELLIGENCE, VOL. P A M I - 7 , N O . 5 , S E P T E M B E R 1 9 8 5T A B L E V INUMBER O F D I S T I N C T RULES

I t e r a t i o r i - N u m b e r o f r u l e s0 1 1 81 1 1 22 6 53 2 44 65 56 5

TA B L E V I IF I R S T - L A Y E R R E P R E S E N T A T I V E R U L E SS u g g e s t e dN o . M a n i f e s t a t i o n s T r e a t m e n t s

1 l a s s i t u d e t u c k a h o ed i z z i n e s s d r i e d o l d o r a n g e p e e lp a l l o r v l a d i m i r i a r o o tp a l e t o n g u e C h i n e s e a n g e l i c al o s s o f a p p e t i t e g i n s e n gp a l p i t a t i o n m i l k v e t e hf i n e p u l s e l a r g e - h e a d e d a t r a c t y l o d e sl i c o r i c e r o o t

2 r e s t l e s s n e s s C h i n e s e t h o r o w s a xr e d t o n g u e p i t t o s p o r my e l l o w f u r s k u l l c a pt h i n f u r t u c k a h o et h i r s t o r i e n t a l w a t e r p l a n t a i nr a p i d p u l s e A s i a t i c p l a n t a i nf i n e p u l s e f i v e l e a f a k e b i ab u l b o f f r i t i l l a r yr o o t o f b a l l o o n f l o w e rr o o t o f r e h m a n n i aC h i n e s e a n g e l i c a3 t h i n f u r C h i n e s e t h o r o w a xb e l c h i n g r h u b a r bd i s t e n d i n g p a i n i n d r i e d o l d o r a n g e p e e lh y p o c h o n d r i u m f r u i t o f c i t r o na b d o m i n a l d i s t e n t i o n n u t g r a s s f l a t s e d g ee p i g a s t i c d i s t e n t i o n t h r e e - n e r v e d s p i c e b u s hc o n s t i p a t i o n c h u a n x i o n gw i r y p u l s e r o o t o f h e r b a c e o u s p e o n y4 w h i t e f u r p u r p l e p e r i l l as t i c k y f u r d r i e d g i n g e rl o s s o f a p p e t i t e d a h u r i a n a n g e l i c ao p p r e s s i o n i n c h e s t w r i n k l e d g i a n t h y s s o pe p i g a s t i c d i s t e n t i o n b a r k o f o f f i c i a l m a g n o l i as l o w e d - d o w n p u l s e t u c k a h o ew e a k - f l o a t i n g p u l s e l a r g e - h e a d e d a t r a c t y l o d e sl i c o r i c e r o o t

n o t c o n s i d e r e d as a s i g n i f i c a n t i n t e r m e d i a t e c o n c e p t a n di s n o t i n c l u d e d i n T a b l e V I I . T h e s e f o u r i n t e r m e d i a t e c o n -c e p t s a r e b e s t d e s c r i b e d b y " d e f i c i e n c y , " " h e a t , " " s t a g -n a t i o n , " a n d " c o l d - w e t n e s s , " r e s p e c t i v e l y , i n t h e t e r m i -n o l o g y o f t r a d i t i o n a l C h i n e s e m e d i c i n e ( T a b l e I X ) . Thei t e r a t i v e c l u s t e r i n g a c t u a l l y r e d u c e s r u l e s i n t o t h e s e f o u rc o n c e p t s . I f we c o mp a r e t h e m t o t h e e x p l a n a t i o n s p r o -v i d e d b y t h e a u t h o r s o f t h e t e x t b o o k, o n l y 1 3 o f t h e 1 1 8r u l e s h a v e b e e n m i s p l a c e d , a n d t h e s uc c e s s r a t e i s 8 9 p e r -c e n t . M o s t o f t h e s e m i s p l a c e d r u l e s i n v o l v e more t h a n o n ec o n c e p t , a n d t h e e x p l a n a t i o n s o n l y r e f e r t o t h e m a j o r c o n -c e p t , t h u s , i f we c o n s i d e r t h e i n d i c a t i o n o f a m i n o r c o n c e p ta l s o as a success, t h e a c t u a l s u c c e s s r a t e i s h i g h e r t h a n 9 5p e r c e n t .S i n c e c o n c e p t 2 ( h e a t ) co v e r s almost h a l f o f a l l t h e

o r i g i n a l r u l e s , we a p p l y a l g o r i t h m 2 t o t h o s e r u l e s i t c o v -e r s u s i n g t 1 = 0 . 4 a n d t h e s a m e v a l u e s o f t 2 a n d t 3 . T h i sr e s u l t s i n f o u r s e c o n d - l a y e r c o n c e p t s . T h r e e o f t h e m c o v e ra t l e a s t t h r e e o r i g i n a l r u l e s a n d t h e y a r e s h o w n i n T a b l eV I I I . T h e s e t h r e e s e co n d- l ay e r c o n c e p t s c o r r e s p o n d t ot h r e e m a j o r s u b c l a s s e s o f " h e a t " s y n d r o m e i n t r a d i t i o n a lC h i n e s e m e d i c i n e . ( A g a i n , we d i d n o t l i s t o n e o f t h e s e c -o n d - l a y e r c o n c e p t s h e r e b e c a u s e i t s r e p r e s e n t a t i v e p o w e ri s n o t s i g n i f i c a n t . ) T h e y a r e " l i v e r h e a t , " " k i d n e y h e a t , "a n d " w i n d h e a t , " r e s p e c t i v e l y ( T a b l e I X ) . T h e r e p r e s e n -t a t i v e m a n i f e s t a t i o n s a n d t r e a t m e n t s i n t h e f i r s t - l a y e r c o n -c e p t " h e a t " a p p e a r s i n a l l o r m o s t r e p r e s e n t a t i v e r u l e s f o rt h e s e c o n d - l a y e r c o n c e p t s u n d e r " h e a t , " t h a t i s , o n l y t h er e m a i n i n g p a r t o f t h e r e p r e s e n t a t i v e m a n i f e s t a t i o n s i n t h es e c o n d - l a y e r c o n c e p t s n e e d t o b e c h e c k e d a f t e r e n t e r i n gt h e c o n c e p t o f " h e a t . " T h i s p r o c e d u r e o f h i e r a r c h i c a l c o n -c e p t u a l c l u s t e r i n g p r o d u c e s a t w o - l a y e r c o n c e p t u a l s t r u c -t u r e a n d i t i s v e r y c l o s e t o t h e c o n c e p t u a l s t r u c t u r e u s e db y v a r i o u s s c h o o l s o f t r a d i t i o n a l C h i n e s e m e d i c i n e .V I . D I A G N O S T I c A P P L I C A T I O N O F C O N C E P T U A LS T R U C T U R E S

A c o n d i t i o n a l p r o b a b i l i t y P ( h l e ) f o r e a c h p a i r o f c o n -c e p t h a n d m a n i f e s t a t i o n e i s e s t i m a t e d b y c o u n t i n g t h er e l a t i v e f r e q u e n c y . T a b l e X i s a l i s t o f t h e c o n d i t i o n a l p r o b -a b i l i t i e s o f s e v e r a l m a n i f e s t a t i o n s f o r c o n c e p t 3 ( s t a g n a -t i o n ) .T h e c o n d i t i o n a l p r o b a b i l i t y P ( h E ) f o r a s e t o f m a n i -f e s t a t i o n s E i s c a l c u l a t e d b y a g e n e r a l i z a t i o n o f t h e f o r -m u l a p r o p o s e d b y I s h i z u k a e t a l . [ 5 ] . A s s u m i n g c o n d i -t i o n a l i n d e p e n d e n c e among m a n i f e s t a t i o n s , we h a v eP ( h j l e l , * , e m ) Q ( h j I e I , , e m )w h e r e

Q ( h j I e i , e , , * - Q ( h j e l * , e m n I ) P ( h 1 )a n d

Q ( h j | e ) = : P ( h j | e ) .T h e o r i g i n a l 1 1 8 c o m b i n a t i o n s o f m a n i f e s t at i o n s h a v e b e e nf e d t o t h e p r o g r a m a n d 1 1 7 o f t h e m a r e c o r r e c t l y d i a g -n o s e d . A s i m i l a r r e s u l t c a n b e o b t a i n e d f o r t h e o r i g i n a lc o m b i n a t i o n s o f t r e a t m e n t s , s i n c e t h e p r o c e d u r e s f o r m a -n i p u l a t i n g m a n i f e s t a t i o n s a n d t r e a t m e n t s a r e t h e s a m e .T h u s , we c a n s a y t h a t a l m o s t a l l o r i g i n a l r u l e s a r e i n -c l u d e d i n t h e s e i n t e r m e d i a t e c o n c e p t s . T h e p r o g r a m a l s or e s p o n d s t o o t h e r c o m b i n a t i o n s o f m a n i f e s t a t i o n s , a n d t h ea p p l i c a b l e d o m a i n o f t h e r u l e s y s t e m i s e n l a r g e d . T h i sg i v e s a c o m p l e t e a n d c o n s i s t e n t r e s p o n s e t o a l l s i t u a t i o n sw i t h a c o n c i s e memory w h i c h c o n t a i n s o n l y t h e l i k e l i h o o dr a t i o s P ( h j e i ) ! P ( h j ) . A s a n i l l u s t r a t i v e e x a m p l e o f t h e e v i -d e n c e c o m b i n a t i o n p r o c e s s , t w o s e q u e n c e s o f e v i d e n c e sa n d t h e i r c o n d i t i o n a l p r o b a b i l i t i e s a r e s h o w n i n T a b l e s X Ia n d X I I . ( h 1 , h 2 , h 3 , a n d h 4 d e n o t e t h e c o n c e p t s " d e f i -

5 9 6

8/3/2019 04767706

6/7

C H E N G AND F U : C O N C E P T U A L C L U S T E R I N G I N K N O W L E D G E ORGANIZATIONTAB L E V I I IS E C O N D - L A Y E R R E P R E S E N T A T I V E R U L E S

S u g g e s t e dN o . M a n i f e s t a t i o n s T r e a t m e n t s2 1 r e s t l e s s n e s s C h i n e s e t h o r o w a xi r a s c i b i h t y p i t t o s p o r md r y t h r o a t s k u l l c a pr e d t o n g u e r o o t o f r e h m a n n i a

b i t te r t a st e i n mo u t h C h i n e s e a n g e l i c at h i r s t l i c o r i c e r o o tr a p i d p u l s e t u b e o f d w a r f l i l y t u r fs m a l l p u l s ew i r y p u l s e2 2 r e s t l e s s n e s s s k u l l c a pd i z z i n e s s c o r k t r e er e d t o n g u e t u c k a h o ey e l l o w f u r o r i e n t a l w a t e r p l a n t a i ns t i c k y f u r p r e p a r e d r o o t o f r e h m a n n i at h i r s t C h i n e s e ya ms o r e n e s s o f w a i s t m e d i c i n a l c o r n e lh o t d e e p y e l l o w u r i n e r o o t - b a r k o f p e o n yr a p i d p u ls es m a l l p u l s ew e a k - f l o a t i n g p u l s e2 3 r e s t l e s s n e s s i n g j i eh i d r o s i si n t o l e r a n c e t o w i n dt h i c k sputumc o u g hy e l l o w f u rt h i n f u rt h i r s tc h e s t p a i nr a p i d p u l s ef l o a t i n g p u l s ef e v e r

p e p p e r m i n ta c h e n e o f g r e a t b u r d o c kw h i t e m u l b e r r y l e a fc o m m o n r e e d r h i z o m eh o n e y s u c k l e f l o w e rw e e p i n g f o r s y t h i aalmondr o o t o f b a l l o o n f l o w e rbamboo l e a fl i c o r i c e r o o t

T A B L E X Ip ( h / E ) F OR E X A M P L E S E Q U E N C E 1iv i d e n c e e p ( h 1 j E 1 ) p ( h 2 j E j ) p ( h 3 j E i ) p ( h 4 j E 1 )1 h e a d a c h e 0 . 2 3 0 . 6 2 0 . 0 0 0 . 1 52 n a p e s t i f f n e s s 0 . 3 2 0 . 0 0 0 . 0 0 0 . 6 83 c h i l l i n e s s 0 . 2 2 0 . 0 0 0 . 0 0 0 . 7 84 f e v e r 0 . 0 8 0 . 0 0 0 . 0 0 0 . 9 25 h e a v y b o d y 0 . 0 0 0 . 0 0 0 . 0 0 1 . 0 06 w h i t e f u r 0 . 0 0 0 . 0 0 0 . 0 0 1 . 0 07 s t i c k y f u r 0 . 0 0 0 . 0 0 0 . 0 0 1 . 0 08 f l o a t i n g p u l s e 0 . 0 0 0 . 0 0 0 . 0 0 1 . 0 0

TABLE X I Ip (hE) FOR E X A M P L E S E Q U E N C E 2i e v i d e n c e e i p ( h i I E j ) p ( h 2 j E 1 ) p ( h 3 I E j ) p ( h 4 j E j )I a r t h r a l g i a 0 . 0 0 0 . 2 5 0 . 2 5 0 . 5 02 t h i n f u r 0 . 0 0 0 . 1 9 0 . 6 1 0 . 2 03 w h i t e f u r 0 . 0 0 0 . 0 1 0 . 5 2 0 . 4 74 _ w i r y p u l s e 0 . 0 0 0 . 0 0 1 . 0 0 0 . 0 0

i s " c o l d - w e t n e s s . " When a n o t h e r e v i d e n c e , " t h i n f u r , "j o i n s i n , t h e m o s t p r o b a b l e o n e b e c o m e s " s t a g n a t i o n . " T h ed i a g n o s i s f o r t h e c o m b i n a t i o n o f t h e f o u r m a n i f e s t a t i o n s i se x c l u s i v e l y " s t a g n a t i o n . " A l t h o u g h r e p r e s e n t a t i v e t r e a t -m e n t f o r " s t a g n a t i o n " c o u l d b e s u g g e s t e d a t t h i s p o i n t , i ti s s t i l l f a r a w a y f r o m t h e f i n a l d e c i s i o n i n HUATUO. How-e v e r , t h e u s e f u l n e s s o f i n t e r m e d i a t e c o n c e p t s i s d e m o n -s t r a t e d i n t h i s e x a m p l e .T A B L E I XS U G G E S T E D C O R R E S P O N D E N C E O F C O N C E P T S AN D C O N V E N T I O N A L NAMES

C o n c e p t No . C o n v e n t i o n a l N a m eI d e f i c i e n c y2 h e a t2 1 l i v e r h e a t2 2 k i d n e y h e a t2 3 w i n d h e a t3 s t a g n a t i o n4 c o l d - w e t n e s s

TA B L E X" S T A G N A T I O N " hM a n i f e s t a t i o n e p ( h j e )

a r t h r a l g i a 0 . 2 5d e p r e s s i o n 1 . 0 0r e d t o n g u e t i p 0 . 3 3w h i t e f u r 0 . 0 8s t i c k y f u r 0 . 0 7t h i n f u r 0 . 1 5b e l c h i n g 0 8 0d i s t e n d i n g p a i n i nh y p o c h o n d r i u m 0 . 3 3a c i d r e g u r g i t a t i o n 0 . 5 0a b d o m i n a l d i s t e n t i o n 0 . 1 5s t o m a c h a c h e 0 . 2 5e p i g a s t i c d i s t e n t i o n 0 1 8c o n s t i p a t i o n 0 . 1 4w i r y p u l s e 0 . 2 0

V I I . C O N C L U D I N G REMARKST h e e x p e r i m e n t o n t r a d i t i o n a l C h i n e s e m e d i c i n e s h o w s

a c o i n c i d e n c e o f t h e r e s u l t f r o m t h e c o n c e p t u a l c l u s t e r i n gm e t h o d a n d t h a t f r o m g e n e r a t i o n s o f e x p e r t s . T h i s g i v e sa n e x a m p l e o f t h e c l o s e n e s s b e t w e e n m a c h i n e c a p a b i l i t ya n d h u m a n i n t e l l i g e n c e i n t h i s a s p e c t o f k n o w l e d g e o r g a -n i z a t i o n . I n c o n v e n t i o n a l e x p e r t s y s t e m s , e x p e r t s p r o v i d ea l l t h e c o n c e p t u a l s t r u c t u r e s , a n d t h e m a c h i n e f o l l o w s w h a te x p e r t s s a y , s t e p b y s t e p . T h e p r o p o s e d c o n c e p t u a l c l u s -t e r i n g m e t h o d p r o d u c e s i n t e r m e d i a t e c o n c e p t u a l s t r u c -t u r e s f o r r u l e - b a s e d s y s t e m s , a n d t h i s m a k e s t h e k n o w l -e d g e m o r e c o m p l e t e , m o r e c o n c i s e , a n d m o r e c o n s i s t e n t .I n t h e e x p e r i m e n t d e s c r i b e d i n S e c t i o n s V a n d V I , i n s t e a do f l o o k i n g a t a t a b l e o f 1 1 8 c o m b i n a t i o n s o f m a n i f e s t a -t i o n s , t h e s y s t e m r e s p o n d s t o a n y c o m b i n a t i o n o f t h e 1 7 9m a n i f e s t a t i o n s . A l s o t h e s y s t e m c a n c h e c k a n y c o m b i n a -t i o n o f t r e a t m e n t s . I n s t e a d o f s t o r i n g r a n d o m r u l e s , t h es y s t e m s t o r e s o n l y a t a b l e o f p r o b a b i l i t i e s , a n d t h e s e p r o b -a b i l i t i e s w i l l e l i m i n a t e i n c o n s i s t e n c i e s i n r a w k n o w l e d g e .A s d o e s a l e a r n e r g r o w i n g f r o m a n o v i c e t o a n e x p e r t , t h i ss y s t e m m a k e s n o c r u c i a l r e q u i r e m e n t s t o t h e k n o w l e d g e ,a n d t h i s w i l l r e d u c e t h e c o s t o f b u i l d i n g e x p e r t s y s t e m s .T h i s d i s t a n c e m e a s u r e b e t w e e n r u l e s a n d t h e a l g o r i t h m sf o r c o n c e p t u a l c l u s t e r i n g p r o p o s e d i n t h i s p a p e r c o n t a i nmany i n t u i t i v e a r t i f a c t s a s w e l l a s some p r o b a b i l i s t i c j u s -t i f i c a t i o n . T h e y r e f l e c t some n a t u r e o f human i n f o r m a t i o np r o c e s s i n g , w h i c h i s o f t e n f i l l e d , q u a l i t a t i v e l y a n d q u a n -t i t a t i v e l y , w i t h u n k n o w n s . F u r t h e r e x p l o r a t i o n o f t h i s n a -t u r e i s n e e d e d i n k n o w l e d g e e n g i n e e r i n g s t u d i e s .

c i e n c y , " " h e a t , " " s t a g n a t i o n , " a n d " c o l d - w e t n e s s , " r e -s p e c t i v e l y . E i = { e l , * * * , e m } . ) I n T a b l e X I I , w h e n e v i -d e n c e " a r t h r a l g i a " a p p e a r s , t h e m o s t p r o b a b l e d i a g n o s i s

5 9 7

8/3/2019 04767706

7/7

IEEE TRANSACTIONS O N PATTERN A N A L Y S I S AN D MACHINE I N T E L L I G E N C E , V O L . P A M I - 7 , N O . 5 , S F P T E M B E R 1 9 8 5I t s h o u l d b e n o t e d t h a t t h e c o n c e p t s g e n e r a t e d b y t h ep r o p o s e d a l g o r i t h m s c a n a l s o b e v i e w e d a s " f u z z y s e t s "o v e r t h e s e t o f a l l m a n i f e s t a t i o n s , a n d p ( h I e ) c a n b e i n -t e r p r e t e d a s e s t i m a t e s o f m e m b e r s h i p f u n c t i o n s f o r t h ef u z z y s e t h .

REFERENCES[ 1 ] R . J . B r a c h m a n , " O n t h e e p i s t e m o l o g i c a l s t a t u s o f s em a n t i c n e t -w o r k s , " i n A s s o c i a t i v e N e t w o r k s , F i n d l e r , E d . Ne w Y o r k : A c a -d e m i c , 1 9 7 9 , p p . 3 - 5 0 .[ 2 ] E . C h a r n i a k , " T h e B a y e s i a n b a s i s o f co mmo n s e n s e m e d i c a l d i a gn o -s i s , " i n P r o c . N a t . C o n f A r i f . I n t e l l . , A A A I - 8 3 , W a s h i n g t o n , D C ,1 9 8 3 , p p . 7 0 - 7 3 .[ 3 ] E . D i d a y a n d J . C . S i m o n , " C l u s t e r i n g a n a l y s i s , " i n D i g i t a l P a t t e r nR e c o g n i t i o n , 2 n d e d . , F u , E d . B e r l i n : S p r i n g e r - V e r l a g , 1 9 8 0 .[ 4 ] A . R . F e i n s t e i n , "An a n a l y s i s o f d i a g n o s t i c r e a s o n i n g , " Y a l e J . B i o l .M e d . , v o l . 4 6 , p p . 2 1 2 - 2 3 2 , 2 6 4 - 2 8 3 , 1 9 7 3 .[ 5 ] I . P . G o l d s t e i n a n d B . R o b e r t s , " U s i n g f r a m e s i n s c h e d u l i n g , " i n A r -t i f i c i a l I n t e l l i g e n c e : An MIT P e r s p e c t i v e , V o l . 1 , W i n s t o n a n d B r o w n ,E d s . C a m b r i d g e , MA: T h e M . I . T . P r e s s , 1 9 7 9 , p p . 2 5 5 - 2 8 4 .[ 6 ] F . Gomez a n d B . C h a n d r a s e k a r a n , " K n o w l e d g e o r g a n i z a t i o n a n d d i s -t r i b u t i o n f o r m e d i c a l d i a g n o s i s , " IEEE T r a n s . S y s t . Ma n C y b e r n . , v o l .S M C - 1 1 , p p . 3 4 - 4 2 , J a n . 1 9 8 1 .[ 7 ] M . I s h i z u k a , K . - S . F u , a n d J . T . P . Y ao , " I n f e r e n c e p r o c e d u r e w i t hu n c e r t a i n t y f o r p r o b l e m r e d u c t i o n m e t h o d , " D e p . E l e c . E n g . , P u r d u eU n i v . , W . L a f a y e t t e , I N . , T e c h . R e p . T R - E E - 8 1 - 3 3 , 1 9 8 1 .[ 8 ] D . B . L e n a t a n d J . S . B r o w n , "Why AM a n d E u r i s k o a p p e a r t o w o r k , "A r t i f . I n t e l l . , v o l . 2 3 , p p . 2 6 9 - 2 9 4 , 1 9 8 4 .[ 9 ] R . S . M i c h a l s k i a n d R . E . S t e p p , " L e a r n i n g f r o m o b s e r v a t i o n : C o n -c e p t u a l c l u s t e r i n g , " i n M a c h i n e L e a r n i n g , M i c h a l s k i , C a r b o n e l l , a n dM i t c h e l l , E d s . P a l o A l t o , CA: T i o g a , 1 9 8 3 .[ 1 0 ] P . P o l i t a k i s a n d S . M. W e i s s , " U s i n g e m p i r i c a l a n a l y s i s t o r e f i n e e x -p e r t s y s t e m k n o w l e d g e b a s e s , " A r t i f I n t e l l . , v o l . 2 2 , p p . 2 3 - 4 8 , 1 9 8 4 .[ 1 1 ] S h a n g h a i I n s t i t u t e o f T r a d i t i o n a l C h i n e s e M e di c i n e, N ei k e x ue ( T e x t -b o o k o f I n t e r n a l M e d i c i n e ) v o l . 1 . S h an g ha i : S c i e n c e a n d T e c h n o l -o g y P r e s s , 1 9 7 8 .[ 1 2 ] P . H . W i ns t on , " L e a r n i n g b y c r e a t i n g a n d j u s t i f y i n g t r a n s f e r f r a m e s , "A r t i f . I n t e l U . , v o l . 1 0 , p p . 1 4 7 - 1 7 2 , 1 9 7 8 .[ 1 3 ] -, A r t i f i c i a l I n t e l l i g e n c e , 2 n d e d . R e a d i n g , MA: A d d i s o n - W e s l e y ,

1 9 8 4 .

Y i z o n g C h e n g w a s b o r n i n S ha n gh a i , C hi n a , i n1 9 5 2 . He r e c e i v e d t h e B . S . d e g r e e i n e l e c t r i c a l e n -g i n e e r i n g f r o m P u r d u e U n i v e r s i t y , W e s t L a f a y -e t t e , I N , i n 1 9 8 1 .S i n c e 1 9 8 2 h e h a s b e e n a R e s e a r c h A s s i s t a n tw i t h t h e A d v a n c e d A u t o m a t i o n R e s e a r c h L a b o r a -t o r y o f t h e S c h o o l o f E l e c t r i c a l E n g i n e e r i n g a tP u r d u e U n i v e r s i t y . H i s r e s e a r c h i n t e r e s t s i n c l u d ek n o w l e d g e r e p r e s e n t a t i o n a n d o r g a n i z a t i o n , c o m -m o n - s e n s e r e a s o n i n g , l e a r n i n g , a n d e x p e r t s y s t e mi m p l e m e n t a t i o n .

K i n g - S u n Fu ( S ' 5 6 - M ' 5 9 - S M ' 6 9 - F ' 7 1 ) w a s b o r ni n N a n ki n g , C hi n a , i n 1 9 3 0 . He r e c e i v e d t h e B . S .d e g r e e f r o m t h e N a t i o n a l T a i w a n U n i v e r s i t y ,T a i p e i , i n 1 9 5 3 , t h e M . A . s . c . d e g r e e f r o m t h eU n i v e r s i t y o f T o r o n t o , O n t . , C a n a d a , i n 1 9 5 5 , a n dt h e P h . D . d e g r e e f r o m t h e U n i v e r s i t y o f I l l i n o i s ,__r b a n a , a l l i n e l e c t r i c a l e n g i n e e r i n g .F r o m 1 9 5 9 t o 1 9 6 0 h e w a s a R e s e a r c h E n g i n e e rw i t h t h e B o e i n g A i r c r a f t C o r p o r a t i o n . F r o m 1 9 6 6t o 1 9 6 3 h e w a s a n A s s i s t a n t P r o f e s s o r , f r o m 1 9 6 3t o 1 9 6 6 a n A s s o c i a t e P r o f e s s o r , a n d f r o m 1 9 6 6 a n d1 9 7 5 u n t i l h i s d e a t h h e w a s a P r o f e s s o r a n d a G o s s D i s t i n g u i s h e d P r o f e s s o ro f E n g i n e e r i n g , r e s p e c t i v e l y , a l l a t t h e S c h o o l o f E l e c t r i c a l E n g i n e e r i n g ,P u r d u e U n i v e r s i t y , W e s t L a f a y e t t e , I N . He w a s t h e a u t h o r o r c o - a u t h o r o fo v e r 2 0 0 p u b l i c a t i o n s .D r . F u w a s a m e m b e r o f S i g m a X i , T a u B e t a P i , E t a K a p p a N u , t h eA S E E , P a t t e r n R e c o g n i t i o n S o c i e t y , N a t i o n a l A c a d a m y o f E n l g i n e e r i n g , a n dA c a d e m i a S i n i c a . He w a s t h e r e c i p i e n t o f t h e P u r d u e U n i v e r s i t y H e r b e r tMcCoy A w a r d , 1 9 7 6 ; t h e IEEE C o m p u t e r S o c i e t y Ou t st a nd i ng P ap e rA w a r d , 1 9 7 7 ; t h e ASEE S e n i o r R e s e a r c h A w a r d , 1 9 8 1 ; IEEE E d u c a t i o nM e d a l , 1 9 8 2 ; t h e P u r d u e U n i v e r s i t y , S i g m a X i F a c u l t y R e s e a r c h A w a r d ,1 9 8 2 ; a n d t h e A F I P S H a r r y G o o d e M e m o r i a l A w a r d , 1 9 8 2 .

5 9 8