System 6.0 Search Development

download System 6.0 Search Development

of 86

Transcript of System 6.0 Search Development

  • 5/11/2018 System 6.0 Search Development

    1/86

    E M C D o c u m e n t u m

    S e a r c h V e r s i o n 6

    D e v e l o p m e n t G u i d e P / N 3 0 0 0 0 5 2 1 7

    E M C C o r p o r a t i o n

    C o r p o r a t e H e a d q u a r t e r s :

    H o p k i n t o n , M A 0 1 7 4 8 9 1 0 3

    1 5 0 8 4 3 5 1 0 0 0

    w w w . E M C . c o m

  • 5/11/2018 System 6.0 Search Development

    2/86

    C o p y r i g h t 2 0 0 6 2 0 0 7 E M C C o r p o r a t i o n . A l l r i g h t s r e s e r v e d .

    P u b l i s h e d J u l y 2 0 0 7

    E M C b e l i e v e s t h e i n f o r m a t i o n i n t h i s p u b l i c a t i o n i s a c c u r a t e a s o f i t s p u b l i c a t i o n d a t e . T h e i n f o r m a t i o n i s s u b j e c t t o c h a n g e w i t h o u t n o t i c e .

    T H E I N F O R M A T I O N I N T H I S P U B L I C A T I O N I S P R O V I D E D A S I S . E M C C O R P O R A T I O N M A K E S N O R E P R E S E N T A T I O N S O R W A R R A N T I E S O F A N Y K I N D W I T H R E S P E C T T O T H E I N F O R M A T I O N I N T H I S P U B L I C A T I O N , A N D S P E C I F I C A L L Y D I S C L A I M S I M P L I E D W A R R A N T I E S O F M E R C H A N T A B I L I T Y O R F I T N E S S F O R A P A R T I C U L A R P U R P O S E .

    U s e , c o p y i n g , a n d d i s t r i b u t i o n o f a n y E M C s o f t w a r e d e s c r i b e d i n t h i s p u b l i c a t i o n r e q u i r e s a n a p p l i c a b l e s o f t w a r e l i c e n s e .

    F o r t h e m o s t u p t o d a t e l i s t i n g o f E M C p r o d u c t n a m e s , s e e E M C C o r p o r a t i o n T r a d e m a r k s o n E M C . c o m .

    A l l o t h e r t r a d e m a r k s u s e d h e r e i n a r e t h e p r o p e r t y o f t h e i r r e s p e c t i v e o w n e r s .

  • 5/11/2018 System 6.0 Search Development

    3/86

    T a b l e o f C o n t e n t s

    P r e f a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    C h a p t e r 1 F u l l T e x t I n d e x i n g O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9I n t r o d u c i n g f u l l t e x t i n d e x i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

    I n d e x i n g b y f o r m a t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0H o w c o n t e n t fi l e s i z e d e t e r m i n e s w h a t i s i n d e x e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1W h i c h l a n g u a g e s a r e i n d e x e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1H o w p a r t i c u l a r c h a r a c t e r s a r e h a n d l e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1C h o o s i n g p a r t s o f s p e e c h t o i n d e x ( g r a m m a t i c a l n o r m a l i z a t i o n ) . . . . . . . . . . . . . . . . . . . . . . 1 2

    O v e r v i e w o f t h e i n d e x i n g p r o c e s s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4W h a t c o m p r i s e s a f u l l t e x t i n d e x i n g i n s t a l l a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5C o n t e n t S e r v e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5I n d e x a g e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5I n d e x s e r v e r a n d f u l l t e x t i n d e x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6T h e f u l l t e x t i n d e x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7R e p o s i t o r y o b j e c t s a n d p r o p e r t i e s s u p p o r t i n g f u l l t e x t i n d e x i n g . . . . . . . . . . . . . . . . . . . . . . . 1 7

    I n d e x i n g o f o b j e c t a t t r i b u t e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7Q u e r y i n g a f u l l t e x t i n d e x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8

    C h a p t e r 2 D Q L Q u e r i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9D a t a b a s e , f u l l t e x t , a n d s t a n d a r d s e a r c h e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9

    D e c i d i n g w h e t h e r t o u s e a f u l l t e x t o r a d a t a b a s e q u e r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0C o n t e n t S e r v e r s e c u r i t y a n d q u e r i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1F T D Q L s y n t a x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1F T D Q L h i n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1H o w f u l l t e x t i n d e x q u e r i e s a r e p r o c e s s e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2W h a t c a u s e s i n c o n s i s t e n t r e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4

    I n d e x i n g l a t e n c y i s s u e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4G r a m m a t i c a l n o r m a l i z a t i o n d i f f e r e n c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4D i f f e r e n c e s i n d u p l i c a t e h a n d l i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5Q u e r y t i m e o u t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5C a s e s e n s i t i v i t y d i f f e r e n c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5

    W h a t c a u s e s q u e r y t i m e o u t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6S e a r c h i n g o n p r o p e r t y v a l u e s u s i n g w i l d c a r d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6U s i n g a w i l d c a r d i n a S E A R C H D O C U M E N T C O N T A I N S c l a u s e . . . . . . . . . . . . . . . . . . . 2 7I n c l u d i n g t h e F O L D E R ( D E S C E N D ) c l a u s e i n a f u l l t e x t q u e r y . . . . . . . . . . . . . . . . . . . . . . . . . 2 7S p e c i f y i n g a d a t e r a n g e i n t h e q u e r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8S e a r c h i n g o n p r o p e r t y v a l u e s t h a t a r e t o o c o m m o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9A d d i n g s p e c i a l c h a r a c t e r s t o a q u e r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9S e a r c h i n g o n a g r a m m a t i c a l l y n o r m a l i z e d s t r i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0I n c l u d i n g c o u n t ( * ) i n t h e s e l e c t e d v a l u e s l i s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1

    C h a p t e r 3 C o n fi g u r i n g a n d C u s t o m i z i n g t h e W e b t o p S e a r c h U I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 3

  • 5/11/2018 System 6.0 Search Development

    4/86

    T a b l e o f C o n t e n t s

    C o n fi g u r a t i o n a n d c u s t o m i z a t i o n p o i n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3U n d e r s t a n d i n g s e a r c h i n W D K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5C o n fi g u r i n g s e a r c h c o n t r o l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6C o n fi g u r i n g b a s i c s e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7C o n fi g u r i n g a d v a n c e d s e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8

    C o n fi g u r i n g s e a r c h r e s u l t s a n d t u n i n g p e r f o r m a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0M a k i n g c u s t o m a t t r i b u t e s a v a i l a b l e i n s e a r c h r e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2C u s t o m i z i n g s e a r c h i n W e b t o p a p p l i c a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3

    M o d i f y i n g t h e s e a r c h J S P p a g e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3M o d i f y i n g t h e s e a r c h c o m p o n e n t q u e r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6H i d i n g t h e c u s t o m i z a t i o n f r o m q u e r y e d i t i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9

    P r o g r a m m a t i c s e a r c h v a l u e a s s i s t a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0

    C h a p t e r 4 C u s t o m i z i n g S e a r c h w i t h D F C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3C o n fi g u r i n g s e a r c h i n d f c . p r o p e r t i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3C o n fi g u r i n g s e a r c h r e l e v a n c y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4

    G e n e r a t i n g q u e r i e s i n D F C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7S i m p l e q u e r i e s i n D F C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7D F C q u e r y b u i l d e r A P I s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8

    C r e a t i n g D F C s e a r c h a p p l i c a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0H e l l o W o r l d s e a r c h a p p l i c a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0S a m p l e D F C a p p l i c a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3

    U s i n g t h e v i s i t o r A P I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5U s i n g a D Q L h i n t s fi l e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7

    H i n t s fi l e l o c a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7H i n t s fi l e e l e m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8H i n t s fi l e e x a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 9D Q L h i n t s a n d W e b t o p s e a r c h c o m p o n e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1

    O p t i m i z i n g q u e r y b a t c h s i z e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3

    C h a p t e r 5 T r o u b l e s h o o t i n g Q u e r i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5S p e e d i n g u p q u e r i e s i n W D K b a s e d a p p l i c a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5T e s t i n g , l o g g i n g , a n d d e b u g g i n g q u e r i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 6T r a c i n g f u l l t e x t q u e r y o p e r a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7V i e w i n g t h e q u e r y s m a r t l i s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7

    A p p e n d i x A D Q L H i n t s F i l e D T D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 9

    A p p e n d i x B D F C S e a r c h S e r v i c e A P I O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1

    4 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    5/86

    T a b l e o f C o n t e n t s

    L i s t o f F i g u r e s

    F i g u r e 1 . F T D Q L q u e r y a l g o r i t h m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3F i g u r e 2 . C o n fi g u r a t i o n a n d c u s t o m i z a t i o n p o i n t s i n W e b t o p a p p l i c a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4F i g u r e 3 . S e a r c h s i z e c u s t o m d r o p d o w n l i s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7F i g u r e 4 . L i m i t i n g t h e s e l e c t a b l e t y p e s a n d s u b t y p e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9F i g u r e 5 . L i m i t i n g t h e s e l e c t a b l e t y p e s w i t h o u t s u b t y p e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9F i g u r e 6 . C o n d i t i o n a l v a l u e a s s i s t a n c e U I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0F i g u r e 7 . A t t r i b u t e s e l e c t i o n d r o p d o w n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4F i g u r e 8 . S p e c i fi c a t t r i b u t e s a s s e a r c h c r i t e r i a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5

    F i g u r e 9 . C u s t o m a t t r i b u t e s a s s e a r c h c r i t e r i a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5F i g u r e 1 0 . F u l l t e x t s e a r c h b o x r e m o v e d f r o m U I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6F i g u r e 1 1 . S i m p l e s e a r c h w i t h o u t a d d e d c l a u s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8F i g u r e 1 2 . S i m p l e s e a r c h w i t h a d d e d c l a u s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8F i g u r e 1 3 . A s y n c h r o n o u s q u e r y p r o c e s s i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 9F i g u r e 1 4 . S i m p l e D F C s e a r c h U I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3F i g u r e 1 5 . S i m p l e D F C s e a r c h a p p l i c a t i o n s t r u c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 4F i g u r e 1 6 . D a t a m o d e l . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 5

  • 5/11/2018 System 6.0 Search Development

    6/86

    T a b l e o f C o n t e n t s

    L i s t o f T a b l e s

    T a b l e 1 . R e l e v a n c y r a n k i n g c o n fi g u r a t i o n e l e m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5T a b l e 2 . D Q L h i n t s fi l e e l e m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8

    6 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    7/86

    P r e f a c e

    T h i s d o c u m e n t s u m m a r i z e s i n f o r m a t i o n o f i n t e r e s t t o d e v e l o p e r s c u s t o m i z i n g s e a r c h i n t h e i r

    a p p l i c a t i o n s . W h e n y o u c u s t o m i z e s e a r c h i n a W D K b a s e d a p p l i c a t i o n o r a w e b s e r v i c e , y o u o f t e n

    n e e d i n f o r m a t i o n a b o u t t o p i c s i n s e v e r a l d i f f e r e n t p r o d u c t s : C o n t e n t S e r v e r , i n d e x s e r v e r , D Q L , D F C ,

    a n d W D K . C o n s e q u e n t l y , t h e i n f o r m a t i o n i n t h i s d o c u m e n t i s d r a w n f r o m t h e f o l l o w i n g s o u r c e s :

    C o n t e n t S e r v e r A d m i n i s t r a t i o n G u i d e , C o n t e n t S e r v e r D Q L R e f e r e n c e M a n u a l , D F C j a v a d o c s , W D K

    D e v e l o p m e n t G u i d e , W D K R e f e r e n c e G u i d e , a n d i n t e r n a l i n f o r m a t i o n s o u r c e s .

    W h e n y o u b e c o m e f a m i l i a r w i t h t h e C o n t e n t S e r v e r d a t a m o d e l a n d i n d e x i n g , y o u c a n d e s i g n q u e r i e s

    a n d s e a r c h c u s t o m i z a t i o n s a n d t r o u b l e s h o o t q u e r y p e r f o r m a n c e . W e b D e v e l o p m e n t K i t ( W D K ) a n d W e b S e r v i c e s F r a m e w o r k ( W S F ) p r o v i d e y o u w i t h t o o l s t o d i s p l a y q u e r y g e n e r a t i n g p a g e s a n d

    r e s u l t s p a g e s i n W e b a c c e s s i b l e a p p l i c a t i o n s . D F C a l l o w s y o u t o a c c e s s q u e r y b u i l d i n g f u n c t i o n a l i t y

    w i t h i n a c l i e n t a p p l i c a t i o n . D Q L a l l o w s y o u t o c o n s t r u c t q u e r i e s t o u s e w i t h i n y o u r W D K , W S F ,

    o r D F C b a s e d a p p l i c a t i o n .

    T h e f o l l o w i n g c h a p t e r s d i s c u s s v a r i o u s t o o l s a n d p r o c e d u r e s t h a t w i l l h e l p y o u d e v e l o p o r t u n e

    s e a r c h c u s t o m i z a t i o n s :

    C h a p t e r 1 , F u l l T e x t I n d e x i n g O v e r v i e w

    C h a p t e r 3 , C o n fi g u r i n g a n d C u s t o m i z i n g t h e W e b t o p S e a r c h U I

    C h a p t e r 4 , C u s t o m i z i n g S e a r c h w i t h D F C

    C h a p t e r 2 , D Q L Q u e r i e s C h a p t e r 5 , T r o u b l e s h o o t i n g Q u e r i e s

    T h i s d o c u m e n t d o e s n o t c o v e r a d m i n i s t r a t i o n d e t a i l s s u c h a s h o w t o s e t u p a n d c o n fi g u r e a n i n d e x

    s e r v e r o r E C I S s e r v e r . F o r i n f o r m a t i o n o n i n s t a l l i n g a n d c o n fi g u r i n g a n i n d e x s e r v e r a n d i n d e x a g e n t ,

    r e f e r t o C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e . F o r i n f o r m a t i o n o n m a i n t a i n i n g i n d e x e s ,

    r e f e r t o C o n t e n t S e r v e r F u l l T e x t I n d e x i n g S y s t e m I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e . F o r c o m p l e t e

    i n f o r m a t i o n o n D Q L a n d D Q L h i n t s , r e f e r t o C o n t e n t S e r v e r D Q L R e f e r e n c e M a n u a l . .

    T h i s d o c u m e n t a l s o d o e s n o t c o v e r h o w t o i n s t a l l E C I a d a p t e r s o r h o w t o d e v e l o p a n E C I S s e r v e r

    a d a p t e r , b e c a u s e t h a t i n f o r m a t i o n d o e s n o t s h a r e a n y a s p e c t s w i t h t h e r e m a i n d e r o f t h i s d o c u m e n t .

    F o r i n f o r m a t i o n o n d e v e l o p i n g a n E C I a d a p t e r , r e f e r t o E n t e r p r i s e C o n t e n t I n t e g r a t i o n S e r v i c e s A d a p t e r

    D e v e l o p m e n t G u i d e .

    I f y o u n e e d a s s i s t a n c e i n i m p l e m e n t i n g y o u r c u s t o m i z a t i o n s , c o n t a c t D o c u m e n t u m P r o f e s s i o n a l

    S e r v i c e s o r D o c u m e n t u m D e v e l o p e r s u p p o r t .

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 7

  • 5/11/2018 System 6.0 Search Development

    8/86

    P r e f a c e

    I n t e n d e d A u d i e n c e

    T h i s g u i d e i s d i r e c t e d t o J a v a d e v e l o p e r s w h o a r e d e v e l o p i n g c u s t o m D F C , W e b S e r v i c e s , o r

    W D K b a s e d c l i e n t s o f t h e C o n t e n t S e r v e r . T h e f o l l o w i n g s k i l l s a r e r e q u i r e d f o r v a r i o u s c u s t o m i z a t i o n

    t a s k s :

    J a v a

    J S P

    X M L

    J a v a S c r i p t

    D Q L

    C o n v e n t i o n s

    T h i s m a n u a l u s e s t h e f o l l o w i n g c o n v e n t i o n s i n t h e s y n t a x d e s c r i p t i o n s a n d e x a m p l e s .

    S y n t a x c o n v e n t i o n s

    C o n v e n t i o n I d e n t i fi e s

    i t a l i c s A v a r i a b l e f o r w h i c h y o u m u s t p r o v i d e a v a l u e

    [ ] s q u a r e b r a c k e t s A n o p t i o n a l a r g u m e n t t h a t m a y b e i n c l u d e d o n l y o n c e

    { } c u r l y b r a c e s A n o p t i o n a l a r g u m e n t t h a t m a y b e i n c l u d e d m u l t i p l e t i m e s

    R e v i s i o n H i s t o r y T h e f o l l o w i n g c h a n g e s h a v e b e e n m a d e t o t h i s d o c u m e n t .

    R e v i s i o n H i s t o r y

    R e v i s i o n D a t e D e s c r i p t i o n

    J u l y 2 0 0 7 I n i t i a l p u b l i c a t i o n f o r 6 . 0

    8 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    9/86

    C h a p t e r 1

    F u l l T e x t I n d e x i n g O v e r v i e w

    T h i s c h a p t e r d e s c r i b e s t h e f u l l t e x t i n d e x i n g p r o c e s s a n d t h e s o f t w a r e c o m p o n e n t s t h a t p e r f o r m i n g

    i n d e x i n g a n d s e a r c h i n g , a s w e l l a s t h e i n d e x e s t h e m s e l v e s . F o r m o r e i n f o r m a t i o n o n i n d e x r e l a t e d

    o b j e c t s a n d i n s t r u c t i o n s f o r t h e m a i n t e n a n c e o f f u l l t e x t i n d e x e s , r e f e r t o C o n t e n t S e r v e r F u l l T e x t

    I n d e x i n g S y s t e m I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e . T h i s c h a p t e r c o n t a i n s t h e f o l l o w i n g t o p i c s :

    I n t r o d u c i n g f u l l t e x t i n d e x i n g , p a g e 9

    O v e r v i e w o f t h e i n d e x i n g p r o c e s s , p a g e 1 4

    W h a t c o m p r i s e s a f u l l t e x t i n d e x i n g i n s t a l l a t i o n , p a g e 1 5

    I n d e x i n g o f o b j e c t a t t r i b u t e s , p a g e 1 7

    Q u e r y i n g a f u l l t e x t i n d e x , p a g e 1 8

    C o n t e n t S e r v e r s e c u r i t y a n d q u e r i e s , p a g e 2 1

    I n t r o d u c i n g f u l l t e x t i n d e x i n g

    A f u l l t e x t i n d e x i s a n i n d e x o n t h e p r o p e r t i e s a n d c o n t e n t fi l e s a s s o c i a t e d w i t h o b j e c t s o f S y s O b j e c t s a n d S y s O b j e c t s u b t y p e s . S e a r c h i n g t h e i n d e x a l l o w s t h e r a p i d r e t r i e v a l o f o b j e c t s w h o s e p r o p e r t i e s o r

    a s s o c i a t e d c o n t e n t fi l e s c o n t a i n t h e v a l u e s f o r w h i c h y o u a r e s e a r c h i n g .

    A l l p r o p e r t i e s o f S y s O b j e c t a n d S y s O b j e c t s u b t y p e o b j e c t s a r e i n d e x e d a u t o m a t i c a l l y . T h a t c a n n o t b e

    t u r n e d o f f .

    I f a n y i n d e x e d o b j e c t h a s a n a s s o c i a t e d c o n t e n t fi l e , t h e c o n t e n t fi l e i s a l s o i n d e x e d , i f t h e a _ f u l l _ t e x t

    p r o p e r t y o f t h e o b j e c t i s s e t t o T R U E a n d t h e f o r m a t o f t h e c o n t e n t fi l e i s i n d e x a b l e . I f t h e a _ f u l l _ t e x t

    p r o p e r t y i s s e t t o F A L S E , t h e c o n t e n t fi l e i s n o t i n d e x e d . C o n t e n t fi l e s i n a l l s t o r a g e a r e a s a r e i n d e x e d .

    I f y o u a r e u s i n g d i s t r i b u t e d c o n t e n t , a l l c o n t e n t i s c o p i e d t o t h e d i s t r i b u t e d s t o r e c o m p o n e n t o n t h e

    p r i m a r y s i t e f o r i n d e x i n g . T h e d r i v e o n w h i c h t h e p r i m a r y c o n t e n t s t o r e r e s i d e s m u s t h a v e s u f fi c i e n t

    s p a c e f o r t h e p r i m a r y c o n t e n t s t o r e p l u s t h e c o n t e n t c o p i e d f r o m r e m o t e s t o r e s f o r i n d e x i n g .

    D u r i n g C o n t e n t S e r v e r i n s t a l l a t i o n , y o u a r e a s k e d t o d e s i g n a t e t h o s e l a n g u a g e s f o r w h i c h g r a m m a t i c a l

    n o r m a l i z a t i o n i s e n a b l e d . G r a m m a t i c a l n o r m a l i z a t i o n e n s u r e s t h a t a l l f o r m s o f a w o r d a r e i n d e x e d a n d

    t h a t a s e a r c h f o r o n e f o r m o f a w o r d a l s o r e t u r n s o t h e r f o r m s o f a w o r d . C h o o s i n g p a r t s o f s p e e c h t o

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 9

  • 5/11/2018 System 6.0 Search Development

    10/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    i n d e x ( g r a m m a t i c a l n o r m a l i z a t i o n ) , p a g e 1 2 , a n d t h e C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e

    c o n t a i n a d d i t i o n a l i n f o r m a t i o n a b o u t g r a m m a t i c a l n o r m a l i z a t i o n .

    F u l l t e x t i n d e x i n g i s e n a b l e d i n t h e r e p o s i t o r y b y d e f a u l t w h e n t h e r e p o s i t o r y i s c r e a t e d o r u p g r a d e d t o

    t h i s C o n t e n t S e r v e r v e r s i o n . H o w e v e r , C o n t e n t S e r v e r i t s e l f d o e s n o t c r e a t e o r m a i n t a i n t h e f u l l t e x t

    i n d e x . Y o u m u s t i n s t a l l t h e f u l l t e x t i n d e x i n g s o f t w a r e c o m p o n e n t s , w h i c h c r e a t e a n d m a i n t a i n t h e

    i n d e x . F o r i n s t r u c t i o n s o n i n s t a l l i n g t h e s o f t w a r e a n d c r e a t i n g t h e i n d e x , r e f e r t o t h e C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e .

    P h o n e t i c s e a r c h i n g i s n o t s u p p o r t e d .

    I n d e x i n g b y f o r m a t

    P r o p e r t i e s o f t h e f o r m a t o b j e c t d e t e r m i n e w h i c h f o r m a t s a r e i n d e x a b l e a n d w h i c h c o n t e n t fi l e s i n

    i n d e x a b l e f o r m a t s a r e i n d e x e d . I f t h e v a l u e o f t h e c a n _ i n d e x p r o p e r t y o f a c o n t e n t fi l e s f o r m a t o b j e c t i s

    s e t t o T R U E , t h e c o n t e n t fi l e i s i n d e x a b l e . I f t h e p r i m a r y c o n t e n t o f a n o b j e c t i s n o t i n a n i n d e x a b l e

    f o r m a t , y o u c a n e n s u r e t h a t t h e c o n t e n t fi l e i s i n d e x e d b y c r e a t i n g a r e n d i t i o n i n a n i n d e x a b l e f o r m a t . T h e f o r m a t _ c l a s s p r o p e r t y o f t h e f o r m a t o b j e c t m a y b e s e t t o v a l u e s t h a t d e t e r m i n e w h i c h f o r m a t s

    a r e i n d e x e d :

    f t a l w a y s

    A l l r e n d i t i o n s i n f o r m a t s w h o s e f o r m a t _ c l a s s p r o p e r t y i s s e t t o f t a l w a y s a r e i n d e x e d . F o r e x a m p l e ,

    i f a d o c u m e n t h a s r e n d i t i o n s i n M i c r o s o f t W o r d a n d P D F f o r m a t s a n d t h e f o r m a t _ c l a s s p r o p e r t y

    f o r b o t h f o r m a t s i s s e t t o f t a l w a y s , b o t h r e n d i t i o n s a r e i n d e x e d .

    f t p r e f e r r e d

    I f a d o c u m e n t h a s m u l t i p l e r e n d i t i o n s i n i n d e x a b l e f o r m a t s a n d o n e i s i n a f o r m a t w h o s e

    f o r m a t _ c l a s s p r o p e r t y i s s e t t o f t p r e f e r r e d , t h e r e n d i t i o n i n t h a t f o r m a t i s i n d e x e d r a t h e r t h a n a n y

    r e n d i t i o n s i n o t h e r f o r m a t s , w i t h t h e e x c e p t i o n t h a t a n y f o r m a t s w h o s e f o r m a t _ c l a s s p r o p e r t y i s s e t t o f t a l w a y s a r e a l s o i n d e x e d . I f a d o c u m e n t h a s m o r e t h a n o n e r e n d i t i o n w h o s e f o r m a t _ c l a s s

    p r o p e r t y i s s e t t o f t p r e f e r r e d , t h e fi r s t r e n d i t i o n p r o c e s s e d f o r i n d e x i n g i s i n d e x e d a n d t h e o t h e r

    r e n d i t i o n s a r e n o t . W h i c h r e n d i t i o n i s p r o c e s s e d f o r i n d e x i n g c a n n o t b e d e t e r m i n e d i n a d v a n c e .

    I t i s r e c o m m e n d e d t h a t f o r a n y d o c u m e n t , o n l y o n e r e n d i t i o n i s i n a f o r m a t w h o s e f o r m a t _ c l a s s

    p r o p e r t y i s s e t t o f t p r e f e r r e d .

    I f a d o c u m e n t h a s r e n d i t i o n s i n f o u r d i f f e r e n t f o r m a t s , o f w h i c h t h e f o r m a t _ c l a s s o f o n e i s s e t t o

    f t p r e f e r r e d a n d t h e f o r m a t _ c l a s s o f t h e o t h e r t h r e e i s s e t t o f t a l w a y s , a l l f o u r r e n d i t i o n s a r e i n d e x e d .

    T h e r e i s n o d e f a u l t v a l u e f o r t h e f o r m a t _ c l a s s p r o p e r t y . Y o u m u s t s e t i t m a n u a l l y t o d e s i g n a t e w h e t h e r

    a f o r m a t i s a l w a y s i n d e x e d o r i s t h e p r e f e r r e d f o r m a t f o r i n d e x i n g .

    B y d e f a u l t , t h e fi r s t c o n t e n t fi l e i n a f o r m a t w h o s e c a n _ i n d e x p r o p e r t y i s s e t t o t r u e i s i n d e x e d . O t h e r

    r e n d i t i o n s o f t h e o b j e c t a r e n o t i n d e x e d . I f t h e p r i m a r y c o n t e n t o f a n o b j e c t i s n o t i n a n i n d e x a b l e f o r m a t , c r e a t e a r e n d i t i o n i n a n i n d e x a b l e f o r m a t . R e f e r t o C o n t e n t S e r v e r F u l l T e x t I n d e x i n g S y s t e m

    I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e f o r a c o m p l e t e l i s t o f i n d e x a b l e f o r m a t s .

    1 0 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    11/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    I f t h e c o n t e n t fi l e a s s o c i a t e d w i t h a S y s O b j e c t e x i s t s i n a n o n i n d e x a b l e f o r m a t , i t s p r o p e r t i e s a r e

    s t i l l i n d e x e d . T o i n d e x t h e c o n t e n t , c r e a t e a r e n d i t i o n o f t h e S y s O b j e c t i n a n i n d e x a b l e f o r m a t . U s e

    D o c u m e n t u m C o n t e n t T r a n s f o r m a t i o n S e r v i c e s o r t h i r d p a r t y c l i e n t a p p l i c a t i o n s t o c r e a t e t h e

    r e n d i t i o n .

    S o m e f o r m a t s f o u n d i n t h e a p p e n d i x a r e n o t b e r e p r e s e n t e d i n t h e r e p o s i t o r y b y a f o r m a t o b j e c t .

    T h e f o r m a t s . c v s fi l e , w h i c h i s l o c a t e d i n $ D M _ H O M E / i n s t a l l / t o o l s , c o n t a i n s a c o m p l e t e l i s t o f s u p p o r t e d m i m e _ t y p e s a n d t h e f o r m a t s w i t h w h i c h t h e y a r e a s s o c i a t e d . I f a s u p p o r t e d m i m e _ t y p e i s

    n o t r e p r e s e n t e d b y a f o r m a t o b j e c t , c r e a t e a f o r m a t o b j e c t i n t h e r e p o s i t o r y a n d m a p t h e s u p p o r t e d

    m i m e _ t y p e t o t h e f o r m a t .

    H o w c o n t e n t fi l e s i z e d e t e r m i n e s w h a t i s i n d e x e d

    A c o n t e n t fi l e c o n s i s t s o f p r o p e r t i e s , i n d e x a b l e c o n t e n t ( w o r d s ) , a n d n o n i n d e x a b l e c o n t e n t s u c h a s

    p i c t u r e s , b i n a r y c o n t e n t . I f t h e s u m o f t h e m e t a d a t a s i z e a n d i n d e x a b l e c o n t e n t s i z e i s g r e a t e r t h a n 1 0

    M B , t h e c o n t e n t a n d p r o p e r t i e s a r e n o t i n d e x e d . I f y o u a r e i n d e x i n g v e r y l a r g e fi l e s , r e f e r t o C o n t e n t

    S e r v e r F u l l T e x t I n d e x i n g S y s t e m I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e f o r i m p o r t a n t c o n fi g u r a t i o n r e c o m m e n d a t i o n s .

    W h i c h l a n g u a g e s a r e i n d e x e d

    C o n t e n t fi l e s a n d p r o p e r t i e s i n a l l s u p p o r t e d l a n g u a g e s a r e i n d e x e d b y d e f a u l t . A l l s t a n d a r d U n i c o d e

    c h a r a c t e r s e t s a r e s u p p o r t e d . N o s p e c i a l c o n fi g u r a t i o n i s n e c e s s a r y . R e f e r t o C o n t e n t S e r v e r F u l l T e x t

    I n d e x i n g S y s t e m I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e f o r a c o m p l e t e l i s t o f s u p p o r t e d l a n g u a g e s .

    T w o r i g h t t o l e f t l a n g u a g e s a r e s u p p o r t e d f o r f u l l t e x t i n d e x i n g w i t h c e r t a i n l i m i t a t i o n s : H e b r e w a n d

    A r a b i c . O t h e r r i g h t t o l e f t l a n g u a g e s c a n n o t b e i n d e x e d . F o r n o n b i n a r y f o r m a t s , o n l y l o g i c a l t e x t r e p r e s e n t a t i o n i s s u p p o r t e d ; v i s u a l t e x t r e p r e s e n t a t i o n i s n o t s u p p o r t e d . F o r t h o s e b i n a r y f o r m a t s

    l i s t e d i n C o n t e n t S e r v e r F u l l T e x t I n d e x i n g S y s t e m I n s t a l l a t i o n a n d A d m i n i s t r a t i o n G u i d e t h a t s u p p o r t

    r i g h t t o l e f t t e x t i n t h e n a t i v e f o r m a t , s u p p o r t i s p r o v i d e d f o r i n d e x i n g H e b r e w a n d A r a b i c t e x t , w i t h

    t h e e x c e p t i o n t h a t P D F fi l e s c a n n o t b e i n d e x e d .

    H o w p a r t i c u l a r c h a r a c t e r s a r e h a n d l e d

    T h e f o l l o w i n g U n i c o d e c h a r a c t e r s a r e i n d e x e d a n d a r e s e a r c h a b l e :

    A l p h a b e t i c c h a r a c t e r s

    N u m e r i c c h a r a c t e r s

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 1 1

  • 5/11/2018 System 6.0 Search Development

    12/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    E x t e n d e r c h a r a c t e r s

    E x t e n d e r c h a r a c t e r s e x t e n d t h e v a l u e o r s h a p e o f a p r e c e d i n g a l p h a b e t i c c h a r a c t e r . T h e s e a r e

    t y p i c a l l y l e n g t h a n d i t e r a t i o n m a r k s .

    C u s t o m c h a r a c t e r s e n c l o s i n g C h i n e s e , J a p a n e s e , a n d K o r e a n l e t t e r s a n d m o n t h s

    T h e s e a r e d e r i v e d f r o m a n u m b e r o f c u s t o m c h a r a c t e r r a n g e s t h a t h a v e b i d i r e c t i o n a l p r o p e r t i e s ,

    f a l l i n g i n t h e 3 2 0 0 3 2 F F r a n g e . T h e s p e c i fi c c h a r a c t e r r a n g e s a r e :

    3 2 0 0 3 2 4 3

    3 2 6 0 3 2 7 B

    3 2 7 F 3 2 B 0

    3 2 C 0 3 2 C B

    3 2 D 0 3 2 F E

    O t h e r c h a r a c t e r s , i n c l u d i n g p u n c t u a t i o n , a c c e n t , a n d d i a c r i t i c a l m a r k s , a n d c h a r a c t e r s s u c h a s | a n d # ,

    a r e n o t i n d e x e d o r s e a r c h e d . S u c h n o n s e a r c h a b l e c h a r a c t e r s a r e r e m o v e d f r o m t h e i n d e x e d t e x t a n d t r e a t e d a s i f t h e y a r e b l a n k s p a c e s . T h e i n d e x s e r v e r t r e a t s t h e f o l l o w i n g c h a r a c t e r s a s w h i t e s p a c e :

    ! @ # $ % ^ _ , . & : ( ) + = <

    W h e n t h e s e c h a r a c t e r s a p p e a r i n i n d e x a b l e c o n t e n t , t h e y a r e r e p l a c e d b y w h i t e s p a c e . F o r e x a m p l e ,

    w h e n t h e e m a i l a d d r e s s M y N a m e @ c o m p a n y . c o m i s i n d e x e d , i t a p p e a r s a s a s M y N a m e c o m p a n y

    c o m i n t h e i n d e x . T h e t e x t i s t r e a t e d a s t h r e e w o r d s . D o c u m e n t s r e t u r n e d b y a s e a r c h f o r

    M y N a m e @ c o m p a n y . c o m a r e t r e a t e d a s i f t h e y c o n t a i n t h e w o r d s M y N a m e c o m p a n y c o m .

    I f a s p e c i a l c h a r a c t e r i s i n c l u d e d i n a q u e r y , i t i s r e m o v e d . F o r e x a m p l e , q u e r y i n g o n R i c h a r d + D o d d

    w o u l d r e t u r n a d o c u m e n t c o n t a i n i n g t h e t e x t R i c h a r d = D o d d b e c a u s e t h e + a n d = s i g n s a r e b o t h

    r e p l a c e d b y a b l a n k s p a c e . I f a s e a r c h t e r m i n c l u d e s a n a c c e n t o r d i a c r i t i c a l m a r k , t h e s e a r c h r e t u r n s a l l

    m a t c h i n g w o r d s w i t h o r w i t h o u t t h e a c c e n t o r d i a c r i t i c a l m a r k .

    C h o o s i n g p a r t s o f s p e e c h t o i n d e x ( g r a m m a t i c a l n o r m a l i z a t i o n )

    T h e f u l l t e x t e n g i n e c a n p e r f o r m g r a m m a t i c a l n o r m a l i z a t i o n , a l s o c a l l e d l e m m a t i z a t i o n , w h i l e

    i n d e x i n g a n d f o r s p e c i fi c q u e r i e s . W h e n y o u i n s t a l l t h e f u l l t e x t c o m p o n e n t s , y o u c a n d e s i g n a t e

    t h e p a r t s o f s p e e c h t o b e n o r m a l i z e d . F o r e x a m p l e , a s e a r c h f o r c a r s a l s o r e t u r n s c a r i f n o u n s

    a r e n o r m a l i z e d .

    T h e f o l l o w i n g c o m b i n a t i o n s o f p a r t s o f s p e e c h c a n b e n o r m a l i z e d :

    N o u n s

    N o u n s a n d a d j e c t i v e s

    1 2 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    13/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    N o u n s , a d j e c t i v e s , a n d v e r b s

    N o u n s a n d v e r b s

    I f y o u c h o o s e t o i n s t a l l g r a m m a t i c a l n o r m a l i z a t i o n , y o u c a n t h e n c h o o s e w h e t h e r t o n o r m a l i z e

    n o u n s , v e r b s , a d j e c t i v e s , o r c o m b i n a t i o n s o f t h e s e . T h e c h o i c e a p p l i e s t o b o t h i n d e x i n g a n d q u e r y i n g

    n o r m a l i z a t i o n o p e r a t i o n s . F o r e x a m p l e , i f y o u c h o s e t o n o r m a l i z e n o u n s a n d v e r b s , t h e f u l l t e x t s y s t e m

    w i l l n o r m a l i z e n o u n s a n d v e r b s d u r i n g i n d e x i n g a n d w h i l e p r o c e s s i n g q u e r y s e a r c h c o n d i t i o n s . T h e d e f a u l t c h o i c e d u r i n g i n s t a l l a t i o n , r e c o m m e n d e d f o r b e t t e r p e r f o r m a n c e a n d d i s k s p a c e u s a g e ,

    i s t o n o r m a l i z e o n l y n o u n s .

    I n t e r n a l l y , w i t h i n t h e i n d e x , n o r m a l i z e d e n t r i e s a r e s t o r e d s e p a r a t e l y f r o m t h e e x a c t l y m a t c h i n g

    e n t r i e s . W h e n a d o c u m e n t i s i n d e x e d u n d e r g r a m m a t i c a l n o r m a l i z a t i o n , i t w i l l h a v e e n t r i e s i n b o t h

    p o r t i o n s o f t h e i n d e x . W h e n a g r a m m a t i c a l l y n o r m a l i z e d s e a r c h i s c o n d u c t e d , t h e s e a r c h i s c o n d u c t e d

    a g a i n s t t h e n o r m a l i z e d e n t r i e s . I f a s e a r c h i s c o n d u c t e d w i t h g r a m m a t i c a l n o r m a l i z a t i o n t u r n e d o f f ,

    t h e s e a r c h i s c o n d u c t e d a g a i n s t t h e p o r t i o n o f t h e i n d e x c o n t a i n i n g t h e e x a c t l y m a t c h i n g e n t r i e s .

    T h e f u l l t e x t e n g i n e u s e s r e d u c t i v e g r a m m a t i c a l n o r m a l i z a t i o n f o r b o t h i n d e x i n g a n d q u e r y

    n o r m a l i z a t i o n . F o r e x a m p l e , s u p p o s e a d o c u m e n t i s s u b m i t t e d f o r i n d e x i n g t h a t c o n t a i n s t h e n o u n

    c a t s . T h e w o r d i s r e d u c e d t o i t s g r a m m a t i c a l b a s e , c a t f o r i n d e x i n g p u r p o s e s . W h e n i n d e x i n g i s

    c o m p l e t e , t h e d o c u m e n t h a s e n t r i e s i n t h e i n d e x f o r c a t a s w e l l a s c a t s .

    S i m i l a r r e d u c t i v e g r a m m a t i c a l n o r m a l i z a t i o n i s p e r f o r m e d o n t e r m s d u r i n g s e a r c h e s . F o r e x a m p l e ,

    i f a s e a r c h i s c o n d u c t e d o n c a t s , t h e t e r m i n t h e q u e r y i s r e d u c e d t o i t s g r a m m a t i c a l b a s e b e f o r e

    t h e i n d e x i s s e a r c h e d f o r a m a t c h . T o i l l u s t r a t e , s u p p o s e a u s e r i s s u e s t h e f o l l o w i n g q u e r y t o fi n d

    d o c u m e n t s c o n t a i n i n g c a t s :

    S E L E C T r _ o b j e c t _ i d , o w n e r _ n a m e F R O M d m _ d o c u m e n t S E A R C H D O C U M E N T U M C O N T A I N S ' c a t s '

    T h e f u l l t e x t e n g i n e g r a m m a t i c a l l y n o r m a l i z e s c a t s b e f o r e c o n d u c t i n g t h e s e a r c h a n d s e a r c h e s t h e

    i n d e x f o r a n y n o r m a l i z e d e n t r i e s t h a t c o n t a i n c a t . A s a c o n s e q u e n c e o f t h i s n o r m a l i z a t i o n f o r i n d e x i n g

    a n d s e a r c h i n g , t h e q u e r y r e t u r n s d o c u m e n t s t h a t c o n t a i n c a t a s w e l l a s t h o s e t h a t c o n t a i n c a t s .

    N o t e : F o r i n f o r m a t i o n o n t h e e f f e c t s o f g r a m m a t i c a l n o r m a l i z a t i o n o n s e a r c h r e s u l t s , r e f e r t o S e a r c h i n g o n a g r a m m a t i c a l l y n o r m a l i z e d s t r i n g , p a g e 3 0.

    G r a m m a t i c a l n o r m a l i z a t i o n i s e n a b l e d a u t o m a t i c a l l y f o r C h i n e s e , J a p a n e s e , a n d K o r e a n . G r a m m a t i c a l

    n o r m a l i z a t i o n c a n b e o p t i o n a l l y e n a b l e d f o r t h e f o l l o w i n g l a n g u a g e s :

    G e r m a n

    E n g l i s h

    S p a n i s h

    F r e n c h

    H u n g a r i a n

    I t a l i a n

    N o r w e g i a n

    P o l i s h

    P o r t u g u e s e

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 1 3

  • 5/11/2018 System 6.0 Search Development

    14/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    R u s s i a n

    O v e r v i e w o f t h e i n d e x i n g p r o c e s s

    F u l l t e x t i n d e x i n g i s c o n t r o l l e d b y t h r e e s o f t w a r e c o m p o n e n t s :

    C o n t e n t S e r v e r m a n a g e s t h e o b j e c t s i n a r e p o s i t o r y , g e n e r a t e s t h e e v e n t s t h a t t r i g g e r f u l l t e x t

    i n d e x i n g o p e r a t i o n s , q u e r i e s t h e f u l l t e x t i n d e x e s , a n d r e t u r n s q u e r y r e s u l t s t o c l i e n t a p p l i c a t i o n s .

    T h e C o n t e n t S e r v e r u s e s a q u e r y p l u g i n t o s e n d f u l l t e x t q u e r i e s t o t h e i n d e x s e r v e r .

    T h e i n d e x a g e n t p r o c e s s e s i n d e x q u e u e i t e m s g e n e r a t e d b y C o n t e n t S e r v e r a n d p r e p a r e s

    S y s O b j e c t s f o r i n d e x i n g .

    T h e i n d e x s e r v e r c r e a t e s f u l l t e x t i n d e x e s a n d r e s p o n d s t o f u l l t e x t q u e r i e s f r o m C o n t e n t S e r v e r .

    T h e C o n t e n t S e r v e r I n s t a l l a t i o n G u i d e c o n t a i n s i n f o r m a t i o n o n i n s t a l l i n g C o n t e n t S e r v e r . T h e C o n t e n t

    S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e c o n t a i n s i n f o r m a t i o n o n i n s t a l l i n g t h e i n d e x a g e n t a n d

    i n d e x s e r v e r .

    T h e i n d e x i n g p r o c e s s i s :

    1 . A S a v e , C h e c k i n , D e s t r o y , R e a d o n l y s a v e , o r M o v e C o n t e n t o p e r a t i o n i s p e r f o r m e d o n a S y s O b j e c t

    i n t h e r e p o s i t o r y .

    2 . T h e e v e n t g e n e r a t e s a q u e u e i t e m .

    3 . T h e q u e u e i t e m i s s e n t t o t h e f u l l t e x t u s e r s w o r k q u e u e .

    T h e f u l l t e x t u s e r , d m _ f u l l t e x t _ i n d e x _ u s e r , i s a S u p e r u s e r c r e a t e d w h e n a r e p o s i t o r y i s c r e a t e d

    o r w h e n a n e x i s t i n g r e p o s i t o r y i s u p g r a d e d .

    4 . T h e i n d e x a g e n t a c q u i r e s t h e q u e u e i t e m .

    5 . T h e i n d e x a g e n t r e t r i e v e s t h e o b j e c t a s s o c i a t e d w i t h t h e q u e u e i t e m f r o m t h e r e p o s i t o r y a n d , u s i n g i t s i n d e x p l u g i n , c r e a t e s a D F T X M L r e p r e s e n t a t i o n o f t h e o b j e c t t h a t c a n b e u n d e r s t o o d

    b y t h e i n d e x s e r v e r .

    D F T X M L i s a n X M L f o r m a t t h a t c o n t a i n s t h e o b j e c t s p r o p e r t i e s a n d t h e l o c a t i o n o f t h e o b j e c t s

    c o n t e n t fi l e , i f a n y . I f y o u a r e u s i n g d i s t r i b u t e d c o n t e n t a n d a c o n t e n t fi l e i s l o c a t e d a t a r e m o t e

    c o m p o n e n t o f t h e d i s t r i b u t e d s t o r e , t h e c o n t e n t fi l e i s c o p i e d t o t h e d i s t r i b u t e d s t o r e c o m p o n e n t

    l o c a t e d a t t h e p r i m a r y s i t e .

    6 . T h e D F T X M L r e p r e s e n t a t i o n o f t h e o b j e c t i s s e n t t o t h e i n d e x s e r v e r .

    7 . T h e i n d e x s e r v e r r e t r i e v e s t h e c o n t e n t fi l e , i f a n y , a n d c r e a t e s i t s o w n r e p r e s e n t a t i o n o f t h e c o n t e n t

    fi l e a n d p r o p e r t i e s , c a l l e d F I X M L .

    8 . T h e i n d e x s e r v e r n o t i fi e s t h e i n d e x a g e n t t h a t t h e F I X M L i s c r e a t e d a n d t h e o b j e c t w i l l b e i n d e x e d .

    9 . T h e i n d e x a g e n t d e s t r o y s t h e q u e u e i t e m f o r t h e o b j e c t .

    1 0 . T h e i n d e x s e r v e r i n d e x e s t h e c o n t e n t fi l e a n d i t s p r o p e r t i e s .

    1 4 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    15/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    T h e o b j e c t i s n o w s e a r c h a b l e , b u t n o t e t h a t t h e i n d e x s e r v e r d o e s n o t p r o v i d e a n y i n d i c a t i o n

    t h a t a n o b j e c t i s s e a r c h a b l e .

    T h e f u l l t e x t i n d e x i s u p d a t e d o n a c o n t i n u o u s b a s i s , p r o v i d e d t h a t a l l o f t h e s o f t w a r e c o m p o n e n t s

    a r e r u n n i n g . N o s p e c i a l a d m i n i s t r a t i v e t a s k s m u s t b e p e r f o r m e d t o e n s u r e t h a t t h e i n d e x i s u p d a t e d

    a n d c u r r e n t .

    W h a t c o m p r i s e s a f u l l t e x t i n d e x i n g i n s t a l l a t i o n

    A f u l l t e x t i n d e x i n g i n s t a l l a t i o n c o n s i s t s o f t h e s o f t w a r e c o m p o n e n t s ( C o n t e n t S e r v e r , t h e i n d e x a g e n t ,

    a n d t h e i n d e x s e r v e r ) , t h e f u l l t e x t i n d e x , t h e r e p o s i t o r y o b j e c t s r e q u i r e d t o s u p p o r t t h e s o f t w a r e a n d

    t h e i n d e x i n g p r o c e s s , a n d i n i t i a l i z a t i o n fi l e s a n d i n i t i a l i z a t i o n fi l e p a r a m e t e r s t h a t s u p p o r t f u l l t e x t

    i n d e x i n g .

    C o n t e n t S e r v e r

    T h e C o n t e n t S e r v e r g e n e r a t e s q u e u e i t e m s t h a t a r e r e a d b y t h e i n d e x a g e n t , i s s u e s q u e r i e s t o t h e i n d e x

    s e r v e r , a n d r e t u r n s q u e r y r e s u l t s t o c l i e n t a p p l i c a t i o n s . T h e C o n t e n t S e r v e r u s e s a q u e r y p l u g i n t o

    t r a n s l a t e n a t i v e D o c u m e n t u m f u l l t e x t q u e r i e s t o t h e i n d e x s e r v e r s q u e r y l a n g u a g e .

    I n d e x a g e n t

    T h e i n d e x a g e n t i s a m u l t i t h r e a d e d J a v a a p p l i c a t i o n r u n n i n g i n t h e A p a c h e T o m c a t s e r v l e t c o n t a i n e r . I t

    i s i n s t a l l e d o n t h e C o n t e n t S e r v e r h o s t o r a s e p a r a t e h o s t .

    A n i n d e x a g e n t m a y r u n i n o n e o f s e v e r a l o p e r a t i o n a l m o d e s :

    N o r m a l m o d e i s f o r e v e n t d r i v e n i n d e x i n g o p e r a t i o n s .

    A n i n d e x a g e n t a s s o c i a t e d w i t h a n e w r e p o s i t o r y i s a u t o m a t i c a l l y c r e a t e d i n n o r m a l m o d e . I n

    n o r m a l m o d e , t h e i n d e x a g e n t p r o c e s s i n d e x q u e u e i t e m s a n d p r e p a r e s t h e S y s O b j e c t s a s s o c i a t e d

    w i t h t h e q u e u e i t e m s f o r i n d e x i n g .

    M i g r a t i o n m o d e i s f o r c r e a t i n g i n d e x e s f o r e x i s t i n g c o n t e n t i n a n u p g r a d e d 5 . 3 o r 6 r e p o s i t o r y .

    I n m i g r a t i o n m o d e , t h e i n d e x a g e n t p r o c e s s e s a l l S y s O b j e c t s i n a r e p o s i t o r y s e q u e n t i a l l y i n

    r _ o b j e c t _ i d o r d e r a n d p r e p a r e s t h e m f o r i n d e x i n g . A s i n g l e q u e u e i t e m , t h e h i g h w a t e r m a r k

    q u e u e i t e m , i s u s e d t o m a r k t h e i n d e x a g e n t s p r o g r e s s i n t h e r e p o s i t o r y .

    F o r c o m p l e t e i n f o r m a t i o n o n r u n n i n g t h e i n d e x a g e n t i n m i g r a t i o n m o d e a n d c r e a t i n g n e w

    i n d e x e s , r e f e r t o t h e C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e .

    E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e 1 5

  • 5/11/2018 System 6.0 Search Development

    16/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    F i l e m o d e i s u s e d t o s u b m i t a l i s t o f o b j e c t s I D s t o t h e i n d e x a g e n t w h e n a n e w i n d e x i s c r e a t e d a n d

    i n d e x v e r i fi c a t i o n d e t e r m i n e s w h i c h o b j e c t s a r e m i s s i n g f r o m t h e i n d e x .

    B e c a u s e fi l e m o d e i s u s e d f o l l o w i n g a m i g r a t i o n , i t s u s a g e i s d e s c r i b e d i n t h e C o n t e n t S e r v e r

    F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e .

    A n i n d e x a g e n t i n n o r m a l m o d e i s r e p r e s e n t e d b y a n f t i n d e x a g e n t c o n fi g o b j e c t . T h e p r o p e r t i e s o f t h e

    f t i n d e x a g e n t c o n fi g o b j e c t p r i m a r i l y r e c o r d s t a t u s i n f o r m a t i o n a b o u t t h e i n d e x a g e n t , i n c l u d i n g t h e m o d e i n w h i c h t h e i n d e x a g e n t i s r u n n i n g a n d w h e n t h e i n d e x a g e n t b e g a n p r o c e s s i n g q u e u e i t e m s .

    T h e p r o p e r t i e s a l s o r e c o r d c o n fi g u r a t i o n i n f o r m a t i o n a b o u t t h e i n d e x a g e n t , s u c h a s t h e n u m b e r o f

    q u e u e i t e m s p r o c e s s e d i n a s i n g l e b a t c h , t h e n u m b e r o f e x p o r t e r t h r e a d s , a n d t h e t i m e i n t e r v a l a t

    w h i c h t h e i n d e x a g e n t p o l l s t h e r e p o s i t o r y f o r q u e u e i t e m s . T h i s i n f o r m a t i o n m a y b e v i e w e d u s i n g

    D o c u m e n t u m A d m i n i s t r a t o r . F o r m o r e i n f o r m a t i o n a b o u t t h e f t i n d e x a g e n t c o n fi g o b j e c t , r e f e r t o

    t h e E M C D o c u m e n t u m O b j e c t R e f e r e n c e M a n u a l .

    A n i n d e x a g e n t i n m i g r a t i o n m o d e i s r e p r e s e n t e d b y a n X M L c o n fi g u r a t i o n fi l e , i n d e x a g e n t . x m l , o n

    t h e i n d e x a g e n t h o s t . D o n o t m o d i f y t h e p a r a m e t e r s i n t h e c o n fi g u r a t i o n fi l e u n l e s s y o u a r e e n a b l i n g

    fi l e s t o r e m a p p i n g . ( M a p p i n g fi l e s t o r e s f o r i m p r o v e d i n d e x i n g p e r f o r m a n c e i s d o c u m e n t e d i n t h e

    C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e . )

    I n d e x s e r v e r a n d f u l l t e x t i n d e x

    T h e i n d e x s e r v e r i s a t h i r d p a r t y s e r v e r p r o d u c t t h a t c r e a t e s a n d m a i n t a i n s t h e f u l l t e x t i n d e x f o r a

    r e p o s i t o r y . T h e i n d e x s e r v e r a l s o r e c e i v e s f u l l t e x t q u e r i e s f r o m C o n t e n t S e r v e r a n d r e s p o n d s t o

    t h o s e q u e r i e s .

    T h e i n d e x s e r v e r m a y b e i n s t a l l e d o n t h e C o n t e n t S e r v e r h o s t o r o n a d i f f e r e n t h o s t . F o r p e r f o r m a n c e

    r e a s o n s , i t i s s t r o n g l y r e c o m m e n d e d t h a t t h e i n d e x s e r v e r i s i n s t a l l e d o n a d i f f e r e n t h o s t . T h e i n d e x

    s e r v e r i s i n s t a l l e d t o $ D O C U M E N T U M / f u l l t e x t ( % D O C U M E N T U M % \ f u l l t e x t o n W i n d o w s ) . F o r

    c o m p l e t e i n f o r m a t i o n o n i n s t a l l i n g a n d r u n n i n g t h e i n d e x s e r v e r , r e f e r t o t h e C o n t e n t S e r v e r F u l l T e x t I n d e x i n g I n s t a l l a t i o n G u i d e .

    T h e i n d e x s e r v e r i s r e p r e s e n t e d i n t h e r e p o s i t o r y b y t h e f t e n g i n e c o n fi g o b j e c t ( d m _ f t e n g i n e _ c o n fi g ) .

    T h e r e i s o n e i n s t a n c e o f t h e f t e n g i n e c o n fi g o b j e c t f o r e a c h f u l l t e x t i n d e x o b j e c t .

    T h e i n d e x s e r v e r r e c e i v e s D F T X M L f r o m t h e i n d e x a g e n t a n d c r e a t e s i t s o w n r e p r e s e n t a t i o n o f t h e

    S y s O b j e c t t o b e i n d e x e d , c a l l e d F I X M L . I f t h e S y s O b j e c t h a s a n a s s o c i a t e d c o n t e n t fi l e , t h e i n d e x s e r v e r

    r e t r i e v e s t h e c o n t e n t fi l e f r o m t h e r e p o s i t o r y . T h e F I X M L i s t h e n u s e d t o a d d t h e S y s O b j e c t s c o n t e n t

    a n d p r o p e r t i e s t o t h e i n d e x . I f t h e i n d e x a g e n t i n d i c a t e s t h a t a n o b j e c t w a s d e l e t e d f r o m t h e r e p o s i t o r y ,

    t h e i n d e x s e r v e r d e l e t e s t h e o b j e c t f r o m t h e i n d e x .

    T h e i n d e x s e r v e r l o g s m a y b e v i e w e d f r o m t h e J S P i n t e r f a c e d u r i n g m i g r a t i o n o r f r o m D o c u m e n t u m

    A d m i n i s t r a t o r w h e n t h e i n d e x s e r v e r i s r u n n i n g a g a i n s t a 5 . 3 o r l a t e r r e p o s i t o r y a n d t h e i n d e x a g e n t i s

    i n n o r m a l m o d e .

    1 6 E M C D o c u m e n t u m S e a r c h V e r s i o n 6 D e v e l o p m e n t G u i d e

  • 5/11/2018 System 6.0 Search Development

    17/86

    F u l l T e x t I n d e x i n g O v e r v i e w

    T h e f u l l t e x t i n d e x

    T h e f u l l t e x t i n d e x i s s t o r e d o n t h e i n d e x s e r v e r h o s t , i n t h e $ D O C U M E N T U M / d a t a / f u l l t e x t

    ( % D O C U M E N T U M \ d a t a \ f u l l t e x t o n U N I X ) , i n t w o d i r e c t o r i e s :

    fi x m l , w h i c h c o n t a i n s t h e r a w d a t a f r o m w h i c h t h e i n d e x i s c r e a t e d

    i n d e x , w h i c h c o n t a i n s t h e f u l l t e x t i n d e x i n a g r o u p o f s u b d i r e c t o r i e s

    R e p o s i t o r y o b j e c t s a n d p r o p e r t i e s s u p p o r t i n g f u l l t e x t i n d e x i n g

    F u l l t e x t i n d e x i n g i s s u p p o r t e d i n t h e r e p o s i t o r y b y o b j e c t s r e p r e s e n t i n g t h e f u l l t e x t i n d e x , t h e i n d e x

    s e r v e r , a n d t h e i n d e x a g e n t . P r o p e r t i e s o f t h e s e r v e r c o n fi g o b j e c t , S y s O b j e c t , a n d q u e u e i t e m a l s o

    s u p p o r t f u l l t e x t i n d e x i n g .

    T h e f o l l o w i n g p r o p e r t i e s o f o t h e r o b j e c t s s u p p o r t f u l l t e x t i n d e x i n g :

    a _ f u l l _ t e x t

    f u l l t e x t _ l o c a t i o n

    I n d e x i n g b y f o r m a t , p a g e 1 0 c o n t a i n s i n f o r m a t i o n o n h o w t h e s e t t i n g o f t h e f o r m a t _ c l a s s p r o p e r t y o f

    t h e f o r m a t o b j e c t c o n t r o l s w h i c h r e n d i t i o n s a r e i n d e x e d .

    T h e a _ f u l l _ t e x t p r o p e r t y i s d e fi n e d f o r t h e S y s O b j e c t t y p e a n d i s i n h e r i t e d b y a l l S y s O b j e c t s u b t y p e s . I t

    i s a B o o l e a n p r o p e r t y t h a t c o n t r o l s w h e t h e r a n o b j e c t s a s s o c i a t e d c o n t e n t fi l e s a r e i n d e x e d .

    W h e n a _ f u l l _ t e x t i s T R U E , c o n t e n t fi l e s a r e i n d e x e d w h e n e v e r a S a v e , C h e c k i n , D e s t r o y , R e a d o n l y s a v e ,

    o r M o v e C o n t e n t o p e r a t i o n g e n e r a t e s a n i n d e x q u e u e i t e m f o r t h e o b j e c t . A n y c h a n g e s t o t h e o b j e c t s

    c o n t e n t a r e a d d e d t o t h e i n d e x .

    T h e a _ f u l l _ t e x t p r o p e r t y i s s e t t o T R U E w h e n e v e r a S y s O b j e c t i s c r e a t e d . U s e r s w i t h S y s a d m i n o r S u p e r u s e r p r i v i l e g e s c a n c h a n g e t h e a _ f u l l _ t e x t s e t t i n g . U s e r s w i t h o u t S y s a d m i n o r S u p e r u s e r