colour histogram

7/29/2019 colour histogram

1/9

H i s t o g r a m s f o r T e x t u r e b a s e d I m a g e R e t r i e v a l

C h r i s t i a n W o l f

1

, J e a n - M i c h e l J o l i o n

2

a n d H o r s t B i s c h o f

1

1

V i e n n a U n i v . o f T e c h n o l o g y , P a t t e r n R e c o g n i t i o n a n d I m a g e P r o c . G r o u p

F a v o r i t e n s t r . 9 / 1 8 3 2 , 1 0 4 0 W i e n , A u s t r i a

h t t p : / / w w w . p r i p . t u w i e n . a c . a t

2

I N S A d e L y o n , L a b . R e c o n n a i s s a n c e s d e F o r m e s e t V i s i o n

2 0 , A v e n u e A l b e r t E i n s t e i n , 6 9 6 2 1 V i l l e u r b a n n e c e d e x , F r a n c e

h t t p : / / r f v . i n s a - l y o n . f r

A b s t r a c t :

C o n t e n t b a s e d i m a g e r e t r i e v a l i s t h e t a s k o f s e a r c h i n g i m a g e s f r o m a d a t a b a s e , w h i c h a r e

v i s u a l l y s i m i l a r t o a g i v e n e x a m p l e i m a g e . S i n c e t h e r e i s n o g e n e r a l d e n i t i o n f o r v i s u a l

s i m i l a r i t y , t h e r e a r e d i e r e n t p o s s i b l e w a y s t o q u e r y f o r v i s u a l c o n t e n t . I n t h i s w o r k w e p r e s e n t

m e t h o d s f o r c o n t e n t b a s e d i m a g e r e t r i e v a l b a s e d o n t e x t u r e s i m i l a r i t y u s i n g i n t e r e s t p o i n t s a n d

G a b o r f e a t u r e s . I n t e r e s t p o i n t d e t e c t o r s a r e u s e d i n c o m p u t e r v i s i o n t o d e t e c t i m a g e p o i n t s w i t h

s p e c i a l p r o p e r t i e s , w h i c h c a n b e g e o m e t r i c ( c o r n e r s ) o r n o n - g e o m e t r i c ( c o n t r a s t e t c . ) . G a b o r

f u n c t i o n s a n d G a b o r l t e r s a r e r e g a r d e d a s e x c e l l e n t t o o l s f o r t e x t u r e f e a t u r e e x t r a c t i o n a n d

t e x t u r e s e g m e n t a t i o n . W e p r e s e n t m e t h o d s h o w t o c o m b i n e t h e s e m e t h o d s f o r c o n t e n t b a s e d

i m a g e r e t r i e v a l a n d t o g e n e r a t e a h i s t o g r a m b a s e d t e x t u r e d e s c r i p t i o n o f i m a g e s . E x p e r i m e n t a l

r e s u l t s o f t h e q u e r y s y s t e m o n t e s t i m a g e d a t a b a s e s a r e g i v e n .

1 I n t r o d u c t i o n

C o n t e n t b a s e d i m a g e r e t r i e v a l s y s t e m s u s e t h e c o n t e n t s o f a q u e r y i m a g e p r o v i d e d b y t h e

u s e r t o s e a r c h f o r s i m i l a r i m a g e s i n a p o s s i b l y l a r g e d a t a b a s e . A l l o f t h e k n o w n m e t h o d s f o r

p r e - a t t e n t i v e s e a r c h e m p h a s i z e t h e n e e d f o r d e s c r i p t i o n s o f i m a g e s a n d p o w e r f u l m e t r i c s t o

c o m p a r e t h e s e d e s c r i p t i o n s . M o s t c o m m o n a p p r o a c h e s a r e b a s e d o n c o l o u r 1 1 ] , s t r u c t u r e 5 ] ,

t e x t u r e s 8 ] o r c o m b i n a t i o n s 1 0 ] .

H i s t o g r a m s h a v e a l r e a d y b e e n u s e d e x t e n s i v e l y f o r i m a g e i n d e x a t i o n , e s p e c i a l l y c o l o u r h i s -

t o g r a m s 1 2 ] a n d s t r u c t u r e b a s e d m e t h o d s 5 ] . T h e y p r o v i d e a n e e c t i v e a n d e c i e n t m e a n s

t o c o m p a r e i m a g e c o n t e n t s . H o w e v e r , t h e y r e l y o n r a w i m a g e d a t a l i k e c o l o u r o r g r a y v a l -

u e s , w h i c h a r e n o t a v a i l a b l e f o r t e x t u r e s w i t h o u t p r e - p r o c e s s i n g . I n t h i s p a p e r w e d e s c r i b e

a m e t h o d b a s e d o n h i s t o g r a m s l l e d w i t h l o c a l t e x t u r e f e a t u r e s e x t r a c t e d o n i n t e r e s t p o i n t s

u s i n g a G a b o r l t e r b a n k .


2/9

2 L o c a l T e x t u r e F e a t u r e s

U n l i k e c o l o u r , t e x t u r e i s n o t a p r o p e r t y w h i c h c a n b e e x t r a c t e d f r o m a p o i n t , b u t o f a r e a s

i n s t e a d . A s i n g l e p i x e l d o e s n o t h a v e a t e x t u r e . A c o m m o n d e n i t i o n i s t h e r e p e t i t i o n o f

b a s i c t e x t u r e e l e m e n t s . T h e r e f o r e , w i d e l y u s e d p r o p e r t i e s a r e f r e q u e n c y , d i r e c t i o n , p h a s e e t c .

H o w e v e r , t h e s e p r o p e r t i e s a r e d e p e n d e n t o n t h e s c a l e t h e i m a g e i s a n a l y s e d . A n e a r l y c o n s t a n t

a r e a c o u l d b e t e x t u r e d w i t h a b i g c o n s t a n t t e x t u r e o r a v e r y n e ( i n n i t e ) t e x t u r e . A p u l l o v e r

c o u l d s h o w t e x t u r e s o n t w o s c a l e s : T h e p r i n t e d p a t t e r n o f s q u a r e s a t a h i g h e r s c a l e a n d t h e

s t r u c t u r e o f t h e w o o l a t a l o w e r s c a l e .

F o r t h i s r e a s o n a G a b o r l t e r b a n k i s a s u i t a b l e t o o l t o e x t r a c t t e x t u r e f e a t u r e s . T h e l t e r s o f

a G a b o r l t e r b a n k a r e d e s i g n e d t o e x t r a c t d i e r e n t o r i e n t a t i o n s a n d f r e q u e n c i e s . T h e y h a v e

a l r e a d y b e e n w i d e l y u s e d f o r t e x t u r e a n a l y s i s a n d r e t r i e v a l 6 ] 8 ] . A G a b o r l t e r b a n k c o n s i s t s

o f s e v e r a l l t e r s b a s e d o n t h e f a m i l y o f G a b o r f u n c t i o n s : S e v e r a l G a u s s i a n l t e r s w h i c h a r e

o b t a i n e d b y d i l a t i n g a n d r o t a t i n g a m o t h e r w a v e l e t f u n c t i o n . E a c h l t e r r e s p o n d s t o a s p e c i c

o r i e n t a t i o n a n d a s p e c i c f r e q u e n c y i n t e r v a l .

E x t r a c t i n g l o c a l t e x t u r e s f e a t u r e s o n a l l p o i n t s o f t h e i m a g e s i s c o m p u t a t i o n a l t o o e x p e n s i v e

a n d n o t n e c e s s a r y t o p r o p e r l y d e s c r i b e t h e i m a g e , e s p e c i a l l y w h e n m o s t o f t h e i m a g e i s m a d e

o f a n o n r e l e v a n t b a c k g r o u n d . I n s t e a d w e a p p l y a n i n t e r e s t p o i n t d e t e c t o r i n a r s t s t e p t o

d e t e c t k e y l o c a t i o n s . T e x t u r e f e a t u r e s a r e t h e n e x t r a c t e d o n t h e s e l o c a t i o n s .

I n t e r e s t o p e r a t o r s s h o u l d d e l i v e r p r e - a t t e n t i v e l y " i n t e r e s t i n g " p o i n t s i n a n i m a g e . F o r m a n -

m a d e o b j e c t s , c o r n e r s p r o v i d e v a l u a b l e i n f o r m a t i o n a b o u t t h e s c e n e , t h e r e f o r e t h e r s t d e -

v e l o p e d i n t e r e s t o p e r a t o r s w e r e m a i n l y c o r n e r d e t e c t o r s 3 ] . H o w e v e r , r e c e n t l y o t h e r i n t e r e s t

o p e r a t o r s g a t h e r i n g p o i n t s m o r e s u i t a b l e t o i n d e x a t i o n p u r p o s e s h a v e b e e n d e v e l o p e d 2 ] 7 ]

1 ] . T h e m e t h o d s d e s c r i b e d i n t h i s p a p e r d o n o t r e l y o n a s p e c i c d e t e c t o r . S i m i l a r r e s u l t s

a r e o b t a i n e d b y t h e i n t e r e s t o p e r a t o r s o f J o l i o n 2 ] , L o u p i a s 7 ] a n d H a r r i s a n d S t e p h e n s 3 ] .

T h e b a s i c i d e a o f o u r m e t h o d i s t o e x t r a c t a x e d n u m b e r ( e . g . N = 2 0 0 ) o f r e g i o n s c e n t e r e d

a r o u n d a d e t e c t e d i n t e r e s t p o i n t . E a c h i n t e r e s t r e g i o n i s i n p u t t o a G a b o r l t e r b a n k o f S K

l t e r s , K b e i n g t h e n u m b e r o f o r i e n t a t i o n s ( e . g . K = 8 ) a n d S t h e n u m b e r o f s c a l e s ( e . g .

S = 3 ) . T h i s w i l l g i v e u s N K S l t e r r e s p o n s e s t o p r o c e s s . F o r e c i e n t i m a g e i n d e x a t i o n

w e h a v e t o d e c r e a s e t h i s a m o u n t o f d a t a t o p r o c e s s .

3 I m a g e r e p r e s e n t a t i o n b y H i s t o g r a m s

T h e r e s u l t o f t h e f e a t u r e e x t r a c t i o n s t e p o u t l i n e d a b o v e i s a s e t o f l t e r r e s p o n s e s . E a c h

r e s p o n s e c o r r e s p o n d s t o o n e o f N i n t e r e s t p o i n t s , t o o n e o f K d i r e c t i o n s a n d t o o n e o f S

s c a l e s . T h e m o s t i m p o r t a n t d e s c r i p t i o n o f t h e l t e r r e s p o n s e i s t h e m a x i m u m a m p l i t u d e , f r o m


3/9

n o w o n r e f e r r e d t o a s a m p l i t u d e o n l y . I t t e l l s h o w s t r o n g t h i s i n t e r e s t r e g i o n r e s p o n d s t o t h e

l t e r a p p l i e d t o i t . L i t e r a l l y s p o k e n w e c o u l d s a y t h a t i t s p e c i e s h o w m u c h s t r u c t u r e o f t h e

g i v e n o r i e n t a t i o n i n t h e g i v e n s c a l e c a n b e f o u n d i n t h a t r e g i o n .

D e p e n d i n g o n t h e o r d e r i n g o f t h e l t e r r e s p o n s e s w e c a n b u i l d d i e r e n t i m a g e d e s c r i p t o r s .

I n t h i s p a p e r w e w i l l i n t r o d u c e t w o d i e r e n t t y p e s : A n o r d e r e d s e t o f h i s t o g r a m s s t o r i n g

a m p l i t u d e d i s t r i b u t i o n s a n d a n o r d e r e d s e t o f h i s t o g r a m s s t o r i n g d i e r e n c e s o f a m p l i t u d e s .

3 . 1 A m p l i t u d e d i s t r i b u t i o n

C o n s i d e r i n g t h e o u t p u t o f o u r G a b o r l t e r b a n k t h e m a i n i n f o r m a t i o n w e g a t h e r e d i s t h e

a m p l i t u d e i n f o r m a t i o n f o r d i e r e n t o r i e n t a t i o n s a n d s c a l e s o f t h e G a b o r l t e r s p e r i n t e r e s t

r e g i o n . I f w e r e - o r d e r t h e d a t a w e g e t a d i s t r i b u t i o n o f r e s p o n s e s ( i . e . a m p l i t u d e s ) p e r s c a l e

a n d o r i e n t a t i o n . T h e l t e r r e s p o n s e s f o r o n e l t e r c a n b e l l e d i n t o a h i s t o g r a m , w h i c h

t h e r e f o r e m o d e l s t h e r e s p o n s e o f t h e i m a g e t o t h i s l t e r w i t h t h e g i v e n o r i e n t a t i o n a n d t h e

g i v e n s c a l e . I m a g e s r e s p o n d i n g m u c h t o t h i s l t e r h a v e h i g h b i n s w i t h h i g h b i n i n d i c e s a n d

l o w b i n s w i t h l o w b i n i n d i c e s a n d v i c e v e r s a . T h u s , t h e f e a t u r e d a t a o f t h e w h o l e i m a g e , i . e .

o f a l l l t e r s o f t h e l t e r b a n k , c a n b e s t o r e d i n a n o r d e r e d s e t o f K S h i s t o g r a m s , w h e r e S

i s t h e n u m b e r o f s c a l e s a n d K i s t h e n u m b e r o f o r i e n t a t i o n s .

F i l l i n g t h e h i s t o g r a m s t h i s w a y w e i g n o r e t h e s p a t i a l c o h e r e n c e o f t h e d i e r e n t i n t e r e s t r e g i o n s ,

i . e . t h e l o c a t i o n s o f t h e r e g i o n s a r e n o t r e p r e s e n t e d i n t h e h i s t o g r a m . I t d o e s n o t m a t t e r w h e r e

a n i n t e r e s t r e g i o n i s f o u n d , s i n c e o n l y t h e c o n t e n t s ( t r a n s l a t e d i n t o l t e r r e s p o n s e s ) i s u s e d

t o c r e a t e t h e h i s t o g r a m s . I n o r d e r t o a d d t h e s p a t i a l c o h e r e n c e t o o u r r e p r e s e n t a t i o n w e u s e

t w o - d i m e n s i o n a l h i s t o g r a m s i n s t e a d o f o n e - d i m e n s i o n a l o n e s . W e n e e d c o u p l e s o f d a t a i n s t e a d

o f s i n g l e v a l u e s t o i n c r e a s e t h e h i s t o g r a m b i n s . T h e s e c o u p l e s a r e c r e a t e d b y p e r f o r m i n g a

n - n e a r e s t n e i g h b o u r s e a r c h f o r e v e r y i n t e r e s t p o i n t .

T h e e n t r i e s , w h i c h i n c r e a s e t h e h i s t o g r a m s , a r e p a i r s o f i n t e r e s t p o i n t s . A l l p o i n t s o f t h e i m a g e

a r e t r a v e r s e d a n d t a k e n a s r s t p o i n t s o f t h e s e p a i r s . T h e s e c o n d p o i n t s a r e t h e n e i g h b o u r s

f o u n d b y a n - n e a r e s t n e i g h b o u r s e a r c h p e r f o r m e d f o r e a c h i n t e r e s t p o i n t f o u n d d u r i n g t h e

t r a v e r s a l . H e n c e , f o r e a c h i n t e r e s t p o i n t t r a v e r s e d w e c r e a t e n p a i r s o f p o i n t s . T h e a m p l i t u d e s

o f t h e c o u p l e s a r e e n t e r e d i n t o t h e h i s t o g r a m : T h e a m p l i t u d e o f t h e r s t p o i n t i s u s e d t o

c a l c u l a t e t h e x - i n d e x o f t h e b i n , t h e a m p l i t u d e o f t h e s e c o n d p o i n t ( t h e n e i g h b o u r ) t o c a l c u l a t e

t h e y - i n d e x .

F i g u r e 1 s h o w s a n e x a m p l e i m a g e a n d t w o 2 D h i s t o g r a m s o u t o f i t s K S h i s t o g r a m s . T h e

i m a g e s c o n t a i n s m a i n l y h o r i z o n t a l s t r u c t u r e s ( o r i e n t a t i o n 0 ) . T h e r e f o r e , t h e h i s t o g r a m f o r

o r i e n t a t i o n 0 s h o w s s t r o n g r e s p o n s e s , i . e . h i g h b i n s f r o m i n d i c e s 4 t o 6 . T h e h i s t o g r a m f o r

o r i e n t a t i o n i n d e x

K

4

, w h i c h c o r r e s p o n d s t o s t r u c t u r e s i n o r i e n t a t i o n s a r o u n d 4 5 d e g r e e s , s h o w s


4/9

F i g u r e 1 : I m a g e ( a ) a n d t h e h i s t o g r a m s ( a m p l i t u d e a m p l i t u d e ) f o r 0

o

( b ) a n d 4 5

o

( c )

o n l y o n e h i g h b i n a t i n d e x ( 0 ; 0 ) , i . e . a l m o s t n o r e s p o n s e .

T h e c o m p a r i s o n o f t w o i m a g e s i s b a s e d o n a l r e a d y k n o w n d i s t a n c e m e a s u r e m e n t s o f h i s t o g r a m s

a n d t h e m e a n s o f t h e s e d i s t a n c e s . F o r t h e d i s t a n c e s b e t w e e n t w o s i n g l e h i s t o g r a m s w e u s e d t h e

B a t t a c h a r r y a d i s t a n c e , w h i c h p e r f o r m e d s l i g h t l y b e t t e r t h a n t h e L

2

d i s t a n c e , t h u s c o n r m e d

r e s u l t s o f H u e t a n d H a n c o c k 5 ] . W e i n c l u d e d s o m e c o m p e n s a t i o n f o r r o t a t i o n b y c o m p a r i n g

e a c h h i s t o g r a m n o t o n l y w i t h i t s c o r r e s p o n d i n g h i s t o g r a m b u t a s w e l l w i t h t h e i m m e d i a t e

n e i g h b o u r s o f t h e s a m e s c a l e . W e c a n r e p r e s e n t o u r o r d e r e d s e t o f 3 8 h i s t o g r a m s a s a s e t

o f 3 v e c t o r s , e a c h c o n t a i n i n g 8 h i s t o g r a m s . B y c y c l i c p e r m u t a t i o n o f e a c h o f t h e s e v e c t o r s a n d

t a k i n g t h e m i n i m u m o f c o m p a r i s o n a n d c o m p a r i s o n w i t h o n e r o t a t e d v e c t o r , w e g e t t h e n a l

d i s t a n c e .

3 . 2 D i e r e n c e s o f a m p l i t u d e s

T h e h i s t o g r a m s d e s c r i b e d i n t h e l a s t s e c t i o n w e r e b u i l t b y r a w i m a g e d a t a , l i k e a m p l i t u d e s .

T h e d a t a w a s f e d p a i r w i s e , b u t s t i l l t h e r e w a s n o r e l a t i o n b e t w e e n t h e p o i n t s . H u e t a n d

H a n c o c k u s e d p a i r w i s e g e o m e t r i c h i s t o g r a m s t o i n d e x l a r g e d a t a b a s e s o f l i n e p a t t e r n s 5 ] .

T h e y t o o k p a i r w i s e g e o m e t r i c a t t r i b u t e s l i k e a n g l e s a n d d i e r e n c e s o f l i n e s e g m e n t l e n g t h s t o

b u i l d h i s t o g r a m s . P o p e s c u a d o p t e d t h i s i d e a f o r s t r u c t u r a l i m a g e r e t r i e v a l b a s e d o n i n t e r e s t

p o i n t s 9 ] . H i s i d e a w a s t o u s e t h e l o c a t i o n s o f t h e i n t e r e s t p o i n t s t o d e t e r m i n e g e o m e t r i c

a t t r i b u t e s . I n s t e a d o f p a i r s , t r i p l e s o f i n t e r e s t p o i n t s a r e t a k e n , a n d t h e a n g l e o f t h e p o i n t s i s

u s e d t o c r e a t e t h e h i s t o g r a m s .

T h e m a i n i d e a o f t h e s e a l g o r i t h m s i s t h e s t o r a g e o f r e l a t i v e f e a t u r e d a t a . W e u s e a s i m i l a r

a p p r o a c h b a s e d o n t h e o u t p u t o f t h e G a b o r l t e r b a n k . L i k e i n t h e l a s t s e c t i o n a n i m a g e i s

c h a r a c t e r i s e d b y a n o r d e r e d s e t o f S K h i s t o g r a m s . F o r e a c h l t e r r e s p o n s e w e t r a v e r s e a l l

p o i n t s a n d s e a r c h t h e n n e a r e s t n e i g h b o u r s . T o c a l c u l a t e t h e b i n i n d e x o f t h e r s t d i m e n s i o n

o f t h e t w o d i m e n s i o n a l h i s t o g r a m , w e u s e t h e d i e r e n c e o f a m p l i t u d e s f o r e a c h p a i r i n t e r e s t

p o i n t a n d i t s n e i g h b o u r . T h e b i n i n d e x o f t h e s e c o n d d i m e n s i o n i s d e n e d b y t h e r a n k i n g o f

t h e n e i g h b o u r h o o d . C o m p a r i s o n i s d o n e b y t h e s a m e m e t h o d a s d i s c u s s e d i n t h e l a s t s e c t i o n .


5/9

T h e i n f o r m a t i o n w e s t o r e i n t h i s r e p r e s e n t a t i o n c a n b e d e s c r i b e d i n t h e f o l l o w i n g w a y : L i k e

i n o u r r s t h i s t o g r a m r e p r e s e n t a t i o n t h e d a t a i s s e p a r a t e d b y l t e r i n d e x , i . e . o n e h i s t o g r a m

f o r e a c h o r i e n t a t i o n a n d s c a l e o f t h e l t e r b a n k . E a c h h i s t o g r a m h o l d s t h e i n f o r m a t i o n h o w

t h e a m p l i t u d e s f o r t h i s l t e r c h a n g e b e t w e e n t h e i n t e r e s t p o i n t s t o t h e i r n e i g h b o u r s . T h e y

d i m e n s i o n o f t h e h i s t o g r a m s t o r e s t h e n e i g h b o u r h o o d r a n k i n g o f t h e n - n e a r e s t n e i g h b o u r h o o d

s e a r c h , t h u s t h e b i n s w i t h h i g h e r y i n d i c e s s t o r e t h e d i e r e n c e s o f a m p l i t u d e s b e t w e e n i n t e r e s t

p o i n t s w h i c h a r e f u r t h e r a w a y t h a n c o u p l e s o f i n t e r e s t p o i n t s s t o r e d i n t h e b i n s w i t h l o w e r y

i n d i c e s .

F i g u r e 2 : T w o i m a g e s a n d t h e h i s t o g r a m ( d i e r e n c e s o f a m p l i t u d e r a n k i n g ) f o r 0

o

F i g u r e 2 s h o w s t w o e x a m p l e i m a g e s o f o n e o f o u r t e s t d a t a b a s e s a n d t h e i r h i s t o g r a m s f o r s c a l e

i n d e x 0 a n d o r i e n t a t i o n i n d e x 0 , w h i c h c o r r e s p o n d s t o a n o r i e n t a t i o n o f 0

o

. T h e h i s t o g r a m o f

t h e t e x t u r e e x a m p l e ( F i g u r e 2 . a ) s h o w s a n a l m o s t u n i f o r m d i s t r i b u t i o n a l o n g t h e y c o o r d i n a t e

o f t h e h i s t o g r a m . T h i s c a n b e e x p l a i n e d b y t h e p e r i o d i c n a t u r e o f t h e t e x t u r e e x a m p l e , w h e r e

t h e d i e r e n c e s i n t h e a m p l i t u d e s a r e a l m o s t c o n s t a n t a c r o s s t h e d i e r e n t d i s t a n c e s b e t w e e n

t w o i n t e r e s t p o i n t s . C o n s i d e r i n g t h e h i s t o g r a m o f t h e n a t u r a l i m a g e o n t h e o t h e r h a n d ( 2 . b ) ,

w e r e m a r k t h e d i e r e n c e i n t h e b i n s i z e s a l o n g t h e y c o o r d i n a t e o f t h e h i s t o g r a m . T h e r e a s o n

i s t h e d i e r e n t t y p e o f t h e i m a g e , w h i c h c o n t a i n s s h a r p c h a n g e s i n s t r u c t u r e . I n t h i s i m a g e t h e

d i s t a n c e b e t w e e n t w o i n t e r e s t p o i n t s d e t e r m i n e s t h e d i e r e n c e i n t h e i r r e s p o n s e s t o a s p e c i c

l t e r , h e n c e t h e d i e r e n c e i n a m p l i t u d e s .

4 E x p e r i m e n t a l R e s u l t s

O u r t e s t d a t a b a s e c o n t a i n s 6 0 9 i m a g e s g r a b b e d f r o m a F r e n c h t e l e v i s i o n c h a n n e l . T h e i m a g e s

a r e a l l o f t h e s a m e f o r m a t ( 3 8 4 x 2 8 8 p i x e l s ) a n d c o d e d i n J P E G w i t h 7 5 % q u a l i t y . T h e c o n t e n t s


6/9

d i e r s f r o m o u t d o o r a c t i v i t i e s ( r e p o r t s o f s p o r t s ) t o t a l k s h o w s , f u l l s c o p e s h o t s o f p e o p l e ,

w e a t h e r f o r e c a s t s , l o g o s a n d a d v e r t i s e m e n t s . T o b e a b l e t o m e a s u r e a q u e r y p e r f o r m a n c e a

m a n u a l c l u s t e r i n g o f t h e i m a g e s e t w a s n e c e s s a r y . T h e c l u s t e r s c o n t a i n i m a g e s o f s u c c e s s i v e

s e q u e n c e s . I n f a c t , t h e p i c t u r e s o f o n e c l u s t e r m o s t l y a r e t a k e n f r o m t h e s a m e p r o g r a m a n d

s o m e t i m e s e v e n f r o m t h e s a m e s c e n e . W e u s e d t h e f o l l o w i n g p a r a m e t e r s i n o u r e x p e r i m e n t s :

W e e x t r a c t N = 2 0 0 i n t e r e s t r e g i o n s o f s i z e 3 2 3 2 p i x e l s . T h e G a b o r l t e r b a n k c o n t a i n s

K S = 8 3 l t e r s .

S i n c e t h e r e i s n o g e n e r a l d e n i t i o n f o r v i s u a l s i m i l a r i t y b e t w e e n i m a g e s , m e a s u r i n g r e t r i e v a l

p e r f o r m a n c e i s a d i c u l t t a s k a n d d e p e n d s o n t h e p u r p o s e . A s i n g l e q u e r y u s e s o n e i m a g e

o u t o f a c l u s t e r C , w h i c h c o n t a i n s d i m a g e s . T h e s y s t e m a n s w e r s w i t h c i m a g e s o f w h i c h r a r e

f r o m t h e o r i g i n a l c l u s t e r C . W e u s e a m e a s u r e w h i c h i s w i d e l y u s e d f o r i n d e x a t i o n s y s t e m s :

p r e c i s i o n .

P =

r

c

A s t h e n a m e s u g g e s t s , t h e p r e c i s i o n o f t h e r e s u l t o f a s i n g l e q u e r y d e n o t e s h o w p r e c i s e t h e

r e s u l t s e t r e s p o n d s t o t h e d e s i r e s o f t h e u s e r . B y c h a n g i n g t h e s i z e o f t h e r e s u l t s e t w e g e t

a p e r f o r m a n c e c u r v e f o r t h i s q u e r y . W e c a l c u l a t e t h e n a l c u r v e f o r a r e t r i e v a l m e t h o d b y

a v e r a g i n g t h e c u r v e s f o r a l l s i n g l e q u e r i e s u s i n g d i e r e n t q u e r y i m a g e s .

F i g u r e 3 . a s h o w s t w o c u r v e s m e a s u r e d f o r t h e t w o h i s t o g r a m t y p e s . F o r a t y p i c a l r e s u l t s e t o f

1 0 p i c t u r e s 7 4 % o f t h e i m a g e s a r e r e l e v a n t , f o r 2 0 p i c t u r e s 6 2 % . T h e h i s t o g r a m s e t s t o r i n g t h e

a m p l i t u d e d i s t r i b u t i o n p e r f o r m s s l i g h t l y b e t t e r t h a n t h e v e r s i o n s t o r i n g a m p l i t u d e d i e r e n c e s

a n d n e i g h b o u r h o o d r a n k i n g . W e c o n c l u d e , t h a t t h e a b s o l u t e a m p l i t u d e i n f o r m a t i o n i s m o r e

d e s c r i p t i v e t h a n t h e r e l a t i v e i n f o r m a t i o n . I . e . t h e i n f o r m a t i o n , w h i c h o r i e n t a t i o n s a n d s c a l e s

a r e p r e s e n t i n t h e i m a g e i s m o r e d e s c r i p t i v e t h a n t h e i n f o r m a t i o n h o w m u c h t h e a m p l i t u d e s

c h a n g e i n t h e s p a t i a l n e i g h b o u r h o o d o f t h e i n t e r e s t p o i n t s .

F i g u r e 3 . b s h o w s p e r f o r m a n c e c u r v e s o f t h e a m p l i t u d e d i s t r i b u t i o n m e t h o d w i t h d i e r e n t

c o u n t s o f i n t e r e s t p o i n t s c o l l e c t e d . A s w e c a n s e e t h e p e r f o r m a n c e o f t h e a l g o r i t h m i s w e a k l y

d e p e n d e n t o n t h e n u m b e r o f i n t e r e s t p o i n t s . I f e n o u g h a r e a o f t h e i m a g e i s c o v e r e d b y i n t e r e s t

r e g i o n s , a n d i f t h e h i s t o g r a m s a r e l l e d e n o u g h | i . e . t h e n u m b e r o f n o n - z e r o b i n s o f t h e

n o r m a l i s e d h i s t o g r a m i s s u c i e n t l y h i g h | t h e n i n c r e a s i n g t h e n u m b e r o f i n t e r e s t p o i n t s d o e s

n o t i n c r e a s e q u e r y p e r f o r m a n c e .

F o r o u r e x p e r i m e n t s w e u s e d d i e r e n t i n t e r e s t o p e r a t o r s : T w o d i e r e n t i m p l e m e n t a t i o n s o f

t h e H a r r i s c o r n e r d e t e c t o r 3 ] , t w o d i e r e n t v e r s i o n s o f t h e L o u p i a s w a v e l e t b a s e d i n t e r e s t p o i n t

d e t e c t o r 7 ] b a s e d o n t h e H a a r a n d t h e D a u b e c h i e w a v e l e t r e s p e c t i v e l y , a n d t h e J o l i o n m u l t i r e s -

o l u t i o n c o n t r a s t b a s e d i n t e r e s t p o i n t d e t e c t o r 2 ] . T o e v a l u a t e t h e d e p e n d e n c y o f o u r a l g o r i t h m s


7/9

0

20

40

60

80

100

0 5 10 15 20 25

A

verageprecision(%)

Number of images in the return set

(a) Average precision - amplitude distribution

0

20

40

60

80

100

0 5 10 15 20 25

A

verageprecision(%)


(b) Average precision - difference of Amplitudes

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)

number of return images

600 points

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)


400 points

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)


300 points

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)


200 points

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)


100 points

0

20

40

60

80

100

0 5 10 15 20 25

precision(%)


50 points

( a ) ( b )

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Haar wavelet (Loupias)

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Daubechie wavelet (Loupias)

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Harris implementation 1

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Harris implementations 2

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Multiresolution contrast based (Jolion)

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


Detector selecting random points

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


48 neighbours

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


24 neighbours

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


12 neighbours

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


6 neighbours

0

20

40

60

80

100

0 5 10 15 20 25 30

Averageprecision(%)


3 neighbours

( c ) ( d )

F i g u r e 3 : T h e p e r f o r m a n c e c u r v e s f o r b o t h h i s t o g r a m t y p e s ( a ) f o r d i e r e n t c o u n t s o f i n t e r e s t

p o i n t s ( b ) f o r d i e r e n t i n t e r e s t p o i n t d e t e c t o r s ( c ) a n d f o r d i e r e n t c o u n t s o f n e i g h b o u r s ( d )

o n t h e c h o i c e o f t h e i n t e r e s t p o i n t o p e r a t o r , w e a d d i t i o n a l l y i m p l e m e n t e d a n " i n t e r e s t p o i n t

o p e r a t o r " s e l e c t i n g a x e d n u m b e r o f r a n d o m p o i n t s i n a n i m a g e .

F i g u r e 3 . c s h o w s p e r f o r m a n c e c u r v e s o f t h e a m p l i t u d e b a s e d a l g o r i t h m a n d d i e r e n t d e t e c t o r s .

W e r e m a r k , t h a t t h e d i e r e n c e s i n p e r f o r m a n c e b e t w e e n t h e v a r i o u s d e t e c t o r s a r e n o t s i g n i f -

i c a n t . H o w e v e r , s u r p r i s i n g i s t h e g o o d p e r f o r m a n c e o f t h e a l g o r i t h m s i n e x p e r i m e n t s w h e r e

t h e r a n d o m i n t e r e s t p o i n t d e t e c t o r i s u s e d . T h e p e r f o r m a n c e o f t h e r a n d o m p o i n t s o p e r a t o r

i s e q u a l t o t h e p e r f o r m a n c e o f t h e o t h e r o p e r a t o r s . T h i s c a n b e e x p l a i n e d w i t h t h e r i c h n e s s o f

o u r i m a g e f e a t u r e s . T h e f e a t u r e d a t a c o l l e c t e d o n t h e i n t e r e s t p o i n t s h a s e n o u g h d e s c r i p t i v e

p o w e r , w h i c h i s n o t i m p r o v e d b y a s t a b l e i n t e r e s t p o i n t d e t e c t o r c h o o s i n g p o i n t s " a p p r o p r i a t e "

f o r o u r t y p e o f f e a t u r e s .

T h e n u m b e r o f n e i g h b o u r s n f o r t h e n - n e a r e s t n e i g h b o u r s e a r c h d e t e r m i n e s h o w m u c h i n u e n c e

o f t h e s p a t i a l c o h e r e n c e o f t h e f e a t u r e d a t a i s r e p r e s e n t e d i n t h e h i s t o g r a m . H o w e v e r , t h e

n u m b e r h a s t o b e a d j u s t e d t o t h e d a t a . I f t h e a l g o r i t h m d o e s n o t s e a r c h e n o u g h n e i g h b o u r s ,

t h e n t h e s p a t i a l c o h e r e n c e i s u n d e r r e p r e s e n t e d i n t h e h i s t o g r a m . I f t h e a l g o r i t h m s e a r c h e s t o o


8/9

m a n y n e i g h b o u r s o n t h e o t h e r h a n d , t h e n t h e i n f o r m a t i o n a b o u t t h e s p a t i a l c o h e r e n c e i s l o s t ,

s i n c e t h e f o u n d n e i g h b o u r s t e n d t o b e t h e s a m e f o r p o i n t s n e a r t o e a c h o t h e r . W e c o n d u c t e d

e x p e r i m e n t s u s i n g 3 , 6 , 1 2 , 2 4 a n d 4 8 n e i g h b o u r s . S u r p r i s i n g l y t h e r e i s a l m o s t n o d i e r e n c e

i n t h e q u e r y p e r f o r m a n c e ( F i g u r e 3 . d ) , a l t h o u g h c o u n t s o f n = 1 2 o r e v e n n = 4 8 a r e f a r t o o

h i g h t o s t o r e a n y s p a t i a l i n f o r m a t i o n i n t h e h i s t o g r a m s , c o n s i d e r i n g t h a t N = 2 0 0 i n t e r e s t

p o i n t s a r e c o l l e c t e d o n e a c h i m a g e . W e c o n c l u d e , t h a t t h e a d d i t i o n a l i n f o r m a t i o n a b o u t t h e

s p a t i a l c o h e r e n c e d o e s n o t c h a n g e t h e d e s c r i p t i v e n e s s o f t h e h i s t o g r a m s .

5 C o n c l u s i o n a n d O u t l o o k

I n t h i s p a p e r w e p r e s e n t e d h i s t o g r a m b a s e d m e t h o d s t o u s e i n t e r e s t p o i n t d e t e c t o r s a n d a

G a b o r l t e r b a n k t o c r e a t e t e x t u r e d e s c r i p t i o n s f o r i m a g e i n d e x i n g . W e p r o v e d t h a t t h e

a l g o r i t h m s w o r k w e l l f o r t h e g i v e n t y p e o f i m a g e s . T h e i m a g e r e p r e s e n t a t i o n i n t r o d u c e d h o l d s

a r o u g h t e x t u r e d e s c r i p t i o n o f i m a g e s . T h e s i m i l a r i t y m e a s u r e i s a b l e t o d i s t i n g u i s h g r o u p s o f

i m a g e s o f t h e s a m e t y p e , i . e . i m a g e s h a v i n g s i m i l a r c o n t e n t w i t h o u t c o n s i d e r i n g m a n y d e t a i l s .

T y p i c a l a p p l i c a t i o n s c o u l d b e e . g . d a t a b a s e s o f t e l e v i s i o n b r o a d c a s t s t a t i o n s , w h i c h n e e d t o

n d s c r e e n s h o t s o f s i m i l a r s c e n e s o r s h o t s o f t h e s a m e t e l e c a s t i n a l a r g e s e t o f t e l e v i s i o n

s c r e e n s h o t s . E x p e r i m e n t s w i t h o n e o f o u r t e s t i m a g e d a t a b a s e s w h i c h c o n t a i n s t e l e v i s i o n

s c r e e n s h o t s , p r o v e t h e g o o d p e r f o r m a n c e f o r t h i s t a s k .

F u r t h e r w o r k c u r r e n t l y p u r s u e d i s t o j o i n t h i s t e x t u r e b a s e d a p p r o a c h w i t h m e t h o d s b a s e d o n

c o l o u r , s t r u c t u r e a n d s h a p e i n t o o n e w e i g h t e d i n d e x a t i o n s y s t e m , w h i c h u s e s f e e d b a c k o f t h e

u s e r t o d e t e r m i n e t h e p r e f e r e n c e s a n d t o r e c a l c u l a t e t h e w e i g h t s o f t h e s y s t e m 4 ] .

R e f e r e n c e s

1 ] S u s h u i l B h a t t a c h a r j e e . I m a g e r e t r i e v a l b a s e d o n s t r u c t u r a l c o n t e n t . T e c h n i c a l R e p o r t S S C / 1 9 9 9 / 0 0 4 ,

D e p t . o f E l e c t r i c a l E n g . , E . P . F . L , C H - 1 0 1 5 , L a u s a n n e , 1 9 9 9 .

2 ] S t e p h a n B r e s a n d J e a n - M i c h e l J o l i o n . D e t e c t i o n o f i n t e r e s t p o i n t s f o r i m a g e i n d e x i n g . I n 3 r d I n t . C o n f .

o n V i s u a l I n f o r m a t i o n S y s t e m s , V i s u a l 9 9 , p a g e s 4 2 7 { 4 3 4 . S p r i n g e r , L e c t u r e N o t e s i n C o m p u t e r S c i e n c e ,

1 6 1 4 , J u n e 1 9 9 9 .

3 ] C h r i s H a r r i s a n d M i k e S t e p h e n s . A c o m b i n e d c o r n e r a n d e d g e d e t e c t o r . I n P r o c e e d i n g s 4 t h A l v e y V i s u a l

C o n f e r e n c e . P l e s s e y R e s e a r c h R o k e M a n o r , U K , 1 9 8 8 .

4 ] A H e i n r i c h s , D K o u b a r o u l i s , B L e v i e n a i s e - O b a d i a , P . R o v i d a , a n d J . M . J o l i o n . I m a g e i n d e x i n g a n d

c o n t e n t - b a s e d s e a r c h u s i n g p r e - a t t e n t i v e s i m i l a r i t i e s . I n 6 t h R I A O C o n f e r e n c e , P A R I S , A p r i l 1 2 - 1 4 2 0 0 0 .

5 ] B e n o i t H u e t a n d E d w i n R . H a n c o c k . C a r t o g r a p h i c i n d e x i n g i n t o a d a t a b a s e o f r e m o t e l y s e n s e d i m a g e s .

I n T h i r d I E E E W o r k s h o p o n A p p l i c a t i o n s o f C o m p u t e r V i s i o n ( W A C V 9 6 ) , p a g e s 8 { 1 4 , S a r a s o t a , F l o r i d a ,

D e c 1 9 9 6 .

6 ] A K J a i n a n d F F a r r o k h i n a . U n s u p e r v i s e d t e x t u r e s e g m e n t a t i o n u s i n g g a b o r l t e r s . P a t t e r n R e c o g n i t i o n

2 4 ( 1 2 ) : 1 1 6 7 { 1 1 8 6 , 1 9 9 1 .


9/9

7 ] E i e n n e L o u p i a s a n d N i c u S e b e . W a v e l e t - b a s e d s a l i e n t p o i n t s f o r i m a g e r e t r i e v a l . T e c h n i c a l R e p o r t R R

9 9 . 1 1 , L a b o r a t o i r e R e c o n n a i s s a n c e d e F o r m e s e t V i s i o n , 1 9 9 9 .

8 ] B S M a n j u n a t h a n d W Y M a . T e x t u r e f e a t u r e s f o r b r o w s i n g a n d r e t r i e v a l o f i m a g e d a t a . I E E E T r a n s -

a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 8 ( 8 ) , A u g u s t 1 9 9 6 .

9 ] O v i d i u P o p e s c u . U t i l i s a t i o n d e s p o i n t s d ' i n t e r ^ e t p o u r l ' i n d e x a t i o n d ' i m a g e s . T e c h n i c a l R e p o r t R R 9 9 . 0 7 ,

L a b o r a t o i r e R e c o n n a i s s a n c e d e F o r m e s e t V i s i o n . , 1 9 9 9 .

1 0 ] C o r d e l i a S c h m i d t a n d R o g e r M o h r . L o c a l g r a y v a l u e i n v a r i a n t s f o r i m a g e r e t r i e v a l . I E E E T r a n s a c t i o n s

o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 9 ( 5 ) , M a y 1 9 9 7 .

1 1 ] M a r k u s S t r i c k e r a n d A l e x a n d e r D i m a i . C o l o r i n d e x i n g w i t h w e a k s p a t i a l c o n s t r a i n t s . S P I E , 2 6 7 0 / 2 9 ( 0 -

8 1 9 4 - 2 0 4 4 - 1 ) , 1 9 9 6 .

1 2 ] M S w a i n a n d D B a l l a r d . C o l o r i n d e x i n g . I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 7 ( 1 ) : 1 1 { 3 2 , 1 9 9 1 .

colour histogram

Documents

Transcript of colour histogram