Iran i 93 Motion

7/23/2019 Iran i 93 Motion

1/24

M o t i o n A n a l y s i s f o r I m a g e E n h a n c e m e n t :

R e s o l u t i o n , O c c l u s i o n , a n d T r a n s p a r e n c y

M i c h a l I r a n i

y

S h m u e l P e l e g

I n s t i t u t e o f C o m p u t e r S c i e n c e

T h e H e b r e w U n i v e r s i t y o f J e r u s a l e m

9 1 9 0 4 J e r u s a l e m , I S R A E L

A b s t r a c t

A c c u r a t e c o m p u t a t i o n o f i m a g e m o t i o n e n a b l e s t h e e n h a n c e m e n t o f i m a g e s e q u e n c e s . I n s c e n e s

h a v i n g m u l t i p l e m o v i n g o b j e c t s t h e m o t i o n c o m p u t a t i o n i s p e r f o r m e d t o g e t h e r w i t h o b j e c t s e g m e n -

t a t i o n b y u s i n g a u n i q u e t e m p o r a l i n t e g r a t i o n a p p r o a c h .

A f t e r c o m p u t i n g t h e m o t i o n f o r t h e d i e r e n t i m a g e r e g i o n s , t h e s e r e g i o n s c a n b e e n h a n c e d

b y f u s i n g s e v e r a l s u c c e s s i v e f r a m e s c o v e r i n g t h e s a m e r e g i o n . E n h a n c e m e n t s t r e a t e d h e r e i n c l u d e

i m p r o v e m e n t o f i m a g e r e s o l u t i o n , l l i n g - i n o c c l u d e d r e g i o n s , a n d r e c o n s t r u c t i o n o f t r a n s p a r e n t

o b j e c t s .

1 I n t r o d u c t i o n

W e d e s c r i b e m e t h o d s f o r e n h a n c i n g i m a g e s e q u e n c e s u s i n g t h e m o t i o n i n f o r m a t i o n c o m p u t e d b y

a m u l t i p l e m o t i o n s a n a l y s i s m e t h o d . T h e m u l t i p l e m o v i n g o b j e c t s a r e r s t d e t e c t e d a n d t r a c k e d ,

u s i n g b o t h a l a r g e s p a t i a l r e g i o n a n d a l a r g e t e m p o r a l r e g i o n , a n d w i t h o u t a s s u m i n g a n y t e m p o r a l

m o t i o n c o n s t a n c y . T h e m o t i o n m o d e l s u s e d t o a p p r o x i m a t e t h e m o t i o n s o f t h e o b j e c t s a r e 2 - D

p a r a m e t r i c m o t i o n s i n t h e i m a g e p l a n e , s u c h a s a n e a n d p r o j e c t i v e t r a n s f o r m a t i o n s . T h e m o t i o n

a n a l y s i s i s p r e s e n t e d i n a p r e v i o u s p a p e r 1 6 , 1 7 , a n d w i l l o n l y b e b r i e y d e s c r i b e d h e r e .

O n c e a n o b j e c t h a s b e e n t r a c k e d a n d s e g m e n t e d , i t c a n b e e n h a n c e d u s i n g i n f o r m a t i o n f r o m

s e v e r a l f r a m e s . T r a c k e d o b j e c t s c a n b e e n h a n c e d b y l l i n g - i n o c c l u d e d r e g i o n s , a n d b y i m p r o v i n g

t h e s p a t i a l r e s o l u t i o n o f t h e i r i m a g e s . W h e n t h e s c e n e c o n t a i n s t r a n s p a r e n t m o v i n g o b j e c t s , t h e y

c a n b e r e c o n s t r u c t e d s e p a r a t e l y .

T h i s r e s e a r c h w a s s u p p o r t e d b y t h e I s r a e l A c a d e m y o f S c i e n c e s . E m a i l a d d r e s s o f a u t h o r s : f m i c h a l b ,

p e l e g g @ c s . h u j i . a c . i l .

y

M . I r a n i w a s p a r t i a l l y s u p p o r t e d b y a f e l l o w s h i p f r o m t h e L e i b n i z C e n t e r .


2/24

S e c t i o n 2 i n c l u d e s a b r i e f d e s c r i p t i o n o f a m e t h o d u s e d f o r s e g m e n t i n g t h e i m a g e p l a n e i n t o

d i e r e n t l y m o v i n g o b j e c t s , c o m p u t i n g t h e i r m o t i o n s , a n d t r a c k i n g t h e m t h r o u g h o u t t h e i m a g e

s e q u e n c e . S e c t i o n s 3 , 4 , a n d 5 d e s c r i b e t h e a l g o r i t h m s f o r i m a g e e n h a n c e m e n t u s i n g t h e c o m p u t e d

m o t i o n i n f o r m a t i o n : S e c t i o n 3 p r e s e n t s a m e t h o d f o r i m p r o v i n g t h e s p a t i a l r e s o l u t i o n o f t r a c k e d

o b j e c t s , S e c t i o n 4 d e s c r i b e s a m e t h o d f o r r e c o n s t r u c t i n g o c c l u d e d s e g m e n t s o f t r a c k e d o b j e c t s , a n d

S e c t i o n 5 p r e s e n t s a m e t h o d f o r r e c o n s t r u c t i n g t r a n s p a r e n t m o v i n g p a t t e r n s .

A n i n i t i a l v e r s i o n o f t h i s p a p e r a p p e a r e d i n 1 5 .

2


3/24

2 D e t e c t i n g a n d T r a c k i n g M u l t i p l e M o v i n g O b j e c t s

I n t h i s s e c t i o n w e d e s c r i b e b r i e y a m e t h o d f o r d e t e c t i n g a n d t r a c k i n g m u l t i p l e m o v i n g o b j e c t s i n

i m a g e s e q u e n c e s , w h i c h i s p r e s e n t e d i n d e t a i l i n 1 7 . A n y o t h e r g o o d m o t i o n c o m p u t a t i o n m e t h o d

c a n b e u s e d a s w e l l . I n t h i s a p p r o a c h f o r d e t e c t i n g d i e r e n t l y m o v i n g o b j e c t s , a s i n g l e m o t i o n i s

r s t c o m p u t e d , a n d a s i n g l e o b j e c t w h i c h c o r r e s p o n d s t o t h i s m o t i o n i s i d e n t i e d a n d t r a c k e d . W e

c a l l t h i s m o t i o n t h e d o m i n a n t m o t i o n , a n d t h e c o r r e s p o n d i n g o b j e c t t h e d o m i n a n t o b j e c t . O n c e a

d o m i n a n t o b j e c t h a s b e e n d e t e c t e d a n d t r a c k e d , i t i s e x c l u d e d f r o m t h e r e g i o n o f a n a l y s i s , a n d t h e

p r o c e s s i s r e p e a t e d o n t h e r e m a i n i n g i m a g e r e g i o n s t o n d o t h e r o b j e c t s a n d t h e i r m o t i o n s .

W h e n t h e i m a g e m o t i o n c a n b e d e s c r i b e d b y a 2 - D p a r a m e t r i c m o t i o n m o d e l , a n d t h i s m o d e l

i s u s e d f o r m o t i o n a n a l y s i s , t h e r e s u l t s a r e v e r y a c c u r a t e a t a f r a c t i o n o f a p i x e l . T h i s a c c u r a c y

r e s u l t s f r o m t w o f e a t u r e s :

1 . T h e u s e o f l a r g e r e g i o n s w h e n t r y i n g t o c o m p u t e t h e 2 - D m o t i o n p a r a m e t e r s .

2 . S e g m e n t a t i o n o f t h e i m a g e i n t o r e g i o n s , e a c h c o n t a i n i n g o n l y a s i n g l e 2 - D m o t i o n .

2 . 1 2 - D M o t i o n M o d e l s

2 - D p a r a m e t r i c t r a n s f o r m a t i o n s a r e u s e d t o a p p r o x i m a t e t h e p r o j e c t e d 3 - D m o t i o n s o f o b j e c t s o n

t h e i m a g e p l a n e . T h i s a s s u m p t i o n i s v a l i d w h e n t h e d i e r e n c e s i n d e p t h c a u s e d b y t h e m o t i o n s a r e

s m a l l r e l a t i v e t o t h e d i s t a n c e s o f t h e o b j e c t s f r o m t h e c a m e r a .

G i v e n t w o g r e y l e v e l i m a g e s o f a n o b j e c t , I x ; y ; t a n d I x ; y ; t + 1 , i t i s a s s u m e d t h a t :

I x + p x ; y ; t ; y + q x ; y ; t ; t + 1 = I x ; y ; t ; 1

w h e r e p x ; y ; t ; q x ; y ; t i s t h e d i s p l a c e m e n t i n d u c e d o n p i x e l x ; y b y t h e m o t i o n o f t h e p l a n a r

o b j e c t b e t w e e n f r a m e s t a n d t + 1 . I t c a n b e s h o w n 1 0 t h a t t h e d e s i r e d m o t i o n p ; q m i n i m i z e s

t h e f o l l o w i n g e r r o r f u n c t i o n a t F r a m e t i n t h e r e g i o n o f a n a l y s i s R :

E r r

t

p ; q =

X

x y 2 R

p I

x

+ q I

y

+ I

t

2

2

W e p e r f o r m t h e e r r o r m i n i m i z a t i o n o v e r t h e p a r a m e t e r s o f o n e o f t h e f o l l o w i n g m o t i o n m o d e l s :

1 T r a n s l a t i o n : 2 p a r a m e t e r s , p x ; y ; t = a , q x ; y ; t = d . I n o r d e r t o m i n i m i z e E r r

t

p ; q ,

i t s d e r i v a t i v e s w i t h r e s p e c t t o a a n d d a r e s e t t o z e r o . T h i s y i e l d s t w o l i n e a r e q u a t i o n s i n t h e

t w o u n k n o w n s , a a n d d . T h o s e a r e t h e t w o w e l l - k n o w n o p t i c a l o w e q u a t i o n s 4 , 2 0 , w h e r e

e v e r y s m a l l w i n d o w i s a s s u m e d t o h a v e a s i n g l e t r a n s l a t i o n . I n t h i s t r a n s l a t i o n m o d e l , t h e

e n t i r e o b j e c t i s a s s u m e d t o h a v e a s i n g l e t r a n s l a t i o n .

2 A n e : 6 p a r a m e t e r s , p x ; y ; t = a + b x + c y , q x ; y ; t = d + e x + f y . D e r i v i n g E r r

t

p ; q

w i t h r e s p e c t t o t h e m o t i o n p a r a m e t e r s a n d s e t t i n g t o z e r o y i e l d s s i x l i n e a r e q u a t i o n s i n t h e

s i x u n k n o w n s : a , b , c , d , e , f 4 , 5 .

3


4/24

3 M o v i n g p l a n a r s u r f a c e a p s e u d o p r o j e c t i v e t r a n s f o r m a t i o n : 8 p a r a m e t e r s 1 , 4 ,

p x ; y ; t = a + b x + c y + g x

2

+ h x y , q x ; y ; t = d + e x + f y + g x y + h y

2

. D e r i v i n g

E r r

t

p ; q w i t h r e s p e c t t o t h e m o t i o n p a r a m e t e r s a n d s e t t i n g t o z e r o , y i e l d s e i g h t l i n e a r

e q u a t i o n s i n t h e e i g h t u n k n o w n s : a , b , c , d , e , f , g , h

2 . 2 D e t e c t i n g t h e F i r s t O b j e c t

W h e n t h e r e g i o n o f s u p p o r t o f a s i n g l e o b j e c t i n t h e i m a g e i s k n o w n , i t s m o t i o n p a r a m e t e r s c a n b e

c o m p u t e d u s i n g a m u l t i r e s o l u t i o n i t e r a t i v e f r a m e w o r k 3 , 4 , 5 , 6 , 1 6 , 1 7 .

M o t i o n e s t i m a t i o n i s m o r e d i c u l t i n t h e c o m m o n c a s e w h e n t h e s c e n e i n c l u d e s s e v e r a l m o v i n g

o b j e c t s , a n d t h e r e g i o n o f s u p p o r t o f e a c h o b j e c t i n t h e i m a g e i s n o t k n o w n . I t w a s s h o w n i n

7 , 1 6 , 1 7 t h a t i n t h i s c a s e t h e m o t i o n p a r a m e t e r s o f a s i n g l e o b j e c t c a n b e r e c o v e r e d a c c u r a t e l y

b y a p p l y i n g t h e s a m e m o t i o n c o m p u t a t i o n f r a m e w o r k w i t h s o m e i t e r a t i v e e x t e n s i o n s 1 6 , 1 7 t o

t h e e n t i r e r e g i o n o f a n a l y s i s .

T h i s p r o c e d u r e c o m p u t e s a s i n g l e m o t i o n t h e d o m i n a n t m o t i o n b e t w e e n t w o i m a g e s . A s e g -

m e n t a t i o n p r o c e d u r e i s t h e n u s e d s e e S e c t i o n 2 . 5 i n o r d e r t o d e t e c t t h e c o r r e s p o n d i n g o b j e c t t h e

d o m i n a n t o b j e c t i n t h e i m a g e . A n e x a m p l e o f a d e t e c t e d d o m i n a n t o b j e c t u s i n g a n a n e m o t i o n

m o d e l b e t w e e n t w o f r a m e s i s s h o w n i n F i g u r e 2 . c . I n t h i s e x a m p l e , n o i s e h a s a e c t e d s t r o n g l y t h e

s e g m e n t a t i o n a n d m o t i o n c o m p u t a t i o n . T h e p r o b l e m o f n o i s e i s o v e r c o m e o n c e t h e a l g o r i t h m i s

e x t e n d e d t o h a n d l e l o n g e r s e q u e n c e s u s i n g t e m p o r a l i n t e g r a t i o n S e c t i o n 2 . 3 .

2 . 3 T r a c k i n g D e t e c t e d O b j e c t s U s i n g T e m p o r a l I n t e g r a t i o n

T h e a l g o r i t h m f o r t h e d e t e c t i o n o f m u l t i p l e m o v i n g o b j e c t s d i s c u s s e d i n S e c t i o n 2 . 2 c a n b e e x t e n d e d

t o t r a c k d e t e c t e d o b j e c t s t h r o u g h o u t l o n g i m a g e s e q u e n c e s . T h i s i s d o n e b y t e m p o r a l i n t e g r a t i o n ,

w h e r e f o r e a c h t r a c k e d o b j e c t a d y n a m i c i n t e r n a l r e p r e s e n t a t i o n i m a g e i s c o n s t r u c t e d . T h i s i m a g e

i s c o n s t r u c t e d b y t a k i n g a w e i g h t e d a v e r a g e o f r e c e n t f r a m e s , r e g i s t e r e d w i t h r e s p e c t t o t h e t r a c k e d

m o t i o n . T h i s i m a g e c o n t a i n s , a f t e r a f e w f r a m e s , a s h a r p i m a g e o f t h e t r a c k e d o b j e c t , a n d a

b l u r r e d i m a g e o f a l l t h e o t h e r o b j e c t s . E a c h n e w f r a m e i n t h e s e q u e n c e i s c o m p a r e d t o t h e i n t e r n a l

r e p r e s e n t a t i o n i m a g e o f t h e t r a c k e d o b j e c t r a t h e r t h a n t o t h e p r e v i o u s f r a m e 1 6 , 1 7 . F o l l o w i n g i s

a s u m m a r y o f t h e a l g o r i t h m f o r d e t e c t i n g a n d t r a c k i n g a n o b j e c t i n a n i m a g e s e q u e n c e :

F o r e a c h f r a m e i n t h e s e q u e n c e s t a r t i n g a t t = 0 d o :

1 . C o m p u t e t h e d o m i n a n t m o t i o n p a r a m e t e r s b e t w e e n t h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f

t h e t r a c k e d o b j e c t A v t a n d t h e n e w f r a m e I t + 1 , i n t h e r e g i o n M t o f t h e t r a c k e d

o b j e c t s e e S e c t i o n 2 . 2 . I n i t i a l l y , M 0 i s t h e e n t i r e r e g i o n o f a n a l y s i s .

2 . W a r p t h e c u r r e n t i n t e r n a l r e p r e s e n t a t i o n i m a g e A v t a n d c u r r e n t s e g m e n t a t i o n m a s k

M t t o w a r d s t h e n e w f r a m e I t + 1 a c c o r d i n g t o t h e c o m p u t e d m o t i o n p a r a m e t e r s .

3 . I d e n t i f y t h e s t a t i o n a r y r e g i o n s i n t h e r e g i s t e r e d i m a g e s s e e S e c t i o n 2 . 5 , u s i n g t h e r e g -

i s t e r e d m a s k M t a s a n i n i t i a l g u e s s . T h i s w i l l b e t h e s e g m e n t e d r e g i o n M t + 1 o f t h e

t r a c k e d o b j e c t i n f r a m e I t + 1 .

4


5/24

a b c

F i g u r e 1 : A n e x a m p l e o f t h e e v o l u t i o n o f a n i n t e r n a l r e p r e s e n t a t i o n i m a g e o f a

t r a c k e d o b j e c t .

a I n i t i a l l y , t h e i n t e r n a l r e p r e s e n t a t i o n i m a g e i s t h e r s t f r a m e i n t h e s e q u e n c e .

T h e s c e n e c o n t a i n s f o u r m o v i n g o b j e c t s . T h e t r a c k e d o b j e c t i s t h e b a l l .

b T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e a f t e r 3 f r a m e s .

c T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e a f t e r 5 f r a m e s . T h e t r a c k e d o b j e c t t h e

b a l l r e m a i n s s h a r p , w h i l e a l l o t h e r r e g i o n s b l u r o u t .

4 . C o m p u t e t h e u p d a t e d i n t e r n a l r e p r e s e n t a t i o n i m a g e A v t + 1 b y w a r p i n g A v t t o w a r d s

I t + 1 u s i n g t h e c o m p u t e d d o m i n a n t m o t i o n , a n d a v e r a g i n g i t w i t h I t + 1 .

W h e n t h e m o t i o n m o d e l a p p r o x i m a t e s o f t h e t e m p o r a l c h a n g e s o f t h e t r a c k e d o b j e c t w e l l e n o u g h ,

s h a p e c h a n g e s r e l a t i v e l y s l o w l y o v e r t i m e i n r e g i s t e r e d i m a g e s . T h e r e f o r e , t e m p o r a l i n t e g r a t i o n o f

r e g i s t e r e d f r a m e s p r o d u c e s a s h a r p a n d c l e a n i m a g e o f t h e t r a c k e d o b j e c t , w h i l e b l u r r i n g r e g i o n s

h a v i n g o t h e r m o t i o n s . F i g u r e 1 s h o w s a n e x a m p l e o f t h e e v o l u t i o n o f a n i n t e r n a l r e p r e s e n t a t i o n

i m a g e o f a t r a c k e d r o l l i n g b a l l . C o m p a r i n g e a c h n e w f r a m e t o t h e i n t e r n a l r e p r e s e n t a t i o n i m a g e

r a t h e r t h a n t o t h e p r e v i o u s f r a m e g i v e s t h e a l g o r i t h m a s t r o n g b i a s t o k e e p t r a c k i n g t h e s a m e

o b j e c t . S i n c e a d d i t i v e n o i s e i s r e d u c e d i n t h e t h e a v e r a g e i m a g e o f t h e t r a c k e d o b j e c t , a n d s i n c e

i m a g e g r a d i e n t s o u t s i d e t h e t r a c k e d o b j e c t d e c r e a s e s u b s t a n t i a l l y , b o t h s e g m e n t a t i o n a n d m o t i o n

c o m p u t a t i o n i m p r o v e s i g n i c a n t l y .

I n t h e e x a m p l e s h o w n i n F i g u r e 2 , t e m p o r a l i n t e g r a t i o n i s u s e d t o d e t e c t a n d t r a c k t h e d o m i -

n a n t o b j e c t . C o m p a r i n g t h e s e g m e n t a t i o n s h o w n i n F i g u r e 2 . c t o t h e s e g m e n t a t i o n i n F i g u r e 2 . d

e m p h a s i z e s t h e i m p r o v e m e n t i n s e g m e n t a t i o n u s i n g t e m p o r a l i n t e g r a t i o n .

A n o t h e r e x a m p l e o f d e t e c t i n g a n d t r a c k i n g o b j e c t s u s i n g t e m p o r a l i n t e g r a t i o n i s s h o w n i n

F i g u r e 3 . I n t h i s s e q u e n c e , t a k e n b y a n i n f r a r e d c a m e r a , t h e b a c k g r o u n d m o v e s d u e t o c a m e r a

m o t i o n , w h i l e t h e c a r h a s a n o t h e r m o t i o n . I t i s e v i d e n t t h a t t h e t r a c k e d o b j e c t i s t h e b a c k g r o u n d ,

a s a l l o t h e r r e g i o n s i n t h e i m a g e a r e b l u r r e d b y t h e i r m o t i o n .

2 . 4 T r a c k i n g O t h e r O b j e c t s

A f t e r d e t e c t i n g a n d t r a c k i n g t h e r s t o b j e c t , a t t e n t i o n i s d i r e c t e d a t o t h e r o b j e c t s . T h i s i s d o n e b y

a p p l y i n g t h e t r a c k i n g a l g o r i t h m o n c e m o r e , t h i s t i m e t o t h e r e s t o f t h e i m a g e , a f t e r e x c l u d i n g t h e

5


6/24

a b c d

F i g u r e 2 : D e t e c t i n g a n d t r a c k i n g t h e d o m i n a n t o b j e c t u s i n g t e m p o r a l i n t e g r a -

t i o n .

a - b T w o f r a m e s i n t h e s e q u e n c e . B o t h t h e b a c k g r o u n d a n d t h e h e l i c o p t e r a r e

m o v i n g .

c T h e s e g m e n t e d d o m i n a n t o b j e c t t h e b a c k g r o u n d u s i n g t h e d o m i n a n t a n e

m o t i o n c o m p u t e d b e t w e e n t h e r s t t w o f r a m e s . B l a c k r e g i o n s a r e t h o s e e x -

c l u d e d f r o m t h e d o m i n a n t o b j e c t .

d T h e s e g m e n t e d t r a c k e d o b j e c t a f t e r a f e w f r a m e s u s i n g t e m p o r a l i n t e g r a t i o n .

r s t d e t e c t e d o b j e c t f r o m t h e r e g i o n o f a n a l y s i s . T h e s c h e m e i s r e p e a t e d r e c u r s i v e l y , u n t i l n o m o r e

o b j e c t s c a n b e d e t e c t e d .

I n t h e e x a m p l e s h o w n i n F i g u r e 4 , t h e s e c o n d d o m i n a n t o b j e c t i s d e t e c t e d a n d t r a c k e d . T h e

d e t e c t i o n a n d t r a c k i n g o f s e v e r a l m o v i n g o b j e c t s c a n b e p e r f o r m e d i n p a r a l l e l , w i t h a d e l a y o f o n e

o r m o r e f r a m e b e t w e e n t h e c o m p u t a t i o n s f o r d i e r e n t o b j e c t s .

a b c d

F i g u r e 3 : D e t e c t i n g a n d t r a c k i n g t h e d o m i n a n t o b j e c t i n a n i n f r a r e d i m a g e

s e q u e n c e u s i n g t e m p o r a l i n t e g r a t i o n .

a - b T w o f r a m e s i n t h e s e q u e n c e . B o t h t h e b a c k g r o u n d a n d t h e c a r a r e m o v i n g .

c T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f t h e t r a c k e d o b j e c t t h e b a c k g r o u n d .

T h e b a c k g r o u n d r e m a i n s s h a r p w i t h l e s s n o i s e , w h i l e t h e m o v i n g c a r b l u r s o u t .

d T h e s e g m e n t e d t r a c k e d o b j e c t t h e b a c k g r o u n d u s i n g a n a n e m o t i o n

m o d e l . W h i t e r e g i o n s a r e t h o s e e x c l u d e d f r o m t h e t r a c k e d r e g i o n .

6


7/24

a b c

F i g u r e 4 : D e t e c t i n g a n d t r a c k i n g t h e s e c o n d o b j e c t u s i n g t e m p o r a l i n t e g r a t i o n .

a T h e i n i t i a l r e g i o n o f a n a l y s i s a f t e r e x c l u d i n g t h e r s t d o m i n a n t o b j e c t f r o m

F i g u r e 3 . d .

b T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f t h e s e c o n d t r a c k e d o b j e c t t h e c a r .

T h e c a r r e m a i n s s h a r p w h i l e t h e b a c k g r o u n d b l u r s o u t .

c S e g m e n t a t i o n o f t h e t r a c k e d c a r a f t e r 5 f r a m e s .

2 . 5 S e g m e n t a t i o n

O n c e a m o t i o n h a s b e e n d e t e r m i n e d , w e w o u l d l i k e t o i d e n t i f y t h e r e g i o n h a v i n g t h i s m o t i o n . T o

s i m p l i f y t h e p r o b l e m , t h e t w o i m a g e s a r e r e g i s t e r e d u s i n g t h e d e t e c t e d m o t i o n . T h e m o t i o n o f

t h e c o r r e s p o n d i n g r e g i o n i s c a n c e l e d a f t e r r e g i s t r a t i o n , a n d t h e t r a c k e d r e g i o n i s s t a t i o n a r y i n t h e

r e g i s t e r e d i m a g e s . T h e s e g m e n t a t i o n p r o b l e m r e d u c e s t h e r e f o r e t o i d e n t i f y i n g t h e s t a t i o n a r y r e g i o n s

i n t h e r e g i s t e r e d i m a g e s .

P i x e l s a r e c l a s s i e d a s m o v i n g o r s t a t i o n a r y u s i n g l o c a l a n a l y s i s . T h e m e a s u r e u s e d f o r t h e

c l a s s i c a t i o n i s t h e a v e r a g e o f t h e n o r m a l o w m a g n i t u d e s o v e r a s m a l l n e i g h b o r h o o d o f e a c h p i x e l

t y p i c a l l y a 3 3 n e i g h b o r h o o d . I n o r d e r t o c l a s s i f y c o r r e c t l y l a r g e r e g i o n s h a v i n g u n i f o r m i n t e n s i t y ,

a m u l t i - r e s o l u t i o n s c h e m e i s u s e d , a s i n l o w r e s o l u t i o n l e v e l s t h e u n i f o r m r e g i o n s a r e s m a l l . T h e

l o w e r r e s o l u t i o n c l a s s i c a t i o n i s p r o j e c t e d o n t h e h i g h e r r e s o l u t i o n l e v e l , a n d i s u p d a t e d a c c o r d i n g

t o h i g h e r r e s o l u t i o n i n f o r m a t i o n w h e n i t c o n i c t s t h e c l a s s i c a t i o n f r o m t h e l o w e r r e s o l u t i o n l e v e l .

7


8/24

3 I m p r o v e m e n t o f S p a t i a l R e s o l u t i o n

O n c e g o o d m o t i o n e s t i m a t i o n a n d s e g m e n t a t i o n o f a t r a c k e d o b j e c t a r e o b t a i n e d , i t b e c o m e s p o s s i b l e

t o e n h a n c e t h e i m a g e s o f t h i s o b j e c t .

R e s t o r a t i o n o f d e g r a d e d i m a g e s w h e n a m o d e l o f t h e d e g r a d a t i o n p r o c e s s i s g i v e n i s a n i l l -

c o n d i t i o n e d p r o b l e m 2 , 9 , 1 1 , 1 3 , 1 9 , 2 4 . T h e r e s o l u t i o n o f a n i m a g e i s d e t e r m i n e d b y t h e p h y s i c a l

c h a r a c t e r i s t i c s o f t h e s e n s o r : t h e o p t i c s , t h e d e n s i t y o f t h e d e t e c t o r e l e m e n t s , a n d t h e i r s p a t i a l

r e s p o n s e . R e s o l u t i o n i m p r o v e m e n t b y m o d i f y i n g t h e s e n s o r c a n b e p r o h i b i t i v e . A n i n c r e a s e i n t h e

s a m p l i n g r a t e c o u l d , h o w e v e r , b e a c h i e v e d b y o b t a i n i n g m o r e s a m p l e s o f t h e i m a g e d o b j e c t f r o m a

s e q u e n c e o f i m a g e s i n w h i c h t h e o b j e c t a p p e a r s m o v i n g . I n t h i s s e c t i o n w e p r e s e n t a n a l g o r i t h m

f o r p r o c e s s i n g i m a g e s e q u e n c e s t o o b t a i n i m p r o v e d r e s o l u t i o n o f d i e r e n t l y m o v i n g o b j e c t s . T h i s i s

a n e x t e n s i o n o f o u r e a r l i e r m e t h o d , w h i c h w a s p r e s e n t e d i n 1 4 .

W h i l e e a r l i e r r e s e a r c h o n s u p e r - r e s o l u t i o n 1 2 , 1 4 , 1 8 , 2 5 t r e a t e d o n l y s t a t i c s c e n e s a n d p u r e

t r a n s l a t i o n a l m o t i o n i n t h e i m a g e p l a n e , w e t r e a t d y n a m i c s c e n e s a n d m o r e c o m p l e x m o t i o n s . T h e

s e g m e n t a t i o n o f t h e i m a g e p l a n e i n t o t h e d i e r e n t l y m o v i n g o b j e c t s a n d t h e i r t r a c k i n g , u s i n g t h e

a l g o r i t h m m e n t i o n e d i n S e c t i o n 2 , e n a b l e s p r o c e s s i n g o f e a c h o b j e c t s e p a r a t e l y .

T h e I m a g i n g M o d e l . T h e i m a g i n g p r o c e s s , y i e l d i n g t h e o b s e r v e d i m a g e s e q u e n c e f g

k

g , i s m o d -

e l e d b y : g

k

m ; n =

k

h T

k

f x ; y +

k

x ; y , w h e r e

g

k

i s t h e s e n s e d i m a g e o f t h e t r a c k e d o b j e c t i n t h e k

t h

f r a m e .

f i s a h i g h r e s o l u t i o n i m a g e o f t h e t r a c k e d o b j e c t i n a d e s i r e d r e c o n s t r u c t i o n v i e w . F i n d i n g

f i s t h e o b j e c t i v e o f t h e s u p e r - r e s o l u t i o n a l g o r i t h m .

T

k

i s t h e 2 - D g e o m e t r i c t r a n s f o r m a t i o n f r o m f t o g

k

, d e t e r m i n e d b y t h e c o m p u t e d 2 - D m o t i o n

p a r a m e t e r s o f t h e t r a c k e d o b j e c t i n t h e i m a g e p l a n e n o t i n c l u d i n g t h e d e c r e a s e i n s a m p l i n g

r a t e b e t w e e n f a n d g

k

T

k

i s a s s u m e d t o b e i n v e r t i b l e .

h i s a b l u r r i n g o p e r a t o r , d e t e r m i n e d b y t h e P o i n t S p r e a d F u n c t i o n o f t h e s e n s o r P S F . W h e n

l a c k i n g k n o w l e d g e o f t h e s e n s o r ' s p r o p e r t i e s , i t i s a s s u m e d t o b e a G a u s s i a n .

k

i s a n a d d i t i v e n o i s e t e r m .

k

i s a d o w n s a m p l i n g o p e r a t o r w h i c h d i g i t i z e s a n d d e c i m a t e s t h e i m a g e i n t o p i x e l s a n d q u a n -

t i z e s t h e r e s u l t i n g p i x e l s v a l u e s .

T h e r e c e p t i v e e l d i n f o f a d e t e c t o r w h o s e o u t p u t i s t h e p i x e l g

k

m ; n i s u n i q u e l y d e n e d b y i t s

c e n t e r x ; y a n d i t s s h a p e . T h e s h a p e i s d e t e r m i n e d b y t h e r e g i o n o f s u p p o r t o f t h e b l u r r i n g o p e r a t o r

h , a n d b y t h e i n v e r s e g e o m e t r i c t r a n s f o r m a t i o n T

k

, 1

. S i m i l a r l y , t h e c e n t e r x ; y i s o b t a i n e d b y

T

k

, 1

m ; n

A n a t t e m p t i s m a d e t o c o n s t r u c t a h i g h e r r e s o l u t i o n i m a g e

^

f , w h i c h a p p r o x i m a t e s f a s a c c u -

r a t e l y a s p o s s i b l e , a n d s u r p a s s e s t h e v i s u a l q u a l i t y o f t h e o b s e r v e d i m a g e s i n f g

k

g . I t i s a s s u m e d

t h a t t h e a c c e l e r a t i o n o f t h e c a m e r a w h i l e i m a g i n g a s i n g l e i m a g e f r a m e i s n e g l i g i b l e .

8


9/24

Reconstructed Image

SimulatedImagingProcess

SimulatedLow-resolutionImages Images

Low-resolutionObserved

ProcessImaging

Original Image

Compare simulated and

observed low-resolution

images.

F i g u r e 5 : S c h e m a t i c d i a g r a m o f t h e s u p e r r e s o l u t i o n a l g o r i t h m . A

r e c o n s t r u c t e d i m a g e i s s o u g h t s u c h t h a t a f t e r s i m u l a t i n g t h e i m a g i n g

p r o c e s s , t h e s i m u l a t e d l o w - r e s o l u t i o n i m a g e s a r e c l o s e s t t o t h e o b -

s e r v e d l o w - r e s o l u t i o n i m a g e s . T h e s i m u l a t i o n o f t h e i m a g i n g p r o c e s s

i s e x p r e s s e d b y E q u a t i o n 3 .

T h e S u p e r - R e s o l u t i o n A l g o r i t h m . T h e p r e s e n t e d a l g o r i t h m f o r c r e a t i n g h i g h e r r e s o l u t i o n

i m a g e s i s i t e r a t i v e . S t a r t i n g w i t h a n i n i t i a l g u e s s f

0

f o r t h e h i g h r e s o l u t i o n i m a g e , t h e i m a g i n g

p r o c e s s i s s i m u l a t e d t o o b t a i n a s e t o f l o w r e s o l u t i o n i m a g e s f g

0

k

g

K

k = 1

c o r r e s p o n d i n g t o t h e o b s e r v e d

i n p u t i m a g e s f g

k

g

K

k = 1

I f f

0

w e r e t h e c o r r e c t h i g h r e s o l u t i o n i m a g e , t h e n t h e s i m u l a t e d i m a g e s

f g

0

k

g

K

k = 1

s h o u l d b e i d e n t i c a l t o t h e o b s e r v e d i m a g e s f g

k

g

K

k = 1

. T h e d i e r e n c e i m a g e s f g

k

, g

0

k

g

K

k = 1

a r e u s e d t o i m p r o v e t h e i n i t i a l g u e s s b y b a c k p r o j e c t i n g " e a c h v a l u e i n t h e d i e r e n c e i m a g e s o n t o

i t s r e c e p t i v e e l d i n f

0

, y i e l d i n g a n i m p r o v e d h i g h r e s o l u t i o n i m a g e f

1

. T h i s p r o c e s s i s r e p e a t e d

i t e r a t i v e l y t o m i n i m i z e t h e e r r o r f u n c t i o n

e

n

=

v

u

u

t

1

K

K

X

k = 1

k g

k

, g

n

k

k

2

2

T h e a l g o r i t h m i s d e s c r i b e d s c h e m a t i c a l l y i n F i g u r e 5 .

9


10/24

T h e i m a g i n g p r o c e s s o f g

k

a t t h e n

t h

i t e r a t i o n i s s i m u l a t e d b y :

g

n

k

= T

k

f

n

h s 3

w h e r e s d e n o t e s a d o w n s a m p l i n g o p e r a t o r b y a f a c t o r s , a n d * i s t h e c o n v o l u t i o n o p e r a t o r . T h e

i t e r a t i v e u p d a t e s c h e m e o f t h e h i g h r e s o l u t i o n i m a g e i s e x p r e s s e d b y :

f

n + 1

= f

n

+

1

K

K

X

k = 1

T

k

, 1

g

k

, g

n

k

" s p

4

w h e r e K i s t h e n u m b e r o f l o w r e s o l u t i o n i m a g e s , " s i s a n u p s a m p l i n g o p e r a t o r b y a f a c t o r s , a n d

p i s a b a c k p r o j e c t i o n " k e r n e l , d e t e r m i n e d b y h a n d T

k

a s e x p l a i n e d b e l o w . T h e a v e r a g e t a k i n g

i n E q u a t i o n 4 r e d u c e s a d d i t i v e n o i s e . T h e a l g o r i t h m i s n u m e r i c a l l y s i m i l a r t o c o m m o n i t e r a t i v e

m e t h o d s f o r s o l v i n g s e t s o f l i n e a r e q u a t i o n s 1 9 , a n d t h e r e f o r e h a s s i m i l a r p r o p e r t i e s , s u c h a s r a p i d

c o n v e r g e n c e s e e n e x t p a r a g r a p h .

I n F i g u r e 6 , t h e r e s o l u t i o n o f a c a r ' s l i c e n s e p l a t e w a s i m p r o v e d f r o m 1 5 f r a m e s .

A n a l y s i s a n d D i s c u s s i o n . W e i n t r o d u c e e x a c t a n a l y s i s o f t h e s u p e r r e s o l u t i o n a l g o r i t h m i n t h e

c a s e o f d e b l u r r i n g : R e s t o r i n g a n i m a g e f r o m K b l u r r e d i m a g e s t a k e n f r o m d i e r e n t v i e w i n g p o s i -

t i o n s o f t h e o b j e c t , w i t h 2 - D a n e t r a n s f o r m a t i o n s f T

k

g

K

k = 1

b e t w e e n t h e m a n d t h e r e c o n s t r u c t i o n

v i e w i n g p o s i t i o n , a n d w i t h o u t i n c r e a s i n g t h e s a m p l i n g r a t e . T h i s i s a s p e c i a l c a s e o f s u p e r r e s o l u t i o n ,

w h i c h i s s i m p l e r t o a n a l y z e . I n t h i s c a s e t h e i m a g i n g p r o c e s s i s e x p r e s s e d b y :

g

n

k

= T

k

f

n

h

a n d t h e r e s t o r a t i o n p r o c e s s i n E q u a t i o n 4 b e c o m e s :

f

n + 1

= f

n

+

1

K

K

X

k = 1

T

k

, 1

g

k

, g

n

k

p

; 5

T h e f o l l o w i n g t h e o r e m s s h o w t h a t t h e i t e r a t i v e s u p e r r e s o l u t i o n s c h e m e i s a n e e c t i v e d e b l u r r i n g

o p e r a t o r p r o o f s a r e g i v e n i n t h e a p p e n d i x .

T h e o r e m 3 . 1 T h e i t e r a t i o n s o f E q u a t i o n 5 c o n v e r g e t o t h e d e s i r e d d e b l u r r e d i m a g e f i . e . , a n

f t h a t f u l l l s : 8 k g

k

= T

k

f h , i f t h e f o l l o w i n g c o n d i t i o n h o l d s :

k , h p k

2

1

1

K

P

K

k = 1

k T

k

k

2

6

w h e r e d e n o t e s t h e u n i t y p u l s e f u n c t i o n c e n t e r e d a t 0 ; 0

R e m a r k : W h e n t h e 2 - D i m a g e m o t i o n s o f t h e t r a c k e d o b j e c t c o n s i s t o f o n l y 2 - D t r a n s l a t i o n s a n d

r o t a t i o n s , t h e n C o n d i t i o n 6 r e d u c e s t o k , h p k

2

1

P r o o f : s e e a p p e n d i x .

T h e o r e m 3 . 2 G i v e n C o n d i t i o n 6 , t h e a l g o r i t h m c o n v e r g e s a t a n e x p o n e n t i a l r a t e t h e n o r m o f

t h e e r r o r c o n v e r g e s t o z e r o f a s t e r t h a n q

n

f o r s o m e 0 q 1 , r e g a r d l e s s o f t h e c h o i c e o f i n i t i a l

g u e s s f

0

1 0


11/24

a b

c

F i g u r e 6 : I m p r o v e m e n t o f s p a t i a l r e s o l u t i o n u s i n g 1 5 f r a m e s . T h e

s a m p l i n g r a t e w a s i n c r e a s e d b y 2 i n b o t h d i r e c t i o n s .

a T h e b e s t f r a m e f r o m t h e i m a g e s e q u e n c e .

b T h e l i c e n s e p l a t e m a g n i e d b y 2 u s i n g b i l i n e a r i n t e r p o l a t i o n .

c T h e i m p r o v e d r e s o l u t i o n i m a g e .

P r o o f : s e e a p p e n d i x .

I t i s i m p o r t a n t t o n o t e t h a t t h e o r i g i n a l h i g h r e s o l u t i o n f r e q u e n c i e s m a y n o t a l w a y s b e f u l l y

r e s t o r e d . F o r e x a m p l e , i f t h e b l u r r i n g f u n c t i o n i s a n i d e a l l o w p a s s l t e r , a n d i t s F o u r i e r t r a n s f o r m

h a s z e r o v a l u e s a t h i g h f r e q u e n c i e s , i t i s o b v i o u s t h a t t h e f r e q u e n c y c o m p o n e n t s w h i c h h a v e b e e n

l t e r e d o u t c a n n o t b e r e s t o r e d . I n s u c h c a s e s , t h e r e i s m o r e t h a n o n e h i g h r e s o l u t i o n i m a g e w h i c h

g i v e s t h e s a m e l o w r e s o l u t i o n i m a g e s a f t e r t h e i m a g i n g p r o c e s s . A c c o r d i n g t o T h e o r e m 3 . 2 t h e

a l g o r i t h m c o n v e r g e s r e g a r d l e s s o f t h e c h o i c e o f t h e i n i t i a l g u e s s . H o w e v e r , s i n c e t h e r e m a y b e m o r e

t h a n o n e c o r r e c t s o l u t i o n t o t h e p r o b l e m , t h e c h o i c e o f t h e i n i t i a l g u e s s d o e s d e t e r m i n e w h i c h o f t h e

s o l u t i o n s i s r e a c h e d . A g o o d c h o i c e o f t h e i n i t i a l g u e s s i s t h e a v e r a g e o f t h e r e g i s t e r e d l o w r e s o l u t i o n

i m a g e s o f t h e t r a c k e d o b j e c t i n t h e d e s i r e d r e c o n s t r u c t i o n v i e w : f

0

=

1

K

P

K

k = 1

T

k

, 1

g

k

. S u c h a n

i n i t i a l g u e s s l e a d s t h e a l g o r i t h m t o a s m o o t h s o l u t i o n , w h i c h i s u s u a l l y a d e s i r e d f e a t u r e .

A n o t h e r i s s u e i s t h e c h o i c e o f t h e b a c k p r o j e c t i o n k e r n e l p . U n l i k e h , w h i c h r e p r e s e n t s p r o p e r t i e s

o f t h e s e n s o r t h e P S F , t h e r e i s s o m e f r e e d o m i n t h e c h o i c e o f p p i s c h o s e n s o t h a t C o n d i t i o n 6

1 1


12/24

h o l d s . T h e s m a l l e r k , h p k

2

i s , t h e f a s t e r t h e a l g o r i t h m c o n v e r g e s s e e p r o o f o f T h e o r e m 3 . 1 .

I d e a l l y , i f k , h p k

2

= 0 , t h e n t h e a l g o r i t h m c o n v e r g e s i n a s i n g l e i t e r a t i o n . T h i s , h o w e v e r ,

m e a n s t h a t p i s t h e i n v e r s e k e r n e l o f h , w h i c h m a y n o t e x i s t a s h i s a l o w p a s s l t e r , o r w h i c h

m a y n u m e r i c a l l y b e u n s t a b l e t o c o m p u t e . P e r m i t t i n g k , h p k

2

0 b u t s t i l l w i t h i n t h e b o u n d s

o f C o n d i t i o n 6 , a l l o w s p t o b e o t h e r t h a n t h e e x a c t i n v e r s e o f h , a n d t h e r e f o r e i n c r e a s e s t h e

n u m e r i c a l s t a b i l i t y , b u t s l o w s d o w n t h e s p e e d o f c o n v e r g e n c e . I n o t h e r w o r d s , t h e r e i s a t r a d e o

b e t w e e n t h e s t a b i l i t y o f t h e a l g o r i t h m a n d i t s s p e e d o f c o n v e r g e n c e , d e t e r m i n e d b y t h e c h o i c e o f p

T h e a l g o r i t h m c o n v e r g e s r a p i d l y u s u a l l y w i t h i n l e s s t h a n 5 i t e r a t i o n s , a n d c a n b e i m p l e m e n t e d

o n p a r a l l e l m a c h i n e s . T h e c o m p l e x i t y o f t h e a l g o r i t h m i s l o w : O K N l o g N o p e r a t i o n s p e r i t e r a -

t i o n , w h e r e N i s t h e n u m b e r o f p i x e l s i n t h e h i g h r e s o l u t i o n i m a g e f , a n d K i s t h e n u m b e r o f l o w

r e s o l u t i o n i m a g e s . S i n c e t h e n u m b e r o f i t e r a t i o n s i s v e r y s m a l l , t h i s i s a l s o a g o o d e s t i m a t e o f t h e

c o m p l e x i t y o f t h e e n t i r e a l g o r i t h m . T h e a l g o r i t h m c a n b e i m p l e m e n t e d i n r e a l - t i m e , a s o n l y s i m p l e

a r i t h m e t i c o p e r a t i o n s a r e i n v o l v e d i n t h e c o m p u t a t i o n .

1 2


13/24

4 R e c o n s t r u c t i o n o f O c c l u s i o n s

W h e n p a r t s o f a t r a c k e d o b j e c t a r e o c c l u d e d i n s o m e f r a m e s b y a n o t h e r m o v i n g o b j e c t , b u t t h e s e

p a r t s a p p e a r i n o t h e r f r a m e s , a m o r e c o m p l e t e v i e w o f t h e o c c l u d e d o b j e c t c a n b e r e c o n s t r u c t e d

1 5 , 2 6 . T h e i m a g e f r a m e s a r e r e g i s t e r e d u s i n g t h e c o m p u t e d m o t i o n p a r a m e t e r s o f t h e t r a c k e d

o b j e c t , a n d t h e o c c l u d e d p a r t s o f t h a t o b j e c t a r e t h e n r e c o n s t r u c t e d b y t e m p o r a l l y a v e r a g i n g g r a y

l e v e l s o f a l l p i x e l s w h i c h w e r e c l a s s i e d a s o b j e c t p i x e l s i n t h e c o r r e s p o n d i n g s e g m e n t a t i o n m a s k s .

T h i s p r o c e s s i g n o r e s t h e p i x e l s w h e n t h e y a r e o c c l u d e d b y a n o t h e r m o v i n g o b j e c t i n t h e f o r e g r o u n d ,

a n d t h e m i s s i n g r e g i o n s w i l l b e r e c o n s t r u c t e d e v e n i f t h e y a r e o c c l u d e d i n m o s t f r a m e s .

I n t h e e x a m p l e s h o w n i n F i g u r e 7 , t h e b a c k g r o u n d o f t h e i m a g e s e q u e n c e t h e r o o m s c e n e

w a s c o m p l e t e l y r e c o n s t r u c t e d , e l i m i n a t i n g t h e w a l k i n g g i r l f r o m t h e s c e n e . T h e b a c k g r o u n d w a s

r e c o n s t r u c t e d i n a l l f r a m e s , g e n e r a t i n g a n e w s e q u e n c e w i t h n o t r a c e o f t h e m o v i n g g i r l .

1 3


14/24

a b c

F i g u r e 7 : R e c o n s t r u c t i o n o f o c c l u d e d r e g i o n s .

a F i v e f r a m e s f r o m t h e s e q u e n c e . T h e c a m e r a i s p a n n i n g , a n d a g i r l

w a l k s f r o m r i g h t t o l e f t . T h e g i r l a p p e a r s i n a l l f r a m e s a n d o c c l u d e s

p a r t s o f t h e b a c k g r o u n d i n e a c h f r a m e i n t h e s e q u e n c e .

b S e g m e n t a t i o n : b l a c k r e g i o n s a r e t h o s e e x c l u d e d f r o m t h e t r a c k e d

b a c k g r o u n d .

c F u l l r e c o n s t r u c t i o n s o f t h e b a c k g r o u n d i n a l l f r a m e s . T h e g i r l i s

e l i m i n a t e d .

1 4


15/24

5 R e c o n s t r u c t i o n o f O b j e c t s i n T r a n s p a r e n t M o t i o n

A r e g i o n c o n t a i n s t r a n s p a r e n t m o t i o n s i f i t c o n t a i n s s e v e r a l d i e r e n t l y m o v i n g i m a g e p a t t e r n s t h a t

a p p e a r s u p e r i m p o s e d . F o r e x a m p l e : m o v i n g s h a d o w s , s p o t l i g h t s , r e e c t i o n s i n w a t e r , a n o b j e c t

v i e w e d t h r o u g h a n o t h e r t r a n s p a r e n t o b j e c t , e t c . I n t h i s s e c t i o n , w e p r e s e n t a m e t h o d f o r i s o l a t i n g

a n d r e c o n s t r u c t i n g t r a c k e d o b j e c t s i n t r a n s p a r e n t m o t i o n .

T h e p r e s e n t e d s c h e m e a s s u m e s a d d i t i v e t r a n s p a r e n c y s u c h a s i n r e e c t i o n s . H o w e v e r , t h i s

s c h e m e c o u l d b e a p p l i e d a l s o t o c a s e s o f m u l t i p l i c a t i v e t r a n s p a r e n c y a s i n m o v i n g s h a d o w s a n d

v i e w i n g t h r o u g h a s e m i - t r a n s p a r e n t m e d i a b y u s i n g t h e l o g a r i t h m o p e r a t i o n . T a k i n g t h e l o g a r i t h m

o f t h e i n p u t i m a g e s c h a n g e s t h e m u l t i p l i c a t i v e e e c t s i n t o a d d i t i v e e e c t s , a n d o n c e t h e t r a c k i n g i s

d o n e , t h e e x p o n e n t i s t a k e n t o r e t u r n t o t h e o r i g i n a l s c a l e .

P r e v i o u s a n a l y s i s o f t r a n s p a r e n c y 6 , 8 , 2 1 , 2 2 , 2 3 a s s u m e d c o n s t a n t m o t i o n o v e r s e v e r a l s u c -

c e s s i v e f r a m e s , w h i c h e x c l u d e s m o s t s e q u e n c e s t a k e n f r o m a n u n s t a b i l i z e d m o v i n g c a m e r a . S o m e

m e t h o d s 6 , 2 1 , 2 3 e l e g a n t l y a v o i d t h e s e g m e n t a t i o n p r o b l e m . T h e y r e q u i r e , h o w e v e r , h i g h o r d e r

d e r i v a t i v e s t h e o r d e r i n c r e a s e s w i t h t h e n u m b e r o f o b j e c t s , w h i c h m a k e t h e m s e n s i t i v e t o n o i s y

d a t a .

I n o u r w o r k w e d o n o t a s s u m e a n y m o t i o n c o n s t a n c y . W e t e m p o r a l l y i n t e g r a t e t h e i m a g e

f r a m e s r a t h e r t h a n u s e t e m p o r a l d e r i v a t i v e s . T h i s p r o v i d e s r o b u s t n e s s a n d n u m e r i c a l s t a b i l i t y t o

t h e t r a c k i n g a l g o r i t h m . T h i s a p p r o a c h n o t o n l y t r a c k s t h e m o v i n g t r a n s p a r e n t o b j e c t s , b u t a l s o

r e c o n s t r u c t s t h e m .

T r a n s p a r e n t m o t i o n s y i e l d s e v e r a l m o t i o n c o m p o n e n t s a t e a c h p o i n t , a n d s e g m e n t a t i o n c a n n o t

b e u s e d t o i s o l a t e o n e o f t h e t r a n s p a r e n t o b j e c t s . I n p r a c t i c e , h o w e v e r , d u e t o v a r y i n g i m a g e

c o n t r a s t , i n m a n y i m a g e r e g i o n s o n e o b j e c t i s m o r e p r o m i n e n t t h a n o t h e r o b j e c t s , a n d s e g m e n t a t i o n

c a n b e u s e d t o e x t r a c t p i x e l s w h i c h s u p p o r t b e t t e r a s i n g l e m o t i o n i n t h e r e g i o n o f a n a l y s i s . W e u s e

t h e t e m p o r a l i n t e g r a t i o n s c h e m e d e s c r i b e d i n S e c t i o n 2 . 3 t o t r a c k t h e d o m i n a n t t r a n s p a r e n t o b j e c t .

T h e t e m p o r a l a v e r a g i n g r e s t o r e s t h e d o m i n a n t t r a n s p a r e n t o b j e c t i n i t s i n t e r n a l r e p r e s e n t a t i o n

i m a g e , w h i l e b l u r r i n g o u t t h e o t h e r t r a n s p a r e n t o b j e c t s , m a k i n g t h e m l e s s n o t i c e a b l e . C o m p a r i n g

e a c h n e w f r a m e t o t h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f t h e t r a c k e d o b j e c t r a t h e r t h a n t o t h e p r e v i o u s

f r a m e g i v e s t h e a l g o r i t h m a s t r o n g b i a s t o k e e p t r a c k i n g t h e s a m e t r a n s p a r e n t o b j e c t , a s i t i s t h e

o n l y o b j e c t i n t h e i n t e r n a l i m a g e t h a t i s s t i l l s i m i l a r t o i t s i m a g e i n t h e n e w f r a m e F i g u r e 8 .

F o r r e c o v e r i n g t h e s e c o n d t r a n s p a r e n t o b j e c t , t h e t e m p o r a l i n t e g r a t i o n t r a c k i n g t e c h n i q u e i s

a p p l i e d o n c e m o r e t o t h e s e q u e n c e , a f t e r s o m e d e l a y . L e t A v

1

t d e n o t e t h e i n t e r n a l r e p r e s e n t a t i o n

i m a g e o f t h e r s t t r a n s p a r e n t o b j e c t . S t a r t i n g a t f r a m e I t , t h e a l g o r i t h m i s a p p l i e d o n l y t o p i x e l s

f o r w h i c h t h e v a l u e o f I t , A v

1

t i s h i g h . T h i s d i e r e n c e i m a g e h a s h i g h v a l u e s i n r e g i o n s

w h i c h c o n t a i n p r o m i n e n t f e a t u r e s o f t r a n s p a r e n t o b j e c t s i n I t t h a t f a d e d o u t i n t h e i n t e r n a l

r e p r e s e n t a t i o n i m a g e A v

1

t , a n d l o w v a l u e s i n r e g i o n s w h i c h c o r r e s p o n d t o t h e r s t d o m i n a n t

t r a n s p a r e n t o b j e c t . T h e r e f o r e , w e u s e t h e v a l u e s o f t h e a b s o l u t e d i e r e n c e i m a g e a s a n i n i t i a l m a s k

f o r t h e s e a r c h o f t h e n e x t d o m i n a n t o b j e c t i n t h e t e m p o r a l i n t e g r a t i o n a l g o r i t h m f r o m S e c t i o n 2 . 3 .

T h e t r a c k i n g a l g o r i t h m i s a p p l i e d o n c e a g a i n t o t h e o r i g i n a l i m a g e s e q u e n c e , a n d n o t t o f r a m e

d i e r e n c e s a s i n 6 . N o w t h a t t h e a l g o r i t h m t r a c k s t h e s e c o n d d o m i n a n t o b j e c t , t h e n e w i n t e r n a l

r e p r e s e n t a t i o n i m a g e A v

2

t r e s t o r e s t h e s e c o n d d o m i n a n t t r a n s p a r e n t o b j e c t , a n d b l u r s o u t t h e

o t h e r t r a n s p a r e n t o b j e c t s , i n c l u d i n g t h e r s t d o m i n a n t o b j e c t .

1 5


16/24

a b

c d

F i g u r e 8 : R e c o n s t r u c t i o n o f t r a n s p a r e n t " o b j e c t s .

a - b T h e r s t a n d l a s t f r a m e s i n a s e q u e n c e . A m o v i n g t r i p o d i s r e e c t e d i n

t h e g l a s s o f a p i c t u r e o f o w e r s .

c T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f t h e r s t t r a c k e d o b j e c t t h e p i c t u r e

o f o w e r s a f t e r 1 4 f r a m e s . T h e p i c t u r e o f o w e r s w a s r e c o n s t r u c t e d . T h e

r e e c t i o n o f t h e t r i p o d f a d e d o u t .

d T h e i n t e r n a l r e p r e s e n t a t i o n i m a g e o f t h e s e c o n d t r a c k e d o b j e c t t h e r e e c t i o n

o f t h e t r i p o d a f t e r 1 4 f r a m e s . T h e r e e c t i o n o f t h e t r i p o d w a s r e c o n s t r u c t e d .

T h e p i c t u r e o f o w e r s f a d e d o u t .

I n F i g u r e 8 , t h e r e c o n s t r u c t i o n o f t w o t r a n s p a r e n t m o v i n g o b j e c t s i n a r e a l i m a g e s e q u e n c e i s

s h o w n .

1 6


17/24

6 C o n c l u d i n g R e m a r k s

T e m p o r a l i n t e g r a t i o n o f r e g i s t e r e d i m a g e s p r o v e s t o b e a p o w e r f u l a p p r o a c h t o m o t i o n a n a l y s i s ,

e n a b l i n g h u m a n - l i k e t r a c k i n g o f m o v i n g o b j e c t s . O n c e g o o d m o t i o n e s t i m a t i o n a n d s e g m e n t a t i o n

o f a t r a c k e d o b j e c t a r e o b t a i n e d , i t b e c o m e s p o s s i b l e t o e n h a n c e t h e o b j e c t i m a g e s . F u s i n g i n f o r m a -

t i o n o n t r a c k e d o b j e c t s f r o m s e v e r a l r e g i s t e r e d f r a m e s e n a b l e s r e c o n s t r u c t i o n o f o c c l u d e d r e g i o n s ,

i m p r o v e m e n t o f i m a g e r e s o l u t i o n , a n d r e c o n s t r u c t i o n o f t r a n s p a r e n t m o v i n g o b j e c t s .

1 7


18/24

A P P E N D I X

T h e a p p e n d i x c o n t a i n s p r o o f s o f T h e o r e m s 3 . 1 a n d 3 . 2 . T h e f o l l o w i n g n o t a t i o n s w i l l b e u s e d :

T d e n o t e s t h e t r a n s f o r m a t i o n f r o m t h e d e b l u r r e d i m a g e f t o a b l u r r e d i m a g e g

~

T d e n o t e s t h e r e s p e c t i v e 2 - D a n e t r a n s f o r m a t i o n d e s c r i b i n g t h e g e o m e t r i c t r a n s f o r m a t i o n

o f p i x e l c o o r d i n a t e s f r o m f t o g , i . e . ,

T f x ; y = f

~

T

, 1

x ; y

R e m a r k s :

1

~

T i s a s s u m e d t o b e i n v e r t i b l e .

2 . I t i s e a s y t o s h o w f r o m t h i s d e n i t i o n t h a t T i s a l i n e a r t r a n s f o r m a t i o n o f f

S i n c e

~

T i s a 2 - D a n e t r a n s f o r m a t i o n , i t c a n b e e x p r e s s e d i n m a t r i x n o t a t i o n b y :

~

T x ; y =

~

d + M

x

y

!

;

w h e r e

~

d i s a 2 1 v e c t o r , a n d M i s a 2 2 m a t r i x .

~

M

T

d e n o t e s t h e l i n e a r t r a n s f o r m a t i o n p a r t o f

~

T o n p i x e l c o o r d i n a t e s , w h i c h u s e s t h e m a t r i x

M o n l y w i t h o u t t h e d i s p l a c e m e n t

~

d , i . e . ,

~

M

T

x ; y = M

x

y

!

;

a n d r e s p e c t i v e l y , M

T

i s t h e l i n e a r t r a n s f o r m a t i o n o n i m a g e s d e n e d b y :

M

T

f x ; y = f

~

M

, 1

T

x ; y

d e t M d e n o t e s t h e d e t e r m i n a n t o f t h e m a t r i x M

I n o r d e r t o p r o v e T h e o r e m s 3 . 1 a n d 3 . 2 , w e i n t r o d u c e t h e f o l l o w i n g t w o l e m m a s :

L e m m a 1

1 . a k T k

2

= d e t M

1

2

1 . b k T

, 1

k

2

=

1

d e t M

1

2

1 . c k M

T

k

2

= d e t M

1

2

1 . d k M

T

1

k

2

=

1

d e t M

1

2

R e m a r k : I t f o l l o w s f r o m t h i s l e m m a t h a t w h e n e v e r t h e a n e t r a n s f o r m a t i o n

~

T i s l i m i t e d t o 2 - D

t r a n s l a t i o n s a n d r o t a t i o n s , t h e n k T k

2

= 1 . W h e n t h e t r a n s f o r m a t i o n c o n t a i n s a s c a l i n g b y a f a c t o r

s , t h e n k T k

2

= s

1 8


19/24

P r o o f :

1 . a

k T f k

2

=

Z

1

, 1

Z

1

, 1

T f x ; y

2

d x d y

1

2

=

Z

1

, 1

Z

1

, 1

f

~

T

, 1

x ; y

2

d x d y

1

2

=

Z

1

, 1

Z

1

, 1

f u ; v

2

d e t M d u d v

1

2

c h a n g e o f i n t e g r a l v a r i a b l e s b y u ; v =

~

T

, 1

x ; y

= d e t M

1

2

k f k

2

T h e r e f o r e :

k T k

2

d e f

= S u p

k f k

2

= 1

k T f k

2

= S u p

k f k

2

= 1

d e t M

1

2

k f k

2

= d e t M

1

2

S u p

k f k

2

= 1

k f k

2

= d e t M

1

2

1 . b

I t i s e a s y t o s h o w t h a t

T

, 1

x ; y =

~

T

, 1

x ; y = , M

, 1

~

d + M

, 1

x

y

!

. T h e r e f o r e ,

a c c o r d i n g t o L e m m a 1 . a , k T

, 1

k

2

= d e t M

, 1

1

2

=

1

d e t M

1

2

1 . c

S i n c e

~

M

T

x ; y = M

x

y

!

, t h e n a c c o r d i n g t o L e m m a 1 . a k M

T

k

2

= d e t M

1

2

1 . d

I t i s e a s y t o s h o w t h a t M

T

1 = M

T

, 1

. T h e r e f o r e , a c c o r d i n g t o L e m m a s 1 . b a n d 1 . c ,

k M

T

1 k

2

=

1

d e t M

1

2

L e m m a 2

T f

1

f

2

=

1

k T k

2

2

T f

1

M

T

f

2

w h e r e d e n o t e s t h e c o n v o l u t i o n o p e r a t o r .

1 9


20/24

P r o o f :

T f

1

M

T

f

2

x ; y =

Z

1

, 1

Z

1

, 1

T f

1

; M

T

f

2

x , ; y , d d

=

Z

1

, 1

Z

1

, 1

f

1

~

T

, 1

;

f

2

~

M

, 1

T

x , ; y ,

d d

=

Z

1

, 1

Z

1

, 1

f

1

~

T

, 1

;

f

2

~

M

, 1

T

x ; y ,

~

M

, 1

T

;

d d

=

Z

1

, 1

Z

1

, 1

f

1

~

T

, 1

;

f

2

~

T

, 1

x ; y ,

~

T

, 1

;

d d

=

Z

1

, 1

Z

1

, 1

f

1

; f

2

~

T

, 1

x ; y , ;

d e t M d d

c h a n g e o f i n t e g r a l v a r i a b l e s b y ; =

~

T

, 1

;

= d e t M f

1

f

2

~

T

, 1

x ; y

= d e t M T f

1

f

2

x ; y

= k T k

2

2

T f

1

f

2

x ; y u s i n g L e m m a 1 . a

T h e o r e m 3 . 1

L e t T

k

d e n o t e t h e t r a n s f o r m a t i o n f r o m t h e d e b l u r r e d i m a g e f t o t h e b l u r r e d i m a g e g

k

T h e i t e r a t i o n s

o f E q u a t i o n 5 c o n v e r g e t o t h e d e s i r e d d e b l u r r e d i m a g e f i . e . , a n f t h a t f u l l l s : 8 k g

k

=

T

k

f h , i f t h e f o l l o w i n g c o n d i t i o n h o l d s :

k , h p k

2

1

1

K

P

K

k = 1

k T

k

k

2

6

w h e r e d e n o t e s t h e u n i t y p u l s e f u n c t i o n c e n t e r e d a t 0 ; 0

P r o o f : M a t h e m a t i c a l m a n i p u l a t i o n s o n t h e l e f t h a n d s i d e o f E q u a t i o n 5 y i e l d :

f

n + 1

= f

n

+

1

K

K

X

k = 1

T

k

, 1

g

k

, g

n

k

p

=

1

K

K

X

k = 1

f

n

+ T

k

, 1

g

k

, g

n

k

p

=

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

+ g

k

, g

n

k

p

=

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

+ g

k

p , g

n

k

p

=

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

+ g

k

p , T

k

f

n

h p

2 0


21/24

=

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

, h p + g

k

p

T h e r e f o r e ,

f

n + 1

=

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

, h p + g

k

p

7

i s a n o t h e r w a y o f e x p r e s s i n g t h e i t e r a t i v e s c h e m e d e n e d b y E q u a t i o n 5 .

I t i s e a s y t o s h o w t h a t t h e d e s i r e d f i s a x e d p o i n t o f E q u a t i o n 7 , b y r e p l a c i n g f

n + 1

a n d

f

n

w i t h f , a n d g

k

w i t h T

k

f h . T h e r e f o r e ,

f =

1

K

K

X

k = 1

T

k

, 1

T

k

f , h p + g

k

p 8

W e s h a l l n o w s h o w t h a t l i m

n ! 1

f

n

= f :

k E r r

n + 1

k

2

= k f

n + 1

, f k

2

= k

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

, h p + g

k

p

,

1

K

K

X

k = 1

T

k

, 1

T

k

f , h p + g

k

p k

2

u s i n g 7 a n d 8

= k

1

K

K

X

k = 1

T

k

, 1

T

k

f

n

, f , h p

k

2

= k

1

K

K

X

k = 1

d e t M

k

f

n

, f M

T

k

1 , h p

k

2

u s i n g L e m m a 2 a n d L e m m a 1 . b

= k f

n

, f

1

K

K

X

k = 1

d e t M

k

M

T

k

1 , h p

k

2

k f

n

, f k

2

1

K

K

X

k = 1

d e t M

k

k M

T

k

1 , h p k

2

k f

n

, f k

2

1

K

K

X

k = 1

d e t M

k

k M

T

k

1 k

2

k , h p k

2

= k E r r

n

k

2

k , h p k

2

1

K

K

X

k = 1

d e t M

k

k M

T

k

1 k

2

= k E r r

n

k

2

k , h p k

2

1

K

K

X

k = 1

d e t M

k

1

d e t M

k

1

2

!

u s i n g L e m m a 1 . d

= k E r r

n

k

2

k , h p k

2

1

K

K

X

k = 1

d e t M

k

1

2

2 1


22/24

. u n f o l d i n g t h e r e c u r s i o n

k E r r

0

k

2

k , h p k

2

1

K

K

X

k = 1

d e t M

k

1

2

!

n + 1

A c c o r d i n g t o C o n d i t i o n 6 a n d L e m m a 1 . a

k , h p k

2

1

K

K

X

k = 1

d e t M

k

1

2

1 ;

t h e r e f o r e

l i m

n ! 1

k , h p k

2

1

K

K

X

k = 1

d e t M

k

1

2

!

n + 1

= 0 ; 9

a n d t h e r e f o r e

l i m

n ! 1

k E r r

n

k

2

= 0

T h i s p r o v e s t h a t l i m

n ! 1

f

n

= f

R e m a r k : W h e n t h e 2 - D i m a g e m o t i o n s o f t h e t r a c k e d o b j e c t c o n s i s t o f o n l y 2 - D t r a n s l a t i o n s a n d

r o t a t i o n s , t h e n C o n d i t i o n 6 r e d u c e s t o k , h p k

2

1 . T h e r e a s o n f o r t h i s i s t h a t d e t M

k

= 1

f o r s u c h a n e t r a n s f o r m a t i o n s

~

T

k

, a n d t h e r e f o r e , a c c o r d i n g t o L e m m a 1 . a : k T

k

k

2

= 1

T h e o r e m 3 . 2

G i v e n C o n d i t i o n 6 , t h e a l g o r i t h m c o n v e r g e s a t a n e x p o n e n t i a l r a t e t h e n o r m o f t h e e r r o r c o n v e r g e s

t o z e r o f a s t e r t h a n q

n

f o r s o m e 0 q 1 , r e g a r d l e s s o f t h e c h o i c e o f i n i t i a l g u e s s f

0

P r o o f : E q u a t i o n 9 c o n r m s t h e e x p o n e n t i a l s p e e d o f c o n v e r g e n c e . T h e p r o o f o f T h e o r e m 3 . 1

s h o w s t h a t l i m

n ! 1

k E r r

n

k

2

= 0 r e g a r d l e s s o f t h e m a g n i t u d e k E r r

0

k

2

; a n d t h e r e f o r e t h e

c h o i c e o f t h e i n i t i a l g u e s s f

0

d o e s n o t a e c t t h e c o n v e r g e n c e .

R e f e r e n c e s

1 G . A d i v . D e t e r m i n i n g t h r e e - d i m e n s i o n a l m o t i o n a n d s t r u c t u r e f r o m o p t i c a l o w g e n e r a t e d b y

s e v e r a l m o v i n g o b j e c t s . I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 7 4 : 3 8 4

4 0 1 , J u l y 1 9 8 5 .

2 H . C . A n d r e w s a n d B . R . H u n t , e d i t o r s . D i g i t a l I m a g e R e s t o r a t i o n . P r e n t i c e H a l l , 1 9 7 7 .

3 J . R . B e r g e n a n d E . H . A d e l s o n . H i e r a r c h i c a l , c o m p u t a t i o n a l l y e c i e n t m o t i o n e s t i m a t i o n a l -

g o r i t h m . J . O p t . S o c . A m . A . , 4 : 3 5 , 1 9 8 7 .

4 J . R . B e r g e n , P . A n a n d a n , K . J . H a n n a , a n d R . H i n g o r a n i . H i e r a r c h i c a l m o d e l - b a s e d m o t i o n

e s t i m a t i o n . I n E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s 2 3 7 2 5 2 , S a n t a M a r g a r i t a

L i g u r e , M a y 1 9 9 2 .

2 2


23/24

5 J . R . B e r g e n , P . J . B u r t , K . H a n n a , R . H i n g o r a n i , P . J e a n n e , a n d S . P e l e g . D y n a m i c m u l t i p l e -

m o t i o n c o m p u t a t i o n . I n Y . A . F e l d m a n a n d A . B r u c k s t e i n , e d i t o r s , A r t i c i a l I n t e l l i g e n c e a n d

C o m p u t e r V i s i o n : P r o c e e d i n g s o f t h e I s r a e l i C o n f e r e n c e , p a g e s 1 4 7 1 5 6 . E l s e v i e r , 1 9 9 1 .

6 J . R . B e r g e n , P . J . B u r t , R . H i n g o r a n i , a n d S . P e l e g . C o m p u t i n g t w o m o t i o n s f r o m t h r e e f r a m e s .

I n I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s 2 7 3 2 , O s a k a , J a p a n , D e c e m b e r 1 9 9 0 .

7 P . J . B u r t , R . H i n g o r a n i , a n d R . J . K o l c z y n s k i . M e c h a n i s m s f o r i s o l a t i n g c o m p o n e n t p a t t e r n s

i n t h e s e q u e n t i a l a n a l y s i s o f m u l t i p l e m o t i o n . I n I E E E W o r k s h o p o n V i s u a l M o t i o n , p a g e s

1 8 7 1 9 3 , P r i n c e t o n , N e w J e r s e y , O c t o b e r 1 9 9 1 .

8 T . D a r r e l l a n d A . P e n t l a n d . R o b u s t e s t i m a t i o n o f a m u l t i - l a y e r e d m o t i o n r e p r e s e n t a t i o n . I n

I E E E W o r k s h o p o n V i s u a l M o t i o n , p a g e s 1 7 3 1 7 8 , P r i n c e t o n , N e w J e r s e y , O c t o b e r 1 9 9 1 .

9 R . C . G o n z a l e z . I m a g e e n h a n c e m e n t a n d r e s t o r a t i o n . I n T . Y . Y o u n g a n d K . S . F u , e d i t o r s ,

H a n d b o o k o f P a t t e r n R e c o g n i t i o n a n d I m a g e P r o c e s s i n g , p a g e s 1 9 1 2 1 3 . A c a d e m i c P r e s s , 1 9 8 6 .

1 0 B . K . P . H o r n a n d B . G . S c h u n c k . D e t e r m i n i n g o p t i c a l o w . A r t i c i a l I n t e l l i g e n c e , 1 7 : 1 8 5 2 0 3 ,

1 9 8 1 .

1 1 T . S . H u a n g , e d i t o r . I m a g e E n h a n c e m e n t a n d R e s t o r a t i o n . J A I P r e s s , 1 9 8 6 .

1 2 T . S . H u a n g a n d R . Y . T s a i . M u l t i - f r a m e i m a g e r e s t o r a t i o n a n d r e g i s t r a t i o n . I n T . S . H u a n g ,

e d i t o r , A d v a n c e s i n C o m p u t e r V i s i o n a n d I m a g e P r o c e s s i n g , v o l u m e 1 , p a g e s 3 1 7 3 3 9 . J A I

P r e s s I n c . , 1 9 8 4 .

1 3 R . A . H u m m e l , B . K i m i a , a n d S . W . Z u c k e r . D e b l u r r i n g g a u s s i a n b l u r . C o m p u t e r V i s i o n ,

G r a p h i c s , a n d I m a g e P r o c e s s i n g , 3 8 : 6 6 8 0 , 1 9 8 6 .

1 4 M . I r a n i a n d S . P e l e g . I m p r o v i n g r e s o l u t i o n b y i m a g e r e g i s t r a t i o n . C V G I P : G r a p h i c a l M o d e l s

a n d I m a g e P r o c e s s i n g , 5 3 : 2 3 1 2 3 9 , M a y 1 9 9 1 .

1 5 M . I r a n i a n d S . P e l e g . I m a g e s e q u e n c e e n h a n c e m e n t u s i n g m u l t i p l e m o t i o n s a n a l y s i s . I n I E E E

C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , C h a m p a i g n , J u n e 1 9 9 2 .

1 6 M . I r a n i , B . R o u s s o , a n d S . P e l e g . D e t e c t i n g a n d t r a c k i n g m u l t i p l e m o v i n g o b j e c t s u s i n g

t e m p o r a l i n t e g r a t i o n . I n E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s 2 8 2 2 8 7 , S a n t a

M a r g a r i t a L i g u r e , M a y 1 9 9 2 .

1 7 M . I r a n i , B . R o u s s o , a n d S . P e l e g . C o m p u t i n g o c c l u d i n g a n d t r a n s p a r e n t m o t i o n s . T o a p p e a r

i n I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 1 9 9 3 .

1 8 S . P . K i m , N . K . B o s e , a n d H . M . v a l e n z u e l a . R e c u r s i v e r e c o n s t r u c t i o n o f h i g h r e s o l u t i o n i m a g e

f r o m n o i s y u n d e r s a m p l e d m u l t i f r a m e s . I E E E T r a n s a c t i o n s o n A c o u s t i c s , S p e e c h , a n d S i g n a l

P r o c e s s i n g , 3 8 6 : 1 0 1 3 1 0 2 7 , J u n e 1 9 9 0 .

1 9 R . L . L a g e n d i j k a n d J . B i e m o n d . I t e r a t i v e I d e n t i c a t i o n a n d R e s t o r a t i o n o f I m a g e s . K l u w e r

A c a d e m i c P u b l i s h e r s , B o s t o n D o r d r e c h t L o n d o n , 1 9 9 1 .

2 3


24/24

2 0 B . D . L u c a s a n d T . K a n a d e . A n i t e r a t i v e i m a g e r e g i s t r a t i o n t e c h n i q u e w i t h a n a p p l i c a t i o n t o

s t e r e o v i s i o n . I n I m a g e U n d e r s t a n d i n g W o r k s h o p , p a g e s 1 2 1 1 3 0 , 1 9 8 1 .

2 1 M . S h i z a w a . O n v i s u a l a m b i g u i t i e s d u e t o t r a n s p a r e n c y i n m o t i o n a n d s t e r e o . I n E u r o p e a n

C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s 4 1 1 4 1 9 , S a n t a M a r g a r i t a L i g u r e , M a y 1 9 9 2 .

2 2 M . S h i z a w a a n d K . M a s e . S i m u l t a n e o u s m u l t i p l e o p t i c a l o w e s t i m a t i o n . I n I n t e r n a t i o n a l

C o n f e r e n c e o n P a t t e r n R e c o g n i t i o n , p a g e s 2 7 4 2 7 8 , A t l a n t i c C i t y , N e w J e r s e y , J u n e 1 9 9 0 .

2 3 M . S h i z a w a a n d K . M a s e . P r i n c i p l e o f s u p e r p o s i t i o n : A c o m m o n c o m p u t a t i o n a l f r a m e w o r k f o r

a n a l y s i s o f m u l t i p l e m o t i o n . I n I E E E W o r k s h o p o n V i s u a l M o t i o n , p a g e s 1 6 4 1 7 2 , P r i n c e t o n ,

N e w J e r s e y , O c t o b e r 1 9 9 1 .

2 4 H . S h v a y s t e r a n d S . P e l e g . I n v e r s i o n o f p i c t u r e o p e r a t o r s . P a t t e r n R e c o g n i t i o n L e t t e r s , 5 : 4 9 6 1 ,

1 9 8 5 .

2 5 H . U r a n d G r o s s D . I m p r o v e d r e s o l u t i o n f r o m s u b p i x e l s h i f t e d p i c t u r e s . C V G I P : G r a p h i c a l

M o d e l s a n d I m a g e P r o c e s s i n g , 5 4 : 1 8 1 1 8 6 , 1 9 9 2 .

2 6 J . W a n g a n d E . A d e l s o n . L a y e r e d r e p r e s e n t a t i o n f o r m o t i o n a n a l y s i s . I n I E E E C o n f e r e n c e o n

C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p a g e s 3 6 1 3 6 6 , N e w Y o r k , J u n e 1 9 9 3 .

2 4

Iran i 93 Motion

Documents

Transcript of Iran i 93 Motion