Variational Framework
-
Upload
scorpion2583 -
Category
Documents
-
view
249 -
download
0
Transcript of Variational Framework
-
8/8/2019 Variational Framework
1/31
A Va r i a t io n a l F r a m e w o r k fo r R e t i n e x
Ron Kimm el, Doron Sha ked, Micha el Ela d, Renat o Keshet ,
Irwin Sobel
HP La bora tories Isra el
HPL-1999-151 (R.1)
J une 28 th , 2001*
Retinex,
variational
calculus,quadratic
programming
Retinex theory addr esses the pr oblem of separa ting t he
illuminat ion from th e reflecta nce in a given ima ge an d t hereby
compen sat ing for n on-uniform light ing. This is in gener al an ill-posed pr oblem. In t his pa per we p ropose a varia tional model for
th e Retinex problem th at un ifies previous meth ods. Similar to
previous a lgorith ms, it assu mes spa tial smooth ness of th e
illumin at ion field. In addition, knowledge of th e limit ed
dynamic ran ge of the reflecta nce is used a s a const ra int in th e
recovery process. A pena lty t erm is also included, exploiting a -
priori knowledge of the n at ur e of the r eflecta nce image. The
proposed form ulat ion a dopts a Ba yesian view point of the
estima tion problem, which leads t o an algebraic regularizat ion
ter m, th at cont ribut es to bett er condit ioning of th e
reconst ru ction pr oblem.
Based on t he proposed var iational model, we show t ha t t he
illum inat ion estim at ion pr oblem can be form ula ted as a
Quadratic Programming optimization problem. An
efficient mu lti-resolution a lgorith m is pr oposed. It exploits th e
spa tia l corr elation in the reflecta nce an d illumin at ion images.
Applicat ions of th e algorith m t o var ious color images yield
promising results.
* Int ern al Accession Date Only Approved for Extern al Pu blicat ion HP Labs Israel, Technion City, Haifa 32000, Israel
Copyright Hewlett-Packard Company 2001
-
8/8/2019 Variational Framework
2/31
A V a r i a t i o n a l F r a m e w o r k f o r R e t i n e x
R o n K i m m e l
z
, D o r o n S h a k e d , M i c h a e l E l a d ,
H e w l e t t - P a c k a r d L a b o r a t o r i e s { I s r a e l
a n d I r w i n S o b e l
H e w l e t t - P a c k a r d L a b o r a t o r i e s i n P a l o - A l t o .
A b s t r a c t
R e t i n e x t h e o r y a d d r e s s e s t h e p r o b l e m o f s e p a r a t i n g t h e i l l u m i n a t i o n f r o m t h e r e -
e c t a n c e i n a g i v e n i m a g e a n d t h e r e b y c o m p e n s a t i n g f o r n o n - u n i f o r m l i g h t i n g . T h i s
i s i n g e n e r a l a n i l l - p o s e d p r o b l e m . I n t h i s p a p e r w e p r o p o s e a v a r i a t i o n a l m o d e l f o r
t h e R e t i n e x p r o b l e m t h a t u n i e s p r e v i o u s m e t h o d s . S i m i l a r t o p r e v i o u s a l g o r i t h m s ,
i t a s s u m e s s p a t i a l s m o o t h n e s s o f t h e i l l u m i n a t i o n e l d . I n a d d i t i o n , k n o w l e d g e o f t h e
l i m i t e d d y n a m i c r a n g e o f t h e r e e c t a n c e i s u s e d a s a c o n s t r a i n t i n t h e r e c o v e r y p r o -
c e s s . A p e n a l t y t e r m i s a l s o i n c l u d e d , e x p l o i t i n g a - p r i o r i k n o w l e d g e o f t h e n a t u r e o f
t h e r e e c t a n c e i m a g e . T h e p r o p o s e d f o r m u l a t i o n a d o p t s a B a y e s i a n v i e w p o i n t o f t h e
e s t i m a t i o n p r o b l e m , w h i c h l e a d s t o a n a l g e b r a i c r e g u l a r i z a t i o n t e r m , t h a t c o n t r i b u t e s
t o b e t t e r c o n d i t i o n i n g o f t h e r e c o n s t r u c t i o n p r o b l e m .
B a s e d o n t h e p r o p o s e d v a r i a t i o n a l m o d e l , w e s h o w t h a t t h e i l l u m i n a t i o n e s t i m a t i o n
p r o b l e m c a n b e f o r m u l a t e d a s a Q u a d r a t i c P r o g r a m m i n g o p t i m i z a t i o n p r o b l e m . A n
e c i e n t m u l t i - r e s o l u t i o n a l g o r i t h m i s p r o p o s e d . I t e x p l o i t s t h e s p a t i a l c o r r e l a t i o n i n
t h e r e e c t a n c e a n d i l l u m i n a t i o n i m a g e s . A p p l i c a t i o n s o f t h e a l g o r i t h m t o v a r i o u s c o l o r
i m a g e s y i e l d p r o m i s i n g r e s u l t s .
z
R . K i m m e l i s a l s o a l i a t e d w i t h t h e C o m p u t e r S c i e n c e D e p t . , T e c h n i o n , H a i f a 3 2 0 0 0 , I s r a e l .
1
-
8/8/2019 Variational Framework
3/31
1 I n t r o d u c t i o n
R e t i n e x t h e o r y d e a l s w i t h c o m p e n s a t i o n f o r i l l u m i n a t i o n e e c t s i n i m a g e s . T h e p r i m a r y g o a l
i s t o d e c o m p o s e a g i v e n i m a g e S i n t o t w o d i e r e n t i m a g e s , t h e r e e c t a n c e i m a g e R , a n d
t h e i l l u m i n a t i o n i m a g e L , s u c h t h a t , a t e a c h p o i n t ( x y ) i n t h e i m a g e d o m a i n , S ( x y ) =
R ( x y ) L ( x y ) . T h e b e n e t s o f s u c h a d e c o m p o s i t i o n i n c l u d e t h e p o s s i b i l i t y o f r e m o v i n g
i l l u m i n a t i o n e e c t s o f b a c k / f r o n t l i g h t i n g , e n h a n c i n g s h o t s t h a t i n c l u d e s p a t i a l l y v a r y i n g
i l l u m i n a t i o n s u c h a s i m a g e s t h a t c o n t a i n i n d o o r a n d o u t d o o r z o n e s , a n d c o r r e c t i n g t h e c o l o r s
i n i m a g e s b y r e m o v i n g i l l u m i n a t i o n i n d u c e d c o l o r s h i f t s .
R e c o v e r i n g t h e i l l u m i n a t i o n f r o m a g i v e n i m a g e i s k n o w n t o b e a m a t h e m a t i c a l l y i l l - p o s e d
p r o b l e m , a n d a l g o r i t h m s p r o p o s e d i n t h e l i t e r a t u r e f o r i t s s o l u t i o n v a r y i n t h e i r w a y o f
o v e r c o m i n g t h i s l i m i t a t i o n . T h e R e t i n e x m e t h o d o l o g y w a s m o t i v a t e d b y L a n d ' s l a n d m a r k
r e s e a r c h o f t h e h u m a n v i s u a l s y s t e m 1 1 ] . T h r o u g h h i s e x p e r i m e n t s i t w a s s h o w n t h a t o u r
v i s u a l s y s t e m i s a b l e t o p r a c t i c a l l y r e c o g n i z e a n d m a t c h c o l o r s u n d e r a w i d e r a n g e o f d i e r e n t
i l l u m i n a t i o n s , a p r o p e r t y t h a t i s c o m m o n l y r e f e r r e d t o a s t h e C o l o r C o n s t a n c y P h e n o m e n o n .
A s a m a t t e r o f f a c t , L a n d ' s n d i n g s i n d i c a t e d t h a t e v e n w h e n r e t i n a l s e n s o r y s i g n a l s c o m i n g
f r o m d i e r e n t c o l o r p a t c h e s u n d e r d i e r e n t i l l u m i n a t i o n s a r e i d e n t i c a l , s u b j e c t s w e r e a b l e
t o n a m e t h e s u r f a c e r e e c t a n c e c o l o r 1 1 ] . T h e a b i l i t y t o e x t r a c t t h e i l l u m i n a t i o n i m a g e i s
s u c i e n t b u t n o t n e s s e c a r y t o a c h i e v e t h i s p r o p e r t y .
I n t h i s p a p e r w e d e n e t h e R e t i n e x r e c o n s t r u c t i o n p r o b l e m f o r g r a y - l e v e l i m a g e s t h r o u g h
p h y s i c a l l y m o t i v a t e d c o n s i d e r a t i o n s . T h e p r o p o s e d f o r m u l a t i o n i s s h o w n t o b e a m a t h e -
m a t i c a l l y w e l l - p o s e d p r o b l e m . A v a r i a t i o n a l e x p r e s s i o n i s o b t a i n e d b y d e n i n g t h e o p t i m a l
i l l u m i n a t i o n a s t h e s o l u t i o n o f a Q u a d r a t i c P r o g r a m m i n g ( Q P ) o p t i m i z a t i o n p r o b l e m . I t i s
s h o w n t h a t d i e r e n t p r e v i o u s a l g o r i t h m s a r e e s s e n t i a l l y s o l u t i o n s t o s i m i l a r v a r i a t i o n a l p r o b -
l e m s . W e i n t r o d u c e a n e c i e n t a l g o r i t h m t h a t e x p l o i t s k n o w l e d g e o n Q P s o l v e r s a n d t h e f a c t
t h a t t h e u n k n o w n i l l u m i n a t i o n i s s p a t i a l l y s m o o t h . O u r a l g o r i t h m u s e s a m u l t i - r e s o l u t i o n
r e c o n s t r u c t i o n o f t h e i l l u m i n a t i o n w i t h f e w r e l a x a t i o n i t e r a t i o n s a t e a c h r e s o l u t i o n l a y e r .
W e a p p l y a n d c o m p a r e t h e p r o p o s e d a l g o r i t h m i n t w o c o l o r s p a c e s . T h e r s t o p e r a t e s i n
t h e R G B s p a c e , i n w h i c h e a c h s p e c t r a l c h a n n e l i s p r o c e s s e d s e p a r a t e l y . T h e s e c o n d i s t h e
H S V c o l o r s p a c e i n w h i c h o n l y t h e V a l u e ( V ) c h a n n e l i s p r o c e s s e d . C o l o r c o r r e c t i o n s c a n
b e o b t a i n e d a s a b y - p r o d u c t o f t h e R e t i n e x a l g o r i t h m i n t h e R G B s p a c e . I n t h i s c a s e t h e
r e s u l t i n g r e e c t a n c e i m a g e u s u a l l y a p p e a r s t o b e o v e r - e n h a n c e d . A r e l a x a t i o n a l g o r i t h m f o r
t h i s e e c t i s p r o p o s e d . T e s t s o n v a r i o u s i m a g e s s u p p o r t t h e a s s u m p t i o n t h a t t h e r e s u l t s o f
t h e p r o p o s e d f o r m u l a t i o n a r e s i m i l a r t o t h o s e o f t h e h u m a n v i s u a l s y s t e m .
T h i s p a p e r i s o r g a n i z e d a s f o l l o w s : I n t h e n e x t s e c t i o n w e r e v i e w s e v e r a l d i e r e n t R e t i n e x
a l g o r i t h m s . S o m e o f t h o s e w e r e m o t i v a t e d b y a s s u m p t i o n s b a s e d o n t h e c o l o r c o n s t a n c y
p r o c e s s i n t h e h u m a n v i s u a l s y s t e m . S e c t i o n 3 p r e s e n t s t h e p r o p o s e d f o r m u l a t i o n a l o n g
w i t h a n e c i e n t n u m e r i c a l a l g o r i t h m f o r t h e i l l u m i n a t i o n r e c o n s t r u c t i o n . U n i q u e n e s s a n d
c o n v e r g e n c e o f t h e s o l u t i o n a r e a l s o d i s c u s s e d i n S e c t i o n 3 . S e c t i o n 4 e x t e n d s t h e p r o p o s e d
2
-
8/8/2019 Variational Framework
4/31
f o r m u l a t i o n t o c o l o r i m a g e s . I n S e c t i o n 5 w e a p p l y t h e m e t h o d t o d i e r e n t i m a g e s a n d
d e m o n s t r a t e t h e a l g o r i t h m ` s p e r f o r m a n c e s a n d t h e e e c t s o f i t s f r e e p a r a m e t e r s . S e c t i o n 6
s u m m a r i z e s t h e p a p e r a n d p r e s e n t s t o p i c s f o r f u t u r e r e s e a r c h .
2 P r e v i o u s W o r k
T h e r s t R e t i n e x a l g o r i t h m s p r o p o s e d b y L a n d e t a l . , w e r e o f r a n d o m w a l k t y p e 1 2 , 1 4 ] .
S u b s e q u e n t a l g o r i t h m s 8 , 9 , 1 3 ] u s e d H o m o m o r p h i c F i l t e r s 5 , 2 1 ] . Y e t a n o t h e r g r o u p o f
R e t i n e x a l g o r i t h m s i s b a s e d o n s o l v i n g a P o i s s o n e q u a t i o n 2 , 7 , 2 0 ] . A r e c e n t R e t i n e x
a l g o r i t h m b y M c C a n n a n d S o b e l 1 7 ] , i s a n i t e r a t i v e m u l t i - r e s o l u t i o n t y p e o f n o n - l i n e a r
l t e r .
A r s t s t e p t a k e n b y m o s t a l g o r i t h m s i s t h e c o n v e r s i o n t o t h e l o g a r i t h m i c d o m a i n b y
s = l o g S l = l o g L r = l o g R , a n d t h e r e b y s = l + r . T h i s s t e p i s m o t i v a t e d b o t h
m a t h e m a t i c a l l y , p r e f e r r i n g a d d i t i o n s o v e r m u l t i p l i c a t i o n s , a n d p h y s i o l o g i c a l l y , r e f e r r i n g t o
t h e s e n s i t i v i t y o f o u r v i s u a l s y s t e m 1 1 ] . T h e d i e r e n t R e t i n e x a l g o r i t h m s u s u a l l y h a v e t h e
s a m e o w c h a r t a s s h o w n i n F i g u r e 1 , a n d t h e d i e r e n c e b e t w e e n t h e m c o n c e n t r a t e s o n t h e
a c t u a l e s t i m a t i o n o f t h e i l l u m i n a t i o n i m a g e . L e t u s r e v i e w t h e s e d i e r e n t a l g o r i t h m s .
S Rrls
LogEstimate
theIllumination
ExpInputImage
F i g u r e 1 : T h e g e n e r a l o w c h a r t o f R e t i n e x a l g o r i t h m s
2 . 1 R a n d o m W a l k A l g o r i t h m s
A r a n d o m w a l k i s a d i s c r e t e t i m e r a n d o m - p r o c e s s i n w h i c h t h e ` n e x t p i x e l p o s i t i o n ' i s c h o s e n
r a n d o m l y f r o m t h e n e i g h b o r s o f t h e c u r r e n t p i x e l p o s i t i o n . R a n d o m w a l k t y p e R e t i n e x
a l g o r i t h m s a r e v a r i a n t s o f t h e f o l l o w i n g b a s i c f o r m u l a t i o n 4 ] : A l a r g e n u m b e r o f w a l k e r s a r e
i n i t i a t e d a t r a n d o m l o c a t i o n s o f a n i n p u t i m a g e s , a d o p t i n g t h e g r a y - v a l u e o f t h e i r i n i t i a l
p o s i t i o n . A n a c c u m u l a t o r i m a g e A t h a t h a s t h e s a m e s i z e a s s i s i n i t i a l i z e d t o z e r o . A s
t h e w a l k e r s w a l k a r o u n d , t h e y u p d a t e A b y a d d i n g t h e i r v a l u e s t o e a c h p o s i t i o n t h e y v i s i t .
F i n a l l y , t h e i l l u m i n a t i o n i m a g e i s o b t a i n e d b y n o r m a l i z i n g t h e a c c u m u l a t o r i m a g e , i . e . , i t s
v a l u e a t e a c h l o c a t i o n d i v i d e d b y t h e n u m b e r o f w a l k e r s v i s i t e d i t .
B y u s i n g m a n y w a l k e r s w i t h l o n g p a t h s , i t i s e a s i l y v e r i e d t h a t e a c h a c c u m u l a t o r v a l u e
3
-
8/8/2019 Variational Framework
5/31
a s s i m p t o t i c a l l y c o n v e r g e s t o a G a u s s i a n a v e r a g e o f i t s n e i g h b o r s , w h i c h i s a l o w - p a s s l t e r
o f t h e i m a g e s 1 9 ] . A l o w - p a s s l t e r f o r t h e r e c o n s t r u c t i o n o f l f r o m s w a s a l s o p r o p o s e d
u n d e r t h e n a m e o f H o m o m o r p h i c F i l t e r i n g .
2 . 2 H o m o m o r p h i c F i l t e r i n g
H o m o m o r p h i c F i l t e r i n g t y p e R e t i n e x a l g o r i t h m s 5 , 8 , 9 , 1 3 , 2 1 ] s h a r e t h e f o l l o w i n g b a s i c
m o t i v a t i o n : A s s u m e t h e r e e c t a n c e i m a g e c o r r e s p o n d s t o t h e s h a r p d e t a i l s i n t h e i m a g e
( i . e . e d g e s ) , w h e r e a s t h e i l l u m i n a t i o n i m a g e i s e x p e c t e d t o b e s p a t i a l l y s m o o t h , a r e a s o n a b l e
g u e s s f o r l i s
l = L P f s g , w h e r e L P i s u s u a l l y a c o n v o l u t i o n w i t h a w i d e G a u s s i a n k e r n e l .
T h i s w a y , o n e a c t u a l l y a p p l i e s t h e s a m e p r o c e s s a s t h e r a n d o m w a l k a l g o r i t h m s b y a s i n g l e
d i r e c t c o n v o l u t i o n .
2 . 3 P o i s s o n E q u a t i o n S o l u t i o n
F o l l o w i n g t h e a b o v e r e a s o n i n g , s i n c e t h e i l l u m i n a t i o n i s e x p e c t e d t o b e s p a t i a l l y s m o o t h , i t s
d e r i v a t i v e s h o u l d b e c l o s e t o z e r o e v e r y w h e r e . O n t h e o t h e r h a n d , b y t h e a s s u m p t i o n t h a t
t h e r e e c t a n c e i s p i e c e - w i s e c o n s t a n t , i t s d e r i v a t i v e i s e x p e c t e d t o v a n i s h a l m o s t e v e r y w h e r e ,
a n d g e t h i g h v a l u e s a l o n g t h e e d g e s . T h u s , i f w e t a k e t h e d e r i v a t i v e o f t h e s u m s = l + r
a n d c l i p o u t t h e h i g h d e r i v a t i v e p e a k s , w e c a n a s s u m e t h a t t h e c l i p p e d d e r i v a t i v e s i g n a l
c o r r e s p o n d s o n l y t o t h e i l l u m i n a t i o n .
P o i s s o n E q u a t i o n t y p e R e t i n e x a l g o r i t h m s 2 , 7 , 2 0 ] r e l y o n L a n d ' s M o n d r i a n w o r l d m o d e l .
T h e M o n d r i a n m o d e l b o i l s d o w n t o t h e a b o v e a s s u m p t i o n o n t h e r e e c t a n c e a s a p i e c e - w i s e
c o n s t a n t i m a g e . A p p l y i n g t h e L a p l a c i a n , a n d t h e f o l l o w i n g c l i p p i n g o p e r a t i o n
( s ) =
(
s w h e r e j s j < T
0 o t h e r w i s e ,
w e g e t t h e f o l l o w i n g P o i s o n e q u a t i o n
l = ( s ) :
A s t o t h e s o l u t i o n o f t h e r e s u l t i n g P o i s s o n e q u a t i o n , H o r n 7 ] s u g g e s t e d a n i t e r a t i v e p r o c e d u r e
w h i c h e e c t i v e l y i n v e r t s t h e L a p l a c i a n o p e r a t o r . S i m i l a r t o t h e p r e v i o u s m e t h o d s , a l o w - p a s s
l t e r i s a p p l i e d i n o r d e r t o s o l v e t h e a b o v e e q u a t i o n . B l a k e 2 ] i n t r o d u c e d a n i m p r o v e m e n t
t o H o r n ' s m e t h o d . H e p r o p o s e d t o e x t r a c t t h e d i s c o n t i n u i t i e s f r o m t h e i m a g e g r a d i e n t
m a g n i t u d e i n s t e a d o f t h e L a p l a c i a n a n d t h e r e b y c a m e u p w i t h b e t t e r b o u n d a r y c o n d i t i o n s
t h a t d e a l w i t h l e s s t r i v i a l s c e n a r i o s a l o n g t h e i m a g e b o u n d a r y .
2 . 4 M c C a n n ' s A l g o r i t h m
R e c e n t l y , M c C a n n a n d S o b e l 1 7 ] p r o p o s e d a n a l g o r i t h m t h a t c a n b e e q u i v a l e n t l y w r i t t e n a s
f o l l o w s : T h e i l l u m i n a t i o n i m a g e
l
0
i s i n i t i a l i z e d t o b e s , t h e o r i g i n a l i m a g e . T h e a l g o r i t h m
4
-
8/8/2019 Variational Framework
6/31
-
8/8/2019 Variational Framework
7/31
n e g l e c t . T h e p h y s i c a l n a t u r e o f r e e c t i n g o b j e c t s i s s u c h t h a t t h e y r e e c t o n l y p a r t o f t h e
i n c i d e n t l i g h t . T h u s , t h e r e e c t a n c e i s r e s t r i c t e d t o t h e r a n g e R 2 0 1 ] , a n d L S , w h i c h
i m p l i e s l s .
A m u l t i - r e s o l u t i o n v e r s i o n i s a l s o p r o p o s e d i n 1 7 ] . A G a u s s i a n p y r a m i d i s c o n s t r u c t e d f o r t h e
g i v e n i m a g e s . T h e a l g o r i t h m s t a r t s a t t h e c o a r s e s t l e v e l , a n d t h e s i z e o f t h e d i s p l a c e m e n t s
f o r D
n
a r e o n e p i x e l i n e a c h d i r e c t i o n f o r e a c h r e s o l u t i o n . T h e m u l t i - r e s o l u t i o n v e r s i o n i s
s i g n i c a n t l y f a s t e r , y e t p r o d u c e s l o w e r q u a l i t y r e s u l t s c o m p a r e d t o t h e o r i g i n a l v e r s i o n .
2 . 5 S u m m a r y o f P r e v i o u s W o r k
T h e d i s c u s s i o n i n t h i s s e c t i o n s u g g e s t s t h a t t h e p r e v i o u s s e e m i n g l y d i e r e n t a l g o r i t h m s a r e
a c t u a l l y v e r y s i m i l a r . T h e y a r e a l l b a s e d o n t h e s p a t i a l s m o o t h n e s s a s s u m p t i o n o f t h e
i l l u m i n a t i o n l . A l l t h e a b o v e a l g o r i t h m s a p p l y s o m e s o r t o f G a u s s i a n s m o o t h i n g t o s i n
o r d e r t o e x t r a c t
l . S o m e m e t h o d s a d d m o r e a s s u m p t i o n s a b o u t t h e r e e c t a n c e , s u c h a s i t s
l i m i t e d r a n g e , o r i t s M o n d r i a n f o r m . E v e n t u a l l y , ` s k i n n i n g ' t h e i l l u m i n a t i o n f r o m t h e g i v e n
i m a g e y i e l d s t h e r e e c t a n c e i m a g e , w h i c h i s e x p e c t e d t o b e f r e e o f n o n - u n i f o r m i l l u m i n a t i o n ,
h a v e a r e d u c e d d y n a m i c r a n g e , a n d p r e s e n t a s h a r p e r v i e w o f t h e s c e n e .
3 T h e V a r i a t i o n a l F r a m e w o r k
3 . 1 F u n c t i o n a l D e n i t i o n
W e s t a r t b y l i s t i n g t h e k n o w n i n f o r m a t i o n a b o u t t h e i l l u m i n a t i o n i m a g e .
1 . T h e r s t i m p o r t a n t a s s u m p t i o n a b o u t t h e i l l u m i n a t i o n i s i t s s p a t i a l s m o o t h n e s s .
2 . W e a l s o k n o w t h a t , s i n c e R i s r e s t r i c t e d t o t h e u n i t i n t e r v a l , w e c a n a d d t h e c o n s t r a i n t
L S . S i n c e t h e l o g f u n c t i o n i s m o n o t o n e , w e a l s o h a v e l s .
3 . B y s e t t i n g l = C o n s t , w h e r e C o n s t i s a n y c o n s t a n t a b o v e t h e m a x i m a l v a l u e o f s , w e
g e t a t r i v i a l s o l u t i o n t h a t s a t i s e s t h e t w o p r e v i o u s a s s u m p t i o n s . W e t h e r e f o r e a d d
t h e a s s u m p t i o n t h a t t h e i l l u m i n a t i o n i m a g e i s c l o s e t o t h e i n t e n s i t y i m a g e s , i . e . , i t
m i n i m i z e s a p e n a l t y t e r m o f t h e f o r m d i s t ( l s ) , e . g . , t h e L
2
n o r m ( l ; s )
2
.
4 . T h e r e e c t a n c e i m a g e r = s ; l c a n b e a s s u m e d t o h a v e a h i g h p r i o r p r o b a b i l i t y
3 , 6 , 1 0 , 1 6 ] . O n e o f t h e s i m p l e s t p r i o r f u n c t i o n s u s e d f o r n a t u r a l i m a g e s a s s i g n s h i g h
p r o b a b i l i t y t o s p a t i a l l y s m o o t h i m a g e s 1 0 ] .
5 . W e c a n a s s u m e t h a t t h e i l l u m i n a t i o n c o n t i n u e s s m o o t h l y a s a c o n s t a n t b e y o n d t h e
i m a g e b o u n d a r i e s . T h i s i s a n a r t i c i a l a s s u m p t i o n r e q u i r e d f o r b o u n d a r y c o n d i t i o n s
t h a t w o u l d h a v e m i n o r e e c t o n t h e n a l r e s u l t s .
6
-
8/8/2019 Variational Framework
8/31
C o l l e c t i n g a l l t h e a b o v e a s s u m p t i o n s i n t o o n e e x p r e s s i o n w e g e t t h e f o l l o w i n g p e n a l t y f u n c -
t i o n a l
M i n i m i z e : F l ] =
Z
j r l j
2
+ ( l ; s )
2
+ j r ( l ; s ) j
2
d x d y
S u b j e c t t o : l s a n d h r l ~ n i = 0 o n @ ( 1 )
w h e r e i s t h e s u p p o r t o f t h e i m a g e , @ i t s b o u n d a r y , a n d ~n i s t h e n o r m a l t o t h e b o u n d -
a r y . a n d a r e f r e e n o n - n e g a t i v e r e a l p a r a m e t e r s . I n t h e f u n c t i o n a l F l ] , t h e r s t p e n a l t y
t e r m ( j r l j
2
) f o r c e s s p a t i a l s m o o t h n e s s o n t h e i l l u m i n a t i o n i m a g e . T h i s c h o i c e o f s m o o t h n e s s
p e n a l t y i s n a t u r a l , i f w e k e e p i n m i n d t h a t m i n i m i z i n g
R
( j r l j
2
) d x d y t r a n s l a t e s i n t o t h e
E u l e r - L a g r a n g e ( E L ) e q u a t i o n l = 0 . I t s s t e e p e s t d e s c e n t s o l u t i o n i s a G a u s s i a n s m o o t h i n g
o p e r a t i o n w i t h i n c r e a s i n g v a r i a n c e o f t h e i n i t i a l c o n d i t i o n . A s m e n t i o n e d i n t h e p r e v i o u s s e c -
t i o n , s e v e r a l a u t h o r s p r o p o s e d G a u s s i a n s m o o t h i n g o f s f o r t h e i l l u m i n a t i o n r e c o n s t r u c t i o n .
T h e s e c o n d p e n a l t y t e r m ( l ; s )
2
f o r c e s a p r o x i m i t y b e t w e e n l a n d s . T h e d i e r e n c e b e t w e e n
t h e s e i m a g e s i s e x a c t l y r , w h i c h m e a n s t h a t t h e n o r m o f r s h o u l d b e s m a l l ( i . e . , R t e n d s t o
B l a c k ) . T h i s t e r m i s w e i g h t e d b y t h e f r e e p a r a m e t e r . T h e m a i n o b j e c t i v e o f t h i s t e r m i s a
r e g u l a r i z a t i o n o f t h e p r o b l e m t h a t m a k e s i t b e t t e r c o n d i t i o n e d . N o t i c e t h a t , i n a d d i t i o n , w e
f o r c e t h e s o l u t i o n l t o b e l s .
T h e t h i r d t e r m r e p r e s e n t s a B a y e s i a n p e n a l t y e x p r e s s i o n . I t f o r c e s t h e r e e c t a n c e i m a g e r t o
b e a ` v i s u a l l y p l e a s i n g ' i m a g e . T h i s t e r m f o r c e s r t o b e s p a t i a l l y s m o o t h , a n d i t i s w e i g h t e d
b y t h e f r e e p a r a m e t e r . N o t e t h a t m o r e c o m p l i c a t e d B a y e s i a n e x p r e s s i o n s m a y b e u s e d
a l l o w i n g s h a r p e d g e s , t e x t u r e s , 1 = f b e h a v i o r , e t c . 3 , 6 , 1 0 , 1 6 ] . A s l o n g a s t h i s e x p r e s s i o n
i s p u r e l y q u a d r a t i c , t h e a b o v e m i n i m i z a t i o n p r o b l e m r e m a i n s f a i r l y s i m p l e .
T h e p r o b l e m w e h a v e j u s t d e n e d h a s a Q u a d r a t i c P r o g r a m m i n g ( Q P ) f o r m 1 , 1 5 ] . T h e
n e c e s s a r y a n d s u c i e n t c o n d i t i o n s f o r i t s m i n i m i z a t i o n a r e o b t a i n e d v i a t h e E u l e r - L a g r a n g e
e q u a t i o n s
8 ( x y ) 2
8
>
>
>
>
>
>
>
>
>
>
>
:
@ F l ]
@ l
= 0 = ; l + ( l ; s ) ; ( l ; s ) a n d l > s
o r
l = s
9
>
>
>
>
>
>
=
>
>
>
>
>
>
( 2 )
N o t e t h a t t h e d i e r e n t i a l e q u a t i o n d o e s n o t h a v e t o h o l d w h e n l = s .
3 . 2 N u m e r i c a l S o l u t i o n
T h e m i n i m i z a t i o n p r o b l e m i s Q P w i t h r e s p e c t t o t h e u n k n o w n i m a g e l . M a n y a l g o r i t h m s
f o r s o l v i n g s u c h p r o b l e m s a r e k n o w n i n t h e l i t e r a t u r e 1 , 1 5 ] . I n t h i s p a p e r w e c h o s e t o
f o c u s o n t h e P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t ( P N S D ) a l g o r i t h m , a c c e l e r a t e d b y a
m u l t i - r e s o l u t i o n t e c h n i q u e .
7
-
8/8/2019 Variational Framework
9/31
3 . 2 . 1 P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t
T h e P N S D a l g o r i t h m r e q u i r e s t h e a p p l i c a t i o n o f a N o r m a l i z e d S t e e p e s t D e s c e n t ( N S D )
i t e r a t i o n t h a t m i n i m i z e s t h e f u n c t i o n a l F l ] , f o l l o w e d b y a p r o j e c t i o n o n t o t h e c o n s t r a i n t s .
A N S D i t e r a t i o n h a s t h e f o r m a t :
l
j
= l
j ; 1
;
N S D
G
w h e r e l
j
a n d l
j ; 1
a r e t h e i l l u m i n a t i o n i m a g e s a t s t e p j a n d j ; 1 , r e s p e c t i v e l y , G i s t h e
g r a d i e n t o f F l ] , a n d
N S D
i s t h e o p t i m a l l i n e - s e a r c h s t e p s i z e . I n o u r c a s e , E q u a t i o n ( 2 ) , t h e
g r a d i e n t o f F l ] i s g i v e n b y :
G = ; l
j ; 1
+ ( ; ) ( l
j ; 1
; s )
a n d
N S D
i s g i v e n b y :
N S D
=
R
j G j
2
R
( j G j
2
+ ( 1 + ) j r G j
2
)
O b s e r v e t h a t , b y i n t e g r a t i o n b y p a r t s ,
R
j r G j
2
= ;
R
G G u p t o b o u n d a r y c o n d i t i o n s .
A n a l t e r n a t i v e a p p r o a c h i s t h e S t e e p e s t D e s c e n t ( S D ) a l g o r i t h m , w h e r e
N S D
i s r e p l a c e d b y
a c o n s t a n t v a l u e
S D
, s u c h t h a t :
S D
2
0
2
m a x
f ; ( 1 + ) + I g
!
w h e r e
m a x
f A g r e f e r s t o t h e g r e a t e s t e i g e n v a l u e o f t h e l i n e a r o p e r a t o r A . T h i s a l t e r n a t i v e
m e t h o d s a v e s c o m p u t a t i o n s a t t h e e x p e n s e o f a s l i g h t l y s l o w e r c o n v e r g e n c e .
F i n a l l y , p r o j e c t i n g o n t o t h e c o n s t r a i n t l s i s d o n e b y l
j
= m a x ( l
j
s ) .
N o t i c e t h a t G c a n b e c a l c u l a t e d b y :
G = G
A
+ ( l
j ; 1
; s ) ; ( G
A
; G
B
)
w h e r e
G
A
4
= l
j ; 1
G
B
4
= s
k
:
S i m i l a r l y ,
N S D
i s g i v e n b y :
N S D
=
A
A
+ ( 1 + )
B
w h e r e
A
4
=
Z
j G j
2
B
4
=
Z
j r G j
2
:
8
-
8/8/2019 Variational Framework
10/31
W e a p p r o x i m a t e t h e L a p l a c i a n b y a l i n e a r c o n v o l u t i o n w i t h t h e k e r n e l
L A P
L A P
=
2
6
6
6
6
6
6
4
0 1 0
1 ; 4 1
0 1 0
3
7
7
7
7
7
7
5
a n d t h e i n t e g r a t i o n s a r e a p p r o x i m a t e d b y s u m m a t i o n s :
Z
j G j
2
X
n
X
m
G n m ]
2
Z
j r G j
2
= ;
Z
G G
;
X
n
X
m
G n m ] ( G
L A P
) n m ]
w h e r e G m n ] = G ( m x n y ) I n o r d e r t o a c c o m m o d a t e t h e b o u n d a r y c o n d i t i o n s , a s g i v e n
i n E q u a t i o n ( 1 ) , t h e a b o v e c o n v o l u t i o n i s a p p l i e d o n a n e x p a n d e d v e r s i o n o f t h e i m a g e G . T h s
e x t e n s i o n i s d o n e b y r e p l i c a t i n g t h e r s t a n d l a s t c o l u m n s a n d r o w s . A f t e r t h e c o n v o l u t i o n ,
t h e a d d i t i o n a l r o w s a n d c o l u m n s a r e r e m o v e d .
3 . 2 . 2 M u l t i - R e s o l u t i o n
A l t h o u g h s i m p l e , t h e P N S D a l g o r i t h m u s u a l l y c o n v e r g e s s l o w l y 1 , 1 5 ] . I n s t e a d o f g e n e r a l
a c c e l e r a t i o n s c h e m e s , w e u s e t h e f a c t t h a t t h e u n k n o w n i m a g e l i s a s s u m e d t o b e s m o o t h .
S p e c i c a l l y , w e a p p l y a m u l t i - r e s o l u t i o n a l g o r i t h m t h a t s t a r t s b y e s t i m a t i n g a c o a r s e r e s o l u -
t i o n i m a g e l , e x p a n d s i t b y i n t e r p o l a t i o n a n d u s e s t h e r e s u l t a s a n i n i t i a l i z a t i o n f o r t h e n e x t
r e s o l u t i o n l a y e r . T h i s w a y , f e w i t e r a t i o n s a t e a c h r e s o l u t i o n a r e e n o u g h f o r c o n v e r g e n c e .
3 . 2 . 3 T h e A l g o r i t h m
S u m m a r i z i n g t h e a b o v e , a p r o p o s e d a l g o r i t h m f o r t h e s o l u t i o n o f E q u a t i o n ( 1 ) i n v o l v e s t h e
f o l l o w i n g s t e p s ,
1 . I n p u t : T h e i n p u t t o t h e a l g o r i t h m i s a n i m a g e s o f s i z e N M ] , a n d t w o p a r a m e t e r s
a n d .
2 . I n i t i a l i z a t i o n : C o m p u t e a G a u s s i a n p y r a m i d o f t h e i m a g e s . T h i s p y r a m i d i s c o n -
s t r u c t e d b y s m o o t h i n g t h e i m a g e w i t h t h e k e r n e l
P Y R
:
9
-
8/8/2019 Variational Framework
11/31
P Y R
=
2
6
6
6
6
6
6
4
1
1 6
1
8
1
1 6
1
8
1
4
1
8
1
1 6
1
8
1
1 6
3
7
7
7
7
7
7
5
a n d d e c i m a t i n g b y 2 : 1 r a t i o . T h e p r o c e s s i s r e p e a t e d p t i m e s a n d p r o d u c e s a s e q u e n c e
o f i m a g e s f s
k
g
p
k = 1
. T h e i m a g e s
1
i s t h e o r i g i n a l i m a g e s , a n d s
p
i s t h e o n e w i t h t h e
c o a r s e s t r e s o l u t i o n i n t h i s p y r a m i d . D e n e t h e n u m e r i c a l i n n e r p r o d u c t
h G F i =
N
X
n = 1
M
X
m = 1
G n m ] F n m ]
a n d t h e n u m e r i c a l L a p l a c i a n a t t h e k
t h
r e s o l u t i o n a s
k
G = G k
L A P
2
; 2 ( k ; 1 )
.
S e t k = p , i . e . , s t a r t a t t h e c o a r s e s t r e s o l u t i o n l a y e r , a n d s e t t h e i n i t i a l c o n d i t i o n
l
0
= m a x f s
p
g .
3 . M a i n L o o p : F o r t h e k
t h
r e s o l u t i o n l a y e r ,
C a l c u l a t e G
B
4
=
k
s
k
.
F o r j = 1 : : T
k
D o :
( a ) C a l c u l a t e g r a d i e n t :
G
A
4
=
k
l
j ; 1
G G
A
+ ( l
j ; 1
; s
k
) ; ( G
A
; G
B
) :
( b ) C a l c u l a t e
N S D
:
A
4
= h G G i
B
4
= ; h G
k
G i
N S D
A
= (
A
+ ( 1 + )
B
) :
( c ) C o m p l e t e N S D i t e r a t i o n :
l
j
l
j ; 1
;
N S D
G
( d ) P r o j e c t o n t o t h e c o n s t r a i n t s
l
j
= m a x f l
j
s
k
g :
1 0
-
8/8/2019 Variational Framework
12/31
-
8/8/2019 Variational Framework
13/31
T h e p r o o f i s g i v e n i n A p p e n d i x A .
R e g a r d i n g t h e c o n v e r g e n c e o f t h e n u m e r i c a l s c h e m e , t h e c o r e o f t h e p r o p o s e d a l g o r i t h m i s t h e
P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t ( P N S D ) a l g o r i t h m , w h i c h i s k n o w n t o c o n v e r g e f o r
c o n v e x o p t i m i z a t i o n p r o b l e m s , s u c h a s o u r c a s e 1 , 1 5 ] . T h e p y r a m i d a l s h e l l o f t h e a l g o r i t h m
c a n b e c o n s i d e r e d a s a n e c i e n t m e t h o d f o r c r e a t i n g a g o o d i n i t i a l i z a t i o n f o r t h e h i g h e s t
r e s o l u t i o n l a y e r s t a g e . W e f o u n d t h a t f e w i t e r a t i o n s a t t h e n e r r e s o l u t i o n l a y e r a r e s u c i e n t
f o r e e c t i v e c o n v e r g e n c e .
4 C o l o r I m a g e s
T h u s f a r w e d e a l t w i t h a s i n g l e c h a n n e l . I n t h i s s e c t i o n , w e a p p l y o u r m e t h o d t o c o l o r i m a g e s .
W h e n w e p r o c e s s c o l o r i m a g e s o n e o p t i o n i s t o d e a l e a c h c o l o r c h a n n e l s e p a r a t e l y . W e r e f e r
t o c h a n n e l - b y - c h a n n e l p r o c e s s i n g a s ` R G B R e t i n e x ' . T r e a t i n g t h e R , G , a n d B c h a n n e l s
s e p a r a t e l y u s u a l l y y i e l d s a c o l o r c o r r e c t i o n e e c t . F o r e x a m p l e , R G B R e t i n e x o n a r e d d i s h
i m a g e i s e x p e c t e d t o m o d i f y t h e i l l u m i n a t i o n i n s u c h a w a y t h a t t h e r e d h u e i s r e m o v e d s o
t h a t t h e r e s u l t i n g i m a g e i s b r i g h t e n e d a n d c o r r e c t e d . T h e r e f o r e , f o r s o m e k i n d s o f i m a g e s ,
R G B R e t i n e x a c t u a l l y i m p r o v e s t h e c o l o r s . I n f e w o t h e r c a s e s , s u c h c o l o r c o r r e c t i o n c a n
c a u s e c o l o r a r t i f a c t s t h a t e x a g g e r a t e c o l o r s h i f t s , o r r e d u c e c o l o r s a t u r a t i o n .
A n o t h e r a p p r o a c h i s t o m a p t h e c o l o r s i n t o a d i e r e n t c o l o r s p a c e , s u c h a s H S V , a p p l y t h e
R e t i n e x c o r r e c t i o n o n l y t o t h e i n t e n s i t y l a y e r , a n d t h e n m a p b a c k t o t h e R G B d o m a i n . W e
r e f e r t o t h i s m e t h o d a s t h e ` H S V R e t i n e x ' . C o l o r s h i f t s i n s u c h c a s e s a r e l e s s - l i k e l y . T h e
a d v a n t a g e i s t h a t w e h a v e t o p r o c e s s a s i n g l e c h a n n e l . T h e m a i n d r a w b a c k i s t h a t c o l o r s a r e
n o l o n g e r c o r r e c t e d w i t h r e s p e c t t o t h e i l l u m i n a t i o n h u e .
5 A l t e r n a t i v e I l l u m i n a t i o n C o r r e c t i o n
T h e r e e c t a n c e i m a g e o b t a i n e d b y t h e R e t i n e x p r o c e s s i s s o m e t i m e s a n o v e r - e n h a n c e d i m a g e .
T h i s c a n b e e x p l a i n e d b y t h e f a c t s t h a t i ) t h e h u m a n v i s u a l s y s t e m u s u a l l y p r e f e r s s o m e
i l l u m i n a t i o n i n t h e i m a g e , a n d t h a t i i ) r e m o v a l o f a l l t h e i l l u m i n a t i o n e x p o s e s n o i s e t h a t
m i g h t e x i s t i n d a r k e r r e g i o n s o f t h e o r i g i n a l i m a g e .
W e p r o p o s e a d d i n g a c o r r e c t e d v e r s i o n o f t h e r e c o n s t r u c t e d i l l u m i n a t i o n b a c k t o t h e r e -
c o n s t r u c t e d r e e c t a n c e i m a g e . F i g u r e 3 d e s c r i b e s t h i s o p e r a t i o n . T h e p r o p o s e d s c h e m e
c o m p u t e s t h e i l l u m i n a t i o n i m a g e L = e x p ( l ) f r o m t h e i n t e n s i t y i m a g e S = e x p ( s ) , a n d t h e
r e e c t a n c e i m a g e R = S = L , a s d i s c u s s e d i n p r e v i o u s s e c t i o n s . T h e n , w e ` t u n e u p ' t h e i l l u -
m i n a t i o n i m a g e L b y a G a m m a C o r r e c t i o n o p e r a t i o n w i t h a f r e e p a r a m e t e r , o b t a i n a n e w
i l l u m i n a t i o n i m a g e L
0
, a n d m u l t i p l y i t b y R , t h a t g i v e s t h e o u t p u t i m a g e S
0
= L
0
R . T h e
G a m m a c o r r e c t i o n i s p e r f o r m e d b y
L
0
= W
L
W
1
( 4 )
1 2
-
8/8/2019 Variational Framework
14/31
S
ImageInput
S
Correction
Gamma
L
S
S
L
R
Retinex
reconstruction)(Illumination
L
F i g u r e 3 : R e t u r n i n g p a r t o f t h e i l l u m i n a t i o n t o t h e r e e c t a n c e i m a g e
w h e r e W i s t h e W h i t e v a l u e ( e q u a l t o 2 5 5 i n 8 - b i t i m a g e s ) .
T h e n a l r e s u l t S
0
i s g i v e n , t h e r e f o r e , b y :
S
0
= L
0
R =
L
0
L
S
= W
( L = W )
1 =
L
S =
S
( L = W )
1 ; 1 =
: ( 5 )
F o r = 1 , t h e w h o l e i l l u m i n a t i o n i s a d d e d b a c k , a n d t h e r e f o r e S
0
= S . F o r = 1 , n o
i l l u m i n a t i o n i s r e t u r n e d , a n d w e g e t S
0
= R W , w h i c h i s t h e s a m e r e e c t a n c e i m a g e , R , a s
o b t a i n e d b y t h e o r i g i n a l r e t i n e x , s t r e t c h e d t o t h e i n t e r v a l 0 W ] . T h e l a t e r c a s e c a n a l s o b e
c o n s i d e r e d a s a d d i n g a m a x i m u m c o n s t a n t i l l u m i n a t i o n W t o t h e r e e c t a n c e i m a g e R .
A d d i n g p a r t o f t h e i l l u m i n a t i o n t o t h e n a l i m a g e c a n a l s o b e f o u n d i n t h e h o m o m o r p h i c
l t e r i n g a p p r o a c h . I n 1 8 , C h a p t e r 1 0 ] , t h e p r o p o s e d l i n e a r l t e r f o r t h e i l l u m i n a t i o n c a l c u -
l a t i o n i n t h e l o g d o m a i n , r e m o v e s h i g h - p a s s s p a t i a l c o m p o n e n t s o f s , y e t a l s o a t t e n u a t e s t h e
l o w - p a s s c o m p o n e n t s b y a f a c t o r o f
i
( w h e r e i s t a n d s f o r i l l u m i n a t i o n ) . T h i s i s a n a l o g t o a
g a m m a c o r r e c t i o n o f t h e i l l u m i n a t i o n w i t h =
i
, s i n c e E q u a t i o n ( 5 ) c a n b e w r i t t e n i n t h e
f o r m :
S
0
W
=
L
W
1 =
R ( 6 )
a n d t h e r e f o r e :
s
0
; w =
1
( l ; w ) + r
1 3
-
8/8/2019 Variational Framework
15/31
=
1
( l o w - p a s s c o m p o n e n t s ) + ( h i g h - p a s s c o m p o n e n t s ) : ( 7 )
6 R e s u l t s
I n o u r e x p e r i m e n t s w e a p p l i e d t h e n u m e r i c a l a l g o r i t h m o f S e c t i o n 3 t o s e v e r a l t e s t i m a g e s .
T h e r e s u l t s c o r r e s p o n d t o = 0 : 0 0 0 1 a n d = 0 : 1 , u n l e s s i n d i c a t e d d i e r e n t l y . F o u r
r e s o l u t i o n l a y e r s w e r e u s e d w i t h T
k
= 2 4 8 , a n d 1 6 i t e r a t i o n s a t e a c h l a y e r , 2 i t e r a t i o n s
a t t h e n e s t ( k = 1 ) a n d 1 6 a t t h e c o a r s e s t r e s o l u t i o n ( k = 4 ) .
I n t h e r s t t e s t , w e a p p l y t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s t o s e v e n i n p u t i m a g e s .
T h e r e s u l t s a r e s h o w n i n F i g u r e s 4 { 1 0 .
T h e s e c o n d t e s t ( F i g u r e 1 1 ) p r e s e n t s t h e i n u e n c e o f t h e v a l u e s o n t h e r e c o n s t r u c t e d
r e e c t a n c e i m a g e .
I n F i g u r e 1 2 w e t e s t t h e e e c t o f t h e n u m b e r o f i t e r a t i o n s o n t h e r e e c t a n c e r e s u l t . I n a l l
c a s e s , t h e n u m b e r o f i t e r a t i o n s w a s x e d t o C o n s t 2
k
, w h e r e k i s t h e r e s o l u t i o n l a y e r , w i t h
2 C o n s t i t e r a t i o n a t t h e n e s t r e s o l u t i o n . T h e n u m b e r o f i t e r a t i o n s i s d e t e r m i n e d b y t h e
c o n s t a n t C o n s t 2 f 1 2 4 8 1 6 g .
I n F i g u r e 1 3 , w e r e s t o r e t h e i l l u m i n a t i o n t h r o u g h G a m m a c o r r e c t i o n a n d a d d i t b a c k t o t h e
r e e c t a n c e i m a g e . W e u s e e a c h o f t h e v a l u e s = f 1 2 6 2 4 9 6 g f o r e a c h o u t p u t i m a g e ,
r e s p e c t i v e l y .
F i n a l l y , w e d e m o n s t r a t e t h e c o n v e r g e n c e o f t h e p r o p o s e d n u m e r i c a l a l g o r i t h m . F i g u r e 1 4
s h o w s t h e v a l u e s o f F l
n
] , t h e f u n c t i o n a l i n E q u a t i o n ( 1 ) , a s a f u n c t i o n o f t h e n u m b e r o f
i t e r a t i o n s . T h e r e s u l t s c o r r e s p o n d t o t h e i m a g e i n F i g u r e 9 . T h e a l g o r i t h m i n t h i s c a s e r u n s
o n t h e R , G , a n d B l a y e r s s e p a r a t e l y , w i t h o u t t h e p y r a m i d a l s t r u c t u r e , s o t h a t a l l l
n
a r e
c o m p u t e d a t t h e s a m e r e s o l u t i o n . A s c a n b e s e e n , a r a p i d c o n v e r g e n c e i s o b t a i n e d f o r a l l t h e
t h r e e c h a n n e l s .
W e c o n c l u d e t h a t
1 . A s w e s e e i n F i g u r e s 4 { 1 0 , b o t h t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s p r o v i d e d
t h e d e s i r e d r e s u l t s . T h e r e e c t a n c e i m a g e s a r e i n d e e d e n h a n c e d v e r s i o n s o f t h e o r i g i n a l
o n e , a l t h o u g h i n s o m e v e r s i o n s t h e y a r e o v e r - e n h a n c e d .
2 . T h e i l l u m i n a t i o n f e e d b a c k t h r o u g h G a m m a c o r r e c t i o n s e e m s t o i m p r o v e b o t h t h e R G B
a n d t h e H S V R e t i n e x r e s u l t s . H o w e v e r , t h e y h a v e d i e r e n t e e c t s : I n t h e R G B R e t i n e x
t h i s p r o c e s s r e s t o r e s s o m e o f t h e c o l o r s , w h e r e a s i n t h e H S V R e t i n e x , t h e r e s u l t i s m e r e l y
d a r k e r .
3 . W h e n w e c o m p a r e t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s i t s e e m s t h a t t h e b e t -
t e r m e t h o d d e p e n d s o n t h e i n p u t i m a g e . G e n e r a l l y s p e a k i n g , f o r i m a g e s w i t h c o l o r e d
1 4
-
8/8/2019 Variational Framework
16/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 4 : E x a m p l e 1 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s
i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g ) O r i g i n a l
i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n i m a g e ,
( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e ( p r o p o s e d
a l g . w i t h = 1 ) .
1 5
-
8/8/2019 Variational Framework
17/31
-
8/8/2019 Variational Framework
18/31
-
8/8/2019 Variational Framework
19/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 7 : E x a m p l e 4 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s
i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g ) O r i g i n a l
i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n i m a g e ,
( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e ( p r o p o s e d
a l g . w i t h = 1 ) .
1 8
-
8/8/2019 Variational Framework
20/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 8 : E x a m p l e 5 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s
i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g ) O r i g i n a l
i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n i m a g e ,
( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e ( p r o p o s e d
a l g . w i t h = 1 ) .
1 9
-
8/8/2019 Variational Framework
21/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 9 : E x a m p l e 6 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s
i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g ) O r i g i n a l
i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n i m a g e ,
( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e ( p r o p o s e d
a l g . w i t h = 1 ) .
2 0
-
8/8/2019 Variational Framework
22/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 1 0 : E x a m p l e 7 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y ,
w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g )
O r i g i n a l i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n
i m a g e , ( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e
( p r o p o s e d a l g . w i t h = 1 ) .
2 1
-
8/8/2019 Variational Framework
23/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 1 1 : T h e i n u e n c e o f . ( a ) , ( g ) O r i g i n a l i m a g e , ( b ) , ( h ) = 1 e - 5 , ( c ) , ( i ) = 1 e - 3 , ( d ) , ( j )
= 1 e - 1 , ( e ) , ( k ) = 1 , ( f ) , ( l ) = 1 0 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s
s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f V c o m p o n e n t o f H S V s p a c e o n l y .
2 2
-
8/8/2019 Variational Framework
24/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 1 2 : T h e i n u e n c e o f v a r y i n g t h e n u m b e r o f i t e r a t i o n s T . ( a ) , ( g ) O r i g i n a l i m a g e , ( b ) , ( h )
T = 2 , ( c ) , ( i ) T = 4 , ( d ) , ( j ) T = 8 , ( e ) , ( k ) T = 1 6 , ( f ) , ( l ) T = 3 2 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g
o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f V c o m p o n e n t
o f H S V s p a c e o n l y .
2 3
-
8/8/2019 Variational Framework
25/31
( a ) ( b ) ( c )
( d ) ( e ) ( f )
( g ) ( h ) ( i )
( j ) ( k ) ( l )
F i g u r e 1 3 : T h e i n u e n c e o f p a r a m e t e r ( a m o u n t o f i l l u m i n a t i o n r e t u r n ) . ( a ) , ( g ) O r i g i n a l i m a g e ,
( b ) , ( h ) = 1 , ( c ) , ( i ) = 2 , ( d ) , ( j ) = 6 , ( e ) , ( k ) = 2 4 , ( f ) , ( l ) = 9 6 . I m a g e s ( b ) - ( f ) r e f e r t o
p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f
V c o m p o n e n t o f H S V s p a c e o n l y .
2 4
-
8/8/2019 Variational Framework
26/31
-
8/8/2019 Variational Framework
27/31
-
8/8/2019 Variational Framework
28/31
-
8/8/2019 Variational Framework
29/31
2 . B a s e d o n t h e p r e v i o u s r e s u l t s , t h e s o l u t i o n s s h o u l d b e o n t h e b o u n d a r y o f C : l
1
l
2
=2
I n t e r i o r f C g .
3 . T h e f u n c t i o n a l v a l u e o f t h e t w o s o l u t i o n s s h o u l d b e t h e s a m e : F l
1
] = F l
2
] .
4 . T h e s o l u t i o n s a r e o p t i m a l : 8 l 2 C F l ] > F l
1
] .
5 . T h e s o l u t i o n s s h o u l d n o t b e e q u a l t o
l
o p t
, i . e . , F l ] : l
1
l
2
6=
l
o p t
.
S i n c e C i s c o n v e x , 8 2 ( 0 1 ) l
0
= ( 1 ; ) l
1
+ l
2
2 C . M o r e o v e r , b y t h e s t r i c t c o n v e x i t y
o f F l ] , w e h a v e t h a t F l
0
] = F ( 1 ; ) l
1
+ l
2
]
-
8/8/2019 Variational Framework
30/31
B R e f e r e n c e s
1 ] D . P . B e r t s e k a s , N o n - L i n e a r P r o g r a m m i n g , A t h e n a S c i e n t i c , B e l m o n t , M a s s a c h u s e t t s ,
1 9 9 5 .
2 ] A . B l a k e , \ B o u n d a r y C o n d i t i o n s o f L i g h t n e s s C o m p u t a t i o n i n M o n d r i a n W o r l d " , C o m -
p u t e r V i s i o n G r a p h i c s a n d I m a g e P r o c e s s i n g , V o l . 3 2 , p p . 3 1 4 { 3 2 7 , 1 9 8 5 .
3 ] A . B l a k e a n d A . Z i s s e r m a n , V i s u a l R e c o n s t r u c t i o n , T h e M I T P r e s s , C a m b r i d g e , M a s -
s a c h u s e t t s 1 9 8 7 .
4 ] D . H . B r a i n a r d , a n d B . W a n d e l l , \ A n a l y s i s o f t h e R e t i n e x T h e o r y o f C o l o r V i s i o n " , J .
O p t . S o c . A m . A , V o l . 3 , p p . 1 6 5 1 { 1 6 6 1 , 1 9 8 6 .
5 ] O . D . F a u g f e r a s , \ D i g i t a l I m a g e C o l o r P r o c e s s i n g W i t h i n t h e F r a m e w o r k o f a H u m a n
V i s u a l S y s t e m " , I E E E T r a n s . o n A S S P , V o l . 2 7 , p p . 3 8 0 { 3 9 3 , 1 9 7 9 .
6 ] S . G e m a n a n d D . G e m a n , " S t o c h a s t i c r e l a x a t i o n , G i b b s d i s t r i b u t i o n , a n d t h e B a y e s i a n
r e s t o r a t i o n o f i m a g e s " , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n s M a c h i n e , V o l . 6 , p p . 7 2 1 -
7 4 1 , 1 9 8 4 .
7 ] B . K . P . H o r n , \ D e t e r m i n i n g L i g h t n e s s f r o m a n I m a g e " , C o m p u t e r G r a p h i c s a n d I m a g e
P r o c e s s i n g , V o l , 3 . p p . 2 7 7 { 2 9 9 , 1 9 7 4 .
8 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l l , \ P r o p e r t i e s a n d P e r f o r m a n c e o f t h e
C e n t e r / S u r r o u n d R e t i n e x " , I E E E T r a n s . o n I m a g e P r o c . , V o l . 6 , p p . 4 5 1 { 4 6 2 , 1 9 9 7 .
9 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l l , \ A M u l t i s c a l e R e t i n e x f o r B r i d g i n g t h e
G a p B e t w e e n C o l o r I m a g e s a n d t h e H u m a n O b s e r v a t i o n o f S c e n e s " , I E E E T r a n s . o n
I m a g e P r o c . , V o l . 6 , 1 9 9 7 .
1 0 ] R . L . L a g e n d i j k a n d J . B i e m o n d , I t e r a t i v e I d e n t i c a t i o n a n d R e s t o r a t i o n o f I m a g e s ,
K l u w e r A c a d e m i c P u b l i s h i n g , B o s t o n , M a s s a c h u s e t t s , 1 9 9 1 .
1 1 ] E . H . L a n d , \ T h e R e t i n e x T h e o r y o f C o l o r V i s i o n " , S c i . A m e r . , V o l . 2 3 7 , p p . 1 0 8 - 1 2 8 ,
1 9 7 7 .
1 2 ] E . H . L a n d , \ R e c e n t A d v a n c e s i n t h e R e t i n e x T h e o r y a n d S o m e I m p l i c a t i o n s f o r C o r t i c a l
C o m p u t a t i o n s : C o l o r V i s i o n a n d t h e N a t u r a l I m a g e " , P r o c . N a t . A c a d . S c i . U S A , V o l .
8 0 , p p . 5 1 6 3 { 5 1 6 9 , 1 9 8 3 .
1 3 ] E . H . L a n d , \ A n A l t e r n a t i v e T e c h n i q u e f o r t h e C o m p u t a t i o n o f t h e D e s i g n a t o r i n t h e
R e t i n e x T h e o r y o f C o l o r V i s i o n " , P r o c . N a t . A c a d . S c i . U S A , V o l . 8 3 , p p . 3 0 7 8 { 3 0 8 0 ,
1 9 8 6 .
1 4 ] E . H . L a n d , a n d J . J . M c C a n n , \ L i g h t n e s s a n d t h e R e t i n e x T h e o r y " , J . O p t . S o c . A m . ,
V o l . 6 1 , p p . 1 { 1 1 , 1 9 7 1 .
2 9
-
8/8/2019 Variational Framework
31/31
1 5 ] D . G . L u e n b e r g e r , L i n e a r a n d N o n - L i n e a r P r o g r a m m i n g , A d d i s o n - W e s l e y P u b . , M e n l o -
P a r k , C a l i f o r n i a , S e c o n d E d i t i o n , 1 9 8 7 .
1 6 ] J . M a r r o q u i n , J . M i t t e r a n d T . P o g g i o , " P r o b a b i l i s t i c s o l u t i o n f o r i l l - p o s e d p r o b l e m s i n
c o m p u t a t i o n a l v i s i o n " , J . o f t h e A m e r i c a n S t a t i s t i c a l A s s o s . , V o l . 8 2 , p p . 7 6 - 8 9 , 1 9 8 7 .
1 7 ] J . J . M c C a n n , a n d I . S o b e l , \ E x p e r i m e n t s w i t h R e t i n e x " , H P L C o l o r S u m m i t , 1 9 9 8 .
1 8 ] A . V . O p p e n h e i m a n d R . W . S c h a f e r , D i g i t a l S i g n a l P r o c e s s i n g , P r e n t i c e H a l l : N e w
J e r s e y , 1 9 7 5 .
1 9 ] A . P a p o u l i s , P r o b a b i l i t y , R a n d o m V a r i a b l e s , a n d S t o c h a s t i c P r o c e s s e s , t h i r d E d i t i o n ,
p p . 3 4 5 { 3 4 6 , M c G r a w - H i l l , 1 9 9 1 .
2 0 ] D . T e r z o p o u l o s , \ I m a g e A n a l y s i s U s i n g M u l t i g r i d R e l a x a t i o n M e t h o d s " , I E E E T r a n s .
o n P A M I , V o l . 8 , 1 2 9 { 1 3 9 , 1 9 8 6 .
2 1 ] T . G . S t o c k h a m J r , \ I m a g e P r o c e s s i n g i n t h e C o n t e x t o f a V i s u a l M o d e l " P r o c . o f t h e
I E E E , V o l . 6 0 , 8 2 8 { 8 4 2 , 1 9 7 2 .