Enhanced Shot-Based Video Adaptation using MPEG-21 generic Bitstream Syntax Schema

8/22/2019 Enhanced Shot-Based Video Adaptation using MPEG-21 generic Bitstream Syntax Schema

1/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium o n C o m p u t at i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C I I S P 2 0 0 7 )

E n h a n c e d S h o t - B a s e d V i d e o A d a p t a t i o n u s i n gMPEG-21 g e n e r i c B i t s t r e a m S y n t a x S c h e m aS a r a h De B r u y n e , D a v y De S c h r i j v e r , W e s l e y De N e v e , D a v y V a n D e u r s e n , R i k V a n d e W a l l eD e p a r t m e n t o f E l e c t r o n i c s a n d I n f o r m a t i o n S y s t e m s - M u l t i m e d i a L a b - G h e n t U n i v e r s i t y - IBBT

G a s t o n C r o m m e n l a a n 8 b u s 2 0 1 , B - 9 0 5 0 L e d e b e r g - G h e n t , B e l g i u mE m a i l : { s a r a h . d e b r u y n e , d a v y . d e s c h r i j v e r , w e s l e y . d en e ve , d a vy . v a n d eu r s en , r i k . v a n d e w a l l e } @ u g e n t . b e

A b s t r a c t - S e m a n t i c v i d e o a d a p t a t i o n t a k e s i n t o a c c o u n t t h er el ev an c e o f t h e d i f f e r e n t f r a g m e n t s o f t h e v i d e o c o n t e n t i n o r d e rt o c r e a t e a t a i l o r e d v id eo s t r e am b a s e d o n t h e u s e r ' s p r e f e r e n c e s .A s a s h o t c a n b e c o n s i d e r e d a s t h e s m a l l e s t s e m a n t i c u n i t i na v i d e o s e q u e n c e , m e t a d a t a c a n b e a d d e d t o e a c h s h o t u s i n gM P E G -7 d e s c r i p t i o n s . B a s e d o n t h e s e m e t a d a t a a n d t h e u s e r ' sp r e f e r e n c e s , t h e o r i g i n a l b i t s t r e a m c a n b e a d a p t ed i n o r d e r t oo b t a i n t h e d e s i r e d f r a g m e n t s . MPEG-21 DIA o f f e r s a t o o l , g B SS c h e m a , f o r e x p o s i n g t h e h i g h - l e v e l s t r u c t u r e o f a b i n a r y r e s o u r c ea s a n XML d e s c r i p t i o n . I n t h i s p a p e r , s h o t i n f o r m a t i o n i s i n s e r t e di n t h e s e d e s c r i p t i o n s t o c r e a t e a l i n k b e t w e e n m e t a da t a a n ds e m a n t i c v i d e o a d a p t a t i o n . F u r t h e r m o r e , t h i s p a p e r p r o p o s e st o k e e p t h e s t r u c t u r e o f t h e s e d e s c r i p t i o n s f o r m a t - a g n o s t i c . A sa r e s u l t , o n l y o n e g e n e r i c t r a n s f o r m a t i o n s t y l e s h e e t h a s t o b ei m p l e m e n t e d t o s u p p o r t s h o t - b a s e d v i d e o a d a p t a t i o n o f s e q u e n c e sc o m p l i a n t w i t h d i f f e r e n t v i d e o s p e c i f i c a t i o n s . S p e c i a l a t t e n t i o n i sp a y e d t o s e q u e n c e s c o d e d w i t h t h e H . 2 6 4 / A V C s t a n d a r d a s t h i ss p e c i f i c a t i o n c o n t a i n s s e v e r a l i n t e r e s t i n g f e a t u r e s i m p o r t a n t f o rs h o t - b a s e d v i d e o a d a p t a t i o n .

I . INTRODUCTIONA s m u l t i m e d i a h a s p r o l i f e r a t e d o v e r t h e p a s t y e a r s , many

new t e c h n o l o g i e s h a v e b e e n d e v e l o p e d t o e s t a b l i s h t h e d e l i v e r ya n d c o n s u m p t i o n o f m u l t i m e d i a c o n t e n t . U s e r s b e g a n t o e x p e c tt h a t t h i s c o n t e n t c a n e a s i l y b e a c c e s s e d a c c o r d i n g t o t h e i r ow np r e f e r e n c e s . T h e r e f o r e , t h e d e l i v e r e d c o n t e n t m u s t b e t a i l o r e dt o t h e u s e r ' s c h a r a c t e r i s t i c s a n d p r e f e r e n c e s , a s w e l l a s t o t h ec a p a c i t i e s o f t h e t e r m i n a l s a n d n e t w o r k s .V i d e o a d a p t a t i o n [ 1 ] i s a n e m e r g i n g f i e l d o f i n t e r e s t t h a t i n -c l u d e s t e c h n i q u e s r e s p o n d i n g t o t h e a b o v e c h a l l e n g e s . S e v e r a la d a p t a t i o n s t r a t e g i e s c a n b e i d e n t i f i e d , e i t h e r o p e r a t i n g o n as e m a n t i c l e v e l ( e . g . , r e m o v a l o f v i o l e n t s ce ne s o r e x t r a c t i o no f s em an ti c h i g h l i g h t s ) , a t a s t r u c t u r a l l e v e l ( e . g . , k e y f r a m ee x t r a c t i o n ) , o r a t s i g n a l - p r o c e s s i n g l e v e l ( e . g . , t r a n s c o d i n g ) .T o a d a p t a v i d e o s e q u e n c e , MPEG-21 D i g i t a l I t e m A d a p t a -t i o n ( D I A ) [ 2 ] o f f e r s a t o o l , g e n e r i c B i t s t r e a m S y n t a x S c h e m a( g B S S c h e m a ) , t o d e s c r i b e t h e h i g h - l e v e l s t r u c t u r e o f t h eb i t s t r e a m u s i n g t h e E x t e n s i b l e M a r k u p L a n g u a g e ( X M L ) . T h er e s u l t i n g XML d o c u m e n t i s c a l l e d a g e n e r i c B i t s t r e a m S y n t a xD e s c r i p t i o n ( g B S D ) w h i c h m a k e s i t p o s s i b l e t o d e s c r i b e t h eb i t s t r e a m i n a c o d i n g f o r m a t - a g n o s t i c m a n n e r .T h i s p a p e r c o n c e n t r a t e s o n t h e l i n k b e t w e e n m e t a d a t a a n df o r m a t - a g n o s t i c s em an ti c vi de o a d a p t a t i o n b y m a k i n g u s eo f g B S S c h e m a . T h i s w a y , m e t a d a t a a n d s em an ti c v id eoa d a p t a t i o n c a n b e c o u p l e d i n a n e l e g a n t m a n n e r . T h e r e f o r e ,s h o t i n f o r m a t i o n i s i n s e r t e d i n t h e g B S D s i n d i c a t i n g t o w h i c hs h o t e a ch f r am e b e l o n g s . T h e s e l e c t i o n o f t h e d e s i r e d s h o t s

c a n b e o b t a i n e d b y u s i n g MPEG-7 d e s c r i p t i o n s c o n t a i n i n gm e t a d a t a a b o u t t h e d i f f e r e n t s h o t s . O n c e t h e d e s i r e d s h o t s a r ei n d i c a t e d , a g e n e r i c t r a n s f o r m a t i o n s t y l e s h e e t i s u s e d t o o b t a i nt h e d e s i r e d a d a p t e d s e q u e n c e b y l i n k i n g t h e d e s i r e d s h o t s t ot h e s h o t i n f o r m a t i o n a v a i l a b l e i n t h e g B S D . S p e c i a l a t t e n t i o nn e e d s t o b e p a y e d t o t h e e x t r a c t i o n o f t h e d e s i r e d f r a g m e n t sa s t h e a d a p t e d b i t s t r e a m n e e d s t o r e m a i n c o m p l i a n t w i t h t h ec o r r e s p o n d i n g s p e c i f i c a t i o n .R e l a t e d w o r k i n c l u d e s a s e m a n t i c a d a p t a t i o n f r a m e w o r kf o r t h e g e n e r a t i o n o f s e ma nt ic m e t a d a t a a n d t h e s e m a n t i ca d a p t a t i o n o f v i d e o o n a f r a m e b a s i s u s i n g g B S S c h e m a [ 3 ] .F u r h t e r m o r e , [ 4 ] a n d [ 5 ] f o c u s o n v i d e o a d a p t a t i o n u s i n ggBS S c h e m a . I n p a r t i c u l a r , a n e x a m p l e o f a gBSD i s g i v e nw h i c h i s u s e d t o c l a s s i f y f r a g m e n t s o f a v i d e o u s i n g s e m a n t i ci n f o r m a t i o n .T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . T h e f o l l o w i n g s e c t i o ni n t r o d u c e s t h e m a i n e n a b l i n g t e c h n o l o g i e s a n d c o n c e p t s , w h i l eS e c t . I I I d i s c u s s e s t h e s h o t - b a s e d a d a p t a t i o n p r o c e s s . E x p e r i -m e n t a l r e s u l t s a r e g i v e n i n S e c t . I V .

I I . ENABLING TECHNOLOGIES A N D CONCEPTSA . g B S D - d r i v e n C o n t e n t A d a p t a t i o n

MPEG-21 g B S S c h e m a i s a t o o l o f p a r t 7 ( D i g i t a l I t e mA d a p t a t i o n , D I A ) o f t h e MPEG-21 s p e c i f i c a t i o n u s e d t of a c i l i t a t e c o n t e n t a d a p t a t i o n [ 4 ] , [ 5 ] . T o r e a l i z e t h i s , g B SS c h e m a d e f i n e s a f r a m e w o r k t h a t e n a b l e s t h e d e s c r i p t i o n o ft h e h i g h - l e v e l s t r u c t u r e o f a b i t s t r e a m i n XML, r e s u l t i n g i na B i t s t r e a m S y n t a x D e s c r i p t i o n ( B S D s ) . T h i s d e s c r i p t i o n i sn o t m e a n t t o d e s c r i b e t h e b i t s t r e a m o n a b i t - p e r - b i t b a s i s , b u tr a t h e r a d d r e s s e s i t s h i g h - l e v e l s t r u c t u r e . I n F i g . 1 , a g l o b a la r c h i t e c t u r e f o r a B S D - b a s e d c o n t e n t a d a p t a t i o n f r a m e w o r k i sg i v e n . F i r s t , a BSD o f t h e h i g h - l e v e l s t r u c t u r e o f t h e b i t s t r e a mi s g e n e r a t e d . T h i s BS D i s t h e n a d a p t ed a c co r di n g t o t h e u s e r ' sp r e f e r e n c e s b y m e a n s o f a t r a n s f o r m a t i o n l a n g u a g e . F i n a l l y ,t h e a d a p t e d BS D b e c o m e s i n p u t t o a n a d a p t a t i o n m o d u l er e s p o n s i b l e f o r t h e g e n e r a t i o n t h e c o r r e s p o n d i n g b i t s t r e a m .g B S S c h e m a u s e s o n l y o n e g e n e r i c s c h e m a t o d e s c r i b e t h es t r u c t u r e o f a g e n e r i c BSD ( g B S D ) , m a k i n g t h e s y n t a x o f t h egBSD g e n e r i c a n d c o d e c - i n d e p e n d e n t . T h e r e f o r e , t h e r e g e n e r -a t i o n o f t h e a d a p t e d b i t s t r e a m c a n b e a c h i ev e d w i t h o u t t h e n e e do f c o d e c - s p e c i f i c s c h e m a s . F u r t h e r m o r e , t h i s s c h e m a m a k e s i tp o s s i b l e t o d e s c r i b e t h e b i t s t r e a m i n a h i e r a r c h i c a l f a s h i o na n d p r o v i d e s s e m a n t i c a l l y m e a n i n g f u l m a r k i n g o f s y n t a c t i c a l

1 - 4 2 4 4 - 0 7 0 7 - 9 / 0 7 / $ 2 5 . 0 0 2 0 0 7 I E E E 380


2/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium o n C o mp u t at i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C II S P 2 0 07 )r e c o v e r y _ f r a m e _ c n t = 3

bitstream BSDgeneratio BSD

transformation

adapte sream gen ransf.rmedbitstre

F i g . 1 . A r c h i t e c t u r e f o r a B S D - b a s e d c o n t e n t a d a p t a t i o n f r a m e w o r ke l e m e n t s b y t h e use o f a " m a r k e r " h a n d l e f a c i l i t a t i n g s e m a n t i c -b a s e d a d a p t a t i o n s .

S i n c e t h e g BS Schema s p e c i f i c a t i o n c a n b e f o u n d i n t h eMPEG-21 DIA s t a n d a r d [ 2 ] , o n l y a b r i e f summary o f t h e mosti m po r t an t e l em e nt s n e e d e d w i t h i n t h e s co p e o f t h i s p a p er i sg i v e n . E x a m p l e s o f gBSDs i l l u s t r a t i n g t h e d e s c r i b e d c o n c e p t sare g i v e n i n S e c t . 111.

. T h e g B S D U n i t e l e m e n t r e p r e s e n t s a b i t s t r e a m seg-ment b y r e f e r r i n g t o t h e c o r r e s p o n d i n g l o c a t i o n i n t h eb i t s t r e a m . E a c h g B S D U n i t c a n t h e n f u r t h e r c o n s i s t o fg B S D U n i t s a n d P a r a m e t e r s r e s u l t i n g i n a h i e r a r c h i c a lr e p r e s e n t a t i o n o f t h e b i t s t r e a m . A gBSDUnit i n c l u d e s as t a r t a n d l e n g t h a t t r i b u t e t o p o i n t t o t h e s e c t i o n i n t h eb i t s t r e a m i t d e s c r i b e s . I n a d d i t i o n , i t c a n a l s o c o n t a i na s y n t a c t i c a l L a b e l a t t r i b u t e f o r i n c l u d i n g c o d i n g - f o r m a ts p e c i f i c i n f o r m a t i o n a b o u t t h e h i e ra r c hi c a l s t r u c t u r e i d e n -t i f i e d v i a c l a s s i f i c a t i o n s c h e m e t e r m s w h i l e t h e o p t i o n a lm a r k e r a t t r i b u t e p r o v i d e s s e ma n t i c i nf o r m at i o n u s e d f o rp e r f o r m i n g a d a p t a t i o n s .

. T h e Parameter e l e m e n t i s u s e d t o d e s c r i b e a s y n t a xe l e m e n t i n t h e b i t s t r e a m o f w h i c h t h e v a l u e m i g h t b ec h a n g e d d u r i n g t h e a d a p t a t i o n process. T h e r e f o r e , i tp r o v i d e s t h e a c t u a l v a l u e a n d t h e d a t a t y p e o f t h e cor-r e s p o n d i n g b i t s t r e a m f r a g m e n t . S i m i l a r t o t h e g B S D U n i t ,i t c a n a l s o c o n t a i n a s y n t a c t i c a l L a b e l a n d a m a r k e r .B . Random A c c e s s i n V i d e o C o d i n g

I n v i d e o c o d i n g , i m p r o v e d c o m p r e s s i o n e f f i c i e n c y i sa c h i e v e d b y t a k i n g a d v a n t a g e o f t h e l a r g e amount o f t e m p o r a lr e d u n d a n c y i n v i d e o c o n t e n t . H o w e v e r , t e m p o r a l p r e d i c t i o nc a u s e s i n c o n v e n i e n c e s i n o t h e r a s p e c t s s u c h as random access.

As d i s c u s s e d b y H a n n u k s e l a e t a l . i n [ 6 ] , random accessr e f e r s t o t h e a b i l i t y o f t h e d e c o d e r t o s t a r t d e c o d i n g a t a p o i n ti n a v i d e o seque nc e o t h e r t h a n a t t h e b e g i n n i n g a n d t o recovera n e x a c t or a p p r o x i m a t e r e p r e s e n t a t i o n o f t h e d e c o d e d p i c t u r e s .T h i s r a n d o m access o p e r a t i o n i s c h a r a c t e r i z e d b y a randomaccess p o i n t a n d a recovery p o i n t , as c a n b e seen i n F i g . 2 . Ther a n d o m access p o i n t appears f i r s t a n d i s a c o d e d p i c t u r e w h e r et h e d e c o d i n g c a n b e i n i t i a l i z e d . The recovery p o i n t i n d i c a t e st h a t t h e c o n t e n t o f a l l d e c o d e d p i c t u r e s a t a n d s u b s e q u e n t t ot h i s f r a m e i s c o r r e c t or a p p r o x i m a t e l y c o r r e c t .T h e r a n d o m a c c es s o p e r a t i o n i s c a l l e d I n s t a n t a n e o u s D e -c o d i n g R e f r e s h ( I D R ) when t h e random a c c es s p o i n t a n d t h erecovery p o i n t c o i n c i d e . As a consequence, t h e c o r r e s p o n d i n gf r a m e w i l l b e i n t r a c o d e d . I n c a s e t h e random access p o i n ta n d t h e recovery p o i n t d o n o t concur, f r a m e s i n b e t w e e n t h etw o p o i n t s w i l l c o n t a i n a r t i f a c t s a n d t h e random access process

F i g . 2 . G r a d u a l r a n d o m access a p p l i e d t o H . 2 6 4 / A V Cw i l l b e g r a d u a l ( F i g . 2 ) . T h e l a t t e r process i s c a l l e d G r a d u a lD e c o d i n g R e f r e s h (GDR) a n d r e f e r s t o t h e a b i l i t y t o s t a r td e c o d i n g a t a n o n - I D R p i c t u r e a n d t o recover d e c o d e d p i c t u r e st h a t are c o r r e c t a f t e r d e c o d i n g a c e r t a i n amount o f p i c t u r e s .

D e p e n d i n g on t h e a p p l i c a t i o n a r e a , r a n d o m a c c es s p o i n t sare m o s t l y i n s e r t e d i n v i d e o sequences on a r e g u l a r t i m e b a s i sor b a s e d on t h e v i d e o c o n t e n t s . T h e f i r s t c a s e i s m o s t l y u s e di n s t r e a m i n g a p p l i c a t i o n s s u c h as b r o a d c a s t i n g w h e r e a s t h es e c o n d c a s e i s more o f t e n u s e d i n a p p l i c a t i o n s w h e r e h i g hc o m p r e s s i o n r a t i o s ar e p r e f e r r e d . C o n s e q u e n t l y , i n t h e l a s tc a s e , r a n d o m a c c es s p o i n t s o f t e n c o i n c i d e w i t h s h o t b o u n d a r i e sb e c a u s e t h e c o n t e n t o f t h e c u r r e n t f r a m e w i l l h i g h l y d i f f e r f r o mt h e p r e v i o u s f r a m e s b e l o n g i n g t o t h e p r e v i o u s s h o t .

D u r i n g most s e m a n t i c a d a p t a t i o n processes, t h e e x t r a c t i o no f c e r t a i n s e g m e n t s i s d e s i r e d . I n c a s e t h e b e g i n n i n g o f as e g m e n t c o r r e s p o n d s t o a random a c c es s p o i n t , t h e e x tr ac t edv i d e o c a n b e d e c o d e d w i t h o u t a n y p r o b l e m . H o w e v e r , i n t h eo t h e r c a s e , s p e c i a l p r e c a u t i o n s n e e d t o b e t a k e n i n o r d e r t oe x t r a c t t h e d e s i r e d s e g m e n t as d e s c r i b e d i n S e c t . III.C . Random A c c e s s A p p l i e d t o H . 2 6 4 / A V C

I n e a r l i e r v i d e o s p e c i f i c a t i o n s , e a c h i n t r a - c o d e d p i c t u r ec o r r e s p o n d s t o a random a c c es s p o i n t as s u b s e q u e n t f r a m e s ar en o t a l l o w e d t o r e f e r t o p i c t u r e s l o c a t e d b e f o r e t h i s i n t r a - c o d e dp i c t u r e . I n H.264/AVC [ 7 ] , t h i s p r i n c i p l e d o e s no l o ng e r a p pl yb e c a u s e o f t h e i n t ro d uc t i on o f t h e m u l t i p l e r e f e r e n c e p i c t u r eb u f f e r . T h e r e f o r e , i n t r a - c o d e d p i c t u r e s w h i c h c o r r e s p o n d t o ar a n d o m a c c es s p o i n t are e x p l i c i t l y m a r k e d as IDR p i c t u r e s .T o i n d i c a t e g r a d u a l r a n d o m r e f r e s h , H.264/AVC p r o v i d e sR e c o v e r y P o i n t S u p p l e m e n t a l E n h a n c e m e n t I n f o r m a t i o n m e s -sages ( R P - S E I m e s s a g e ) as c a n b e se e n i n F i g . 2 . The f r a m ea s s o c i a t e d w i t h a n RP-SEI m e s s a g e c o r r e s p o n d s t o a randoma c c es s p o i n t . T o s i g n a l t h e c o r r e s p o n d i n g recovery p o i n t , t h i sm e s s a g e c o n t a i n s a recovery f rame c n t e l e m e n t w h i c hi n d i c a t e s t h e number o f r e f e r e n c e f r a m e s t h a t n e e d t o b ed e c o d e d t o a r r i v e t o t h e recovery p o i n t .

III. S H O T- BASE D ADAPTATIO N U S I N G G BS S CH EM AT h e i d e a b e h i n d s e m an t i c v i de o a d a p t a t i o n i s t h e e x t ra ct i ono f t h e d es ir ed f r a g m e n t s b a s e d on t h e u s e r ' s p r e f e r e n c e s .

T h i s c a n b e d o n e b y u s i n g M P E G - 7 d e s c r i p t i o n s c o n t a i n i n gm e t a d a t a a b o u t t h e c o n t e n t o f t he v i d eo . B a s e d on t h e s em e t a d a t a , i t i s p o s s i b l e t o l o c a t e t h e d e s i r e d p a r t s . F o r e x a m p l e ,tw o d i f f e r e n t p e o p l e w o u l d l i k e t o se e a n o v e r v i e w o f a f o o t b a l lm a t c h . Th e f i r s t person i s o n l y i n t e r e s t e d i n t h e f r a g m e n t sc o n t a i n i n g g o a l s , w h i l e t h e s e c o n d person would l i k e t o se e a l lf r a g m e n t s o f h i s f a v o r i t e p l a y e r . By i n s e r t i n g t h e s e k e y w o r d s

3 8 1

IRandom A c c e s s P o i n t ie c o v e r y P o i n t


3/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium o n C o m p u t at i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C II S P 2 0 07 )v i d e o

N o n V i d e o R A RAU UD a t aN o n V i d e o NnieD a t a D t

I Ir a n d o m a c c e s s r a n d o m a c c e s sp o i n t p o i n tIr a n d o m a c c e s s

p o i n tF i g . 3 . E x a m p l e o f t h e s t r u c t u r e o f a v i d e o c o n t a i n i n g m u l t i p l e s h o t s i n d i c a t e db y d i f f e r e n t g r e y t i n t s

i n a n MPEG-7 d e s c r i p t i o n , i t s h o u l d b e p o s s i b l e t o m e e te v e r y o n e ' s n e e d s . A s a s h o t i s c o n s i d e r e d t o b e t h e s m a l l e s ts e m a n t i c u n i t i n a v i d e o s e q u e n c e , k e y w o r d s a r e a d d e d t oe a c h s h o t i n t h i s MPEG-7 d e s c r i p t i o n . I n c a s e a p e r s o n w o u l dl i k e t o s e e a l l g o a l s , t h e a d a p t a t i o n e n g i n e s e l e c t s a l l s h o t sc o n t a i n i n g t h i s k e y w o r d . By i n s e r t i n g s h o t i n f o r m a t i o n i n t h egBSDs c o r r e s p o n d i n g t o t h e v i d e o s e q u e n c e s , a l i n k c a n b em a d e b e t w e e n t h e m e t a d a t a a n d t h e a d a p t a t i o n .I n t h e f o l l o w i n g s e c t i o n s , w e w i l l d e s c r i b e how t h i s s h o t -b a s e d a d a p t a t i o n p r o c e s s c a n b e a c h i e v e d u s i n g g B S S c h e m a .

A . S t r u c t u r e o f t h e gBSDF r a m e s b e l o n g i n g t o t h e s a m e s h o t a r e o f t e n g r o u p e d i n

o n e g B S D U n i t s o t h a t t h e e x t r a c t i o n o f t h e d e s i r e d s h o t c a ne a s i l y b e a c h i e v e d [ 5 ] . H o w e v e r , t h i s a p p r o a c h c a u s e s t w op r o b l e m s . T h e f i r s t p r o b l e m a r i s e s w h e n t h e s t a r t i n g f r a m eo f a s h o t i n d e c o d i n g o r d e r d o e s n o t c o i n c i d e w i t h a r a n d o ma c c e s s p o i n t . C o n s e q u e n t l y , a l l f r a m e s l o c a t e d b e t w e e n t h ep r e v i o u s r a n d o m a c c e s s p o i n t a n d t h e s t a r t i n g f r a me n ee d t ob e a dd ed t o t h e a d a p t e d b i t s t r e a m a s w e l l , i n o r d e r t o m a k ec o r r e c t d e c o d i n g p o s s i b l e . A s e c o n d p r o b l e m i s a t t r i b u t e dt o t h e d i f f e r e n c e b e t w e e n d i s p l a y o r d e r a n d d e c o d i n g o r d e r .L e t P a l B a 2 P b l B b 2 P b 3 b e a v i d e o s e q u e n c e i n d i s p l a y o r d e rc o n t a i n i n g t w o s h o t s a a n d b , t h e c o r r e s p o n d i n g d e c o d i n go r d e r c o u l d t h e n b e P a l P b l B a 2 P b 3 B b 2 . O n e c a n s e e t h a t t h ef r a m e s b e l o n g i n g t o a s h o t d o n o l o n g e r s uc ce ed e a ch o t h e ru n i n t e r r u p t e d l y . S i n c e a gBSD d e s c r i b e s t h e s t r u c t u r e o f t h ec o d e d b i t s t r e a m i n d e c o d i n g o r d e r , i t w i l l b e i m p o s s i b l e t og r o u p f r a m e s b e l o n g i n g t o t h e s a m e s h o t t o g e t h e r i n a g B S D .T o r e s o l v e t h e s e p r o b l e m s , we p r o p o s e a new h i e r a r c h i c a ls t r u c t u r e f o r g B S D s i n t h e c o n t e x t o f s h ot - b as ed a d a p t a t i o n .I n s t e a d o f d i v i d i n g a v i d e o s e q u e n c e i n t o s h o t s , we w i l l g r o u pf r a m e s b e l o n g i n g t o t h e s a m e " R a n d o m A c c e s s U n i t " ( R A U )t o g e t h e r , a s c a n b e s e e n i n F i g . 3 . T h i s R A U c o n t a i n s a n u m b e ro f s u c c e s s i v e f r a m e s i n d e c o d e o r d e r , s t a r t i n g w i t h a f r a m ec o r r e s p o n d i n g t o a r a n d o m a c c e s s p o i n t a n d e n d i n g j u s t b e f o r et h e n e x t r a n d o m a c c e s s p o i n t . T h i s R A U i s r e p r e s e n t e d b y ag B S D U n i t a n d i s f u r t h e r d i v i d e d i n g B S D U n i t s r e p r e s e n t i n gt h e f r a m e s b e l o n g i n g t o t h e R A U ( F i g . 4 ) .A s f r a m e s b e l o n g i n g t o o n e s h o t a r e n o l o n g e r g a t h e r e d ,t h i s i n f o r m a t i o n n e e d s t o b e s t o r e d f o r e v e r y f r a m e s e p a r a t e l y .T h e m a r k e r a t t r i b u t e o f f e r s a g o o d s o l u t i o n t o s t o r e s h o ti n f o r m a t i o n a s i t i s i n t e n d e d t o p r o v i d e s e m a n t i c i n f o r m a t i o n .F u r t h e r m o r e , f o r e a c h R A U , a m a r k e r i s a p p e n d e d , g i v i n ga s u r v e y o f t h e s h o t i nf o r ma t i on i n cl u de d i n t h e RAU. T h i s

F i g . 4 . F r a g m e n t o f a g BS D u s e d f o r s e m a n t i c a d a p t a t i o n

e x t r a i n f o r m a t i o n m a k e s i t p o s s i b l e t o s p e e d u p t h e a d a p t a t i o np r o c e s s . I n o r d e r t o e x t r a c t a p a r t i c u l a r s h o t , i t i s n o l o n g e rn e c e s s a r y t o t a k e a l l f r a m e s i n t o c o n s i d e r a t i o n . I n s t e a d , b ye x a m i n i n g t h e m a r k e r s o f R A U s , o n l y RAUs c o n t a i n i n g ar e f e r e n c e t o t h e w a n t e d s h o t n e e d f u r t h e r e x p l o r a t i o n .I n c o n t r a s t t o m a r k e r a t t r i b u t e s , t h e s y n t a c t i c a l L a b e l a t -t r i b u t e i s u s e d t o i n c l u d e s p e c i f i c i n f o r m a t i o n a b o u t t h eh i e r a r c h i c a l s t r u c t u r e o f t h e b i t s t r e a m . I n m o s t a p p l i c a t i o n s ,t h e s e n a m e s a r e c o d e c - s p e c i f i c , t h u s e n a b l i n g c o d e c - a w a r ea d a p t a t i o n s . H o w e v e r , i n o u r a p p l i c a t i o n , w e p r e f e r t o u s e ag e n e r a l s t r u c t u r e m a k i n g i t p o s s i b l e t o i m p l e m e n t a f o r m a t -i n d e p e n d e n t s e m a n t i c a d a p t a t i o n s t y l e s h e e t . I n t h i s c a s e , i t i sp o s s i b l e t o e m p l o y o n l y o n e t r a n s f o r m a t i o n s t y l e s h e e t t h a t i sa b l e t o s e m a n t i c a l l y a d a p t b i t s t r e a m s c o m p l i a n t w i t h d i f f e r e n tc o d i n g s p e c i f i c a t i o n s .B e s i d e s f r a m e s , m o s t v i d e o s p e c i f i c a t i o n s i n s e r t a d d i t i o n a li n f o r m a t i o n i n t o a v i d e o b i t s t r e a m . I n t h e H . 2 6 4 / A V C s t a n d a r d ,f o r e x a m p l e , non-VCL ( n o n - v i d e o c o d i n g l a y e r ) N A L u n i t sa r e u s e d t o i n s e r t a d d i t i o n a l i n f o r m a t i o n , s u c h a s p a r a m e t e rs e t s a n d S E I m e s s a g e s i n t o t h e b i t s t r e a m . A s m o s t v i d e os p e c i f i c a t i o n s u s e d i f f e r e n t t e c h n i q u e s a n d s y n t a x e l e m e n t s t oi n s e r t non-VCL i n f o r m a t i o n , t h e i n s e r t i o n o f a f o r m a t - s p e c i f i ci n f o r m a t i o n w o u l d l e a d t o a f o r m a t - s p e c i f i c g B S D . A s t h i si s u n d e s i r e d , o n l y o n e f o r m a t - a g n o s t i c e l e m e n t " N o n V i d e o -D a t a " i s a d d e d . T o m a k e a d i f f e r e n c e b e t w e e n N o n V i d e o -D a t a a p p l i c a b l e t o t h e w h o l e v i d e o s e q u e n c e a n d i n f o r m a t i o na p p l i c a b l e t o o n l y o n e s h o t , e x t r a i n f o r m a t i o n i s a d d e d t ot h e c o r r e s p o n d i n g m a r k e r i n t h e g B S D . I n F i g . 4 , t h e f i r s tt w o g B S D U n i t s , c o r r e s p o n d i n g t o c e r t a i n p a r a m e t e r s e t s , a r em a r k e d a s n e c e s s a r y b e c a u s e t h e s e u n i t s c o u l d b e r e f e r r e d t ob y a l l f r a m e s i n t h e s e q u e n c e . I n F i g . 5 o n t h e o t h e r h a n d ,some " N o n V i d e o D a t a " p a r a m e t e r s a r e m a r k e d a c c o r d i n g t ot h e s h o t t h e y b e l o n g t o . More e x p l a n a t i o n a b o u t t h e s e s h o t -s p e c i f i c p a r a m e t e r s i s g i v e n b e l o w .B . C o n c e a l m e n t o f U n d e s i r e d F r a g m e n t s

I n a n u m b e r o f a p p l i c a t i o n s , i t i s d e s i r e d t h a t f r a g m e n t s n o tb e l o n g i n g t o t h e s p e c i f i e d s h o t ( s ) a r e n o t s h o w n . T h i s p r o b l e m

3 8 2


4/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium o n C o m p u t at i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C II S P 2 0 07 )

a r i s e s w h e n t h e f i r s t f r a m e o f t h e s h o t d o e s n o t c o i n c i d ew i t h t h e c o r r e s p o n d i n g r a n d o m a c c e s s p o i n t . T h e r e f o r e , t h eu nd es ir ed f r a m es l o c a t e d b e t w e e n t h e r a n d o m a c c e s s p o i n ta n d t h e f i r s t f r a m e o f t h e s h o t n e e d t o b e c o n c e i l e d .A way t o c o p e w it h t h i s p r o b l e m i s b y m a k in g u s e o ff e a t u r e s o f t h e M P 4 f i l e f o r m a t . T h i s c o n t a i n e r m a k e s i tp o s s i b l e t o c r e a t e a m a p p i n g b e t w e e n t h e d i f f e r e n t f r a m e s a n dt h e i r d i s p l a y t i m e , m a k i n g i t p o s s i b l e t o c o nc e al u n de s ir e df r a m e s . H o w e v e r , a d r a w b a c k o f t h i s a p p r o a c h i s t h e f a c t t h a tt h e v i d e o b i t s t r e a m a s w e l l a s t h e M P 4 f i l e n e e d t o b e a d j u s t e d .A n u m b e r o f v i de o s p e c i f i c a t i o n s c o n t a i n s p e c i a l f e a t u r e st o o v e r c o m e t h i s p r o b l e m . I n H . 2 6 4 / A V C , i t i s p o s s i b l e t os p e c i f y a n o w n - d e f i n e d S E I m e s s a g e i n d i c a t i n g t h e f r a m e s n o tp e r m i t t e d t o b e s h o w n . S i n c e t h i s m e s s a g e i s n o t i n c l u d e di n t h e s p e c i f i c a t i o n , d e c o d e r s a r e n o t a b l e t o i n t e r p r e t t h i sm e s s a g e a n d w i l l t h e r e f o r e d i s c a r d i t . A b e t t e r s o l u t i o n i s t ou s e m e s s a g e s a l r e a d y a v a i l a b l e i n t h e s p e c i f i c a t i o n .

I n H . 2 64 /A V C , R P - S E I m e s s a g e s a r e u s e d f o r g r a d u a lr a n d o m a c c e s s . A s a l r e a d y e l a b o r a t e d i n S e c t . I I , t h i s m e s s a g ei n d i c a t e s t h e p o s i t i o n o f t h e r a n d o m a c c e s s p o i n t a n d t h ec o r r e s p o n d i n g r e c o v e r y p o i n t . F r a m e s l o c a t e d i n b e t w e e n t h e s et w o p o s i t i o n s a r e c o n s i d e r e d i n c o r r e c t a n d a r e t h e r e f o r e n o td i s p l a y e d b y a d e c o d e r . By i n s e r t i n g a n R P - S E I m e s s a g e i nt h e b e g i n n i n g o f a RAU, u n d e s i r e d f r a g m e n t s c a n b e c o n c e a l e da s w e l l , a l t h o u g h t h e i r c o n t e n t d o e s n o t c o n t a i n a r t i f a c t s .F i g . 5 g i v e s a n e x a m p l e o f a n R AU c o n t a i n i n g a" F r a m e C o n c e a l m e n t " g B S D U n i t w h i c h r e p r e s e n t s a n R P - S E Im e s s a g e . T h i s u n i t w i l l b e i n s e r t e d i n t h e a d a p t e d b i t s t r e a m i nc a s e i t c o n t a i n s i n f o r m a t i o n a b o u t a d e s i r e d s h o t , a s i n d i c a t e db y t h e m a r k e r . T h e F r a m e C o n c e a l m e n t u n i t c o n s i s t s o f t w om a j o r t y p e s o f i n f o r m a t i o n .

. T h e f i r s t t y p e i s m a r k e d a s n e c e s s a r y a n d i s p r e s e n ti n a l l R P - S E I m e s s a g e s . T h is i nf o rm at i on i n c l u d e s f o re x a m p l e t h e s t a r t i n g b y t e s , t h e N A L u n i t t y p e , a n d t h eS E I m e s s a g e t y p e o f t h e N A L u n i t .

. T h e s e c o n d t y p e i s d i f f e r e n t f o r e a c h s h o t a n d c o n t a i n si n f o r m a t i o n l i k e t h e o f f s e t o f t h e r e c o v e r y p o i n t . T h em a r k e r i n d i c a t e s t o w h i c h s h o t t h i s i n f o r m a t i o n b e l o n g s .I n t h e e x a m p l e , t h e R AU c o n t a i n s f r a m e s b e l o n g i n g t o t w os h o t s , i . e . , s h o t 0 a n d s h o t ] . I n c a s e t h e a d a p t a t i o n e n g i n ed e c i d e s t o e x t r a c t s h o t 1 , w e e x p e c t t h a t t h e f r a m e s l o c a t e db e f o r e t h e f i r s t f r a m e o f s h o t 1 a r e n o t d i s p l a y e d . T h e r e f o r e ,t h e F r a m e C o n c e a l m e n t u n i t w i l l b e i n s e r t e d i n t h e a d a p t e dgBSD a s i t s m a r k e r c o n t a i n s a r e f e r e n c e t o s h o t 1 . H o w e v e r ,n o t t h e w h o l e F r a m e C o n c e a l m e n t u n i t w i l l b e i n c l u d e d , b u to n l y t h o s e p a r t s m a r k e d a s n e c e s s a r y f o r s h o t 1 . A s a r e s u l t ,t h e a d a p t e d b i t s t r e a m w i l l c o n t a i n a n R P - S E I m e s s a g e i n d i c a t -i n g t h a t t h e f r a m e s l o c a t e d b e f o r e t h e r e c o v e r y p o i n t ( w h i c hc o i n c i d e s w i t h t h e f i r s t f r a m e o f a s h o t ) n e e d t o b e d e c o d e db u t a r e n o t a l l o w e d t o b e d i s p l a y e d .A r e s t r i c t i o n t h a t n e e d s t o b e k e p t i n m i n d i s t h ef a c t t h a t t h e e l e m e n t i n d i c a t i n g t h e r e c o v e r y p o i n t , i . e . ,recovery frame c n t , n e e d s t o b e i n t h e r a n g e o f 0 t oM a x F r a m e N u m - 1 . A s t h e o f f s e t o f t h e f i r s t f r a m e o f a s h o tc a n b e h i g h e r t h a n t h i s l i m i t , a s o l u t i o n n e e d s t o b e f o u n d . Af i r s t p o s s i b l e s o l u t i o n i s t o w e a k e n t h i s c o n s t r a i n t b y e x t e n d i n g

F i g . 5 . F r a g m e n t o f a F r a m e C o n c e a l m e n t g B S D U n i t

i t s r a n g e , b u t t h i s i s u n d e s i r e d a s t h e a d a p t e d b i t s t r e a m w i l ln o l o n g e r b e c o m p l i a n t w i t h t h e H . 2 6 4 / A V C s p e c i f i c a t i o n .A n o t h e r p o s s i b i l i t y i s t o m o d i f y t h e e l e m e n t r e s p o n s i b l e f o rMaxFrameNum. H o w e v e r , t h i s w o u l d i n f l u e n c e a l l f r a m e s i nt h e s e q u e n c e , w h i c h m a k e s t h i s a p p r o a c h u n f e a s i b l e . T h eb e s t s o l u t i o n i s t o i n s e r t a d d i t i o n a l R P - S E I m e s s a g e s j u s tb e f o r e t h e p r e v i o u s r e c o v e r y p o i n t u n t i l t h e s t a r t i n g f r a m e i sr e a c h e d . E v e n t h o u g h t h i s a p p r o a c h l e a d s t o s o m e o v e r h e a d ,w e c o n s i d e r i t t o b e t h e m o s t e l e g a n t a s t h e a d a p t e d b i t s t r e a mr e m ai n s c om p l ia n t w i t h t h e H . 2 6 4 / A V C s p e c i f i c a t i o n a n d t h ea m o u n t o f c h a n g e s m a d e t o t h e b i t s t r e a m i s m i n i m a l .T h e s a m e a p p r o a c h c a n b e a p p l i e d f o r o t h e r v i d e o s p e c i f i -c a t i o n s i n c a s e t h e y c o n t a i n f e a t u r e s f o r f r a m e c o n c e a l m e n t .O t h e r w i s e , t h e u n d e s i r e d f r a g m e n t s w i l l s t i l l b e d i s p l a y e d .C . gBSD G e n e r a t i o n

A s t h e g B S S c h e m a i s g e n e r i c , i t i s n o t p o s s i b l e t o a u t o -m a t i c a l l y g e n e r a t e gBSDs u s i n g t h i s s c h e m a . A p o s s i b i l i t y i st o u s e a f o r m a t - s p e c i f i c s c h e m a t o g e n e r a t e B S D s , w h i c h c a ns u b s e q u e n t l y b e t r a n s f o r m e d i n t o t h e c o r r e s p o n d i n g g B S D s .[ 5 ] . H o w e v e r , a s o u r a d a p t a t i o n p r o c e s s i s s h o t - b a s e d , t h es h o t b o u n d a r i e s n e e d t o b e d e t e c t e d a s w e l l . S i n c e t h e e n t i r es t r u c t u r e h a s t o b e a n a l y z e d d u r i n g t h e s h o t d e t e c t i o n [ 8 ] , w ep r e f e r t o g e n e r a t e t h e gBSDs d u r i n g t h i s a n a l y s i s p r o c e s s .D . S h o t - B a s e d A d a p t a t i o n o f t h e gBSD

T o a d a p t t h e v i d e o t o t h e u s e r ' s p r e f e r e n c e s , o n l y t h ed e s i r e d f r a g m e n t s n e e d t o b e e x t r a c t e d . A s t h e h i g h - l e v e ls t r u c t u r e o f t h e v i d e o i s d e s c r i b e d i n XML, t h e e x t r a c t i o np r o c e s s c a n b e d o n e b y u s i n g E x t e n s i b l e S t y l e s h e e t L a n g u a g eT r a n s f o r m a t i o n s ( X S L T ) . F i g . 6 d e p i c t s t h e d a t a f l o w d e sc ri b edb y t h e XSLT s t y l e s h e e t r e s p o n s i b l e f o r o u r s h o t - b a s e d a d a p -t a t i o n p r o c e s s . T o i n d i c a t e w h i c h f r a g m e n t s a r e d e s i r e d , t h ep a r a m e t e r w a n t e d s h o t s , c o n t a i n i n g a l i s t o f t h e d e s i r e ds h o t s , i s p a s s e d t o t h e s t y l e s h e e t . A f t e r w a r d s , t h i s s t y l e s h e e tt r a n s f o r m s t h e gBSD b y m a k in g u s e o f t e m p l a t e s w o r k i n g o nU n i t s , c o r r e s p o n d i n g t o g B S D U n i t s a s w e l l a s P a r a m e t e r s .F o r e ac h U n i t p r e s e n t i n t h e t o p l e v e l o f t h e d e s c r i p t i o n , i . e . ,RAUs a n d N o n V i d e o D a t a ( F i g . 3 ) , t h e t e m p l a t e P r o c e s s U n i ti s c a l l e d . N o n V i d e o D a t a U n i t s w i l l b e a d d ed t o t h e b i t s t r e a m i n

3 8 3

< g B S D U n i t s y n t a c t i c a l L a b e l = " : V C : R A U " s t a r t=" 6 2 4 7 6 " l e n g t h = " 1 6 9 4 5 " marker="Shot-0S h o t - 1 1 1 >< g B S D U ni t s y n t a c t i c a l L a b e l =" : V C : F r a m e C o n c e a l m e n t " start="O" marker="Shot-0 S h o t - 111 >< g B S D U n i t s y n t a c t i c a l L a b e l= " : V C : N o n V i d e o D a t a " start="O" m a r k e r = " n e c e s s a r y " >< !- - i n fo rm at io n l ik e s ta rt o f th e N AL u n i t , N AL u n i t t y p e , SE I t y p e , ...-->< / g B S D U n i t >< g B S D U n i t s y n t a c t i c a l L a b e l = " : V C : N o n V i d e o D a t a " start="O" m a r k e r = " n e c e s s a r y " >< P a r a m e t e r name=":VC:NonVideoData" l e n g t h = " 2 " marker="Shot-0">< V a l u e x s i : t y p e = " x s d : h e x B i n a r y " > 3 9 6 < / V a l u e >< P a r a m e t e r name=":VC:NonVideoData" l e n g t h = " 3 " marker="Shot-l">< V a l u e x s i : t y p e = " x s d : h e x B i n a r y " > 1 3 5 7 2 8 < / V a l u e >< / g B S D U n i t >< P a r a m e t e r name=":VC:NonVideoData" l e n g t h = " 1 " m a r k e r = " n e c e s s a r y " >< V a l u e x s i : t y p e = " x s d : h e x B i n a r y " > 1 2 8 < / V a l u e >< / g B S D U n i t >< g B S D U n i t s y n t a c t i c a l L a b e l = " : V C : F r a m e " start="476" l e n g t h = " 1 5 2 " m a r k e r = " S h o t - 0 " / >< g B S D U ni t s y n t a c t i c a l L a b el = " : V C : F r a m e " start="8 43" l e n g t h = " 1 3 3 " m a r k e r = " S h o t - l " / >< !- - s u c ce s si v e f ra m es b e l o n g i n g to t h i s R AU -->< / g B S D U n i t >


5/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium o n C o m p u t at i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C I I S P 2 0 0 7 )

- P r o c e s s U n i t :p a r a m e t e r : / \ ~ m a r k e r of c r e tnttoY aen

w a n t e dh o t s / Xmarkerg

FRAME Frame gye s ye s

calk.C;1.P r o c a s snst ~ ~ P r o c e s s p r e v i o u l s t M i n tf oe al t c h i l d r e n t h a t v ..ar e F RA MES fo r p r e v i o u s i b i h n g

F r a m e C o n c e a l m e n t N o n V i d e o D a t a

v = A ~ ~ ~ ~ ~ ~V d notn

ye s

yes

C a l l :P r o c e s s Un tfo r al l c h i l d r n nK * o u t p u t c u r e n t U n i t * ~ ~ ~ - n o

F i g . 6 . D a t a f l o w d e s c r i b e d b y t h e XSLT s t y l e s h e e t r e s p o n s i b l e f o r o u r s h o t - b a s e d a d a p t a t i o n p r o c e s s

c a s e t h e u n i t i s m a r k e d as n e c e ss ar y or when a s h o t , c o n t a i n e di n w a n t e d s h o t s , c o r r e s p o n d s t o a n e l e m e n t o f t h e m a r k e r .As some N o n V i d e o D a t a U n i t s f u r t h e r c o n t a i n N o n V i d e o D a t aU n i t s , t h e i r c h i l d r e n w i l l b e p r o c e s s e d on t h e i r t u r n as w e l l .T h e RAUs are f u r t h e r p r o c e s s e d o n l y i n c a se a s h o tc o n t a i n e d i n w a n t e d s h o t s c o r r e s p o n d s t o a n e l e m e n t o f t h em a r k e r ; o t h e r w i s e , t h e RAU i s d i s c a r d e d a n d t h e a l g o r i t h md i r e c t l y p r o c e e d s w i t h t h e n e x t U n i t . I n t h e f o r m e r c a s e , t h eRAU w i l l c o n t a i n f r a m e s b e l o n g i n g t o a d e s i r e d f r a g m e n t , a n dt h e r e f o r e , c e r t a i n f r a m e s p r e s e n t i n t h e RAU w i l l n e e d t o b ea d d e d t o t h e a d a p t e d b i t s t r e a m . As a r e s u l t , a l l f r a m e s p r e s e n ti n t h e RAU n e e d t o b e p r o c e s s e d b y c a l l i n g P r o c e s s U n i t .

S i n c e i t i s necessary t o s t a r t a v i d e o seque nc e a t a r a n d o maccess p o i n t , U n it s l oc at e d b e f o r e t h e f r a m e s b e l o n g i n g t ot h e d es ir ed s ho t n e e d t o b e a d d e d t o t h e a d a p t e d gBSD asw e l l . As XSLT h a s no s u c h c o n s t r u c t as a " w h i l e " c o n s t r u c t ,r e c u r s i o n i s n e e d e d . C o ns e q ue n t ly , P r oc e ss p r ev io u s U n i t i sc a l l e d f o r e ac h f r a m e b e l o n g i n g t o a d es ir ed s h ot T h i s u n i tw i l l t h e n b e c h e ck ed t o se e w h e t h e r i t n e e d s t o b e a d d e d t ot h e t r a n s f o r m e d g B S D or n o t . I f s o , t h e r e c u r s i o n i s r e p e a t e du n t i l t h e a d a p t e d b i t s t r e a m c a n b e d e c o d e d . T h e r e c u r s i o nt e r m i n a t e s when t h e b e g i n n i n g o f t h e RAU i s r e a c h e d or whent h e p r o c e s s e d u n i t i s a l r e a d y a d d e d t o t h e b i t s t r e a m . T o c o n c e a lc e r t a i n f r a m e s , F r a m e C o n c e i l m e n t U n i t s are a d d e d i n c a s et h e i r m a r k e r c o n t a i n s o n e o f t h e d e s i r e d s h o t s .

As no c o d e c - s p e c i f i c i n f o r m a t i o n i s u s e d t o t r a n s f o r m t h eg B S D , t h i s t r a n s f o r m a t i o n c a n b e e x e c u t e d on gBSDs corre-s p o n d i n g t o sequences c o m p l i a n t w i t h d i f f e r e n t s p e c i f i c a t i o n s .

E . B i t s t r e a m R e c o n s t r u c t i o nT h e g B S D t o B i n process i s n o r m a t i v e l y s p e c i f i e d i n t h eMPEG-21 D IA s p e c i f i c a t i o n . T h e g B S D t o B i n parser g e n e r a t e s

a b i t s t r e a m b y u s i n g t h e i n f o r m a t i o n a v a i l a b l e i n t h e t r a n s -f o r m e d g B S D . T o r e c o n s t r u c t t h e b i t s t r e a m , s e g m e n t s r e f e r r e dt o b y g B S D U n i t s are c o p i e d t o t h e r e s u l t i n g b i t s t r e a m w h i l et h e v a l u e s o f P a ra m et e r s ar e i n s e r t e d i n t h e b i t s t r e a m , h e r e b yt a k i n g i n t o a c c o u n t t h e c o r r e s p o n d i n g d a t a t y p e .

I V . P E R F O R M A N C E RESULTST o e v a l u a t e t h e p e r f o r m a n c e o f our s h o t - b a s e d a d a p t a t i o n

process, s e v e r a l e x p e r i m e n t s h a ve b e e n p e r f o r m e d on a v i d e oseque nc e c o d e d s e v e r a l t i m e u s i n g d i f f e r e n t p a r a m e t e r s e t t i n g s .T i m e measurements o f t h e d i f f e r e n t a d a p t a t i o n s t e p s w e r ec a r r i e d o u t a n d t h e s i z e s o f t h e gBSDs a n d t h e c o r r e s p o n d i n gb i t s t r e a m s were c o m p a r e d .A . M e t h o d o l o g y

E x p e r i m e n t s h a v e b e e n c a r r i e d o u t on t h e t r a i l e r o f " F r i e n d sw i t h m o n e y " c o n t a i n i n g 2 3 5 3 f r a m e s a n d 4 9 s h o t s . T h i sseque nc e was c o d e d s e v e r a l t i m e s w i t h v a r i a b l e as w e l l asw i t h f i x e d ( I B ( P B ) * ) GOP s t r u c t u r e s . F o r t h e f i x e d GOPs t r u c t u r e s , I DR f r a m e s were i n s e r t e d every 1 0 , 1 0 0 a nd 2 0 0r e f e r e n c e f r a m e s r e s p e c t i v e l y . F o r t h e v a r i a b l e G O P s t r u c t u r e ,t h e l o ca t i on o f t h e random a c c es s p o i n t d e p e n d s on t h e c o n t e n to f t h e v i d e o . T h e s e b i t s t r e a m s were c o d e d m u l t i p l e t i m e sw i t h d i f f e r e n t v a l u e s f o r maxFrameNum. F o r a l l v a l u e s o fmaxFrameNum h i g h e r t h a n t h e s i z e o f a G O P , maximum o n eR P - S E I m e s s a g e n e e d e d t o b e i n s e r t e d i n a n RAU. T h e r e f o r e ,t h e r e s u l t s o f o n l y o n e b i t s t r e a m w i t h maxFrameNum h i g h e rt h a n t h e s i z e o f a GOP ar e p r e s e n t e d . As t h e e n c o d e r c h o o s e st h e o p t i m a l v a l u e f o r maxFrameNum when u s i n g v a r i a b l e GOPs t r u c t u r e s , o n l y o n e r e s u l t f o r t h i s GOP s t r u c t u r e i s p r e s e n t e d .B . D i s c u s s i o n o f t h e R e s u l t s

Th e p e r f o r m a n c e r e s u l t s o f t h e d i f f e r e n t s t e p s are s h o w ni n T a b l e s I a n d I I . T h e f i r s t s t e p i n t h e a d a p t a t i o n processi s t h e c re at io n o f t h e g B S D s . S i n c e t h i s s t e p i s p e r f o r m e dd u r i n g s h o t b o u n d a r y d e t e c t i o n , t i m e measurements are n o tp r o v i d e d as t h e y ar e n o t r e p r e s e n t a t i v e . T h e s i z e s o f t h e c r e a t e dd e s c r i p t i o n s , c o m p a r e d t o t h e s i z e s o f t h e c o r r e s p o n d i n gb i t s t r e a m , ar e shown i n T a b l e I. As t h e s i z e o f a b i t s t r e a mh a r d l y i n c r e a s e s when a h i g h e r MaxFrameNum i s a d o p t e d ,o n l y t h e s i z e o f o n e o r i g i n a l b i t s t r e a m i s p r e s e n t e d , i . e . , t h eb i t s t r e a m c o r r e s p o n d i n g t o t h e gBSD s i z e m a r k e d i n i t a l i c .

Th e e x p e r i m e n t s s h o w t h a t t h e s i z e o f t h e gBSD d e c r e a s e swhen maxFrameNum i n c r e a s e s . T h i s c a n b e a t t r i b u t e d t o t h ef a c t t h a t l e s s RP-SEI m e s s a g e s n e e d t o b e i n s e r t e d i n o n e

3 8 4

N o V d o a a n r e v i o s s U n e i t u sv i a b lmark < e s v aead akro

f e , ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~y es

vC a l L .P r o c e s s U n t yfo r a ll c i d r e n I

Frame

- g h o t 41- m a r k e r ?

ye s


6/6

P r o c e e d i n g s o f t h e 2 0 0 7 I E E E Symposium on C o m p u t a t i o n a lI n t e l l i g e n c e i n I m a g e a n d S i g n a l P r o c e s s i n g ( C I IS P 2 0 07 )TA BLE II

AVERAGE E X E C U T I O N T I M E ( M S ) F O R THE X S L T TRANSFORMATIONT AND THE G E N E R A T I O N G O F THE ADAPTED B I T S T R E AM R E P R E S E N TI N G ONESHOT. THE A V E R A G E SIZE S (KB) O F ANADAPTED B I T S T R E AM IS G I V E N AS WELL

G O P o r i g i n a l gBSD w i t h o u t R P - S E I gBSD w i t h R P - S E I b a s e d o n MaxFrameNums t r u c t u r e b i t s t r e a m T G S t r a n s f o r m a t i o n ( m s ) g e n e r a t i o n ( m s ) s i z e ( K B )s i z e ( K B ) ( m s ) ( m s ) ( K B ) 1 6 3 2 6 4 12 8 5 1 2 1 6 3 2 6 4 12 8 5 1 2 1 6 3 2 6 4 1 2 8 5 1 2v a r i a b l e 4 7 0 2 6 7 4 71 1 1 1 . 3 6 7 4 7 2 1 1 1 . 3ID R 10 4 7 4 7 66 1 7 5 1 2 2 . 7 7 0 0 8 2 1 2 2 . 7ID R 1 0 0 3 8 7 6 6 9 9 9 2 2 4 6 . 7 7 2 6 7 1 7 7 0 8 7 0 7 9 6 9 9 1 0 0 9 3 2 2 6 . 0 2 4 5 . 9 2 3 8 . 7 2 4 6 . 8ID R 2 0 0 3 8 3 9 7 4 6 1 07 3 5 7 . 1 7 7 7 7 6 5 7 5 6 7 5 3 1 0 6 1 1 3 1 0 8 1 0 7 3 3 1 . 7 3 5 7 . 2 3 5 6 . 7 3 4 7 . 0

TABLE IS I Z E OF THE G BS D s COM PARE D TO THE ORIGINAL BITSTREAM ( K B )GOP o r i g i n a l g B S Ds t r u c t u r e b i t s t r e a m w i t h o u ts i z e RP-SEIv a r i a b l e 4 7 0 2 2 2 6ID R 1 0 4 7 4 7 2 2 7ID R 1 0 0 3 8 7 6 2 1 6ID R 2 0 0 3 8 3 9 2 1 5

gBSD w i t h R P - S E IMaxFrameNum1 6 3 2 6 4 1 2 8 2 5 6 5 1 22 6 13 4 03 0 9 2 7 1 2 4 7 2 3 43 2 8 2 7 4 2 5 1 2 3 6

RAU. T h e d i f f e r e n c e s i n s i z e o f t h e gBSDs c o n t a i n i n g R P -S E I m e s s a g e s f o r t h e v a r i o u s G O P s t r u c t u r e s i s l e s s o b v i o u s .gBSDs c o r r e s p o n d i n g t o b i t s t r e a m s w i t h l a r g e G O P s t r u c t u r e sw i l l c o n s i s t o f l e s s R A U s , b u t w i l l c o n t a i n more s h o t s a n dt h e r e f o r e c o n t a i n more a n d l a r g e r R P - S E I m e s s a g e s . On t h eo t h e r h a n d , b i t s t r e a m s c o d e d u s i n g s m a l l GOPs w i l l c o n t a i nm o r e RAUs c o n s i s t i n g o f s m a l l e r R P - S E I m e s s a g e s . By c o m -p r e s s i n g t h e g B S D s , t h e o v er h e a d c a u se d b y t h e d e s c r i p t i o n si s n e g l i g i b l e .T h e gBSD t r a n s f o r m a t i o n i s t h e n e x t s t e p i n t h e a d a p t a t i o np r o c e s s . T h e e x ec u t io n t i m es i n T a b l e I I r e p r e s e n t t h e a v e r a g eo f t h e t i m e s n e e d e d t o g e n e r a t e a n t r a n s f o r m e d gBSD f o r e a c hs h o t i n t h e v i d e o s e q u e n c e . A s v i d e o s e q u e n c e s c o d e d u s i n gl a r g e GOPs c o n s i s t o f l a r g e r R A U s , m o r e s h o t s a r e g r o u p e dt o g e t h e r i n o n e RAU. T h i s l e a d s t o a l o n g e r e x e c u t i o n t i m es i n c e more f r a m e s n e e d t o b e p r o c e s s e d . V i d e o s e q u e n c e sc o d e d w i t h a v a r i a b l e G O P s t r u c t u r e w i l l o u t p e r f o r m v i d e o

s e q u e n c e s c o d e d w i t h f i x e d GOPs a s t h e d i v i s i o n o f t h e RAUsi s c o n n e c t e d w i t h t h e c o n t e n t o f t h e v i d e o ( i . e . , t h e s h o t s ) .F i n a l l y , t h e MPEG-21 g B S D t o B i n r e f e r e n c e s o f t w a r e w a su s e d t o c r e a t e t h e a d a p t e d b i t s t r e a m c o n t a i n i n g t h e d e s i r e ds h o t . From T a b l e I I , o n e c a n c o n c l u d e t h a t t h e g e n e r a t i o n o f t h ea d a p t e d b i t s t r e a m c a n b e d o n e i n r e a l t i m e . F u r t h e r m o r e , T a b l eI I a l s o r e p r e s e n t s t h e a v e r a g e s i z e o f a n a d a p t e d b i t s t r e a mc o r r e s p o n d i n g t o o n e s h o t . V i d e o s e q u e n c e s c o d e d w i t h av a r i a b l e G O P s t r u c t u r e t u r n o u t t o b e t h e m o s t a p p r o p r i a t ef o r s h o t - b a s e d a d a p t a t i o n a s t h e s i z e o f t h e i r g B S D s a n d t h ec o r r e s p o n d i n g b i t s t r e a m s i s s m a l l a n d t h e e x ec ut i on t i me so u t p e r f o r m t h o s e o f t h e o t h e r s e q u e n c e s . F o r v i d e o s e q u e n c e sc o d e d w i t h a f i x e d G O P s t r u c t u r e , s e q u e n c e s c o n s i s t i n g o fs m a l l G O P s t r u c t u r e s w i l l o u t p e r f o r m t h o s e w i t h l a r g e G O Ps t r u c t u r e s b e c a u s e l e s s c o n ce a l e d f r a m e s n e e d t o b e a d d e d . Ont h e o t h e r h a n d , more r a n d o m a c c e s s p o i n t s n e e d t o b e i n s e r t e dr e s u l t i n g i n a d e c r e a s e o f t h e c o m p r e s s i o n e f f i c i e n c y .

F o r o t h e r s e q u e n c e s , s i m i l a r r e s u l t s a r e o b t a i n e d .

V . CONCLUSIONT h i s p a p er i nt r od uc ed a n e n h a n c e d s h o t - b a s e d a d a p t a t i o nf r a m e w o r k b r i d g i n g t h e g a p b e t w e e n f o r m a t - a g n o s t i c s e m a n t i cv i d e o a d a p t a t i o n a n d m e t a d a t a b y m a k i n g u s e o f g B S S c h e m a .A s t h e p r o p o s e d h i e r a r c h i c a l s t r u c t u r e o f t h e gBSDs i s f o r m a t -a g n o s t i c , o n l y o n e g e n e r i c t r a n s f o r m a t i o n s t y l e s h e e t i s n e e d e d .By i n s e r t i n g s h o t i n f o r m a t i o n i n t o t h e d e s c r i p t i o n s , t h e a d a p -t a t i o n p r o c e s s c a n b e s t e e r e d i n o r d e r t o e x t r a c t t h e d e s i r e df r a g m e n t s . D u r i n g t h e e x t r a c t i o n , s p e c i a l a t t e n t i o n i s p a y e d t o

r a n d o m a cc es s s o t h a t t h e b i t s t r e a m r e m ai n s c o mp l i an t w i t ht h e c o r r e s p o n d i n g s p e c i f i c a t i o n . E x p e r i m e n t s s h o w t h a t t h ea d a p t a t i o n a n d r e g e n e r a t i o n c a n b e d o n e i n r e a l t i m e a n d t h a tv i d e o s e q u e n c e s c o d e d w i t h v a r i a b l e G O P s t r u c t u r e s a r e m o r es u i t e d f o r s h o t - b a s e d a d a p t a t i o n s t h a n f i x e d G O P s t r u c t u r e s .AC K N O W L E D G M E N T

T h e r e s e a r c h a c t i v i t i e s a s d e s c r i b e d i n t h i s p a p e r w e r ef u n d e d b y G h e n t U n i v e r s i t y , t h e I n t e r d i s c i p l i n a r y I n s t i t u t e f o rB r o a d b a n d T e c h n o l o g y ( I B B T ) , t h e I n s t i t u t e f o r t h e P r o m o t i o no f I nn ov a t io n b y S c i e n c e a n d T e c h n o l o g y i n F l a n d e r s ( I W T ) ,t h e F u n d f o r S c i e n t i f i c R e s e a r c h - F l a n d e r s ( F W O - F l a n d e r s ) ,t h e B e l g i a n F e d e r a l S c i e n c e P o l i c y O f f i c e ( B F S P O ) , a n d t h eE u r o p e a n U n i o n .

REFERENCES[ 1 ] S . - F . C h a n g a n d A . V e t r o , " V i d e o a d a p t a t i o n : C o n c e p t s , t e c h n o l o g i e s a n do p e n i s s u e s , " P r o c e e d i n g s o f t h e I E E E , v o l . 9 3 , n o . 1 , p p . 1 4 8 - 1 5 8 ,J a n u a r y 2 0 0 5 .[ 2 ] I S O / I E C J T C 1 , " I n f o r m a t i o n T e c h n o l o g y - M u l t i m e d i a F r a m e w o r k( M P E G - 2 1 ) - P a r t 7 : D i g i t a l I t e m A d a p t a t i o n , " I S O / I E C 2 1 0 0 0 - 7 : 2 0 0 4 ,O c t o b e r 2 0 0 4 .[ 3 ] M . Z u f f e r e y a n d H . K o s c h , " S e m a n t i c a d a p t a t i o n o f m u l t i m e d i a c o n t e n t , "P r o c . o f W I A M I S 0 5 , A p r i l 2 0 0 5 .[ 4 ] C . T i m m e r e r , G . P a n i s , H . K o s c h , J . H e u e r , H . H e l l w a g n e r , a n d A . H u t t e r ," C o d i n g f o r m a t i n d e p e n d e n t m u l t i m e d i a c o n t e n t a d a p t a t i o n u s i n g X M L , "P r o c . o f S P I E I n t e r n a t i o n a l s y m p o s i u m (ITCOM 0 3 ) , v o l . 5 2 4 2 , n o. 3 ,p p . 9 2 - 1 0 3 , S e p t e m b e r 2 0 0 3 .[ 5 ] G . P a n i s , A . H u t t e r , J . H e u e r , H . H e l l w a g n e r , H . K o s c h , C . T i m m e r e r ,S . D e v i l l e r s , a n d M . A m i e l h , " B i t s t r e a m s y n t a x d e s c r i p t i o n : a t o o l f o rm u l t i m e d i a r e s o u r c e a d a p t a t i o n w i t h i n M P E G - 2 1 , " S i g n a l P r o c e s s i n g :

I m a g e C o m m u n i c a t i o n , v o l . 1 8 , n o . 8 , p p . 7 2 1 - 7 4 7 , S e p t e m b e r 2 0 0 3 .[ 6 ] M . M . H a n n u k s e l a , Y - K . W a n g , a n d M . G a b b o u j , " I s o l a t e d r e g i o n s i nv i d e o c o d i n g , " I E E E T r a n s a c t i o n s o n M u l t i m e d i a , v o l . 6 , n o . 2 , p p . 2 5 9 -2 6 7 , A p r i l 2 0 0 4 .[ 7 ] I T U - T a n d I S O / I E C J T C 1 , " I S O / I E C 1 4 4 9 6 - 1 0 : 2 0 0 4 I n f o r m a t i o n t e c h -n o l o g y - C o d i n g o f a u d i o - v i s u a l o b j e c t s - P a r t 1 0 : A d v a n c e d V i d e oC o d i n g , " 2 0 0 4 .[ 8 ] s . D e B r u y n e , W . D e N e v e , K . D e W o l f , D . D e S c h r i j v e r , P . V e r h o e v e ,a n d R . V a n d e W a l l e , " T e m p o r a l v i d e o s e g m e n t a t i o n o n H . 2 6 4 / A V Cc o m p r e s s e d b i t s t r e a m s , " L e c t u r e N o t e s i n C o m p u t e r S c i e n c e - A d v a n c e si n M u l t i m e d i a M o d e l i n g - MMM 2 0 0 7 , P a r t I , v o l . 4 3 5 1 , p p . - 1 2 , 2 0 0 7 .

3 8 5

1 1 1 1 ---

Enhanced Shot-Based Video Adaptation using MPEG-21 generic Bitstream Syntax Schema

Documents

Transcript of Enhanced Shot-Based Video Adaptation using MPEG-21 generic Bitstream Syntax Schema