Exp Uriarte040
-
Upload
backdrag-sirius-vargas -
Category
Documents
-
view
213 -
download
0
Transcript of Exp Uriarte040
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 1/28
O p t i m i z i n g J o i n I n d e x B a s e d S p a t i a l - J o i n P r o c e s s i n g :
A G r a p h P a r t i t i o n i n g A p p r o a c h
S h a s h i S h e k h a r , C h a n g - t i e n L u , S i v a k u m a r R a v a d a , S a n j a y C h a w l a
C o m p u t e r S c i e n c e D e p a r t m e n t , U n i v e r s i t y o f M i n n e s o t a
2 0 0 U n i o n S t r e e t S E , M i n n e a p o l i s , M N - 5 5 4 5 5
s h e k h a r c t l u s i v a c h a w l a ] @ c s . u m n . e d u T E L : ( 6 1 2 ) 6 2 4 8 3 0 7 F A X : ( 6 1 2 ) 6 2 5 0 5 7 2
h t t p : / / w w w . c s . u m n . e d u / R e s e a r c h / s h a s h i - g r o u p
J u n e 1 , 1 9 9 9
A b s t r a c t
A J o i n I n d e x i s a d a t a s t r u c t u r e t h a t o p t i m i z e s t h e j o i n q u e r y p r o c e s s i n g i n s p a t i a l d a t a b a s e s .
J o i n i n d i c e s u s e p r e - c o m p u t a t i o n t e c h n i q u e s t o s p e e d u p o n l i n e q u e r y p r o c e s s i n g a n d a r e u s e f u l f o r
a p p l i c a t i o n s w h i c h r e q u i r e l o w u p d a t e r a t e s . T h e c o s t o f s p a t i a l j o i n c o m p u t a t i o n u s i n g a j o i n - i n d e x
w i t h l i m i t e d b u e r s p a c e d e p e n d s p r i m a r i l y o n t h e p a g e a c c e s s s e q u e n c e u s e d t o f e t c h t h e p a g e s o f t h e
b a s e r e l a t i o n s . G i v e n t h e j o i n - i n d e x , w e i n t r o d u c e a s u i t e o f m e t h o d s b a s e d o n s p a t i a l - c l u s t e r i n g t o
c o m p u t e t h e s p a t i a l - j o i n . T h e s p a t i a l c l u s t e r i n g w e e m p l o y i s b a s e d o n g r a p h p a r t i t i o n i n g t e c h n i q u e s .
F o r a l l t h e m e t h o d s w e d e r i v e u p p e r - b o u n d s o n t h e l e n g t h s o f t h e p a g e - a c c e s s s e q u e n c e . E x p e r i m e n t a l
r e s u l t s w i t h S e q u o i a 2 0 0 0 d a t a s e t s , o n a s e q u e n t i a l s y s t e m , s h o w t h a t s p a t i a l c l u s t e r i n g m e t h o d
o u t p e r f o r m s t h e e x i s t i n g m e t h o d s b a s e d o n s o r t i n g a n d o n l i n e c l u s t e r i n g h e u r i s t i c s .
A c r o n y m F u l l f o r m D e n i t i o n s e c t i o n / p a g e
A G P A s y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d h e u r i s t i c S e c t i o n 3
S G P S y m m e t r i c G r a p h P a r t i t i o n i n g B a s e d h e u r i s t i c S e c t i o n 5
F P F o t o u h i a n d P r a m a n i k ' s h e u r i s t i c S e c t i o n 2
O M O m i e c i n s k i ' s h e u r i s t i c S e c t i o n 2
C h a n C h a n ' s h e u r i s t i c S e c t i o n 2
S o r t i n g S o r t i n g h e u r i s t i c S e c t i o n 2
O P A S - F B O p t i m a l P a g e A c c e s s S e q u e n c e w i t h F i x e d B u e r S e c t i o n 1
P C G P a g e C o n n e c t i v i t y G r a p h S e c t i o n 1
B - d i a g o n a l m a t r i x M M i j ] = 1 ) j i ; j j b
B
2
c S e c t i o n 5
T a b l e 1 : T a b l e o f A c r o n y m
K e y w o r d s : D a t a C l u s t e r i n g , J o i n I n d e x , P a r t i t i o n i n g , H y p e r G r a p h , Q u e r y P r o c e s s i n g , S p a t i a l J o i n .
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 2/28
1 I n t r o d u c t i o n
T h e j o i n o p e r a t i o n i s a f u n d a m e n t a l o p e r a t i o n i n d a t a b a s e s , a n d i t h a s b e e n a s u b j e c t o f i n t e n s e s c r u t i n y
b y l e a d i n g d a t a b a s e r e s e a r c h e r s . M u c h w o r k h a s b e e n d o n e i n o p t i m i z i n g j o i n o p e r a t i o n 1 3 , 2 6 ] . A j o i n
i n d e x 2 , 8 , 2 0 , 2 4 , 3 0 , 3 3 ] i s a d a t a s t r u c t u r e t h a t f a c i l i t a t e s r a p i d j o i n - q u e r y p r o c e s s i n g . F o r d a t a
s e t s w h i c h a r e u p d a t e d i n f r e q u e n t l y a n d u s e p r e - c o m p u t a t i o n a n d m a t e r i a l i z a t i o n t e c h n i q u e s t o s p e e d
u p o n l i n e q u e r y p r o c e s s i n g , t h e j o i n i n d e x c a n b e p a r t i c u l a r l y u s e f u l . A f u l l y m a t e r i a l i z e d r e l a t i o n s h i p
k e e p s t h e c o m p l e t e r e s u l t o f a l i k e l y q u e r y a s a s e p a r a t e r e l a t i o n . T h e n w h e n a q u e r y r e q u e s t s t h e s t o r e d
r e l a t i o n s h i p , t h e r e s u l t i s i m m e d i a t e l y s e n t o u t , r e s u l t i n g i n a v e r y f a s t r e s p o n s e t i m e . B u t t h e f u l l y
m a t e r i a l i z e d r e l a t i o n s h i p h a s h i g h s t o r a g e o v e r h e a d , w h i l e a p a r t i a l l y m a t e r i a l i z e d r e l a t i o n s h i p ( e . g . a
j o i n i n d e x ) s t o r e s p a r t o f t h e r e s u l t t o r e d u c e s t o r a g e o v e r h e a d , a n d t h e n r e q u i r e s m o r e p r o c e s s i n g d u r i n g
t h e q u e r y p r o c e s s i n g s t e p .
T h e j o i n - i n d e x i s t y p i c a l l y r e p r e s e n t e d a s a b i - p a r t i t e g r a p h b e t w e e n t h e p a g e s o f e n c u m b e n t r e l a t i o n s
o r t h e i r s u r r o g a t e s t o c o m p u t e t h e j o i n . W h e n t h e n u m b e r o f b u e r p a g e s i s x e d , t h e j o i n - c o m p u t a t i o n
p r o b l e m i s t r a n s f o r m e d i n t o d e t e r m i n i n g a n o p t i m a l p a g e a c c e s s s e q u e n c e s u c h t h a t t h e j o i n c a n b e
c o m p u t e d w i t h t h e m i n i m u m n u m b e r o f r e d u n d a n t p a g e a c c e s s e s . T h i s p r o b l e m h a s b e e n s h o w n t o
b e N P - h a r d f o r t h e c a s e w h e n t h e b u e r s i z e i s e q u a l t o t w o p a g e s 2 5 , 2 8 ] , a n d c o n s e q u e n t l y , i t i s
u n l i k e l y t h a t a p o l y n o m i a l t i m e s o l u t i o n e x i s t s f o r t h i s p r o b l e m . S o l u t i o n s i n l i t e r a t u r e u s e a g l o b a l
c l u s t e r i n g m e t h o d t o g r o u p p a g e s i n o n e o r b o t h t a b l e s i n v o l v e d i n j o i n t o r e d u c e t o t a l p a g e a c c e s s .
A v a i l a b l e h e u r i s t i c s e i t h e r g r o u p p a g e s o f a s i n g l e t a b l e v i a g l o b a l s o r t i n g 3 3 ] o r u s e i n c r e m e n t a l c l u s t e r i n g
m e t h o d s 6 , 9 , 2 7 ] . W e i n t r o d u c e t w o n e w h e u r i s t i c s f o r t h i s p r o b l e m . O n e h e u r i s t i c u s e s g l o b a l c l u s t e r i n g
m e t h o d t o g r o u p p a g e s i n b o t h t a b l e s . T h e o t h e r o n e u s e s g l o b a l c l u s t e r i n g f o r p a g e s o f a s i n g l e t a b l e
u s i n g j o i n - i n d e x i n f o r m a t i o n . B o t h m e t h o d s u s e m i n - c u t g r a p h p a r t i t i o n i n g
y
a s c l u s t e r i n g a l g o r i t h m .
T h e f o r m e r o u t p e r f o r m s t h e i n c r e m e n t a l c l u s t e r i n g m e t h o d s w h i l e t h e l a t t e r o u t p e r f o r m s g l o b a l s o r t i n g
h e u r i s t i c s f o r s p a t i a l j o i n . .
1 . 1 B a s i c c o n c e p t o f a J o i n I n d e x
C o n s i d e r a d a t a b a s e w i t h t w o r e l a t i o n s F a c i l i t y a n d F o r e s t S t a n d . F a c i l i t y h a s a p o i n t a t t r i b u t e r e p r e -
s e n t i n g i t s l o c a t i o n , a n d F o r e s t S t a n d h a s a r e c t a n g l e a t t r i b u t e s r e p r e s e n t i n g b o u n d i n g b o x o f i t s e x t e n d .
T h e p o l y g o n r e p r e s e n t i n g i t s e x t e n d m a y b e s t o r e d s e p a r a t e l y . A p o i n t c o n s i s t s o f t h e x a n d y c o o r d i -
n a t e s o n t h e m a p . A r e c t a n g l e c o n s i s t s o f t w o p o i n t s , w h i c h a r e t h e b o t t o m l e f t a n d t o p r i g h t c o r n e r s o f
t h e r e c t a n g l e r e g i o n o n a m a p .
I n F i g u r e 1 ( a ) , p o i n t s a 1 a 2 a 3 b 1 b 2 r e p r e s e n t f a c i l i t y l o c a t i o n s a n d p o l y g o n s A 1 A 2 B 1 B 2 C 1 C 2
r e p r e s e n t t h e b o u n d i n g b o x e s o f t h e b o u n d a r y o f f o r e s t b o u n d a r i e s o f f o r e s t s t a n d s . T h e c i r c l e a r o u n d
e a c h l o c a t i o n s h o w s t h e a r e a w i t h i n d i s t a n c e D f r o m a f a c i l i t y . T h e r e c t a n g l e a r o u n d e a c h f o r e s t b o u n d -
a r y r e p r e s e n t s M i n i m a l O r t h o g o n a l B o u n d i n g R e c t a n g l e ( M O B R ) f o r e a c h f o r e s t s t a n d . F i g u r e 1 ( b )
s h o w s t w o r e l a t i o n s R a n d S f o r t h i s d a t a s e t . R e l a t i o n R r e p r e s e n t s f a c i l i t i e s v i a a t t r i b u t e s o f u n i q u e i d ,
R : I D , t h e l o c a t i o n ( x , y c o o r d i n a t e s ) , a n d o t h e r n o n - s p a t i a l a t t r i b u t e s . R e l a t i o n S r e p r e s e n t s t h e f o r e s t
s t a n d s v i a u n i q u e i d e n t i e r , S : I D , t h e M O B R a n d n o n - s p a t i a l a t t r i b u t e s . M O B R ( X
L L
Y
L L
X
U R
Y
U R
) ,
y
R e c e n t a d v a n c e s h a v e p r o v i d e d s c a l a b l e g r a p h - p a r t i t i o n i n g s o f t w a r e s u c h a s M e t i s 1 9 ] , w h i c h c a n h a n d l e l a r g e g r a p h s
r e l e v a n t t o d a t a b a s e i n r e l a t i v e r e a s o n a b l e r e s p o n s e t i m e , e . g . f e w s e c o n d s . W e h a v e h a d g o o d e x p e r i m e n t u s i n g i t f o r
d a t a b a s e p r o b l e m s 2 2 , 3 1 ]
1
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 3/28
i s r e p r e s e n t e d v i a t h e c o o r d i n a t e s o f l o w e r - l e f t c o r n e r p o i n t ( X
L L
Y
L L
) a n d t h e u p p e r r i g h t c o r n e r
p o i n t ( X
U R
Y
U R
) .
N o w , c o n s i d e r t h e f o l l o w i n g q u e r y :
Q : " F i n d a l l f o r e s t s t a n d s w h i c h a r e w i t h i n a d i s t a n c e D f r o m a f a c i l i t y " .
T h i s q u e r y w i l l r e q u i r e a j o i n o n t h e F a c i l i t y a n d F o r e s t S t a n d r e l a t i o n s b a s e d o n t h e i r s p a t i a l a t t r i b u t e s ,
S p a t i a l j o i n a l g o r i t h m 1 , 4 , 5 , 1 4 , 2 3 ] m a y b e u s e d t o n d t h e p a i r s ( F a c i l i t y , F o r e s t - s t a n d ) w h i c h
s a t i s f y t h e q u e r y Q . A l t e r n a t i v e l y , a j o i n - i n d e x m a y b e u s e d t o m a t e r i a l i z e a s u b s e t o f r e s u l t t o s p e e d
u p p r o c e s s i n g f o r f u t u r e o c c u r r e n c e o f Q i f t h e r e a r e f e w u p d a t e s t o s p a t i a l d a t a a n d t h e q u e r y Q i s
f r e q u e n t l y r e q u e s t e d . F i g u r e 1 ( b ) s h o w s a j o i n i n d e x w i t h t w o c o l u m n s . E a c h t u p l e i n t h e j o i n i n d e x
r e p r e s e n t s a t u p l e i n t h e t a b l e J O I N ( R S d i s t a n c e ( R : L o c a t i o n S : M O B R ) < D ) . I n g e n e r a l , t h e t u p l e s
i n t h e j o i n i n d e x m a y a l s o c o n t a i n p o i n t e r s t o t h e p a g e s o f R a n d S w h e r e t h e r e l e v a n t t u p l e s o f R a n d
S r e s i d e . W e o m i t t h e p o i n t e r i n f o r m a t i o n t o s i m p l i f y t h e d i a g r a m s i n t h i s p a p e r .
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
1 1 1 1 1 1 1
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1
b1
a2
a1
B2
A2
b2
B1
C1
a3
A1
C2
D
D = radius of circle
( a ) S p a t i a l A t t r i b u t e o f R a n d S
(X,Y)
Non-SpatialLocation
UR(X Y X Y )
a1
C1b2
UR
B1
LL LLData Data
b1 A2
A1
a2
B2a3
C1
R Relation Join Index
(Facility Location) (Forest-Stand Boundary)
a1
C2
ID
a1
b2
a3
S Relation
a2
(7.9,16.7)
(3.4,11.4)
(19.5,13.1)
(18.7,6.4)
(9.5,7.1)
(...)
(...)
(...)
(...)
(...)
ID MOBR
b1
(5.1,8.9,9.1,10.9)
(15.5,15,20.4,19)
(...)
(...)
(...)
(...)
(...)
(...)
(7.6,12.7,15,5.2)
(7.5,2,9.7,15.1)
A1
A2
B1
B2
C1
C2
(3,12.2,6.6,16)
(13.4,7.7,19.5,10)
R.ID S.IDNon-Spatial
b2
( b ) R a n d S R e l a t i o n T a b l e a n d J o i n I n d e x
F i g u r e 1 : C o n s t r u c t J o i n I n d e x f r o m t w o r e l a t i o n s
1 . 2 J o i n I n d e x , P a g e C o n n e c t i v i t y G r a p h , J o i n P r o c e s s i n g
A j o i n i n d e x d e s c r i b e s a r e l a t i o n s h i p b e t w e e n t h e o b j e c t s o f t w o r e l a t i o n s . A s s u m e t h a t e a c h t u p l e o f
a r e l a t i o n h a s a s u r r o g a t e w h i c h u n i q u e l y i d e n t i e s t h a t t u p l e . A j o i n i n d e x i s a s e q u e n c e o f p a i r s o f
s u r r o g a t e s , w h e r e e a c h p a i r o f s u r r o g a t e s i d e n t i e s t h e r e s u l t - t u p l e o f a j o i n . T h e t u p l e s p a r t i c i p a t i n g
i n t h e j o i n r e s u l t a r e g i v e n b y t h e i r s u r r o g a t e s . F o r m a l l y , l e t R a n d S b e t w o r e l a t i o n s . T h e n c o n s i d e r
t h e j o i n o f R a n d S o n a t t r i b u t e s A o f R a n d B o f S . T h e n t h e j o i n i n d e x i s a n a b s t r a c t i o n o f t h e
j o i n o f t h e r e l a t i o n s . I f F d e n e s t h e j o i n p r e d i c a t e , t h e n t h e j o i n i n d e x i s g i v e n b y t h e s e t J I =
f ( r
i
s
j
) j F ( r
i
: A s
j
: B ) i s t r u e f o r r
i
2 R a n d s
j
2 S g , w h e r e r
i
a n d s
j
a r e s u r r o g a t e s o f t h e i t h t u p l e i n
R a n d t h e j t h t u p l e i n S , r e s p e c t i v e l y . F o r e x a m p l e , c o n s i d e r t h e F a c i l i t y a n d F o r e s t S t a n d r e l a t i o n a l
t a b l e s s h o w n i n F i g u r e 1 . T h e F a c i l i t y r e l a t i o n i s j o i n e d w i t h t h e F o r e s t S t a n d r e l a t i o n o n t h e i r s p a t i a l
a t t r i b u t e . T h e j o i n - i n d e x f o r t h i s j o i n c o n t a i n s t h e t u p l e I D s w h i c h m a t c h t h e s p a t i a l j o i n p r e d i c a t e .
A j o i n i n d e x c a n b e d e s c r i b e d b y a b i p a r t i t e g r a p h G = ( V
1
V
2
E ) w h e r e V
1
c o n t a i n s t h e t u p l e
I D s o f r e l a t i o n R , a n d V
2
c o n t a i n s t h e t u p l e I D s o f r e l a t i o n S . E d g e s e t E c o n t a i n s a n e d g e ( v
r
v
s
) f o r
2
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 4/28
v
r
2 R a n d v
s
2 S , i f t h e r e i s a t u p l e c o r r e s p o n d i n g t o ( v
r
v
s
) i n t h e j o i n i n d e x . T h e b i p a r t i t e g r a p h
m o d e l s a l l o f t h e r e l a t e d t u p l e s a s c o n n e c t e d v e r t i c e s i n t h e g r a p h . I n a g r a p h , t h e e d g e s c o n n e c t e d t o
a n o d e a r e c a l l e d t h e i n c i d e n t e d g e s o f t h a t n o d e , a n d t h e n u m b e r o f e d g e s i n c i d e n t o n a n o d e i s c a l l e d
t h e d e g r e e o f t h a t n o d e . T h e a v e r a g e d e g r e e o f a l l t h e n o d e s d e p e n d s o n t h e j o i n s e l e c t i v i t y : t h e h i g h e r
t h e d e g r e e , t h e h i g h e r t h e j o i n s e l e c t i v i t y .
W h e n t h e j o i n r e l a t i o n s h i p b e t w e e n t w o r e l a t i o n s i s d e s c r i b e d a t t h e p a g e l e v e l , w e g e t a p a g e -
c o n n e c t i v i t y g r a p h . A P a g e - C o n n e c t i v i t y G r a p h ( P C G ) 2 5 ] B
G
= ( V
1
V
2
E ) i s a b i p a r t i t e g r a p h w h e r e
v e r t i c e s V
1
r e p r e s e n t t h e p a g e s f r o m t h e r s t r e l a t i o n , a n d v e r t i c e s V
2
r e p r e s e n t t h e p a g e s f r o m t h e
s e c o n d r e l a t i o n . T h e s e t o f e d g e s i s c o n s t r u c t e d a s f o l l o w s : a n e d g e i s a d d e d b e t w e e n p a g e ( n o d e ) v
i
1
a n d p a g e ( n o d e ) v
j
2
, i t h e r e i s a t l e a s t o n e p a i r o f o b j e c t s ( r
i
s
j
) i n t h e j o i n i n d e x s u c h t h a t r
i
2 v
i
1
a n d s
j
2 v
j
2
. F i g u r e 2 s h o w s a p a g e - c o n n e c t i v i t y g r a p h f o r a j o i n i n d e x w h e r e n o d e s a b r e p r e s e n t t h e
p a g e s o f r e l a t i o n R , a n d n o d e s A B C r e p r e s e n t t h e p a g e s o f r e l a t i o n S . A n e d g e r e p r e s e n t s a p a g e - j o i n
b e t w e e n a p a i r o f p a g e s . A p a g e - j o i n r e p r e s e n t s t h e c o r r e s p o n d i n g j o i n b e t w e e n t h e t u p l e s i n t h e t w o
p a g e s .
A m i n - c u t n o d e p a r t i t i o n 1 5 , 2 1 ] o f g r a p h G = ( V E ) p a r t i t i o n s t h e n o d e s i n V i n t o d i s j o i n t s u b s e t s
w h i l e m i n i m i z i n g t h e n u m b e r o f e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t p a r t i t i o n s . T h e c u t - s e t
o f a m i n - c u t p a r t i t i o n i s t h e s e t o f e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t p a r t i t i o n s . F a s t a n d
e c i e n t h e u r i s t i c a l g o r i t h m s 1 9 , 1 7 ] f o r t h i s p r o b l e m h a v e b e c o m e a v a i l a b l e i n r e c e n t y e a r s . T h e y c a n
b e u s e d t o s p a t i a l l y c l u s t e r p a g e s i n P C G .
Join Index Adjacency MatrixPCG
ba
B
A
1
0
1
1
1
1CA1
a1 a2 a3 b1 b2
A2 B1 B2 C1 C2
Page of relation S
Page of relation R
be5
e4
e3
e2
C
B
Ae1
a
F i g u r e 2 : C o n s t r u c t i o n o f a P a g e C o n n e c t i v i t y G r a p h ( P C G ) f r o m a J o i n I n d e x .
A j o i n i n d e x h e l p s s p e e d u p t h e j o i n p r o c e s s i n g , a s i t k e e p s t r a c k o f a l l o f t h e p a i r s o f t u p l e s w h i c h
s a t i s f y t h e j o i n p r e d i c a t e . G i v e n a j o i n i n d e x J I , o n e c a n u s e t h e d e r i v e d P C G t o s c h e d u l e a n e c i e n t
p a g e a c c e s s s e q u e n c e t o f e t c h t h e d a t a p a g e s . T h e C P U c o s t i s x e d , a s t h e r e i s a x e d c o s t a s s o c i a t e d
w i t h j o i n i n g e a c h p a i r o f t u p l e s , a n d t h e n u m b e r o f t u p l e s t o b e j o i n e d i s x e d . I / O c o s t , o n t h e o t h e r
h a n d , d e p e n d s o n t h e s e q u e n c e o f p a g e s a c c e s s e d . W h e n t h e r e i s l i m i t e d b u e r s p a c e i n t h e m e m o r y ,
s o m e o f t h e p a g e s m a y h a v e t o b e r e a d m u l t i p l e t i m e s f r o m t h e d i s k . T h e p a g e - a c c e s s s e q u e n c e ( a n d i n
t u r n t h e j o i n - i n d e x c l u s t e r i n g a n d t h e c l u s t e r i n g o f t h e b a s e r e l a t i o n ) d e t e r m i n e s t h e I / O c o s t .
E x a m p l e : W e i l l u s t r a t e s t h e d e p e n d e n c y b e t w e e n t h e I / O c o s t o f a j o i n a n d t h e o r d e r i n w h i c h
t h e d a t a p a g e s a r e a c c e s s e d w i t h t h e h e l p o f a n e x a m p l e , u s i n g t h e p a g e - c o n n e c t i v i t y g r a p h s h o w n i n
F i g u r e 2 . A s s u m e t h a t t h e b u e r s p a c e i s l i m i t e d t o a l l o w a t m o s t t w o p a g e s o f t h e r e l a t i o n s i n m e m o r y ,
a f t e r c a c h i n g t h e w h o l e p a g e - c o n n e c t i v i t y g r a p h i n m e m o r y . C o n s i d e r t h e t w o - p a g e a c c e s s s e q u e n c e s :
( i ) ( a , A , b , B , a , C , b ) a n d ( i i ) ( a , A , b , C , a , B ) . E a c h s e q u e n c e a l l o w s t h e c o m p u t a t i o n o f j o i n r e s u l t s
3
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 5/28
u s i n g a l i m i t e d b u e r o f t w o p a g e s . H o w e v e r , i n t h e r s t c a s e , t h e r e a r e a t o t a l o f s e v e n p a g e a c c e s s e s ,
a n d i n t h e s e c o n d c a s e t h e r e a r e a t o t a l o f s i x p a g e a c c e s s e s . N o t e t h a t t h e l o w e r b o u n d o n t h e n u m b e r
o f p a g e a c c e s s e s i s v e , a s t h e r e a r e v e d i s t i n c t p a g e s i n t h e P C G . H o w e v e r , w i t h t w o b u e r s p a c e s ,
t h e r e i s n o p a g e - a c c e s s s e q u e n c e w h i c h w i l l r e s u l t i n v e p a g e a c c e s s e s . I n F i g u r e 2 , w i t h t h r e e b u e r
s p a c e s , ( a , B , A , C , b ) i s a p a g e - a c c e s s s e q u e n c e w h i c h h a s v e p a g e a c c e s s e s . T h i s i s b e c a u s e t h e c y c l e
( a , A , b , C , a ) r e q u i r e s t h a t a t l e a s t t h r e e p a g e s b e i n m e m o r y t o a v o i d r e d u n d a n t p a g e a c c e s s e s .
1 . 3 P r o b l e m D e n i t i o n , S c o p e , O u t l i n e
G i v e n t h a t t h e I / O c o s t d e p e n d s o n t h e p a g e s e q u e n c e , t h e f o l l o w i n g o p t i m i z a t i o n p r o b l e m i s d e n e d
f o r j o i n p r o c e s s i n g , u s i n g j o i n - i n d e x i n s e q u e n t i a l s y s t e m s . T h e o b j e c t i v e i s t o d e t e r m i n e a n o r d e r e d l i s t
o f p a g e a c c e s s e s w h i c h m i n i m i z e t h e t o t a l p a g e a c c e s s e s , g i v e n a b u e r o f s i z e B . H e r e i t i s i m p o r t a n t
t o g u a r a n t e e t h a t t h e r e w i l l n e v e r b e m o r e t h a n B p a g e s i n m a i n m e m o r y . W e c a l l t h i s t h e O p t i m a l
P a g e A c c e s s S e q u e n c e w i t h a F i x e d B u e r ( O P A S - F B ) p r o b l e m 2 5 ] . T h i s p r o b l e m i s f o r m a l l y d e n e d
a s f o l l o w s .
O P A S - F B P r o b l e m
G i v e n : A p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) r e p r e s e n t i n g t h e j o i n i n d e x , a n d a b u e r o f s i z e
B j V j .
F i n d : A p a g e - a c c e s s s e q u e n c e .
O b j e c t i v e : T o m i n i m i z e t h e n u m b e r o f p a g e a c c e s s e s .
C o n s t r a i n t : S u c h t h a t t h e n u m b e r o f p a g e s i n t h e b u e r i s n e v e r m o r e t h a n B .
F o r e x a m p l e , t h e o p t i m a l p a g e - a c c e s s s e q u e n c e f o r t h e P C G i n F i g u r e 2 f o r B = 2 i s ( a , A , b , C , a ,
B ) , w h i c h r e s u l t s i n s i x p a g e a c c e s s e s .
S c o p e : I n t h i s p a p e r , w e f o c u s o n t h e O P A S - F B p r o b l e m . W e d o n o t a d d r e s s t h e u p d a t e p r o b l e m s
a s s o c i a t e d w i t h m a n a g i n g j o i n i n d i c e s . F o r e x a m p l e , a j o i n i n d e x m a y h a v e t o c h a n g e i f t h e u n d e r l y i n g
b a s e r e l a t i o n s c h a n g e . A l s o , t h e t h e c l u s t e r i n g o f b a s e r e l a t i o n s a n d t u p l e - l e v e l j o i n - i n d e x o p t i m i z a t i o n
a r e o u t o f t h e s c o p e o f t h i s p a p e r .
O u t l i n e : T h e r e s t o f t h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e d e s c r i b e t h e r e l a t e d w o r k a n d
o u r c o n t r i b u t i o n s . I n S e c t i o n 3 , w e p r o p o s e o u r r s t a p p r o a c h , A s y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d
h e u r i s t i c ( A G P ) . I n S e c t i o n 4 , A G P i s e v a l u a t e d a n d c o m p a r e d w i t h S o r t i n g h e u r i s t i c . I n S e c t i o n 5 , t h e
s e c o n d a p p r o a c h , S y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d h e u r i s t i c ( S G P ) , i s p r o p o s e d , a l o n g w i t h s o m e
r e n e m e n t t e c h n i q u e s . I n S e c t i o n 6 , w e e x p e r i m e n t a l l y e v a l u a t e t h e s e c o n d a p p r o a c h a n d i t s r e n e m e n t
t e c h n i q u e s v i s - a - v i s e a c h o t h e r . I n S e c t i o n 7 , w e c o m p a r e o u r a l g o r i t h m s , A G P a n d S G P , w i t h o t h e r
k n o w n a l g o r i t h m s f o r t h e O P A S - F B p r o b l e m . I n S e c t i o n 8 , w e c o n c l u d e w i t h a s u m m a r y a n d f u t u r e
d i r e c t i o n s .
2 R e l a t e d W o r k a n d O u r C o n t r i b u t i o n s
T h e O P A S - F B p r o b l e m i s k n o w n t o b e N P - h a r d 2 5 , 2 8 ] , a n d h e u r i s t i c s o l u t i o n s h a v e b e e n p r o p o s e d
i n t h e l i t e r a t u r e f o r s o l v i n g t h i s p r o b l e m . T h e h e u r i s t i c s i n l i t e r a t u r e c a n b e b r o a d l y d i v i d e d i n t o t w o
4
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 6/28
g r o u p s , n a m e l y a s y m m e t r i c s i n g l e t a b l e c l u s t e r i n g a n d s y m m e t r i c t w o - t a b l e o n - l i n e c l u s t e r i n g . T h e
m a i n a p p r o a c h w i t h i n a s y m m e t r i c s i n g l e t a b l e c l u s t e r i n g i s b a s e d o n s o r t i n g o n e o f t h e t a b l e s o n
t h e j o i n k e y . I n t h e f o l l o w i n g d i s c u s s i o n , l e t R a n d S b e t h e t w o r e l a t i o n s , w i t h J I b e i n g t h e j o i n i n d e x .
A s o r t i n g - b a s e d a s y m m e t r i c h e u r i s t i c p r e s e n t e d i n 3 3 ] r e a d s i n a s m u c h o f t h e j o i n i n d e x ( J I ) a n d
o n e r e l e v a n t r e l a t i o n ( R s e m i - j o i n J I ) i n t o m e m o r y a s p o s s i b l e . H e r e J I i s a s s u m e d t o b e c l u s t e r e d o n
r e l a t i o n R . A c c e s s t o S i s c l u s t e r e d b y s o r t i n g t h e l i s t o f a l l t h e s u r r o g a t e s f r o m S t h a t a r e r e l a t e d t o
t h e s u b s e t o f t h e j o i n - i n d e x i n m e m o r y t o r e d u c e r e d u n d a n t a c c e s s e s t o S . T h i s h e u r i s t i c i s e c o n o m i c a l ,
a n d i t e n s u r e s t h a t n o r e d u n d a n t a c c e s s e s a r e p e r f o r m e d o n r e l a t i o n R , b u t i t m a y i n c u r r e d u n d a n t
a c c e s s e s t o t h e s e c o n d r e l a t i o n . S o r t i n g - b a s e d h e u r i s t i c a s s u m e s t o t a l l y o r d e r e d j o i n - k e y s . W e e x t e n d
s o r t i n g - b a s e d m e t h o d t o s p a t i a l d o m a i n w h e r e t h e k e y s ( e . g . c o o r d i n a t e s i n m u l t i - d i m e n s i o n a l s p a c e ) a r e
n o t t o t a l l y o r d e r e d , b y p r o p o s i n g A G P . I t u s e s m i n - c u t g r a p h p a r t i t i o n i n g o f t h e a s y m m e t r i c h y p e r g r a p h
r e p r e s e n t i n g t h e j o i n - i n d e x . N o d e s i n t h i s g r a p h r e p r e s e n t p a g e s o f o n e t a b l e ( R ) . A h y p e r e d g e r e p r e s e n t s
a p a g e c o n n e c t i o n o f t h e o t h e r t a b l e ( S ) . A h y p e r e d g e c o n n e c t s a r e p a g e s o f R w i t h e d g e t o a s i n g l e p a g e
o f S . A G P c l u s t e r s p a g e s o f R b a s e d o n t h e i r i n t e r a c t i o n w i t h p a g e s o f S t o r e d u c e r e d u n d a n t I / O o f
p a g e s i n S .
T h e m a i n a p p r o a c h i n s y m m e t r i c t w o - t a b l e c l u s t e r i n g a r e b a s e d o n e i t h e r T r a v e l i n g S a l e s m a n
P r o b l e m h e u r i s t i c s o r s e l e c t i n g n e x t p a g e o r n e x t s e t o f p a g e s t o b e f e t c h e d i n t o m e m o r y g i v e n t h e p a g e s
i n b u e r a n d r e m a i n i n g e d g e s t o b e p r o c e s s e d i n t h e b i - p a r t i t e p a g e - c o n n e c t i v i t y g r a p h . T h e s e l e c t i o n
i s o f t e n b a s e d o n t h e n u m b e r o f n e i g h b o r s i n m e m o r y b u e r s a n d n u m b e r o f n e i g h b o r s o n t h e d i s k .
D e t a i l s o f a c t u a l h e u r i s t i c s f o l l o w . A t r a v e l i n g s a l e s p e r s o n - ( T S P ) b a s e d h e u r i s t i c 1 2 ] u s e s a c o m p l e t e
g r a p h c o n s t r u c t e d b y t a k i n g t h e n o d e s o f o n e r e l a t i o n a s t h e n o d e s o f t h e g r a p h . T h e w e i g h t o n a n
e d g e b e t w e e n n o d e s a a n d b d e n o t e s t h e n u m b e r o f p a g e - a c c e s s e s r e q u i r e d t o f e t c h a l l o f t h e n e i g h b o r s
o f b g i v e n t h a t a l l o f t h e n e i g h b o r s o f a a r e i n m e m o r y . T h i s m e t h o d r e q u i r e s a l a r g e m e m o r y , a s t h e
c o m p l e t e g r a p h g r o w s q u a d r a t i c a l l y w i t h t h e n u m b e r o f n o d e s i n t h e s m a l l e r o f t h e r e l a t i o n s .
S y m m e t r i c H e u r i s t i c : F P , p r o p o s e d b y F o t o u h i a n d P r a m a n i k 9 ] , i s d e s i g n e d f o r g e n e r a l j o i n
g r a p h s . T h e b u e r i s i n i t i a l i z e d w i t h a n o d e w h i c h h a s t h e s m a l l e s t d e g r e e i n t h e p a g e - c o n n e c t i v i t y
g r a p h . T h e m e m o r y b u e r i s a d d e d w i t h t h e l a r g e s t r e s i d e n t d e g r e e n o d e . T h e r e s i d e n t d e g r e e o f a n o d e
A i s t h e n u m b e r o f n o d e s w h i c h a r e c o n n e c t e d t o A a n d a r e i n m e m o r y . I f t h e r e i s m o r e t h a n o n e n o d e
w i t h t h e l a r g e s t r e s i d e n t d e g r e e , t h e a l g o r i t h m c h o o s e s t h e o n e w i t h t h e s m a l l e s t n o n - r e s i d e n t d e g r e e .
T h e n o n - r e s i d e n t d e g r e e o f a n o d e A i s e q u a l t o t o t a l d e g r e e ( A ) ; r e s i d e n t d e g r e e ( A ) . W h e n t h e b u e r
i s f u l l , a n o d e w i t h t h e s m a l l e s t n u m b e r o f e d g e s w i t h t h e n o d e s o n t h e d i s k c a n b e s w a p p e d o u t .
S y m m e t r i c H e u r i s t i c : O M , d e v e l o p e d b y O m i e c i n s k i 2 7 ] , i s d e s i g n e d s p e c i c a l l y f o r b i p a r t i t e
j o i n g r a p h s . I n i t i a l l y , c h o o s e a n R a n d S n o d e f r o m t h e p a g e - c o n n e c t i v i t y g r a p h , e . g . , r
i
a n d s
j
, t o l o a d
i n t h e b u e r s u c h t h a t ( a ) ( r
i
s
j
) i s c o n n e c t e d . ( b ) T h e s u m o f t h e d e g r e e o f r
i
a n d s
j
i s m i n i m a l . T h e
b u e r i s a d d e d w i t h t h e n e w n o d e , c a l l i t p , u s i n g t h e f o l l o w i n g s t r a t e g y : ( a ) n d a n o d e q i n t h e b u e r
s u c h t h a t t h e n o d e i s c o n n e c t e d t o t h e f e w e s t n u m b e r o f n o d e s o u t s i d e t h e b u e r , a n d ( b ) n d t h e n o d e
p , s u c h t h a t ( q , p ) i s c o n n e c t e d , a n d s u c h t h a t t h e n u m b e r o f e d g e s c o n n e c t i n g p t o a n o d e n o t i n t h e
b u e r i s m i n i m a l . I f a n o d e i n t h e b u e r h a s t o b e r e p l a c e d t o m a k e r o o m f o r t h e n e w n o d e , t h e n c h o o s e
t h e n o d e t h a t ( a ) i s c o n n e c t e d t o t h e f e w e s t n u m b e r o f n o d e s o u t s i d e t h e b u e r , a n d ( b ) i s n o t c o n n e c t e d
t o t h e n e w n o d e .
S y m m e t r i c H e u r i s t i c : C h a n 6 ] r s t , a S e l e c t S e g m e n t h e u r i s t i c s e l e c t s t h e m i n i m a l s e g m e n t
t h a t h a s t h e s h o r t e s t n o n - r e s i d e n t l e n g t h . F r o m t h i s m i n i m a l s e g m e n t , a S e l e c t P a g e h e u r i s t i c c h o o s e s
5
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 7/28
t h e p a g e t h a t h a s t h e l a r g e s t r e s i d e n t d e g r e e f r o m t h i s s e g m e n t . F o r t h e s e l e c t i o n o f v i c t i m p a g e s f o r
r e p l a c e m e n t w h e n b u e r i s f u l l , t h e S e l e c t V i c t i m h e u r i s t i c s e l e c t s t h e p a g e w i t h t h e s m a l l e s t n o n r e s i d e n t
d e g r e e .
O t h e r h e u r i s t i c s a r e a l s o p r o p o s e d f o r t h e c a s e w i t h t w o b u e r s 2 5 ] . A g r a p h - b a s e d h e u r i s t i c i s
p r e s e n t e d i n 2 5 ] f o r t h e c a s e o f t w o b u e r s . T h e o p t i m u m s o l u t i o n f o r t h e c a s e o f t w o b u e r s i s s h o w n
t o b e N P - h a r d w h e n i t i s r e d u c e d t h e p r o b l e m t o t h a t o f n d i n g a H a m i l t o n i a n p a t h p r o b l e m . A l s o , a
h e u r i s t i c m e t h o d i s p r e s e n t e d b y t r a n s f o r m i n g t h e H a m i l t o n i a n - p a t h p r o b l e m t o a E u l e r p a t h p r o b l e m .
W e p r o p o s e a n o - l i n e c l u s t e r i n g a p p r o a c h b a s e d o n m i n - c u t g r a p h p a r t i t i o n i n g o f b i - p a r t i t e p a g e
c o n n e c t i v i t y g r a p h ( P C G ) f o r t h e j o i n - i n d e x . T h e i d e a i s t o n d c l u s t e r s o f p a g e s i n P C G i n t h e h o p e o f
m i n i m i z i n g r e d u n d a n t I / O a s s h o w n i n F i g u r e 3 . I f t h e n o d e c l u s t e r s a r e e d g e d i s j o i n t a s i n F i g u r e 3 ( A ) ,
i . e . t h e r e a r e n o e d g e b e t w e e n n o d e - c l u s t e r s , t h i s m e t h o d w i l l m i n i m i z e r e d u n d a n t I / O a s s u m i n g t h a t
e a c h n o d e - c l u s t e r c a n t m a i n m e m o r y . S G P i s l i k e l y t o b e a s t r o n g e r c l u s t e r i n g m e t h o d s t h a n o n - l i n e
h e u r i s t i c s p r o p o s e d i n l i t e r a t u r e s i n c e i t u s e s a g l o b a l p a r t i t i o n i n g a l g o r i t h m b a s e d o n m i n - c u t g r a p h -
p a r t i t i o n i n g . O u r e x p e r i m e n t s s h o w t h i s t r e n d .
Join-key(R)Need not be totally ordered
N e e d n o t b e t o t a l l y o r d e r e d
(A) (B)
Join-key(R)Need not be totally ordered
N e e d n o t b e t o t a l l y o r d e r e d
J o i n - k e y ( S )
J o i n - k e y ( S )
F i g u r e 3 : E x a m p l e o f K e y - d i s t r i b u t i o n f o r J o i n K e y s
O u r C o n t r i b u t i o n s
I n t h i s p a p e r w e p r o p o s e a s u i t e o f s p a t i a l c l u s t e r i n g m e t h o d s f o r j o i n p r o c e s s i n g u s i n g t h e j o i n - i n d e x .
T h e s e m e t h o d s : A G P , S G P w i t h r e n e m e n t s , a r e a l l b a s e d o n t h e m i n - c u t g r a p h p a r t i t i o n i n g t e c h n i q u e s .
W e p r o p o s e t h e s e m e t h o d s a s a n e w h e u r i s t i c f o r s o l v i n g t h e O P A S - F B p r o b l e m i n s e q u e n t i a l s y s t e m s .
W e a l s o d e r i v e u p p e r b o u n d s o n t h e n u m b e r o f p a g e a c c e s s e s n e e d e d t o c o m p u t e t h e s p a t i a l - j o i n . W e s h o w
t h a t t h e l e n g t h o f t h e p a g e - a c c e s s s e q u e n c e i s b o u n d e d b y t h e s u m o f t h e s i z e s o f t h e b a s e r e l a t i o n s a n d
t h e s i z e o f t h e c u t - s e t o f t h e p a g e - c o n n e c t i v i t y g r a p h . S i n c e m i n - c u t g r a p h - p a r t i t i o n i n g a i m s t o m i n i m i z e
t h e s i z e o f t h e c u t - s e t , t h e p r o p o s e d h e u r i s t i c i s a d i r e c t m e t h o d . W e p e r f o r m e d o u r e x p e r i m e n t s o n
t h e S e q u o i a 2 0 0 0 1 3 ] d a t a s e t , a p o p u l a r b e n c h m a r k d a t a s e t f o r s p a t i a l d a t a b a s e s . O u r e x p e r i m e n t s
r e v e a l t h a t i n s i t u a t i o n s o f s m a l l b u e r a n d h i g h j o i n - s e l e c t i v i t y t h e A G P , w h i c h i s e x c l u s i v e l y b a s e
o n h y p e r g r a p h p a r t i t i o n i n g , o f t e n o u t p e r f o r m s a l l o t h e r m e t h o d s . F o r s m a l l b u e r s i z e a n d l o w j o i n -
s e l e c t i v i t y , t h e S G P t o o o u t p e r f o r m s t h e k n o w n c o m p e t i t o r s .
W e a l s o p r o v i d e t h r e e r e n e m e n t s t o S G P . F i r s t , w e e x p e r i m e n t w i t h u s i n g t h e h y p e r g r a p h p a r t i -
t i o n i n g a l g o r i t h m , i n s t e a d o f t h e s i m p l e g r a p h p a r t i t i o n i n g a l g o r i t h m t o p a r t i t i o n t h e p a g e c o n n e c t i v i t y
6
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 8/28
g r a p h . S e c o n d , w e r e d u c e t h e r e d u n d a n t I / O b y p r o p e r l y p r o c e s s i n g t h e c u t e d g e s b e t w e e n p a r t i t i o n s .
F i n a l l y , w e c h a r a c t e r i z e a n o p t i m a l s e q u e n c e f o r l o a d i n g p a r t i t i o n s i n t o t h e b u e r .
3 P r o p o s e d A p p r o a c h 1 : A s y m m e t r i c S p a t i a l C l u s t e r i n g
3 . 1 B a s i c I d e a B e h i n d A G P
S o r t i n g - b a s e d h e u r i s t i c e n s u r e s t h a t n o r e d u n d a n t a c c e s s e s o n t h e p r i m a r y r e l a t i o n , b u t i t m a y i n c u r
r e d u n d a n t a c c e s s e s t o t h e s e c o n d r e l a t i o n , p a r t i c u l a r l y w h e n t h e j o i n - k e y i s n o t t o t a l l y o r d e r e d , e . g . i n
s p a t i a l d a t a b a s e s . I n s u c h d o m a i n s , t h e n o t i o n o f s o r t i n g c a n b e g e n e r a l i z e d t o s p a t i a l c l u s t e r i n g . A G P
c l u s t e r s p a g e o f o n e t a b l e R b a s e d o n t h e i r i n t e r a c t i o n w i t h p a g e s o f S t a b l e . R e d u n d a n t I / O o f a p a g e
p o f S i s r e d u c e d i f m a n y o f p a g e s o f R w i t h e d g e c o n n e c t i n g t o p c a n b e i n m e m o r y w h e n p i s b r o u g h t
t o m e m o r y .
3 . 2 P r o p o s e d S p a t i a l C l u s t e r i n g M e t h o d
S p a t i a l c l u s t e r i n g o f t h e t u p l e s i n a j o i n i n d e x c a n b e v i e w e d a s g r o u p i n g o f e d g e s a n d n o d e s o f c o r r e -
s p o n d i n g p a g e c o n n e c t i v i t y g r a p h ( P C G ) . I n t h i s s e c t i o n , w e f o c u s o n a s y m m e t r i c m e t h o d s a n d p o s t p o n e
d i s c u s s i o n o f s y m m e t r i c m e t h o d s t o S e c t i o n 5 . T h e g o a l o f a s y m m e t r i c c l u s t e r i n g m e t h o d s i s t o c l u s t e r
p a g e s o f o n e r e l a t i o n g i v e n t h e j o i n - i n d e x o r i t s P C G . T h i s c a n b e f o r m a l i z e d a s a m i n - c u t h y p e r g r a p h
p a r t i t i o n i n g p r o b l e m . T h e p a g e s o f a r e l a t i o n w i l l f o r m n o d e s o f t h e h y p e r g r a p h . E a c h p a g e p o f t h e
o t h e r r e l a t i o n w i l l f o r m a h y p e r e d g e , c o v e r i n g a l l p a g e s o f t h e r s t r e l a t i o n c o n n e c t e d t o p i n P C G . P a r -
t i t i o n i n g o f n o d e s i n t h i s h y p e r g r a p h w i l l f o r m g r o u p o f p a g e s o f t h e r s t r e l a t i o n t o b e l o a d e d t o g e t h e r .
G o a l o f m i n i m i z i n g c u t h y p e r e d g e s d u r i n g p a r t i t i o n i n g i s t o r e d u c e t h e n u m b e r o f p a g e o f t h e s e c o n d
r e l a t i o n t h a t n e e d s t o c o m e t o m e m o r y m u l t i p l e t i m e s .
C o n s i d e r t h e e x a m p l e s p a t i a l - j o i n p r o b l e m d e p i c t e d i n F i g u r e 4 ( a ) w i t h t w o p o i n t d a t a - s e t s , ( a , b , c , d )
a n d ( A , B , C , D ) . A s s u m e b l o c k i n g f a c t o r o f 1 t o s i m p l i f y t h e e x a m p l e . T h e P C G o f t h e j o i n - i n d e x f o r
D i s t a n c e ( i j ) <
L
p
2
i s s h o w n i n F i g u r e 4 ( c ) u s i n g t h e o v e r l a y a n d d i s t a n c e b u e r i n f o r m a t i o n . T h e
n o d e s o f h y p e r g r a p h s h o w n i n F i g u r e 4 ( d ) c o n s i s t o f n o d e s o f r e l a t i o n R , i . e . ( a , b , c , d ) . T h e h y p e r e d g e s
r e p r e s e n t n o d e s ( A , B , C , D ) o f S . T h e h y p e r e d g e c o r r e s p o n d i n g t o A c o n n e c t s a a n d c s i n c e ( A , a ) a n d
( A , c ) s a t i s f y t h e j o i n p r e d i c a t e . T h e p a r t i t i o n ( ( a , c ) , ( b , d ) ) h a s n o c u t h y p e r e d g e s , a n d c o m p u t i n g j o i n
u s i n g i t w i l l h a v e n o r e d u n d a n t I / O i f 3 b u e r s a r e a v a i l a b l e t o h o l d p a g e s o f t w o r e l a t i o n s . I n c o n t r a s t ,
t h e p a r t i t i o n ( ( a , b ) , ( c , d ) ) c u t s a l l f o u r h y p e r e d g e s a n d c o m p u t i n g j o i n w i l l y i e l d f o u r r e d u n d a n t I / O s i f
o n l y 3 b u e r s a r e a v a i l a b l e t o h o l d p a g e s o f t w o r e l a t i o n s .
W e f o r m a l l y d e s c r i b e A G P n o w v i a f o l l o w i n g p s e u d o - c o d e .
A G P A l g o r i t h m
I n p u t : G = ( V
r
V
s
E ) i s a p a g e c o n n e c t i v i t y g r a p h
O u t p u t : S = < P
1
P
2
: : : P
r
> i s a p a g e a c c e s s s e q u e n c e w i t h r j V
r
j + j V
s
j ( P
i
s n e e d n o t b e d i s t i n c t )
a s s e r t ( j V
r
j < j V
s
j )
a s s e r t ( B 2 ) / * n u m b e r o f b u e r s * /
H G
r
( V
r
H E
r
) = D e r i v e H y p e r g r a p h ( G ) / * H G
r
i s a h y p e r g r a p h , j H E
r
j = j V
s
j * /
7
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 9/28
a b
c d
A B
C D
(c) Overlay and Join
c d
a b
A B
C D
A B
a b
c
C D
d
(d) Graph PCG
LL
L
distance < L/ 2
ac bd
(d) Hypergraph model(one object)/page
(a) Dataset R (b) Dataset S
A
C D
B
F i g u r e 4 : C o n s t r u c t i o n o f a o n e - s i d e h y p e r g r a p h f r o m t h e d a t a s e t
/ * F o r e a c h n o d e i n j V
s
j , b u i l d a h y p e r e d g e t o e n c o m p a s s a l l o f i t s c o r r e s p o n d i n g n o d e s i n V
r
* /
P S e t
r
= h M e t i s - P a r t i t i o n ( H G
r
B ; 1 ) / * M i n i m i z e t h e n u m b e r o f h y p e r e d g e - c u t s e t * /
i = 0
w h i l e ( ( P
i
r
= S e l e c t U n p r o s s e d P a r t i t i o n ( P S e t
r
) ) ! = N U L L ) / * S e l e c t t h e u n - p r o c e s s e d p a r t i t i o n * /
f
A d d P a g e S e q u e n c e ( S P
i
r
) / * A d d a l l t h e p a g e s i n P
i
r
i n t o t h e l o a d i n g s e q u e n c e * /
P
i
s
= S o r t - E l i m i n a t e - D u p ( G P
i
r
)
/ * S o r t a n d e l i m i n a t e t h e d u p l i c a t e d p a g e s i n V
s
o f G w h i c h c o n n e c t t o P
i
r
* /
A d d P a g e S e q u e n c e ( S P
i
s
) / * A d d a l l t h e p a g e s i n P
i
s
i n t o t h e l o a d i n g s e q u e n c e * /
P
i
r
. a g = " p r o c e s s e d " / * M a r k t h i s p a r t i t i o n a s " p r o c e s s e d " * /
i + +
g
T h e p r o c e d u r e D e r i v e H y p e r g r a p h ( G ) w o r k s a s f o l l o w s . N o d e s o f t h e r s t r e l a t i o n R f o r m t h e n o d e s
o f t h e h y p e r g r a p h . F o r e a c h n o d e v o f t h e s e c o n d r e l a t i o n , i t b u i l d s a h y p e r e d g e t o e n c o m p a s s a s e t
o f n o d e s o n t h e r s t r e l a t i o n ( R ) c o n n e c t e d t o v i n G . W e p a r t i t i o n t h i s h y p e r - g r a p h u s i n g t h e m i n -
c u t h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m , h M e t i s 1 7 , 1 8 ] , w h i c h i s a m u l t i - l e v e l h y p e r g r a p h p a r t i t i o n i n g
a l g o r i t h m t h a t h a s b e e n s h o w n t o p r o d u c e h i g h q u a l i t y b i - s e c t i o n s o n a w i d e r a n g e o f p r o b l e m s a r i s i n g
i n s c i e n t i c a n d V L S I a p p l i c a t i o n s . h M e t i s m i n i m i z e s t h e ( w e i g h t e d ) h y p e r c u t , a n d t h u s t e n d s t o c r e a t e
p a r t i t i o n s i n w h i c h c o n n e c t i v i t y a m o n g t h e v e r t i c e s i n e a c h p a r t i t i o n i s h i g h , r e s u l t i n g i n g o o d c l u s t e r s .
F i n a l l y , w e l o a d e a c h p a r t i t i o n i n t h e p r i m a r y r e l a t i o n a n d i t s c o n n e c t e d n o d e s i n t h e s e c o n d r e l a t i o n ,
o n e b y o n e , t o c o m p u t e t h e j o i n . T h e I / O c o s t o f A G P c a n b e c h a r a c t e r i z e d v i a t h e f o l l o w i n g l e m m a :
L e m m a 1 G i v e n a p a r t i t i o n f V
r
1
V
r
2
: : : V
r
p
g o f V
r
f r o m t h e p a g e - c o n n e c t i v i t y g r a p h P C G =
( V
r
V
s
E ) , t h e r e i s a p a g e - a c c e s s s e q u e n c e o f l e n g t h K = j V
r
j +
P
v 2 V
s
f ( v ) t o p r o c e s s t h e j o i n , w h e r e
f ( v ) d e n o t e s n u m b e r o f p a r t i t i o n s o f V
r
t h a t h a v e a n e d g e t o n o d e v i n V
s
.
P r o o f : E a c h n o d e v i n V
s
i s c o n n e c t e d t o f ( v ) p a r t i t i o n s o f V
r
. T h e r e f o r e , e a c h n o d e v i n V
s
h a s t o b e
l o a d e d f ( v ) t i m e s i n t o t h e b u e r t o d o t h e j o i n . T o t a l n u m b e r o f r e d u n d a n t I / O i s
P
v 2 V
s
( f ( v ) ; 1 ) .
T o t a l I / O c o s t = j V
r
j + j V
s
j +
P
v 2 V
s
( f ( v ) ; 1 ) = j V
r
j + j V
s
j +
P
v 2 V
s
f ( v ) ; j V
s
j = j V
r
j +
P
v 2 V
s
f ( v )
W e n o t e t h a t m i n - c u t h y p e r g r a p h p a r t i t i o n i n g a l g o r i t h m , e . g . h M e t i s , m i n i m i z e s t h e n u m b e r o f
h y p e r e d g e c o n n e c t i n g n o d e s a c r o s s c l u s t e r s . I t d o e s n o t d i s t i n g u i s h b e t w e e n a h y p e r e d g e s p a n n i n g f o u r
8
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 10/28
c l u s t e r s o r t w o c l u s t e r s . W h i l e A G P o u t p e r f o r m s s o r t i n g b a s e d h e u r i s t i c a l r e a d y , t h e p e r f o r m a n c e o f
A G P w i l l i m p r o v e w h e n b e t t e r a l g o r i t h m f o r h y p e r g r a p h p a r t i t i o n i n g a r e a v a i l a b l e w h i c h m i n i m i z e s t o t a l
n u m b e r o f c u t s o n c u t - h y p e r e d g e s . W e p l a n t o e x p l o r e t h i s i n f u t u r e w o r k .
4 C o m p a r i n g o f A s y m m e t r i c A p p r o a c h e s : S o r t i n g a n d A G P
4 . 1 E x p e r i m e n t D e s i g n
W e n o w c o m p a r e t h e p e r f o r m a n c e o f S o r t i n g h e u r i s t i c a n d A G P . F o r t h e e v a l u a t i o n w e u s e a j o i n
i n d e x d e r i v e d f r o m s p a t i a l d a t a d e r i v e d f r o m t h e S e q u o i a 2 0 0 0 3 2 ] d a t a s e t . W e s e l e c t e d t w o d a t a
s e t s a s o u r b a s e r e l a t i o n s : t h e P o i n t s , c o n t a i n i n g 6 2 , 5 8 4 C a l i f o r n i a p l a c e n a m e s w i t h t h e i r a s s o c i a t e d
l o c a t i o n s ( L o n g i t u d e a n d L a t i t u d e ) , e x t r a c t e d f r o m t h e U S G e o l o g i c a l S u r v e y ' s G e o g r a p h i c N a m e s I n -
f o r m a t i o n S y s t e m ( G N I S ) a n d t h e P o l y g o n s w i t h 4 3 8 8 r e c o r d s , r e p r e s e n t i n g t h e C r o p l a n d a n d P a s t u r e
l a n d u s e i n C a l i f o r n i a . T h r o u g h o u t S e c t i o n 4 a n d 8 , t h e P o i n t a n d P o l y g o n r e l a t i o n s w i l l b e r e f e r e n c e d
a s R a n d S , r e s p e c t i v e l y . T h e p o i n t a r e b u e r e d t o b e a r e c t a n g l e f o r a d j u s t i n g t h e e d g e r a t i o 6 ] . G i v e
a j o i n g r a p h G = ( V
R
V
S
E ) , t h e e d g e r a t i o o f G , d e n o t e d b y , i s d e n e d a s t h e r a t i o o f t h e t o t a l
n u m b e r o f e d g e s i n G t o t h e m a x i m u m p o s s i b l e n u m b e r o f e d g e s i n G i f i t i s a f u l l y c o n n e c t e d g r a p h i . e . ,
=
j E j
j V
R
j j V
S
j
. T h e e d g e r a t i o p r o v i d e s a m e a s u r e o f t h e p a g e - l e v e l j o i n s e l e c t i v i t y . W e p l o t a s m a l l b u t
r e p r e s e n t a t i v e p o r t i o n o f t h e d a t a s e t a s i n F i g u r e 5 . T h e j o i n o f t h e s e t w o r e l a t i o n s w i t h t h e " o v e r l a p "
p r e d i c a t e p r o d u c e s a j o i n i n d e x .
( a ) P o l y g o n s f o r L a n -
d u s e
Square-side
size
( b ) B u e r o f G N I S
P o i n t s
F i g u r e 5 : E x a m p l e o f t h e S e q u o i a 2 0 0 0 d a t a s e t
T h e v a r i a b l e p a r a m e t e r s a r e t h e B u e r s i z e , P a g e s i z e a n d E d g e r a t i o . T h e m e t r i c o f e v a l u a t i o n i s
t h e n u m b e r o f p a g e a c c e s s e s r e q u i r e d b y e a c h a l g o r i t h m t o i m p l e m e n t t h e j o i n .
F i g u r e 6 s u m m a r i z e s t h e e x p e r i m e n t s t e p s . D e r i v e d d a t a - s e t s c o n s i s t o f s q u a r e s w i t h d i e r e n t s i d e -
l e n g t h s , e . g . 3 k m , 6 k m , 8 k m , 1 8 k m . J o i n i n g t h e s e s q u a r e d a t a - s e t s w i t h p o l y g o n y i e l d s j o i n - i n d e x w h i c h
a r e c o n v e r t e d t o e q u i v a l e n t p a g e c o n n e c t i v i t y g r a p h s . T h e s e p a g e c o n n e c t i v i t y g r a p h s a r e i n p u t t o " P a g e
A c c e s s S e q u e n c e G e n e r a t o r " , w h i c h s i m u l a t e b e h a v i o r o f s o r t b a s e d a n d A G P a l g o r i t h m f o r g i v e n b u e r
s i z e . T h e p a g e a c c e s s s e q u e n c e a n d t o t a l p a g e I / O a r e t r a c k e d f o r e a c h c o m b i n a t i o n o f j o i n a l g o r i t h m ,
p a g e s i z e , b u e r s i z e , a n d e d g e r a t i o t o d e r i v e t h e e x p e r i m e n t r e s u l t s .
9
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 11/28
Square dataset (5)
PCG (20)(160)
Points
Polygons
Join
# of Page Access
Page Access Sequence
Join
Square side size
Generator
size (4)
Page
Data-set Indices (5)Index
Square
Generator
Buffer OPAS-FB
Access
Sequence
Generator
Page
size (4) methods (2)
Connectivity
Graph
Generator
Page
F i g u r e 6 : E x p e r i m e n t a l s e t u p a n d d e s i g n .
4 . 2 E x p e r i m e n t r e s u l t s
F i g u r e 7 s h o w s t h e c o m p a r i s o n b e t w e e n t h e A G P a n d S o r t i n g h e u r i s t i c . T h e A G P m e t h o d i s u n i f o r m l y
b e t t e r t h a n t h e S o r t i n g h e u r i s t i c . F i g u r e 7 ( a ) s h o w s t h e i m p a c t o f t h e p a g e s i z e , v a r y i n g f r o m 2 k b y t e s
t o 8 k b y t e s , t h e d i e r e n c e b e t w e e n A G P a n d S o r t i n g d e c r e a s e s a s t h e p a g e s i z e i n c r e a s e s . T h e r e a s o n i s
t h a t w h e n t h e p a g e s i z e i n c r e a s e s , t h e n u m b e r o f p a g e s d e c r e a s e s , a n d c l u s t e r i n g e c i e n c y i m p r o v e s f o r
a l l m e t h o d s , r e d u c i n g t h e g a p b e t w e e n p e r f o r m a n c e .
F i g u r e 7 ( b ) s h o w s t h e e e c t o f b u e r s i z e ( a s a f r a c t i o n o f t h e s i z e o f t h e s m a l l e r r e l a t i o n ) o n t h e t h e
I / O p e r f o r m a n c e o f A G P a n d s o r t i n g b a s e d m e t h o d . T h e p e r f o r m a n c e g a p b e t w e e n t h e t w o m e t h o d s
g o e s u p a n d d o w n . A s l o n g a s t h e b u e r i s s m a l l e r t h a n t h e s m a l l e r o f t h e t w o r e l a t i o n s i n v o l v e d i n
j o i n , b o t h A G P a n d s o r t - b a s e d a p p r o a c h u s e s m o s t o f t h e b u e r s t o l o a d p a g e s o f o n l y o n e r e l a t i o n .
T h i s l e a d s t o p o o r b u e r u t i l i z a t i o n f o r b o t h . T h e d i e r e n c e i n p e r f o r m a n c e c o m e s f r o m t h e d i e r e n c e
i n c l u s t e r i n g a b i l i t y .
F i g u r e 7 ( c ) s h o w s t h e e e c t o f e d g e r a t i o . A G P o u t p e r f o r m s S o r t i n g - b a s e d a p p r o a c h u n i f o r m l y i n
o u r e x p e r i m e n t s . T h e g a p b e t w e e n t h e p e r f o r m a n c e o f t w o m e t h o d s d o e s n o t s h o w a n y t r e n d .
S o r t i n g h e u r i s t i c c a n b e c o n s i d e r e d t o b e a s p e c i a l c a s e o f s p a t i a l c l u s t e r i n g . I n a d d i t i o n , p r e -
p r o c e s s i n g s t e p o f S o r t i n g i s c h e a p e r t h a n s p a t i a l c l u s t e r i n g , t h u s t h e r e i s a t r a d e o b e t w e e n j o i n
p e r f o r m a n c e a n d p r e - p r o c e s s i n g c o s t . T h e p r o p o s e d A G P i s u s e f u l w h e n t h e r e a r e f e w u p d a t e s a n d
p r e p r o c e s s i n g c a n b e d o n e o n c e , a n d m u l t i p l e j o i n r e q u e s t s f o l l o w .
5 P r o p o s e d A p p r o a c h 2 : S y m m e t r i c S p a t i a l C l u s t e r i n g
5 . 1 M o t i v a t i o n
W h i l e A G P i s a n i m p r o v e m e n t o v e r S o r t i n g b a s e d m e t h o d , i t h a s a f e w d r a w b a c k s . I t s b u e r u t i l i z a t i o n
c a n b e p o o r p a r t i c u l a r l y f o r r e l a t i v e l y l a r g e b u e r s i z e s i n c e i t g i v e s a l m o s t t h e e n t i r e b u e r s p a c e t o
o n e r e l a t i o n . S e c o n d l y , t h e c h o i c e o f t h e f a v o r e d r e l a t i o n i s n o t t r i v i a l i n m a n y s i t u a t i o n s . W e i l l u s t r a t e
1 0
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 12/28
12000
14000
16000
18000
20000
22000
24000
26000
28000
30000
32000
34000
1 2 3 4 5 6 7 8 9
N u m b e r o f p a g
e a c c e s s
Page size (Kbytes)
SortAGP
( a ) P a g e s i z e : 2 K - 8 K , B u e r s i z e :
5 % o f t h e R r e l a t i o n , E d g e r a t i o :
0 . 0 0 6 6 9
12000
14000
16000
18000
20000
22000
24000
26000
28000
30000
32000
34000
4 6 8 10 12 14 16 18 20 22
N u m b e r o f p a g
e a c c e s s
Percentage of R pages
SortAGP
( b ) B u e r s i z e : 5 % - 2 0 % o f t h e R
r e l a t i o n , P a g e s i z e : 2 K , E d g e r a t i o :
0 . 0 0 6 6 9
55000
60000
65000
70000
75000
80000
85000
0 .0 2 0 .0 3 0 .04 0 .0 5 0 .0 6 0 .0 7 0 .08 0 .0 9 0 .1
N u m b e r o f p a g
e a c c e s s
Edge Ratio
SortAGP
( c ) E d g e r a t i o : 0 . 0 2 7 9 4 - 0 . 0 9 6 3 8 ,
B u e r s i z e : 5 % o f R r e l a t i o n , P a g e
s i z e : 2 K
F i g u r e 7 : E e c t o f P a g e s i z e , B u e r s i z e , E d g e r a t i o o n A G P a n d S o r t i n g h e u r i s t i c
S0S1
S2
S3
R1
R0
R2
R3
S5R4
11
111
11
1
1
1
1 11
11
0
0 1
00
0
0 000 0
000 0 0
00
0
00
0 1 2 3 5
1
3
4
2
0
5
4 R
S
1 1264 8 10
2
35
7
9
11
(a) Spatial Join (c)Symmetric method
R5
S4
11
111
11
1
1
1
1 11
11
0
0 1
00
0
0 000 0
000 0 0
00
0
00
0 2 3 5
1
3
4
2
0
5
4 R
S
1 2 6 7 12
3
(b)Sorting/AGP
4, 85, 9
1
13
10,14
11,15
16
F i g u r e 8 : C o m p a r i s o n o f s y m m e t r i c a n d a s y m m e t r i c m e t h o d s
t h e s e w i t h t h e h e l p o f a s p a t i a l j o i n p r o b l e m s h o w n i n F i g u r e 8 . F i g u r e 8 ( a ) s h o w s a p o l y g o n s e t w i t h
6 p o l y g o n s R 0 . . R 5 a n d a p o i n t d a t a s e t w i t h 6 p o i n t s . T h e a d j a c e n c y m a t r i x M
P C G
r e p r e s e n t a t i o n o f
j o i n - i n d e x i s s h o w n i n F i g u r e 8 ( b ) a l o n g w i t h t h e p a g e a c c e s s s e q u e n c e f o r s o r t i n g b a s e d a l g o r i t h m w i t h
t h r e e m e m o r y b u e r . S o r t i n g r e q u i r e s 1 5 I / O i n c l u d i n g 3 r e d u n d a n t I / O s o n S 1 , S 2 , a n d S 3 . F i g u r e 8 ( c )
s h o w s a d i e r e n t p a g e a c c e s s s e q u e n c e e x p l o i t i n g t h e s y m m e t r y o f t h i s p r o b l e m . T h e s y m m e t r i c m e t h o d
a l t e r n a t e s b e t w e e n p a g e s o f t h e t w o r e l a t i o n s t o c o m p u t e j o i n w i t h 1 2 I / O ( i . e . n o r e d u n d a n t I / O ) . T h i s
p r o p e r t y c a n b e g e n e r a l i z e d t o o t h e r B - d i a g o n a l a d j a c e n c y m a t r i x w h e r e f M
P C G
i j ] = 1 g ) f j i ; j j
b B = 2 c g . B i s t h e n u m b e r o f b u e r s a v a i l a b l e f o r p a g e s o f R a n d S . S y m m e t r i c m e t h o d c a n p r o c e s s B -
d i a g o n a l a d j a c e n c y m a t r i x w i t h n o r e d u n d a n t I / O g i v e n B b u e r s f o r R a n d S . s y m m e t r i c m e t h o d s , e . g .
F P 9 ] , O M 2 7 ] , C h a n 6 ] , c a n a d d r e s s t h e s e d e c i e n c i e s . H o w e v e r , m o s t s y m m e t r i c m e t h o d s p r o p o s e d i n
l i t e r a t u r e a r e i n c r e m e n t a l , c o n s i d e r i n g l o c a l i n f o r m a t i o n i n P C G . W e n o w p r o p o s e a s y m m e t r i c s p a t i a l
c l u s t e r i n g m e t h o d , S G P , w h i c h e x p l o i t g l o b a l i n f o r m a t i o n a c r o s s e n t i r e P C G .
1 1
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 13/28
5 . 2 F r a m e w o r k
S y m m e t r i c s p a t i a l c l u s t e r i n g a p p r o a c h t o m i n i m i z e r e d u n d a n t I / O c a n b e d e s c r i b e d i n t e r m s o f t h e
f o l l o w i n g p r o b l e m s t a t e m e n t :
G i v e n : A p a g e c o n n e c t i v i t y g r a p h i n a d j a c e n c y m a t r i x M
P C G
f o r m a n d b u e r s i z e B t o h o l d p a g e s
o f R a n d S .
F i n d : A p e r m u t a t i o n o f r o w s a n d a p e r m u t a t i o n o f c o l u m n s o f M
P C G
.
O b j e c t i v e :
M i n i m i z e
X
V
i
2 ( v e r t x c o v e r o f o u t s i d e B d i a g o n a l e d g e s )
d
n u m b e r o f o u t s i d e B ; d i a g o n a l e d g e s i n c i d e n t o n V
i
B
e
( 1 )
W h e r e o u t s i d e B - d i a g o n a l e d g e ( M i j ] ) = 1 i j i ; j j > b
B
2
c
C o n s t r a i n t : M e m o r y b u e r B
T h e r e d u n d a n t I / O s i n t h i s a p p r o a c h a r e d u e t o t h e e d g e ( i . e . n o n - z e r o m a t r i x e l e m e n t s ) o u t s i d e
B d i a g o n a l o f a s p a t i a l l y c l u s t e r e d a d j a c e n c y - m a t r i x r e p r e s e n t a t i o n o f j o i n - i n d e x . T h e s e o u t s i d e
B - d i a g o n a l e d g e a r e g r o u p e d v i a a v e r t e x c o v e r t o d e t e r m i n e t h e s e t o f p a g e r e q u i r i n g r e d u n d a n t I / O .
A m i n i m u m v e r t e x c o v e r o f o u t s i d e B - d i a g o n a l e d g e d e t e r m i n e s t h e r e d u n d a n t I / O i f d e g r e e o f t h e s e
p a g e s a r e s m a l l e r t h a n t h e n u m b e r o f b u e r s a v a i l a b l e t o c a c h e p a g e o f R a n d S . O t h e r w i s e , s o m e o f
t h e s e p a g e s l e a d t o r e d u n d a n t I / O a s c a p t u r e d b y t h e o b j e c t i v e f u n c t i o n .
T h i s p r o b l e m f o r m a l i z a t i o n p r o v i d e s a c o n c e p t u a l f r a m e w o r k a r o u n d B - d i a g o n a l i z a t i o n a n d v e r t e x
c o v e r o f o B - d i a g o n a l e d g e s . T h i s p r o b l e m i s c o m p u t a t i o n a l l y d i c u l t d u e t o i t s r e l i a n c e o n N P - h a r d
s u b - p r o b l e m ( e . g . m i n i m a l v e r t e x c o v e r ) . T h i s i s n o t a s u r p r i s e i n v i e w o f N P - h a r d n e s s o f O P A S - F B
p r o b l e m . C l e a r l y h e u r i s t i c s o l u t i o n s a r e n e e d e d t o c o n t r o l c o m p u t a t i o n a l o v e r h e a d . O n e m a y d e v i s e
a d i r e c t h e u r i s t i c f o r t h i s p r o b l e m , e . g . a s a s e a r c h p r o b l e m i n t h e s p a c e o f p e r m u t a t i o n s o f r o w s a n d
c o l u m n o f M
P C G
. T h i s w i l l r e q u i r e c a r e f u l e n g i n e e r i n g t o e n s u r e s c a l a b i l i t y s i n c e P C G s c a n b e l a r g e . W e
c h o o s e t o t a k e a d v a n t a g e o f a w e l l - e n g i n e e r e d h e u r i s t i c f a m i l y , M e t i s 1 9 ] , f o r a r e l a t e d p r o b l e m , n a m e l y
m i n - c u t g r a p h p a r t i t i o n i n g . M e t i s u s e s a h i e r a r c h i c a l a p p r o a c h u s i n g g r a p h c o a r s e n i n g t o s c a l e u p . I t
c a n p a r t i t i o n s p a r s e g r a p h s w i t h m i l l i o n s o f n o d e s w i t h i n m i n u t e s p r o v i d i n g f a i r l y c o m p e t e n t s o l u t i o n s
a n d t h u s i s b e i n g u s e d f o r c l u s t e r i n g p r o b l e m i n d a t a b a s e s 3 1 ] , d a t a m i n i n g , e t c .
W e a u g m e n t M e t i s b y o t h e r s t e p s t o c a p t u r e o t h e r i m p o r t a n t p r o p e r t i e s o f o u r p r o b l e m f o r m a l i z a t i o n
a s f o l l o w s . A B - d i a g o n a l f o r m i s c r e a t e d v i a p r o p e r o r d e r i n g o f t h e p a r t i t i o n s o f P C G d e r i v e d f r o m M e t i s .
T h e o r d e r i n g t r i e s t o b r i n g a s m a n y c u t e d g e s i n s i d e B - d i a g o n a l a s p o s s i b l e , a s d e s c r i b e d i n 5 . 6 . A v e r t e x
c o v e r h e u r i s t i c i s u s e d t o g r o u p o B - d i a g o n a l e d g e s i n t o a s m a l l s e t o f n o d e s , f o r r e d u c i n g r e d u n d a n t I / O .
T h e s e n o d e s a r e s c h e d u l e d w i t h s p e c i c p a r t i t i o n s t o d e t e r m i n e d t h e p a g e a c c e s s s e q u e n c e a s d e s c r i b e d
i n 5 . 5 .
W e u s e F i g u r e 9 a s a n e x m p l e t o s h o w t h e s t e p s f o r d e r i v i n g B - d i a g o n a l u s i n g g r a p h p a r t i t i o n
t e c h n i q u e . F i g u r e 9 ( a ) i s t h e o r i g i n a l P C G r e l a t i o n , w h e r e R a n d S a r e t w o r e l a t i o n s t o b e j o i n e d , a n d
e a c h p o i n t i n t h e g r a p h d e n o t e s a e d g e c o n n e c t i o n b e t w e e n t h e s e t w o r e l a t i o n s . W e u s e M e t i s 1 9 ] t o
p a r t i t i o n t h i s P C G , e a c h p a r t i t i o n h a s s i z e ( B ; 1 ) , w h e r e B i s t h e n u m b e r o f b u e r a v a i l a b l e . W e s h o w
t h e r e s u l t a f t e r p a r t i t i o n i n F i g u r e 9 ( b ) , t h e R a n d S r e l a t i o n s a r e r e l a b e l e d f r o m t h e r s t p a r t i t i o n t o
t h e l a s t p a r t i t i o n . F i n a l l y , w e r e - o r d e r t h e s e p a r t i t i o n s t o b r i n g a s m a n y p o i n t s i n s i d e B - d i a g o n a l , a s
1 2
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 14/28
s h o w n i n F i g u r e 9 ( c ) . I n F i g u r e 9 ( b ) , t h e r e a r e 2 8 p e r c e n t o f p o i n t s o u t s i d e B - d i a g o n a l , a f t e r p a r t i t i o n
r e o r d e r i n g , w e r e d u c e t h e s e p o i n t s t o b e 2 2 p e r c e n t o f t h e t o t a l p o i n t s .
0
1000
2000
3000
4000
5000
0 500 1000 1500 2000
S r e l a t i o n
R relation
R join S
( a ) T h e o r i g i n a l P C G c o n n e c t i o n
0
1000
2000
3000
4000
5000
0 500 1000 1500 2000
S r e l a t i o n
R relation
R join S
( b ) A f t e r g r a p h p a r t i t i o n
0
1000
2000
3000
4000
5000
0 500 1000 1500 2000
S r e l a t i o n
R relation
R join S
( c ) A f t e r g r a p h p a r t i t i o n a n d r e -
o r d e r i n g
F i g u r e 9 : U s i n g g r a p h p a r t i t i o n t o d e r i v e t h e B - d i a g o n a l
5 . 3 B a s i c I d e a : S i m p l e S G P
T h e S G P m e t h o d c l u s t e r s t h e n o d e s o f t h e P a g e - C o n n e c t i v i t y G r a p h ( P C G ) v i a m i n - c u t g r a p h p a r t i t i o n -
i n g s o f t w a r e M e t i s . T h e a d j e c t i v e " s y m m e t r i c " r e f e r s t o t h e f a c t t h a t p a g e c l u s t e r s i n c l u d e p a g e s f r o m
b o t h t a b l e s R a n d S w i t h n o p r e f e r e n c e t o e i t h e r t a b l e . T h e m i n - c u t p a r t i t i o n a l g o r i t h m p a r t i t i o n s t h e
n o d e s o f t h e P C G i n t o d i s j o i n t s u b s e t s , w h i l e m i n i m i z i n g t h e n u m b e r o f e d g e s w h o s e n o d e s a r e i n c i d e n t
i n t w o d i e r e n t p a r t i t i o n s . S i n c e o n l y t h e n o d e s t h a t a r e i n c i d e n t o n t h e e d g e s b e l o n g i n g t o t h e e d g e - c u t
s e t c a n c o n t r i b u t e t o r e d u n d a n t I / O , m i n i m i z i n g t h e s i z e o f t h e e d g e - c u t s e t p r o v i d e s a t i g h t b o u n d o n
t h e n u m b e r o f r e d u n d a n t I / O . W e c a n f o r m a l i z e t h e p r o p e r t i e s o f t h e S G P m e t h o d a s f o l l o w s :
S y m m e t r i c M i n - c u t G r a p h P a r t i t i o n i n g o f t h e P a g e C o n n e c t i v i t y G r a p h ( S G P )
G i v e n : A c o n n e c t i v i t y g r a p h G = ( V E ) w i t h j V j = n , a n d t h e n u m b e r o f b u e r s , B 2 .
F i n d : A p a r t i t i o n o f V i n t o p s u b s e t s , V
1
V
2
: : : V
p
s u c h t h a t V
i
T
V
j
= f o r i 6= j a n d
S
i
V
i
= V .
O b j e c t i v e : M i n i m i z e t h e s i z e o f t h e s e t o f e d g e s E
C
E w h o s e i n c i d e n t v e r t i c e s b e l o n g t o d i e r e n t
s u b s e t s .
C o n s t r a i n t : j V
i
j ( B ; 1 ) , a n d t h e n u m b e r o f p a r t i t i o n s , p = d j V j = ( B ; 1 ) e :
W e n o w d e s c r i b e a n a l g o r i t h m , S i m p l e S G P , f o r d e t e r m i n i n g a p a g e - a c c e s s s e q u e n c e , g i v e n a p a r t i t i o n
o f t h e p a g e - c o n n e c t i v i t y g r a p h . T h e p s e u d o - c o d e i s s h o w n i n t h e f o l l o w i n g S G P a l g o r i t h m . I n t h i s
a l g o r i t h m , e a c h p a r t i t i o n i s l o a d e d i n t o m e m o r y t o p r o c e s s a l l t h e j o i n s c o m p l e t e l y w i t h i n t h a t p a r t i t i o n .
W h e n e v e r a p a r t i t i o n h a s a n a s s o c i a t e d c u t e d g e , o n e n o d e o f t h e e d g e i s a l r e a d y i n m e m o r y . T h e n w e
o n l y n e e d t o b r i n g t h e o t h e r n o d e t h a t c o r r e s p o n d s t o t h e c u t e d g e i n t o m e m o r y . D u e t o t h e c o n s t r u c t i o n
o f t h e p a r t i t i o n s ( t h e n u m b e r o f p a g e s i n e a c h p a r t i t i o n i s l e s s t h a n t h e n u m b e r o f b u e r s i n m e m o r y ) ,
t h e r e i s o n e b u e r s p a c e a v a i l a b l e f o r b r i n g i n g i n o n e p a g e t o p r o c e s s a c u t - e d g e . T h e c u t e d g e s a s s o c i a t e d
1 3
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 15/28
w i t h t h e p a r t i t i o n a r e p r o c e s s e d o n e a t a t i m e b y u s i n g t h e e m p t y b u e r s p a c e t o s t o r e a p a g e n e e d e d
t o p r o c e s s t h e s e l e c t e d c u t - e d g e .
F o r e x a m p l e , F i g u r e 1 0 i s a n e x a m p l e o f a p a r t i t i o n o f t h e P C G g r a p h s h o w n i n F i g u r e 2 . A s s u m i n g
t h a t t h e b u e r s i z e i s 3 , e a c h p a r t i t i o n V
1
, V
2
, a n d V
3
c a n c o n t a i n u p t o t w o n o d e s o f t h e P C G . T h e
e d g e - c u t s e t c o n s i s t s o f t h e t h r e e e d g e s f e
2
e
3
e
4
g . T h e S i m p l e S G P a l g o r i t h m o n t h i s p a r t i t i o n p r o c e e d s
a s f o l l o w s : W e r a n d o m l y l o a d a p a r t i t i o n i n t o t h e b u e r , s a y V
1
, a n d r s t p e r f o r m t h e j o i n i n t e r n a l t o
t h e p a r t i t i o n , f a A g . W e t h e n f o l l o w t h e e d g e - c u t e
2
, l o a d p a g e B i n t h e s p a r e b u e r a n d m a t e r i a l i z e
t h e j o i n f a B g . W e t h e n f o l l o w t h e e d g e - c u t e
3
, s w a p p a g e B f o r C i n t h e b u e r a n d m a t e r i a l i z e t h e j o i n
f a C g . F i n a l l y , a l l j o i n s e m a n a t i n g f r o m V
1
a r e m a t e r i a l i z e d b y l o a d i n g p a g e b a t t h e e n d o f e d g e - c u t
e
4
. W e t h e n m o v e o n t o t h e n e x t r a n d o m l y s e l e c t e d r e m a i n i n g p a r t i t i o n u n t i l a l l a r e e x h a u s t e d .
A a
e1
e3e4e2
V2 b C
e5
B
V3
V1
F i g u r e 1 0 : A m i n - c u t p a r t i t i o n o f t h e g r a p h
L e m m a 2 G i v e n a p a r t i t i o n f V
1
V
2
: : : V
p
g o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) , t h e r e i s a
p a g e - a c c e s s s e q u e n c e o f l e n g t h a t m o s t K j E
C
j + j V j t o p r o c e s s t h e j o i n , a s s u m i n g j V
i
j i s l e s s t h a n t h e
n u m b e r o f b u e r s . I f E
C
= 0 , t h e a l g o r i t h m S i m p l e S G P i s g u a r a n t e e d t o r e s u l t i n a n o p t i m a l p a g e - a c c e s s
s e q u e n c e . ( N o t e t h a t j V j = j V
r
j + j V
s
j w h e r e V
r
a n d V
s
a r e t h e n o d e s o f r e l a t i o n R a n d S b e g i n j o i n e d . )
P r o o f : T h e S i m p l e S G P a l g o r i t h m r e s u l t s i n a t m o s t j V j + j E
C
j p a g e a c c e s s e s . S i n c e e a c h c u t - e d g e c a n
r e s u l t i n a t m o s t o n e e x t r a p a g e a c c e s s , t h e t o t a l n u m b e r o f p a g e a c c e s s e s i s b o u n d b y t h e t o t a l n u m b e r
o f p a g e s i n a l l o f t h e p a r t i t i o n s a n d t h e n u m b e r o f c u t e d g e s . T h e r e f o r e , t h e r e e x i s t s a p a g e - a c c e s s
s e q u e n c e o f s i z e a t m o s t K w h e r e K j V j + j E
C
j .
S i m p l e S G P A l g o r i t h m
I n p u t : G = ( V E ) i s a p a g e c o n n e c t i v i t y g r a p h .
O u t p u t : S = < P
1
P
2
: : : P
r
> i s a p a g e a c c e s s s e q u e n c e w i t h r j V j ( P
i
s n e e d n o t b e d i s t i n c t )
a s s e r t ( B 2 ) / * N u m b e r o f b u e r * /
P S e t = M e t i s - P a r t i t i o n ( G B ; 1 ) / * M i n i m i z e t h e n u m b e r o f e d g e - c u t s e t * /
i = 1
w h i l e ( ( P
i
= S e l e c t U n p r o c e s s e d P a r t i t i o n ( P S e t ) ) ! = N U L L )
/ * S e l e c t t h e u n - p r o c e s s e d p a r t i t i o n * /
f
A d d P a g e S e q u e n c e ( S P
i
) / * A d d a l l t h e n o d e s i n P
i
i n t o t h e l o a d i n g s e q u e n c e * /
1 4
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 16/28
C P S e t = F i n d C o n n e c t P a r t i t i o n ( P
i
) ) / * F i n d a l l t h e p a r t i t i o n s w h i c h c o n n e c t w i t h P
i
* /
f o r ( j = 1 j j C P S e t j j + + )
f
C P
j
= C P S e t j ] / * G e t t h e j - t h c o n n e c t e d p a r t i t i o n * /
i f ( C P
j
. a g ! = " p r o c e s s e d " ) / * T h i s p a r t i t i o n h a s n o t b e e n p r o c e s s e d * /
f
N o d e s = G e t I n c i d e n t N o d e s ( P
i
, C P
j
) / * F i n d a l l t h e n o d e s i n C P
j
w h i c h c o n n e c t t o P
i
* /
A d d P a g e S e q u e n c e ( S N o d e s ) / * A d d a l l t h e s e n o d e s i n t o t h e l o a d i n g s e q u e n c e * /
g
g
P
i
. a g = " p r o c e s s e d " / * M a r k t h i s p a r t i t i o n a s " p r o c e s s e d " * /
i + +
g
5 . 4 R e n e m e n t 1 f o r S i m p l e S G P : R e d u c i n g C u t E d g e s
I n s t e a d o f u s i n g a s i m p l e g r a p h f o r d e t e r m i n i n g P C G - n o d e p a r t i t i o n , w e b u i l d a h y p e r - g r a p h f o r t h e
P C G a n d p a r t i t i o n t h i s h y p e r g r a p h .
W e u s e t h e p a g e - c o n n e c t i v i t y g r a p h m o d e l o f t h e j o i n i n d e x t o c o n s t r u c t a h y p e r - g r a p h f r o m t h e j o i n
i n d e x . T h e h y p e r - g r a p h i s d e r i v e d f r o m t h e o r i g i n a l b i p a r t i t e g r a p h . T o c o n s t r u c t a p u r e h y p e r e d g e
g r a p h , f o r e a c h n o d e i n t h e b i p a r t i t e g r a p h , w e b u i l d a h y p e r e d g e t o e n c o m p a s s t h i s n o d e a n d i t s
c o n n e c t i n g n o d e s i n t h e o t h e r r e l a t i o n . T o c o n s t r u c t a h y p e r - e d g e g r a p h , i n a d d i t i o n t o t h e s e p u r e
h y p e r e d g e s , w e a d d h y p e r e d g e s f o r e a c h e d g e i n t h e o r i g i n a l b i p a r t i t e g r a p h . F i g u r e 1 1 i l l u s t r a t e s t h i s
c o n s t r u c t i o n w i t h t h e h e l p o f a n e x a m p l e .
A m i n - c u t n o d e p a r t i t i o n 1 5 , 2 1 ] o f a h y p e r g r a p h G p a r t i t i o n s t h e n o d e s i n V
1
a n d V
2
i n t o d i s j o i n t
s u b s e t s w h i l e m i n i m i z i n g t h e n u m b e r o f h y p e r e d g e s w h o s e i n c i d e n t n o d e s a r e i n d i e r e n t p a r t i t i o n s .
T h e h - c u t - s e t o f a m i n - c u t p a r t i t i o n i s t h e s e t o f h y p e r - e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t
p a r t i t i o n s . F a s t a n d e c i e n t h e u r i s t i c a l g o r i t h m s f o r t h i s p r o b l e m h a v e b e c o m e a v a i l a b l e i n r e c e n t y e a r s .
I n o u r e x p e r i m e n t , w e u s e h M E T I S 1 7 ] , w h i c h i s a s e t o f p r o g r a m s f o r p a r t i t i o n i n g h y p e r g r a p h s .
L e m m a 3 T h e s a v i n g s i n r e d u n d a n t I / O f o r u t i l i z i n g t h e h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m i n s t e a d o f
s i m p l e g r a p h p a r t i t i o n i n g i s :
S a v i n g s = m a x ( E
c
; E
h
0 ) :
P r o o f : T h e h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m r e s u l t s i n a d i e r e n t e d g e - c u t s e t , E
h
f o r t h e P C G . T h e
p o t e n t i a l s a v i n g s i s E
c
; E
h
f o r t h e s i m p l e S G P a l g o r i t h m .
5 . 5 R e n e m e n t 2 : V e r t e x C o v e r S t r a t e g y , G i v e n l o a d i n g s e q u e n c e
T h e g o a l o f t h i s r e n e m e n t i s t o r e d u c e t h e r e d u n d a n t I / O b y p r o p e r l y p r o c e s s i n g t h e c u t e d g e s b e t w e e n
p a r t i t i o n s . T h e r e d u n d a n t I / O c a u s e d b y t h e c u t e d g e s c a n b e s a v e d b y u s i n g t h r e e i d e a s . F i r s t , k n o w i n g
t h e n e x t p a r t i t i o n P
j
t o b e l o a d e d w h i l e p r o c e s s i n g a p a r t i t i o n P
i
c a n e l i m i n a t e r e d u n d a n t I / O f o r e d g e s
1 5
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 17/28
rV
sVrV
sV
rV
sV
e1
e2
e3
e4
a
A
B
Cb
Original bipartite graph
a
b
he2 A
B
C
Pure hyperedge graph
he5
he1
he2he3
he4
he6
he7
a
b
A
B
C
Hyperedge graph
he5
he1
F i g u r e 1 1 : C o n s t r u c t i o n o f a h y p e r g r a p h f r o m t h e b i p a r t i t e g r a p h
b e t w e e n P
i
a n d P
j
. F o r e x a m p l e , i n g u r e 1 2 ( a ) , i f w e l o a d t h e p a r t i t i o n s i n t h i s o r d e r f P 1 P 2 P 3 g , w e
c a n a l w a y s n d a p r o c e s s e d n o d e t o b e r e p l a c e d b y a n e w n o d e i n t h e n e x t p a r t i t i o n , t h u s e l i m i n a t e t h e
r e d u n d a n t I / O f o r p r o c e s s i n g c u t - e d g e b e t w e e n c o n s e c u t i v e p a r t i t i o n s . W h i l e t r a n s f e r r i n g f r o m p a r t i t i o n
P
i
t o P
j
, w e d e l e t e t h e n o d e i n P
i
w h i c h i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t t o P
j
, o r w h o s e j o i n a c r o s s
t h e e d g e - c u t t o t h e P
j
h a s b e e n m a t e r i a l i z e d , a n d a d d t h e n o d e i n P
j
w h i c h h a s t h e h i g h e s t c o n n e c t i v i t y
w i t h t h e n o d e s i n P
i
.
L e m m a 4 G i v e n a p a r t i t i o n o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) , a n d t h e l o a d i n g s e q u e n c e
o f t h e s e p a r t i t i o n i s f V
1
V
2
: : : V
i
V
j
: : : V
p
g . I f t h e a d j a c e n t m a t r i x o f a n y t w o c o n s e c u t i v e p a r t i t i o n s
V
i
V
j
c a n b e p e r m u t a t e d i n t h e t r i a n g u l a r f o r m , t h e r e d u n d a n t I / O b e t w e e n t h e t w o p a r t i t i o n s c a n b e
s a v e d .
P r o o f : A l l e d g e s w i t h i n t h e m a i n B - d i a g o n a l s c a n b e p r o c e s s e d w i t h o u t r e d u n d a n t I / O .
C o r o l l a r y o f L e m m a N u m b e r o f r e d u n d a n t I / O N u m b e r o f c u t - e d g e o u t s i d e B - d i a g o n a l .
S e c o n d , e d g e s i n c i d e n t o n a c o m m o n p a g e c a n b e p r o c e s s e d t o g e t h e r . I n g u r e 1 2 ( b ) , t h e r e a r e
f o u r e d g e c u t b e t w e e n P 1 a n d P 2 . H o w e v e r , t h e r e a r e o n l y t w o n o d e s i n e a c h p a r t i t i o n i n v o l v e d i n t h e s e
e d g e c u t . T h e r e d u n d a n t I / O i s b o u n d e d b y t h e d i s t i n c t n o d e s i n v o l v e d i n t h e e d g e - c u t s e t .
T h i r d , t h e c u t - e d g e s b e t w e e n p a r t i t i o n s P
i
a n d P
k
a r e c h e a p e r t o p r o c e s s w i t h p a r t i t i o n P
i
i n
m e m o r y , i f t h e n u m b e r o f d i s t i n c t p a g e s o f P
i
i n c i d e n t o n t h e c u t - e d g e i s m o r e t h a n t h o s e o f P
k
. F o r
e x a m p l e , i n g u r e 1 2 ( c ) , i t w i l l b e b e t t e r i f w e p r o c e s s t h e s e e d g e - c u t w h e n P 2 i s i n m e m o r y , w i t h o n l y
o n e r e d u n d a n t I / O . H o w e v e r , i f w e p r o c e s s t h e s e e d g e - c u t e w h e n P 1 i s i n m e m o r y , t h e r e d u n d a n t I / O
c o s t w i l l b e f o u r .
P1 P2
P3
P1 P2
P1 P2
(b) (c)(a)
F i g u r e 1 2 : E x a m p l e s o f r e n e m e n t 3
1 6
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 18/28
5 . 6 R e n e m e n t 3 : C h o o s e P r o p e r L o a d i n g S e q u e n c e
I f s o m e p a g e s o f t h e c u r r e n t p a r t i t i o n i n m e m o r y a r e c o n n e c t e d t o p a g e s i n t h e n e x t p a r t i t i o n t o b e
l o a d e d , t h e n t h e s e p a g e s n e e d n o t b e f e t c h e d a g a i n , a s t h e y a r e a l r e a d y i n m e m o r y . H e n c e t h e o r d e r i n
w h i c h d i e r e n t p a r t i t i o n s a r e l o a d e d i n t o m e m o r y i n u e n c e s t h e n u m b e r o f p a g e f e t c h e s i n a p a g e - a c c e s s
s e q u e n c e . I n p r a c t i c e , a s e q u e n c e o f p a r t i t i o n s w h i c h m a x i m i z e s t h e n u m b e r o f c o n n e c t e d p a g e s b e t w e e n
c o n s e c u t i v e p a r t i t i o n s i s d e s i r e d b e c a u s e i t r e d u c e s t h e l e n g t h o f t h e p a g e a c c e s s s e q u e n c e . F o r t h i s , t h e
f o l l o w i n g L o n g e s t P a t h h e u r i s t i c c a n b e u s e d . C o n s t r u c t a c o m p l e t e g r a p h G
p
( t h e W e i g h t e d P a r t i t i o n
G r a p h ( W P G ) ) w i t h o n e n o d e f o r e a c h o f t h e p a r t i t i o n s . T h e w e i g h t o n e a c h e d g e b e t w e e n t h e n o d e s
i s t h e m i n i m u m o f t h e n u m b e r o f d i s t i n c t p a g e s , c o n n e c t e d b e t w e e n t h e p a r t i t i o n s , t h a t c o r r e s p o n d
t o t h e n o d e s . F o r e x a m p l e , F i g u r e 1 3 i s t h e W P G d e r i v e d f r o m F i g u r e 1 0 . T h e w e i g h t o n t h e e d g e
c o n n e c t i n g t w o n o d e s i s e q u i v a l e n t t o t h e n u m b e r o f p a g e s t h a t n e e d n o t b e f e t c h e d f r o m d i s k w h e n
o n e n o d e ( p a r t i t i o n ) i s i n m e m o r y a n d t h e o t h e r o n e i s n e x t o n t h e l o a d i n g s c h e d u l e . T h u s a p a r t i t i o n
s c h e d u l e c o r r e s p o n d i n g t o t h e L o n g e s t P a t h o n t h e W P G l e a d s t o a m i n i m u m n u m b e r o f p a g e a c c e s s e s
t o l o a d t h e p a r t i t i o n s t h a t c o r r e s p o n d t o a l l t h e n o d e s o f t h e W P G G
p
.
V1
V2 V3
1
0
2
F i g u r e 1 3 : T h e W e i g h t e d P a r t i t i o n G r a p h ( W P G ) . f V
2
V
1
V
3
g i s a n e x a m p l e o f t h e L o n g e s t P a t h .
B e s i d e s , f o r c u t e d g e s b e t w e e n n o n - a d j a c e n t p a r t i t i o n s i n t h e s e q u e n c e , t h e r e d u n d a n t I / O i s n o t
b o u n d b y t h e n u m b e r o f c u t e d g e s . R a t h e r , w e c h o o s e t h e s m a l l e r d i s t i n c t p a g e s i n c i d e n t o n t h e c u t
e d g e s b e t w e e n t h e p a i r s o f p a r t i t i o n s . T h i s m e a n s w e d o t h e a c t u a l j o i n b y l o a d i n g e a c h p a g e i n t h e
s m a l l e r d i s t i n c t p a g e s o f o n e p a r t i t i o n t o t h e o n e b u e r s p a c e . W e f o r m a l i z e t h e a b o v e o b s e r v a t i o n i n
t h e f o l l o w i n g l e m m a .
L e m m a 5 G i v e n a w e i g h t e d p a r t i t i o n g r a p h W P G = ( G
p
E
p
) d e r i v e d f r o m t h e p a r t i t i o n f V
1
V
2
: : : V
p
g
o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) a n d a L o n g e s t P a t h o n t h e W P G , t h e r e i s a p a g e - a c c e s s
s e q u e n c e o f l e n g t h K j V j + j T W j ; j L P j , w h e r e j T W j i s t h e t o t a l w e i g h t o f t h e e d g e s o f W P G , a n d
j L P j i s t h e w e i g h t o f t h e L o n g e s t P a t h .
P r o o f : j T W j i s t h e a c t u a l r e d u n d a n t I / O . A s l o n g a s w e c a n n d a n o d e o f t h e c u r r e n t p a r t i t i o n w h i c h
i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t t o t h e n e x t s c h e d u l e d p a r t i t i o n , o r w h o s e j o i n a c r o s s t h e e d g e - c u t
t o t h e n e x t s c h e d u l e d p a r t i t i o n i n t h e b u e r h a s b e e n m a t e r i a l i z e d , t h e n w e c a n r e p l a c e t h i s n o d e w i t h a
n o d e f r o m t h e n e x t p a r t i t i o n o n t h e l o a d i n g s c h e d u l e t o t h e b u e r . T h i s p r o v i d e s u s w i t h a c u m u l a t i v e
s a v i n g s o f j L P j , w h i c h c a n b e s u b t r a c t e d f r o m t h e r e d u n d a n t I / O .
T h e L o n g e s t C i r c u i t p r o b l e m i s k n o w n t o b e N P - C o m p l e t e 1 1 ] . W e d e s c r i b e t w o t r i v i a l h e u r i s t i c s i n
A p p e n d i x A w h o s e e x p e r i m e n t a l e v a l u a t i o n v i s - a - v i s e a c h o t h e r w i l l b e d i s c u s s e d i n S e c t i o n 6 . T h e r e a r e
o t h e r , m o r e s o p h i s t i c a t e d h e u r i s t i c s a v a i l a b l e , a n d t h o s e m a y i m p r o v e t h e p e r f o r m a n c e o f o u r m e t h o d s .
W e p l a n t o e x p l o r e t h o s e i n o u r f u t u r e w o r k .
1 7
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 19/28
5 . 7 F i n a l A l g o r i t h m
T h e n a l a l g o r i t h m , S G P , i n c o r p o r a t e s a l l t h r e e r e n e m e n t s . T h e a l g o r i t h m r s t p a r t i t i o n s t h e P C G
u s i n g h y p e r g r a p h p a r t i t i o n i n g a n d s i m p l e g r a p h p a r t i t i o n i n g . I t c h o o s e s t h e o n e t h a t r e s u l t s i n a s m a l l e r
e d g e - c u t s e t . T h e n , i t o r d e r s t h e r e s u l t i n g p a r t i t i o n s u s i n g t h e l o n g e s t c i r c u i t h e u r i s t i c . F i n a l l y , i t l o a d s
t h e p a r t i t i o n s a s d i c t a t e d b y t h e l o n g e s t c i r c u i t . A f t e r l o a d i n g e a c h p a r t i t i o n t o t h e b u e r , r s t , i t
p r o c e s s e s a l l t h e j o i n w i t h i n t h i s p a r t i t i o n , t h e n , i t p r o c e s s e s t h e j o i n s c a u s e d b y t h e c u t e d g e s w i t h
t h e c o n n e c t e d p a r t i t i o n s . F o r e a c h p a r t i t i o n i n t h e c o n n e c t e d p a r t i t i o n s e t , i t c o m p a r e s t h e n u m b e r o f
d i s t i n c t p a g e s i n c i d e n t o n t h e c u t e d g e s b e t w e e n t h e s e t w o p a r t i t i o n s , a n d c h o o s e s t h e c h e a p e r o n e t o
p r o c e s s . W h e n t r a n s f e r r i n g f r o m t h e o n e p a r t i t i o n P
i
t o t h e n e x t s c h e d u l e d p a r t i t i o n P
i + 1
, i t o r d e r s t h e
l o a d i n g s e q u e n c e o f n o d e s u s i n g t h e f o l l o w i n g s t r a t e g i e s : ( a ) A d d t h e n o d e w i t h i n P
i + 1
w h i c h h a s t h e
h i g h e s t c o n n e c t i v i t y w i t h P
i
. ( b ) R e p l a c e t h e n o d e w i t h i n P
i
w h i c h i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t
t o P
i + 1
, o r w h o s e j o i n a c r o s s t h e e d g e - c u t t o P
i + 1
h a s b e e n m a t e r i a l i z e d . T h e p s e u d o - c o d e a n d d e t a i l e d
d e s c r i p t i o n s f o r S G P a l g o r i t h m a r e s h o w n i n A p p e n d i x B .
6 E x p e r i m e n t a l E v a l u a t i o n o f R e n e m e n t
6 . 1 E x p e r i m e n t a l D e s i g n
W e n o w e v a l u a t e t h e p e r f o r m a n c e o f r e n e m e n t s t r a t e g i e s 1 , 2 a n d 3 a n d c o m p a r e d i t w i t h S i m p l e S G P .
T h e x e d p a r a m e t e r f o r t h i s e x p e r i m e n t a l e v a l u a t i o n i s t h e g r a p h p a r t i t i o n i n g a l g o r i t h m M e t i s 1 9 ]
a n d h y p e r g r a p h p a r t i t i o n i n g a l g o r i t h m h M e t i s 1 7 ] . T h e v a r i a b l e p a r a m e t e r s a r e t h e B u e r s i z e , P a g e
s i z e a n d E d g e R a t i o . T h e m e t r i c o f e v a l u a t i o n i s t h e n u m b e r o f p a g e a c c e s s e s r e q u i r e d b y e a c h a l g o r i t h m
t o i m p l e m e n t t h e j o i n . F i g u r e 1 4 s h o w s t h e v a r i o u s p r o c e s s s t e p s o f t h e e x p e r i m e n t d e s i g n .
# of Page Access
Page Access Sequence
SquarePoints
Polygons
Join
Page
Generator
Join
Index
PCG (35)(420+700)
Generator
Indices (7)
Square dataset (7)Data-set
Square side size
size (5)
Page
GeneratorGraph
Generator
Page
SequenceConnectivityAccess
Buffersize (4)
OPAS-FBmethods (5)
SGPRefinement (3)
F i g u r e 1 4 : E x p e r i m e n t a l s e t u p a n d d e s i g n .
1 8
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 20/28
6 . 2 E x p e r i m e n t R e s u l t s o n E e c t o f R e n e m e n t s o n S G P
6 . 2 . 1 E e c t o f R e n e m e n t 1 : D o e s g r a p h m o d e l m a t t e r ?
W e t e s t t h e r e l a t i v e i m p r o v e m e n t o f u s i n g d i e r e n t h y p e r - g r a p h s t r u c t u r e p a r t i t i o n s ( h M e t i s ) 1 7 ] , c o m -
p a r e d w i t h u s i n g t h e s i m p l e g r a p h p a r t i t i o n ( M e t i s ) 1 9 ] . A l l o f t h e c o m p a r i s o n s a r e d o n e b y u s i n g t h e
S i m p l e S G P a l g o r i t h m . F o r d i e r e n t e x p e r i m e n t s , w e v a r y t h e b u e r s i z e , p a g e s i z e a n d s q u a r e s i d e s i z e .
E e c t o f p a g e s i z e
W i t h s q u a r e - s i d e s i z e a t 3 0 0 0 m e t e r , e . g . e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d b u e r s i z e x e d a t v e p e r c e n t o f
t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n w e v a r y t h e p a g e s i z e f r o m 2 k t o 1 6 k . T h e H y p e r g r a p h p a r t i t i o n
r e s u l t s i n f e w e r p a g e a c c e s s e s c o m p a r e d t o t h e s i m p l e g r a p h p a r t i t i o n i n g . T h e P u r e h y p e r g r a p h h a s t h e
l o w e s t n u m b e r o f p a g e a c c e s s e s w h e n t h e p a g e s i z e i s g r e a t e r t h a n 8 k . ( F i g u r e 1 5 ( a ) )
12000
14000
16000
18000
20000
22000
24000
26000
28000
30000
32000
1 2 3 4 5 6 7 8 9
N u m b e r o f p a g e a c c e s s
Page size (Kbytes)
Simple graphHyper graph
Pure hyper graph
( a ) P a g e s i z e : 2 K - 1 6 K , B u e r s i z e :
5 % o f t h e R r e l a t i o n ) , E d g e r a t i o :
0 . 0 0 6 6 9
14000
16000
18000
20000
22000
24000
26000
28000
30000
32000
4 6 8 10 12 14 16 18 20 22
N u m b e r o f p a g e a c c e s s
Percentage of R pages)
Simple graphHyper graph
Pure hyper graph
( b ) B u e r s i z e : 5 % - 2 0 % o f t h e R
r e l a t i o n , P a g e s i z e : 2 K , E d g e r a t i o :
0 . 0 0 6 6 9
40000
50000
60000
70000
80000
90000
100000
110000
0.0150.020.0250.030.0350.040.0450.050.0550.060.0650.07
N u m b e r o f p a g e a c c e s s
Edge Ratio
Simple graphHyper graph
Pure hyper graph
( c ) E d g e r a t i o : 0 . 0 1 8 1 2 - 0 . 0 6 5 4 8 ,
B u e r s i z e : 5 % o f R r e l a t i o n , P a g e
s i z e : 2 K
F i g u r e 1 5 : E e c t o f p a g e s i z e , b u e r s i z e , a n d e d g e r a t i o w i t h R e n e m e n t 1 f o r S i m p l e S G P
E e c t o f b u e r s i z e
W i t h e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d p a g e s i z e a t 2 k b y t e s , w e i n c r e a s e t h e b u e r s i z e f r o m 5 t o 2 0 p e r c e n t
o f t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n . T h e H y p e r g r a p h p a r t i t i o n r e s u l t s i n b e t t e r p e r f o r m a n c e ,
c o m p a r e d t o t h e t h e s i m p l e g r a p h p a r t i t i o n . T h e P u r e h y p e r g r a p h p a r t i t i o n h a s t h e w o r s t p e r f o r m a n c e
w h e n t h e b u e r s i z e i s l o w . H o w e v e r , w h e n t h e b u e r s i z e i s l a r g e r t h a n a t h r e s h o l d ( 1 5 p e r c e n t ) , t h e
P u r e h y p e r g r a p h h a s t h e b e s t p e r f o r m a n c e , a s s h o w n i n F i g u r e 1 5 ( b ) .
C h a n g e t h e e d g e r a t i o
W e x t h e b u e r s i z e t o 5 p e r c e n t o f t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n , a n d p a g e s i z e a t 2 k b y t e s , t h e n
w e v a r y t h e e d g e r a t i o b y e x t e n d i n g t h e s i z e o f t h e s q u a r e s i d e i n t h e p o i n t d a t a s e t . T h e H y p e r g r a p h
p a r t i t i o n p e r f o r m s b e t t e r t h a n t h e P u r e h y p e r g r a p h a n d t h e s i m p l e g r a p h a s s h o w n i n F i g u r e 1 5 ( c ) .
1 9
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 21/28
W h e n t h e e d g e r a t i o i s l a r g e r t h a n a t h r e s h o l d ( 0 . 0 6 ) , T h e P u r e - h y p e r g r a p h o u t p e r f o r m s t h e s i m p l e
g r a p h .
6 . 2 . 2 E e c t o f R e n e m e n t 2 a n d 3 o n S G P : D o e s c u t - s e t p r o c e s s i n g s t r a t e g y m a t t e r ?
D o e s l o a d i n g S e q u e n c e m a t t e r ?
I n t h i s e x p e r i m e n t , w e x t h e e d g e r a t i o a n d p a g e s i z e , v a r y t h e b u e r s i z e a n d u s e d i e r e n t l i n e a r a l i z a t i o n
a l g o r i t h m s . T h e r e s u l t o f a l g o r i t h m s i s s h o w n i n F i g 1 6 . A s w e c a n s e e f r o m F i g 1 6 , r e n e m e n t 2 ,
t h e t h r e e i d e a s f o r p r o p e r c u t s e t p r o c e s s i n g b e t w e e n p a r t i t i o n s , d o e s i m p r o v e s t h e p e r f o r m a n c e u n d e r
d i e r e n t b u e r s i z e s . T h e o n e - w a y g r e e d y h e u r i s t i c a n d t h e s o r t i n g h e u r i s t i c i n r e n e m e n t 3 g e n e r a t e
n e a r l y t h e s a m e r e s u l t , a n d a l l p e r f o r m b e t t e r t h a n t h e s i m p l e S G P a l g o r i t h m . T h e r e a s o n i s t h a t t h e
s i m p l e S G P r a n d o m l y l i n e a r a l i z e s t h e l o a d i n g s e q u e n c e o f t h e p a r t i t i o n s w i t h o u t d o i n g a n y o p t i m i z a t i o n .
34000
36000
38000
40000
42000
44000
46000
48000
2 4 6 8 10
N u m b e r o f p a g e a c c e s s
Buffer size as the percentage of R pages
Simple SGP + Refinement 2, 3: One-way heuristicSimple SGP + Refinement 2, 3: Sorting heuristic
Simple SGP + Refinement 2Simple SGP
F i g u r e 1 6 : P a g e a c c e s s n u m b e r u s i n g d i e r e n t l i n e a r a l i z a t i o n a l g o r i t h m f o r S i m p l e S G P
7 C o m p a r a t i v e E v a l u a t i o n o f S G P , A G P a n d C o m p e t i t o r s
7 . 1 E x p e r i m e n t a l D e s i g n
T h e e x p e r i m e n t a l s e t u p i s s h o w n i n F i g u r e 1 4 . T h e c a n d i d a t e s f o r t h e O P A S - F B m e t h o d a r e F P , O M ,
C h a n , S o r t , S G P , a n d A G P a l g o r i t h m . T h e r e a r e s o m e b a s i c c o n s t r a i n t s o n t h e e x p e r i m e n t w h i c h a r e
w o r t h m e n t i o n i n g a t t h e o u t s e t . T h e s e c o n s t r a i n t s a r e d u e t o t h e p r o p e r t i e s o f t h e d a t a s e t a t h a n d . I f
t h e r e l a t i o n s h i p t y p e b e t w e e n t h e t w o r e l a t i o n s i s 1 : 1 o r 1 : N , t h e n t h e s o r t i n g a n d A G P a l g o r i t h m
l e a d s t o t h e o p t i m a l p a g e a c c e s s s e q u e n c e . E v e n i n t h e s i t u a t i o n w h e r e t h e r e l a t i o n s h i p t y p e i s M : N ,
t h e s o r t i n g a n d A G P a l g o r i t h m c a n g i v e a g o o d p e r f o r m a n c e , p r o v i d e d t h a t s o r t i n g o n o n e r e l a t i o n
c a n l e a d t o a g o o d c l u s t e r i n g o f p a g e s i n t h e o t h e r r e l a t i o n . W e u s e d a s u b s e t o f t h e S e q u o i a d a t a s e t
t h a t c o n s i s t e d o f t w o r e l a t i o n s : P o i n t a n d P o l y g o n . W e c o n v e r t e d t h e P o i n t d a t a s e t i n t o a n a x i s - p a r a l l e l
r e c t a n g u l a r d a t a s e t . T h e o r i e n t a t i o n o f e a c h r e c t a n g l e w a s c h o s e n a t r a n d o m . W e u s e d t h e i n t e r s e c t i o n
b i n a r y r e l a t i o n s h i p a s t h e s p a t i a l j o i n p r e d i c a t e . C o n v e r t i n g t h e p o i n t d a t a i n t o a r e c t a n g u l a r d a t a s e t
t r a n s f o r m e d t h e N : 1 p o i n t - p o l y g o n r e l a t i o n s h i p i n t o a n M : N r e c t a n g l e - p o l y g o n r e l a t i o n s h i p .
2 0
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 22/28
7 . 2 E x p e r i m e n t r e s u l t s
7 . 2 . 1 P a g e s i z e
P a g e s i z e a e c t s t h e c l u s t e r i n g o f t h e b a s e r e l a t i o n s a n d a l s o t h e d e g r e e o f t h e n o d e s i n t h e P C G s . W e
s t u d y t h e e e c t o f p a g e s i z e o n t h e p e r f o r m a n c e o f t h e O P A S - F B m e t h o d s . W e x e d t h e b u e r s p a c e
a t v e p e r c e n t o f t h e n u m b e r o f p a g e s o f r e l a t i o n R , a n d e d g e r a t i o a t 0 . 0 0 6 6 9 . W e v a r i e d t h e p a g e s i z e
f r o m 2 k t o 3 2 k . F i g u r e 1 7 ( a ) s h o w s t h e r e s u l t o f t h i s e x p e r i m e n t . T h e S G P m e t h o d o u t p e r f o r m s t h e
o t h e r m e t h o d s f o r m o s t v a l u e s o f p a g e s i z e . I t c o m e s s e c o n d t o F F f o r a f e w p a g e s i z e .
5000
10000
15000
20000
25000
30000
35000
5 10 15 20 25 30
N u
m b e r o f p a g e a c c e s s
Page size (Kbytes)
FPOM
ChanAGPSGP
( a ) P a g e s i z e : 2 K - 3 2 K , B u e r s i z e :
5 % o f t h e R r e l a t i o n ) , E d g e r a t i o :
0 . 0 0 6 6 9
12000
14000
16000
18000
20000
22000
24000
26000
28000
30000
32000
4 6 8 10 12 14 16 18 20 22
N u
m b e r o f p a g e a c c e s s
Percentage of R pages
FPOM
ChanAGPSGP
( b ) B u e r s i z e : 5 % - 2 0 % o f t h e R
r e l a t i o n , P a g e s i z e : 2 K , E d g e r a t i o :
0 . 0 0 6 6 9
0
50000
100000
150000
200000
250000
300000
350000
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
N u
m b e r o f p a g e a c c e s s
Edge Ratio
FPOM
ChanAGPSGP
( c ) E d g e r a t i o : 0 . 0 0 6 6 9 - 0 . 0 9 6 3 8 ,
B u e r s i z e : 5 % o f R r e l a t i o n , P a g e
s i z e : 2 K
F i g u r e 1 7 : E e c t o f P a g e S i z e , B u e r S i z e , a n d E d g e R a t i o f o r d i e r e n t O P A S - F B h e u r i s t i c s
7 . 2 . 2 B u e r s i z e
I n t h i s e x p e r i m e n t , w e x e d t h e e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d t h e p a g e s i z e a t 2 k . W e v a r i e d t h e n u m b e r
o f b u e r s a s a p e r c e n t a g e o f t h e n u m b e r o f p a g e s o f r e l a t i o n R . T h e p e r c e n t a g e i s c h a n g e d f r o m 5 t o 2 0 .
F i g 1 7 ( b ) s h o w s t h e n u m b e r o f p a g e a c c e s s e s r e c o r d e d b y e a c h o f t h e s i x m e t h o d s . A l a r g e b u e r s i z e
i m p r o v e s t h e p e r f o r m a n c e o f e a c h m e t h o d , w h i l e t h e A G P h e u r i s t i c o v e r a l l h a s t h e b e s t p e r f o r m a n c e ,
e v e n t h o u g h S G P a n d O M d o w e l l a t s o m e p l a c e s .
7 . 2 . 3 E d g e R a t i o
I n t h i s e x p e r i m e n t , w e b u e r s i z e s e t a t 5 p e r c e n t a n d p a g e s i z e s e t a t 2 K . W e c h a n g e d t h e e d g e r a t i o
b y i n c r e a s i n g / d e c r e a s i n g t h e s i z e o f t h e s q u a r e s i d e o f r e l a t i o n R . T h e r e s u l t o f t h e e x p e r i m e n t s h o w s i n
F i g u r e 1 7 ( c ) . T h e S G P m e t h o d r e s u l t s i n a l o w e r n u m b e r o f p a g e a c c e s s e s t h a n t h e o t h e r m e t h o d s f o r
l o w e r e d g e r a t i o , a n d A G P d o e s b e s t f o r h i g h e r v a l u e s o f e d g e r a t i o .
T h e e x a m p l e f o r t h e e e c t o f E d g e R a t i o
W e u s e a n e x a m p l e t o i l l u s t r a t e t h e e e c t o f t h e c h a r a c t e r i s t i c o f t h e P C G f o r s u i t a b i l i t y o f a s y m m e t r i c
a n d s y m m e t r i c m e t h o d s f o r j o i n p r o c e s s i n g g i v e n a j o i n i n d e x . T h e b u e r s i z e i s x e d a t v e f o r t h i s e x a m -
2 1
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 23/28
1
1
1
1
1
1
1
0 3
0
1
2
3
4
5
6
1 2 4 65
0
0 0
0
0
0
0
0
0
0
0 0
0
0
0
0
0 0 0
0 0
0
0
0
0
00
0
0
0
0
0
0
0
00
0
0
0
00
0
1
0
0
0
0
0
0
0
0000000
R
7
7 S
1
1
1
1
1
1
1
0 3
0
1
2
3
4
5
6
1 2 4 65
0
0 0
0
0
0
0 0
0
0
0
0
00
0
0
0
00
0
1
0
0
0
0
0
00000
R
7
7 S
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
(b)Thickness=5(a)Thickness=1
1
1
1
1
1
1
1
0 3
0
1
2
3
4
5
6
1 2 4 65
0
0 0
0
0
0
0 0
0
0
0
00
0
0
0
1
0
0
0
0
00000
R
7
7 S
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
(c)Thickness=6
1
1
1
1
1
1
1
0 3
0
1
2
3
4
5
6
1 2 4 65
1
R
7
7 S
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
0 3
0
1
2
3
4
5
6
1 2 4 65
0
0 0
0
0
0
0
00
0
0
0
1
0
0
0
0
0000
R
7
7 S
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
(c)Thickness=7
1
1
1
1
1
(c)Thickness=15
1
1
1
1
1
1
1
1
1 1
1
1
1
1
1
1
111
1
F i g u r e 1 8 : T a b l e f o r d i e r e n t e d g e r a t i o
C l a s s 1 : 1 M : N M : N M : N M : N
E d g e R a t i o 8 / 6 4 3 4 / 6 4 3 9 / 6 4 4 4 / 6 4 1
A G P / S o r t i n g 1 6 2 0 2 1 2 2 2 4
O M 1 6 1 6 1 8 2 1 3 5
F P 1 6 1 6 2 3 2 6 3 2
C h a n 1 6 1 6 1 8 2 3 3 5
S G P 1 6 1 6 2 1 2 6 3 4
T a b l e 2 : I / O c o u n t f o r d i e r e n t m e t h o d s
p l e . T h e t h i c k n e s s o f t h e d i a g o n a l i n c r e a s e s f r o m o n e t o f t e e n , e . g . f r o m s p a r s e m a t r i x t o f u l l c o n n e c t e d
g r a p h , a s s h o w n i n F i g u r e 1 8 . T a b l e 2 s h o w s t h e n u m b e r o f I / O n e e d e d b y s y m m e t r i c a n d a s y m m e t r i c
m e t h o d t o c o m p u t e j o i n . W h e n t h e t h i c k n e s s o f d i a g o n a l i s s m a l l , e . g . 1 , a l l m e t h o d s h a v e t h e s a m e
I / O c o u n t , a n d t h e s o r t i n g h e u r i s t i c i s t h e c h e a p e s t t o n d t h e p a g e a c c e s s s e q u e n c e . A s t h e d i a g o n a l -
t h i c k n e s s i n c r e a s e , t h e p e r f o r m a n c e o f s o r t i n g d e t e r i o r a t e , a n d s y m m e t r i c m e t h o d s ( O M , F P , C h a n , S G P )
o u t p e r f o r m a s y m m e t r i c h e u r i s t i c s , e . g . A G P , S o r t i n g . F i n a l l y , a s t h e g r a p h g e t s c l o s e r t o b e i n g f u l l y
c o n n e c t e d , t h e t h i c k n e s s o f t h e d i a g o n a l i s g r e a t e r t h a n B , a s y m m e t r i c m e t h o d s o u t p e r f o r m s y m m e t r i c
m e t h o d s . W e s u m m a r i z e o u r e x p e r i e n c e w i t h v a r i o u s k i n d s o f j o i n p r o b l e m t o w a r d c h o o s i n g a m e t h o d
t o c o m p u t e j o i n u s i n g j o i n - i n d e x a s i n T a b l e 3 .
8 C o n c l u s i o n a n d F u t u r e W o r k
I n t h i s p a p e r , w e i n t r o d u c e s p a t i a l c l u s t e r i n g m e t h o d s f o r m i n i m i z i n g r e d u n d a n t I / O , g i v e n a x e d
b u e r . W e a l s o p r o p o s e t h r e e r e n e m e n t s w h i c h f u r t h e r i m p r o v e t h e p e r f o r m a n c e o f t h e b a s i c a l g o r i t h m .
T h e p r o p o s e d A G P a n d S G P h e u r i s t i c u s u a l l y o u t p e r f o r m t h e S o r t - b a s e d h e u r i s t i c a n d G r a p h - b a s e d
h e u r i s t i c s . I n t h e f u t u r e , w e w o u l d l i k e t o e x p l o r e a l g o r i t h m s f o r m u l t i - w a y j o i n - i n d e x e s u s i n g t h e b a s e
d a t a s e t s c o n s i s t i n g o f p o i n t , l i n e a n d p o l y g o n d a t a t y p e s . W e a l s o p l a n t o d o e x p e r i m e n t s w i t h d i e r e n t
s p a t i a l p r e d i c a t e s l i k e d i r e c t i o n a n d d i s t a n c e . F i n a l l y , w e w o u l d a l s o l i k e t o i n v e s t i g a t e t h e r e l a t i o n s h i p
b e t w e e n a m u l t i - w a y j o i n a n d t h e h y p e r - g r a p h p a r t i t i o n i n g m o d e l , a n d t o e s t a b l i s h u p p e r b o u n d s f o r
t h e p a g e - a c c e s s s c h e d u l e o n t h e m u l t i - w a y j o i n .
T h e m i n - c u t h y p e r g r a p h p a r t i t i o n i n g p a c k a g e ( h M e t i s ) w e u s e i n o u r e x p e r i m e n t m i n i m i z e s t h e n u m -
2 2
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 24/28
D o m a i n
O n e -
d i m e n s i o n
N o m e t h o d
h a s r e d u n d a n t
C h e a p e s t = S o r t i n g
N o s y m m e t r i c
m e t h o d h a s r e -
d u n d a n t I / O
C h e a p e s t = F P
S m a l l v e r t e x
c o v e r f o r o B
d i a g o n a l e d g e s )
S G P ,
A s y m m e t r i c
m e t h o d s h a v e
l e s s r e d u n d a n t
I / O . C h e a p e s t =
S o r t i n g .
M u l t i -
d i m e n s i o n
N o m e t h o d b u t
s o r t i n g h a s r e -
d u n d a n t I / O
C h e a p e s t = A G P
S o m e c a s e s ,
O M , F P , o r C h a n
m a y b e s l i g h t l y
b e t t e r .
A G P h a s l e a s t
I / O
R e l a t i o n s h i p
C a r d i n a l i t y
1 : 1
1 : N
M : N
T h i c k n e s s o f
d i a g o n a l
1 B > B , b u t f e w e n t r i e s
o u t s i d e B d i a g o n a l
F u l l y c o n n e c t e d
T a b l e 3 : S u m m a r y
b e r o f h y p e r e d g e c o n n e c t i n g n o d e s a c r o s s c l u s t e r s . H o w e v e r , i t d o e s n o t d i s t i n g u i s h a h y p e r g r a p h c u t t i n g
b y f o u r c l u s t e r s o r t w o c l u s t e r s . W h i l e o u r e x p e r i m e n t s h o w s t h a t A G P o u t p e r f o r m s S o r t i n g b a s e d h e u r i s -
t i c a l r e a d y , t h e p e r f o r m a n c e o f A G P w i l l b e i m p r o v e d w h e n b e t t e r a l g o r i t h m f o r h y p e r g r a p h p a r t i t i o n i n g
a r e a v a i l a b l e w h i c h m i n i m i z e s t o t a l n u m b e r o f c u t s o n c u t - h y p e r e d g e s .
W e u s e d t w o t r i v i a l h e u r i s t i c s t o s o l v e t h e L o n g e s t C i r c u i t p r o b l e m i n R e n e m e n t 3 f o r S G P . T h e r e
a r e o t h e r m o r e s o p h i s t i c a t e d h e u r i s t i c a v a i l a b l e 2 9 ] , a n d t h e y m a y i m p r o v e t h e p e r f o r m a n c e o f o u r
m e t h o d s . W e p l a n t o t e s t t h e s e h e u r i s t i c .
D a t a W a r e h o u s e s 3 , 1 6 ] p r o c e s s l a r g e v o l u m e s o f d a t a o b t a i n e d f r o m o p e r a t i o n a l a n d l e g a c y s y s t e m s .
D a t a w a r e h o u s e s c l e a n a n d t r a n s f o r m t h e d a t a s o t h a t c h a n g e s c a n t r e n d s c a n b e i n f e r r e d f r o m t h e d a t a .
T h e v o l u m e o f d a t a i n t h e s e d a t a w a r e h o u s e s i s v e r y l a r g e a n d t h e d a t a i s u p d a t e d i n f r e q u e n t l y , d u e
t o t h e h i s t o r i c a l n a t u r e o f t h e d a t a . D a t a w a r e h o u s e s o f t e n u s e p r e c o m p u t a t i o n a n d m a t e r a l i z a t i o n
t e c h n i q u e s l i k e S T A R i n d e x 3 ] t o s p e e d u p o n l i n e q u e r y p r o c e s s i n g . W e w o u l d l i k e t o a p p l y o u r g r a p h
p a r t i t i o n i n g a p p r o a c h a s i n J o i n I n d e x t o S T A R i n d e x .
T h e d a t a s e t s u s e d i n o u r e x p e r i m e n t s a r e P o i n t ( C a l i f o r n i a p l a c e n a m e s ) a n d P o l y g o n ( C r o p l a n d
a n d P a s t u r e l a n d u s e i n C A ) d a t a , d e r i v e d f r o m S e q u o i a 2 0 0 0 3 2 ] b e n c h m a r k s d a t a s e t s . T h e r e a r e
o t h e r d a t a s e t i n t h i s b e n c h m a r k t h a t c a n b e u s e d i n o u r e x p e r i m e n t s f o r p e r f o r m a n c e a n a l y s i s . F o r
e x a m p l e , t h e S t r e a m s d a t a c o n t a i n s 2 0 1 , 6 5 9 s t r e a m s e g m e n t s , e x t r a c t e d f r o m t h e t h e U S G e o l o g i c a l
S u r v e y ' s D i g i t a l L i n e G r a p h h y d r o g r a p h y d a t a f o r C a l i f o r n i a . F o r p o l y g o n d a t a , t h e r e a r e A g r i c u l t u r a l
L a n d , F o r e s t L a n d , W e t l a n d , R a n g e l a n d , B a r r e n L a n d , e t c . T h e S t r e a m s l a y e r d a t a c a n d o t h e m a p
o v e r l a y o p e r a t i o n s ( u n i o n , i n t e r s e c t i o n , i d e n t i t y ) 7 , 1 0 ] , w i t h t h e P o l y g o n l a y e r s , a n d t h e J o i n I n d e x c a n
b e p r e c o m p u t e d f o r p r o c e s s i n g l a t e r s p a t i a l j o i n r e q u e s t s .
A c k n o w l e d g e m e n t s
T h i s w o r k i s s p o n s o r e d i n p a r t b y t h e A r m y H i g h P e r f o r m a n c e C o m p u t i n g R e s e a r c h C e n t e r u n d e r t h e a u s p i c e s o f t h e
D e p a r t m e n t o f t h e A r m y , A r m y R e s e a r c h L a b o r a t o r y c o o p e r a t i v e a g r e e m e n t n u m b e r D A A H 0 4 - 9 5 - 2 - 0 0 0 3 / c o n t r a c t n u m b e r
2 3
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 25/28
D A A H 0 4 - 9 5 - C - 0 0 0 8 , t h e c o n t e n t o f w h i c h d o e s n o t n e c e s s a r i l y r e e c t t h e p o s i t i o n o r t h e p o l i c y o f t h e g o v e r n m e n t , a n d
n o o c i a l e n d o r s e m e n t s h o u l d b e i n f e r r e d . T h i s w o r k w a s a l s o s u p p o r t e d i n p a r t b y N S F g r a n t # 9 6 3 1 5 3 9 . T h a n k s t o
C h r i s t i a n e M c C a r t h y f o r h e l p i n g t o i m p r o v e t h e r e a d a b i l i t y o f t h e p a p e r .
R e f e r e n c e s
1 ] L . B e c k e r , K . H i n r i c h s , a n d U . F i n k e . A N e w A l g o r i t h m f o r C o m p u t i n g J o i n s W i t h G r i d F i l e s . I n P r o c e e d i n g s o f
I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 3 .
2 ] E . B e r t i n o a n d W . K i m . I n d e x i n g T e c h n i q u e s f o r Q u e r i e s o n N e s t e d O b j e c t s . I E E E T r a n s . K n o w l e d g e a n d D a t a
E n g . , 1 ( 2 ) : 1 9 6 { 2 1 4 , J u n e 1 9 8 9 .
3 ] R e d B r i c k . W h i t e P a p e r s , h t t p : / / w w w . r e d b r i c k . c o m
4 ] T . B r i n k h o , H . K r i e g e l , R . S c h n e i d e r , a n d B . S e e g e r . M u l t i - S t e p P r o c e s s i n g o f S p a t i a l J o i n s . I n P r o c e e d i n g s o f A C M
S I G M O D I n t e r n a t i o n a l C o n f e r e n c e o n M a n a g e m e n t o f D a t a , M a y 1 9 9 4 .
5 ] T . B r i n k h o , H . K r i e g e l , a n d B . S e e g e r . E c i e n t P r o c e s s i n g o f S p a t i a l J o i n s U s i n g R - t r e e s . I n P r o c e e d i n g s o f A C M
S I G M O D I n t e r n a t i o n a l C o n f e r e n c e o n M a n a g e m e n t o f D a t a , M a y 1 9 9 0 .
6 ] C h e e Y o n g C h a n a n d B e n g C h i n O o i . E c i e n t S c h e d u l i n g o f P a g e A c c e s s i n I n d e x - B a s e d J o i n P r o c e s s i n g . I E E E
T r a n s a c t i o n s o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , N o v e m b e r / D e c e m b e r 1 9 9 7 .
7 ] Y u e - H o n g C h o u . E x p l o r i n t S p a t i a l A n a l y s i s i n G e o g r a p h i c I n f o r m a t i o n S y s t e m s . O n w o r d P r e s s , 1 9 9 6 .
8 ] B . C . D e s a i . P e r f r o m a n c e o f a C o m p o s i t e A t t r i b u t e a n d J o i n I n d e x . I E E E T r a n s . S o f t w a r e E n g . , 1 5 ( 2 ) : 1 4 2 { 1 5 2 ,
F e b r u a r y 1 9 8 9 .
9 ] F . F o t o u h i a n d S . P r a m a n i k . O p t i m a l S e c o n d a r y S t o r a g e A c c e s s S e q u e n c e f o r P e r f o r m i n g R e l a t i o n a l J o i n . I E E E
T r a n s a c t i o n s o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , S e p t e m b e r 1 9 8 9 .
1 0 ] A . F r a n k . O v e r l a y p r o c e s s i n g i n s p a t i a l i n f o r m a t i o n s y s t e m s . C o m p u t e r - A s s i s t e d C a r t o g r a p h y , 1 9 8 8 .
1 1 ] M i c h a e l R . G a r e y a n d D a v i d S . J o h n s o n . C o m p u t e r s a n d I n t r a c t a b i l i t y : A G u i d e t o t h e T h e o r y o f N P - C o m p l e t e n e s s
W . H . F r e e m a n a n d C o m p a n y , 1 9 9 3 .
1 2 ] P . G o y a l , H . F . L i , E . R e g e n e r , a n d F . S a d r i . S c h e d u l i n g o f P a g e F e t c h e s i n J o i n O p e r a t i o n U s i n g B c - T r e e s . I n
P r o c e e d i n g s o f I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 8 8 .
1 3 ] G . G r a e f e . Q u e r y E v a l u a t i o n T e c h n i q u e s f o r L a r g e D a t a b a s e s . C o m p u t i n g S u r v e y s , 2 5 ( 2 ) : 7 3 { 1 7 0 , 1 9 9 3 .
1 4 ] O . G u n t h e r , L . B e c k e r , K . H i n r i c h s , a n d U . F i n k e . E c i e n t C o m p u t a t i o n o f S p a t i a l J o i n s . I n P r o c e e d i n g s o f I n t e r n a -
t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 3 .
1 5 ] L . H a g e n a n d A . K a h n g . F a s t S p e c t r a l M e t h o d s f o r R a t i o C u t P a r t i t i o n i n g a n d C l u s t e r i n g . I n P r o c e e d i n g s o f I E E E
I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r A i d e d D e s i g n , 1 9 9 1 .
1 6 ] W . H . I n m o n . B u i l d i n g t h e D a t a W a r e h o u s e . J o h n W i l e y & S o n s I n c , 1 9 9 2 .
1 7 ] G . K a r y p i s , R . A g g a r w a l , V . K u m a r , a n d S . S h e k h a r . h M e t i s H o m e P a g e . h t t p : / / w w w -
u s e r s . c s . u m n . e d u / ~ k a r y p i s / m e t i s / h m e t i s / m a i n . h t m l
1 8 ] G . K a r y p i s , R . A g g a r w a l , V . K u m a r , a n d S . S h e k h a r . M u l t i l e v e l h p e r g r a p h p a r t i t i o n i n g : A p p l i c a t i o n i n V L S I d o m a i n .
P r o c e e d i n g s A C M / I E E E D e s i g n A u t o m a t i o n C o n f e r e n c e , 1 9 9 7 .
1 9 ] G . K a r y p i s a n d V . K u m a r . M e t i s H o m e P a g e . h t t p : / / w w w - u s e r s . c s . u m n . e d u / ~ k a r y p i s / m e t i s / m e t i s / m a i n . h t m l
2 0 ] A . K e m p e r a n d G . M o e r k o t t e . A c c e s s S u p p o r t i n O b j e c t B a s e s . I n P r o c . A C M S I G M O D , A t l a n t i c C i t y , N . J . , p a g e s
3 6 4 { 3 7 4 , 1 9 9 0 .
2 1 ] B . W . K e r n i g h a n a n d S . L i n . A n E c i e n t H e u r i s t i c P r o c e d u r e f o r P a r t i t i o n i n g G r a p h s . T h e B e l l S y s t e m T e c h n i c a l
J o u r n a l , 1 9 7 0 .
2 2 ] D . R . L i u a n d S . S h e k h a r . A S i m i l a r i t y G r a p h - B a s e d A p p r o a c h t o D e c l u s t e r i n g P r o b l e m a n d i t s A p p l i c a t i o n s T o w a r d
P a r a l l e l i z i n g G r i d F i l e s . I n P r o c e e d i n g s o f t h e E l e v e n t h I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , I E E E , p a g e s
3 7 3 { 3 8 1 , M a r c h 1 9 9 5 .
2 3 ] M . L o a n d C . V . R a v i s h a n k a r . S p a t i a l J o i n s U s i n g S e e d e d T r e e s . I n P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l S y m p o s i u m
o n L a r g e S p a t i a l D a t a b a s e s , 1 9 9 5 .
2 4 ] H . L u , R . L u o , a n d B . C . O o i . S p a t i a l Q u e r y P r o c e s s i n g b y A p p r o x i m a t i o n s . J . A u s t r a l i a n C o m p u t e r S c i e n c e C o m m . ,
1 7 ( 2 ) : 1 3 2 { 1 4 2 , 1 9 9 5 .
2 5 ] T . M e r r e t t , Y . K i m b a y a s i , a n d H . Y a s u u r a . S c h e d u l i n g o f P a g e - F e t c h e s i n J o i n O p e r a t i o n s . I n P r o c e e d i n g s o f t h e 7 t h
I n t e r n a t i o n a l C o n f e r e n c e o n V e r y L a r g e D a t a b a s e s , 1 9 8 1 .
2 6 ] P . M i s h r a a n d M . H . E i c h . J o i n P r o c e s s i n g i n R e l a t i o n a l D a t a b a s e s . C o m p u t i n g S u r v e y s , 2 4 ( 1 ) : 6 3 { 1 1 3 , 1 9 9 2 .
2 4
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 26/28
2 7 ] E d w a r d R . O m i e c i n s k i . H e u r i s t i c s f o r J o i n P r o c e s s i n g U s i n g N o n c l u s t e r e d I n d e x e s . I E E E T r a n s a c t i o n s o n S o f t w a r e
E n g i n e e r i n g , 1 5 , J a n u a r y 1 9 8 9 .
2 8 ] S . P r a m a n i k a n d D . I t t n e r . U s e o f G r a p h T h e o r i t i c M o d e l s f o r O p t i m a l R e l a t i o n a l D a t a b a s e A c c e s s e s t o P e r f o r m
J o i n . A C M T r a n s a c t i o n s o n D a t a b a s e S y s t e m s , M a r c h 1 9 8 5 .
2 9 ] G e r h a r d R e i n e l t . T h e T r a v e l i n g S a l e s m a n : C o m p u t a t i n a l S o l u t i n s f o r T S P A p p l i c a t i o n s . S p r i n g e r - V e r l a g , 1 9 9 4 .
3 0 ] D . R o t e m . S p a t i a l J o i n I n d i c e s . I n P r o c e e d i n g s o f I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 1 .
3 1 ] S . S h e k h a r a n d D . R . L i u . C C A M : A C o n n e c t i v i t y - C l u s t e r e d A c c e s s M e t h o d f o r N e t w o r k s a n d N e t w o r k s C o m p u t i o n s .
I E E E T r a n s . o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , 9 ( 1 ) , J a n u a r y 1 9 9 7 .
3 2 ] M . S t o n e b r a k e r , J . F r e w , a n d J . D o z i e r . T h e S e q u o i a 2 0 0 0 P r o j e c t . I n P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l
S y m p o s i u m o n L a r g e S p a t i a l D a t a b a s e s , 1 9 9 3 .
3 3 ] P . V a l d u r i e z . J o i n I n d i c e s . A C M T r a n s a c t i o n s o n D a t a b a s e S y s t e m s , p a g e s 2 1 8 { 2 4 6 , D e c e m b e r 1 9 8 7 .
2 5
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 27/28
A L o n g e s t C i r c u i t h e u r i s t i c
O n e - w a y g r e e d y h e u r i s t i c
1 . C h o o s e t h e n o d e V p
i
c o n n e c t i n g t o t h e l o n g e s t l e n g t h e d g e a s t h e s t a r t n o d e .
2 . F o r a l l o f t h e n o d e s c o n n e c t e d t o V p
i
, n d t h e l o n g e s t l e n g t h e d g e w i t h c o r r e s p o n d i n g n o d e V p
j
s e t V p
i
t o V p
j
.
3 . r e p e a t s t e p 2 .
S o r t i n g h e u r i s t i c
1 . S o r t t h e e d g e s i n g r a p h G p i n d e s c e n d i n g o r d e r
2 . S c a n t h e s e e d g e s c o n s t r u c t a s e t o f ( n - 1 ) e d g e s w i t h l i n e a r p r o p e r t y .
I n t h i s m e t h o d , w e i n i t i a l l y c h o o s e t h e e d g e w i t h l o n g e s t l e n g t h a n d t w o n o d e s a s s o c i a t e d w i t h i t .
T h e n , w e d o a g r e e d y s e a r c h o n b o t h s i d e s a n d c o n s t r u c t t h e l i n e a r o r d e r .
2 6
8/20/2019 Exp Uriarte040
http://slidepdf.com/reader/full/exp-uriarte040 28/28
B S G P A l g o r i t h m
I n p u t : G = ( V E ) i s a p a g e c o n n e c t i v i t y g r a p h .
O u t p u t : S = < P
1
P
2
: : : P
r
> i s a p a g e a c c e s s s e q u e n c e w i t h r j V j ( P
i
s n e e d n o t b e d i s t i n c t )
a s s e r t ( B 2 ) / * N u m b e r o f b u e r g r e a t e r t h a n t w o * /
H G = C o n s t r u c t H y p e r G r a p h ( G ) / * C o n s t r u c t H y p e r g r a p h H G f r o m G * /
P S e t
m
= M e t i s - P a r t i t i o n ( G B ; 1 ) / * S i m p l e g r a p h p a r t i t i o n , u s i n g M e t i s * /
P S e t
h
= h M e t i s - P a r t i t i o n ( H G B ; 1 ) / * H y p e r g r a p h p a r t i t i o n , u s i n g h M e t i s * /
E
m
= E d g e - C u t - N o ( G P S e t
m
) / * N u m b e r o f e d g e c u t u s i n g M e t i s a l g o r i t h m * /
E
h
= E d g e - C u t - N o ( G P S e t
h
) / * N u m b e r o f e d g e c u t u s i n g h M e t i s a l g o r i t h m * /
i f ( E
m
E
h
) f
/ * O r d e r t h e p a r t i t i o n s u s i n g t h e o n e w a y g r e e d y h e u r i s t i c * /
P
o r d e r
= O n e - W a y - L o n g e s t - C i r c u i t ( P S e t
m
) g
e l s e f P
o r d e r
= O n e - W a y - L o n g e s t - C i r c u i t ( P S e t
h
) g
/ * L o a d t h e p a r t i t i o n i n t o b u e r a s d e t e r m i n e d b y t h e l o n g e s t c i r c u i t h e u r i s t i c * /
f o r ( i = 1 i j P
o r d e r
j i + + ) f
P
i
= G e t P a r t i t i o n ( P
o r d e r
i ) / * G e t t h e i t h p a r t i t i o n * /
i f ( i = = 1 ) f
A d d P a g e S e q u e n c e ( S P
i
) / * A d d a l l t h e n o d e s w i t h i n P
1
i n t o t h e l o a d i n g s e q u e n c e * / g
e l s e f
O r d e r A n d A d d P a g e S e q u e n c e ( S P
i ; 1
P
i
)
/ * O r d e r a n d a d d t h e n o d e s w i t h i n P
i
i n t o t h e l o a d i n g s e q u e n c e b y t h e f o l l o w i n g r u l e s : * /
/ * 1 . A d d t h e n o d e w i t h i n P
i
w h i c h h a s t h e h i g h e s t c o n n e c t i v i t y w i t h P
i ; 1
* /
/ * 2 . R e p l a c e t h e n o d e w i t h i n P
i ; 1
w h i c h h a s n i s h e d i t s j o i n w i t h t h e n o d e s i n P
i
* /
g
C P S e t = F i n d C o n n e c t P a r t i t i o n ( P
i
, G e t P a r t i t i o n ( P
o r d e r
i + 1 ) )
/ * F i n d a l l t h e p a r t i t i o n s w h i c h h a v e c u t - e d g e s e t w i t h P
i
, e x c e p t t h e n e x t l o a d i n g p a r t i t i o n P
i + 1
* /
f o r ( j = 1 j j C P S e t j j + + ) f
C P
j
= C P S e t j ] / * G e t t h e j - t h c o n n e c t e d p a r t i t i o n * /
N o d e s C P
j
i ] = G e t I n c i d e n t N o d e s ( C P
j
, i )
/ * F i n d a l l t h e d i s t i n c t n o d e s i n p a r t i t i o n C P
j
w h i c h c o n n e c t t o p a r t i t i o n i * /
N o d e s i C P
j
] = G e t I n c i d e n t N o d e s ( i , C P
j
)
/ * F i n d a l l t h e d i s t i n c t n o d e s i n p a r t i t i o n i w h i c h c o n n e c t t o p a r t i t i o n C P
j
* /
i f ( ( j N o d e s C P
j
i ] j j N o d e s i C P
j
] j ) & & ( N o d e s C P
j
i ] : f l a g ! = " p r o c e s s e d " ) ) f
/ * R e n e m e n t 2 * /
A d d P a g e S e q u e n c e ( S N o d e s C P
j
i ] ) / * A d d t h e s e n o d e s i n t o t h e l o a d i n g s e q u e n c e * /
N o d e s C P
j
i ] : f l a g = " p r o c e s s e d "
N o d e s i C P
j
] : f l a g = " p r o c e s s e d "
/ * M a r k t h e a g o f t h e n o d e s b e t w e e n t w o p a r t i t i o n s a s " p r o c e s s e d " * /
g
g
g