Distributed Prefetch-Bufer -- Cache Design for High Performance

8/3/2019 Distributed Prefetch-Bufer -- Cache Design for High Performance

1/10

D i s t r i b u t e d P r e f e t c h - b u e r / C a c h e D e s i g n f o r H i g h P e r f o r m a n c e

M e m o r y S y s t e m s

T h o m a s A l e x a n d e r a n d G e r s h o n K e d e m

D e p a r t m e n t s o f C o m p u t e r S c i e n c e a n d E l e c t r i c a l E n g i n e e r i n g

D u k e U n i v e r s i t y

D u r h a m , N C 2 7 7 0 8

A b s t r a c t

M i c r o p r o c e s s o r e x e c u t i o n s p e e d s a r e i m p r o v i n g a t a

r a t e o f 5 0 % - 8 0 % p e r y e a r w h i l e D R A M a c c e s s t i m e s

a r e i m p r o v i n g a t a m u c h l o w e r r a t e o f 5 % - 1 0 % p e r

y e a r . C o m p u t e r s y s t e m s a r e r a p i d l y a p p r o a c h i n g t h e

p o i n t a t w h i c h o v e r a l l s y s t e m p e r f o r m a n c e i s d e t e r -

m i n e d n o t b y t h e s p e e d o f t h e C P U b u t b y t h e m e m o r y

s y s t e m s p e e d .

W e p r e s e n t a h i g h p e r f o r m a n c e m e m o r y s y s t e m a r -

c h i t e c t u r e t h a t o v e r c o m e s t h e g r o w i n g s p e e d d i s p a r i t y

b e t w e e n h i g h p e r f o r m a n c e m i c r o p r o c e s s o r s a n d c u r r e n t

g e n e r a t i o n D R A M s . A n o v e l p r e d i c t i o n a n d p r e f e t c h -

i n g t e c h n i q u e i s c o m b i n e d w i t h a d i s t r i b u t e d c a c h e a r -

c h i t e c t u r e t o b u i l d a h i g h p e r f o r m a n c e m e m o r y s y s -

t e m . W e u s e a t a b l e b a s e d p r e d i c t i o n s c h e m e w i t h

a p r e d i c t i o n c a c h e t o p r e f e t c h d a t a f r o m t h e o n - c h i p

D R A M a r r a y t o a n o n - c h i p S R A M p r e f e t c h b u e r . B y

p r e f e t c h i n g d a t a w e a r e a b l e t o h i d e t h e l a r g e l a t e n c y

a s s o c i a t e d w i t h D R A M a c c e s s a n d c y c l e t i m e s .

O u r e x p e r i m e n t s s h o w t h a t w i t h a s m a l l ( 3 2 K B )

p r e d i c t i o n c a c h e w e c a n g e t a n e e c t i v e m a i n m e m o r y

a c c e s s t i m e t h a t i s c l o s e t o t h e a c c e s s t i m e o f l a r g e r

s e c o n d a r y c a c h e s .

1 I n t r o d u c t i o n

T h e c o m b i n e d e e c t o f h i g h e r m i c r o p r o c e s s o r c l o c k

s p e e d s a n d s u p e r - s c a l e r i n s t r u c t i o n s a r e d r a m a t i c a l l y

i m p r o v i n g m i c r o p r o c e s s o r e x e c u t i o n s p e e d s . H o w e v e r ,

m a i n m e m o r y a c c e s s t i m e i s n o t k e e p i n g p a c e w i t h

t h e i m p r o v e m e n t s i n t h e p r o c e s s o r ' s c y c l e t i m e . A s

t e c h n o l o g y i m p r o v e s , t h e g a p b e t w e e n i n s t r u c t i o n c y -

c l e t i m e a n d m e m o r y a c c e s s t i m e g r o w s . I n t h e l a s t

f e w y e a r s m i c r o p r o c e s s o r ' s s p e e d h a s i m p r o v e d a t 5 0 %

- 8 0 % p e r y e a r w h i l e m e m o r y c y c l e t i m e h a s i m p r o v e d

b y 5 % - 1 0 % p e r y e a r . W e i n f e r f r o m t h e s e t r e n d s t h a t

t h e p r o c e s s i n g p o w e r o f a c o m p u t e r s y s t e m w i l l b e d e -

t e r m i n e d b y t h e l a t e n c y a n d b a n d w i d t h o f t h e m e m -

o r y s y s t e m a n d n o t b y t h e C P U s p e e d . W u l f e t a l

[ 2 1 ] c o n c u r t h a t w i t h i n a d e c a d e t h e e x e c u t i o n t i m e

o f p r o g r a m s w i l l b e l i m i t e d o n l y b y t h e m e m o r y s y s -

t e m s p e e d . P r e s e n t l y , p r o g r a m s t h a t r e q u i r e a l a r g e

a m o u n t o f m e m o r y a r e e s p e c i a l l y a e c t e d b y t h e l a -

t e n c y a n d b a n d w i d t h o f t h e m e m o r y s y s t e m .

T w o c o m m o n t e c h n i q u e s a r e u s e d t o r e d u c e t h e a c -

c e s s t i m e t o m a i n m e m o r y . T h e r s t i s t o b u i l d a f a s t

S R A M m e m o r y . T h i s a p p r o a c h i s u s e d b y C r a y i n i t s

l a r g e s u p e r c o m p u t e r v e c t o r m a c h i n e s . H o w e v e r , t h e

c o s t a n d p o w e r r e q u i r e m e n t s o f f a s t S R A M m a k e i t

u n s u i t a b l e f o r u s e i n d e s k - t o p o r d e s k - s i d e s y s t e m s .

T h e s e c o n d i s t o u s e a c a c h i n g s c h e m e [ 1 8 ] .

W h i l e i n s t r u c t i o n s t r e a m s e x h i b i t g o o d l o c a l i t y o f

r e f e r e n c e , d a t a r e f e r e n c e s o f m a n y p r o g r a m s d o n o t

e x h i b i t l o c a l i t y t h a t b e n e t e n o u g h f r o m c o n v e n t i o n a l

c a c h i n g . F o r e x a m p l e , p r o g r a m s t h a t s o l v e l a r g e s y s -

t e m s o f e q u a t i o n s , s i m u l a t i o n p r o g r a m s , a n d p l a c e -

m e n t a n d r o u t i n g p r o g r a m s , a l l e x h i b i t s i m i l a r b e h a v -

i o r . T h e s e p r o g r a m s r e p e a t e d l y s w e e p t h r o u g h l a r g e

d a t a s t r u c t u r e s h a v i n g n e i t h e r t e m p o r a l n o r s p a t i a l

l o c a l i t y o f a c c e s s t h a t c a n b e c a p t u r e d b y a c o n v e n -

t i o n a l c a c h e . E v e n l a r g e s e c o n d a r y d a t a c a c h e s o f 1 - 4

M - b y t e s g e t o n l y 7 0 % - 9 0 % h i t r a t e f o r s u c h p r o g r a m s .

D a t a p r e f e t c h i n g i s o n e o f t h e m o s t p r o m i s i n g t e c h -

n i q u e s t o o v e r c o m e h i g h D R A M l a t e n c y . B o t h s o f t -

w a r e a n d h a r d w a r e p r e f e t c h i n g t e c h n i q u e s h a v e b e e n

p r o p o s e d p r e v i o u s l y .

S o f t w a r e p r e f e t c h i n g i s a s t a t i c s c h e m e i n w h i c h

t h e c o m p i l e r a t t e m p t s t o p r e d i c t w h i c h m e m o r y a c -

c e s s e s w i l l c a u s e c a c h e m i s s e s a n d e m b e d s t h e n e c e s -

s a r y p r e f e t c h i n s t r u c t i o n s i n t h e p r o g r a m c o d e . [ 1 5 ] .

T h i s s c h e m e i s i n e x p e n s i v e t o i m p l e m e n t b e c a u s e t h e

c o m p l i c a t e d p r e d i c t i o n h e u r i s t i c s a r e p e r f o r m e d o -

l i n e i n s o f t w a r e . H o w e v e r , s i n c e t h e p r e d i c t i o n i n f o r -

m a t i o n i s e m b e d d e d i n t o t h e p r o g r a m a t c o m p i l e t i m e ,

t h i s s c h e m e l a c k s t h e e x i b i l i t y t o a c c o u n t f o r d y n a m i c

b e h a v i o r o f p r o g r a m s .

M a n y p r o g r a m s d o n o t a c c e s s m e m o r y w i t h r e g u -

l a r a n d s t a t i c p a t t e r n s . S p a r s e m a t r i x c o m p u t a t i o n s ,

g r a p h a l g o r i t h m s , e v e n t d r i v e n s i m u l a t i o n s , a n d o t h e r

l i n k e d l i s t b a s e d p r o g r a m s a r e d i c u l t t o o p t i m i z e


2/10

w i t h t h i s t e c h n i q u e .

H a r d w a r e p r e f e t c h i n g c a n d y n a m i c a l l y a d j u s t t h e

p r e d i c t i o n a c c o r d i n g t o t h e p r o g r a m e x e c u t i o n b u t

i s m o r e e x p e n s i v e t o i m p l e m e n t . O n e b l o c k l o o k a -

h e a d ( O B L ) [ 1 8 ] [ 1 1 ] a n d s t r e a m b u e r s [ 9 ] w o r k o n

t h e a s s u m p t i o n t h a t t h e n e x t m o s t l i k e l y r e f e r e n c e

w i l l b e i n t h e n e x t b l o c k a n d p r e f e t c h e s c o n s e c u t i v e

b l o c k s . T h e s e s c h e m e s p e r f o r m p o o r l y w i t h p r o g r a m s

t h a t h a v e e i t h e r l a r g e s t r i d e s o r p r o g r a m s t h a t t r a -

v e r s e l i n k e d l i s t s . B a e r a n d C h e n [ 7 ] i m p r o v e u p o n

O B L b y i n c o r p o r a t i n g h a r d w a r e t o d y n a m i c a l l y d e -

t e c t c o n s t a n t s t r i d e s . T h e s t r i d e a n d t h e p r e s e n t a d -

d r e s s i s u s e d t o p r e d i c t a f u t u r e r e f e r e n c e w h i c h i s t h e n

p r e f e t c h e d i n t o t h e r s t l e v e l c a c h e i f n e c e s s a r y . H o w -

e v e r , i f t h e p r o g r a m b e h a v i o r i s m o r e c o m p l e x t h a n

c o n s t a n t s t r i d e , t h e p r e d i c t i o n a c c u r a c y , a n d c o n s e -

q u e n t l y t h e p e r f o r m a n c e , d r o p s d r a s t i c a l l y .

C o m p i l e r t e c h n i q u e s a n d p r o g r a m m i n g t e c h n i q u e s

h a v e b e e n u s e d t o i n c r e a s e t h e l o c a l i t y o f d a t a r e f e r -

e n c e [ 1 5 , 1 2 , 7 ] . H o w e v e r , t h e s e t e c h n i q u e s a r e l i m -

i t e d t o a r r a y d a t a s t r u c t u r e s a n d w e l l s t r u c t u r e d a l g o -

r i t h m s ( l i n e a r a l g e b r a ) .

W e p r o p o s e a h a r d w a r e p r e f e t c h i n g s c h e m e t h a t

p e r f o r m s w e l l o n l a r g e s c a l e p r o g r a m s w i t h r e p e a t e d

b u t c o m p l e x d a t a r e f e r e n c e s . U n l i k e e a r l i e r h a r d w a r e

p r e f e t c h i n g , o u r s c h e m e c a p t u r e s n o t o n l y c o n s t a n t

s t r i d e a c c e s s e s b u t a l s o m o r e c o m p l e x d a t a r e f e r e n c e s .

W e u s e a s i m p l e p r e d i c t i o n a l g o r i t h m t o p r e f e t c h d a t a

i n t o a d i s t r i b u t e d a r r a y o f p r e f e t c h b u e r s t h a t a r e

i n t e g r a t e d o n t o t h e D R A M a r r a y . E x i s t i n g E n h a n c e d

D R A M s ( E D R A M s ) a n d C a c h e d D R A M ( C D R A M )

t e c h n o l o g i e s a r e u s e d t o d e s i g n a m e m o r y s u b s y s t e m

w i t h a l o w e e c t i v e a c c e s s t i m e . A C D R A M p r e d i c t i o n

t a b l e t h a t i s l e s s t h a n 1 % o f p h y s i c a l m e m o r y , a s m a l l

S R A M p r e d i c t i o n c a c h e a n d , C D R A M o r E D R A M

m a i n m e m o r y a r e u s e d t o b u i l d t h e m e m o r y s y s t e m .

O u r a r c h i t e c t u r e p e r f o r m s b e t t e r t h a n a m e m o r y s y s -

t e m w i t h a l a r g e c o n v e n t i o n a l s e c o n d a r y c a c h e .

T h i s p a p e r i s o r g a n i z e d i n t o v e s e c t i o n s . I n S e c -

t i o n 2 w e d e s c r i b e o u r p r e d i c t i o n m e t h o d . W e d e v e l o p ,

i n S e c t i o n 3 , t h e m e m o r y a r c h i t e c t u r e . W e p r e s e n t o u r

e x p e r i m e n t a l f r a m e w o r k a n d s i m u l a t i o n r e s u l t s i n S e c -

t i o n 4 . C o n c l u s i o n s a n d f u t u r e w o r k a r e i n S e c t i o n 5 .

2 P r e d i c t i o n & P r e f e t c h i n g

T w o r e l a t e d p r o b l e m s m u s t b e s o l v e d t o b r i d g e t h e

g r o w i n g g a p b e t w e e n p r o c e s s o r a n d m e m o r y s p e e d :

t h e m e m o r y b a n d w i d t h p r o b l e m a n d t h e m e m o r y l a -

t e n c y p r o b l e m . T h e r s t p r o b l e m o f m e m o r y b a n d -

w i d t h , i s c u r r e n t l y b e i n g a d d r e s s e d b y S y n c h r o n o u s

D R A M ( S D R A M ) a n d R A M B U S . B o t h d e s i g n t e c h -

n i q u e s a l l o w t h e m e m o r y t o s e n d a b l o c k o f d a t a t o

t h e p r o c e s s o r a t a v e r y h i g h s p e e d . B o t h S D R A M

a n d R A M B U S m e m o r i e s l l a c a c h e l i n e o f t h e p r o -

c e s s o r i n a f e w c l o c k c y c l e s . H o w e v e r , t h e s e m e m -

o r y d e s i g n s d o n o t a d d r e s s t h e l a r g e m e m o r y l a t e n c y

p r o b l e m . B o t h m e m o r i e s r e q u i r e a t l e a s t 6 0 n s t o s t a r t

s e n d i n g t h e d a t a t o t h e p r o c e s s o r i . e e v e n i f t h e t r a n s -

f e r o f d a t a t o o k n o t i m e a t a l l , t h e p r o c e s s o r s t i l l h a s

t o w a i t 6 0 n s b e f o r e t h e d a t a i n m e m o r y i s a v a i l a b l e .

T y p i c a l l y , r s t l e v e l c a c h e l i n e s a r e r e l a t i v e l y s m a l l ( 3 2

b y t e s ) . T h e r e f o r e , t h e b e n e t o f t h e h i g h e r b a n d w i d t h

o f S D R A M a n d R A M B U S d o e s n o t y i e l d l a r g e o v e r a l l

p e r f o r m a n c e g a i n s o v e r c o n v e n t i o n a l m e m o r i e s .

I t i s h a r d e r t o c o m p e n s a t e f o r t h e l a r g e l a t e n c y t h a n

i t i s t o p r o v i d e h i g h b a n d w i d t h m e m o r y . T h e m o s t e f -

f e c t i v e m e t h o d t o h i d e t h e l a r g e D R A M l a t e n c y i s t o

p r e d i c t f u t u r e a c c e s s e s a n d p r e f e t c h t h e d a t a i n t o a

f a s t b u e r . T y p i c a l l y , t h e p r o c e s s o r r e f e r e n c e s d a t a

f r o m m a i n m e m o r y e v e r y s i x t o t h i r t y c y c l e s . C o n s e -

q u e n t l y , t h e a m o u n t o f t i m e a v a i l a b l e t o p r e d i c t a n d

p r e f e t c h d a t a i s v e r y s h o r t . W e h a v e d e v e l o p e d a n e f -

f e c t i v e p r e d i c t i o n s c h e m e t h a t i s v e r y f a s t . T h e s c h e m e

u s e s a t a b l e - l o o k u p t e c h n i q u e u s i n g t h e c u r r e n t r e a d -

r e q u e s t a d d r e s s t o p r e d i c t t h e n e x t r e a d - r e q u e s t a d -

d r e s s .

2 . 1 T a b l e b a s e d p r e d i c t i o n

L a r g e p r o g r a m s s u c h a s s i m u l a t i o n p r o g r a m s , s c i -

e n t i c c o m p u t a t i o n , C A D a n d o t h e r s , h a v e l a r g e d a t a

s t r u c t u r e s t h a t t h e p r o g r a m s t r a v e r s e r e p e a t e d l y . A s

a r e s u l t t h e p r o g r a m s r e p e a t e d l y g e n e r a t e s m e m o r y

r e a d - r e q u e s t s t h a t t e n d t o f o l l o w t h e d a t a s t r u c t u r e .

W h i l e t h e s e m e m o r y r e a d - r e q u e s t p a t t e r n s a r e c o m -

p l e x , t h e y e x h i b i t a l a r g e a m o u n t o f r e p e t i t i o n [ 1 ] . I n

t h e p a s t , a t t e m p t s w e r e m a d e t o c a p t u r e t h e s e p a t -

t e r n s u s i n g h a r d w a r e s t r i d e p r e d i c t i o n [ 7 , 1 0 ] . W e p r o -

p o s e a m e c h a n i s m f o r p r e d i c t i n g m e m o r y a c c e s s p a t -

t e r n s t h a t i s m o r e g e n e r a l t h a n s t r i d e p r e d i c t i o n a n d

m o r e p o w e r f u l . T h e p r e d i c t i o n m e c h a n i s m i s b a s e d

o n t h e p r e v i o u s e x e c u t i o n h i s t o r y o f t h e p r o g r a m . F o r

e a c h m e m o r y - r e a d - a c c e s s , t h e m e m o r y a c c e s s t h a t f o l -

l o w e d i t i s s t o r e d i n a t a b l e . O n c e t h e a c c e s s i n f o r m a -

t i o n i s s t o r e d i n t h e t a b l e , i f a n a c c e s s t o t h e s a m e

a d d r e s s r e c u r s , t h e a d d r e s s o f t h e l a s t a c c e s s t h a t f o l -

l o w e d i s u s e d a s a p r e d i c t i o n o f t h e a d d r e s s t o f o l l o w .

S e v e r a l i m m e d i a t e o b j e c t i o n s a r i s e . F i r s t , a c c e s s e s

d o n o t f o l l o w a s t r i c t p a t t e r n , s o r e m e m b e r i n g t h e o n e

a d d r e s s t h a t f o l l o w s m i g h t n o t b e a g o o d g u e s s . S e c -

o n d , t h e t a b l e t h a t s t o r e s a l l a c c e s s e s m i g h t b e h u g e ,

m a k i n g t h e p r e d i c t i o n i m p r a c t i c a l . T h i r d , t h e p r e -

d i c t i o n m u s t b e f a s t . R e a d i n g t h e p r e d i c t i o n u s i n g

D R A M i s t o o s l o w .

T o o v e r c o m e t h e p o t e n t i a l p r o b l e m s m e n t i o n e d

a b o v e w e u s e t h e f o l l o w i n g d e s i g n : T h e m e m o r y i s d i -

v i d e d i n t o b l o c k s . R a t h e r t h e n t r y i n g t o p r e d i c t i n d i -


3/10

v i d u a l a d d r e s s e s , b l o c k a d d r e s s e s a r e p r e d i c t e d . S i n c e

m e m o r y a c c e s s e s t e n d t o c l u s t e r , p r e d i c t i n g b l o c k

a d d r e s s w o r k s b e t t e r t h a n p r e d i c t i n g i n d i v i d u a l a d -

d r e s s e s . A l s o , s i n c e e a c h r e a d - r e q u e s t i s u s e d t o l o a d

a c a c h e l i n e ( r a t h e r t h a n a s i n g l e w o r d ) , i t m a k e s s e n s e

t o m a k e e a c h b l o c k a t l e a s t a s l a r g e a s a c a c h e l i n e .

O u r e x p e r i m e n t s [ 1 ] s h o w t h a t b l o c k s i z e s o f 1 2 8 t o

5 1 2 b y t e s w o r k b e s t .

T o i m p r o v e t h e p r e d i c t i o n a c c u r a c y , m u l t i p l e

g u e s s e s a r e s t o r e d p e r b l o c k . O u r s i m u l a t i o n s s h o w

t h a t f o u r p r e d i c t i o n s f o r e a c h e n t r y y i e l d a v e r y h i g h

p r e d i c t i o n r a t e . T a b l e 1 s h o w s t h e c o r r e c t p r e d i c t i o n

r a t e f o r t e n b e n c h m a r k p r o g r a m s . W e h a v e u s e d a

b l o c k s i z e o f 2 5 6 b y t e s a n d a p r e d i c t i o n t a b l e w i t h

2 5 6 K e n t r i e s w i t h f o u r p r e d i c t i o n s p e r e n t r y .

T h e p r e d i c t i o n a n d p r e f e t c h i n g m u s t h a p p e n b e f o r e

t h e n e x t r e a d - r e q u e s t a r r i v e s . A s u c i e n t l y f a s t a c c e s s

t o t h e p r e d i c t i o n t a b l e i s o b t a i n e d b y u s i n g a s m a l l

S R A M p r e d i c t i o n - c a c h e . O u r e x p e r i m e n t s s h o w t h a t

a s m a l l 3 2 K B c a c h e w o r k s w e l l f o r a l l o u r b e n c h m a r k

p r o g r a m s .

A s s u m e a m a i n m e m o r y o f s i z e M b y t e s , 5 1 2 b y t e

b l o c k s a n d f o u r p r e d i c t i o n s p e r e n t r y . A p r e d i c t i o n

t a b l e o f s i z e 4 M ( l o g ( M ) 9 ) = ( 8 5 1 2 ) b y t e s , a b o u t

2 % o f m e m o r y , w i l l h o l d p r e d i c t i o n s f o r a l l t h e b l o c k s .

H o w e v e r , t h e r e i s n o n e e d t o h a v e a f u l l s i z e t a b l e . O u r

e x p e r i m e n t s s h o w t h a t a t a b l e t h a t i s a b o u t 1 % o f t o t a l

m e m o r y s i z e i s s u c i e n t . M o r e o v e r , i f l a r g e p r e f e t c h

b l o c k s a r e u s e d , o n l y a p r e d i c t i o n c a c h e i s n e e d e d , a n d

t h e p r e d i c t i o n t a b l e c a n b e e l i m i n a t e d ( s e e S e c t i o n 3 ) .

F i g u r e 1 i s u s e d t o i l l u s t r a t e h o w t h e t a b l e b a s e d

p r e d i c t i o n w o r k s . A s s u m e t h a t t h e C P U m e m o r y

r e a d - r e q u e s t s a r e f o r a d d r e s s e s : a , b , c , a , d , a ,

b , a . P a r t - A s h o w s a t a b l e w i t h " r a n d o m " d a t a a l l

s y m b o l i c a l l y d e n o t e d a s x . W h e n t h e C P U r e q u e s t s

a d d r e s s a , t h e p r e d i c t i o n h a r d w a r e l o o k s u p t h e t a b l e

e n t r y f o r b l o c k a . T h e a d d r e s s e s i n t h a t e n t r y a r e x ,

s o b l o c k ( s ) x w i l l b e p r e f e t c h e d ( p r e d i c t i o n m i s s ) . T h e

a d d r e s s a i s s t o r e d i n a t w o w o r d b u e r f o r f u t u r e u s e .

T h e n e x t r e a d - a d d r e s s i s b . T h e v a l u e s i n t h e t a b l e

e n t r y f o r b l o c k b a r e u s e d a s t h e p r e f e t c h a d d r e s s e s

f o r t h i s a c c e s s ( a n o t h e r p r e d i c t i o n m i s s ) . S i n c e t h e

p r e d i c t i o n f o r a w a s a m i s s , t h e b l o c k a d d r e s s f o r b

r e p l a c e s o n e o f t h e e n t r i e s f o r a . T h e n e x t m e m o r y

r e a d - r e q u e s t i s a d d r e s s c ( p r e d i c t i o n m i s s ) . N o w c i s

p u s h e d i n t o t h e b u e r , i t ' s t a b l e e n t r i e s a r e u s e d a s

p r e f e t c h i n g a d d r e s s e s a n d t h e t a b l e e n t r y a s s o c i a t e d

w i t h b l o c k b i s u p d a t e d t o b l o c k c . W h e n a d d r e s s a

r e p e a t s , b l o c k b i s p r e f e t c h e d a n d s o o n . N o t e t h a t i f

t h e p r e d i c t i o n t a b l e h a d a t l e a s t t w o e n t r i e s p e r b l o c k

a d d r e s s , t h e t h i r d t i m e b l o c k a d d r e s s a o c c u r s , t h e

t a b l e w i l l c o r r e c t l y p r e d i c t b a s t h e b l o c k a d d r e s s t o

x xxxxxxxxx

xxxxxxxx

xx

ax

x xxxxxxxxx

xxx

xb

xxx

xx

ba

x xxxxxxxxx

xx

xb

xxx

xx

bc

c

x xxxxxxxxx

xx

xb

xa

x

xb

c

c

a

x xxxx

xd

xxx

xx

xb

xa

x

xx

c

ad

x xxxx

xd

xxx

xx

xb

xa

a

db

c

ad

x xxxx

xd

xxx

xx

xb

xa

a

xc

c

ab

x xaxx

xd

xxx

xx

xb

xa

a

db

c

ab

Prediction table

Predictions bufferRead requests stack

Current read address

A. B.C.

D. E. F.

G. H.

F i g u r e 1 : P r e d i c t i o n T a b l e A l g o r i t h m


4/10

f o l l o w .

P r o g 1 2 3 4 5 6

s u 2 c o r 0 . 8 9 3 0 . 9 5 1 0 . 9 5 8 0 . 9 5 9 0 . 9 6 0 0 . 9 6 0

t u r b 3 d 0 . 3 0 0 0 . 8 2 4 0 . 8 3 0 0 . 8 3 5 0 . 8 3 7 0 . 8 3 8

t o m c a t v 0 . 3 6 0 0 . 7 2 4 0 . 8 8 2 0 . 9 4 1 0 . 9 4 2 0 . 9 4 8

s w i m 0 . 8 0 1 0 . 9 5 5 0 . 9 5 5 0 . 9 5 5 0 . 9 5 5 0 . 9 5 5

m g r i d 0 . 4 1 3 0 . 7 5 3 0 . 7 9 3 0 . 8 0 2 0 . 8 0 4 0 . 8 0 5

t t 0 . 9 5 0 0 . 9 5 4 0 . 9 5 4 0 . 9 5 4 0 . 9 5 4 0 . 9 5 4

w a v e 5 0 . 6 2 8 0 . 9 2 1 0 . 9 6 1 0 . 9 7 5 0 . 9 8 2 0 . 9 9 3

l d v p c 0 . 6 2 4 0 . 8 7 8 0 . 9 4 8 0 . 9 5 5 0 . 9 5 7 0 . 9 5 8

m e t e o r 0 . 1 5 5 0 . 3 0 1 0 . 4 1 5 0 . 5 1 3 0 . 6 0 2 0 . 6 8 0

A v e r a g e 0 . 5 6 9 0 . 8 0 7 0 . 8 5 5 0 . 8 7 7 0 . 8 8 8 0 . 8 9 9

T a b l e 1 : P r e d i c t i o n A c c u r a c y v s . N u m b e r o f P r e d i c -

t i o n s

E x p e r i m e n t p a r a m e t e r s :

P r e d i c t i o n T a b l e S i z e - 2 5 6 K e n t r i e s

C l u s t e r S i z e - 2 5 6 b y t e s

P r e d i c t i o n B l o c k S i z e - 2 5 6 b y t e s

N u m b e r o f P r e d i c t i o n s - V a r i a b l e

R e p l a c e m e n t P o l i c y - L R U

T a b l e 1 s h o w s t h e c o r r e c t p r e d i c t i o n r a t i o f o r t h e

b e n c h m a r k p r o g r a m s a s a f u n c t i o n o f t h e n u m b e r o f

g u e s s e s p e r e n t r y . F r o m t h e t a b l e o n e c a n s e e t h a t

t h e n u m b e r o f c o r r e c t g u e s s e s i n c r e a s e s w i t h t h e n u m -

b e r o f g u e s s e s p e r e n t r y . A l s o , t h e t a b l e s h o w s t h a t 4

g u e s s e s p e r e n t r y c a p t u r e m o s t o f t h e b e n e t o f m u l -

t i p l e g u e s s e s .

I n t h e n e x t s e c t i o n w e d e s c r i b e h o w t o u s e p r e d i c -

t i o n a n d p r e f e t c h i n g t o b u i l d a m e m o r y s y s t e m w i t h

e x i s t i n g m e m o r y p a r t s .

3 D i s t r i b u t e d P r e f e t c h - b u e r / C a c h e

A r c h i t e c t u r e

T h e p r e v i o u s s e c t i o n e x p l a i n e d t h e p r e d i c t i o n

m e t h o d o l o g y u s e d i n o u r m e m o r y s y s t e m . I n t h i s s e c -

t i o n w e d e v e l o p t h e a r c h i t e c t u r e o f t h e m e m o r y s y s -

t e m .

F o r t h e p r e d i c t i o n s c h e m e t o b e e e c t i v e , l a r g e

b l o c k s o f d a t a m u s t b e p r e f e t c h e d w i t h i n a s h o r t p e -

r i o d . C o n v e n t i o n a l m e m o r y a r c h i t e c t u r e w h e r e t h e

m i c r o p r o c e s s o r i s c o n n e c t e d t o a s e c o n d l e v e l c a c h e

a n d m a i n m e m o r y t h r o u g h a 6 4 b i t d a t a b u s d o e s

n o t p r o v i d e s u c i e n t b a n d w i d t h t o e e c t i v e l y p r e f e t c h

d a t a f r o m t h e D R A M i n m a i n m e m o r y i n t o t h e m i c r o -

p r o c e s s o r s o n - c h i p L 1 c a c h e . C o n s e q u e n t l y , w e u s e a

p r e d i c t i o n m e c h a n i s m t o p r e f e t c h d a t a f r o m D R A M

m e m o r y i n t o p r e f e t c h b u e r s t h a t a r e i n t e g r a t e d i n t o

t h e D R A M I C s . W e t a k e a d v a n t a g e o f t h e h u g e o n -

c h i p b a n d w i d t h t o p r e f e t c h l a r g e b l o c k s o f d a t a s i m u l -

t a n e o u s l y w i t h o u t l o a d i n g t h e m e m o r y - C P U b u s . T o

t h e m i c r o p r o c e s s o r t h e p r e f e t c h b u e r s a p p e a r a s a

d i s t r i b u t e d L 2 c a c h e .

T o r e d u c e t h e l a r g e d i s p a r i t y b e t w e e n m e m o r y c y c l e

t i m e a n d p r o c e s s o r c y c l e t i m e w e c o m b i n e d s e v e r a l

i d e a s t o g e t h e r t o d e s i g n a h i g h p e r f o r m a n c e m e m o r y

s y s t e m :

O n - c h i p P r e f e t c h B u e r s : W e u s e t h e h u g e o n -

c h i p b a n d w i d t h o f D R A M t o S R A M c o m m u n i -

c a t i o n t o p r e f e t c h d a t a f r o m t h e l a r g e , b u t s l o w

D R A M a r r a y i n t o s m a l l ( b u t f a s t ) o n - c h i p S R A M

p r e f e t c h b u e r s . S i n c e t h e p r e f e t c h i n g i s d o n e o n -

c h i p , p r e f e t c h i n g u n u s e d d a t a h a s o n l y a s m a l l

i m p a c t o n o v e r a l l p e r f o r m a n c e .

P r e d i c t i o n & P r e f e t c h i n g : W e u s e a s i m p l e t a -

b l e b a s e d p r e d i c t i o n t e c h n i q u e t o p r e d i c t t h e n e x t

a d d r e s s r e q u e s t f r o m t h e C P U . N o t e t h a t w e a r e

p r e d i c t i n g c a c h e m i s s e s o n l y . W e v i e w t h e p r i -

m a r y ( a n d s e c o n d a r y ) c a c h e ( s ) a s a l t e r t h a t l e t s

t h r o u g h o n l y r e q u e s t s t h a t m i s s t h e c a c h e .

A d d r e s s c l u s t e r s : M e m o r y i s d i v i d e d i n t o c l u s t e r s .

A l l r e f e r e n c e s i n t o t h e s a m e c l u s t e r a r e c o n s i d e r e d

t o b e t h e s a m e . T h e l i n e a r c l u s t e r s a r e f o r m e d b y

t r u n c a t i n g t h e l o w o r d e r b i t s o f t h e a d d r e s s .

B l o c k P r e f e t c h : T h e p r e d i c t i o n a l g o r i t h m

p r e f e t c h e s b l o c k s t h a t a r e l i k e l y t o b e r e f e r e n c e d

n e x t r a t h e r t h a n t h e w o r d s o r c a c h e l i n e s t h a t

a r e l i k e l y t o b e r e f e r e n c e d . T h e p r e f e t c h b l o c k

s i z e d e p e n d s o n t h e m e m o r y p a r t u s e d t o i m p l e -

m e n t t h e m e m o r y s y s t e m . T h e b l o c k s c a n b e t h e

s a m e s i z e a s o r l a r g e r t h a n a c a c h e l i n e .

P r e d i c t i o n C a c h e : W e u s e a s m a l l p r e d i c t i o n

c a c h e t o g e t h e r w i t h t h e p r e d i c t i o n t a b l e . T h e

p r e d i c t i o n - c a c h e h o l d s t h e m o s t a c t i v e p o r t i o n o f

t h e p r e d i c t i o n t a b l e . C a c h i n g t h e p r e d i c t i o n t a -

b l e s p e e d s u p d a t a p r e f e t c h i n g . T h e p r e d i c t i o n -

p r e f e t c h i n g s c h e m e c a n a l s o b e u s e d w i t h a p r e d i c -

t i o n c a c h e o n l y , w i t h o u t u s i n g a p r e d i c t i o n t a b l e .

M e t h o d o f P r e d i c t i o n : F o r e a c h m e m o r y - r e a d r e -

q u e s t , w e s t o r e i n t h e p r e d i c t i o n t a b l e ( a n d / o r

c a c h e ) t h e f o u r m o s t l i k e l y r e f e r e n c e s t o f o l l o w

i t . T h e h a r d w a r e m o n i t o r s t h e r e a d - r e q u e s t s a n d

s t o r e s t h e r e q u e s t f o l l o w i n g t h e c u r r e n t r e q u e s t

i n t h e p r e d i c t i o n c a c h e e n t r y a s s o c i a t e d w i t h t h e

c u r r e n t r e a d - r e q u e s t . U p t o f o u r s u c h r e q u e s t s

a r e s t o r e d i n e a c h c a c h e e n t r y .


5/10

M e m o r y I n t e r l e a v e : M e m o r y i s m u l t i - w a y i n t e r -

l e a v e d ( a t l e a s t f o u r ) . E a c h i n d e p e n d e n t m e m o r y

m o d u l e h a s s e p a r a t e a d d r e s s a n d c o n t r o l l i n e s .

I n t e r l e a v i n g t h e m e m o r y i n c r e a s e s t h e m e m o r y

b a n d w i d t h a n d r e d u c e s t h e p r e f e t c h i n g t i m e . T h e

p r e f e t c h c o n t r o l l e r p r e f e t c h e s a l l f o u r g u e s s e s a t

t h e s a m e t i m e .

F i g u r e 2 s h o w s a b l o c k d i a g r a m o f t h e m e m o r y s y s -

t e m . T h e s y s t e m i s m a d e u p o f a D R A M a r r a y w i t h

i n t e g r a t e d p r e f e t c h b u e r s ( d i s t r i b u t e d c a c h e ) , a n d a

P r e d i c t i o n & P r e f e t c h i n g U n i t . T h e D R A M a r r a y i s

c o n v e n t i o n a l m e m o r y w i t h o n e e x c e p t i o n . I n t e g r a t e d

o n e a c h m e m o r y I C i s a s m a l l S R A M b u e r t h a t a c t s

a s a d i s t r i b u t e d c a c h e . T h e d i s t r i b u t e d c a c h e i s b u i l t

l i k e a n o r d i n a r y d i r e c t - m a p p e d L 2 c a c h e . T h e c a c h e

c o n t r o l l e r h a s a t a g t a b l e w i t h a n e n t r y f o r e a c h c a c h e

l i n e . W h e n a m e m o r y r e q u e s t i s i s s u e d , t h e c a c h e c o n -

t r o l l e r u s e s t h e t a g t a b l e t o c h e c k f o r a c a c h e h i t o r

a m i s s . O n a c a c h e h i t t h e d a t a i s p r o v i d e d f r o m t h e

S R A M b u e r a t S R A M s p e e d . I f t h e c a c h e i s m i s s e d , a

n o r m a l r o w a d d r e s s s t r o b e ( R A S ) b r i n g s t h e d a t a i n t o

t h e b u e r . U n l i k e c o n v e n t i o n a l c a c h e , t h e d i s t r i b u t e d

p r e f e t c h - b u e r / c a c h e i s n o t u s e d t o h o l d d a t a t h a t w a s

r e c e n t l y r e f e r e n c e d , b u t i s u s e d a s a p r e f e t c h b u e r

t h a t h a s d a t a t h a t i s p r e d i c t e d t o b e a c c e s s e d n e x t .

T h e d a t a i s p r e l o a d e d i n t o t h e S R A M p r e f e t c h b u e r s

" j u s t i n t i m e " b e f o r e t h e C P U r e q u e s t s t h e d a t a .

I n p a r a l l e l w i t h t h e d i s t r i b u t e d c a c h e c o n t r o l l e r , t h e

p r e d i c t i o n u n i t u s e s t h e c u r r e n t a d d r e s s t o g e t o u t o f

t h e p r e d i c t i o n - c a c h e ( o r p r e d i c t i o n t a b l e ) f o u r b l o c k

a d d r e s s e s t h a t a r e l i k e l y t o b e r e q u e s t e d n e x t . T h e

p r e f e t c h i n g u n i t i n i t i a t e s s i m u l t a n e o u s p r e f e t c h e s o f

t h e s e f o u r b l o c k s f r o m t h e D R A M a r r a y t o t h e S R A M

p r e f e t c h b u e r s . I n a d d i t i o n , t h e p r e d i c t i o n u n i t m o n i -

t o r s t h e a c c e s s p r e d i c t i o n s . I f t h e c u r r e n t a d d r e s s w a s

i n c o r r e c t l y p r e d i c t e d u s i n g t h e p r e v i o u s a d d r e s s ( a

p r e d i c t i o n m i s s ) , t h e p r e d i c t i o n c a c h e a n d p r e d i c t i o n

t a b l e a r e u p d a t e d . M o r e d e t a i l e d d e s c r i p t i o n s o f e a c h

o f t h e u n i t s i s g i v e n b e l o w .

3 . 1 M e m o r y A r c h i t e c t u r e a n d

D i s t r i b u t e d C a c h e

A n y p r e d i c t i o n s c h e m e , u n l e s s 1 0 0 % a c c u r a t e , i n -

c r e a s e s t h e d a t a t r a c b e t w e e n D R A M a n d c a c h e . A

c r i t i c a l i s s u e i s h o w t o p r o v i d e s u c i e n t b a n d w i d t h s o

t h a t t h e e x t r a t r a c c a u s e d b y p r e d i c t i o n d o e s n o t

r e s u l t i n b u s c o n t e n t i o n a n d i n c r e a s e , r a t h e r t h a n d e -

c r e a s e , t h e e e c t i v e a c c e s s t i m e .

E D R A M [ 1 7 ] m e m o r y p a r t s p r o v i d e a c o s t e e c -

t i v e h i g h b a n d w i d t h c o n n e c t i o n b e t w e e n D R A M a n d

a n o n - c h i p S R A M b u e r . E D R A M i n t e g r a t e s a s m a l l

S R A M p r e f e t c h b u e r t o g e t h e r w i t h a l a r g e D R A M

m e m o r y a r r a y . T h e p r e f e t c h b u e r s a n d D R A M c o m -

Micro-Processor

Cache

Prediction &PrefetchingUnit

Memory Data Bus

DRAM

SRAM

DRAM

SRAM

DRAM

SRAM

DRAM

SRAM

memory Address and controls

F i g u r e 2 : M e m o r y A r c h i t e c t u r e B l o c k , D i a g r a m

m u n i c a t e t h r o u g h a f a s t a n d w i d e i n t e r n a l b u s . E s -

s e n t i a l l y , a s i n g l e D R A M r o w a c c e s s ( R A S ) t r a n s f e r s

a w h o l e r o w f r o m D R A M t o S R A M . S i n c e t h e d a t a

b u s i s i n t e r n a l t o e a c h c h i p , t h e b a n d w i d t h b e t w e e n

S R A M a n d D R A M i n c r e a s e s p r o p o r t i o n a l l y w h e n a

n e w E D R A M m o d u l e i s a d d e d . W e u s e f o u r - w a y m e m -

o r y i n t e r l e a v e t o f u r t h e r i n c r e a s e t h e e e c t i v e m e m o r y

b a n d w i d t h .

T h e d e s i g n p r e s e n t e d h e r e i s b a s e d o n R a m t r o n ' s

E D R A M [ 1 7 ] . T h e c a c h e s i z e , l i n e s i z e , i n t e r -

l e a v e f a c t o r a n d t i m i n g c o n s t r a i n t s a r e b a s e d o n

t h e D M 2 2 0 3 / 2 2 1 3 E D R A M a r c h i t e c t u r e . H o w e v e r ,

w e h a v e s i m u l a t e d m e m o r y c o n g u r a t i o n s u s i n g M i t -

s u b i s h i C D R A M a n d o t h e r p a r t s a n d w e r e a b l e t o g e t

s i m i l a r r e s u l t s . M o r e o v e r , o u r a r c h i t e c t u r e w h e n u s e d

w i t h c o n v e n t i o n a l ( f a s t p a g e m o d e ) E D O - D R A M s

y i e l d s s i g n i c a n t g a i n s .

W e d i g r e s s b r i e y t o d e s c r i b e t h e E D R A M a r c h i t e c -

t u r e . T h e m e m o r y i s o r g a n i z e d a s f o u r m o d u l e s e a c h

a 5 1 2 x 2 5 6 x 8 b i t D R A M a r r a y , s u p p o r t e d b y f o u r

2 5 6 x 8 b i t S R A M p r e f e t c h b u e r s . A c c e s s t i m e t o t h e

D R A M a r r a y i s 3 5 n s a n d a c c e s s t i m e t o t h e S R A M i s

1 5 n s . A r o w a c c e s s t o m e m o r y ( R A S ) t r a n s f e r s 2 K

b i t s f r o m D R A M t o S R A M . O n c e t h e d a t a i s i n t h e

S R A M b u e r i t c a n b e a c c e s s e d i n 1 5 n s .

I n a d d i t i o n t o t h e m e m o r y m o d u l e s , t h e m e m o r y

s y s t e m h a s a s m a l l d i r e c t - m a p p e d t a g t a b l e t h a t r e -

m e m b e r s w h a t d a t a i s s t o r e d i n t h e d i s t r i b u t e d c a c h e .

T h e m e m o r y c o n t r o l l e r f u n c t i o n s a s a c o m b i n e d c a c h e

a n d m e m o r y c o n t r o l l e r . W h e n a r e a d - r e q u e s t a r r i v e s ,

t h e m e m o r y c o n t r o l l e r r s t r e a d s t h e c a c h e b u e r s a n d

t h e t a g t a b l e t o s e e i f t h e d a t a i s i n t h e c a c h e . I f t h e r e

i s a c a c h e m i s s , t h e m e m o r y c o n t r o l l e r r e a d s t h e d a t a

f r o m t h e D R A M a r r a y i n t o t h e S R A M c a c h e a n d s e n d s

t h e d a t a t o t h e C P U .

3 . 2 T h e P r e d i c t i o n U n i t

F o r e a c h r e a d - r e q u e s t u p t o f o u r d i e r e n t p r e f e t c h

b l o c k a d d r e s s e s o f r e a d - r e q u e s t s t h a t i n t h e p a s t f o l -


6/10

1M Array

256 x 8 cache

1M Array

256 x 8 cache

1M Array

256 x 8 cache

1M Array

256 x 8 cache

data out latch

Data-in Latch

Column Address LatchRow Address Latch

Address

1 of 4 selector

F i g u r e 3 : E D R A M A r c h i t e c t u r e

l o w e d t h e c u r r e n t r e q u e s t a r e s t o r e d i n a d i r e c t -

m a p p e d t a b l e . E a c h p r e d i c t i o n a d d r e s s r e f e r e n c e s a

d i e r e n t i n t e r l e a v e d m o d u l e . T h e t a b l e i s u s e d t o p r e -

d i c t t h e b l o c k a d d r e s s o f t h e n e x t m e m o r y r e q u e s t .

W h e n t h e C P U i s s u e s a r e a d - r e q u e s t t o m a i n m e m -

o r y , t h e t a b l e i s q u e r i e d f o r t h e s e t o f f o u r d i e r e n t

b l o c k a d d r e s s e s t h a t i n t h e r e c e n t p a s t w e r e t h e n e x t

r e a d - r e q u e s t t o m e m o r y .

W h e n t h e n e x t r e q u e s t a r r i v e s t h e a c c u r a c y o f t h e

p r e v i o u s p r e d i c t i o n s i s c h e c k e d . I f a l l f o u r p r e d i c t e d

a d d r e s s e s a r e w r o n g , t h e t a b l e i s u p d a t e d . T h u s , t h e

s c h e m e d y n a m i c a l l y a d j u s t s t o d i e r e n t p h a s e s w i t h i n

a p r o g r a m a n d t o t r a n s i e n t b e h a v i o r . N o t e t h a t t h e

p r e d i c t i o n s c h e m e o n l y l o o k s a t m e m o r y m i s s e s . A l l

m e m o r y r e f e r e n c e s t h a t h i t t h e p r i m a r y c a c h e ( s ) a r e

n o t c o n s i d e r e d !

T h e p r e d i c t i o n s c h e m e n e e d o n l y p r e d i c t w h i c h

b l o c k i s b e i n g a c c e s s e d n e x t . C l e a r l y , b l o c k s s h o u l d

b e l a r g e r t h a n t h e p r i m a r y ( o r s e c o n d a r y ) c a c h e l i n e .

W e f o u n d t h a t b l o c k s o f 5 1 2 - 2 0 4 8 b y t e s w o r k w e l l . A

m e m o r y s y s t e m w i t h M b y t e s o f D R A M a n d a b l o c k

s i z e o f B b y t e s h a s M B d i s t i n c t b l o c k s . T h u s , t h e

p r e d i c t i o n t a b l e s i z e i s o n l y a s m a l l f r a c t i o n o f t h e t o -

t a l p h y s i c a l m e m o r y s i z e . F o r e x a m p l e a 6 4 M e g a b y t e

m e m o r y w i t h 2 K b y t e b l o c k s n e e d s a p r e d i c t i o n t a b l e

w i t h 3 2 K 5 6 - b i t e n t r i e s . M o r e o v e r , t h e p r e d i c t i o n t a -

b l e d o e s n o t h a v e t o c o v e r t h e p h y s i c a l a d d r e s s s p a c e .

T h e p r e d i c t i o n t a b l e n e e d o n l y b e l a r g e e n o u g h t o c a p -

=

Tag

Cache Line

hit/miss

Prediction cacheCurrent Address

08

Predict-1

Predict-1

Predict-2

Predict-2

1K

CacheLines

DRAM

Prediction

Table

Prediction

Update

Controller

=

Access Address Stack

2341:CurrentAddress

2342:Prev. Address

Memory Out

Memory In

Memory Address

Memory

Controls

Tag Comp. Unit

match Pred_1

Match Pred_2

Update

MUXs

=

Prediction Addresses Stack

F i g u r e 4 : P r e d i c t i o n U n i t B l o c k D i a g r a m

t u r e t h e w o r k i n g s e t o f t h e a c t i v e p r o g r a m s . O u r e x -

p e r i m e n t s s h o w t h a t a p r e d i c t i o n t a b l e t h a t i s a b o u t

1 % o f p h y s i c a l m e m o r y s i z e i s v e r y e e c t i v e .

T h e p r e d i c t i o n s c h e m e i s g e n e r a l . I t d o e s n o t d e -

p e n d o n a - p r i o r i k n o w l e d g e o f t h e a c c e s s p a t t e r n s s u c h

a s o n e b l o c k l o o k - a h e a d [ 1 8 ] o r s t r i d e d e t e c t i o n [ 3 , 1 5 ] .

I t p r e d i c t s w e l l a l m o s t a n y r e p e a t e d a c c e s s p a t t e r n .

F o r e x a m p l e , t h e p r e d i c t i o n a c c u r a c y f o r 8 o f t h e 9

p r o g r a m s b e l o w i s a b o u t 9 4 % . ( S e e m o r e d e t a i l s i n

t h e r e s u l t s s e c t i o n ) .

F i g u r e 4 s h o w s a b l o c k d i a g r a m o f t h e p r e d i c t i o n

u n i t . T h e p r e d i c t i o n u n i t i s m a d e o f a p r e d i c t i o n t a b l e

( o p t i o n a l ) , a p r e d i c t i o n c a c h e ( s e e n e x t s u b s e c t i o n ) , a

p r e d i c t i o n c o r r e c t i o n c o n t r o l l e r a n d t w o b u e r s : t h e

a d d r e s s b u e r a n d t h e p r e d i c t i o n b u e r . W h e n t h e

C P U i s s u e s a n e w r e a d - r e q u e s t , t h e p r e d i c t i o n u n i t

f e t c h e s f r o m t h e p r e d i c t i o n c a c h e f o u r g u e s s e s f o r t h e

n e x t a d d r e s s r e q u e s t . I f t h e p r e d i c t i o n c a c h e d o e s n o t

h a v e a n e n t r y f o r t h e c u r r e n t a d d r e s s , ( a c a c h e m i s s )

t h e c a c h e i s u p d a t e d f r o m t h e p r e d i c t i o n t a b l e . T h e

c u r r e n t a d d r e s s i s p u s h e d i n t o t h e a d d r e s s b u e r . A t

t h e s a m e t i m e , t h e p r e d i c t i o n u p d a t e c o n t r o l l e r c o m -

p a r e s t h e c u r r e n t a d d r e s s w i t h t h e p r e v i o u s g u e s s e s t o

s e e i f t h e r e i s a m a t c h . I f t h e r e i s n o m a t c h w e h a v e

a p r e d i c t i o n m i s s . I n t h a t c a s e t h e p r e d i c t i o n u p d a t e

c o n t r o l l e r u p d a t e s t h e p r e d i c t i o n c a c h e a n d t h e p r e -

d i c t i o n t a b l e .

3 . 3 P r e d i c t i o n C a c h e

T o k e e p t h e c o s t o f t h e p r e d i c t i o n t a b l e d o w n ,

w e u s e D R A M t o s t o r e t h e t a b l e a n d u s e a s m a l l

p r e d i c t i o n - c a c h e t o k e e p t h e a c t i v e w o r k i n g s e t i n f a s t


7/10

m e m o r y . A s m a l l p o r t i o n o f t h e m a i n s y s t e m m e m o r y

m a y b e u s e d f o r t h e D R A M s t o r a g e . T h e i d e a i s s i m -

i l a r t o t h e T L B a s a c a c h e f o r t h e p a g e t a b l e . I n o u r

e x p e r i m e n t s w e u s e d a 3 2 K B p r e d i c t i o n c a c h e . S i n c e

w e a r e c a c h i n g t h e b l o c k a d d r e s s e s , t h e r e i s a h i g h l o -

c a l i t y o f r e f e r e n c e w h i c h i s e x p l o i t e d b y t h e c a c h e t o

o b t a i n f a s t p r e d i c t i o n s . O u r e x p e r i m e n t s s h o w t h a t

t h e p r e d i c t i o n d a t a e x h i b i t s v e r y g o o d l o c a l i t y . T h e

p r e d i c t i o n c a c h e h i t r a t e o n a l l t h e p r o g r a m s w e t r i e d

i s b e t t e r t h a n 9 8 % . S i n c e t h e p r e d i c t i o n t a b l e i t s e l f i s

n o t e s s e n t i a l f o r t h e a c t u a l o p e r a t i o n o f t h e p r e d i c t i o n

u n i t , w e t r i e d r u n n i n g t h e p r e d i c t i o n u n i t w i t h o n l y a

3 2 K B p r e d i c t i o n c a c h e . F o r a l l t h e p r o g r a m s w e t r i e d ,

t h e c a c h e o n l y s c h e m e h a d a n e s s e n t i a l l y i d e n t i c a l p e r -

f o r m a n c e t o t h e s c h e m e t h a t u s e d a p r e d i c t i o n t a b l e

a n d a p r e d i c t i o n - c a c h e .

4 S i m u l a t i o n a n d P e r f o r m a n c e E v a l u -

a t i o n

T o e v a l u a t e t h e p e r f o r m a n c e o f t h e p r o p o s e d m e m -

o r y s u b s y s t e m , w e u s e d a s i m u l a t i o n m o d e l a p p r o x -

i m a t i n g a s e r v e r c l a s s m a c h i n e s u c h a s t h e S u n M i -

c r o s y s t e m s ' S p a r c - C e n t e r S C 2 0 0 0 E . W e m a d e t h e f o l -

l o w i n g s i m p l i f y i n g a s s u m p t i o n s :

T h e p r o c e s s o r e x e c u t e s o n e i n s t r u c t i o n e v e r y 1 0 n s

( 1 0 0 M H z ) . W e d i d n o t a c c o u n t f o r i n s t r u c t i o n s t h a t

t a k e m o r e t h a n o n e c y c l e , b r a n c h i n g d e l a y s , a n d i n -

s t r u c t i o n c a c h e m i s s e s .

T h e r e i s a s e p a r a t e 1 6 K - b y t e p r i m a r y d a t a c a c h e

w i t h a 3 2 - b y t e c a c h e l i n e .

T h e s e c o n d a r y c a c h e ( L 2 ) b u s c y c l e t i m e s a r e 2 0 n s .

T h e d a t a b u s i s 6 4 b i t s w i d e .

T o o b t a i n a c c u r a t e r e s u l t s w e h a d t o o v e r c o m e t w o

m a j o r d i c u l t i e s : r s t - m o s t b e n c h m a r k p r o g r a m s

a r e t o o s m a l l ; s e c o n d - t o p r o p e r l y e v a l u a t e l a r g e s c a l e

p r o g r a m s e i t h e r a h a r d w a r e e m u l a t o r h a s t o b e u s e d

o r a h u g e a m o u n t o f c o m p u t i n g t i m e i s n e e d e d t o g e t

g o o d s i z e t r a c e s . S i n c e w e d i d n o t h a v e a c c e s s t o a n

e m u l a t o r , w e h a d t o c o m p r o m i s e . W e t r a c e d p r o g r a m s

w i t h m o d e r a t e d a t a s i z e s a n d w e s i m u l a t e d o n l y 2 b i l -

l i o n i n s t r u c t i o n s t o e v a l u a t e m e m o r y p e r f o r m a n c e . W e

u s e d s o m e p r o p o s e d S P E C 9 5 p r o g r a m s a n d a d d i t i o n a l

p r o g r a m s o f o u r o w n .

W e p r e s e n t r e s u l t s o f s e v e n p r o g r a m s ( t t , s w i m ,

m g r i d , t o m c a t v , s u 2 c o r , t u r b 3 d , w a v e 5 ) b e i n g c o n s i d -

e r e d f o r t h e S P E C 9 5 b e n c h m a r k s u i t e , a s w i t c h - l e v e l

e v e n t - d r i v e n s i m u l a t o r , ( l d v s i m [ 5 ] ) a n d a g r a p h s e a r c h

a l g o r i t h m ( m e t e o r [ 2 ] ) . T h e l a s t t w o p r o g r a m s t r a v e r s e

l a r g e l i n k - l i s t d a t a s t r u c t u r e s a n d t e s t o u r a r c h i t e c t u r e

o n p r o g r a m s t h a t h a v e d y n a m i c a n d i r r e g u l a r m e m o r y

a c c e s s . A l l t h e p r o g r a m s u s e o v e r 1 4 M - b y t e s o f m e m -

o r y . T a b l e 2 s h o w s t h e d a t a s i z e f o r e a c h p r o g r a m .

P r o g D e s c r i p t i o n M B

l d v s i m V L S I s w i t c h l e v e l s i m u l a t o r 1 7

m e t e o r G r a p h B a s e d T h e o r e m p r o v e r 2 2

w a v e 5 E l e c t r o m a g n e t i c S i m u l a t o r - S P E C 9 5 1 4

t u r b 3 d T u r b u l e n c e S i m u l a t o r - S P E C 9 5 2 5

s u 2 c o r Q u a n t u m P h y s i c s M o n t e - C a r l o S i m u l a t o r - S P E C 9 5 2 4

t t F a s t F o u r i e r T r a n s f o r m c o d e - S P E C 9 5 3 7

s w i m F i n i t e d i f f e r e n c e s P D E s o l v e r - S P E C 9 5 5 7

m g r i d M u l t i g r i d e q u a t i o n s o l v e r - S P E C 9 5 5 6

t o m c a t v F l u i d d y n a m i c s e q u a t i o n s o l v e r - S P E C 9 5 3 0

T a b l e 2 : W o r k l o a d

E a c h p r o g r a m w a s t r a c e d f o r 2 b i l l i o n i n s t r u c t i o n s

u s i n g t h e S H A D E s i m u l a t o r [ 8 ] w h i c h s i m u l a t e s t h e

S P A R C i n s t r u c t i o n s e t [ 1 9 ] . T o s k i p t h e i n i t i a l i z a t i o n

p h a s e o f t h e p r o g r a m s , m e m o r y r e f e r e n c e s w e r e c o l -

l e c t e d s t a r t i n g a f t e r o n e b i l l i o n i n s t r u c t i o n s .

W e u s e d a p r i m a r y c a c h e s i m u l a t i o n t o c o m p u t e

m i s s r a t e s , e e c t i v e e x e c u t i o n r a t e s , a n d t o l t e r o u t

c a c h e h i t s . W e c o l l e c t e d r s t - l e v e l c a c h e m i s s e s a n d

t i m i n g i n f o r m a t i o n i n l a r g e t r a c e l e s . W e u s e d t h e

t r a c e l e s t o d r i v e t h e m u l t i m o d e , e v e n t d r i v e n s i m u l a -

t o r l d v s i m [ 1 4 ] . W e u s e d l d v s i m t o a c c u r a t e l y s i m u l a t e

n o r m a l L 2 c a c h e a n d o u r d i s t r i b u t e d c a c h e a r c h i t e c -

t u r e . W e a s s u m e d a n e x e c u t i o n r a t e o f o n e i n s t r u c t i o n

p e r c y c l e a n d p r o c e s s o r s t a l l s o n d a t a m i s s e s o n l y . W e

s i m u l a t e d o n l y d a t a m i s s e s a n d o n l y c o n s i d e r e d d a t a

r e a d r e f e r e n c e s .

T w o m e a s u r e s w e r e u s e d t o c o m p a r e s e c o n d l e v e l

c a c h e a r c h i t e c t u r e s . T h e r s t m e a s u r e i s t h e a v e r a g e

c y c l e s p e r i n s t r u c t i o n ( C P I ) ,

C P I =

T

t i m e

T

n u m b e r

w h e r e T

t i m e

i s t h e t o t a l e x e c u t i o n t i m e i n c y c l e s a n d

T

n u m b e r

i s t h e t o t a l n u m b e r o f e x e c u t e d i n s t r u c t i o n s .

T h e s e c o n d i s t h e a v e r a g e C y c l e s P e r M e m o r y R e q u e s t

( C P R )

C P R =

T

a c c

T

a c c n u m

w h e r e T

a c c

i s t h e t o t a l n u m b e r o f c y c l e s s p e n t o n m e m -

o r y a c c e s s e s a n d T

a c c n u m

i s t h e t o t a l n u m b e r o f m e m -

o r y a c c e s s e s .

4 . 1 R e s u l t s

W e s i m u l a t e d m a n y d i e r e n t p o s s i b l e i m p l e m e n -

t a t i o n s u s i n g C D R A M , S D R A M , F a s t p a g e m o d e

D R A M a n d E D R A M . W e p r e s e n t h e r e r e s u l t s f o r

t h e a r c h i t e c t u r e i m p l e m e n t e d u s i n g E D R A M a n d

C D R A M . T h e E D R A M s i m u l a t i o n s w e r e d o n e u s i n g :


8/10

6 4 M e g a b y t e s o f E D R A M m a i n m e m o r y .

P r e d i c t i o n c a c h e o f 3 2 K b y t e s .

F o u r d i e r e n t p r e d i c t i o n s .

N o p r e d i c t i o n t a b l e .

F o u r w a y i n t e r l e a v e d m e m o r y .

P r e f e t c h b l o c k s i z e o f 2 K b y t e s .

C l u s t e r s i z e o f 2 5 6 b y t e s .

T h e s i m u l a t i o n f o r t h e m e m o r y s y s t e m i m p l e -

m e n t e d w i t h C D R A M w a s d o n e u s i n g :

6 4 M e g a b y t e s o f C D R A M m a i n m e m o r y .

P r e d i c t i o n c a c h e o f 3 2 K b y t e s .

F o u r d i e r e n t p r e d i c t i o n s .

P r e d i c t i o n t a b l e w i t h 2 5 6 K e n t r i e s .

F o u r w a y i n t e r l e a v e d m e m o r y .

P r e f e t c h b l o c k s i z e o f 6 4 b y t e s .

C l u s t e r s i z e o f 6 4 b y t e s .

T h e s i m u l a t i o n s o f c o n v e n t i o n a l L 2 c a c h e w e r e d o n e

a s s u m i n g 2 0 n s c a c h e c y c l e t i m e . T a b l e s 3 a n d 4 t a b -

u l a t e s t h e e e c t i v e m e m o r y a c c e s s t i m e ( i n 1 0 n s c y -

c l e s ) f o r a m e m o r y s y s t e m u s i n g c o n v e n t i o n a l m e m o r y

w i t h o u t a n e x t e r n a l c a c h e , m e m o r y w i t h a 2 5 6 K b y t e

c o n v e n t i o n a l L 2 c a c h e , a d i s t r i b u t e d c a c h e w i t h p r e -

d i c t i o n u s i n g E D R A M p a r t s a n d a d i s t r i b u t e d c a c h e

u s i n g C D R A M p a r t s . W e s h o w t w o e n t r i e s p e r a r c h i -

t e c t u r e : c y c l e s p e r m e m o r y r e q u e s t ( C P R ) a n d c y c l e s

p e r i n s t r u c t i o n ( C P I ) . C P R i s a m e a s u r e m e n t o f t h e

m e m o r y s y s t e m p e r f o r m a n c e , w h i l e C P I i s a m e a s u r e -

m e n t o f t h e e e c t o f t h e m e m o r y p e r f o r m a n c e o n o v e r -

a l l e x e c u t i o n s p e e d . F i g u r e s 5 a n d 6 s h o w t h e s a m e

i n f o r m a t i o n a s a b a r g r a p h .

W e s e e t h a t t h e d i s t r i b u t e d p r e d i c t i v e c a c h e a r c h i -

t e c t u r e c a n r e d u c e t h e C P R f o r t t b y a f a c t o r o f m o r e

t h a n 7 a n d f o r s u 2 c o r b y a f a c t o r o f 3 . 2 c o m p a r e d t o

a m e m o r y s y s t e m w i t h a c o n v e n t i o n a l L 2 c a c h e .

T h i s r e d u c t i o n i n e e c t i v e m e m o r y a c c e s s t i m e

t r a n s l a t e s i n t o a l a r g e s p e e d u p f a c t o r f o r s o m e o f

t h e p r o g r a m . T a b l e 3 c o m p a r e s t h e t h e C P I w i t h

a n d w i t h o u t p r e d i c t i o n . T h e p r e d i c t i o n s c h e m e d o u -

b l e s t h e p e r f o r m a n c e f o r t t a n d i m p r o v e s t h e p e r f o r -

m a n c e f o r s u 2 c o r b y 4 0 % . T h e p r e d i c t i o n s c h e m e o n l y

m a r g i n a l l y i m p r o v e s m e t e o r , t u r b 3 d , t o m c a t v , w a v e 5 ,

s w i m a n d m g r i d . T h e s e p r o g r a m s p e r f o r m w e l l w i t h

t r a d i t i o n a l s e c o n d l e v e l c a c h e s .

5 C o n c l u s i o n a n d F u t u r e W o r k

W e h a v e d e s i g n e d a n d e v a l u a t e d a s e c o n d a r y c a c h e

a r c h i t e c t u r e t h a t s u b s t a n t i a l l y r e d u c e s t h e e e c t i v e

m e m o r y a c c e s s t i m e f o r a l a r g e c l a s s o f s c i e n t i c

a n d o t h e r l a r g e s c a l e p r o g r a m s . T h e m e t h o d i s e f -

f e c t i v e f o r p r o g r a m s t h a t r e p e a t e d l y s w e e p t h r o u g h

l a r g e a n d c o m p l e x d a t a s t r u c t u r e s . W e u s e a s i m -

su2c

or

turb3

d

tomcatv

swim

mgrid tfft

wave

5ldv

pc

meteo

rAv

g0.4

5.4

10.4

15.4

EffectiveCyclesPerMemoryReference

L1L1+L2

CDRAM+PREDICTION

EDRAM+PREDICTION

F i g u r e 5 : R e s u l t s : - C y c l e s P e r M e m o r y R e f e r e n c e

su2c

or

turb3

d

tomcatv

swim

mgrid tfft

wave

5ldv

pc

meteo

rAv

g0.6

1.6

2.6

CyclesPerInstruction

L1

L1+L2

CDRAM+PREDICTION

EDRAM+PREDICTION

MemoryOverhead

F i g u r e 6 : R e s u l t s : - C y c l e s P e r I n s t r u c t i o n


9/10

P r o g D R A M L 2

C P R C P I C P R C P I

s u 2 c o r 1 5 . 4 0 1 2 . 0 6 6 6 . 4 0 4 1 . 4 0 0

t u r b 3 d 6 . 7 8 8 1 . 0 4 0 2 . 5 8 5 1 . 0 1 1

t o m c a t v 7 . 8 5 3 1 . 6 2 4 2 . 3 2 0 1 . 1 2 0

s w i m 1 0 . 5 4 6 3 . 2 3 4 2 . 4 1 0 1 . 3 3 0

m g r i d 4 . 1 8 6 1 . 0 3 8 2 . 5 0 8 1 . 0 1 8

t t 1 4 . 4 1 7 2 . 3 1 5 1 4 . 4 1 6 2 . 3 1 5

w a v e 5 5 . 2 1 4 1 . 0 0 8 2 . 0 7 3 1 . 0 0 2

l d v s i m 8 . 2 4 7 1 . 7 9 7 3 . 9 6 4 1 . 3 2 6

m e t e o r 5 . 7 8 6 1 . 0 6 2 2 . 4 7 4 1 . 0 1 9

A v g 8 . 7 2 1 . 6 9 4 . 3 5 1 . 2 8

T a b l e 3 : C o m p a r i s o n o f t h e 4 m e m o r y s c h e m e s

P r o g C D R A M + M A P E D R A M + M A P

C P R C P I C P R C P I

s u 2 c o r 4 . 6 5 1 1 . 2 7 0 2 . 0 3 1 1 . 0 7 6

t u r b 3 d 2 . 3 6 8 1 . 0 1 0 2 . 0 3 5 1 . 0 0 7

t o m c a t v 2 . 1 1 9 1 . 1 0 2 2 . 2 3 2 1 . 1 1 2

s w i m 2 . 0 5 8 1 . 2 4 8 2 . 0 0 6 1 . 2 3 5

m g r i d 2 . 2 1 7 1 . 0 1 5 2 . 1 9 0 1 . 0 1 4

t t 4 . 2 9 3 1 . 3 2 3 2 . 0 4 7 1 . 1 0 3

w a v e 5 2 . 2 0 5 1 . 0 0 2 2 . 7 4 4 1 . 0 0 3

l d v s i m 2 . 9 1 1 1 . 2 1 0 2 . 3 3 5 1 . 1 4 7

m e t e o r 3 . 0 2 1 1 . 0 2 6 2 . 4 1 8 1 . 0 1 8

A v g 2 . 8 7 1 . 1 3 2 . 2 3 1 . 0 8

T a b l e 4 : C o m p a r i s o n o f t h e 4 m e m o r y s c h e m e s

P r o g 1 s t 2 n d 3 r d 4 t h 5 t h

s u 2 c o r 0 . 9 5 9 0 . 9 5 7 0 . 9 4 2 0 . 9 4 0 0 . 9 2 9

t u r b 3 d 0 . 8 3 5 0 . 9 0 6 0 . 7 8 3 0 . 8 9 6 0 . 7 7 8

t o m c a t v 0 . 9 4 1 0 . 9 2 5 0 . 7 9 2 0 . 7 8 1 0 . 7 1 5

s w i m 0 . 9 5 5 0 . 9 4 6 0 . 9 4 3 0 . 9 4 6 0 . 9 3 7

m g r i d 0 . 8 0 2 0 . 8 0 1 0 . 7 5 6 0 . 7 3 1 0 . 7 2 7

t t 0 . 9 5 4 0 . 9 3 9 0 . 9 2 7 0 . 9 1 6 0 . 9 1 2

w a v e 5 0 . 9 7 5 0 . 9 2 3 0 . 8 9 6 0 . 8 8 0 0 . 8 6 8

l d v p c 0 . 9 5 5 0 . 9 5 2 0 . 9 5 0 0 . 9 4 9 0 . 9 5 0

m e t e o r 0 . 5 1 3 0 . 3 7 9 0 . 3 2 2 0 . 2 8 8 0 . 2 7 4

A v e r a g e 0 . 8 7 7 0 . 8 5 9 0 . 8 1 2 0 . 8 1 4 0 . 7 8 8

T a b l e 5 : P r e d i c t i o n A c c u r a c y a s a f u n c t i o n o f i ' t h F u -

t u r e P r e d i c t i o n

T h e f o l l o w i n g p a r a m e t e r s a r e u s e d :

P r e d i c t i o n T a b l e S i z e : 2 5 6 K e n t r i e s

C l u s t e r S i z e : 2 5 6 b y t e s

P r e d i c t i o n B l o c k S i z e : 2 5 6 b y t e s

N u m b e r o f P r e d i c t i o n s : 4

R e p l a c e m e n t P o l i c y : L R U

p l e t a b l e - b a s e d p r e d i c t i o n a n d p r e f e t c h i n g . T h e s u c -

c e s s o f t h e p r e f e t c h i n g s c h e m e i s i n d e p e n d e n t o f a n y

a - p r i o r i k n o w l e d g e a b o u t t h e p r o g r a m . D a t a p r e f e t c h -

i n g a l l o w s u s t o h i d e l a r g e m e m o r y a c c e s s l a t e n c y . W e

u s e E D R A M s t o i n c r e a s e m e m o r y - t o - c a c h e b a n d w i d t h

a n d o v e r c o m e t h e i n c r e a s e i n t r a c b e t w e e n m a i n

m e m o r y a n d t h e c a c h e . F o r s o m e p r o g r a m s , t h e l a -

t e n c y i s r e d u c e d b y h a l f a s c o m p a r e d t o a c o n v e n t i o n a l

d a t a c a c h e . O u r s c h e m e i s c o m p a t i b l e w i t h t o d a y ' s m i -

c r o p r o c e s s o r s , i t i s t r a n s p a r e n t t o t h e u s e r a n d c a n b e

i m p l e m e n t e d i n t o d a y ' s t e c h n o l o g y . W e d e m o n s t r a t e d

t h a t o u r h a r d w a r e p r e d i c t i o n s c h e m e g i v e s h i g h p r e d i c -

t i o n a c c u r a c y , u p t o 9 7 % , e v e n t h o u g h t h e p r e d i c t i o n

a l p h a b e t i s l a r g e .

T h e e x p e r i m e n t s d e s c r i b e d h e r e w e r e l i m i t e d t o o n e

p r e d i c t i o n s c h e m e a n d a x e d d i s t r i b u t e d c a c h e a r c h i -

t e c t u r e . W e p l a n t o e x p l o r e a n d e v a l u a t e o t h e r a l -

t e r n a t i v e s . F o r e x a m p l e , r a t h e r t h a n p r e d i c t i n g t h e

n e x t m e m o r y a c c e s s w e c a n p r e d i c t f u r t h e r i n t o t h e

f u t u r e . P r e l i m i n a r y s i m u l a t i o n s s h o w t h a t t h e p r e d i c -

t i o n a c c u r a c y i s o n l y s l i g h t l y e e c t e d b y p r e d i c t i n g t w o

o r t h r e e a c c e s s e s i n t o t h e f u t u r e . T a b l e 5 s h o w s t h e

p r e d i c t i o n a c c u r a c y w h e n u s i n g o u r m e t h o d t o p r e -

d i c t a c c e s s e s f u r t h e r i n t o t h e f u t u r e . W e s e e t h a t i n

m o s t c a s e s t h e p r e d i c t i o n a c c u r a c y f a l l s o n l y s l i g h t l y .

B y p r e d i c t i n g f u r t h e r i n t o t h e f u t u r e w e s h o u l d h a v e

m o r e t i m e t o p r e f e t c h d a t a a n d g e t a n e v e n b e t t e r


10/10

p e r f o r m a n c e . W e a r e a l s o i n v e s t i g a t i n g m o r e c o m p l e x

p r e d i c t i o n s c h e m e s t h a t s h o u l d y i e l d b e t t e r p r e d i c t i o n

c o n s i s t e n c y .

A c k n o w l e d g m e n t s

T h i s w o r k w a s s u p p o r t e d i n p a r t b y a r e s e a r c h g i f t

f r o m S u n M i c r o s y s t e m s . T h e a u t h o r s t h a n k S a n j a y

V i s h i n o f S u n M i c r o s y s t e m s f o r h i s h e l p i n s e t t i n g u p

t h e t r a c i n g e n v i r o n m e n t .

R e f e r e n c e s

[ 1 ] T h o m a s A l e x a n d e r . A D i s t r i b u t e d P r e d i c t i v e

C a c h e f o r H i g h P r e f o r m a n c e C o m p u t e r S y s t e m s .

P h D t h e s i s , D u k e U n i v e r s i t y , 1 9 9 5 .

[ 2 ] O . L . A s t r a c h a n a n d M . E . S t i c k e l . C a c h i n g

a n d l e m m a i z i n g i n m o d e l e l i m i n a t i o n t h e o r e m

p r o v e r s . I n P r o c e e d i n g s o f t h e E l e v e n t h I n t e r -

n a t i o n a l C o n f e r e n c e o n A u t o m a t e d D e d u c t i o n .

S p r i n g e r V e r l a g , 1 9 9 2 .

[ 3 ] J . L B a e r a n d T . F C h e n . A n e e c t i v e o n c h i p

p r e l o a d i n g s c h e m e t o r e d u c e d a t a a c c e s s p e n a l t y .

S u p e r C o m p u t i n g ` 9 1 , 1 9 9 1 .

[ 4 ] A . B o r g a n d D . W . W a l l . G e n e r a t i o n a n d a n a l y s i s

o f v e r y l o n g a d d r e s s t r a c e s . 1 7 t h I S C A , 5 1 9 9 0 .

[ 5 ] J . V . B r i n e r , J . L . E l l i s , a n d G . K e d e m . B r e a k -

i n g t h e B a r r i e r o f P a r a l l e l S i m u l a t i o n o f D i g i t a l

S y s t e m s . P r o c . 2 8 t h D e s i g n A u t o m a t i o n C o n f . , 6

1 9 9 1 .

[ 6 ] H . O B u g g e , E . H . K r i s t i a n s e n , a n d B . O B a k k a .

T r a c e - d r i v e n s i m u l a t i o n f o r a t w o - l e v e l c a c h e d e -

s i g n o n t h e o p e n b u s s y s t e m . 1 7 t h I S C A , 5 1 9 9 0 .

[ 7 ] T i e n - F u C h e n a n d J . - L . B a e r . A p e r f o r m a n c e

s t u d y o f s o f t w a r e a n d h a r d w a r e d a t a p r e f e t c h i n g

s c h e m e s . P r o c e e d i n g s o f 2 1 I n t e r n a t i o n a l S y m -

p o s i u m o n C o m p u t e r A r c h i t e c t u r e , 1 9 9 4 .

[ 8 ] R . F C m e l i k a n d D . K e p p e l . S H A D E : A f a s t

i n s t r u c t i o n s e t s i m u l a t o r f o r e x e c u t i o n p r o l i n g .

S u n M i c r o s y s t e m s , 1 9 9 3 .

[ 9 ] K . I . F a r k a s , N . P . J o u p p i , a n d P . C h o w . H o w

u s e f u l a r e n o n - b l o c k i n g l o a d s , s t r e a m b u e r s a n d

s p e c u l a t i v e e x e c u t i o n i n m u l t i p l e i s s u e p r o c e s s o r s .

P r o c e e d i n g s o f 1 9 9 5 1 s t I E E E S y m p o s i u m o n H i g h

P e r f o r m a n c e C o m p u t e r A r c h i t e c t u r e , 1 9 9 5 .

[ 1 0 ] J . W . C . F u , J . H . P a t e l , a n d B . L . J a n s s e n s . S t r i d e

d i r e c t e d p r e f e t c h i n g i n s c a l a r p r o c e s s o r s . S I G -

M I C R O N e w s l e t t e r v o l . 2 3 , n o . 1 - 2 p . 1 0 2 - 1 0 , 1 2

1 9 9 2 .

[ 1 1 ] E . H . G o r n i s h . A d a p t i v e a n d I n t e g r a t e d D a t a

C a c h e P r e f e t c h i n g f o r S h a r e d - M e m o r y M u l t i p r o -

c e s s o r s . P h D t h e s i s , U n i v e r s i t y o f I l l i n o i s a t

U r b a n a - C h a m p a i g n , 1 9 9 5 .

[ 1 2 ] M . S . L a m . L o c a l i t y o p t i m i z a t i o n s f o r p a r a l l e l

m a c h i n e s . P r o c e e d i n g s o f I n t e r n a t i o n a l C o n f e r -

e n c e o n P a r a l l e l P r o c e s s i n g : C O N P A R ' 9 4 , 1 9 9 4 .

[ 1 3 ] M . S L a m , E . E . R o t h b e r g , a n d M . E . W o l f . T h e

c a c h e p e f o r m a n c e a n d o p t i m i z a t i o n o f b l o c k a l -

g o r i t h m s . A S P L O S I V , 4 1 9 9 1 .

[ 1 4 ] M C N C . O p e n A r c h i t e c t u r e S i l i c o n I m p l e m e n t a -

t i o n S o f t w a r e U s e r M a n u a l . M C N C , 1 9 9 1 .

[ 1 5 ] T . C . M o w r y , M . S L a m , a n d A . G u p t a . D e -

s i g n a n d E v a l u a t i o n o f a C o m p i l e r A l g o r i t h m f o r

P r e f e t c h i n g . A S P L O S V , 1 9 9 2 .

[ 1 6 ] B e t t y P r i n c e . M e m o r y i n t h e f a s t l a n e . I E E E

S p e c t r u m , 2 1 9 9 4 .

[ 1 7 ] R a m t r o n . S p e c i a l i t y M e m o r y P r o d u c t s . R a m t r o n ,

1 9 9 5 .

[ 1 8 ] A . J . S m i t h . C a c h e m e m o r i e s . C o m p u t i n g S u r -

v e y s , 9 1 9 8 2 .

[ 1 9 ] T h e S P A R C A r c h i t e c t u r e M a n u a l , 1 9 9 2 .

[ 2 0 ] W . W a n g a n d J . B a e r . E c i e n t t r a c e - d r i v e n s i m -

u l a t i o n m e t h o d s f o r c a c h e p e r f o r m a n c e a n a l y s i s .

A C M T r a n s a c t i o n s o n C o m p u t e r S y s t e m s , 8 1 9 9 1 .

[ 2 1 ] W m . A . W u l f a n d S a l l y A . M c K e e . H i t t i n g t h e

M e m o r y W a l l : I m p l i c a t i o n s o f t h e O b v i o u s . C o m -

p u t e r A r c h i t e c t u r e N e w s , 1 2 1 9 9 4 .

Distributed Prefetch-Bufer -- Cache Design for High Performance

Documents

Transcript of Distributed Prefetch-Bufer -- Cache Design for High Performance