8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6

1/3

1

L o w D e n s i t y P a r i t y C h e c k C o d e s o v e r G F( q )

M a t t h e w C . D a v e y , D a v i d J . C . M a c K a y

A b s t r a c t | G a l l a g e r ' s l o w d e n s i t y b i n a r y p a r i t y c h e c k c o d e s

h a v e b e e n s h o w n t o h a v e n e a r S h a n n o n l i m i t p e r f o r m a n c e

w h e n d e c o d e d u s i n g a p r o b a b i l i s t i c d e c o d i n g a l g o r i t h m . W e

r e p o r t t h e e m p i r i c a l r e s u l t s o f e r r o r - c o r r e c t i o n u s i n g t h e

a n a l o g o u s c o d e s o v e r G F ( q ) f o r q > 2 , w i t h B i n a r y S y m -

m e t r i c c h a n n e l s a n d B i n a r y G a u s s i a n C h a n n e l s . W e n d a

s i g n i c a n t i m p r o v e m e n t o v e r t h e p e r f o r m a n c e o f t h e b i n a r y

c o d e s , i n c l u d i n g a r a t e 1 / 4 c o d e w i t h b i t e r r o r p r o b a b i l i t y

8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6

2/3

2

t h e p r o b a b i l i t y o f c h e c k m b e i n g s a t i s e d i f s y m b o l n o f

x i s c o n s i d e r e d x e d a t a a n d t h e o t h e r n o i s e s y m b o l s

h a v e a s e p a r a b l e d i s t r i b u t i o n g i v e n b y t h e p r o b a b i l i t i e s

f q

a

m n

0

: n

0

2 N ( m ) n n ; a 2 G F ( q ) g .

A . I n i t i a l i s a t i o n

W e i n i t i a l i s e t h e v a l u e s o f q

a

m n

t o f

a

n

, t h e l i k e l i h o o d t h a t

x

n

= a a c c o r d i n g t o t h e c h a n n e l m o d e l a s o u t l i n e d i n s e c -

t i o n I I I .

B . U p d a t i n g r

a

m n

W e c o m p u t e t h e n e w v a l u e o f r

a

m n

:

r

a

m n

=

X

x

0

: x

0

n

= a

P r o b z

m

j x

0

]

Y

j 2 N ( m ) n n

q

x

0

j

m j

( 1 )

w h e r e P r o b z

m

j x

0

] 2 f 0 ; 1 g a c c o r d i n g t o w h e t h e r o r n o t x

0

s a t i s e s c h e c k m .

W e c a n c a l c u l a t e r

a

m n

e c i e n t l y b y d e n i n g t h e p a r t i a l

s u m s

m k

: =

P

j : j k

H

m j

x

0

j

a n d

m k

: =

P

j : j k

H

m j

x

0

j

a n d c a l c u l a t i n g P r o b

m k

= a ] f o r e a c h a 2 G F ( q ) a n d

e a c h k 2 N ( m ) a c c o r d i n g t o t h e p r o b a b i l i t i e s g i v e n b y t h e

q . I f i ; j a r e s u c c e s s i v e i n d i c e s i n N ( m ) w i t h j > i t h e n

P r o b

m j

= a ] =

X

f s ; t : H

m j

t + s = a g

P r o b

m i

= s ] q

t

m j

( 2 )

S i m i l a r l y w e c a n c a l c u l a t e t h e d i s t r i b u t i o n o f e a c h

m k

.

N o w w e c a n u p d a t e t h e v a l u e s o f r

a

m n

u s i n g

r

a

m n

= P r o b

(

m ( n ? 1 )

+

m ( n + 1 )

) = z

m

? H

m n

a

( 3 )

=

X

f s ; t : s + t = z

m

? H

m n

a g

P r o b

m ( n ? 1 )

= s

P r o b

m ( n + 1 )

= t

( 4 )

C . U p d a t i n g q

a

m n

F o r e a c h m a n d n a n d f o r a 2 G F ( q ) w e u p d a t e :

q

a

m n

=

m n

f

a

n

Y

j 2 M ( n ) n m

r

a

j n

( 5 )

w h e r e

m n

i s c h o s e n s u c h t h a t

P

q

a = 1

q

a

m n

= 1 .

W e t h e n m a k e a t e n t a t i v e d e c o d i n g

x :

x

n

= a r g m a x

a

f

a

n

Y

j 2 M ( n )

r

a

j n

( 6 )

I f H

x = z t h e n t h e d e c o d i n g a l g o r i t h m h a l t s h a v i n g i d e n -

t i e d a v a l i d d e c o d i n g o f t h e s y n d r o m e , o t h e r w i s e t h e a l -

g o r i t h m r e p e a t s . A f a i l u r e i s d e c l a r e d i f s o m e m a x i m u m

n u m b e r o f i t e r a t i o n s ( e . g . 5 0 0 ) o c c u r s w i t h o u t a v a l i d d e -

c o d i n g .

V . R e s u l t s

W e c o m p a r e c o d e s o f b l o c k l e n g t h N s y m b o l s o v e r

G F ( 2

b

) w i t h b i n a r y c o d e s o f l e n g t h N b , i . e . c o d e s o f l e n g t h

1 0 0 0 o v e r G F ( 8 ) w i t h b i n a r y c o d e s o f l e n g t h 3 0 0 0 .

F i g u r e 1 c o m p a r e s t h e p e r f o r m a n c e o f L D P C c o d e s w i t h

a x e d c o l u m n w e i g h t o f 3 o v e r a B S C u s i n g c o d e s o v e r

e l d s G F ( 2 ) ; G F ( 4 ) ; a n d G F ( 8 ) . T h e v e r t i c a l a x i s s h o w s

t h e e m p i r i c a l b i t - e r r o r p r o b a b i l i t y . I t s h o u l d b e p o i n t e d

o u t t h a t a l l t h e e r r o r s w e r e d e t e c t e d e r r o r s : t h e d e c o d e r

r e p o r t e d t h a t i t h a d f a i l e d . T h e B S C r e s u l t s s h o w a m o n o -

t o n i c i m p r o v e m e n t a s w e i n c r e a s e t h e o r d e r o f t h e e l d s o n

w h i c h t h e c o d e s a r e b a s e d .

1e-06

1e-05

0.0001

0.001

0.01

0.1

0.07 0.075 0.08 0.085

EmpiricalBit-ErrorProbability

Noise Level

q=2, N=2000q=4, N=1000

q=2, N=6000q=8, N=2000

F i g . 1 . C o m p a r i s o n o f p e r f o r m a n c e o f L D P C c o d e s f o r a B S C o v e r

G F ( 2 ) ; G F ( 4 ) , a n d G F ( 8 ) . T h e s e c o d e s h a d c o l u m n w e i g h t 3

a n d r a t e 1 / 2 . F r o m t o p t o b o t t o m : ( N ; q ) = ( 2 0 0 0 , 2 ) ; ( 1 0 0 0 , 4 ) ;

( 6 0 0 0 , 2 ) ; ( 2 0 0 0 , 8 ) .

F i g u r e 2 s h o w s t h e p e r f o r m a n c e o f L D P C c o d e s o v e r

a B i n a r y G a u s s i a n C h a n n e l . T h r e e c o d e s o f r a t e 1 / 3

w i t h a v e r a g e c o l u m n w e i g h t 2 . 5 a r e s h o w n , o v e r e l d s

G F ( 2 ) ; G F ( 4 ) ; a n d G F ( 8 ) . A l s o s h o w n i s a c o d e o f r a t e

0 . 2 6 w i t h c o l u m n w e i g h t 2 . 3 o v e r G F ( 1 6 ) . W e c o m p a r e t h e

p e r f o r m a n c e o f t h e s e L D P C c o d e s w i t h r e c e n t T u r b o c o d e

r e s u l t s 8 ] .

1e-06

1e-05

0.0001

0.001

0.01

0.1

-0.2 0 0.2 0.4 0.6 0.8 1

EmpiricalBit-ErrorProbability

SNR/dB

Turbo,Rate 1/4

Turbo,Rate 1/3

GF(16)

GF(2)

GF(4)

GF(8)

F i g . 2 . C o m p a r i s o n o f p e r f o r m a n c e o f L D P C c o d e s o v e r a B i n a r y

G a u s s i a n C h a n n e l o v e r G F ( 2 ) ; G F ( 4 ) , a n d G F ( 8 ) . F r o m l e f t t o

r i g h t : J P L T u r b o c o d e , r a t e 1 / 4 , b l o c k l e n g t h 6 5 5 3 6 ; L D P C C o d e

w i t h r a t e 0 . 2 6 , a v e r a g e c o l u m n w e i g h t 2 . 3 , ( N ; q ) = ( 6 0 0 0 , 1 6 ) ;

J P L T u r b o c o d e , r a t e 1 / 3 , b l o c k l e n g t h 4 9 1 5 2 ; L D P C c o d e s w i t h

r a t e 1 / 3 , a v e r a g e c o l u m n w e i g h t 2 . 5 : ( N ; q ) = ( 6 0 0 0 , 8 ) , ( 9 0 0 0 , 4 ) ,

( 1 8 0 0 0 , 2 ) .

T h e B i n a r y G a u s s i a n C h a n n e l r e s u l t s s h o w t h a t L D P C

8/13/2019 Low-Density Parity Check Codes Over GF(q)REF6

3/3

3

c o d e s o v e r h i g h e r o r d e r e l d s c a n s i g n i c a n t l y o u t p e r f o r m

t h e e q u i v a l e n t b i n a r y c o d e s . A n i m p r o v e m e n t o f 0 . 3 d B i s

s h o w n f o r t h e r a t e 1 / 3 c o d e m o v i n g f r o m b i n a r y t o G F ( 8 )

c o n s t r u c t i o n . O u r M o n t e C a r l o s i m u l a t i o n s o f i n n i t e

L D P C c o d e s 9 ] m o t i v a t e d t h e c o n s t r u c t i o n o f a r a t e 0 . 2 6

c o d e o n G F ( 1 6 ) w i t h a v e r a g e c o l u m n w e i g h t 2 . 3 , w h o s e

p e r f o r m a n c e a p p r o a c h e s t h a t o f t h e b e s t k n o w n T u r b o

c o d e s .

I t i s w o r t h n o t i n g t h a t i n v e s t i g a t i o n s o f h i g h e r w e i g h t

c o d e s o v e r t h e B i n a r y G a u s s i a n C h a n n e l s u g g e s t t h a t t h e r e

i s n o t a l w a y s a m o n o t o n i c i m p r o v e m e n t w i t h i n c r e a s e d e l d

o r d e r . F o r e x a m p l e w i t h c o l u m n w e i g h t 3 , r a t e 1 / 2 c o d e s ,

t h e G F ( 4 ) c o d e s o u t p e r f o r m e d G F ( 8 ) c o d e s . I t r e m a i n s

a n i n t e r e s t i n g t o p i c f o r f u r t h e r r e s e a r c h t o u n d e r s t a n d t h e

o b s e r v e d d e p e n d e n c i e s o f t h e d e c o d i n g a l g o r i t h m o n t h e

p a r a m e t e r s o f t h e c o d e .

T h i s w o r k c o n r m s t h a t t h e n e a r S h a n n o n l i m i t p e r f o r -

m a n c e o f G a l l a g e r ' s b i n a r y l o w d e n s i t y p a r i t y c h e c k c o d e s

c a n b e s i g n i c a n t l y e n h a n c e d b y a m o v e t o e l d s o f h i g h e r

o r d e r .

R e f e r e n c e s

1 ] R . G . G a l l a g e r , \ L o w d e n s i t y p a r i t y c h e c k c o d e s " , I R E T r a n s .

I n f o . T h e o r y , v o l . I T - 8 , p p . 2 1 { 2 8 , J a n 1 9 6 2 .

2 ] R . G . G a l l a g e r , L o w D e n s i t y P a r i t y C h e c k C o d e s , N u m b e r 2 1 i n

R e s e a r c h m o n o g r a p h s e r i e s . M I T P r e s s , C a m b r i d g e , M a s s . , 1 9 6 3 .

3 ] D . J . C . M a c K a y a n d R . M . N e a l , \ G o o d c o d e s b a s e d o n v e r y

s p a r s e m a t r i c e s " , i n C r y p t o g r a p h y a n d C o d i n g . 5 t h I M A C o n f e r -

e n c e , C o l i n B o y d , E d . , n u m b e r 1 0 2 5 i n L e c t u r e N o t e s i n C o m p u t e r

S c i e n c e , p p . 1 0 0 { 1 1 1 . S p r i n g e r , B e r l i n , 1 9 9 5 .

4 ] D . J . C . M a c K a y a n d R . M . N e a l , \ N e a r S h a n n o n l i m i t p e r f o r -

m a n c e o f l o w d e n s i t y p a r i t y c h e c k c o d e s " , E l e c t r o n i c s L e t t e r s ,

v o l . 3 2 , n o . 1 8 , p p . 1 6 4 5 { 1 6 4 6 , A u g u s t 1 9 9 6 , R e p r i n t e d E l e c t r o n -

i c s L e t t e r s , v o l 3 3 , n o 6 , 1 3 t h M a r c h 1 9 9 7 , p . 4 5 7 { 4 5 8 .

5 ] D . J . C . M a c K a y , \ G o o d e r r o r c o r r e c t i n g c o d e s b a s e d o n v e r y

s p a r s e m a t r i c e s " , s u b m i t t e d t o I E E E t r a n s a c t i o n s o n I n f o r m a t i o n

T h e o r y . A v a i l a b l e f r o m h t t p : / / w o l . r a . p h y . c a m . a c . u k / , 1 9 9 7 .

6 ] M . C . D a v e y a n d D . J . C . M a c K a y , \ G o o d c o d e s o v e r G F ( q )

b a s e d o n v e r y s p a r s e m a t r i c e s " , I n p r e p a r a t i o n , 1 9 9 7 .

7 ] J . P e a r l , P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t S y s t e m s : N e t -

w o r k s o f P l a u s i b l e I n f e r e n c e , M o r g a n K a u f m a n n , S a n M a t e o ,

1 9 8 8 .

8 ] J P L , \ T u r b o c o d e s p e r f o r m a n c e " , A v a i l a b l e f r o m

h t t p : / / w w w 3 3 1 . j p l . n a s a . g o v / p u b l i c / T u r b o P e r f . h t m l , A u g u s t

1 9 9 6 .

9 ] M . C . D a v e y a n d D . J . C . M a c K a y , \ M o n t e C a r l o s i m u l a t i o n s

o f i n n i t e l o w d e n s i t y p a r i t y c h e c k c o d e s o v e r G F ( q ) " , A v a i l a b l e

f r o m h t t p : / / w o l . r a . p h y . c a m . a c . u k / i s / p a p e r s / , 1 9 9 7 .