ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1...

90

Transcript of ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1...

Page 1: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

������������ ������������������������ "!$#%�&�('�)

*,+.-)/1032547684:9�;<;<9�=./>0?A@�B.C

Page 2: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�����������

�� ��������������� ��� � ��"!#���%$��& �'(�� ��"�*)��,+-$.�/�102�43*�")1�,$65%�7�98;:�8;<% ��� � ��� ��& >=,?�@BAC��DFEDG�")1�,$�02�*+�+IH� ���0"��J��/�� 7�, �'��/ ��,�")K��J1 ��CLM�B�����&5��&!/�NJO�7��DP)1�,$.HM02�/ �'Q�,)�)1��)R)K�4J��S���* � ������T�0K ��� � ��"!��UJ��R ��"'*!&�/'��/5�!/�P!/�"3��,!/�WV��&J� ��*H.JX�1��0")��&YM0"�& �'9$��4JK��)K�4J1�,�,8U�� ��ZL�)��/+[��)1�\��5��TJ1�*02!/�J��]J� ��RL�)K��0^J1�/0,��!�HM�T�9��D;J� ��/�PJ� ��,��)1�"+_ ����P5M�,�" `J� ��9�,aBH��/L�+C�" BJZ0"��+CL�!/�2b.�NJO�C�� M$CJ� ��02�*+CL�H.J1��J��/�� QJ��/+C�)��Sa*H��&)1�,$`J��[$.�S02�.$.�\J� �� ������T�`)��S02�"�/3��S$`$���J1��8

�� ����P+C�� ���'�)K��L� �L�)��S�T�, *JK�P�\J1�,0K � ��/aBH���DG��)���0K ��/�"3%�/ �' ��/'� `$���J1�)K�4J1�,���� �$[ ��"'�E!/�&'*�&5�!/�R�")1)��*)�L�)1��5M��5��/!&�&J��/�,�Z�* ` ��*�/���c0K ��� � ��"!��ZV��NJ1 (��)1�,������ M��5�!/����+C�*H� BJ���DU�,aBH��/L.E+C�" BJ,8X�� ��Z��$.34�� BJK��'��S�U�� �$d$.���1��$.34�� BJK��'��S�;��D�J� ����WJ��,0K � ��/aBH����43��,)U��J1 ��")WJ��S0K � ���aBH��,�DG��)�J1 ��(�1��+C�(L�H�)1LM�B�T�6��)1�` ��"�&J� ��,)C���/+�L�!&�6 ��*)�0"!&�S��)�Ee0"H.J,fP�� �$g$��"Lh�" �$>L�)1�&+[��)1�/!&�H�Lh�� iJ� ��`0K ��� � ��"!P�� �$�J� ��CJO�%Lh�c��D����")13B��02�C)1�,aBH��/)��S$;8`jk�*)��C�/+CLM�*)TJK�� BJJ� ��� lJ� ��L���)TJ1�/0"H�!/��)\J��S0K � ���a*H���fU ��4V��,3��")Sfm���\J� ��[ ���Lh�[J� M�4JJ� ��`02�* �02�,L.J1�\ ��,)��[V��/!/!#!&�S��$�J�� ��,Vn�� M$Q5h�2J�J��,)�02�.$.�/ �'CL�)1�%0"�,$.H�)��S�"8

�� ��`0K ���L.J��,)1�\��D�J� ��[+C�� ���'�)K��L� i��)��c��)�)K�� �'*�,$7�& o��H�0K p�6VZ�q�rJ� ���JdV��NJ1 lJ� ���2b�0"�"L.J1�&�* 7��D��� ���L�J��")ds`�,�*0K �0K ���L.J��,)0"�� i5h��)1�,�*$r�/ �$.�,LM�, �$.�" BJ1!&����DPJ1 ��C��J1 ��")K�"8�� ���L.J��,)�=����2JK�#J1 ���5��*0Kt%'�)1��H� �$���D;J� ��R�OJ1H�$.��f.��H�+C+[��)1�&u,�,��J1 ���)1�,��H�!&J1�,fB�� �$C5�)1�&�"v��02�*+CL���)1�,�!/�4V�Ew$.�" ����&JO�i0"�%$��& �'�V��NJ1 o��J1 ��")C02�.$.�/ �'i��0K ��,+C�,�,8i�� ���L�J��")[xk�� ���!/�%u"�,�J� ��c$.�/�TJ1�� �02�S�\5M�"JOV��,�" l02�.$.�[VZ��)K$��R�& l!/�4V�Ee$��" ����NJO�r0"�.$.�,��� �$l�� M��L.J1�")]y6��L�L�!&�/�,�J� ��,���R)1�,��H�!&J1��J���J1 ��\L�)��*5�!/�"+z��DW5h��H� �$��& �'�J1 ��\L�)��*5���5��&!/�NJO�[��D{$.�S02�.$.�/ �'C�")1)��*)PJ1 ��4J0"�� Q5h�]��0K ��&�,3��,$cDG��)�J1 ��,���]02�.$.�S���� 6�I5�)��B��$(02!����1����D{5��& ���)��BEe�& �L�H.J�0K ��� � ��"!��"8��� ��)1�,��H�!NJK����D��� ���L.J��,)\yQ0"�� 75h�I�/+C+��S$.���4J��,!&�r��L�L�!/�&�S$kJ1�(�� B�r0"�.$.�d�*)R0"!/�*���R��DZ02�.$.�,�DG��)�V� ���0K QJ� ��$.���OJK�� �0"�\L�)��*LM�,)TJ1�&�S��0"�� Q5M�5h��H� �$.�,$m8��� ���L.J1�")�@�L�)��S�T�, BJ1���C�T�/+CL�!&�$.�S02�.$.�/ �'7��!/'��*)��&J� �+|DG��)]J� ��S�T�`0"�.$.�,�I�� �$p�� ���!/�%u"�,�J� ��Q)��S�TH�!&J��/ �'k�,)�)1��)L�)1��5M��5��/!NE�&JO��8]�� ���L.J1�")]s[5�)��/�2v��6�"bBJ1�" �$��9��!&!{J� ��dL�)1�"3%�/��H��9)��S�TH�!NJK��J1�`+dH�!NJ1�NEe�& �L�H.J]0K ��� � ��"!��"f�� M$p�� M��L.J1�")I}6L�)��S�T�, *JK�\J� ��c)��S�TH�!NJK���D�02�*+CL�H.J��,)d���&+IH�!/��J��/�� l��D�J1 ��c!/�4V�Ee$.�, ����NJO�$.�S02�.$.�/ �'[��!/'���)1�&J� �+68

�� ��dVZ��)1t()��,LM�*)TJ1�,$6 ��,)��]���R�� k�2b.L��� �$.�S$r�� �$r)��,3B�����,$63��,)1���/�� 6��D#+I�($.�.02J���)K��!$.�������")�J1��J��/�� mf�02��+CL�!/�2J1�,$>�& ~=,?*}��k�/ >J� ��r�9�"L���)TJ1+C�" BJ���DR:P!&�S0^J�)1��0"��!�:P �'��/ ��"�,)��/ �'Mfjp8 �^8 �\8n����+�'*)1��J��2DGH�!�J��p+d�gJ� ��S�T���c��H�Lh�")13B������)SfZ�P)���DG�,�1�T�*)��X�"J��")c:P!&�����,f��� �$>J��+d�gJ� ��S�T���c)1�,�*$.�")K�,fZ�P)���DG�,�1�T�*)1�C���*5M�,)TJQjo8����� ��o�� M$����* � �jp8P�i��u,�" �0")1��DFJ,f�DG��)���1���/�TJ1�� �02�\�� �$Q�" M02��H�)1��'��"+C�, *J�5h��J� k$.H�)��/ �'�J� ��]0"��H�)K���R��DUJ1 ��\J� ��S�T������ �$`!��4J1�")S8

�� ����U)1�,���,��)10K RVZ�*�;+[��$.��LM�B�����/5�!&�P�& ]LM��)�Jm5B���H�L�Lh��)�JU�2b%J1�" �$.�S$5%��J1 ������,���,��)K0K �U��5M�*)1��J��*)��\��D�:#!/�,02J�)1�� ���0"�{��DMJ� ���jr�*���1��0K %H����2J�J1�{�w ��TJ��&J�H.J1����D��U�S0K � ���!/��'*��f4V� ���0K ��/���H�L�Lh��)�J��,$c�& cLM��)�J�5%�dJ1 ��\�]8�<�8B��)�+I��fBJ� ��9���/)�����)K02�\���[0"����DW<.02�/�" BJ��&YM0R���,���,��)10K Uf�� M$(J� ������c0"�]��D#���q34��!U���,���,��)10K U�M��$�$.�NJ1�&�* ���!W�TH�L�LM�*)TJ�V�����)��S02�"�/3��S$QJ� �)1��H�'* 6J� ������J��/�� ���!R<.0"�&�, �02�i���*H� �$���J��/�� ����R)K�� BJk�9E1=S}*s�x�}*���� M$�J� ��i����J��/�� ���!��w ��TJ��&J�H.J1����D���S��!&J� p���R)K�� BJ�jr��Ee��@%�4y%�SEw��yB�^8

jkH�0K ���DU�� ���L�J��")X@\���X)��,L�)��/ BJ��S$dV��&J� �LM�,)�+C�������/�� ���D�J1 ����,$��NJ1��)K�UDG)1��+��� C��)�J���02!/�5%�[J� ��]��H.J1 ���)��/ (J� ��]�W)1�� ��1��0^J1�&�* �����D{J� ���^8 �8 :�8/f.�O���%?�f.LM��'��S��x.=9J��`x�A�8

�� ��`�"b.LM�,)��/+C�" BJ1��!�)1�,��H�!&J1�]�/ ��� ���L.J��,)�}rV��,)��c�*5.J1���& ��,$p�/ oL���)TJ]J1 �)1��H�'* pJ� ����H�L�Lh��)�J���DUJ1 ������+C����/)����,3��,!&�*L�+C�" BJ����, BJ��")��� �$Q�& (L���)�J�J� �)1��H�'� cJ1 ���TH�L�LM�*)TJ��DWJ� ��]jo8 �^8 �\8h����+CL�H�J1�4J1�&�* 7���" BJ��,),8

�Z��+I5�)1�/$.'*��f.jr�*���,8�*H�!&�*f;=,?*}�y ����5h�")�J9��8M�\��!/!/��'��,)

x

Page 3: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

������� � �����

���� ����������� ������ �=�8/= ���.$.�/ �'�DG��)��9�&'*�NJK��!m�R�4JK�[�U)K�� ���+C�/�1���&�* 8\888R88\888\88\88\88 @=�8�x �m�4V�Ew�9�" ����NJO�Q����)1�NJO�BET�� ��,0Ktc���.$.�,�~88\88\888R88\888\88\88\88 �=�8 y <%H�+C+[��)1�c��DX���S�TH�!NJK� 88R88\888\88\88\888R88\888\88\88\88 �=�8 @ ����+CL���)������� `V��&J� 7��J1 ��")�<.0K ��"+C�,� 88\88\888R88\888\88\88\88 ?

��� ��!� #"$���&%(')�)���� #�*�+�)! ���x.8/= :PaBH��/L�)1��5���5�!/�R:P ��T�,+d5�!/�\��D�����)1�NJO�BET�� ��,0Kt`���.$.�S� 8\888\88\88\88 =*=x.8�x �9�/�TJ1�� �02�]�P)��*LM�,)TJ1�&�S����D{�U�4V�Ee�9�" ����&JO�(���.$.�,�788R88\888\88\88\88 =Sy

,.-/���102"302�*4*�* 657�+89� %:�;���)���)<>=?�@�@��� �A�y�8/= <%�%+C+C�2J�)1��0CB��/ ���)��[�w �L�H.J\�� ��� � ��"!�� 8\88\888R88\888\88\88\88 x�=y�8�x �9�/�TJ1�� �02�]�P)��*LM�,)TJ1�&�S��8\88R88\888\88\88\888R88\888\88\88\88 x�=y�8 y ��L�LM�,)DBZ��H� �$Q�� k�P)��*5���5��/!/�NJO�[��D{�9�,02�.$.�/ �'c:P)�)1��)o8\888\88\88\88 x�yy�8 @ �� ��,)� ��43 B��*H� �$���88\88R88\888\88\88\888R88\888\88\88\88 x*sy�8�s EF2G�DG�*)9���.$.�,���� �$6:# ����"+I5�!&�S�Z��DP���%$��,� 8\888R88\888\88\88\88 x�Ay�8 } :#)1)1��)��#)1��5���5��&!/�&JO�CDG��)�:PaBH��/L�)1��5���5�!/�]���.$.�:P ��T�,+d5�!/� 88\88\88\88 y�=y�8 �HBZ�& M��)1�Q<%�%+C+��"J�)1�/0]�� ��� � ��,! 888\88\88\888R88\888\88\88\88 y�@y�8 A ��L�LM�,)DBZ��H� �$Q�� k����J��RDG��)��U�4V�Ee�9�" M�T�&JO�(���.$.�,�l88\888\88\88\88 y%�

�H� %:�;���)���)< ,�I@�8/= �w BJ�)1�.$.H�0^J1�&�* r88\888\88R88\888\88\88\888R88\888\88\88\88 y*?@�8�x �#)1��5M��5��/!&���TJ���09�9�,0"�%$��& �'�8R88\888\88\88\888R88\888\88\88\88 @B�@�8 y �#)1��5M��5��/!&�&JO�[��D�:#)1)1��)������& �'[�P)��*5���5��/!/�/�TJ���09�9�,0"�.$.�& �'Q888\88\88\88 @*@

J�KL�:M�NO�P%:�)!#�Q 65SRT�U�)%:!�MV�Q �WSXY�@0��* ���"3�@5ZX 4Q[2W)"$0L%\ ^]U�*_;%:! �+Is.8/= �9�/�TJ1�� �02�]��H� �0^J1�&�* ���8\88R88\888\88\88\888R88\888\88\88\88 @B?s.8�x �#)1��5M��5��/!&�&JO�[��D��9�,02�.$.�/ �'[:#)1)1��)c88\88\88\888R88\888\88\88\88 s�=s.8 y �#)1��5M��5��/!&���TJ���09�9�,0"�%$��& �'�8R88\888\88\88\888R88\888\88\88\88 s*xs.8 @ �#)1��5M��5��/!&�&JO�[��D�:#)1)1��)������& �'[�P)��*5���5��/!/�/�TJ���09�9�,0"�.$.�& �'Q888\88\88\88 s�@

`.=DaA[b%;����cd%:�� �"$4beY%:!���4Q #! J�f}�8/= ���.$.�d�R�" ��")K�4J��/�� 88\88R88\888\88\88\888R88\888\88\88\88 sB�}�8�xgBZ�& M��)1�Q<%�%+C+��"J�)1�/0]�� ��� � ��,! 888\88\88\888R88\888\88\88\88 sB�}�8 y �� ��&J��I�\��H��1�T���� (���������]�� M�� � ��,! 8\88\88\888R88\888\88\88\88 }*�}�8 @ ���q�%!/�"�/'� 6����$��& �'`�� ��� � ��,! 8\888\88\88\888R88\888\88\88\88 }Bx

XH-/���1[L%\�@ ���%:!��+8h #W)%(')�)���� #�*�+�Si �kjM� `+f

lHm �*!#�&%:4�4*"$��%:����! m "3 �W�%:cd"3 ����&"$4n�P%;���*o$"3 �������!p8k���PRqW�"3[) #%\� , f��

R�XY��"$4Q5�!#�*!p�+89rs��ct0L%\�V�+89����)%\[L%:���)%:�� V� %:�;���)���)<>u #%\�@"$ ��*�+��! v��

eY%:8w%\��%\���&%:! v�I

����)%\a I�x

y

Page 4: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � ��� � ����� �����q�

��� �� ����������� �������� ��!#"�$%��"&!'"�()�*"��+',-��+'+'�� ��� ��� ��"�,$�DG�*)P�"�[0"�&�, BJ��� �$c)��,!&����5�!/��$.�/'��&J1��!M$���J1�]0"��+C+dH� ��/0,�4J��/�� [���.�OJ1�"+[�# ��*�#5h�"�, )1�/���& �'()K��L��/$.!/�r�/ l)��S02�" BJ���S��)K�"8[�� ���� ��,�,$i ��*�\5M�,�" p5�)1��H�'* BJ\�* �5%�i�Q34��)��/�2JO�r��D)1�,������ M�"fq��+C�� �'�J� ��"+ 5h�"�/ �'�J1 ��Z�& �0")��S�����#�/ I��H�J���+[��J���0P$���J1�9L�)��.0"�,�1�T�/ �'��Sa*H��&L�+C�, *J�� M$\J� ��Z�/ �02)1�,�*�T�S$ ��"�S$DG�*)W!/�� �'9)1�� �'��Z02�*+�+IH� ���0"��J��/�� m8U�ZJ�J��,+�L�J1�{J��\$.�,3��"!/��LI$��4JK����%�TJ��,+[�cJ1 �)��*H�'� J� ��iH�������DI02�* B3*�" BJ��/�� M��!�+C�.$.H�!��4J1�&�* n�� M$ 3��*�/0"�kJ�)K�� M�T+C�������&�* J��S0K � ���aBH��,�P ��q3���'*�" ��,)1��!&!/��)��S�TH�!&J��S$C�& (�T�.�TJ��,+C�PV��NJ1 c)1�"!��4J��/3��,!&��!/�4V�$��4J��9)1��J��S�P�� M$ ��/'� (�")1)��*)�L�)��*5���5��&!/�NJ1�&�S�"8

� +C��)1�dDGH� M$���+C�" BJK��!#��L�L�)��B��0K kJ1�(J� ��[L�)1��5�!&�,+C�R��D��2�c0"�&�, �02�7�� �$�)��,!&����5��/!/�NJO��/ �02�*+C+dH� ���0"��J��/�� i�T�.�TJ��"+[�R���02�� BJK���/ ��,$k�/ �J� ��[���*�/������ ��� � ��"!P���.$.�/ �'(J� ��,��)1�"+$.�,3��"!/��Lh�,$I5%�I�98�:�8�<. ��� � ��� /.N=qs%f4@10��/ Q=S?�@BA�8U�w ���)K$.�,)WJ1�\H� �$.�,)1�TJ1�� �$]J1 ���+C�,�� ��& �'��D\J1 ��/�cJ� ��,��)1�"+6f�02�* ��T��$.�,)`�{�&'*H�)��p=*8&=*8~�� ��7�T�*H�)K02�6L�)1�%$�H�02�S�[5��/ ���)1�>$.�/'��&J1�,f���)5��/ ��&J1�,fM�4JR�T�*+��\Y�b%�S$(J��/+C�])1��J��3254K8Z�� ��d�" �0"�%$��")������[$.�,3%�/0"�J� ���J�Lh�")�DG��)1+C��$��4JK�

<%�*H�)10"�625��& ��&J1��LM�,)���,0"�� �$ 7

:P �02�.$.�,)�*LM�,)1��J��,�Z�* /85��/ ��&J1����J��dJ1�&+C� 7

�������T��� ��� � ��"! 7

�9�,0"�.$.�")�L�)1��E$.H�02�S��)��,L�!/�/0,�I��D�T�*H�)K02�\5��/ ��NJK�

�{�&'*H�)��C=*8&=:92BZ!/�.0Kt`$.����'�)K��+ ��D{�C02�*+C+dH� ���0"��J��/�� 6�T�.�TJ��,+(8

L�)1�.02�,�1���& �'Mf�+��.$.H�!/��J��/�� mfm�� �$7�� B�BJ1 ��& �'Q�,!/���dJ1 ��4J+C�/'� BJ5M�� ��,0"�,�1����)��(J1�QL�)1�"LM��)1�J� ��6$��4J1��DG�*)IJ1)1�� ���+����1�T�/�� >�43��")IJ� ��r0K ��� � ��"! 8>�i�k�T ���!&!��*����H�+C��fP ��4V��,3��,),f�J1 ��4JJ� ��d�" M02�.$.�")R�T�,L���)K�4J1�,��J� ����T�*H�)10"�d���,aBH��" M02�]�/ BJ��`5�!&�.0Kt.����D;865��/ ��NJK�9�� �$k�*LM�,)1��J��,��� k�* �!/�(�* ��]5�!/�.0Kt(��JR�CJ1�&+C�*89�� ��I�" �0"�%$��")��*H.J�L�H.JR����J1 ��" 7J�)K�� ���+C�NJ�J��S$k�43��,)�J� ��0K ��� � ��"!M�� �$C0K ��� �'��S$d5%�I����+C������)�J#��D�)1�� �$.��+�$.�/�TJ�H�)�5��� �02���*)# ��*�/����8{�� ���$.�S02�.$.�")L�)1�.02�,�1���,�UJ� ���0K ��� � ��"!%��H�J�L�H.J#�� �$]L�)1�.$.H�0"�,�X�9$��"!��q���,$])��,L�!&��0"����DMJ� ����T�*H�)K02�Z5��& ��NJK�"8�� ��]0"�%$��& �'�J1 ��"�*)��,+ �TJ1�4J1�,�ZJ1 ��4J�DG�*)���!/��)�'*�R34��)��/�2JO�c��DX0K M�� � ��,!;+C�%$��"!��"f��, �02�.$.�,)1��� M$I$.�S02�.$.�,)1�{�2b.���OJ���H�0K dJ1 ��4JXJ1 ���L�)1��5���5��&!/�&JO�R��D�J1 ���$.�,0"�.$.�")X)1�"L�)1�.$.H�02�/ �'\�9����H�)10"�5��/ ��&J��& 6�")1)1��)hF�G�����5M�*H� �$.�S$(5B�

<>=@?BA C@D#EGF@HJILK@MNEG?OIQPSR F G RT<>=@?UC�EVF@HJI�� ���DGH� �02J��/�� ��Wc�X2 4 �{�� M$%W�Y��X2 4 �{$.�"Lh�" M$dH�Lh�� dJ� ���0K ��� � ��,!B5�H.J{ ���J�H�Lh�� )8;��J� ��"���)1��LM�B�T�&J��/3��CV� ��, Z2545[_��fU�� �$l$.�,0")��S�����dV��&J� \254�H� BJ��/!XJ� ��"�75h�,0"��+C�[�6�4J]�T�*+C�J��/+C��)1��J���];4Ut% ��4V� C���WJ� ���0K M�� � ��,!�0"��L���0"�NJO�*8W�� ����2b��*0^J� ��4J1H�)1�Z��D�J1 ��,����DGH� �02J��/�� ���� M$J� ��ZLM��)�J���02H�!���)�02!����1�W��Dh0K M�� � ��,!/�WDG�*){V� ��/0K IJ� ����WJ� ��,��)1�"+� M���{5M�,�" �L�)1�43��,$] ��"�S$ ���J�02�� M02�")1 6H��� ��,)��*8��� ���/+CLM�*)TJK�� BJ�)1�,��H�!NJ�����J1 ��4J�J1 ��d0"�%$��& �'c0"�� ��TJ�)K���/ BJ�!&�, �'�J1 8`�/���dDGH� �$���+��, BJ1��!;LM��)K��+C�2J1�")Z��DW�C02�*+C+dH� ���0"��J��/�� `���.�OJ1�"+68��eD{��0K ��� � ��"!�����J��C5M�H����,$�"�c02�/�" BJ�!/��fSJ� M�4JX�/�WV��NJ1 %2 4 02!/�*����J��^] 4 fqJ1 ��" _8]+dH��TJW5h�P+[�*$.��0"��)1)��S�TLh�� �$��& �'*!&�!���)1'��9J��[��0K ��/�"3*����1�4J1�/�TD ��02J��*)��[�,)�)1��)ZL�)1��5���5��&!/�&JO��8

�� ��#�*5B3%�/��H��m)��S�TLh�� �������D��� �" �'*�& ��,�");J1����H�0K ]��J� ��"��)1�"+n�/�N9�`K<%L�!/�" �$.��$;fq5�H.J{ ��4V$.�%�,�P�� ���5�H��/!/$[�, �02�.$.�,)1���� �$[$��,02�.$.�,)1�#J� ���J�5h�" ��q3*���/ CJ� ����PV��q��V� ��" a8C����!/��)�'*�cbcd�eJd���])K�4J1 ��")��T�*5M�,)��/ �'6J��7��5����")13���J� M�4JI�&D��� p�, �02�.$.�,)I�TJ���)1�,�d�kVZ�q3*�2DG�*)�+|�*)d02�.$.�

@

Page 5: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

VZ��)K$`DG�*)��,�*0K 6LM�B�����&5�!&�]5�!&�.0Kt(��D 8(5��/ ��NJK�"fMJ� ��" kJ1 ��d�TJ���)K��'*�\)��Sa*H��&)1�"+C�" BJ�+IH��OJR5M�L�)1��Lh��)�J��/�� ���!�J1��x ? fBV� ��/0K Q�/����5%3%�&�*H���!&���&+CL�)K��02J���0"��!MV� ��, 8c�/�Z!���)1'���8{���*)TJ1H� ��4J1�"!/��f:#!/������. y 0;�� M$c���"� � �" �.&="@10� M�q3���L�)1�43��S$�J� ���JPDG�*)Z�dV��/$.�R34��)1�&�"JO�I��DU0K ��� � ��"!h+C�%$��"!��"fJ� ��`)1�,��H�!NJK�d��D�J� ��(���*�/���g�� ��� � ��"!����%$��& �'7J� ��,��)1�"+ 0"�� o5M�6��0K ��&�,3��,$lV��&J� g!&�&JTJ1!&��,aBH��/L�+C�" BJ]02�*+CL�!&�"b.�NJO�7��J\J� ��[�, �02�.$.�,)R5%�kJ1 ��[H����C��D�LM��)1�NJO�BEw0K ��,0Ktr0"�%$��& �'M8��� ��/�V��/!&!m5h�]$.�S��0")��/5M�S$`�/ 6+C��)1�\$��2J1���&!;!��4J1�")S8

�� .DG�*)TJ1H� ���J��"!/��f�J� ���L�)��*5�!/�"+ ��Dd$.�S02�.$.�/ �'g���&+CL�!/��5�H.J(� � �,0^J1�&3*�"!/��V� ��" 8��/�!���)1'��9��L�Lh�,��)K��J��C5h�R+IH�0K (+��*)��\$.�&�c02H�!&J�J� ��� `J1 ��\L�)1��5�!/�"+z��DW�, �02�.$.�/ �'�8�:P ���H�'* ��L�L�)��B��0K ��S�9J��kJ1 ��/�dL�)1��5�!/�"+ ��q3��[5h�"�, o$.�"3*�"!/��Lh�,$�J��7�*����H�)1�C�� ��CJ1 ��4J]J1 ��(���.$%E�/ �'cJ1 ��"�*)��,+ ��*���, �'��/ ��,�")1�& �'`�&+CLh��)�J1�� M02��8\�9 kJ� �����J1 ��")9 ��� M$6J� ��S�T����L�L�)��B��0K ��S� ��q3*�` ���JC5h�"�, �0"��)1)1�&�S$lD ��)C�" ���H�'* gDG�*)IJ1 ��k$.�,���/'� ���DR�� g�"�[0"�&�, BJ,fP)1�"!/����5�!/�k$��4JK�02�*+C+dH� ���0"��J��/�� 6�T�.�TJ��,+ J��C5h�,02�*+C�]�I+[��JTJ��,)���DX)��*H.J��/ ��\�" �'��/ ��"�,)��/ �'�8

�� �����+C�� ���'�)K��L� r02�� BJK���/ ����c$��2J1���&!/�,$7�OJ1H�$.�k��D#�* ��]��D�J� ��IJ� �)1�"�d��)9DG��H�)9+��B�OJL�)1��+C���T�/ �'C��L�L�)1�*�*0K ��,�#J��[���&+CL�!/�$.�,0"�%$��& �'�DG�*)�!&�* �'�0"�� ��TJ�)K���/ BJZ!/�" �'�J� 602�.$.�S�"8��� ��L�H�)1Lh�*���`��D9L�H�5�!/�/�� ��/ �'�J� ����CV��*)�ti���IL�)��/+[��)1�&!/�iJ��l�T ��4V ��4Vz�TH�0K ���0"�.$.�& �'��� M$$.�S02�.$.�/ �'i�10K ��,+��6VZ��H�!�$oVZ��)1to�� M$gV� ��,)��(�&Jc+��/'� BJ[5h�(HM�T�"DGH�!�8���!/����f� ��4J1H�)1��!&!/��f�&JC���[ ��*LM�S$oJ1 ��4J[J1 ����CV��&!/!��TJ��/+dH�!��4J1�QDGH�)TJ1 ��")[)1�,���,��)10K o�* gJ1 ��r��H�5��O�,02J,8���H�)TJ1 ��")+[�4J1 ��"+[�4J1�/0,��!h�� ���!&�.���/�XV��/!&!hL�)1��5���5�!/�d5h��DG)�H��NJ1!&�S���,f*5�H.JPJ1 ��")1����)1��+[�� %���& BJ��,)��S�OJ1�& �'+C�.$.�NYh0"�4J1�&�* �����D�J� ��C�10K ��"+C�J1 ��4JR+��/'� BJR5M��+[��$.�d�� �$k+IH�0K r�2b.Lh�")1�&+C�, *JK��!WV��*)�tJ� M�4J��� ���H�!�$Q5M�]$.�* ���8

�w g�*)1$.�,)dJ1 ��(L�)��43*�c+[�4J1 ��"+[�4J1�/0,��!/!&�p����+C�`)1�,��H�!&J1����5h��H.JC!/�4V�Ee$.�, ����NJO�iL���)1�&JO�*E0K ��S0Ktg02�.$.�S�"f�VZ�r�T ���!&!9���1�TH�+C�6J1 ��4JcJ1 ��70"�%$��,�c��)��6J1�p5M�rHM�T�S$>�* �p�T�*+C�"V� ���J)1�,�TJ�)1�/02J��,$7�� �$k��$.�S��!/�&u,�,$r0"!/�*���9��DP0K ��� � ��,!/�,89�eJ\�����*5B3%�/��H���J� ���JR)1�,��H�!&J1�9H����& �'(�THM0K 0K ��� � ��"!P+��.$.�,!/�I0"�� i5h�`��L�L�!/�&�S$l�� �!/�rJ1�70K ��� � ��"!��\J� M�4JI0"!&�B�T�,!&�i��L�L�)1�qb.�&+[��J���J� ��+C�.$.�"! 8Q���4V��,3��")SfmV� ��, p�OJ1H�$.�%�& �'6J� ��cL�)��*5���5��/!/�NJO�r��D�$��,02�.$.�/ �'k�,)�)1��)SfmVZ�c��)1���/ .EJ��,)��S�OJ1�,$kL�)��/+[��)1�&!/�Q�/ kJ1 ��I�"b%J�)1�"+C�"!/�(��JO�%L��/0,��!W�"3��, BJ1��J� ���JR0"��H����]�")1)��*)1�,8��eJR�/�9 ���J�,�*�T�iJ1�7Y� M$g+C�.$.�"!��IJ� ���JC��L�L�)1�qb.�&+[�4J1�`5h��J1 gJ1 ��,���(��JO�%L��/0,��!Z�"3*�" BJ1���� �$gJO�%L���0"��!�"3*�" BJ1�,87���� ����,aBH��, BJ�!/�rJ� ��Q�� M��!/�%�������D�02�.$.�S�]�* p�/$.�S��!/�&u,�,$p0K ��� � ��,!/�]0,�� pL�)1�43%�/$���� �!&�(!&�/+C�NJ1�,$7�& ����/'� BJ9��5h��H�J9)1�,��!{0K ��� � ��"!��"fh�� �$7�TH�0K 7�& ����/'� BJ9�� ���H�!�$k5h�dH����,$rV��NJ1 0"��H.J��/�� U8

�� ���0K ��� � ��"!�+��.$.�,!/��J��\5M�902�� M�T��$.�")1�,$I ��,)�����)1��0"��!&!/�,$C���B+C+C�2J1)���0Z5��/ ���)1�BE �/ �L�H.J0K ��� � ��"!��,87BZ�pJ� ��/�CVZ�6+��S�� ���J��/+��"Ee$��/�102)1�2J1�(0K ��� � ��,!�DG��)CV� ���0K gJ1 ��k�& �L�H.Jc��������,aBH��" M02�Z��D�J1 ���5��& M��)1�]$.�&'*�NJK���9�� �$c=��� �$J1 �����H.J1L�H.J��/���R02�*)�)1�,��Lh�� �$.�/ �'R�T�Sa*H��" �0"���DW!&�"JTJ��,)1�PDG)1��+z�d$��/�102)1�2J1����)�02�* BJ��/ BH���H��Z��!/L� ���5M�"J,8��� ��\0K ��� � ��"!��/��+C�"+C��)1�%!&�S�����/ J� ��R���" ����9J� ���J�'*�&3*�" [J1 ��\�& �L�H.J��4J��d'*�&3*�" `J��/+��*f%J� ��R��H�J�L�H.J���J�J1 ��02��)1)1�,��LM�* �$.�/ �'J��/+C�����P�TJ1�4J1�/�TJ���0"��!&!/���& �$��"Lh�" �$.�, BJ���Dm��!&!M��J� ��")P�/ �L�H�J1�P�� �$C��H�J�L�H.JK�"8��� ��R�T�%+C+C�2J1)��)1�,aBH��/)��,+��, BJUV��&!/!%5M��$.�"Y� ��,$]L�)��S02���T�,!&�\�/ C�� ���L.J��,){y�fq5�H.JX)��*H�'� �!/�R�NJX+C�,�� M�mJ1 ��4J{J� ����H�J�L�H.JK�P0,�� [5h��L����/)1�,$C�/ c�TH�0K c�]VZ�q�dJ� ���J#J� ��9L�)1��5���5��&!/�&JO�d��D;�* �����H.J1L�H.JZ'��/3��" [�� �/ �L�H.J����ZJ� ��]�1��+C����ZJ1 ��4J���DUJ1 ����J1 ��")��*H.J�L�H�J���DUJ1 ��L����&)�'*�&3*�" cJ1 ����J1 ��")��/ �L�H�J,8�� ���5��/ ���)1�k�T�%+C+C�2J�)1��0I0K ��� � ��,!�fm��5�5�)1�"3%�/��J��S$(B�<��9f��/�\�Q+��,+d5h�")\��DPJ� ����02!����1����D0K ��� � ��"!��X�/ �V� ��/0K �J� ��")1����)1�Z�* �!/�]JOVZ�R�*H.J�L�H.J����B+I5M�*!/�,f��* ���02�*)�)1�,��LM�* �$.�/ �'9J���,�*0K �/ �L�H.JS8#�� �� B�<���0,�� Q5M�R�" BJ��/)1�"!/�C��Lh�,02�&Y��S$c5%�CJ� ��RL�)1��5���5��/!&�&JO�C��DW�I02)1�*�1�T�43*�")XDG)1��+�� ��R�/ �L�H�J�J��CJ� ����J� ��")���H�J�L�H.JS8

�eDZ�Q�T�%+C+C�2J�)1��0]5��/ ���)1�BE �/ �L�H�J\0K ��� � ��,!WVZ�")1�]J1�Q5h�IHM�T�S$rV��&J� ��*H.J\0"�.$.�& �'�f;�Q���2EaBH��" M02�d��DP5��/ ���)1�k$.�/'��&J1�RV��*H�!�$r5h�dJ1)1�� ��T+C�&JTJ1�,$kJ1 �)1��H�'* kJ� ��C0K ��� � ��"!��� �$kJ1 ��I)1�2E02�,�&3*�")CVZ��H�!�$o'*H��,�1��J� ��(J1)1�� ��T+C�&JTJ1�,$��T�%+d5h��!��C�� ��6��Jc�rJ1�&+C�6DG)1��+ J1 ��6)��S02�"�/3��S$

s

Page 6: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���B+I5M�*!/�,8��eDR02�.$.�/ �'lVZ�")1�`J1�p5M�6H����,$;fZ ��4VZ�"3*�")SfXJ� ��r0"�%$��")CV��*H�!�$oY�)K�TJ�JK��t*�6���2EaBH��" M02�,�I��D�5��& ���)��p$.�/'��&J1��0"��)�)1�%�& �'kJ� ��(�/ .DG��)1+[�4J��/�� oDG)��*+ J1 ��6�T�*H�)10"�`�� M$oVZ��H�!�$+[��LpJ1 ��,���6�T�Sa*H��" �0"�,�I�& BJ��i!/�� �'*�")d)1�,$�H� �$��� *J[���,aBH��" M02�,�,f#0"��!&!/�,$g02�.$.�(V��*)1$��,fXDG��)J�)K�� M�T+C�������&�* l�43��")\J1 ��`0K ��� � ��,!�86�i�Q$.�"Y� ��[J1 ��`)K�4J1��2 ��D���H�0K o0"�%$��,�\J1�r5M�`J� ��)K�4J��/�c��D�J� ���!&�, �'�J1 r��DPJ� ��I�& .DG�*)�+[��J��/�� 7���,aBH��, �02�dJ��cJ1 ���!&�, �'�J1 r��D�J1 ���0"�.$.�dVZ��)K$���,aBH��" M02��8i�eD�J1 ��(0"�.$.�QVZ��)K$��I��)1�`��D�!/�" �'�J� ���fXJ� ��, gJ1 ��")1�Q��)��6x�� F Lh�*�1�T�/5�!/�(���2EaBH��" M02�,�ZDG)1��+ J� ��]����H�)10"��J1 ��4J���)��\+[��L�Lh�,$(�/ BJ�����Ee!&�, �'�J1 (0"�%$��V��*)1$��,8��� %H����� �!/��CDG)K��02J��/�� 7x = � E�� = F@I ��D�J1 ���x��k$.� � �,)��, *J���E !/�" �'�J� r���,aBH��, �02�S��0"�� r5h�dH����,$k�*��02�.$.�VZ��)K$��"8

�ZJPJ1 ���)1�,02�,�&3*�")Sf4J� ���$.�,0"�.$.�")Sf*V��&J� [�&J1�Pt% ��4V�!&�S$.'�����D;V� ��/0K c���,aBH��, �02�S�#��)1��02�.$.�VZ��)K$��"f*0"�� [���"L���)1��J���J� ���J�)K�� ���+C�NJ�J��,$��Ee!/�" �'�J� [02�.$.��VZ��)K$]DG)1��+�J� ��90K ��� � ��"!� ��*�/����8�� %H��CJ1 ��702�.$.�7V��*)1$>�/�`+[��L�Lh�,$�5��*0Kto�/ *J1�pJ� ��� 2|�/ .DG��)1+[�4J1�&�* �$��&'*�NJK�"8 jr�� %�$.�S02�.$.�/ �'��10K ��,+��S��Y� �$`J� ��\J1)1�� ��T+C�&JTJ1�,$`0"�.$.�\V��*)1$`5B�CYM)1�TJ�+C��t%�& �'C��$.�,0"�/���&�* `�* �,�*0K [)��S02�,�&3*�,$[$.�/'��&JZ�� �$CJ� ��" `HM�T�/ �'I�dt% ��4V�!&�S$.'�����DmJ� ��902�.$.�9V��*)1$���J���02�*)�)1�,02J#J� ���")1)1��)K�"8#�� ������/ BJ��,)�+C�,$��/��J��]$.�S02���T�/�� mfM ��4VZ�"3��,),f�$��,�TJ�)1�4�%���[0"�� �����$.�")K��5�!/���+C��H� *J���D�/ .DG��)1+[�4J��/�� o��5M�*H.JdJ1 ��cJ1)1�� ���+��&JTJ1�,$g+��S���1��'*��fX���I$.�/�102HM�����,$p�/ g$.�"J1���&!�DG��)C�T�,3��,)1��!0K ��� � ��"!����/ c���2DG�,)��, �02�3.&=U0e8��� ���$.�S02�.$.�/ �'d�10K ��"+C��J��d5M��$��,�102)1�&5h�,$� ��,)����q3*����$��{J� ��/��/ *J1�")1+C�,$.���4J1�C$��,02�����&�* ��� M$7�*LM�,)1��J��,�$��&)1�,02J�!/�rV��NJ1 7J1 ����� ������������������9L�)1��5M��5��/!&�&J��/�,���DWJ� ���/ �L�H�J9�T�%+I5M�*!/��0"�� �$.�&J��/�� M��!��� (J� ��]02��)1)1�,��LM�* �$.�/ �'d)1�,0"�"�/3��,$(���B+I5M�*!/�,8

�� ��]02�.$.�S��J��C5h�d$.����0"H��1�T�S$` ��,)����)����LM�S02����!m�"b.��+CL�!&�S����DXL���)1�&JO�*Ew0K ��S0KtC0"�.$.�,� � 8�� ��70"�.$.�rVZ��)K$��[��Dd�oL���)1�NJO�BEw0K ��,0Kt>02�.$.�7��)��6DG�*)�+C�,$�5%��02�*+d5��/ ��/ �'o�p5�!/�.0Kt>��D5��/ ���)1�BE �/ .DG�*)�+[�4J1�&�* r$.�/'��&J1�RV��NJ1 i�Q5�!/�.0Kt(��D�0K ��S0Ktr$.�&'*�NJK�"8]:���0K 70K ��,0Ktk$.�/'��&J\���9J� ��+C�.$.H�!/�Rx���H�+�����D���L�)��"Ee��LM�S02�&Y��,$d�T�"JW��D��/ .DG�*)�+[�4J1�&�* d$.�/'��&J1�,8W�� ��S�T�PDG��)1+[�4J��/�� d)�H�!/�,�DG��)RJ1 ���0K ��,0Ktr$.�/'��&J1�\0"�� 75h�C)��,L�)��S�T�, BJ��,$702�� %3*�" ��/�" BJ�!/�65%�r�`L���)��&JO�BEe0K ��,0Kt6+[�4J�)1�&b�f�����& r�{�/'�H�)1�[=�8�x.8Z�� ��/��+C��J�)1�Nb6)1�"L�)1�,���" BJ1���[���2J9��DX!&�/ ��,��)� ��*+��*'��, ��"�*H���+C�%$�H�!&�`x�,aBH���J��/�� ���0,��!/!&�S$6L���)1�&JO�*Ew0K ��S0Kt[�,aBH��4J1�&�* ��,f��� �$QJ1 ��d���2J���D�0"�.$.�V��*)1$����/��J� ��d���2J���D����!/H.J��/�� ��{��DMJ1 ��,�����,aBH��4J1�&�* ��,8U�i��0"��!/!%J� ������2J#��Dh$.�/'��&J1��0"�� BJ1���& ��,$I�& C�RL���)1�NJO�BEw0K ��,0Kt�,aBH���J��/�� C�\L���)1�&JO�*Ew0K ��S0Kt]�T�"J,8����*)��2b���+CL�!/��f�J� ���YM)1�TJ#L���)1�&JO�*Ew0K ��S0Kt]�T�"J#�& [�{�&'*H�)1�=�8�x���ZJ� ��]���2J���D{$.�/'��&J1�]�T=��Kx���y��1s*�^8

� � � � � �!��"#� $%�'&!� (= = = � = � � �'$ [ � �*) � � ) �'��#�O=,+ 2� = = � = � = � �'& [ � �*) � � ) ��"= � = = � � = � ( [ � � ) � � ) � "

�{�/'�H�)1�C=�8�x#9�:�b���+�L�!&�R��D���L���)1�NJO�BEw0K ��,0Kt[+[��J�)1�Nb;8

�� ���H�������DFE L���)��&JO�0K ��,0Kt0"�%$��,�{+[��t��S�W0"�.$.�& �'������X$.���OJ1�& �'*H����T ��S$DG)1��+�$.�S02�.$.�/ �'B�)1�"!��4J��/3��,!&�[���&+CL�!/�9J����&+CL�!/�"+C�" BJS8#��!��T�Mf����Z:#!/�/�*�5. y 0; ��*�Z�� ��4V� mf%�&D{�dJO�%L��/0,��!hL���)1�&JO�*E0K ��S0Kt]02�.$.����Dh!&�* �'\5�!&�.0Kt]!/�" �'�J� ����XH��T�S$��� C�?B�<��9f��� �$I�NDhJ� ���0"�%$��Z)K�4J1���/�X5h�2JOVZ�"�, 02)1�&J���0"��!M)1��J����� �$c0K ��� � ��"!h0"��L���0"�NJO�*f�J� ��" [J1 ���L�)1��5M��5��/!&�&JO����Dm$.�,0"�.$.�& �']�")1)��*)#V��/!&!h5M���!/+C�*�TJZ�*�P��+C��!&!;�*��J� M�4JZDG��)�J� ��R5M�S�OJ�Lh�*�1�T�/5�!/�902�.$.�R��D;J1 ��4J�)K�4J��R�� �$c5�!&�.0KtC!/�" �'�J� m8-/.10�24365,0�287:9�7�;83=<?>?7/9@9�<?ACBEDFA8A8<?0�G�0=HJI13=28< ;LKNMLBPOF7EB8Q�B/0N9�7/ASR1AC7E7UTJ7�;C7E2CA80�GV WEXZYL[\Z] OF7U5,0^9�DF>?0_X`ACD�5�<?AUWU< Ha;8O�7*0�2C9�<?G13=2CKbACD�5c<?Ad0N9�9e3=GF9ef`< Hg;CO�7*0�289F<?G13=2CKbACD�5c<?Ad7�h�7/Ga[

}

Page 7: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� .DG�*)TJ1H� ���J��"!/��fWJ� ��`$.�,0"�.$.�& �'k��D�L���)1�NJO�BEw0K ��,0Ktr0"�.$.�,����] ���J]�/ � ��")1�" BJ1!&�i�T�/+CL�!&�J��[�/+CL�!/�"+C�" BJ,��J� %H���V��+IH��OJ�!/�%��t`DG��)���LM�S02����!U0"!/�*�����,����D{LM��)1�NJO�BEw0K ��,0Ktc0"�%$��,�,f��THM0K ����$��,�102)1�&5h�,$Q�& r<%�S0^J1�&�* �=*8 x�f%DG��)�V� ���0K 6)��S������ ���5�!&�R$.�,0"�.$.�& �'[L�)��.0"�,$.H�)1�,�Z�"b%���TJ,8

��� �3 ���� ���S��+'��!��/"�� � ! �:��������� �� ���� +�m�4V�Ew$.�, ��T�&JO��L���)��&JO�BEe0K ��,0Kt�02�.$.�S�m��)1��02�.$.�S�m�TLh�,0"�NYM�,$\5%�9��+[�4J1)��&bR0"�� BJ1���& ��& �'�+C�*�TJ�!/���� �#�� �$�)��,!/��J��/3��"!/�]DG�,V =�� �"8{�w CL���)�J���02H�!���)Sf*�� k� �U��� �����X!/�4V�Ee$.�, ����NJO�d0"�.$.�����#�]02�.$.����D5�!/�.0Kt!&�, �'�J1 �QV��NJ1 ��R+[�4J1)��&bd!/�&t*�PJ1 ��4J#��Dh�{�/'�H�)1��x�8&=*f�V� ��,)����,�*0K I0"��!/H�+C �0"�� BJ1���& ���c��+[��!/!;Y�b.�,$k %H�+I5M�,) �`��D�=�� ���� �$6�,�*0K 6)��4V 02�* *JK���/ ����c��+[��!/!mY�b.�S$6 BH�+d5h�")��(��D=�� �,8g����J��(J� ���JCJ� �����JO�%LM�6��D9+C��J�)1�Nbg$��B�S�C ���JC ��q3*�`J1 ��k0K ��,0Kto$.�/'��&J1�C��L�LM�S��)1�& �'�/ �$.����'*�� ���!mDG��)1+-���R$.�cJ1 ��*���d�/ ��{�/'�H�)1�`=*8 x�8R���4V��,3��,),fMDG��)\02�.$.�/ �'`L�H�)�Lh�*���,�,fhJ� ���,aBH���J��/�� ��Z)1�"L�)1�,���" BJ1�,$Q5B�cJ� ��S�T�\+[�4J1)���02�S��0"�� 6��!/V��q�%�Z5h�]�T�*!&3*�,$cJ��['��/3��9J� ��]0K ��,0Kt$.�/'��&J1���*���2b.L�!/�/0"�NJ���H�+[����DX�& �DG��)1+C��J��/�� 6$.�/'��&J1�,8

�m�4V $��" ����NJO�[0"�%$��,����)1�� ���JZ�*L.J��/+dH�+z�& `J� ������+C�"V� M�4JZ��)TJ1�NYh02����!��T�, ��T�R��DW+��/ .E�/+��/u"�/ �'6J1 ��`L�)1��5M��5��/!&�&JO�r��D�$��,02�.$.�/ �'r�,)�)1��)RDG�*)I�6'��/3��, l5�!&�.0Kt�!&�, �'�J1 mf��� �$i�&JI0"�� 5h�]�T ��4V� (J1 ��4J�J1 ��]+[�4b.�/+dH�+ )1��J���4J�V� ���0K (J� ��,�Q0,�� 65M�dH��T�S$(�/��5h��H� �$.�,$(5h�"!/�4V0K ��� � ��"!�0,��L��*02�&JO��8����4VZ�"3*�")Sf�J� ��k�"b.�/�TJ��, �02�6��D\�l�T�/+CL�!&�r$��,02�.$.�/ �'p�10K ��"+C�6+C��)1�J� M�� 602��+CLh�" ��1�4J1�,�ZDG�*)�J� ��S�T�]$.���1��$.34�� BJK��'��S�"8

��� � �5,-, "��! ��#"$�S+%��$�!*+�� i�" M�T�,+d5�!/�I��D9� �U�&� �'���R02�.$.�S�RV��&!/!X5M��DG��)1+C�,$7�& o�� ���L�J��")]x�fm�� �$rJ� ����R�" ����"+I5�!&�V��/!&!{5M��H����,$6J1�Q�� ���!/�%u"�J1 ��I$.���TJ1�� M02�dL�)��*LM�,)TJ1�&�S����D����U��� �'����0"�%$��,�,89�� ���$.�/�TJ1�� �02�5h�2JOVZ�"�" CJOVZ�VZ��)K$��X�& c�d02�.$.�����#���&+CL�!/�dJ1 ��� %H�+I5M�,)#��Dm$.�/'��&J1�P�& [V� ��/0K CJ1 ��"�C$.� � �,),8��!/�,��)1!/�C�� `�/+CLM�*)TJK�� BJ�L���)1��+C�2J��,)��/ Q��02�.$.�R���PJ1 ��\�T�"JZ��DW$.���OJK�� �0"�,���T�,L���)K�4J1�& �']�� ��02�.$.��V��*)1$DG)��*+���!/!�J1 �����J� ��")X02�.$.�ZV��*)1$��,8m�w ���L���)��&JO�BEe0K ��,0Kt90"�.$.��f��&J�0"�� I5M���� ��4V� J� M�4J���!/!h0"�%$��9VZ��)K$��# M�q3���J1 ��\����+��\���2J���DW$.���OJK�� �0"�,��J��dJ� ��R��J1 ��")�0"�%$���VZ��)K$��5.&=SxB0 8�� %H��{J� ���$.���OJK�� �0"�ZL�)��*LM�,)TJ1�&�S�{DG��)�J1 ����" ����"+I5�!/��0"�� �5h���TH�+C+[��)1�/u"�,$�5%�J1 ���JO�%L���0"��! %H�+d5h�")���D{02�.$.�RVZ��)K$����4J��,��0K ($.���OJK�� �0"�9DG)1��+ J1 ����!/!NEeu"�,)���02�.$.�\VZ��)K$;8W�eJ����ZDG��H� M$J� M�4J�J1 ��]JO�%L���0"��!�� �U�&� �'����0"�.$.�DG��) �)( y[ ��*���[+C�& ��&+IH�+-$.�/�TJ1�� �02�]J� ���J9�/ �02)1�,�*�T�S�!/�& ��S��)1!&�6V��&J� 7J� ���5�!/�%0Ktk!/�" �'�J� 7DG��)*�6�� �$��r0"�� ��TJ1�� *JS8�W�/'�H�)��Cx.8 @`L�!/��JK��J1 ���)1��J��/���D;+C�/ ��&+IH�+z$.���OJK�� �0"��J��I5�!/�%0Kt�!/�" �'�J� CDG��)����"3��,)1��!.34��!/H��,����D����� �$+�C�� �$c0"��+CL���)��S�J� ��7)K�4J��/�oV��&J� �J1 ����1��+C�r)K�4J1�&�oDG��)`�*)1$��& ���)��>L���)1�&JO�*Ew0K ��S0Kt>02�.$.�S�"8��� ��>���U��� �'���02�.$.�S��V��&J� #��[ xC�"b. ��&5��NJR+C��)�t*�,$.!/�Q$�� � �")1�" BJ�5h�" ��q3%�/��)SfM�� �$6�NJR�/�9�T ��4V� QJ1 ��4J9J� ��+C�& ��&+IH�+ $.�/�TJ1�� �02����Dm�� r���U�1x������X02�.$.�90"�� [�/ �0")��S�������4JP+C�*�TJP!/��'B��)1�NJ1 �+C�/0,��!/!&�IV��NJ1 J� ��5�!&�.0Ktc!/�" �'�J� U8

�w Q�� ���L�J��")#y�f*�\'*�" ��,)1��!BH�L�LM�,)P5h��H� M$I�* �J� ���L�)1��5M��5��/!&�&JO�d��D�$��,02�.$.�/ �'\�")1)1��)XDG��)���B+C+C�2J1)���095��& M��)1�*Ee�/ �L�H.J�0K ��� � ��"!��ZV��NJ1 Q+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$`$.�S02�.$.�/ �'��/��$.�,)��/3��S$DG��)5h��J1 ��/ �$.�/3%�/$�H���!P0"�.$.�,��� �$rDG�*)��)15��NJ1)1��)��k�, ����"+d5�!&�S�9��D�0"�.$.�,�,8��� ��[5M�*H� �$��/��IDGH� �02J��/�� k��D{J� ��]02�.$.��� �!&�`J� �)1��H�'* Q�&J1��$.�/�TJ1�� �02�L�)��*LM�,)TJ1�&�S�"8#�� ��I���1�TH�+CL.J1�&�* Q��D+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$R$��,02�.$.�/ �'����m+[��$���L���)�J�!/��DG�*)W�� M��!/�*J1�/0�0"�� %3��, ��/�" �0"�X�� �$\L���)TJ1!&����Q����J��(5M�C��5�!&�dJ��`�,34��!/H��4J1�I02�.$.�S���/ �$.�,LM�, �$.�, *J1!&�k��D#J� ��"�/)R$.�S02�.$.�/ �'Q��!&'*��)1�NJ1 �+[�"8�� %��L�)K��0^J1�/0,��!�$��,02�.$.�/ �'d��!&'*��)1�NJ1 �+6f���H�0K c���XJ1 ��4J�$.�,�102)1�/5M�S$C�& Q�� ���L.J��,)#@�fB�/ B3*��!/3��S��kJ1)1�*$.�2Ee� � 5M�"JOV��,�" >�")1)��*)dL�)1��5���5��/!&�&JO�i�� �$o���&+CL�!/��02�&JO�h��J� ��Q+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$

Page 8: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

$.�S02�.$.�")+C�/ ��/+��/u"�S�RJ� ��[�,)�)1��)RL�)1��5���5��/!&�&JO�r5�H.J]���RJ���J1��!&!/�r�/+�L�)1�*0^J���0"��!��NDZJ� ��[5�!&�.0Kt!/�" �'�J� (�/��!���)1'��*8

�eJ(���`�� ��4V� ��/ �� ���L.J��,)QyoJ� ���JQ�&DJ� ��l$.���OJK�� �0"�rL�)1��Lh�")�J��/�,�c��DJ� ��i02�.$.�i��)1��2b.Lh�� ��, BJ�����!/!&�I)��,!/��J��,$IJ1�\J� ���5�!&�.0Ktd!/�" �'�J� Uf*�� M$C�ND�J� ���02�.$.��)K�4J1���/�#��H.�c02�/�" BJ1!&��!&�4VfJ� ��" >J� ��k5h��H� M$oJ1�>F[� < �d���[�� >�2b.Lh�� ��, *J1�/��!&!/�g$.�S02)1�,�*�T�/ �'rDGH� �0^J1�&�* >��D�J� ��k5�!&�.0Kt!/�" �'�J� m8�����)QJ� ��i��L�L�)��*L�)����4J1�k�" ����"+I5�!/�r��Dd0"�%$��,�,f�J� ��S�T��5M�*H� �$��Q)1�,$.H�0"�kJ��gJ� ��H���H���!;)K�� M$.��+ 0"�.$.�& �'�5h��H� �$��3. y.f�@ 0e8

���*)�J� ��I��LM�S02����!X0"�����]��D{J1 ��d5��& ���)��6���B+C+C�2J1)���0d0K M�� � ��,!�fh�cL���)TJ1�/0"H�!���)1!&�(�T�/+CL�!&�5h��H� �$ J�� F[� < �`�/�QDG��H� �$;�J1 ��/�(���(H��T�S$�J1���� ��4V J� M�4J6�43��")(�g)K�� �'��7��DI0K ��� � ��"!02)1�*�1���43��")�L�)��*5���5��/!/�NJ1�&�S�"f��[JO�%L���0"��!W!/�4V�Ee$��" ����NJO�602�.$.�I �����J� ��I�1��+C�d�,)�)1��)�5h�" M�q3B�/��)����J1 ����L.J1�&+IH�+ 0"�.$.�\��D{�C��!&�/'� BJ1!&�c ��&'* ��")�)K�4J1��8��{�&'*H�)��y�8 sd�&!/!/H��OJ1)1��J��S�ZJ� �����!/�*�1����D� � �,02J��/3��\)K�4J���*�����.02���4J��S$cV��&J� k!/�4V�Ee$��" ����NJO�c0"�.$.�,�,8

�w Q�� ���L�J��")P@�f�JOVZ�$.�,0"�.$.�& �']��0K ��,+C�,�#��)���$.�S��0")��/5h�,$;8{�w CJ� ���YM)1�TJ,f*V� ��/0K [����L���)TEJ���02H�!/��)�!/�d���&+CL�!/��f*J� ���$��,02�.$.�,)�Y�)K�OJ#+[��t��,���\$.�S02���T�/�� C�* ��S��0K C$.�/'��&J,f*J� ��, C0"��+CL�H.J1�,�J� ��cL���)1�&JO��0K ��S0Kt%�d�� �$p0K ��� �'��S��� %�l$.�&'*�NJdJ� ���Jd�/�I02�* *JK���/ ��,$i�/ p+C��)1�[J� ��� o�T�*+C�Y�b.�,$> %H�+d5h�")[��D9H� M����J����OY��S$gLM��)1�NJO�BEw0K ��,0Ktl�,aBH���J��/�� ��,8>�� ��(L�)��.02�S�������C)��,LM�S�4J1�,$;f�,�*0K (J��/+���H����& �'[J� ���0K ��� �'��,$6$.�/'��&J1�,fhH� BJ��/!UJ1 ��I���,aBH��, �02�]����$��,02�.$.�S$;8��� ����T�S02�* �$$.�S02�.$.�/ �'[��0K ��,+C��/��5��*�T�S$`�* k�IL�)��.02�S$.H�)1�RDG��)�02�*+CL�H.J��/ �'CJ1 ��]02�* �$.�&J��/�� ���!mL�)1��5���E5��/!&�&JO�[J1 ��4J��� Q�/ �L�H.J����%+d5h��!;���\=��%J1 ��/���/��0"�� �$.�&J��/�� ��,$(�� 6��!/!�J� ��)1�,0"�"�/3��S$`���B+I5M�*!/�J� M�4JR��)��I�& ��� %�Q��D#J� ��dL���)��&JO�BEe0K ��S0KtQ���2JK�90"�� BJ1���& ��/ �'`J� ���$.�&'*�NJ\�/ 7aBH��,�TJ��/�� m8]�9 �0"���'B���/ mfqJ� ���L�)1�%0"�,$.H�)��Z�/�#�NJ1�")K�4J��S$�H� BJ��/!.J� ������,aBH��, �02�����#$.�S02�.$.�,$m8{�� ���0"��+CL�H.JK�4J1�&�* Lh�")$.�/'��&J\Lh�")�&J��,)1��J��/�� ��& i�,�*0K ��10K ��"+C�C�/�R�/ �$.�,LM�, �$.�" BJ]��DPJ� ��C0"�.$.�I!/�" �'�J� U8��� ��L�)1��5���5��/!&���OJ1�/0�f��*)P�T�S02�* �$C��0K ��,+C��f��, BJ1���/!��#�T!/�/'� BJ�!/�I+C�*)���0"��+CL�H.JK�4J��/�� �J1 ��� CJ1 ���Y�)K�OJ�10K ��"+C��f.5�H.J�$.�,0"�.$.�,��V��&J� k�C!/�4V��,)Z�,)�)1��)ZL�)1��5���5��/!&�&JO��8

� +[�4J1 ��"+[�4J1�/0,��!#�� ���!/�.�T���\��DZJ� ��`L�)��*5���5��&!/�NJO�7��D�$.�,0"�%$��& �'k�,)�)1��)\H����/ �'kL�)1��5���E5��/!&���TJ���0]$.�,0"�.$.�& �'c�/�9$.�&�[0"H�!&J95h�,0"��H����]��D#�TJ1�4J1�/�TJ���0"��!W$.�,LM�, �$.�, �02�/�,�,8����4VZ�"3*�")Sf.DG��)��B�<���V��NJ1 o�TH.�c0"�&�, *J1!&�i�T+[��!&!P0")��B���TEe�43��")RL�)1��5���5��/!&�&J��/�,��� �$�DG��)d0"�%$��,�V��&J� � (�@�f�o3*�")1��V��S��t�H�L�Lh�")65M�*H� �$ J� ��iL�)1��5���5��/!&�&JO�>��Dd�")1)1��)`���6$.�")1�/3��,$�J� ���J6$.�S02)1�,�*�T�S��2b.Lh�� ��, BJ�����!/!&�CV��&J� 6�d)1�%��J���DUJ1 ��R0"�.$.�9!/�" �'�J� U8#�W�/'�H�)��\y�8�sL�!/��JK��02)1�*�1�OEe�43��,)#L�)1��5���E5��/!&�&J��/�,��DG��)�V� ���0K (J� ��dL�)��*5���5��&!/�NJO�`��D�$.�,0"�%$��& �'[�,)�)1��)�����'�HM��)K�� BJ��,�,$[J1�c��L�L�)��B��0K Q�V��&J� `�/ �0")��S�����& �'I02�.$.��!/�" �'�J� U8{�eJ����P %�%LM��J� ��S�T�/u"�S$CJ� M�4JZJ� ��RL�)1��5���5��&!/�&JO�I��DU$.�,0"�%$��& �'�")1)1��)��02J�H���!&!/��$.�S02)1�,�*�T�S�9�"b.LM�* ��" BJ�����!/!/�7V��&J� p5�!/�.0Ktr!&�, �'�J1 mf{V� ��&!/�[J1 ��[ %H�+d5h�")]��D�&J��")K�4J1�&�* ��Z ��,0"�,�1����)��CJ1�c$.�,0"�.$.�\�& �0")��S�����,�Z!/��'*��)��&J� �+���0"��!&!/��8

�� ���L�J��")(s7�"b%J��" M$��`��!&!�J1 ��r+[� �O�*)[)��S�TH�!&J1�C��D]�� M��L.J1�")K�cx.f�y�f��� �$�@lJ1�p ��� .E5��/ ���)1�o!/�4V�Ee$��" ����NJO�gL���)1�NJO�BEw0K ��,0Kto0"�.$.�,�,8n��!NJ1 ���H�'* �J� ��kJ1 ��"�*)��g'��" ��")K��!/�&u,�,�C�/ ��3��,)��` ��4J1H�)1��!;VZ�q�*f.J� ��]�2b.L�)1�,�1�T�/�� M�PDG�*)�+C�& ��&+IH�+ $��/�TJ1�� �02�*f��")1)��*)�L�)1��5���5��&!/�&JO��f��� M$L�)1��5���5��/!&���OJ1�/0R$.�S02�.$.�/ �'CLM�,)TDG�*)�+[�� M02���,)�)1��)���)1�\�TH.�c0"�&�, *J1!&�Q02��+CL�!/��0"�4J1�,$`J� ���J�!&�&JTJ1!&��/ ��T�/'� BJ{�/�W'*���& ��S$�/ *J1��J1 ��Z�*$.34�� BJ1��'��S�;��)X$.�����*$.34�� BJ1��'��,�m��D���+IH�!&J��/!&�,3��"!.���.�OJ1�"+ �43��,)�[5��/ ���)��6�T�.�TJ��,+(8R<%��+C�d�"b.LM�,)��/+C�" BJ1��!UVZ��)1t`VZ��H�!�$k5h�d ��,!&L.DGH�!W ��,)��I�& 7�"34��!/H��4J1�& �'J� ��,���\0"�.$.�,�,8

<%��+C�l�2b.Lh�")1�&+C�, *JK��!)1�,��H�!&J1�QDG��)k5��/ ���)���!/�4V�Ee$��" ����NJO� 0"�.$.�,�6��)1�iL�)��S�T�, BJ��,$n�/ �� ���L.J��,)C}�8��� �� BZj �4�*?���02��+CL�H�J��")[V�����H����,$gJ��p���&+IH�!��4J��(5h��J� �L�)1��5M��5��/!&���TJ���0$.�S02�.$.�/ �'r�� �$iJ1 ��c ��*�/���c'*�" ��,)1��J��,$�5%�i���"3*�")K��!#$.� � �")1�" BJ]JO�%LM�S�]��D�0K M�� � ��,!/�,86��H��J��(!/�&+C�&J1�4J1�&�* 7�* �02�*+CL�H.J��,)RJ��/+��*f;J� ����* �!/�r�T�&J�H���J��/�� ��9�/ B3*�,�TJ��/'*��J��,$7V��,)��dJ� ��B�T���/ V� ���0K 7J1 ��c0K ��� � ��"!XV������H.�c02�/�" BJ�!/�r ��*�/���6J��6�%�/�"!�$i�(L�)1��5M��5��/!&�&JO�k��D�$.�,0"�.$.�& �'(�,)TE)1��)�'*)��S�4J1�")�J1 ��� g=,� = " 8\�� ���+��B�OJ\�TLh�,02J1�*02H�!���)\$��4JK�[DG)1��+ J� ��,���I�"b%Lh�")1�/+��, BJ1�R��)1�

A

Page 9: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

'��/3��, I�/ c�{�&'*H�)1��}�8 A�f�V� ���0K C�"+CL� ��*�T�/u"�S�{J� ��9��$.34�� BJK��'��S�{��D;�$.�,0"�%$��& �']�10K ��,+���J1 ��4J��Lh�")K�4J1�,��DG)1��+ �C!/�&t*�"!/�& ��B�.$Q)��S02�,�&3*�")��& M�OJ1�,��$Q��D��C$.�,0"�/���/�� ()��S02�"�/3��,),8

��� �� ,��5"&� ��+ � � � !����\!!� � � � � ���S, �S+<%�*+����J� ��,)90"�%$��& �'c�� �$k$.�S02�.$.�/ �'`�10K ��"+C�,��J� ���J9��L�Lh�,��)��2b%J1)��,+��,!&�(L�)1��+C���T�/ �'CDG��)��0K ��&�,3B�/ �'�!&�4Vn�")1)��*)�L�)��*5���5��/!/�NJ1�&�S���� �$Q ��/'� k$��4JK��)1��J��,����J�)��S������ ���5�!&�R02�B�OJ���)1�RJ� ��DG��!/!/�4V��& �' 9RY�)1�TJ,f{02�* B3*��!/H.J��/�� M��!�02�.$.�S� . y10PV��NJ1 p�T�Sa*H��" BJ�����!#$.�S02�.$.�/ �'k���]$��"3��,!&�*LM�S$5%�C���*u"�" M02)K�4DFJ6.N=4�N0 f.�M�� ��/. sB0 f��� �$c���,� � �" .N=,@ 0e���T�S02�� M$;fB0"�� %3��*!&H�J��/�� ���!M02�.$.�S�ZV��NJ1 jr�*�����"� � ��J� �)��S�T ��*!/$[$��,02�.$.�/ �' .N=S�B0 �.�� �$CJ� ��&)K$;fBJ� ��/BZ�*���2ET�� ���HM$. %H�)��M02�.$.�,� . xc0;V��NJ1 J� ��P$.�,0"�.$.�& �'���0K ��,+C�,�;$.�,3��"!/��Lh�,$R5%�9�X�"J��,)1���� .N=qxc0*�� �$��h�/�")1!&�,)m�� �$�R��)1�" M�OJ1�"�/ .&=,A 0 8

�eJ� ��*��5M�,�" r�� ��4V� 65%�Q���� ���. sB0mJ1 ��4J�DG�*)���)15��&J�)K��)1�`$.����0")��"J��+C�"+C�*)��%!/�,�1��0K ��� .E ��,!/�,f]�T�SaBH��" BJ�����!I$.�,0"�%$��& �'� M���k��L�)1��5���5��/!&�&JO� ��DC$.�S02�.$.�/ �'��")1)1��)(J� ���J7���kH�L�Lh�")5h��H� �$��,$o5%�o�rDGH� �0^J1�&�* g��D�J� ��QDG��)1+ < =� ��8p���")1� � �/�dJ� ��60"�� ��TJ�)K���/ BJd!/�" �'�J� g��DJ� ��\0"�.$.�R�� �$�l�/���dDGH� �0^J1�&�* 6��DU5h��J1 `J1 ��0K ��� � ��"!;�� �$`J� ��\0"�.$.����l���ZLM�B�T�&J��/3��RDG��))K�4J��S�Z5M�,!&�4V~0K ��� � ��"!m0"��L���0"�NJO�a]�8#�M�� ��[��!/���[�T ��4V���J1 ��4J�DG��)�)K�4J1�,��5h�"!/�4Vn�C02�,)TJK���/ aBH��� BJ1�NJO�k0"��!&!/�,$�2� ������.f;V� ��,)��)2� �������� ]�f�J1 ��[�q3��")K��'*�]��+C��H� *JR��D�0"��+CL�H.JK�4J1�&�* �/ 6$��,02�.$.�/ �'[�C$.�/'��&J��/��5h��H� M$.�,$(5%�Q�CaBH��� BJ1�NJO�c�/ �$.�,LM�, �$.�, *J���DX0"�� ��TJ�)K���/ BJZ!/�" �'�J� U8

�� 6�2b.Lh�")1�&+C�, *JK��!;���,aBH��" BJ1�/��!�$��,02�.$.�,)� ����Z5h�"�" 65�H��&!&J��4J��m�/ �02�*!& 6�U��5M�*)1��J��*)��/�,�,f�m�"b.�& �'�J��* mfMjr�*���1��0K %H����2J�J1�3.&=�=U0 8DBZ�(H����& �'`J� �����$��,02�.$.�,)��/ 7�c���.�OJ1�"+ V��NJ1 7�CDG�,�,$%E5��*0Ktk!&�/ �t7�� �$��� ���L�L�)1��L�)1�/��J��,!&�k$.�S�T�/'� ��S$7+C�.$.H�!��4J1��)�� M$�$.�,+C�%$�H�!/��J��*),f;)1�"!/�/��5�!/�J�)K�� M�T+C�������&�* l ����I5M�,�" g�*0K ��/�"3��S$l�2b.Lh�")1�&+C�" BJK��!/!&�T. ?10Z�43*�")d�kJ��"!/�"L� ��� ��(02�/)10"H��&J��4J��5h��H�J���s��*�d5��&J1��LM�,)��T�S02�* �$`)K�4J1 ��")ZJ1 ��� (J� ��[=Sx��*�d�*)�x4@B���]5��NJK��LM�,)����,02�* �$QLM�B�����NE5�!/�\V��NJ1 ���H.JR02�.$.�/ �'�8

�� ��[JOVZ�kL�)1�& �0"�&LM��!#VZ�,��tB ��,�1�T�S�\��D��T�Sa*H��" BJ�����!P$��,02�.$.�/ �'7��)��[�*�\DG��!/!&�4V��N9d�{�/)1�TJ,fJ� ��Q��+C�*H� BJd��D�0"��+CL�H.JK�4J��/�� p)1�,aBH��/)1�,$lLh�")C$.�&'*�NJ��/�I�r)K�� �$���+ 3q��)�����5�!&�*f{�� �$lJ� ��/�02)1�,��J��S���9V����&J��/ �'\!/�& ���L�)��*5�!/�"+���J�J� ���$.�S02�.$.�,),�B�T�S02�� M$;f��&DhJ1 ���$.�S02�.$.�")P�� �0"�Z+[��t��,��� ��")1)��*),f;�Q!/��)�'*�d5�!/�.0Ktk��DZ�")1)��*)1�90"�� i5h��+[�*$.�I5h�2DG�*)��IJ� ��C$��,02�.$.�,)\'��2JK�\5���0Kt6�* J� ��9L�)1��Lh�")ZJ1)1�*0Kth8{�eD{�dDG�"�S$.5��*0Kt[!&�/ �t[���Z�q34���&!���5�!/��fBJ1 ��,���9L�)��*5�!&�,+[�Z��)��9 ���J����")1�&�*H��"f5�H.J�0"�� �����$.�")K��5�!/�[+C��)1��OJ1H�$.�`����)1�,aBH��/)��S$cDG�*)�0"�����,�Z�/ 6V� ��/0K 6 ���DG�,�,$.5��*0Ktc�2b.���OJK�"8

�� �)1�,�� ���!�$l$.�,0"�%$��& �'k���\J1 ��`���&+CL�!/�,�TJd��0K ��"+C�CJ��r�/+CL�!/�"+C�" BJ]J1 ��4J]���d$.���102H��1�T�S$ ��,)��*���NJ#�/ %3��*!&3*�,�{�� �!/�d�� ��&DFJ#)��,'����OJ1�")K�"f���DG�"V�5��/ ���)1�d��$�$.�")K�"f��� �$���J1 �)1�,�� ���!�$I$��"3%�/0"��8�eJ�/�\+C�B�OJ\� � �,02J��/3��[�4J)1�"!��4J��/3��,!&�k�� ���)�J02�� M�OJ1)1���& BJ\!&�, �'�J1 ��"fW�� �$7 ����\�6�T�*+C�"V� ���J ��/'� ��,)��")1)��*)�L�)��*5���5��/!/�NJO�`�� �$Q!&�S���Zv��"b.�&5��/!/�NJO�`J� ��� 6���,aBH��, BJ�����!m$.�S02�.$.�/ �'�8

�� ���02�*+CL�H.J1��J��/�� CLh�")P$.�/'��&JP���1���%0"�/��J��S$]V��&J� �J� ��?B��B�T�"EO�� M��H�$. %H�)1�.02�.$.�S�X�� �J� ��B�<�� �/ �0")��S�����,�R)��*H�'� �!&�7�*�RJ� ��c0"H�5h�[��DZJ� ��[5�!/�.0Ktr!/�" �'�J� l5�H.Jd$.�%�S�\ ���Jv�HM0^J�HM�4J��V���$.�"!/��8��� ��R$.�,0"�%$��& �'I��0K ��,+C��'�H���)1�� BJ��"�S�#02�*)�)1�,02J��/�� C��Dm��!&!�02�*+d5��/ ��4J1�&�* �����DmH�L[J������+C��Y�b%�S$` %H�+I5M�,)���DW�,)�)1��)K�P�� �$(02��)1)1�,0^JK�P ���J� ��& �'�5h�"���* �$;8#����)�+C�%$��")K�4J��,!&�[!/�� �'5�!/�.0Kt[!&�, �'�J1 ��"fBJ1 ��/��)1�,�TJ�)1��0^J��/�� Q�& QJ� ��\$��,02�.$.�/ �'�L�)1�%0"�,$.H�)��R0"��HM�T�S�Z�I!���)1'����/ �0")��S������/ F�G48i���7V��q�����dt% ��4V� lJ1��+[��t��cH����`��D�J� �� � J�1���P�N�����1���L�)1��5M��5��/!&�&J��/�,���4JIJ� ����H�J�L�H.JR��DP+C�*)��]'*�" ��,)1��!U5��/ ���)��(�& �L�H.J0K ��� � ��"!��"8R�� ��/�9�/ ���5��/!/�NJO�(J��Q+[��t��dH��T�I��D@� ������P�N�����1���ZL�)1��5���5��/!&�&J��/�,����L�LM�S��)K�ZJ��[5h�d�C0K ���)K��02J��,)����OJ1�/09!/�&+C�&J1�4J1�&�* 6��D#��!/'��,5�)1���/0R�����L�LM�B�T�S$cJ1��L�)��*5���5��/!/�/�TJ���0\$.�,0"�%$��& �'�J1�,0K � ���aBH��,�,8

�� ��Q0"��+CL�H.JK�4J1�&�* oLM�,)�$��&'*�NJC���1�T�.02���4J1�,$lV��&J� >!&�4V�Ew$.�" M�T�&JO��LM��)1�NJO�BEw0K ��,0Kti02�.$.�,���L�LM�S��)K�XJ��]�/ �0")��S�������4JP+C�*�TJP!/��'B��)1�NJ1 �+C�/0,��!/!&�]V��&J� `5�!&�.0KtI!&�, �'�J1 `�� �$C ���J#J1�v�H�02J�H.E�4J1�9V���$.�,!&�[V��&J� `J� ��\ ��*�/����8��� ��RL�)1��5���5��&!/�&JO����DW$.�S02�.$.�/ �'d�,)�)1��)Z�/�ZH� �tB ��4V� mf%5�H.J��/�

?

Page 10: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

5h�"!/�&�,3��,$(J1�c$.�,0")��S������2b.Lh�� ��, *J1�/��!&!/�`V��&J� k5�!&�.0Kt(!&�, �'�J1 r�4J9�C)1�,�*�T�* ���5�!/�\)1��J��*8Z�� ����5��&!/�NJO��J��i$.�,0"�.$.�[J� ��Q$.�/'��&J1�I��D��k5�!&�.0Kti�& oLM��)K��!/!&�,!#+[��t��S�]�&JILh�*�1�T�/5�!/�cJ1�r ��� M$.!&� ��/'� ��,)�$��4JK��)1��J��,��J1 ��� 6����LM�B�����/5�!&�\V��&J� 6��J1 ��")��10K ��,+��S�"8

���*)m+[�� %�R0K M�� � ��,!/��V��&J� d+��,+C��)1��fS)��"J1���/ ��/ �'ZJ� ��e�* J�1�=���N�����1����L�)1��5���5��&!/�&J��/�,�hDG)1��+J� ��]0K ��� � ��"!;+[��t*�,���&J�L�)1�*0^J1�/0,��!/!&�cH� � ��,0"�,�1����)��CJ1�CJ1��t����0,02��H� *J���DWJ1 ��+C�"+C��)1�c�/ �� %�l��J1 ��")�V��q��8p���*)I�/ ��TJ1�� M02��fP�� >�rD ��$.�/ �'l0K ��� � ��"!�V� ��, oJ� ��`D �*$.�QLh�")K���/�TJ1�IDG��)���"3��,)1��!M5M��H�$`!&�, �'�J1 ��"f%J1 �� �@ ������������������PL�)1��5���5��/!&�&J��/�,��V��&!/!;�/ �$.��0"�4J1�RJ� ��\L�)1�,���" �0"�9��D�[D �*$.��8R�eD�J� ��/�\0K ��� � ��"!{VZ�")1�]H����,$r�*�9� B�<M�n ��4V��,3��,),fM�NJ\V��*H�!�$65M�� ��,0"�,�1����)��QDG��)J� ��9$.�S02�.$.�")PJ��d�*0"0"��H� BJ#DG�*)#J� ���D ��02J#J� M�4J�5�H�)1�TJ1�P��Dm�,)�)1��)K����)1��+C��)1��L�)1��5���5�!&��J� ��� ���T�*!/��J��,$]�")1)��*)1�,8m�� ��" Uf�H����& �'�6 ������P�N�����1���UL�)��*5���5��&!/�NJ1�&�S�U'*�&3*�,�W!&�4V�Ew$.�, ��T�&JO�\$.�,0"�%$��& �'�� M$c�T�SaBH��" BJ�����!;$.�S02�.$.�/ �'I�I'�)1�,��J#v��"b%�/5��/!&�&JO�[�/ ` ��� �$.!/�& �'C0K ��� � ��"!���V��NJ1 Q$.�,LM�, �$.�" BJ ��*�/����8�����)\0K ��� � ��"!����/ rV� ���0K kJ� ��I ��*�/���]����)1�/'���$.!&�602�* ��TJ�)K���/ ��,$(J1�`�.0"0"H�)��/ ��� ���)�J,f���"3��,)��C5�H�)1�TJ1�,fX�� lJ� ��c��J1 ��")] M�� �$;f{J1 ��")1�c���d�kL���)TJ1�/0"H�!���)1!&�7���/+�L�!&�QL�)��.0"�,$.H�)1�CDG��)$.�S02�.$.�/ �'�J� �� BZ�*���2ET�� ���H�$. %H�)1��0"�.$.�,�6.&=Sxc0e8

�� ��" QJ�)K�� M�T+C�&JTJ��/ �'C�43��,)Z0K M�� � ��,!/�Z��H�5��O�,02J�J��C!&�* �']D �*$.�,���*)�!&�* �'d ��*�/���R5�H�)K�OJK�"f�&JP�/����DFJ1�" [�/+CL�)1�*0^J1�/0,��!�J1�d02�*)�)1�,02J#�")1)��*)1�X�/ CJ� ��,���� ��*�/���dLh�")1�&�.$��,8X�w c�THM0K c0"�����,�#�NJZ�/���$�3q�� BJ1��'*�"�*H���J1��HM�T��C02�*+d5��/ ��4J1�&�* `��DW�")1)1��)�02��)1)1�,0^J1�&�* `�� M$`�,)�)1��)Z$.�2J1�,0^J1�&�* 6V��NJ1 DG�"�S$.5��*0KtI�� M$C)��"J�)K�� ���+C�/�1�T�/�� /.&=,}B0e8���!/!���D�J1 ��90"�%$��& �']�� �$[$.�S02�.$.�/ �'d�10K ��"+C�,�#5M�,�& �'02�* ����/$.�,)��S$` ��")1�9Y�J� ��4J1H�)K��!/!&�c�/ BJ��[��H�0K k�[�T�.�TJ��"+6f.5�H�J��& k0,�����,��V� ��,)��!/�NJ�J�!/���)� ���")1)1��)�02��)1)1�,0^J1�&�* `�����4J�J��,+�L�J��,$mf�!&�4V�Ew$.�, ��T�&JO�c02�.$.�S����L�LM�S��)��4J��C$.�����*$.34�� BJ1��'��*8

�w i0"�� �0"!&HM�T�/�� mf;��!&!{J� ��,�����10K ��"+C�S�� ��q3*�]J1 ��"�/)\�4V� ���$�3q�� BJ1��'*�,�,fh�� �$70"!&�S��)1!&�6 ���10K ��"+C�[���]��L�J��/+dH�+ DG��)d��!&!Z02�*+�+IH� ���0"��J��/�� p�T�&J�HM�4J��/�� M�"86�eJI��L�LM�S��)K�\J� M�4Jd�, ���H�'* 02�.$.�/ �'c�� �$6$.�,0"�%$��& �'c��!NJ1�")1 ��4J1�&3*�,�� ��4V~�2b.���OJ�DG��)����")1�&�*H���02�* ����/$.�,)1��J��/�� (��D{J� ��dH��T���DX02�.$.�/ �'C�� 6L���)TJ1�/0"H�!/��)�0K ��� � ��"!��"8

=,�

Page 11: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � ���U� � � ���� �s� ������ ��� ���$.�/�TJ1�� �02�dDGH� �02J��/�� 7��DP�cL���)��&JO�k0K ��,0KtBEw02�.$.���o���,�����R$.�2Y� ��,$7�*��J1 ��I %H�+I5M�,)9��D02�.$.�6VZ��)K$����& >J� ��r02�.$.�6��D\V��,�&'* BJ���8���)1��+ J� ��k'*)��*H�LgL�)1��Lh�")�J��/�,����DR�iL���)1�&JO�*E0K ��S0Kti0"�%$���f��&J��S�����&!/�iDG��!/!&�4V�� .N=qxc0�J� ���J�o���,�]���I��!/���kJ1 ��Q %H�+I5M�,)I��D�02�.$.�QV��*)1$���4Jd$��/�TJ1�� �02���DG)��*+ �� %�r'*�&3*�" l02�.$.�[VZ��)K$;8c�� ��[+C�/ ��&+IH�+ $.�/�TJ1�� �02�� ��D��602�.$.�����J1 ��" p$.�"Y� ��S$��*��J1 ��[�T+[��!&!/�,�TJ3q��!&H��I��D��� ��`DG��)\V� ���0K ��o���,���[_��8C��!/�,��)1!/��f;�/ �k02�.$.�`��D�'��/3��, p5�!&�.0Kt�!&�, �'�J1 ���� �$l)K�4J1��2 �&Jd���d$.�S�T�/)1��5�!/�[J��r+[��t��� ���]!/��)�'*����RLh�*�1�T�/5�!/���� �$7J��(+C��t����o���,�R�*�R��+[��!/!����RLM�B�����/5�!&��DG�*)9J1 ��*����� �OH��TJ!/��)�'*�")9J� ��� k8 ���4VZ�"3*�")SfPJ1 ��r ��"bBJ`0K M��L.J1�")SfZV� ��/0K $.���102H��1�T�S�[5h��H� �$��& �'lJ1 ��rL�)1��5M��5��/!&�&JO�g��D$.�S02�.$.�/ �'[�")1)��*)�DG��)R�T�%+C+C�2J�)1��0\5��& M��)1�*Ee�/ �L�H.J90K M�� � ��,!/�,f�V��/!/!U+[��t*�\J� ��]�"b���0^J9� � �,0^J��D��o���,�Z�* Q�,)�)1��)�Ew02��)1)1�,0^J1�& �'d0"��L���5��/!/�NJO�`0"!&�S��)1�")S8

���*)(�gL���)1�NJO�BEw0K ��,0Kt�02�.$.����Dd!/�� �'g5�!/�.0Kt�!/�" �'�J� n�NJ6���`H���H���!&!/���&+CL�)K��02J���0"��!9J��0"��!/0"H�!��4J��I�2b���02J�!/�(J� ��[$.���OJK�� �0"�]DGH� M0^J��/�� i��)R�"3*�" kJ1 ���+��/ ��/+dH�+ $.�/�TJ1�� �02�I5M�S0"��H��T���DBJ� ��#�" ��*)�+C�*H��� %H�+d5h�")W��D.02�.$.�#VZ��)K$����/ B3*��!/3��S$;8;�eJU���m��DFJ1�" ]���&+CL�!/�")mJ����� M��!/�Bu,�XJ� ���q3��,)1��'���$.���TJ1�� M02�RDGH� �02J��/�� (��DW�� `�" M�T�,+d5�!/�\��DW0"�%$��,�,�%J� ��\�OJK�4J1�/�TJ���0"����DW�� Q�" ����"+I5�!&�Lh�")1+��&JP�* ���J��I�q3��")K��'*���43*�")PaBH��� BJ��&J��/�,��J1 ��4JZ��)1�� ���J#J1)1�*0^JK��5�!/���/ [�& �$��&3%��$.H���!h02�.$.�S�"8��)1��+�J� ����" M�T�,+d5�!/���q3��,)1��'��*f��� ��90"�� CJ1 ��" Q+[��t����TJ1��J����OJ1�/0,��!��OJK�4J1�"+C�" BJ1����5h��H.J�J� ��+C�"+I5M�,)�02�.$.�,�,8

� �� ��� ��� �5�* ��5"�� $ ��� ��+ �S,�� $ � �#�/"�� � ! �:��������� �� ����S+�� ����C0K ���L.J1�")CV��/!&!�5h�k02�� M02�")1 ��S$oL�)1�&+[��)��/!&�lV��&J� >J� ��k$.���TJ1�� M02�(DGH� �02J��/�� ��C��D�!&�4V�E$.�, ��T�&JO�kL���)��&JO�BEe0K ��S0Ktk02�.$.�,�,f;5�H.JDG�*)02��+CL���)������� rL�H�)�Lh�*���,�,f�J� ��[�q3*�")K��'��I$.�/�TJ1�� �02�DGH� �02J��/�� Q��DU�� ���J� ��")Z�" ����"+I5�!&�9��DULM��)1�NJO�BEw0K ��,0Kt�02�.$.�,��V��/!&!�5h�R$.�,)��/3��S$CY�)K�OJS8#<%�& M02�9�L���)��&JO�BEe0K ��S0KtI0"�%$��9����02��+CL�!/�2J1�"!/�c�TLh�,0"�NYM�,$c5%�[�IL���)1�NJO�[0K ��S0KtC+C��J�)1�Nb;f.�� `�" ����"+I5�!&���D�L���)��&JO�BEe0K ��S0Kt702�.$.�S�+[�q�75h�`$.�"Y� ��,$l�/ iJ��,)�+[�]��D��� l�" ����"+I5�!&�`��D�L���)1�NJO�BEw0K ��,0Kt+[�4J1)���02�S�"8X�� ��\�,aBH��/L�)1��5���5�!&�9�" ����"+I5�!/�9��DUL���)1�&JO�*Ew0K ��S0Kt�0"�%$��,�Z��D{)1��J��52 �� �$Q5�!&�.0Kt!/�" �'�J� �QV��/!/!�5M�9$.�2Y� ��,$C���XJ1 ����" M�T�,+d5�!/���& [V� ��/0K �J� ��,�#�O=d+ 2�{5%� �(L���)1�NJO�BEw0K ��,0Kt+[�4J1)��&b(���9Y�!/!&�S$kV��NJ1 ��TJ1��J����OJ1�/0,��!/!&�6�/ �$.�"Lh�" M$.�" BJ\�,aBH��/L�)��*5���5�!&�]5��& ���)��6$.�/'��&J1�,8R�� ��/����9�S�����" BJ1�/��!&!/�6J� ��[�1��+C���" ����"+I5�!&�C���9J1 ��4J]02�* ����/$.�,)��S$k5%�7:#!/�����). y10#�& � ��/�\)K�� M$.��+02�.$.�/ �'�5M�*H� �$���DG��)�L���)1�&JO�*Ew0K ��S0KtC0"�.$.�,�,�%J� ��+C�/ ���)�$.� � �")1�" �0"�R���ZJ� M�4J�02�.$.�S�Z�& (J� ��/��" M�T�,+d5�!/�\+C�q�Q ��q3��\�C)K�4J����!&�/'� BJ1!&�c ��&'* ��")�J1 ��� 2�f����& M02�RJ� ��d)��4V��Z��D���+[�4J�)1�&bQ�/ J� ��/���, ����"+d5�!&���)1�\ ���J� ��S02�S���1��)1�&!/�[�/ �$.�"Lh�" M$.�" BJ��43*�")�J� ��+C�.$.H�!/�`xdY��"!�$;8� W�%:�1��%:c ���*��� � ��� �o���,�!=� ��"J��$#��N�S�&%a�')(+*,!=��� �.-�/=�10 ��2 �1�301���4-52 �N�6%7"���� ��' �/=�10 � �$#��N�S�&%a�80 �$#��N���"�� �89&(�� �S�:!=�;!&< � �&'J�N�&*�!&< � �4-� ��1���L�>=@?./A"��A/8B�/=�10 ��� �4-�< �&'C%���" ��@'D0��S���P�52,EFD"��G'-��1�H� >�JI

�o���,�JK � �:L x = � E���= F@I RNM x@O �UjW�O=,+ jM�QP = �� �2b.L_� M6R ��jh�:+��O=,+ 2\�.!& �x@P ��x.8/=S�

2S"J�N�S�ja[ �

�R ��jh� [ j�!& =j ) �T=,+>jh�%!/ ==,+ j

=�=

Page 12: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�`�S�F�4-GE9�m�"JnF[���,�#5h��J1 ��9L�)��*5���5��/!/�NJO����D;J1 ��R���2JZ��DU0"�%$��,�PDG��)ZV� ��/0K Q�T�*+���L���)�J���02H�!���)���,aBH��" M02�]��DXVZ�"�/'� BJ ����9�`02�.$.�]VZ��)K$;8�<BJK�4J��S$r$.� � �,)��, BJ�!/��f�F[���,������J1 ��dL�)��*5���5��/!/�NJO�J� M�4JR�cL���)�J���02H�!���)R�T�SaBH��" �0"�]��D#VZ�"�/'� BJ �V��/!&!{5h���c0"�.$.�dVZ��)K$(�& 7�Q02�.$.�d0K ��*���" r�4J)K�� �$.�*+ DG)1��+zJ1 ��]�, ��T�,+d5�!/��8�<%�/ �02�\J1 ��d��!/!&E u,�")1��0"�%$��]V��*)1$Q�����[02�.$.�VZ��)K$`�/ r�� %�L���)��&JO�BEe0K ��S0Ktc02�.$.�*f�F[���,� [�=\DG��) ��[~��8Z����)H�,�[~��f��[L���)TJ1�/0"H�!���)�L���)��&JO�BEe0K ��S0KtcV��/!&!0K ��S0KtdV��&J� [L�)1��5���5��/!&�&JO� �� �� �J� ���!/�*�OJPLh�*���&J��/�� [�/ [V� ��/0K �J1 �� ��V��,�&'* BJP�T�Sa*H��" �0"�� �����c�* ���8]�� ��/�R+[��t*�,��J1 ��CL�)1��5���5��&!/�&JO� �� J1 ��4J�cL���)��&JO�BEe0K ��,0Kt(�/�\�1�4J����TY��,$k)1�"'B��)K$.!/�,�1�V� ��"J� ��,)#J� ���Y�)K�OJ � +i=��� ��,�#VZ�")1��0K ��S0Kt��,$[�� [�"3*�" [��)Z�� c�.$�$C %H�+I5M�,)���D;J��/+C�,�,8X����,aBH��" M02�\V��&!/!m5h�]�C02�.$.��&DX�� �$`�* �!/�`�&D{�&J�����J����OYM�,����!/!�J� �� �#�O=b+ 2�PLM��)1�NJO�`0K ��,0Kt.�"f���IJ1 ��4J

F[���,��[ x = � E�� = F@I � DG��) ��[���� ��\L�)1��5���5��&!/�&JO�^F[���,��0"�� 6��!����d5h�R�/ BJ��,)�L�)1�2J1�,$Q������ (�2b.Lh�,0^JK�4J1�&�* `��DX�d)K�� M$.��+

34��)1�/��5�!/��J� ���J��/��=��&D�J1 ��Z���,aBH��, �02���/�X�902�.$.�ZV��*)1$�� �$d����J� ��")1V��/����8{���4VpVZ���*5��T�,)�3*�J� M�4J�J� ��")1�\��)���� � ��� ���,aBH��, �02�S����DWVZ�"�/'� BJ ��� �$`J� ���J�J� ���"b.LM�S0^J��S$( BH�+d5h�")���D{02�.$.�VZ��)K$��#��+C�* �'J� ��,�����T�SaBH��" �0"�,�P�/�PJ� ��R�TH�+���D;J� ��9�2b.LM�S0^JK�4J��/�� M��J� M�4JPJ1 ����/ �$.�/3%�/$�H���!���,aBH��" M02�,����)��\02�.$.�VZ��)K$��,8{�� %H��

�o���,��[ K � �CL x = � E���= F@I ��x.8�x��

��� ��4V 5h��H� �$�� � � � 5%�[J1 ��d<BJ��/)1!&�/ �'c��L�L�)��qb.�/+[�4J��/�� S9=� x@O � � � �2b.L� +,� ) =

=qx1� + =y�}*��� �� R K � �CL R =� x@O � � � �2b.L�� +,� ) =

=qx1� ��x.8 y*�

�eJ�DG��!/!/�4V��Z��DFJ��,)��T�*+C�R+[�� ��&L�H�!/��J��/�� QJ� ���J�DG��)Dj�� [ �= x@O �UjW�O=,+ jM� �2b.L�^� R ��jh�:+ =

=Sx��UjU�T=,+>jh� � K ��UjJL � = x$O �UjU�T=,+>jh� �"b%L_� R �kjM���x.8 @B�

V� ��,)�� R �kjM� [ +Dj�!/ Dj�+��O=,+ jM�.!& {�O=,+ jM�����+I5��& ��& �'[:�a*HM�4J��/�� M���x.8 @B�Z�� �$�� x.8�x��2f�V��\'*�2J�J� ��]�TJ1��J��,+��, BJ���D{J� ��\J1 ��"�*)��,+(8

���"bBJ�VZ�\��5����")13���J� ���J��43*�")PJ� ��\�,aBH��/L�)1��5���5�!/�9�, ��T�,+d5�!/�R��DWLM��)1�NJO�BEw0K ��,0KtC02�.$.�S�"fJ� ��d+C�& ��&+IH�+|$.���OJK�� �0"�d��D�J1 ����& �$��&3%��$.H���!�0"�%$��,�����R�c)K�� �$.�*+ 3q��)�����5�!&�]V� ��*���d$.���OEJ�)1�/5�H.J��/�� (DGH� M0^J��/�� k0,�� (5M�5h��H� M$.�,$(5%�[J� ��\DG��!/!&�4V��/ �'�J� ��,��)1�"+68� W�%:�1��%:c ��� ����� #��N�_��"�� �89&(�� �S�:!Z�:!G< �@�&'J�N�&*�!&< ���4-4 ��1���L�>=@?./A"��A/8B/=�10 ���b�4- < �&'C%���"@��@'D0 �S�1��� 2�I ��"J�5*���''��*�(+*?.01�������@'�/=�50����=�8��� !&(��C���$' -8(+'�/N�C���$'[�#),� R�� �U�@���5!Z�$(+'�0 �A0!&= !Z����" ��"���-��$<�< �@2U��' % ��' �89&(��@< �L�8������-���� � � �� �@'�0 � � �@'D0���'���� % �N���

�P),� R�� �U� R ==,+px ��� =,+ �

x$O � � �"b%L,� M R � � �:+��O=b+ 2�%!& �x P�P),� R�� �U� R =

��x.8�s��

=Sx

Page 13: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�`�S�F�4-GE��eJUV����W�T ��4V� \�/ ]�� ��"�*)��,+ x�8&=XJ1 ��4JWJ� ��PL�)��*5���5��&!/�NJO��J� ���J{�� ��� �u,�")1���T�Sa*H��" �0"����#�]02�.$.��VZ��)K$��43��,)XJ� ����, ����"+d5�!&����D;0"�.$.�,������x = � EL��= F@I 8{�� ���L�)��*5���5��&!/�NJO�dJ� ���J��� %����,aBH��" M02�C��DZV��,�&'* *J � � ��)!/�,�1�\�/�d�(0"�.$.�CV��*)1$��/�0"�")�J1���& �!/�r!/�,�1�RJ� ��� iJ� ��c��H�+ ��DJ� ��L�)��*5���5��&!/�NJ1�&�S��J� ���J�J� ���/ �$.�/3%�/$.HM��!U���,aBH��, �02�S����)1�\0"�.$.�\V��*)1$��,8X�� BHM�"f

�#),� R � � � R ���� ����K � �CL x = � E�� = F@I ��x.8 }*�

���� ����K � �CL [ K �� � L�� = ) � �

� + � � ) = )� � ��� � +�=S�

��� + � � ) =q�2� � + � � ) x�� )���� �BZ��H� M$.�& �'IJ1 �����5%�`��'��"�*+C�2J�)1��0R���")1�/�,�,fBVZ�\'��"J

���� ����K � �:L R K �� � L =,+ �

=,+lx � ��x.8 ���

BZ��H� M$.�& �'c:PaBH��4J1�&�* i� x.8 ����5%�l��x�8 @%���� �$k��H�5��TJ��&J�H.J1�& �'c�& BJ1�c:PaBH��4J1�&�* p��x.8 }*�^f�VZ�'��2JJ� ��]�OJK�4J��,+C�" BJ���D{J� ��\J1 ��"�*)��,+(8

��� �>'��"J1�\!���)1'��")Sf�J� ��/�\5h��H� M$7J1�k�#),� R � �U�\�*��QDGH� �0^J1�&�* l��D � ��L�L�)��B��0K ��S��k�TJ��"LlDGH� �0^J1�&�* pV��NJ1 pJ� ��Q�OJ1�"Lo�4JJ1 ��4J � M � �� DG��)IV� ���0K R � � M �3[ �O=e+ 2�%!/ �x.8�{�&'*H�)1�`x.8 @kL�!&��J1� � M �*�]�(DGH� �02J��/�� p��D�)K�4J1��86�� ��/�d)��S�TH�!NJ]���d0"!&�B�T�,!&��)��,!/��J��,$�J1�kJ� ���R�/!&5h�")�J]5M�*H� �$i�� l+C�/ ��&+IH�+ $.�/�TJ1�� �02� . } 0e8`�� ��c�*�T�%+CL.J���J���0IDG��)1+|��DZJ� ��(�R�&!/5M�,)TJ5h��H� �$DG��)U!���)1'�� �C�TJ1��J��S�mJ1 ��4JWJ� ��,)��#�"b.�/�TJ1�_�5/=�10 ��DG��)UV� ��/0K (c� � M 8W�� ��,��)1�"+ x.8�x�TJ1�4J1�,�\J1 ��4JIDG��)d�� %��� _��fUJ1 ��`L�)1��5M��5��/!&�&JO�7��D�J� ��`���2JI��D�L���)1�&JO�*Ew0K ��S0Kt702�.$.�S�DG��)V� ���0K �c�#� � M +��^�Z��L�L�)��B��0K ��S���I�"b.LM�* ��" BJ�����!/!/�cV��NJ1 ��8� �� ����+>!#"� � � � � � � �#!*� � + ��+�% ���� ���S�5+ ��! �� �� �S+�w J1 ��/�X���,02J��/�� d�� d�" M�T�,+d5�!/�P��D�!&�4V�Ew$.�" M�T�&JO�\L���)1�NJO�BEw0K ��,0KtR02�.$.�S�UV��/!&!%5h�Z$��2Y� ��S$;f��� M$J� ��"��)1�"+[���T�/+C�&!���)PJ��I�� ��"��)1�"+[�Zx.8/=��� �$Qx.8�x\V��&!/!h5M�9L�)��43*�,$;8X�� ��, `� ��,V��" ����"+I5�!&�V��/!&!�5h�9DG�*)�+C�S$`5%�[�2b.L�H�)�'B�4J��/ �'dJ� ��B�T�\02�.$.�S�PJ1 ��4J� ��q3*�9��+[��!/!h+C�/ ��/+dH�+ $.�/�TJ1�� �02�S�"8�� ����Z�2b.L�H�)1'*��J��,$c�" ����"+I5�!&�RV��/!&!;5h�\H��T�S$c�/ `J1 ��R ��2b%J�0K ���L�J��")�J��C$.�,)��/3��R5M�*H� �$��Z�* J� ��L�)��*5���5��&!/�NJO�[��DX$��,02�.$.�/ �'C�")1)1��)ZDG��)�34��)1�/��H���0K ��� � ��"!��,8

���"Y� ��C�� o���U��� �'����L���)��&JO�BEe0K ��S0Ktc+[�4J1)��&b6�*�9�c+C��J�)1�Nb6��D*�o0"��!/H�+C ���J� ���J9 ��*� ��� ��,�9�& ��,��0K �02��!/H�+C mf��r�� ��S���/ 7�S��0K r)1�4Vf;�� �$7u"�")1�*���"!��T�,V� ��")1��8\�eJ\DG��!/!/�4V���DG)1��+J� ��/�{$.�2YM ��NJ1�&�* ]J1 ��4JX�� `���U��� �'���UL���)��&JO�BEe0K ��S0Kt�+[�4J1)��&b\ ����4������R)1�4V��U�� M$\J� %H��{��)K�4J1�2 (�=@+ �����8]�w ���)K$.�")9J��602�* ��TJ�)1H�0^J�� ��" ����"+I5�!&����DR� �U��� �����9+C��J�)1�/0"�,�,f;02�� M�T��$.�")Y�)K�OJIJ� ��k��LM�S02����!� �U�&� �'���d+[�4J�)1�&bo�& ��W�/'�H�)��6x.8/=�f�DG�*)IV� ���0K � [|x���f�� [ y�fP�� M$� [�@M8

�� ����Q+[��J�)1�Nb����Q$.�/3%�/$��,$ �/ BJ�� ���TH�5�+C��J�)1�/0"�,�,f��,�*0K 02�* BJ1���/ ��/ �'g���T�/ �'*!&�>=7�/ �,�*0K i0"��!/H�+C m8`�� ��CYM)1�TJ]��DZJ� ��S�T�c��H�5�+[��J�)1�/0"�,�]0"�� BJ1���& ����!&!��&J1�`=�� �\�& p$.�S��0"�" �$��& �'��)K$.�,),��J1 ��4JQ�/�,f�J� ��������l)��4V 02�* *JK���/ ��k= � �[�/ 02�*!&H�+� M�7���,+�=S� � ) =kJ���� ��8 �� ����J1 ��")\��H�5�+[�4J1)���02�S�9��)��I+��,)��,!&�k0"��!/H�+C 7Lh�")1+dH.JK�4J��/�� M�9��D�J� ���Y�)K�TJ,8\���[$.�"Y� ��IJ� ���" M�T�,+d5�!/����DP� �U��� �����#0"�%$��,�Z����J1 ��R�" ����"+I5�!&��)��S�TH�!&J��/ �'dDG)��*+_)K�� M$.��+_LM�,)�+IH.J1��J��/�� ����DXJ1 ��I0"��!/H�+C �����D#�,��0K k��DXJ� ��I5M��JTJ��*+ � +�=d��H�5�+[��J�)1�/0"�,����DP�[+[�4J1)��&b6��H�0K r�*���/

=,y

Page 14: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � �

�{�&'*H�)1�Rx.8/=>9�:#b.��+CL�!&�9��DW�I!/�4V�Ee$.�, ����NJO�[02�.$.�R+[�4J1)��&bCDG��)_� [nx���f �)[ y�f.�� �$)� [�@�8

�{�&'*H�)1�Rx.8/=�V��&J� Q�,aBH���!hL�)1��5���5��/!&�&JO�[���1�T�/'� ��S$�J����,�*0K [LM�,)�+IH.J1��J��/�� m8��� �����$.�2Y� ��NJ1�&�* �����T�*+C�"V� ���J���)15��NJ1)1��)��c�� �$(�/��+[��$.�\DG�*)�+[�4J� ��"+[�4J1�/0,��!U0"�� %3��, ��&�, �02�*8#�w 6D ��02J��THM0K �� i�" M�T�,+d5�!/�[$.�%�,� ���J�& �0"!&HM$.�c��!/!�� �U�&� �'���\0"�%$��,���� �OHM�OJd$.�"Y� ��S$;8c��!��T�MfW��J\!/�,�*�OJ� �b+�=q�X)1�4V����& `�,��0K [+[��J�)1�NbC��D;J1 ����, ��T�,+d5�!/����)���!/�/ ��,��)�!/��$��"Lh�" �$.�, BJ,8��� ��������&+CL�!/�+C�,�� ��RJ� ���J\J� ��c0"�%$��,�\ ��q3*���6��!&�/'� BJ�!/�r ��/'� ��")�/ .DG��)1+[�4J��/�� i)K�4J��IJ� M�� iJ� ��[+[��J�)1�Nb�/ �$.��0"�4J1�,�,8BZ�2DG��)1��YM �$.�/ �'dJ1 ���q3��,)1��'���$.���OJK�� �0"��DGH� �0^J1�&�* Q�� M$[J� ��9+C�/ ��&+IH�+�Ee$��/�TJ1�� �02�\$.���OE

J�)1�/5�H.J��/�� QDGH� �02J��/�� QDG��)�J1 ��,���\�" ����"+I5�!&�S�Z��D{0"�.$.�,�,f.V��R ��,�,$`J� ��\DG�*!&!/�4V��& �'dJ1 ��"�*)��,+(8� W�%:�1��%:c ��� , ��� �1� �=�;/8"�/=�10 � ��' �$'n� �U�&� �'��� �&'J�N�G*,!&< � I���"J� ')(+*,!=����� � ���,� �.-�N�89G(��&'�/=����4-�2 �N�6% "g��� ��"J���,�N�1�8�����`��� �@' =�@' � �4-�� !G< �7/8B�� �4-@� ��� ��1���L�>=@?./8"J�8/AB1� ���!=�@(+'D0��80 !&=

� � � � ���� ��q� � R �2b.L � � M � ��q�:+ �� ��q� ) ��� +>=q�%!/ �x@P ��x.8 A*�

2S"J�N�S�� ��� �$' ���&!��L�8�S�1� = J���S�@*������N�8I � ��q� ��� 0 ����' �80 !&=� ��q��[ !& �x =�� � �O= ) <�� � � ) �O=b+ <�� � � � ��x.8 ?*�

�@'D0� � ��q� [�� � ��q�

� � ���G/&(g�=�����@'�E��� �����J1 ��"�*)��,+-)��,!/��J��S� �I�� �$ � � ���,��5%�k�2b.L�)1�,�1���&�* r5M��J� i���9DGH� �02J��/�� ����DWJ� ��\L���)1��+C�2J��,)��8#�{�/'�H�)1�x.8�xd��t��"J10K ��S��� �1���� �$�. !/ � � ���,� 0����7�*�ZDGH� �02J��/�� �����D�*8�`�S�F�4-GE9���*)I�� B�i02�.$.�Q�& pJ1 ��c�, ��T�,+d5�!/��f#�� �$iDG��)��� %�i�� ��c��D�J� �� �75�!&�.0Kt.���Db� ���L���)��&JO�k0K ��,0Kt.�,fMJ1 �� � ��6L���)��&JO�BEe0K ��,0Kt ���N�C�IV��&J� ��/ i�`5�!/�%0Ktr��)��I+dH.J1H���!/!/�k�2b�02!/H����&3*��� M$p�2b. ���H��OJC��!/!#J1 ��($��&'*�NJK�"8p���� ����/$��")IJ� ��(�T�"JI��DR��!/!����,aBH��" M02�,�I��D �p5��& ��NJK�dJ1 ��4J02�* BJ1���/ ]�� �,3��, ] %H�+d5h�")W��D��� ��,�,fq�� �$]0"�� ��TJ�)1H�0^J{�� ]�, ��T�,+d5�!/��DG)1��+~J� ��,�������,aBH��" M02�,�

="@

Page 15: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� ����� E�I�

��

�{�/'�H�)1�]x.8�x#9��� ��\DGH� M0^J��/�� M� � ���7�� �$ . !/ � � ���,� 0��1������LM��)K��+C�2J1)���0�DGH� �0^J1�&�* �����D *85%���*�����&'* ��/ �'(J� ��`�1��+C�[L�)1��5M��5��/!&�&JO�rJ1�r�,�*0K m8Q�� ��[J���J1��!P BH�+d5h�")]��D����,aBH��, �02�S��/ J� ��(�, ����"+d5�!&�6���cx �c=d� f��� �$gJ� ��6L�)1��5���5��/!&�&JO�p��D\�i���,aBH��, �02�602�* BJ1���/ ��/ �'��]�� ��S�6����"3*�" M���/� � � � � x =�� K4� 8��� ��I+��*+C�" BJTEe'��, ��")K�4J1�& �'�DGH� M0^J��/�� rDG��)�J1 ��d %H�+I5M�,)���D#�� ��S���/ �C�T�SaBH��" �0"�\�/�ZJ1 BHM�

� ��q��[ ���� �

K � �1L x =�� K4�U<�� � � x.8/=,�B�

��)

� ��S�;[ x = � M �O= ) <�� � � ) �O=,+ < � � � P � x.8/=�=q��W�Q�� ��4V~J� ���JR:PaBH���J��/�� ��I��x�8&=S�*���� �$o� x.8/=�=S����)1�]�,aBH��/34��!/�" BJ,f�H����]J1 ��I5��& ��*+C�/��!W�"bBEL��� ��T�/�� (�� 6:PaBH���J��/�� l��x�8&=*=S���� �$(��5M�T�,)�3*��J1 ��4J��.$�$`J��,)�+[��0,�� �0"�"! 8

���*)P�,�*0K [��D�J� �� � ��IL���)��&JO�BEe0K ��,0Ktd���2JK�"fB�& M$.�"Lh�" �$��" BJ�!/�[0K ��%�*�����]���,aBH��" M02��DG)1��+J� ��]L�)1�"3%�&�*H����, ��T�,+d5�!/�]�� M$6H��T�]J� ���J9�T�SaBH��" �0"�]����J1 ��d5��& ��&J1���& 6J1 ��4J9L���)1�NJO�BEw0K ��,0Kt���2J,8i�� ����dL�)1�.02�S$.H�)1�Q$.�"Y� ��,���� g�" ����"+I5�!&�Q��D��Sa*H��&L�)1��5M��5�!/�c�"3*�" BJ1�d�& >V� ���0K pJ� ���"3*�" BJ1�P��)1��J� �� ��E !/�" �'�J� c���,aBH��, �02�S�P�1�4J����TDG�B�/ �'J1 ��b� ����L���)1�NJO��0K ��,0Kt.�,8{�� ��� %H�+d5h�")��D.�* ��,�U�& d�� ��Ee!&�, �'�J1 ]�T�Sa*H��" �0"�#�/�UJ� �����H�+ ��D.J� ��P %H�+d5h�")W��D��* ��,�U�& J1 ��P�/ �$.�/3%�/$�H���!L���)��&JO�BEe0K ��S0Ktc�T�"J1�,f��� M$(J� %H���J1 ��d��H�+ ��D � ���Q�& �$��"Lh�" �$.�, BJ�)1�� �$.�*+ 34��)1�/��5�!/�,���,�*0K ��q3%�/ �'dJ1 ��+C��+C�" BJ�E '*�" ��,)1��J��/ �']DGH� M0^J��/�� � ��q���& k:�a*HM�4J��/�� i��x�8&=*=S�K8����* ��T�SaBH��" BJ�!/��fJ� ���+C��+C�" BJP'*�" ��,)1��J��/ �'\DGH� �02J��/�� CDG��)PJ� ��9 %H�+d5h�")#��D;�� ��S�#�/ c�� ���Ee!&�, �'�J1 c�T�Sa*H��" �0"���� . � ��q� 0L��� � 8c�� �������\ ��4V�HM�T�S$7J1�65M�*H� �$�J� ��[L�)��*5���5��/!/�NJO���c���,�R�/ 7J1 ��/�]�" ����"+I5�!&�J� M�4J��C�T�SaBH��" �0"�\ ���� �R�� ��S�"8 BZ�Q$.�"Y� ��&J��/�� mf

. � ��S� 0 � � [��� �M�"b.Lm��&�,���[���,� � x.8/=Sx*�

(��2b.LU��&�,���[���,�2� DG�*)��� %� d�� �$ � � x.8/=,yB���)1��+ :PaBH��4J1�&�* i� x.8 ?*�Z�� M$Q:�a*HM�4J��/�� l��x�8&=*=S�Kf � ��q��[�!/ � ��q�^f�����J� ���J

�c���,� R �2b.L � � � � ��q�:+ &� ��{�& M��!/!&�*f;� � ���,�W�,aBH���!/���[���,�mJ1�&+C�S�{J� ��� %H�+I5M�,){��Dh���,aBH��, �02�S�X�& IJ� ����, ��T�,+d5�!/��8�<%�/ �02�J� ��")1����)���x �c=d� �T�SaBH��" �0"�,�{�/ dJ1 �� �BEe!&�, �'�J1 d�" M�T�,+d5�!/��f4J1 ��")1����)1��x�� E �c=d��I � � ���,aBH��" M02�,�

=Ss

Page 16: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�/ QJ1 �� ��Ee!&�, �'�J1 Q�, ��T�,+d5�!/��f�����J� ���J� � ���,� R �"b%L � � � � ��S� ) �

���� +>=q�%!& �x@+ &� � � x.8/="@%�

�� ��" CVZ���T�"J{J1 ���$.�")1�/3q��J��/3�����DMJ� ����"b%Lh�� ��" BJ��& C:PaBH���J��/�� 6��x.8/="@%�m�SaBH���!%J1�\��f4V��'��"J �^[z� � ����� � � ��q�^fm�� �$6V� ��, 7VZ�d�TH�5��OJ1�NJ1H.J��IJ� ��/�R34��!/H��d��D ��& i:PaBH��4J1�&�* o��x�8&=,@B�Kf:PaBH���J��/�� i��x.8 A*�Z)1�,��H�!&J1�,f%J� ��,)��,5%�cL�)1�43B�/ �'IJ� ��\J1 ��"�*)��,+68

�eJ�/�R�T ��4V� 7�/ ����"DG�")1�" �0"� . @10XJ� ���J\���2J�J��/ �' �%[ � � ����� � � ��q�9��02J�H���!&!/�k+C�& ��/+C�&u,�,�J� ��`�2b.Lh�� ��, BJ,fXJ� ��")1�"5%�l�B�/�"!�$.�/ �'rJ1 ��`5h�,�TJC5M�*H� �$;�� ��4V��,3��,),fWJ� ��QJ� ��"��)1�"+ ���]J1)�H��)1�"'*��)1$�!&�S������DBJ1 ��P+C�/ ��/+C��!B0K M��)K��0^J1�")m��D%J� ����2b.LM�* ��" BJS8W��!&J� ���H�'* ]�NJ{�/�U ���J{ ��,0"�,�1����)���/ cJ� ��9L�)1�%��DOfB�NJ�0"�� c5h�R�� ��4V� mfBH����& �'Z`OJ1�&!&J��S$*d]L�)��*5���5��/!/�NJ1�&�S�5. @ 0m�� �$Q�d0"�" BJ�)K��!M!&�/+C�NJJ� ��"��)1�"+ . �N0ef.J1 ��4J��*�T�%+CL.J���J���0"��!&!/�[DG��)�!���)1'��@��f

� � � � ��� � ��q� ��� x x@O � � � ��q� �"b%L � � M � ��S�U+ � � ��q� ) ����+>=q�%!/ �x P � x.8/=Ss*�

�� ��"�*)��,+ x�8 yg0"�� � ��4V 5h�7HM�T�S$�J��pY� M$�J� ���L�)1��5���5��&!/�&JO�ZF[���,�C��DJ1 ������2J`��D02�.$.�S��DG��)[V� ���0K ��T�*+��6L���)TJ1�/0"H�!���)c���,aBH��" M02�6��DRV��,�&'* *J��(�/�c�l0"�%$��(VZ��)K$;8 <%�/ �02���!/!�Lh�")1+dH�J1�4J1�&�* ��c��Dd�o02�.$.�i��)1�k�,aBH���!&!/�>!/�/t��"!/��f?F[���,�C���Q0"!&�S��)1!&���/ �$.�"Lh�" M$.�" BJQ��DJ� ��IL���)TJ1�/0"H�!���) �^E VZ�"�/'� BJ9���,aBH��, �02�C0K ��*���" U8R�eD�V��C0K ��%�*���I�� ��^E VZ�"�/'� BJ\�T�Sa*H��" �0"�I�4J)K�� �$.�*+6f4J� ��, CDG��)#�� B��02�.$.���/ �J� ����, ����"+d5�!&�ZJ� ���L�)1��5���5��&!/�&JO�]�/��� � ���,� � � � � � J� ���J#J� ���^EeV��,�&'* *J����,aBH��" M02�0K ��*���" QV��&!/!U�1�4J1�/�TDG�`�� %�cLM��)�J���02H�!���)�5�!/�.0Ktc��D � ��`L���)1�NJO�c0K ��,0Kt.�"8<%�/ �02��S��0K Q��D{J� �� �C5�!&�.0Kt.����DXL���)1�&JO�`0K ��,0Kt.�Z����0K ��*���" (�& M$.�"Lh�" �$��" BJ�!/��f

F[���,��[ � � � ���,�� � ������� � x.8/=,}B�

�� ���$.���OJK�� �0"�ZL�)��*LM�,)TJ1�&�S�{�� �$J1 ���+C�& ��/+dH�+IEw$.���OJK�� �0"��$.�/�TJ�)1�/5�H.J��/�� IDGH� �02J��/�� C0"�� ��4V 5h��$.�,)��/3��S$k�/ kJ��,)�+[�9��DLF[���,���/ kJ� ��C�1��+C�dV��q�(�*��J1 ��"�6VZ�")1�d$.�,)��/3��S$6DG��)9J� ���" M�T�,+d5�!/�\��D���!/!;L���)1�NJO�BEw0K ��,0Kt[0"�%$��,���/ 6:�aBH��4J1�&�* ����x�8&=q���� �$i��x.8�s��28

� � � ���,� R K � �CL F[���,��[ K � �:L = � K4� � � ���,� � � x.8/=q���

�P),� R � � � R ���� � � � K � � L F[���,��[ ��� � � K � � L = � K4� � � ���,� � � x.8/=,AB�

����J��[J1 ��4J��& oJ� ��Q!&�4V�Ew$.�" M�T�&JO�7�, ��T�,+d5�!/�c�* �!&�p���,aBH��, �02�S���D��,3��" pVZ�"�/'� BJd+[�q�i5M�02�.$.�\VZ��)K$��,8X�9�T�/ �'[:PaBH���J��/�� ��\� x.8 @B���� M$�� x.8/="@B�^f�V��\'*�2J

� � � ���,� R ]C�kjd�S�U�%�2b.L +,� i � � �kjM�2� V� ��")1� ja[ �� � x.8/=,?B�

i � � ��jh� [ � � +�=S� R ��jh�:+ �� M � ��q� ) ��� +�=S�%!/ �x P ) � @j � x.8�x��B�

]C�kjd�S�U� [ M x$O �UjU�T=,+>jh� P � =d�� �"b%L � +�==qx1�UjW�O=_+ jM� � V� ��")1� j [�� � ��q�� � x.8�x.=q�

=,}

Page 17: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

<%H�5M�OJ1�NJ1H.J��/ �'c:PaBH���J��/�� l��x�8&=S?*���& BJ1�C:�aBH��4J1�&�* i� x.8/=,A*�^f�V��\'*�2J

�P),� R � � � R ���� � � � ]C�kjd�S�U�%�2b.L +,� i � � ��jh� � x.8�x�x*�

���*)b�l!/��)�'*��f%J1 ��d��H�+C+C��J��/�� ����& r:�aBH��4J1�&�* ����x�8&=S?*���� M$p��x.8�x�x*����)1�'��43*�")1 ��,$`L�)��/ .E02�/L���!&!/�`5%�cJ1 ��5h�" ��q3%�/��)���D i � � ��jh�^� i � � ��jh����!/���[��L�Lh�,��)1���/ (J� ��d5M�*H� �$���DG�*)�L�)1��5.E��5��&!/�NJO�7��D�$.�,0"�%$��& �'6�,)�)1��)\�/ �J1 ��[ ��"bBJd0K M��L.J1�")S8c�� .DG�*)TJ1H� ��4J1�"!/��fW�NJ]��� ���J\�S�����kJ���� M��!/�Bu,� i � � �kjM�����& M02�\�NJ�����'��/3��, `�/ `J1�")1+C�Z��D�*f.V� ���0K Q�����& QJ�H�)� 6�� Q�&+CL�!/�/0"�NJ�DGH� �0^EJ��/�� ���DnjU8]�eJ\�/�\�� ��4V� r�/ i��L�Lh�" �$.�&b���J� ���J9DG�*)�� ( y�f i � � ��jh�9 ����9J1 ��I5h�" M�q3B�/��)�� ��4V� k�& i�{�&'*H�)���x.8 y�8��eJ\���9�c��J/j [�����)1�/���,�9V��NJ1 7�� 7�& ��&J�����!X�/ .Y� ��&J��C��!&�*LM�*�h M�����+[�4b.�/+dH�+6�M�� �$(J� ��" 7$.�S02)1�,�*�T�S�"f�0")��B�����& �'CJ� ��d��b.�/����J9����+C�Tj [ � � � fh�� �$6)1�"+[���& �� ��,'*�4J1�&3*��DG�*)Dj� � � � 8

������� �� ���

�{�&'*H�)��]x�8 y 9�<.t��2JK0K Q��DUJ1 ��\DGH� �02J��/�� i � � ��jh�^8�eJR���\02!/�,��)�J� M�4JRDG��)\�� %� � � � � J� ��[��H�+C+C��J��/�� r�/ �:�aBH��4J1�&�* g��x�8 x*x���5h�,0"��+C�,�H� %5h��H� �$��,$;fB5�H.J�J� ��9+��/ ��/+dH�+�Ew$.���OJK�� �0"�9$.���OJ1)��/5�H.J1�&�* CDGH� �02J��/�� c�����TJ��/!/!�5h��H� �$��,$[5%�=�8R���*) � � � � � fhJ� ���5��/'�'��S�OJ�J��")1+[���/ rJ1 ��I��H�+C+[�4J1�&�* 7��)1�]DG�*) ji02!/�*���]J1�Q�c�� �$ j02!/�*����J1� � � � 8��� ��9DG��!/!&�4V��/ �'J1 ��"�*)��,+(f%V� ���0K c���ZL�)��43*�,$C�/ Q��L�LM�, �$.�&b`�]f��TJ1��J��,�PJ� ��/�L�)1�,0"�/���"!/��8� W�%:�1��%:c ��� �S��� �1� �@'�� �U�&������� �&'J�N�&*�!&< � �4-�/=�70����AI@��"���* ��'���*(+*?.01�����P�$'�/=� 0���� ?�8��� !G(��8���@' -8(+'D/��8���@' ��� !Z�$(+'�0 �A0 !G= !Z����"

�P),� R � � � R � +�=x�� � = � )

� � =� � = � )

�S]C��� � �E�U�%�"b.L@+,� i � � � � � � x.8�x�yB�

�@'D0�#),� R � � � R =2S"J�N�S�6] �@'�0 i �1�S�,0 ����' �80 ��'��H9G(����C���$'J�6��x.8�x��B���$'�0>��x�8 x�=S� �$'�0����T= �1� � = � ����� �-8(+'�/N�8���@' �= � �Z�^�:/A"���'C%� F�N�S�,2U�L��"� -��1�=���N� ��"��@'7= ��� � = �:E�� ��CY�)K�OJ\J1�")1+ �/ l:�aBH��4J1�&�* >��x�8 x�y*�R02�*+C�,�RDG)1��+ 0"�.$.�CV��*)1$��R��DZVZ�"�/'� BJdx.�WJ� ��

��"bBJ�J1�")1+ 02�*+��S��DG)��*+zV��*)1$��P��D{��+C��!&!;VZ�"�/'� BJK��'*)��S�4J1�")�J� ��� 6x����� �$`J� ��\!����TJ�J��")1+02�*+C�,�WDG)��*+�VZ��)K$��{��DM!���)1'��ZVZ�"�/'� BJ,8{���:�`'*�2JK�X!/��)�'*�")Sf,J1 �����5M�*H� �$dJ��RJ� ���+��/ ��/+dH�+�E$.���OJK�� �0"�d$.���OJ1)��/5�H.J1�&�* kDGH� �02J��/�� kJ1�" �$���J1�4VZ��)1$6��+C��!&!{�OJ1�"L7��J � [�x ����fh�� �$k�c!/��)�'*��TJ��"L6�4J � [ � � � f�V��&J� (J1 ��]��+CL�!/�NJ1H�$.���DWJ1 ��]�T+[��!&!m�TJ��,L6$��,02)1�,�*�T�/ �'C���_� = � K ��8=q�

Page 18: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� ����2b.L�)1�,�1�T�/�� � � � V��/!&!�5h�C0"��!/!/�,$kJ1 ��IJO�BL��/0,��!{+��/ ��/+dH�+�Ew$.���OJK�� �0"�I)K�4J1�&�Q��D��� � �U�&� �'���]�" ����"+I5�!&�*8�����)d!���)1'�� ��f{+C�B�OJC02�.$.�,�I�/ pJ� ��Q�" ����"+I5�!/�` ��q3*�`�k+C�& ��&+IH�+$.���OJK�� �0"�d�,�NJ1 ��")\02!/�*���]J1�`��)R'�)1�,��J��,)�J� M�� � � � � �m���& �0"� � � � ���9�/ �$.�,LM�, �$.�, *J\��D�5�!&�.0Kt!/�" �'�J� mf�J1 ��C+��/ ��/+dH�+ $.�/�TJ1�� �02�IJO�%L���0"��!X��D�+C�*�TJ\0"�.$.�,�R�/ 7J1 ��I�, ����"+d5�!&�C�/ �02)1�,�*�T�S�!/�& ��S��)1!&�lV��&J� gJ� ��(5�!/�%0Ktp!/�" �'�J� U8o�W�/'�H�)��6x.8 @7L�!/��JK� � � � �*���rDGH� �02J��/�� ���D�)K�4J��QDG��)���"3��,)1��!%3q��!&H��,�X��D��]�� �$ �d�� �$C02�*+�LM��)1�,�WJ� ��,+�V��&J� �J1 ���JO�%L��/0,��!�+C�/ ��/+dH�+_$.�/�TJ1�� �02�)K�4J��/�7��D�J� ��6�Sa*H��&L�)1��5M��5�!/�`�, ��T�,+d5�!/�`��D902�.$.�S�"8l�eJc0"�� o5h�(���"�, oJ� M�4J[��� �l�� �$ ��/ �02)1�,�*�T�S�"f � � � DG��)�J� ��Q� �U��� ������0"�%$��,��aBH���0Kt%!&�(��L�L�)��B��0K ��S� � M DG�*)�J1 ��]�,aBH��/L�)1��5���5�!/��" M�T�,+d5�!/�\��D�02�.$.�,�,8��� ������/��L�)��43*�,$c�/ k�� ��"�*)��,+ �]8 y���D���L�Lh�" M$.�Nb6�]8

� � ������������� ������������������������

��� R! #"ND�<?I�280%$�3�$�>?7*7EGFA87/5&$�>?70=HJI13=2C< ;LK^M�BPO�7/BPQ BE0N9�7/A'!(�)'!(�*

'!(,++-(,)

+-(,* *!(,)

. �����

M M0/ � M�/ � M0/ � M0/ " M�/ $

M�/ �

M�/ "M�/ &M�/ 1

��/ M

�{�&'*H�)1�x�8 @ 9����4J1�&�C��D{+C�& ��/+dH�+ $.���OJK�� �0"�RJ��[5�!/�.0Kt[!&�, �'�J1 QDG�*)�JO�%L��/0,��!;!/�� �'k���U��� �'���02�.$.�S�"8

���,)��VZ�]�T�,�V� %�Q�C+C�& ��&+IH�+�Ee$.���TJ1�� M02�]$.���OJ1)��/5�H.J1�&�* (DGH� �0^J1�&�* kVZ�*��$.�,)��/3��S$`5h�2EDG��)1���� %�I)��S�TH�!&J1�#V��,)�����5�J1���/ ��S$[��5h��H.J#L�)1��5M��5��/!&�&JO�d��Dm$.�,0"�%$��& �'�,)�)1��)S8m�eD;JOVZ�\V��*)1$���/ C�R'*)��*H�LI0"�%$���$.� � �")P�� �!/�]�/ IJOVZ�$.�/'��&J1�,f4J� ��, �J� ���L�)1��5M��5��/!&�&JO�]��D��\$.�S02�.$.�/ �'\�")1)��*)���W!/�4VZ�"){5M�*H� �$.�S$d5%�\J� ��ZL�)��*5���5��/!/�NJO�\��DM)��S02�"�/3%�& �'�J1 ��*���PJOVZ�9$��&'*�NJK�X�& �0"��)1)��S0^J1!&���qJ� ��/������/ �$.�,LM�, �$.�" BJ\��DP0"�%$��]!&�, �'�J1 m8\�� BHM�"fh�43��,)�J� ���V� ��*!&�]�, ����"+d5�!&�*fMJ1 ��dL�)��*5���5��/!/�NJO���DX$.�,0"�.$.�& �'[�")1)��*)Z�*�_� �32

�/��L�)��*LM�*)TJ1�&�* ���!hJ��6= ��� � = ��f.J� ��L�)��*5���5��&!/�NJO�`��D�02�.$.�,���Dm+C�/ ��/+dH�+ $.���OJK�� �0"�Rx�8{�� %H��Z�]3*�")1�I��+C��!&!h %H�+d5h�")Z��D;Lh�%��)�02�.$.�,��$.��+C�/ ��4J1�,�PJ� ��L�)1��5���5��/!&�&JO�[��D�$.�,0"�.$.�& �'��,)�)1��)��43*�")ZJ� ���, ����"+d5�!&�*8

�w g�*)1$.�,)dJ1��$.�"J��,)�+C�/ ��`J1 ��(L�)��*5���5��&!/�NJO�l��D��")1)��*)]5h�" ��q3%�/��)���D�JO�%L���0"��!���U��� �'���02�.$.�S��V��&J� c+C�/ ��&+IH�+ $.���OJK�� �0"�,�#�/ CJ� �����)K$.�,)���Dd� � � � f*VZ���� ���!/!�+C�.$.�NDG��J1 ��I���U��� �'����" M�T�,+d5�!/��8����,+��43*��J1 ��\ ���!&DW��DUJ1 ��]02�.$.�S��V��&J� k��+[��!/!&�S�OJ�+C�& ��/+dH�+ $.���OJK�� �0"�,��DG)1��+�� >� �U��� �������, ��T�,+d5�!/�I�� �$r$.�*H�5�!/�]J1 ��IL�)��*5���5��/!/�NJO�(��D#�S��0K r02�.$.�I�& rJ� ���)��,+[���/ ��& �' ���!NDO8��� ���)1�,��H�!&J��/ �']�, ��T�,+d5�!/��V��/!&!h5h�90"��!&!/�,$[�� [�2b.L�H�)1'*��J��S$(���U��� �'�����" M�T�,+d5�!/���� M$V��/!&!�5h�RHM�T�S$c�/ 6�� ���L.J��,)�y]J��C$.�")1�/3��R5M�*H� �$��Z�� `J� ��RL�)1��5���5��/!&�&JO�C��DW$.�S02�.$.�/ �'��")1)��*)DG��)]���U��� �'����02�.$.�,�,8

�m�"J � � � � 5M��J1 ���+C�/ ��/+dH�+ $.���OJK�� �0"����D�J� ����2b.L�H�)1'*��J��S$I�, ����"+d5�!&�*8{�� ��, � � � � �/�!/�4V��,)m5M�*H� �$.�S$]5%�RJ� ���JW34��!/H�����D � DG�*)UV� ���0K J� ���)1�&'* BJU ��� M$]�T��$.�Z��D�:�a*HM�4J��/�� c� x.8�x�yB����`�* ��2Ee ���!&DO8����&J� ~�/ �02)1�,�*�T�/ �' ��f�J1 ��i5M�*H� �$���DI:PaBH���J��/�� ���x�8 x�y*�[��L�L�)1�*�*0K ��,�c�

=,A

Page 19: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�TJ��"LoDGH� �0^J1�&�* >��J � � � f#�T�7J� ���J � � � � ���I�*�T�%+CL.J���J���0"��!&!/��5h��H� �$.�,$o5B� � � � 8�����)IJ� ���2b.L�H�)�'B�4J��S$c!/�4V�Ee$��" ����NJO�`�" ����"+I5�!&�*f.V��\ ��4Vn ��q3��

� � � ���,��� R x>]C�kjd�S�U�%�2b.L +,� i � � ��jh�^� j ( � � � �[ ��� j � � � � � � � x.8�x4@%�

<%�/+��/!���)1!&�*fmV��[0,�� i�2b.L�H�)1'*��J���J� ��C)K�� �$���+|�, ��T�,+d5�!/�C��DZL���)1�NJO�BEw0K ��,0Ktk0"�%$��,�RJ��'��"J,f%DG)1��+ :�aBH��4J1�&�* ����x�8&=q���� �$l��x�8 s*�

�o���,��� R x M x$OUjU�T=,+>jh� P = �� �"b%L_� M6R �kjM�U+��T=,+Z2�%!/ �x P4� j ( � M[ ��� j R�� M � � x.8�x�s*�

V� ��,)�� � M �1�4J1�/�TY��S� R � � M ��[��O=,+ 2\�.!& �x�f��� �$ ������!���)1'��\�" ��*H�'� (�T��J1 ��4J=

=,+px � M � =,+ � Mx@O � � M R ��BZ�2DG��)1��H��T�/ �'`J� ����\+C�%$��NY��S$g���U��� �'���9�, ��T�,+d5�!/�IJ��6$.�")1�&3*�d5h��H� M$��9J��QJ� ��CL�)1��5.E

��5��&!/�NJO�g��D$.�,0"�%$��& �'l�,)�)1��)SfPVZ�k�T ���!&!902�� M�T��$.�")�J1 ��r�TLh�,0"�/��!�0"�*�T�6��D*��[ x.fZV� ���0K 02�*)�)1�,��Lh�� �$��{J1�d�, ��T�,+d5�!/�,�P�& [V� ��/0K c�S��0K [$.�/'��&J����P0"�� BJ1���& ��S$C�& `�2b���02J�!/�dJOVZ�L���)1�&JO�*E0K ��S0Ktc�T�"J1�,8� W�%:�1��%:c ��� J�� � ���6�@ J�����L� =@?./8"J�8/8B /=�70�� "��@#1� !&< �7/AB�< �&'C%���"�� 2U�L��" �Z�:/A" 01�6%��L� /=�@' ?���1��' �80 ��' ���g�;/N� <6= �>2 � J�����L� =@?./8"J�8/8B �N�N���8I�����< �N���=�;/8"� J�����L� =@?./8"J�8/8B �N�N��/=�@''�P����' �01�6%��L�C�GE,FD"J�&' ��"���* ��'���*(+* 0����=���@'D/=� �.- ��"g��� /=�10 � *(g��� !=��!=�$(+'�0��80 !G=

R x )xX!/ � �!& U��� +>=q� � x.8�x�}B�

�`�S�F�4-GE9�� ��[J1 ��"�*)��,+ V��/!&!�5M�`L�)��43*�,$�5%��)1�"L�)1�,���" BJ1�& �'(J1 ��`02�.$.�[�/ lJ� ��[DG��)1+ ��D��J�)1�"��*���& 6�{�&'*H�)��]x�8 s�8X�U�2J�J1 ��\Y�)K�OJ�$.�/'��&J��& (J� ��]02�.$.�\5M�)1�"L�)��S�T�, *J1�,$`5B�cJ� �� ��.$.��4J9J� ��I5������]��D�J� ��IJ�)1�"�*8��� ����9$.�/'��&J9���R02�� BJK���/ ��,$k�/ kJOVZ�cL���)��&JO�BEe0K ��S0KtQ���2JK�"fhV� ���0K ��)1�[$.�" ���J��S$i5B�7J� ��CJOVZ�k5�)K�� �0K ��,�R)������& �'6DG)1��+|J� ��c5M������ ��%$���8Q�� ��[��J� ��")]$.�/'��&J1��/ 7J1 ��,���CJOV��(L���)��&JO�BEe0K ��S0Ktk�T�"J1���)1��)��,L�)��S�T�, BJ��,$75%�kJ� ��[ ��%$��,�\�/ 7J1 ��CY�)K�OJ\J��/�")��DJ� ��6J�)1�"��8��w �!/�&t*�k+[�� � ��,),fZ�,�*0K �$��&'*�NJc�/ �J� ��6Y�)K�TJ�J1�&�,)c���c02�* *JK���/ ��,$>�/ ��� ���J1 ��")L���)��&JO�BEe0K ��S0Kt[�T�"J�$.�"L���0^J1�,$(5%�`��5�)K�� �0K ()������& �'�DG)1��+ J1 ��4J�$��&'*�NJS8

<%H�0,02�,�1���&3*�6J��/�")K�[�& �J1 ��r5��*�T�k+[�q�>5M�7���/+��/!���)1!&��02�� M�OJ1)�H�02J��S$>H� *J1�&! f�DG��)(�T�*+C��/ *J1�"'*�")� �k!&�%�*Lp�/�]DG��)1+��S$l5%�7J1 ��c5�)K�� �0K ��,�)1�/���/ �'6DG)��*+ J1 ��� ���6J1�&�,),8r<%H�0K o�!/�B�*Lk+[�q�Q�.0"0"H�)��,�NJ1 ��")R�&D�JOV��cLM��)1�NJO�BEw0K ��,0Kt(�T�"J1��)1���T�/ �'[DG)1��+ J� ���� ��� J��/�")\02�* *JK���/ ��$.�&'*�NJ��� QJ��/�")�� ) =*f%�*�Z�& 6�{�&'*H�)��x.8�s.fB��)��&D{���T�/ �'*!&�RL���)1�&JO�*Ew0K ��S0Kt����2J�)1�/���& �']DG)1��+J� �� � ���IJ��/�")�0"�� BJ1���& M��+��*)��RJ1 ��� 6�� ��\$��&'*�NJ��/ `J1 �� � ����J��/�")S8

���7 ��2b%J`5h��H� M$�� �/ >J1�")1+[�c��DRJ� ��r5�!/�%0Kt>!&�, �'�J1 ��8~�� ��kY�)K�OJc��D9J1 ��kJ�)1�"�02�* BJ1���/ ��cx���� + =q�� ��.$.�,�,��J� ��7�T�S02�* �$>0"�� BJ1���& M�cx����+ =S�E�6 ��.$.�,�,���� M$����/+��/!���)1!&�J� ���� ���`J��/�")02�* *JK���/ ��x����+ =S���_ ��.$.�,�,fU���& �0"�I5%�r�*����H�+CL.J��/�� � ��(!&�%��L��.0"02H�)1�R�/ 5�)K�� �0K ��,�Z5M�,!&�4V J� �� � ����J��/�")S8#<%�/ �02��S��0K ( ��.$.�]02�*)�)1�,��LM�* �$��PJ��c�C$.���OJ1�& M0^J�$.�/'��&J,f

x�����+�=S� � R �� R!/ � �!/ W����+>=q� � x.8�x*���

=,?

Page 20: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� ��� � �

� ��� ���

� ��� ���

�{�&'*H�)1�x�8 s*9�����)1�NJO�BEw0K ��,0Kt�J�)1�"�

���*)C��'��/3��, g!/�%��Lg�/ >J� ��(J�)1�"�*fP02�* ����/$.�,)�J� ��k���2JC��D9 ��%$��,�IJ� ���Jc02��+CL�)1���T�QJ� ���/ *J1�")K�T�S0^J1�&�* ��d��D�J� ��65�)K�� M0K ��,�d�& >J� ��(!/�B�*Lm8o<%H�0K ������2JC��D� ��%$��,�I�/��)1�"L�)1�,���" BJ��S$5%�7���TJ��,)�����t%�R�/ i�{�/'�H�)1�cx.8�s.8C:P�*0K 75�)K�� �0K i�/ 7J1 ��[!&�%�*L�+IH��OJd0"�� BJ1���& ��2b���02J�!/�kJOVZ���D�J1 ��,���` ��%$��,�,f#�� �$p ��7��J1 ��")I5�)K�� �0K o�/ pJ1 ��`J1)��,�`02�* BJ1���/ ����� %�i��D�J� ��,���` ��.$.�S�"8���� M�T�Sa*H��" BJ�!/��f%�� ��E !/�" �'�J� `���,aBH��, �02��J� ���J�0"�� BJ1���& M�P�* ��,���& QLM�B�T�&J��/�� M��0"��)1)��S�TLh�� �$.E�/ �'[J��cJ� ��] ��%$��,����DXJ� ��������2J9�� �$6u"�,)��B���"!����"V� ��,)��+IH��OJ95M���[02�.$.�]VZ��)K$;f����& M02�d��!&!L���)��&JO�BEe0K ��S0Ktc�T�"J1��0"�� BJ1���& 6�� 6�,3��" 6 %H�+I5M�,)���DX�� ��S�"8��W�/ ���!&!/��f.J1 ��]VZ�"�/'� BJ ��D{J� ��02�.$.�\VZ��)K$Q0"��)1)��S�TLh�� M$.�& �']J��CJ1 ��\Y�)K�OJ�!/�%��LQJ� ���J��%0,02H�)K��+dHM�OJ�5h�5M�*H� �$.�S$(5B� R x � ) x � x.8�x�AB�

���& �0"�CJ� ��Q!&�%�*Li���DG�*)�+C�S$l5B�i�r���& �'*!&�c$��,�102�" BJI�� �$p���102�, BJ]�& lJ1 ��[J�)1�"�*87����+d5��& .E�/ �'7:PaBH���J��/�� ��`��x.8�x*���\�� �$�� x.8�x�AB�KfXV��c'*�2J]J1 ��`�TJ1��J��"+C�, *JI��D�J� ��`J� ��,��)1�"+6fX:PaBH��4EJ��/�� l��x�8 x�}*�28

x��

Page 21: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� ��� ��� � � ���N�6��� � � � �� ��������� ��� � �

�~J��S0K � ���aBH��\DG��)�H�L�LM�,)�5M�*H� �$.�/ �'CJ1 ��L�)1��5���5��&!/�&JO�c��D�$.�,0"�.$.�& �'��,)�)1��)ZDG�*)���)15��NJ1)1��)��5��/ ���)1�k5�!/�.0Kt702�.$.�S�\V��&!/!#5h�C$��"3��,!&�*LM�S$7�/ iJ� ����]0K ���L.J��,),8��eJ]V��/!&!�5h�c���1�TH�+��S$rJ1 ��4JJ� ��`$.�,0"�.$.�& �'k�/�+[��b%�/+dH�+ !/�&t*�"!/�& ��B�.$l�� M$7J1 ��4JdJ� ��`0K M�� � ��,!# ��*�]�65��/ ���)1�BE �/ �L�H.J��!/L� ���5M�"J,fP�� ���)�5��NJ1)1��)��i��H.J1L�H.Jc��!/L� ���5M�"J,fZ�� �$g�/�C���B+C+C�2J1)���0"��!��& ������" ����QJ��l5M�$.�"Y� ��,$(!��4J1�")S8

�� ��r)1�,�*�T�* oDG��)Q$.�"3*�"!/��L��/ �'iJ� ����[J1�,0K � ��/aBH��k���[J1 �)��,�2DG�*!/$@9��W�/)K�OJSfZ�&J`���[ ��,�,$.�S$J��Q$.�"+C�� M�OJ1)1��J��\J� ��I0"��L���5��&!/�NJ1�&�S����DX!/�4V�Ew$.�" ����&JO�Q02�.$.�S�"�����,02�* �$;fM�NJRL�)��43%��$.�,���[J��%��!5h��J� oDG��)I0"��+CL���)��/ �'r02�.$.�S�d�� �$iDG��)I'*���/ ��/ �'r�/ ����&'* *JI�& BJ��rJ� ��Q)��,!/��J��/�� p5h�2JOVZ�"�" o�02�.$.� � ��$.�/�TJ1�� �02�L�)��*LM�,)TJ1�&�S���� �$6�&J1��L�)��*5���5��&!/�NJO�Q��D#$.�S02�.$.�/ �'[�")1)��*),�%J1 ��/)1$;fM�NJ9�B�/�"!�$���602�* �02�,L.J�H���!&!/�r���&+CL�!/�")SfW��!NJ1 ���H�'* ��� ���!/�BJ���0"��!/!/�k+��*)��[0"��+CL�!/�/0,�4J��S$;f;J1�,0K � ���aBH��CDG��)�� M��!/�Bu,�& �'Q)K�� �$���+|�, ��T�,+d5�!/�,�\��D�0"�.$.�,�,8c�� ��c02�* �02�,L.J�HM��!#���&+CL�!/�NYh0"�4J1�&�* l ��")1�C!&�/�,��/ (�C���"L���)1��J��/�� c��DUJ� ��\�� ���!/�.�T���Z��DWJ� ��]0K ��� � ��,!MDG)1��+zJ� ���� M��!/�%��������DUJ1 ��\�" ����"+I5�!&���DX02�.$.�S��GV� ���0K 6�/��HM�T�S$cJ1�c$.�")1�&3*��J1 ��]$.���OJK�� �0"�L�)1��Lh�")�J��/�,�Z��D{J� ���, ����"+d5�!&�q�^8

� �� � �,-, �@!#� � ���\����"��!� � ����!�����"����� $�+�����B+C+C�2J1)���0Z5��/ ���)1�BE �/ �L�H.J#0K ��� � ��,!.�/��$.�"Y� ��S$��*���9J��/+��"Ee$��/�102)1�2J1��0K ��� � ��"!.V��&J� �J� ��DG��!/!/�4V��& �'�L�)1��Lh�")�J��/�,�N9=�8��� ���/ �L�H�J���!/L� ���5h�2J�� 02�* ����/�TJ1����DUJOVZ��!/�2J�J��,)1�,f�$.�" ���J��S$(5B�Q�[�� �$�=�8x.8{�� ��P�*H.J�L�H.JX��!&L� ���5h�2J�� 0,�� ]5h��)1�"L�)��S�T�, *J1�,$\�,�NJ1 ��")����W��$.���102)1�2J�����)X��0"�� BJ��/ %H���H�����2J���DX)��S��!; %H�+I5M�,)1�,8y�8��� ��d��H.J1L�H.J��6�4J9�c'��/3��" k$.���102)1�2J��]J��/+��d�/�9�OJK�4J����TJ���0"��!/!/�($.�,LM�, �$.�, *J9�� �!/�Q�* 6J� ��02H�)�)1�" BJ��& �L�H.J � 8@�8��� ��]���%+C+��"J�)1�`02�* �$.�&J��/�� ('��/3��, Q5%�`:�a*HM�4J��/�� l� y�8&=q�� ���!�$���DG�*)���!/!;��H.J1L�H.J1���h8

F M ���.��[ F � �/+���� � y�8/=S�

�w 6J� ������SaBH��4J1�&�* (�� �$(J� �)1��H�'� ��*H.J�J� �����0K ���L.J��,),f�F��M�����������[02�* �$.�&J��/�� ���!mL�)1��5���E5��/!&�&JO��0 �G'����L� =c�&D��������[0"�� BJ��/ %H���H������2JSf��� �$(�����C02�* �$.�&J��/�� ���!;L�)��*5���5��&!/�NJO�`�ND�� �/���$.����0")��"J�����2J,8

<%��+C���2b���+CL�!/�,�R��D��THM0K �0K ��� � ��"!��R��)1�I'*�&3*�" r�/ ��{�/'�H�)1��y�8&=*8]�� ���!/�*0Kt(��DZ���%+IE+C�2J1)��l5h�2JOVZ�"�" gJ� ��6!���5h�"!/�& �'7��D9�& �L�H.Jc�� �$g��H.J1L�H.J[�/�I)1�"'�)1�2J�J1��5�!&�*f�5�H.Jc�70K M�� �'*��/ ��H.J1L�H.J(!/��5M�,!&�/ �'gVZ��H�!/$�'*)��S�4J�!/��02��+CL�!/��0"�4J1�kJ� ������B+C+C�2J1)���0"�� �$.�&J��/�� Uf�:PaBH��4EJ��/�� p��y�8/=S�^fh�� �$6�[0K ��� �'��\�/ k�& �L�H.J�!���5h�"!/�& �'[V��*H�!/$(+[��t*�L���)1�&JO�*Ew0K ��S0Ktc02�.$.�,���T�,�"+!/�,�1�ZD ��+C�&!/����)�J��[���%+d5h��!&E �*)��/�" BJ��S$c)1�,�*$.�")K�"8

� �� ����+>!#"� � � � � � � �#!*� � +���1��H�+C�J� ���J��/ r�CL���)�J���02H�!���)902�.$.���D�5�!/�.0KtQ!/�" �'�J� ��f��� k��)15��&J�)K��)1�`02�.$.�dV��*)1$�� M����J�)K�� M�T+C�&JTJ��S$;f;�� �$k�*����H�+C�J1 ��4J9J� ��I BH�+d5h�")���D#��J1 ��")R02�.$.�]VZ��)K$�� �g���,����J9�,�*0K $.���OJK�� �0"� �dDG)��*+�� M �/�Rt% ��4V� m8�w 7J� ���DG�*!&!/�4V��& �'Q���,0^J1�&�* mf�J� ���L�)��*5���5��/!/�NJO�6��D��")1)��*)

x.=

Page 22: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

f

W

W

� WW � �

W � �

�� f

W

Wf� WW � ��� � ���

W � ��� � ���

� �

���� �� �

� �B� �G5h�

f

W

� �����

� - ���

f

W

� ��� ��

� - � ��

��0,� � $M�

��8?B��/ ���)��c���%+�+C�"J�)1�/0\0K ��� � ��"! 85m8nB��/ ���)��c���%+�+C�"J�)1�/09J� �)��S�T ��*!/$60K ��� � ��,!�80�8I��$�$.�&J��/3�� V� ��&J����\��H��������� z ��*�/��� 0K ��� � ��"! �o!&�*'�Ee!&�/t��,!&�/ ��%�.$ ��H�J�L�H.J����T�,� <%�S0^EJ��/�� 6}�8 y*�28

F M ������[=� x@O�� �2b.Le+ � ��+�� � ��x � �x�� �

F � ������[=� x@O�� �2b.Le+ ��� ) � � ��x � �

x�� �� � [ @:W��,�T=,+��.�� M

$;8Z���q�%!&�,�&'* cD ��$��& �'c0K M�� � ��,!��.!/��'�E !/�/t��"!/�/ ��%�%$`��H.J1L�H.Jd���T�,�<.�,0^J1�&�* k}�8 @B�^8

F M ������[= )��

� � x )�� ��2b.Le+ �

�� �+(>�

[ = )��� � x )�� �

�2b.L �;�O= )�� ��

� � ���

F � ������[ F M �/+����

� [ W��� M�W�/'�H�)��y�8/=>9#<%�%+C+C�2J1)���0R5��& M��)1�*Ee�/ �L�H.J�0K ��� � ��,!/�,8

x�x

Page 23: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

H����& �'�+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$o$.�S02�.$.�/ �'lV��&!/!�5M�6H�L�Lh�")[5h��H� �$.�,$>�/ oJ��,)�+[�C��D �o���,�V� ��, � M ����J�)K�� M�T+C�&JTJ��S$��43��")#����%+C+��"J�)1�/0�5��& ���)��BEe�& �L�H.JP0K ��� � ��"! 8X�� ��/�#5M�*H� �$CV��/!&!J� ��" 6�,�*�T�/!&�`5M��"bBJ1�" �$��,$`J��c��L�L�!&�cJ��c�� (�" BJ1�&)1�02�.$.���)ZJ1�c�� (�" ����"+I5�!&�\��DX0"�%$��,�,8

� �� � � � � ��� ���5� � � �* ���"��5��$�� !�� �� ����� �������� �/�*�* ���m�"J � M [ � � M � � � M �������N� � � M 5h��J1 ���J1)1�� ���+��&JTJ1�,$Q02�.$.��VZ��)K$;f%�� �$`!&�"J�� [�� � � � � �������N�� � 5h�RJ� ��\)1�,0"�"�/3��,$Q�T�SaBH��" �0"��8��m�"J�J1 ��\��J1 ��")�02�.$.�\VZ��)K$���5M�\ %H�+d5h�")1�,$ � � �������N� � � �������� ��� = � V� ��")1� � � [ � � � �������^� � � � 8������/ �'g+[�4b.�/+dH�+ !/�&t*�"!/�& ��%�.$ $.�S02�.$.�/ �'�f��$.�S02�.$.�/ �'6�")1)��*)RV��/!/!P5h�[+C�*$.�[�&D F[��� � � � F[���� � M �9DG�*)]�� %�)�Mf�= R � R � + =�8��!�����f9�>$.�,0"�.$.�& �'>�,)�)1��)c+C�/'� BJ65M�i+[��$.�i�ND�F[���� � � �Z[ F[��� � M �^fR�� �$ �& nH�L�Lh�")5h��H� �$��& �'IJ� ��RL�)��*5���5��/!/�NJO�C��D{$.�,0"�%$��& �'��")1)1��)Sf*VZ�R0,�� (���1�TH�+C��J� ���J���H�0K Q�")1)��*)1����)1���!/V��q�%��+C�*$.��89�����& �'`J� ��C���1��H�+CL.J��/�� k��DP�OJK�4J����TJ���0"��!W�& M$.�"Lh�" �$��" �0"�I5h�2JOVZ�"�, kJ� ����H����,����DUJ� ��]0K ��� � ��"! f.J� �����0"�� �$.�&J��/�� QDG��)�$��,02�.$.�/ �'C�")1)1��)K��5h�,0"��+C�,�

��� � � F ����� �����e� (

��� � � F ����� �����e��� DG�*)��T�*+����Mfm= R � R�� +�= � y�8�x��

�� %H��,f�J� ��6L�)1��5M��5��/!&�&JO�p��D\$.�,0"�.$.�& �'��,)�)1��)I�/�CH�L�LM�,)[5M�*H� �$.�S$g5%�lJ� ��(L�)��*5���5��/!/�NJO�J� M�4JR:�aBH��4J1�&�* o� y�8�x����/�R����J����OYM�,$;8�:�aBH��4J1�&�* o� y�8�x���5M�S02�*+��S���S�����&�,)�J��QV��*)�tQV��NJ1 7�&DVZ�dJK��t��IJ� ���!/��'B��)1�NJ1 �+ ��DZ5M��J� l�T��$.�,�,f;�%�&�,!/$��& �'QJ� ��IDG�*!&!/�4V��/ �'Q�/ ��Sa*HM��!/�NJO�k5h�2JOVZ�"�, ��H�+[����DX)1�� �$.��+ 34��)�����5�!/�,�N9

��� � � !/ 9F � ��� ��� � � (

��� � � !/ 9F�� ��� ��� � � � y�8 y*�

�{�& M��!/!&�*f�DG��)R)��S������ ���J��(5M�[$.����0"H��1�T�S$k!/��J��,),f;VZ�I��H�5.J1)1�*0^J�� ���)�5��NJ1)1��)��QDGH� �02J��/�� 7��DJ� �����H.J1L�H.J����,aBH��, �02�*f�� �� � ��� ��� � �XDG)��*+�5M��J� c���/$��,�X��D;:PaBH���J��/�� 6� y�8 yB�X�� �$�+dH�!NJ1�&L�!/�5%�+=�f.�%�/�"!�$.�/ �'�J� ��\DG�*!&!/�4V��& �'C0"�� �$��NJ1�&�* `DG�*)�$.�,0"�%$��& �'C�,)�)1��)K�O9

��� � � !/ � ����� �F ����� �����e� R

��� � � !/ � �����e�F ����� �����e� � y�8 @B�

DG��)9�T�*+�� �MfW= R � R�� +�=�8Z���dL�!/�*02�\J1 ��DG��!/!/�4V��& �'[)1�,�TJ�)1��0^J��/�� (�� � ����� 9 � �����Z�/�Lh�*���NJ1�&3*�R�&DX�"�&J� ��,)9F M �����Z��)9F � �����Z�/��Lh�*���&J��/3���f��� �$

� ������[ � �E+����^� DG��)���!&! � � y�8�s�����"bBJRV���$.�2YM ��J� ��I$.����0")��,L��� M02� � � � � ���e��5h�2JOVZ�"�, r�� r�/ �L�H.J � �Z�� �$k�� r��H�J�L�H.J

� � �*�

� � � �����e��[ !& � ��� � �F ��� �����e� � y�8 }*�

��H�)TJ1 ��")Sf�$.�2YM ��\J� ��]$��/�102)1�"L��� �02��7�����%�Z5h�2JOVZ�"�, �r�� �$��`���7�����%� [ ��

� � � � � � � ��� � � y�8 ���

x�y

Page 24: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��)1��+ :�a*HM�4J��/�� M����y�8 @B�^f���y�8 }*�2f��� �$Q� y�8 ���2f�VZ�����"��J� ���JX�R$.�,0"�.$.�& �'9�,)�)1��)W�/�{+[��$.���� �!/�V� ��, �r��� � �%� R r��� M �%��DG��)��� %��0"�%$���V��*)1$ � � ��J� ��")#J1 ��� � M 8�jk�*)���DG�*)�+[��!&!/��f*J� ��L�)1��5���5��/!&�&JO�[��D�$.�,0"�.$.�& �'��,)�)1��)hF2G�����5h��H� M$.�,$(5%�

F2G R �P) � � =d��

���M �,3��" BJ�J� M�4J r��� � �.� R 7��� M �.� P � � y�8 A*�

�� ��#+C�*�TJU�*5B3%�/��H���L�)��.02�S$.H�)1�XDG��){�T�/+CL�!&�&DG�%�& �'�:PaBH���J��/�� [� y�8 AB�hV��*H�!/$\5h��J1��H�L�Lh�")5h��H� �$(J1 ��L�)1��5���5��/!&�&JO�`��DWJ1 ��]H� ��/�� k��D{�,3��, *JK��5%�cJ1 ��d��H�+ ��D{J1 ��L�)1��5���5��/!&�&J��/�,����DJ� ���& �$��&3%��$.H���!U�"3��, BJ1�,8#�� ��/��$��B�S�� ���J��B�/�"!�$(�C'��%�.$`H�L�LM�,)�5M�*H� �$;f� ��4V��,3��,),�%V� ��, r��� M �%���/�93��,)��Q!/��)�'*��fM�1�q�`'*)��S�4J1�")�J1 ��� 7�`�TH��&J1��5�!/�I02�* ��TJ1�� BJ � � fh�NJR�/�9!&�/t��,!&�QJ��Q5M�!���)1'��")ZJ1 ��� 6+[�� %�c��D�r��� � �.�^f�J� ��,)��,5%�`0"��H��T�/ �'C�� ��]$.�,0"�%$��& �'C�,)�)1��)ZJ��[5h�]02�*H� BJ��S$+[�� %��J1�&+C�S�m�/ J� ��P5M�*H� �$;8X�U���q3*����$9J� ����U$.�&�c02H�!&JO��fqVZ�P�� ���!/!�H����#���"L���)1��J���5h��H� �$��& �'J��S0K � ���aBH��,�{�� dJ� ��B�T���"3*�" BJ1�WDG��){V� ���0K 7��� M �.� (�� � 8{�� ���L���)1��+C�2J��,) � ���X��)15��NJ1)1��)���� M$`V��/!&!U5M��*L.J��/+C�&u,�,$(!/��J��,),8��� %H��,f.�ND�VZ�\��L�!/�NJ�:�aBH��4J1�&�* �� y�8 AB�^f�VZ�\'��"J

F G R F � ) F � � y�8 ?*�

V� ��,)��

F � [ �#) � � = ��

���M �"3��, BJZJ1 ��4J 7��� M �.� � � �)r��� � �.� R 7��� M �.� P �

F � [ �#) � � = ��

���M �"3��, BJZJ1 ��4J 7��� M �.� R � � �)r��� � �.� R 7��� M �.�QP �

���4VnV��0,�� (5M�*H� �$ F � �� �$ F � ���"LM��)K�4J��,!&�[5%�F � R �#) M r��� M �%�H �� � P ��y�8/=,�B�

F � R� =d������P) M r��� M �%� R � � � 7��� � �%� R r��� M �.� P ��y�8/=�=q�

�95����")13��QJ� ���J`:PaBH��4J1�&�* ~��y�8 ?*�I���[�� ��2b���02JC�"b.L�)��S�����/�� >DG��)^F2Gc�"b.0"�"L.J[DG�*)CJ� ��5h��H� �$��& �'I�& %3*��!/3��,$C�/ `�*����H�+C�& �'J� ���J���+d5��/'�H��NJ1�&�S���FJ1 ��4J����"f%0"�*�T�S�#V� ��,)�� r��� M �.��[r��� � �.�T�[��!&V��q�.�C0"��HM�T�6�")1)1��)K�"8 �� %H��CJ1 ��r��)15��&J�)K��)1�pDGH� �02J��/�� � �����[0,�� � ��q3��6 ��� � �,02JP�� [:�a*HM�4J��/�� k��y�8 ?*�X���& �0"���&JP ����# ��� � �,02JP�� CV� ���0K [V��*)1$I���P$.�S02�.$.�,$�V� ��, � M����J�)K�� M�T+C�&JTJ��S$;8��� ��DGH� M0^J��/�� � ������$.�%�,�� ��q3��]�� k� � �,02J��� r:�a*HM�4J��/�� M�]� y�8&=S�*���� M$� y�8&=*=S�Kf� ��4V��,3��,),f%�T�/ �0"�9J1 ��\DGH� �02J��/�� k ��,!&LM��$.�2J1�")1+��/ ��\J1 ��]�T�"J���DX��H.J1L�H.J����,aBH��" M02�,�DG��)�V� ��/0K r��� M �.� (c� � 8�{�& ���!&!/��f��*5��T�,)�3*�\DG)��*+ :�aBH��4J1�&�* o� y�8 ����J� ���J r��� M �%���� �$ r��� � �%����)1�]5h��J� �$.�2EY� ��S$c���Z��H�+[�P��Dm)1�� �$.��+_34��)1�/��5�!/�,�,fB�� �$CJ� %H��,f%H����& �'I:PaBH��4J1�&�* �����y�8/=,�B�#�� M$r� y�8&=*=S�KfJ� ��]L�)1��5�!/�"+ ��D#5h��H� M$.�& �'YF G M����5h�"�, r)1�,$.H�0"�,$(J1�[J� ��IL�)1��5�!/�"+ ��D�5h��H� �$��& �'`J� ��J1���&!�����D{J� ��]$.�/�TJ�)1�/5�H.J��/�� M����DX�TH�+[����D{)K�� M$.��+ 34��)1����5�!/�,�,8��� ��/���/��5h�,�TJ�$.�* ��\5B�`J� ���� ��,)� ��435h��H� �$IJ��,0K � ��/aBH��*f�5�)1�&�"v��d$.�S��0")��/5h�,$I�& [��L�LM�, �$.�&bpBR8X����)��R+C��)1��$.�2JK���/!&�S$�2b.Lh�*���NJ1�&�* mf����"����� �� . @Mfh�� ���L�J��")�A10 8

x4@

Page 25: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� �� ��� � � �� �� � �����5+�w 6��)K$.�")�J1�[5M�*H� �$ F � �& k:�a*HM�4J��/�� l� y�8&=S�*�2f�V�� ��"�,$QJ1 ��\DG��!/!&�4V��/ �'CJ1 ��"�*)��,+zV� ���0K ����L�)��43*�,$`�& k��L�LM�, �$.�&b BR8� W�%:�1��%:c , �*��� � ����� [ � �� � ��� � !Z���"�� � (+* �.-� ��'D0��� J�&'�0 �G''���Z�@'�0 �@*�#�������?�;!&< ���8I < �N�DF � � � � ��!Z� ��"��� �S�:!=�;!N��< �L� = 0 �G'����L� = �4- ��"J� �����#1�1�����;!&< �GI��$'�0�< �N� � � ��q��[��= � �2b.LU�� � � � F � � � � � � � � !=����"J� *��@*��G''� %a�G' ���S���C��' %�-8(+'D/��8���@' -��1����"J� � �� #1�1�����:!G< �1EFD"J�&'

F� .��� (�� � M � R �2b.LU�/+,� � M ���� � � � �T��S� ��y�8/=Sx*�

-��1��$<�<� ( ��� ()/8"���"��1� ��"J� � � ��q���� ���=�QE���- ��"�� � � �1�S� 01���&/��Z����� I���"��G' ��"J� �N�$*����P���P�&*��G''��"J�$< 0������ /Z�� �6��"��1�`��"��9F � � � � ���1�S�_ �S�:!Z�:!���< �L�C����� �@'D0���"J� ��'���� %��S�$<S0�����''��'C%� � ��q� ��� �S�� �< �:/Z�80 !G= �� (+*�E

�U�k��L�L�!/�6J� ����\J� ��"��)1�"+ J1��r��� M �.� [ � �� � � � � � � M � � �^fmVZ�[02�* ��T��$.�,) � � � � M � � �\����C)K�� �$.�*+z34��)1�/��5�!/�RV� ��")1� � � ����'��/3��, k�� �$ � � ����$.�"J��,)�+C�/ ��,$6��0,02�*)1$.�/ �'�J��^F � � ��� � �^8�� ��\+C��+C�" BJ�'*�" ��,)1��J��/ �'dDGH� �0^J1�&�* (��D � ���ZJ� ��,

� �T��q� [�� �= � �"b.L M � � � � M �����QP�F ����� �����e� � � � ��y�8/=,yB�

�����/ �'[:PaBH��4J1�&�* i��y�8 }*�Kf�J� �����5h�,02�*+C�,�

� �T��q��[�� �= � M F ����� ����� � P � =�� M � ������� P � � ��� ��y�8/="@%�

���*) � � M [ ��f�:PaBH���J��/�� i� y�8/="@%��5M�S02��+C�S�

� ����S��[�� �= � F M ����� � =�� � ���.� � � � ��y�8/=Ss*�

���*) � � M [ =�fUH��T�/ �'6J1 ��c�T�%+C+C�2J1)��70"�� �$��NJ1�&�* ��:PaBH���J��/�� ��[��y�8/=S�R�� �$���y�8�s��Kf{:PaBH��4EJ��/�� l� y�8&=,@B��5h�,02�*+C�,�

� �T��S�;[�� �= � F M �/+���� � =�� � �E+��.� � � � ��y�8/=,}B�

<%H�5M�OJ1�NJ1H.J��/ �'+��RDG��) �]���WJ� ���34��)1����5�!/�P��DM�/ *J1�"'*)1��J��/�� mfqVZ�Z���"�PJ� ���J�:�aBH��4J1�&�* �����y�8/=Ss*��� M$���y�8/=,}*�Z��)��\��$.�" BJ���0"��!�f��� �$`J� %H�� � ����q�������& �$��"Lh�" �$.�, BJ���D � � M �� �$ ��9

� � ��q� [ � ��q� [ � �= � F M ���.� ��= � � ����� � � � ��y�8/=q���

�eJ�0"�� 65M�]�� ��4V� (J� ���J�:PaBH���J��/�� l� y�8/=q���Z�/���,aBH��/3q��!&�, BJ�J��CJ� ��]$.�/�TJ�)1�/5�H.J��/�� (DGH� M0^J��/�� ��D;J1 ��\$.�/�102)1�"LM�� �0"�I5h�2JOVZ�"�, [J� ��\0K ��� � ��"!h�/ �L�H.J��� �$c��H.J1L�H.J��� �$`�/���& M$.�"Lh�" �$��" BJZ��DJ� ���& �L�H.J���������)1�,������ M��5�!/��DG)1��+ J1 ��]0K ��� � ��"!m���%+C+��"J�)1��8

x�s

Page 26: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�{�& ���!&!/��f�H��T�/ �'[�� ��,��)1�"+ y�8&=*f.V��\'��"J

F � R �#) M r��� M �.� (�� � P R � ��q� � �2b.LU�E+,� � � ��y�8/=,AB�

DG��)��� %� (�����H�0K (J� M�4J � ��q���& k:PaBH���J��/�� l� y�8&=4�����2b.���OJK�"8�U�I02��+CL�!/�2J1����H�)#5M�*H� �$C�* [�")1)��*)�L�)��*5���5��&!/�NJO�*f;F � f%����'*�&3*�" C5%��:�aBH��4J1�&�* 6��y�8/=�=q�+dHM�OJR5M�I5M�*H� �$.�S$;89�� ����9)��Sa*H��&)1�,��J1 ��IDG��!/!&�4V��/ �'[J1 ��"�*)��,+ V� ���0K r����L�)1�43��, k�& ���L.E

Lh�" �$.�&bPBR8� W�%:�1��%:c , � ��� � ��� � � �@'D0�� � I�= R � R ��IH!=�e� J���L�=��.- �S�$'�0 �@* #1�1�����:!G< ����2U�L��" �Z�;!=�;!N��< �L�>= 0��&'J���L� = -8(+'�/N�8���@'J�/F � � � � ��� � �1E � �N�,��"����N�1��''� *��@*��G''��% �&' �N�S���C��' %5-8(+'�/&?�8���@' �.- � � ��� � I !=�

� � � 1���T� [ ��� �2b.LU� � � ) ��� � � F � � � � ��� � � � � � � � � ��y�8/=,?B�

� ��� �=�;/8" ��1�L� �4-@�S�$'�0 �@*N#1�1�����:!G< ��� !=�@���P���C�����8� /=�@<�< =��'�0 �P ��&'�0��&'��_�4-e�=�;/8" �1��"J�N�6 J���L��@'D0 0 ����' ��� �@'D0 !&=

��[ ��� � � � �

[��� � � � �� R �

��y�8�x��B�

FD"J�&'JI -���� �@' = �1�&!N�L�C�S��� =�')(+*,!=���=� � M �$'�0�� M IF[��� R � � M �� R � � M � R

��� � � M � �T� 1���T� P

��� � � K4� M � �1� 1�1�*� P �2b.L +,�#� � M ) ��� M ����y�8�x.=q�-��1� �$')= R �+I�� R ��-��1�,2S"�� /A" � � � 1���T� ��� �������&E ��- � �@'�0�� �1�Z� 0����&/��S�N��� I �H9G(��$?

�8���@' � y�8�x.=q� ���C��<�< "J�$< 0���2U�L��" ��''�P� %��S�@< ���' �H9&(��1�8���@' � y�8&=S?*���Z�P D< �;/=�80 !&= � (+* �8I@�$'�0��"J�, �S�:!Z�:!���< �L� = 0��&'J���L� =��Z�P D< �;/=�80 !&= �@ �S�;!=�:!���< �L�>=;E

�� ����PJ1 ��"�*)��,+ V��&!/!�5M�RH����,$CJ1�I5h��H� M$`�#)c. 7��� M �.� R � � �)r��� � �.� +�r��� M �%� R � 0DG��)��,��0K 602�.$.�VZ��)K$ � � 8Z���1�TH�+C�YM)1�TJ�J� ���J�� � $.� � �,)1��DG)��*+�� M �& (J1 ��Y�)K�OJH�$.�/'��&J1��� M$`������$.�" BJ���0"��!�J�� � M �& (J� ��!/�*�OJ,� + �$.�/'��&J1�,8X�� ��" 7��� � � �.�:+�7��� M � �.��[

��� � � � � � � � � � ���:+ � � � � M � ���e�

��)1��+ J1 ��]���B+C+C�2J1)��Q02�� M$.�NJ1�&�* ��,f�:PaBH��4J1�&�* ��\� y�8&=q�P�� �$l� y�8�s��^f��� �$`DG)1��+ J� ��]$.�2Y� ��NEJ��/�� l��D � �& p:PaBH���J��/�� �� y�8 }B�KfUVZ�[ ���J1��J� ���J � � � � � � �����R�SaBH���!�� � � � M �^+������9DG�*) � R ����& �0"�\V��\ ��q3*�\�*����H�+C�,$`J� M�4J � � � �[ � � M DG�*) � R ��8����4V !/�2J

� � [ � � � � M � � � �2��� � [ � � � � M �N+�� � �U+ � � � � M � � � �x�}

Page 27: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���*)��C'��/3��, � ��f�5M��J� � �#�� M$ � �#��)��\DGH� �0^J1�&�* �����D����TfM�� �$(V��]0,�� 6V�)��&J�� � �T� 1���T��/ 6:�aBH��4J1�&�* �� y�8&=S?*�Z���

� �T� 1���T� [�� �= � �"b%L M � � � � M � ���e� ) � � � � � M �^+������ + � � � � � M � ����� P F ����� ����� � � � � ��y�8�x�x*�

�i)��&J��/ �'r�*H.J � � � 1���T�d�& lJ1 ��Q�1��+C�cV��q���*� � � ��q��/ o:PaBH���J��/�� � y�8&=Sy*�KfXVZ�Q���"�[J1 ��4J� � � 1���T�Z�/���& �$��"Lh�" �$.�, BJ���D � � M �� �$ �K8#�� %H��

� � � 1���T� [ � � 1���T� [ � �= � F M ����� � =

� K 4 F M �E+��.� =4� ����� � � � ��y�8�x�yB�

���4Vf���L�L�!/�%�& �'[�� ��,��)1�"+ y�8 x�f%V��'*�2J

�#) M 7��� M �.� R � � �Jr��� � �.�:+ r��� M �.� R � P R M � � 1���T� P � M � � 1���B� P � = � <:= � ��� ��y�8�x4@%�DG��)��� %� R ��f � R ���&D � � �� �$ � M $.� � �")��/ (J� ��\Y�)K�TJ �$.�/'��&J1�,8�{�& ���!&!/��f{5%�7)1�" %H�+I5M�,)��/ �'(J� �� ��$.�/'��&J1�d�& p�65�!/�.0Kt�fWVZ�c�T�,�CJ� ���JJ� ��`5M�*H� �$l�/ :PaBH���J��/�� k� y�8 x�@B����L�L�!/�&�S��J1�d�,�*0K [��D�J� �� �o���,�#02�.$.��V��*)1$���J� ���JZ��)1��$.���TJ1�� M02�H��DG)1��+� M 8��� %H��

F � R�� ���M�o���,� M � � 1���T� P � M � � 1���*� P � = � <>= � ��� ��y�8�x�s*�

DG��)��� %� R ��f � R ��V� ��,)�� � � 1���T�Z�/��'*�&3*�" (�& 6:PaBH���J��/�� l� y�8 x�y*�K8�� ���J��,)�+-�/ �:�a*HM�4J��/�� �� y�8 x*s���DG�*) �3[��(��0"0"��H� BJK��DG�*)9J1 ���L��4J1 ���!/��'*�/0,��!{LM�B�����NE

5��/!&�&JO�CJ� M�4J��� ��9��DmJ1 ��9��J� ��,)Z0"�.$.�9VZ��)K$��P�/�Z��$.�" BJ���0"��!�J1��� M �+�o���*�P�/�PJ� ��R %H�+I5M�,)���D02�.$.�\VZ��)K$��Z��J1 ��")�J1 ��� �� M J� ���J���)��\��$.�" BJ1�/0,��!�J�� � M 8:PaBH���J��/�� ��9� y�8�x�s*�#�� �$r� y�8&=SA*�#'��/3���5h��H� M$���DG��) F � �� �$YF � �BDG)��*+ :�aBH��4J1�&�* r� y�8 ?*�J� ��"�/)\��H�+-5h��H� M$��RJ� ���+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$kL�)1��5���5��&!/�&JO�k��D�$.�S02�.$.�/ �'(�")1)��*)�V� ��, �p'*�&3*�" 02�.$.��V��*)1$����`J�)K�� ���+C�NJ�J��,$m8��� ����`5h��H� �$����`�/ �J��,)�+[�`��DJ� ��i0"�%$��7$.���OEJ1�� �02�S� �o���,�^fhJ� ��I0K ��� � ��"!WJ�)K�� M�T�&J��/�� kL�)1��5M��5��/!&�&J��/�,�?F M �����2fh�� �$r�c %H�+I5M�,)9��D#�OJ1)1�q�L���)1��+��"J��,)1�XJ1 ��4J�+dH��TJ�5h���*L.J��/+C�&u,�,$;�% ���+��,!&�*f *f %f �^f � f%�� �$ � �����28X�� %H��#J� ��R02�*+IE5��/ ��4J1��)1�/��!h�� �$cL�)��*5���5��/!/�/�TJ���09�*�TLh�,02J1�Z��DWJ� ��\L�)1��5�!&�,+ ��q3��95M�,�" 6�T�*!&3*�,$;f.�� M$c'��/3��, �o���,�^f*:�aBH��4J1�&�* ���� y�8 x*s��X�� M$(��y�8/=,AB�X��)1�Z�S�����" BJ1�/��!&!/�I�*���T�/+CL�!&��J���"34��!&H���J���V� ��, CJ� ��5�!/�.0Kt7!/�" �'�J� p���]!���)1'��[���dV� ��" p�&Jd���d��+C��!&! 86���4VZ�"3��,),fUJ� ��`��L.J1�&+C�/u,�4J1�&�* pL�)1��5�!/�"+���95%�k ��(+C�,�� ���J1)��/3%�/��!��T�/ �02�IJ� ����SaBH��4J1�&�* ��9��)��dJ�)K�� ��102�, �$.�, *JK��!X�� �$7�& %3*��!/3��I0"�� .E�TJ�)K���/ *JK���� *f %f ���� �$ � ���.�28Z�9 ��]���&+CL�!/�&YM0"��J��/�� 6�/��J��[�"!/�/+��/ ���J��\J� ��L���)K��+C�2J1�") �^8:PaBH���J��/�� r��y�8�x�s��#�/�Z+C�/ ��&+C�/u"�S$cV��&J� `)1�,��Lh�,0^JZJ����#5%�C+��/ ��/+C�&u,�& �' � � 1���T�2f.V� ���0K `0"�� 5h�9��0,02�*+�L�!&���T ��,$C5%�[�T�"JTJ��/ �'�� � � 1���T� �����[ ��8���)1��+ :PaBH��4J1�&�* r� y�8 x�y*�KfBJ� ��/��'��/3��S�#H��

� �= � K�!&

F M �����F M �E+����@L F M ����� � = � K 4 F M �/+���� = 4 � ����� � � �)[ � ��y�8�x�}B�

�eD9=�+ ) �5[ + �^f�J� ��" iH��T�/ �'QJ� ��[���%+�+C�"J�)1�k��D � ���.��VZ�����"��J� M�4JRJ� ��C�/ *J1�"'*)1�� �$��DP:�aBH��4J1�&�* 7y�8�x�}[���R�� BJ����T�%+C+C�2J1)���0"��!W�/ �k�� M$6J� %H��9J� ��I�/ BJ��"'*)1��!U���9��8�U�Q�" ���H�)1�J� M�4J�J� ��/��������+C�& ��/+dH�+(f

� � � � 1���T�� � � [�� �

= � � !/ F M ���.�F M �/+���� � F M ����� � = � K 4 F M �E+��.� = 4 � ����� � � �+(��x*�

Page 28: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�{�& M��!/!&�cVZ�\��5����")13��9J� M�4J�J� ��]�T�*!&H.J1�&�*

��[ @+>=x ��y�8�x*���

��H�J���+[��J���0"��!/!/�c����J����OY��S�ZJ� ��]0"�� ��TJ�)K���/ BJ� R ��� DG��) R �

���NJ1 6J� ��������&+CL�!/�&YM0"��J��/�� mf�:�a*HM�4J��/�� 6y�8�x�sI0"�� Q5h�)1�"V�)1�NJ�J��"

F � R�� ���M�o���,� M � � �� P � M � � �� P � = � <>= � ��� ��y�8�x�AB�

� � 4�;[�� �= � M F M ����� F M �/+���� P E�� = � I �Z� � ���.� � � � ��y�8�x�?B�

� � 4�;[ � �= � M F M ����� P � = � � ����� � � � ��y�8 y��B�

�� ��S�T�[�Sa*HM�4J��/�� M�H����CJ� ���J]D ��02JJ� ���J � � 1���B�3[ � � ��^f����d0"�� l5h�`���"�" iDG)1��+ :PaBH��4EJ��/�� M�� y�8/=q���Z�� �$i� y�8 x�y*�^8

� �� ���� �� �� �� �� �S+ "��� � �5+ � ,��5$ �S+\ ��/�Z � �S+���"b%J�02�� M�T��$.�")�J1 ��L�)1��5���5��/!&�&JO�c��D�$.�S02�.$.�/ �'C�")1)��*)�DG�*)��[02�*+�L�!&�"J��]02�.$.�*8#�m�"J � � ���,�5h�#J� ��� %H�+I5M�,)W��D�02�.$.�PVZ��)K$��m��J{$.���TJ1�� M02����DG)1��+~J1 ���0"�%$��PVZ��)K$ � � ��� R � R � +�=�8�� ��, mfmDG)1��+ :�aBH��4J1�&�* ��[� y�8&=SA*�R�� �$���y�8�x�A*�^fmJ� ��[L�)��*5���5��&!/�NJO�7��DZ$��,02�.$.�/ �'k�,)�)1��)RDG��)J� ��]02�.$.����1�TH�+��/ �'C�,aBH��/L�)1��5���5�!/�9H������DWJ� ��]0"�.$.�V��*)1$������

EF�G R� = ����M

=�

� � ��q� � < = � � � )�� � �M� � ���,� � � ��

�� � �� � = � < = � � ��� �

DG�*)��� %� (���f R ���y�8 y�=q�

���4V~$.�2Y� �� �o���,��[ =�

� =d����M� � ���,����#J� ��\�q3��,)1��'����43��,)��I��DmJ1 ��� %H�+I5M�,)���DU02�.$.�9V��*)1$����4J�$.�/�TJ1�� �02� ��DG)��*+ 0"�.$.��VZ��)K$

� � 8#:�aBH��4J1�&�* i��y�8 y�=S�PJ1 ��" 65h�,02�*+C�,�EF�G R � ��q� � <:= � � � )�� � �M�o���,� � � �� � � � �� � = � <:= � � � �

DG��)��� %� (���f R ���y�8 y*x*�

V� ��,)��

� ��q��[�� �= � F M ����� � =�� � ����� � � � ��y�8 y�yB�

� � 4�;[�� �= � M F M ����� F M �/+���� P E�� = � I �Z� � ���.� � � � ��y�8 y�@%�

x�A

Page 29: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�{�& ���!&!/�C02�� M�T��$.�")#�� C�" ����"+I5�!&����D�0"�.$.�,�#��H�0K [����J� ��B�T��0"�� ����/$��")1�,$I�& Q�� ���L.J��,)Px.8�m�"JTJ1�& �' �o���,�m5M�PJ� ��Z�q3��,)1��'��X�43��,)mJ� ��P�" M�T�,+d5�!/�P��D�02�.$.�,�U��D.J1 �� �o���,�m$.�"Y� ��S$�& dJ� ��Y�)K�OJ�L���)1��'�)K��L� ��D�J1 ��/�P�T�S0^J��/�� IDG��)��RL���)TJ1�/0"H�!/��)�02�.$.��f*:PaBH��4J1�&�* Q��y�8 y*x��W��'B���/ d ��*!/$��"f�� M$�EF�G��/�Z ��4V�J1 ��R�" ����"+I5�!&�\�q3��,)1��'���L�)1��5M��5��/!&�&JO�C��DU$.�S02�.$.�/ �'��")1)��*),8{����J1��J1 ��4J��4J!/�,���TJ��� ��]0"�.$.��& (J1 ��]�" M�T�,+d5�!/�+dH��TJ� ��q3*�\�CL�)��*5���5��/!/�NJO�c��D{�,)�)1��)��*���T+[��!/!U�*��J� ���q3��,)1��'��R�� �$`J� ���J9�4J�!/�,�*�OJ��IDG)K��0^J1�&�* l=,+ p��DWJ1 ��]02�.$.�S��+dHM�OJ� ��q3*��IL�)��*5���5��/!/�NJO���DX�")1)1��)��4J�+C�B�OJZEF2G� �8��� ��/��!����TJ�)1�,��H�!NJ�DG�*!&!/�4V���DG)1��+ ���J1�& �'CJ1 ��4J9�NDX+C��)1�\J� ��� 6�DG)K��0^J1�&�* �o��DUJ1 ��]02�.$.�S�� ���$6��L�)1��5���5��/!&�&JO�c��D{�")1)��*)�'�)1�,�4J1�")ZJ� M�� EF G � lJ� ��" (J� ��S�T�02�.$.�S����!/�� ��\VZ��H�!�$(02�� BJ1)��/5�H.J1�R+C�*)��RJ� M�� EF G J��CJ1 ��]�q3��,)1��'����,)�)1��)�L�)1��5M��5��/!&�&JO��8

�� ���5M�*H� �$��& i:PaBH��4J1�&�* g� y�8 yBx����/�\����+C�"V� ���JR$.�&�c02H�!&J\J��QV��*)�t6V��&J� mf�Y�)K�TJR5h�2E0"��H������&J��& %3��*!&3*�,�{�9��H�+��43*�") �[J��,)�+[�XV� ��,)��`�`+C�/'� BJX5M��!���)1'���f��� �$d���,0"�� �$d5M�S0"��H��T�J� ��")1�Q��)1�`�7 BH�+d5h�")���D��TJ�)K�q��L���)1��+C�2J��,)1�,f Bf *f � f � ���.�2f��43��,)dV� ���0K pJ� ��Q5h��H� M$�� ���H�!�$k5h�I�*L.J��/+C�&u,�,$;8�� .DG��)�J�H� M�4J��,!&�*f��& �'��" ��")K��! f�3%�&)�J�HM��!/!&�6 ���J� ��/ �'Q0,�� r5h�C$.�� ��J��C���&+CL�!/�NDG�CJ1 �����5h��H� �$`V��&J� ���H.J�V��S��t*�" ��/ �']�&J,8 BZ�2DG�*)��9L�)1�%0"�"�S$.�& �'�fB ��4V��,3��,),f%�T�*+C�+C��J1�&34�4J1�&�* Q�* (J� ��]$.�/)1�,0^J1�&�* (J��[5h�\DG��!/!&�4VZ�,$Q�& (J1 ��/���T�/+CL�!&�&YM0,�4J��/�� k�� �$(V��S��t��, ��/ �'V��/!&!Z5M�Q ��"!/L.DGH�! 87�eJCV��/!&!Z5M�(�T ��4V� p!/��J��")dJ� ���J�:�a*HM�4J��/�� ��y�8 y*x*�\�/����L�L�)��qb.�/+[�4J��,!&��� [�"b.LM�* ��" BJ�����!/!/��$.�S02)1�,�*�T�/ �'\DGH� �02J��/�� c��D;J� ���5�!&�.0KtC!/�" �'�J� ���fB5M��J� [DG�*)P!/�4V�Ee$.�, ����NJO��� M$k�,aBH��/L�)1��5���5�!&�I�" ����"+I5�!/�,�R��D#L���)��&JO�BEe0K ��,0Kt602�.$.�,�,8]�� %H��,fMJ1�(�TJ�HM$.� EF�GDG��)R3��,)��!/�� �'c5�!&�.0Kt`!/�" �'�J� M�"f��� �$kJ��`�TJ�H�$��QJ1 ��d34��)����4J1�&�* (��D EF�G\V��&J� 75�!&�.0Kt(!&�, �'�J1 mfMJ� ���02��E�2�c0"�&�, *J��D6�g�/ iJ� ����\�2b.Lh�� ��, BJ�����!XDGH� �02J��/�� lV��/!&!�5h�[��DZL�)��/+[��)1�k�&+CLh��)�J1�� �02�*8[�9H�)���/+ �& �V� ��4JRDG��!/!/�4V���V��/!&!X5h�dJ1�cY� �$�34��!/H��,�9��D � f � �����2f %fU�� �$ IJ1�`��L�J��/+��/u"�IJ� ��/��2b.Lh�� ��, BJ�����!W0"�%�2�c02�/�" BJ,8���� ����,aBH��, BJ�!/��fh��J� ��")�LM��)�J1����D�J� ��I�2b.L�)1�,�1�T�/�� 6DG�*)SEF G V��/!&!5h�[�&'* ���)1�,$rDG��)]L�H�)�Lh�*���,�\��D���L�J��/+��/u,��J��/�� m8c�9�q3%�& �'6�*5.J1���& ��S$l�TH�0K l�65h��H� �$mfU�&J]�/���D�02�*H�)K�T�Lh�*�1�T�/5�!/�\J��['*�[5���0KtQ�& r�� B�`L���)�J���02H�!���)90"������� �$6'*�2J���J1�&'* *J1�")�)1�,��H�!&J�DG��):PaBH���J��/�� 7��y�8 y*x*�Kf%5�H.J�J��C�4J�J��"+CL.J�J1 ��/�Z�/ `'*�" ��,)1��!MVZ��H�!�$[�* �!&�c0"�� .DGHM�T�\�� �$Q��!/)��S��$.�02�*+CL�!&��0"��J��S$Q���NJ1H��4J1�&�* m8

���4Vl���1�TH�+��XJ1 ��4JUJ� ��P$��/�TJ1�� �02�XDGH� M0^J��/�� �g���,�hDG�*)U��L���)�J���02H�!/��)m02�.$.�#�*);�" ����"+I5�!&���DX02�.$.�S��0"�� 65h�5M�*H� �$.�S$(5B�Q�� (�2b.L�)1�,�1�T�/�� (�TH�0K k�*�

�o���,� R ]C��j �E�U� < ��� E��cI � j [ �� ��y�8 y*s*�

V� ��,)�� ]C�kjd�S�U�]+IH��TJI5h�(�k)1�"!��4J1�&3*�"!/�i��+[��!/!ZaBH��� BJ��&JO�7DG�*)dJ1 ��cDG�*!&!/�4V��& �'7��L�L�)��B��0K J��>5M��H����2DGH�! 8_:�aBH��4J1�&�* ��7� x.8/=S�c�� �$�� x.8/=,?*�c'��/3��7��H�0K 5h��H� �$��`DG��)()1�� �$.��+ �� M$!/�4V�Ee$.�, ����NJO�[�, ��T�,+d5�!/�,����D{LM��)1�NJO�BEw0K ��,0Kt[02�.$.�S�"8����4Vn!/�2J

] � [ +C��b�

]C�kjd�S�U� ��y�8 y�}B�

�����/ �')] � DG�*) ]C��j �E�U���/ `:PaBH���J��/�� r��y�8 y*s��^f%��H�5��TJ��&J�H�J��/ �'dJ1 ������/ BJ���:PaBH��4J1�&�* r� y�8 yBx��Kf)1�,��)1)K�� �'*�& �'���!&�&JTJ1!&�*f��� �$d5M�*H� �$.�/ �'�J� �����H�+C+C��J��/�� ]5%�e�[J1�&+C�,�{�&J1�{+[�4b.�/+dH�+~J��,)�+6fVZ�R'*�2JEF2G R �2b.L,� M !& � ��S� + � P ) �S] � +[�4b

�2b.L_� M i �kjM� ) j�!& � � �� ) �O= +>jh�%!/ � � 4�*+ � PDG�*)��� %� (>��f R � ��y�8 yB���

�� ��`DGH� �0^J1�&�* �� � �� �$ � ��)1�`�TJ��/!&!�'��/3��, p5%�l:�aBH��4J1�&�* ��`��y�8 y�y*�d�� �$ � y�8 y�@%�K8l:PaBH��4EJ��/�� >� y�8 yB���� ��*��JOVZ�cJ1�")1+[�"f��,�*0K r��D#V� ��/0K i��)1�]�,�1�T�, BJ�����!/!&�6�2b.Lh�� ��, BJ�����!{�& ��8�� ��

x�?

Page 30: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

Y�)K�OJRJ��,)�+ $.�,0")��S�����,�9V��NJ1 � �&D ��fm�� �$rJ1 ��[�T�S02�* �$r�/ �02)1�,�*�T�S��V��&J� � �&D � ��8�� %H����&DmV���0K ��*��� � J��d+C��t��ZJ� ����2b.Lh�� ��, BJ1���Sa*HM��! f*�� %��0K ��� �'*���& � V��*H�!�$I�/ �0")��S������� ��d��DPJ� ��dJOV��Q�2b.LM�* ��" BJK�"8�� %H���J� ����\0K �����02�I��D � +C�& ��/+C�&u,�,�9J� ���0"�B�"�c02�/�" BJR��D*��/ QJ1 ��!���)1'��,�TJ��2b.LM�* ��" BJS8#:#!/�&+C�/ ��4J1�& �' � �/ QJ� �����V��q��f.VZ�R'*�2J

EF G R �T= ) �S] � �%�"b%L M +,�R+C�/ �

Wc�� � 1�6jM� P � DG��) (>��f R � ��y�8 y�AB�

Wc���� 1�Ojh� [ ,+ !/ � ��q� +

b+ M i ��jh� ) j�!/ � � �� ) �T=b+ jM�%!/ � � �� P ��y�8 y�?B�

�� ��\)��S�TH�!NJ��& (:PaBH���J��/�� ��R� y�8 y*A*���� �$�� y�8 y�?B�#�TJ��/!&!m$��"Lh�" �$����* cJ1 ���DGH� �0^J1�&�* � ���.�J� �)��*H�'� IJ� ��9$.�2Y� ��NJ1�&�* [��DhJ� ���DGH� �0^J1�&�* �� � �� �$ � 8X�w [��L�Lh�" M$.�NbVBRf��&JP���#�T ��4V� IJ1 ��4JWc���� 1�Ojh�Z�/��+C��b.�&+C�/u"�,$Q�43��,) � �����Z5%�

� ������[ ��� � F M ���.� ��= �� ) F � ������ = �� � � ) �#= �

�>E�� =�:I M F M ����� ��= � ) F � ����� � = � PF M ����� � =�� ) F � ����� � =�� � �� = �

V� ��,)��

Z[ � � ��� � 4� ) � � ��

��y�8 @*�B�

�� ��R02�� M�OJK�� BJ �C�/ `:�a*HM�4J��/�� r��y�8 @*�B��������)�5��&J�)K��)1�I�� �$c0,�� �0"�"!��P�*H.J��/ [J� ��95h��H� M$[DG��)EF G 8I�� .DG��)�J�H� M�4J��,!&�*f;J� ��/�\���\�� �!/�7�� 7�/+�L�!&��02�&Jd�T�*!&H�J��/�� ����/ �02� ��&J1���"!&D�����cDGH� M0^J��/�� ��D � �����^8����*)\�� %�k3q��!&H�����D *f� %fU�� �$ jUf;J1 �� � �����9����J����ODG�%�/ �'k:PaBH��4J1�&�* g� y�8 @B�*�90"�� 5h�7DG�*H� �$ �* �!/��5B�����T�,)��/�,�`��DI��L�L�)1�qb.�&+[�4J1�&�* ��[DG�*)��8 �� ����Q+C��t��S�`�*L.J��/+C�&u,�& �':PaBH���J��/�� ��y�8 y�?B�]$.�&�c02H�!&J[�"3��, gV��&J� ���0"��+CL�H.J1�")S8o���C��)��S�TH�!&J,fPV��60K ��%�*��� � ���.�+C��)1��T�/+CL�!&�cJ��[5h�

� ������[ � � � F M ����� ��= �� ) F � ������ = �� � �

F M ����� ��= � ) F � ����� ��= � � �� = � ��y�8 @�=q�

���*)[J� ��r�,aBH��/L�)1��5���5�!&�6�, ��T�,+d5�!/�k��D]0"�%$��,�,fZ+[��b%�/+C�&u,�& �' EF�GQ�43��,)Yj�V��/!&!9!/��J��,)c5M��� ��4V� J��R�%�&�,!/$�j [ Pf��� �$]�/ IJ� ����X0"������f�:�aBH��4J1�&�* ��P��y�8 @*�*�W�� M$`� y�8 @M=S�m'��/3��P��$.�, *J1�/0,��!)1�,��H�!NJK�"8����*)R��J� ��,)\�" ����"+I5�!&�S�"f�J1 ��c��+C��!&!�0K ��� �'����/ � ���.�90"��H����,$r5%�rHM�T�/ �'6:PaBH��4EJ��/�� o��y�8 @�=q�Z�& ��TJ��S��$6��DX:�a*HM�4J��/�� p��y�8 @*�*�ZV��/!/!W0"��H����]�� �!/�Q�`�T�S02�� M$%E �*)1$��")�0K ��� �'���/ J� ���2b.LM�* ��" BJ���DtEF G 8

��)1�&J��/ �'6��H.J\J� ���+C�*+��, BJTEe'��" ��")K�4J��/ �'[DGH� �0^J1�&�* ��\�2b.L�!/�/0"�NJ1!&�7�& l:PaBH���J��/�� >��y�8 y�?B��� M$`H����/ �'[:PaBH��4J1�&�* i��y�8 @�=q�Kf�VZ�R'*�2Jd���T�,�\��L�Lh�" �$.�&bsB��

EF�G R �O= ) �S] � �%�2b.L +,� Wc���� �� ��y�8 @Bx*�

W`�� � �� [ ,+ � � X�U+i!/ � �

M�kF ��= �M ) F � =���

� = �

� = � �#F � = ��M ) F��= ��� � �� = � ��y�8 @*yB�

Z[� �M��F � =��M ) F � =���

� = �

� = � ��F � = ��M ) F� = ��� � �

� = � x ��F M F � � � = ��� �M� F � =��M ) F ��= ��

� = �

� = � � F � = ��M ) F� = ��� � �� = �

��y�8 @�@%�

y��

Page 31: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � {� [ +C�& �M + i ��jh�:+ j�!/ +��O=b+ jh�%!& W�O=b+ {� P ��y�8 @Bs*�

:PaBH���J��/�� ��k��y�8 @Bx��dJ1� � y�8 @Bs*�I'��/3��k�i'��" ��")K��!�5h��H� �$>DG�*) EF G �/ �J��")1+[�C��DRJ� �)1�"�L���)1��+��"J��,)1�N9 *f� r�� �$djm8l:PaBH���J��/�� ��y�8 @Bs��d0"�� p5M�(H����,$lJ1�7�"!/�/+��/ ���J��PjoDG��)C�� %�'��/3��, (~�`�� M$ R ��f�5�H.J\+[�4b.�&+C�/u"�/ �' W`�� � ����43��")���� �$ [���9 ���J�T�/+CL�!/�I�� M$+[�q�o�"3*�" ��& %3*��!/3��6�T�,3��")K��!�!/�.0"��!�+[��b%�/+[��8����4VZ�"3*�")Sf#J1 ��/�C+[��b%�/+C�&uS�4J1�&�* �0,�� �5M�Lh�")�DG��)1+��S$`V��&J� k�C02�*+CL�H.J��,),8

� �� �/�*�* �� � �* ���"��5��$�� !�-�� �� ��� ��� ���* ��5"��5$ � �� ���� � ��+ �S,�� $ ����Z�� `�2b���+CL�!/����D;J� ��RH�������D{:PaBH��4J1�&�* �����y�8 @Bx*�{J��(� y�8 @Bs*�#0"�� ����/$��")#J1 ��\�TLh�,0"�/��!h0,�������DMJ� ����SaBH��&L�)��*5���5�!/���" ����"+I5�!/�Z��DhLM��)1�NJO�BEw0K ��,0Kt02�.$.�S�"f�DG��)�V� ���0K �DG)��*+�:PaBH���J��/�� [x.8/=

i �kjM� [ +]�O=,+ 2�%!& �x@+ j�!/ Dj�+��O=,+ jh�%!& {�O=,+ jM� ��y�8 @*}B�

V� ��,)��62 [��G!/��' � � � �1�7���ZJ� ��]0"�.$.�)1��J��*8<%H�5��TJ��&J�H�J��/ �'�:�a*HM�4J��/�� ���y�8 @*}*�R�/ BJ��r:�a*HM�4J��/�� ���y�8 @Bs��\�� �$i+C�& ��/+C�&u,�& �'�fXV��c���"�

J� M�4J�J� ��+��/ ��/+dH�+ �/����J?ja[ o�� �$Q ��*���C02�� M�OJK�� BJ�3q��!&H��R�/ �$.�,LM�, �$.�, *J9��D �f� � X� [��T=,+Z2�%!/ �x ��y�8 @%���

�� ����#+[��t*�,��:PaBH��4J1�&�* k� y�8 @*yB�X�/ �$.�"Lh�" M$.�" BJ���D Pf%�� M$[+[��t��S���&J�Lh�*�1�T�/5�!/��J����T�/+CL�!&�&DG�:PaBH���J��/�� ��\��y�8 @Bx��Z�� �$���y�8 @*yB�#J1�r� ���"���L�LM�, �$.�&b B�� 9

EF G R �T= ) �S] � � <>= � CE � IWc��q� [

=_+ �O=b+ 2�%!& �x@+i!& � �M M F M ���.� ��= � ) F � ����� � =�� P � � EL��= � I � �DG�*)��� %� \�/ (J� ��)K�� �'��\� R R ��

��y�8 @*AB�

�� %H��,f�DG��)[�� %�p'*�&3*�" g34��!&H��(��D *f;Wc��S�I����!&�/ ��,��)�!/�p)1�"!��4J��S$pJ1�Z2-V��&J� ��i�T!/��Lh�Q��D+ U!& �x ���O=,+ q�^8��{�&'*H�)1�]y�8�x��&!/!&HM�OJ1)1��J��,��J� ��])1�"!��4J1�&�* 6��D�Wc��q�ZJ1�a2�V��&J� I�����[L��4E)K��+C�2J1�")S8W�� ���H�L�LM�,)��, %3��"!/��Lh����D�J1 ��/�#D ��+C�/!&����Dm02H�)�3*�,��'*�&3*�,�XJ1 ��9$.�S�T�/)1�,$��2b.Lh�� ��, *J��DtEF G �*���dDGH� �0^J1�&�* (��D�2�8

� L���)K��+C�2J1)���0cLM���/)���D9�Sa*HM�4J��/�� M�dDG�*)�J� ����C�" %3��,!&�*LM�60"�� g5h�(DG��H� �$>5%�o�T�"JTJ1�& �'J� ��rL���)�J�����!9$.�")1�&34��J��/3��k��D3Wc��q�CV��NJ1 �)��S�TLh�,02JcJ�� k�,aBH���!�J1�o��8 �� ��/�`�%�&�,!/$��cJ� ��)1�"!��4J��/�� M�T ��/L

2C��q��[�=,+ �T=,+ q�E��� � ��q�!& �x � � R R �� ��y�8 @*?B�Wc��q��[ B�O=,+ S��� � ��q�:+�����q� ��y�8�s��B�

V� ��,)��

����q��[ !& � �MM F M ���.� ��= � ) F � ���.� ��= � P � � EL��= � I � � ��y�8�s.=q�

y�=

Page 32: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��M0/ M

��M0/ �

��M0/ �

��M0/ �

��M0/ " �

�M0/ $

�� � -\ �

Wc�� � 2\�;[ =,+ �T=,+Z2�%!/ �x@+��X��S�

�X��S��[�!& � �MM F M ���.� ��= � ) F � ����� � =�� P �� =�� � �

�{�&'*H�)1��y�8�x#9W����+C�/!&���Dh0"H�)�3*�,�W)��,!/��J��/ �'��"b.LM�* ��" BJ{J��R)1��J���DG��){�,aBH��/L�)��*5���5�!&���" ����"+I5�!&���DX02�.$.�S�"8

�eJP0"�� �5h���� ��4V� dJ1 ��4Jc9&2C��S�X$��,02)1�,�*�T�S�{V��NJ1 *f Wc��q�X�/ �02)1�,�*�T�S�{V��NJ1 *f�J� �����!&�*LM���D Wc��q�R���\�QDGH� �02J��/�� i��D 2���q�����C�/+ U!& �x*� ���O= + S�2fW�� �$r!/�&+ ���^M 2C��q�9�/�\�SaBH���!{J��0K ��� � ��"!�0"��LM��02�&JO��8c����)J1 ��*���[34��!/H��,�]��D�2z!/�,�1�\J� ��� 2C� �� �^fWJ� ���W 3.�,8S2 0"H�)�3*�C�/�'��/3��, Q5%�`:�aBH��4J1�&�* �� y�8 @BA*��V��&J� 5[ ��

W [��O=b+ 2�%!& �x@+i!& � �M � F M ����� ) F � ����� � � � �h� DG�*)�2 �T2C� �� � ��y�8�s�x*�

�� ��^W�3.�"8#2 0"H�)�3*���%�/�"!�$.�,$`5B�[:�a*HM�4J��/�� M�9��y�8 @*?*��J��6� y�8 s*x�������J� ��\�1��+C�R�*�#J1 ��4JDG��H� �$5%�R�M�� ��_. @>0B�"b.0"�"L.JWDG��){�T�*+����T+[��!/!*0K M�� �'*�,�m�/ J1�")1+��/ ��*!&�*'���8m�� ��,���P�,aBH���J��/�� �����&+CL�!/�NDG�k�,3��, kDGH�)�J� ��,)R�/ rJ1 ��C�TLh�,0"�/��!X0,�����d��D#J� ���5��/ ���)1�k�T�%+C+C�2J1)���0d0K ��� � ��,!�� <%�"��{�&'*H�)1�\y�8&=q�^8X�w (J� �����0,������f

����q��[ ==,+ !/ M �O=b+��h� ��= � ) � � =�� P

�� M$Q��DFJ��")�����+C��TJ�)K���/'� BJTDG�*)�V���)K$[+[�� ��/L�H�!��4J1�&�* QVZ�'��"J�J� ��\D ��+��/!/�/��)�)��S�TH�!&J1�,f

2���q��[ =,+ R ��� � �!/ �x ��y�8�s�yB�

Wc��S�;[�� � !/ =� ) �O=,+�� � �%!/

==,+��

+ R �� � � ��y�8�s4@%�

y*x

Page 33: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

V� ��,)��

� � [� ��= �

� ��= � ) �O=b+��h� ��= �� � R R ��

W [��O=,+ 2\�.!& �x@+pxX!/ � � � ) =,+�� � � DG��)�2 R 2C� �� � ��y�8�s�s*����Q ��q3��Q�T�,�" lJ� M�4JdDG�*)]J1 ��/�I�,aBH��/L�)1��5���5�!/�c�" ����"+I5�!/�c��D�0"�%$��,�J1 ��`34��!&H��Q��D?j

J� M�4J��%�&�,!/$��ZJ1 ��\!/��)�'*�,�TJ�0"�� BJ�)1�/5�H.J��/�� `J�� EF G ���Z�,aBH���!�J1� Pf.V� ���0K (�/��'*�&3*�" `�/ 6:PaBH��4EJ��/�� l� y�8 @*@B�Z�� M$(���/+�L�!&�&Y��,�ZDG�*)�J� ���SaBH��&L�)��*5���5�!/�\�" ����"+I5�!/�C���T�,�]��L�Lh�" M$.�Nb B���J�� 9

Z��q� [� �M� F ��= �M ) F � =���

� � � E�� =���I�� x��*F M F � � ��= ��kF � =��M ) F � =���� ��� � �

� �M�kF � =��M ) F � =���

� � � EL��= � I � � ��y�8�s�}B�

�9 ��r02H�)��/��H��[0"�� ����,aBH��, �02�k��D9J1 ����[�/�`���CDG�*!&!/�4V��O97<.H�L�Lh�*���kV��k ��*$��lVZ�q�o��D�/ �02)1�,�*�T�/ �'�J1 ���+C�& ��/+dH�+�$.���OJK�� �0"����Dh��JO�BL��/0,��!%)1�� �$.�*+�!/�]0K ��B�T�, d02�.$.�*8{�� ����XVZ��H�!�$ ��q3*�( ��"'�!/�/'��/5�!&�6� � �S0^J`�* >J1 ��kL�)1��5���5��/!&�&JO�o��D]$.�S02�.$.�/ �'l�")1)��*)�DG��)[J1 ��702�.$.�k�* ��L���)TJ1�/0"H�!/��)(0K M�� � ��,!\H� �!/�,�1�`J1 ��l+C�& ��/+dH�+ $.���OJK�� �0"�i0"��H�!�$ 5h�l+C�*$.�i!/��)�'*�")QJ� ��� � Z��q���T�/ �0"�\J� ���J�����J1 ��]$.���OJK�� �0"�\��J�V� ���0K Q+C�*�TJ���DWJ� ��]$��,02�.$.�/ �'C�")1)1��)K���.0,02H�)S8

�9 iJ� ��c��J� ��,)] ��� �$;fU�&D�J� ��Q02�.$.�[)K�4J��[���!/�4V��, ���H�'* mfWJ� ��[+C�/ ��&+IH�+ $.�/�TJ1�� �02�0"�� 75h�C+C�*$.�C�TH.�c0"�&�, *J1!&�7!/��)�'*�]J��60K ��� �'��IJ� ��C�"b%Lh�� ��" BJR��D EF2Gq8d�w p�� ���L�J��")]x�fm�NJV����X�T ��4V� dJ1 ��4J#J1 ����" M�T�,+d5�!/����D�)1�� �$.��+�L���)1�NJO�BEw0K ��,0Kt0"�%$��,��02�*H�!�$I5h���2b.L�H�)�'B�4J��S$J��C�/ �02!/H�$.��* �!/�`02�.$.�S��V��NJ1 6+��/ ��/+dH�+ $.���OJK�� �0"�\��J�!&�S���TJ,�Uj M V� ��,)��R ��j M �;[ �O= +Z2�%!/ �x

jk�/ ��&+C�/u"�/ �' � � {���/ k:PaBH���J��/�� l� y�8 @Bs*��DG�*)�J� ��/���"b%L�H�)�'B�4J1�,$Q�" ����"+I5�!&�*f.V��\'*�2J� � X�;[ �T=b+ 2\�.!& �x6[ R ��j M �2� Sj M ��y�8�s*���� � X�;[ +Dj M !/ +��O=b+ j M �%!/ W�T=,+ X�^� R j M ��y�8�s�AB�

���4V �*5��T�,)�3*�J� M�4J\V��NJ1 rJ� ��/�R�2b.L�H�)�'B�4J��S$k�" M�T�,+d5�!/�dVZ�I0,�� 7�TJ��/!&!XH����IJ� ��C����+C�34��!/H��,����D�\�� �$ ]DG��)��d'*�&3*�" c)K�4J1�9����VZ�R$.��$[DG�*)PJ1 ��RH� ��2b.L�H�)�'B�4J��S$[�" M�T�,+d5�!/��f.�� M$02�,)TJK���/ �!/��'*�2J��]34��!/��$`�"b%Lh�� ��" BJ�����!h5M�*H� �$Q�� EF2Gq8��eDUVZ�\$.�dJ1 ����"fBJ� ��" QJ� ��R�2b.Lh�� ��, *JW V��/!&!Z5M�`H� �0K ��� �'��S$iDG)��*+|J� ��`H� ��"b.L�H�)1'*�4J1�,$l0"�*�T�cDG��)])K�4J1�,�d��H�0K lJ1 ��4J j M�� M$(J� ��]�"b.LM�* ��" BJ5W V��/!/!U5h�d�/ �02)1�,�*�T�S$QV� ��" R j M 8��eJ90,�� k5h�I�� ��4V� (J� ���J�J� ��/��2b.Lh�� ��, BJI���d�/ pD ��02JIJ1 ��`+[��b%�/+dH�+ �2b.LM�* ��" BJ��43��") Q�� �$ %8p��H�)�J� ��")Sf��NJ[0"�� o5M��� ��4V� 6J� ���J [ j M �4J\�T�*+��_2 M ����J����ODG�%�/ �'Q� � 2 M � 2C� �� ���� �$6J� M�4J � j M DG��)2 � 2 M 8I����)62 � 2 M fm�TH�5M�OJ1�NJ1H.J��/ �'k:PaBH���J��/�� g��y�8�s�A*���/ *J1�(:�aBH��4J1�&�* g� y�8 @By*��V��NJ1 5[ �� f 6[ �C�� �$(�T�/+CL�!/�NDG�%�/ �'[�%�&�,!/$��

W [ +Dj M !/ � �Mx F M ���.� F � ����� � � ��y�8�s�?B�

V� ��,)��^j M ����J����OYM�,� R �kj M �3[-�T=@+ 2�%!& �x�8Q�{�&'*H�)1�Cy�8 yk�� ��4V���6��t��2JK0K l��DZJ� ���WR�2 02H�)�3*�dDG�*)�J1 ��/�\�"b.L�H�)1'*�4J1�,$�0"������8]�� ��/�\5h��H� M$7V����R��!��T�(�/ �$.�"Lh�" M$.�" BJ�!/�7$.�,)��/3��S$�,��)�!/�/�")ZDG��)�J1 ��5��/ ���)1�`���B+C+C�2J1)���0\0K ��� � ��"!;5%�`:P!&�������/ 6H� �L�H�5�!&���T ��,$(V��*)�t�8

y�y

Page 34: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� � -\ � �

� � W � � � >?GdX ��� � -\ �� GF7��^I�D�2���3Z;87/97/G�A87/5 $�>?7

��FIFD�2���3Z;C7/9e7/G�A87/5&$F>?7� ��� � >?G� ��� X�� � ��� �� � - ����� � � � � � � W � � � >?GdX

�{�&'*H�)1�\y�8 y 9�:�b.L�H�)1'*��J��,$Q�� �$(H� ��2b.L�H�)1'*��J��,$Q�,aBH��/L�)1��5���5�!/�9�, ��T�,+d5�!/�\��D�02�.$.�S�"8

� �� �\����"��! � �,-, �@!#� � � � ��"��� �S$�w k��)K$.�,)�J��c�*5.J1���& k����+C��& M�T�/'� BJ��/ BJ��CJ� ��d5h�" ��q3%�/��)���D#:�a*HM�4J��/�� M�� y�8 @Bx*��J��7��y�8 @Bs*�DG��)���)15��&J�)K��)1�[02�.$.�R�" ����"+I5�!&�S���� �$;f.�/ `L���)TJ1�/0"H�!���)Sf*!/�4V�Ee$��" ����NJO�[0"�%$��9�, ��T�,+d5�!/�,�,f%V���� ���!/!W0"�� ����/$��")�J1 ��]5��/ ���)1�6�T�%+C+C�2J�)1��00K ��� � ��"!���B�<�����V��&J� kJ1)1�� ����NJ1�&�* (L�)��*5���5��/!/�NJO��g�*�]�T ��4V� p�& o�{�/'�H�)1�`y�8/=�8k����)]J1 ����d0K ��� � ��"! f{J� ��Q�& BJ1�"'�)K��!��\�/ g:PaBH���J��/�� ��c��y�8 @*yB��� M$���y�8 @�@B��)1�,$.HM02�RJ��c���& �'�!/�9J1�")1+[�"f��� �$`VZ�'��"J

EF2G R �T= ) �S] � �%�"b.L +,� Wc�� � �� ��y�8 }��B�

Wc���� �� [ b+ � � X� )

+ !/ � �O=,+��h� ��= � ) � ��= � � + x

,+ !& � �T=b+ ��� � = �� ) � � = �� ���y�8 }�=q�

�[ x M �O=,+��h� �JP � = ���T=,+ ��� � = �� ) � � = ��

��y�8 }*x*�

� � X� [�+C�/ �M + i �kjM�U+>j�!& �+��T=,+>jh�%!/ W�O=,+ X� P ��y�8 }�yB�

�w ��L�Lh�" M$.�Nb B �NJ`���`�� ��4V� �J� M�4J`�&D3Wc�� � ��c ����c�l+[��b%�/+dH�+��/ �J� ��r)1�"'*�&�* � � �

2� +

2�� �����f%J1 ��" (J� ��/��+[��b%�/+dH�+ ����'��/3��" (5%�

W [�+[�4b��� �

Wc���� �� [�� � !& =� ) �O=,+�� � �%!/

==,+��

+ R ��� � � ��y�8 }�@%�

V� ��,)�� � � �/�ZJ1 ��]����!/H.J��/�� QJ���J� ��\DG��!/!&�4V��/ �'IJOV��C�,aBH���J��/�� ��Z�/ %3���!/3%�& �'dJ1 ��H� �t% ��4V� ��� � �� M$ � � 9

� � [j Mx ) �O=,+ j M � � � ��y�8 }*s*�R ��� � ��[ i ��j M � ) j M !/ �x ) �T=,+>j M � R �� � � ��y�8 }�}B�

y�@

Page 35: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�w k:PaBH���J��/�� ��\� y�8 }Bs��Z�� M$���y�8 }�}*�^f�j M ����J1 ��34��!/H��\��D j(J� ���J�+[�4b.�&+C�/u"�S�

i �kjM� )jx !& �@ � � �T=b+��

�� ��y�8 }B���

�� ���34��!/H��S�X��D��� M$ \�4J#V� ��/0K IJ� ���+C��b.�&+IH�+��/ [:PaBH��4J1�&�* U� y�8 }�@B�U�.0"02H�)1����)���'��/3��, �/+�L�!&��02�&J�!/�`5%�

� � [� � =��

� � =�� ) �T=,+ ��� � =����[ � � = �� � = � ) �O=b+��h� ��= �

��y�8 }�AB�

�� �������!/H.J1�&�* ��Dd:�a*HM�4J��/�� M�r� y�8 }Bs��Kf�� y�8 }�}B�Kf��� �$�� y�8 }%���[�TJ��/!/!9�/ %3���!/3��S�CJ� ��i���NE+dH�!NJK�� ��,��H��]����!/H.J1�&�* i��D�J1 �)1�"�[�,aBH���J��/�� ��]��D�V� ���0K �JOVZ�r��)1��J�)K�� ��102�, �$.�, *JK��! 8Q�� ����$�3q�� BJ1��'*�\��DXJ� ��S�T�I�,aBH���J��/�� ��,f� ��4VZ�"3*�")Sf��/��J� ���J�J� ��"�k$.�[ ���J��& %3*��!/3��\J� ��I0K ��� � ��"!J�)K�� M�T�&J��/�� QL�)��*5���5��&!/�NJO� �W8#�� BHM�"f%�&D{�C�T�*!&H�J��/�� `�"b.�/�TJ1��J���J1 ��,���9�SaBH��4J1�&�* ��"f%�&J��/��34��!/��$DG��)���!&!�J1)1�� ����NJ1�&�* QL�)1��5M��5��/!&�&J��/�,���/ (J� ��)K�� �'��

�� R � R � � ��y�8 }�?B�

��)1��+ :PaBH���J��/�� o��y�8 }�A*�^fMJ1 ���������J1 ��d)K�� �'����D ���43��,)�V� ���0K ( �Q�� �$ R ��8R�W�/'�EH�)1�Ry�8 @I'��/3��S�Z�I'��,��+C�2J1)���0"��!M�/ BJ��,)�L�)1�2JK�4J1�&�* c��DWJ� ��\�2b.Lh�� ��, BJ W��& (:PaBH���J��/�� ���y�8 }�@%������\DGH� �02J��/�� Q��D � � �� �$ �W8{�eJZ�/���/ *J1�")1�,�TJ��/ �'J1�d��5M�T�,)�3*��f���!/����f*J� ���JZ:�a*HM�4J��/�� r��y�8 }�@%�����/$��" BJ���0"��!XJ��r:PaBH���J��/�� �� y�8 s�@B�KfWJ� ��[�"b.LM�* ��" BJd$.�,)��/3��S$rDG�*)\J� ��c�SaBH��&L�)��*5���5�!/���" .E���"+d5�!&�*f��2b�02�,L.J,f���D;02��H�)1����fqJ1 ��4JXJ� ���3q��!&H��Z��D � � +C�/'� BJ�5M��$.� � �")1�" BJ,8X��!&�4VZ�")X5h��H� M$J�� EF�G9DG�*)�J� ��d5h�,�TJ9Lh�*�1�T�/5�!/�d02�.$.�]��D#)1��J��32_0"�� r��!��T�c5h�I$��")1�&3*�,$;fh�� �$6�&J9 ��*��5h�"�, �� ��4V� . @ 0XJ� ���J\:�a*HM�4J��/�� M�I��y�8�s�y*���� �$>� y�8 s�@B����!/���`)1�"!��4J1�]J1 ��I�"b.LM�* ��" BJ\��D>EF2G]�� M$J� ��)1��J��RDG��)�J1 ��5h�,�TJ�LM�B�����&5�!&�]0"�%$���8P�� %H����&J�����+C�,�� ��& �'�DGH�!;J1�C0"��+CL���)��02�.$.�S��DG��)

� ���

� � � �

� �0���!��� � ���� � � �

�{�&'*H�)1��y�8 @ 9{�R�,��+C�2J1)���0��& BJ1�")1L�)��"J1��J��/�� C��D��2b.Lh�� ��, *J�DG�*)#5��/ ���)1�d���%+�+C�"J�)1�/0�0K ��� � ��,!�8

J� ��9B�<M�p�/ CJ��,)�+[����DMJ1 ���L���)K��+C�"J��") � � 8{:�aBH��4J1�&�* ���� y�8 }Bs��Kf�� y�8 }*}*�KfB�� �$6� y�8 }%���W ��q3*�5h�"�" k����!/3��S$`DG�*)��T�,3��,)1��!;�2b.L�H�)1'*��J��,$Q�" M�T�,+d5�!/�,����DX!/�4V�Ew$.�" ����&JO�cL���)1�&JO�*Ew0K ��S0Ktc02�.$.�,�

y*s

Page 36: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

f�� f f��?W f�� X f�� ' f�� + f�� *f�� f

f�� X

f�� +

f�� )

f�� �

W�� f

� 3 �F<?56D�5 B/0�28287/B�;83�$�>?7 �H 0�2 3=G�K@B/0N9�7

� � �� 0�� 7/2 $�0�DFG�9@;C0_5b3 �F<?56D�5 B/0�282C7EB�;83�$�>?7 �� < ;8O�5b3 �F<?56D�5_ML>?<?Q�7/>?<?O�0N0^9_9F7EB/0N9�<?G��� I�I�7/2 $�0�DFG�9@;C0_5b3 �F<?56D�5 B/0�282C7EB�;83�$�>?7 �� 0�� 7E2 $�0�D�G�9@;C0_5b3 �^<?5`D�5 B/0�2C287/B�;P3�$�>?7 �� < ;8O�I�280%$13�$F<?>?<?AC;C<?B:9�7/B/0^9�<?G �

�� � ��� � "

�� � ��� � $�

� � ��� � &

�� " ��� � &

� � ���!� � ���-� �� ����� ��������� ���

. �����

�{�&'*H�)1�]y�8�s#9�:P)�)1��)�Ew02��)1)1�,0^J1�& �'dL�)1��Lh�")�J��/�,����D�� �U��� ������0"�%$��,���* (B�<M� �*��DGH� �02J��/�� r��D)K�4J��RDG�*)�!/��)�'*����8

DG��)ZV� ���0K cJ1 ��RDGH� �0^J1�&�* i ��jh���/�Z5h��H� �$��,$Q�& (:PaBH��4J1�&�* 7��x�8 x��*�28X�{�/'�H�)1�\y�8�sL�)1�,���" BJ1��c0"��+CL���)1���T�* (5h�2JOVZ�"�, 702�.$.�I)1��J��S����D#!/�4V�Ew$.�" ����&JO�Q02�.$.�S�9�� �$(J� ��I)K�4J1�]��DP�� k��L.J1�NE+dH�+_0"�%$���J� ���JP�%�&�,!/$���J� ��R����+���34��!&H�����D � � �� �$mf�J� ��")1�2DG��)1��f�J� ��9����+����"b.LM�* ��" BJ�J��EF G �/ cJ� ��9)K�� �'*� �

� R � R � � 8��eJZ�����& BJ��,)��S�OJ1�& �'dJ1�d��5M�T�,)�3*��DG)��*+ J� ��\02�*+CL���)1�/���� [��D�{�&'*H�)1�,��x.8 @R�� �$�y�8�s�J1 ��4JXJ� ��,����0"�.$.�,��0,�� I�*0K ��/�"3����� ��")1)1��){L�)��*5���5��&!/�NJO�'*���/ �'\$.�4V� �2b.Lh�� ��, BJ�����!/!&�QV��NJ1 r5�!/�%0KtQ!&�, �'�J1 k�"3*�" kV� ��, 6J� ��I�2b.LM�S0^J1�,$6 %H�+d5h�")9��DXJ�)K�� M�T�&J��/�� ���/ 7�c5�!/�.0KtQ���R02�� M�T��$.�")K��5�!&�(+C��)1�J� ��� kJ� ��I+C�/ ��&+IH�+-$.���OJK�� �0"��89�� %H��R��!&J� ���H�'* r�NJ���b ����=��� !&< �CJ1�(+[��t��I$��,02�.$.�/ �'(�")1)��*)1�9V� ��, rJ� ��� %H�+I5M�,)\��DZ0K M�� � ��,!{J�)K�� ����NJ1�&�* ��9�/� ���!ND�J1 ��6+C�& ��/+dH�+�$.���OJK�� �0"��fP$.�S02�.$.�/ �'i�")1)��*)1�I��)1�`H� �!/�/t��"!/�pH� BJ��/!�J� ��Q %H�+I5M�,)���DJ�)K�� M�T�&J��/�� ������P+IH�0K `'*)��S�4J��,)#J1 ��� `J� ��R+C�& ��/+dH�+ $.���OJK�� �0"��8X�eJZ���Z��!��T�I�& BJ��,)��S�OJ1�& �']J����5M�T�,)�3*�9J1 ��4J/j M �l��L�Lh�,��)K�ZJ��`'��/3��RJ� ��d+��B�OJ9!&�/t��,!&�($.�/�TJ1�� �02�5h�2JOVZ�"�, 6J�)K�� ���+C�NJ�J��S$�� M$�$.�S02�.$.�S$i0"�.$.�CV��*)1$��RV� ��, p$.�,0"�%$��& �'6�,)�)1��)K���.0,02H�)S8cjk��)1��L�)��S02���T�,!&�*fm�&J]'��/3��,�J� ���$.�/�TJ1�� �02����J#V� ��/0K IJ� ���5M�*H� �$IJ���,)�)1��)XL�)1��5���5��/!&�&JO��/�#!/��)�'*�,�TJ,8U�eJ#����02H�)��/��H��{J1 ��4JJ� ��/��aBH��� BJ��&JO�`$.�%�,�� ���J�0K ��� �'��\��� �634��)1�&�S��5M�"JOV��,�" �

��� M$ � � 8���*) � � �

�f Wc���� ��d����+[�4b.�&+C�/u"�S$p5%� Z[ ��8p�� ������/�I ���JC��H�)1L�)������& �'Mf��T�/ �02�

DG)1��+ :PaBH���J��/�� ���y�8 }�A*�^f [ �gDG��) �-[ ��8 �� ��" ~V��i�TH�5��OJ1�NJ1H.J�� [ �g�& BJ��

:PaBH���J��/�� i� y�8 }�=q�^f�����+C���!/'��,5�)1���/09+[�� ��/L�H�!��4J1�&�* Q�%�/�"!�$��

+[�4b��� �

Wc�� � 4� [�+C�/ �

+ i �kjM� )jx !/

=@ �{�O=_+��h� � DG�*) � R �

���y�8 �4�B�

���*) � R ��f%J� ��TjQJ1 ��4J�+C�/ ��/+��/u"�S��:PaBH���J��/�� ���y�8 �4�B��JO�%L���0"��!&!/�cV��/!&!m$.�S02)1�,�*�T�RV��NJ1 �

$.�4V� QJ���J� ��]02�.$.�+C�& ��&+IH�+ $.���TJ1�� M02�\)1��J��/��8

y�}

Page 37: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� ��\L�)1�,02�S$.�/ �'d)1�,��H�!&J1�Z ��q3��R02�* ��T��$.�,)��S$CJ� ��\0"�*�T�R��D{02�.$.�,���� �$`0"�%$��9�, ��T�,+d5�!/�,��/ pV� ��/0K o:�aBH��4J1�&�* ��[� y�8 }Bs��Kf�� y�8 }*}*�Kf��� �$�� y�8 }B���\ ��q3*�C�7�T�*!&H.J1�&�* m86�� .DG�*)TJ1H� ��4J1�"!/��fJ� ��,����,aBH��4J1�&�* ���$.�C ���J� ��q3������!/H.J��/�� ��ZDG�*)���!/!m02�.$.�S�"8����c����!/H.J��/�� 602�*)�)1�,��LM�* �$���J��J� ��\���&J�H���J��/�� `�/ (V� ��/0K /Wc���� ��Z�/�Z+[�4b.�/+��/u"�S$cDG�*) 6[ +

28#���")1��f.:PaBH���J��/�� ���y�8 }�@%�

����OJ1�&!/!#34��!/�/$7DG��) � R � � fU5�H.J � � ��� ��4V�'��/3��" �5%� j M ��x�fU�� M$ j M �/�] ��4V J� ��[)1��J��/���D�+C�/ ��&+IH�+-$.���OJK�� �0"�]J��`5�!&�.0Kt(!&�, �'�J1 6DG��)�J� ���02�.$.��89�# %�.�T��0"��!&!/��f.J1 �����+C�,�� ���J1 ��4JJ� ��")1�R��)��\�T��+[�� %�c02�.$.�\VZ��)K$��Z�4J�J� ��\+C�/ ��&+IH�+ $��/�TJ1�� �02�9J� ���J��")1)��*)Z0"��)1)��S0^J��/�� `�/�H� �!/�/t��"!/�6V� ��" �+C��)1�]J� M�� ��Uj M ��x[�,)�)1��)K���.0"0"H�)S8]�9 ��I�"b.��+CL�!&�I��D#J1 ����9���9J� ��C02�.$.�V��&J� 6�� �!/�[JOVZ�[02�.$.�\V��*)1$��"f.�* ��\��DWV� ��/0K 6���ZJ� ��]0"��+CL�!/�"+C�" BJ���DWJ� ����J� ��,),8

� �� � � � � ��� ���5� � "T" !!� �� �� �% �� �B���S�5+'� ! �Z � �S+�� ��I)��S�TH�!&J1�9�� k�,)�)1��)9L�)1��5���5��&!/�&J��/�,��H�LkJ��`J� ����RLM�*�& BJ9 M�q3��d��!&!{5M�,�" �H�L�Lh�")R5M�*H� �$���� EF G 8���� ��q3*�R�� ��4V� `J� ���J�!/�4V�Ew$.�" ����&JO�[L���)1�NJO�BEw0K ��,0Kt[0"�%$��,����)1�\�4J�!&�S���TJ��*��'��%�.$�� `J� ��CB�<�� ����J� ���*L.J��/+dH�+ 02�.$.�R��DX�I����+C�"V� M�4J� ��&'* ��")�)K�4J1��8����4VZ�"3*�")Sf�J1 ��")1�R�/� ��$.�/)��S0^J�V��q�R��D��� ��4V��/ �'�J1 ��4JP����+C�Z!&�4V�Ew$.�, ��T�&JO�]02�.$.�S����)1�� ���J#�R'�)1�,�4J�$.�S��!.5h�2JTJ1�")J� M�� rJ1 ��[�q3��,)1��'���8]�9 ��C�T+[��!&!X)1�,��H�!NJ�/ rJ1 ��/�$��&)1�,02J��/�� mf; ��4VZ�"3*�")SfM���9J� ���DG�*!&!/�4V��& �'J� ��"��)1�"+ V� ��/0K ��� ��4V��IJ� ���JC!/�4V�Ew$.�" ����&JO�o02�.$.�,�[0,�� � ���J[5M�6H����,$>� � �,02J��/3��,!&�>�� >�B�<���DG�*)�V� ���0K 60K M�� � ��,!m0"��L���0"�NJO�[������)15��&J�)K��)1�&!/�c02!/�*���9J��CJ� ��]02�.$.�\)1��J��*8� W�%:�1��%:c , � , � � ����� ��1���L�>=@?./8"J�8/AB /=�70�� �4- < �G' %���" � �$'�0 �S�1��� 2 /=�$'����1��'���' % �01�6%��L�C� ��' �=�:/A" ��1���L�>=@?./A"��A/8B �N�N� !=� (g�N�80 �$' ������� 2U�L��" /N�S���=�N�@#1�N� �S�;!=�;!N��< �L�>= � I�@'D0,< �N�`��"���/=�70�� 2 �1�301��!=� (g�N�A0�2U�L��"��89G(��$<g �S�:!=�;!N��< �L� =;E � �N�

R ��h� [ + ��!/ � +��T=,+ ���%!& W�O=,+��h�

� � [= ) �T=,+lx �h� �

xFD"J�&'JI2 R �� � �:+ R ��h�R ��� � � ��y�8 �%=q�

��* �< ��������"J��� -����@� � �g�80���I4��"J� �S�;!=�;!N��< �L�>= �4- 0 �8/Z�701��' %������Z�1� ��� !Z�$(+'�0 �A0�$2 �@= -=�Z�@*� !&= �@' �@*��@(+'��6��'�0 �P ��G'D0��&'��b�4-_��E� ���G/&(g�=�����@'�E��� ���0K ��� � ��"!.0"��L���0"�NJO���DM�?B�<��p�& I5��&J1�XLh�")��T�%+I5M�*!B����= +a. R ���h� �{!/ �x 0 8<%�/ �02� R ��� � � � !/ �x.fMJ� ��/�9J� ��"��)1�"+-�TJ1��J��,��J� M�4J�J1 ��C�T�*H�)10"�])K�4J��I+dH��TJ95h��5M�*H� �$.�S$�qV��q�CDG)��*+ J� ��I0K ��� � ��"!m0"��L���0"�NJO�cDG��)�)1�"!/�/��5�!&�\J1)1�� ���+����1�T�/�� m8��{�/'�H�)1�]y�8�sI�&!/!&HM�OJ1)1��J��,�J� �����+C��H� BJ�5%�dV� ���0K IJ� ���0,��L��*02�&JO�+dH��TJ#�2b�0"�"�,$dJ� ����T�*H�)K02�Z)1��J��ZDG��)#���"3*�")K��!%34��!/H��,���D �c�� �$)�;8�`�S�F�4-GE9�m�"J �(5h�R�dJ�)K�� ���+C�NJ�J��S$`02�.$.�9V��*)1$`�� �$`!&�"J��C5h�R�I)��S02�,�&3*�,$[���,aBH��" M02��8��� ���q3��,)1��'���+IH.J�HM��!m�/ .DG��)1+[�4J1�&�* Q�/ 65��NJK��Lh�")����B+I5M�*!;�/�

=� � ���4� �%��[ + =� !&�*' � �W���;� )

=� !&�*' � �B�����

[ + =� !&�*' � �W���.� )=� !&�*' � ��M���%�

��y�8 ��x*�

yB�

Page 38: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�eD{J� ��Lh�")�$.�/'��&J��,aBH��/3��.0,�4J��/�� (����J����OYM�,�ZJ� ���,aBH��4J1�&�* =� !&�*' � � ����� ( � �� ��y�8 �4yB�

DG��)����+C� ��& M$.�"Lh�" �$��" BJ��D6��fmJ� ��, 7J1 ��CL�)��*5���5��&!/�NJO�k��D�$.�S02�.$.�/ �'6�")1)��*)�+dHM�OJ]��!����)1�"+[���/ C5M�*H� �$.�S$c�qVZ�q�\DG)1��+ ��8X:PaBH���J��/�� k� y�8���y*�XV��/!/!�5h���,�TJ1��5�!&���� ��,$C5%���"34��!/H��4J1�& �'J� ����J� ��")�J��,)�+[���/ k:PaBH��4J1�&�* i��y�8 ��x*�K8

<%�/ �02�\J1 ��")1���)1�x�� F +C�S���1��'*�,�Z�& (J1 ��]02�.$.����2J,f+ =� !/��' � �W������[ 2 ��y�8 �q@%�

�R�/3��" �J� ��c�T�Sa*H��" �0"� �{fU�S��0K i$.�&'*�NJ]�/ iJ� ��c���,aBH��, �02� �r M���\L�)1��5���5��/!&�&JO� �l��D�5M�,�& �'$.� � �,)��, BJZDG)1��+ J� ��]0"��)1)��S�TLh�� M$.�& �'I$.�/'��&J��& ��{f��T��J1 ��4J

=� !/��' � � � ���%� [

+ R �����!/ �x ��y�8 ��s*�

���� M�T��$.�")I�TLh�,0"�NDG�%�/ �'rJ1 ��`)1�,0"�"�/3��,$p���,aBH��, �02� ��5%��Y�)1�TJI��LM�S02�&DG�%�& �'7J� ��QL���)1�&J��/�,�]��DJ� �� �#�O=:+ 2\�{LM��)1�NJO�C0K ��,0Kt.�#�� �$�J� ��" `��LM�S02�&DG�%�& �'dJ� ��9)��S02�,�&3*�,$C$.�/'��&J1�#�/ `����+C�����2JP��D� 2�!&�/ ��,��)�!/�6�& M$.�"Lh�" �$��" BJ9Lh�*���NJ1�&�* ��9�& kJ1 ��C02�.$.��8R�� ����9��LM�S02�&YM0"��J��/�� k�����SaBH��&34��!&�, *JJ��[��LM�S02�&DG�%�& �' �Q�T�/ �02�]��Lh�,02�&DG�%�& �'[�� ��\V��/!&!m+[��t��\�/��LM�B�����&5�!&�RJ��c0"��+CL�H.J1�RJ� ��]��J� ��,),8�� ���L�)1��5���5��&!/�&JO�QJ1 ��4J�QL���)1�NJO�BEw0K ��,0Kt(���R�1�4J1�/�TY��S$k�/�9J1 ��IL�)��*5���5��/!/�NJO�(J� M�4J]�� ��"3��, %H�+d5h�")���D{�,)�)1��)K�� ��q3��R�.0"02H�)�)1�,$QV��NJ1 ��/ QJ1 ��L���)��&JO�BEe0K ��S0Ktc�T�"J,f.V� ���0K 6�/�

���� �

K � �1L � � �O=b+��h� �c= � [ = ) �O=,+px ��� �x ��y�8 �4}B�

�W��3*�")1�NDG�Q:PaBH��4J1�&�* ���y�8 �4}*�2f.)��,V�)��&J��RJ1 ��)��/'� BJ� ��� �$6�T��$.�����O=,+�� ) ��� � ) �O=,+���+ ��� �

x�� M$`�"b%LM�� �$Q�NJ��/ k�C5��/ ���+C����!m���")1�&�S�"8

�� ��cH� M02�")�J1���& BJO�l���1�T�.0"�/��J��,$�V��&J� o�S��0K lL���)1�&JO�*Ew0K ��S0Ktr�/�]J� %H�� R ��� � � �{!/ �x65��&J1�V� ��,)�� � � [ .&= ) �O=e+�x �h� � 0���x.8k<%�/ �02�CJ1 ��`H� M02�")�J1���& BJO�7�*�����.02���4J1�,$iV��NJ1 p�,�*0K i�/ .EDG��)1+[�4J1�&�* r$.�&'*�NJ\���9��J9+C�*�TJI=I5��NJ�� M$r$.�"Lh�" M$.�" �0"�&�S�90,�� r�* �!/�()1�,$�H�02�dJ� ����43��,)TEw��!/!�" BJ1)��*LB�*f%V��\ ��q3*�

+ =� !/��' � �W���.� R�O=,+ 2� R �� � �!& 9x ) 2 ��y�8 �����

�� ��k��H�5��TJ��&J�H.J1�&�* ���DR:�aBH��4J1�&�* ��6� y�8 �q@%�^f\� y�8���s����� �$~� y�8��*���I�/ *J1�p:PaBH��4J1�&�* ~��y�8 ��x*�L�)1�.$.H�02�S�

+ =� !&�*' � � ���;� (R ��h�!/ �x + �O=,+ 2� R �� � �!/ �x ��y�8 �4AB�

��)1��+zJ� �� %�%LM��J� ��S�T������D{J� ��\J� ��,��)1�"+6f%J� ��,)��\������ � ��IJ� ���J�����J����OY��S�2 [ R ��� � � + R ����� ) �M!/ �xR ��� � � ��y�8 �4?B�

<%H�5M�OJ1�NJ1H.J��/ �'�:PaBH���J��/�� ���y�8 �4?*�c�& ~:PaBH���J��/�� ���y�8 �4A*�cV��i��5�J1���/ n:�aBH��4J1�&�* �� y�8���y*�KfL�)1�43%�& �'IJ� ��\J� ��,��)1�"+68

y�A

Page 39: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � �� ���������

���� :�;!#�* �� � � !*�� ��� ���L.J��,)�y[�� ���!&�%u,�,$`J� ��]L�)��*5���5��/!/�NJO�Q��D�$.�,0"�%$��& �'[�,)�)1��)�DG�*)d� �U�&� �'����0"�.$.�,���* 63q��)TE�/��H��65��/ ���)��BEe�& �L�H.Jr0K ��� � ��"!��QHM�T�/ �'�+[�4b.�&+IH�+�E !/�/t��"!/�/ ��%�%$~$.�S02�.$.�/ �'�8-jr��b%�/+dH�+IE!/�&t*�"!/�& ��%�.$l$.�,0"�.$.�& �'(���]�k0"�� %3��, ��&�, BJ0"�� �0"�"L.Jd���/ �02�[�&Jd+C�& ��&+C�/u"�,�]J� ��[L�)��*5���5��/!/�NJO���DP$��,02�.$.�/ �'Q�")1)��*)��� �$rJ� %H��9+C�,����H�)1�J� ��I� � �S0^J��/3��, ��,�1�9��DP�`0"�.$.�I��L���)�J�DG)1��+-�� %�L���)TJ1�/0"H�!/��)Z$��,02�.$.�/ �'C��0K ��"+C��8����4VZ�"3*�")Sf*�/+CL�!/�"+C�" BJ��/ �'[��+[�4b.�&+IH�+�E !/�/t��"!/�/ ��%�%$`$.�2E02�.$.�,)�J� M�4JP��02J�H���!&!/�I0"��+CL���)��S�{J� ���)1�,0"�"�/3��S$����,aBH��, �02��V��&J� c��!&!�LM�B�����&5�!&��0"�%$���V��*)1$�������9+C�B�OJ�H� ���JTJ1)1�*0^J��/3���Lh�*�1�T�/5��/!&�&JO����J1 ��/�#�/�XL���)TJ1�/0"H�!���)1!&�\J1)�H���DG�*)X!&�* �'\5�!&�.0Kt]!/�" �'�J� M�"f���& �0"�RJ� �����&u,�R��DUJ1 ��02�.$.��T�"J�'�)1�4V��P�"b%Lh�� ��" BJ�����!/!&�[V��&J� 65�!/�.0Ktc!/�" �'�J� m8�� $.�S02�.$.�")J� M�4Jc���C)��,!/��J��/3��"!/�g���&+CL�!/�k�/ >J1�")1+[�C��D\�,aBH��/L�+C�" BJ,f��TJ���)K��'*��fP�� �$�02�*+�L�H.J1��J��/�� ��/�+C��)1�c$.�,���/)1��5�!&�C�,3��" l�&D��NJ�+��.$.�,)1��J��,!&�r�/ �0")��S�����,�RJ� ��cL�)1��5���5��&!/�&JO�7��D��,)�)1��)S8c�eD�J� ��!/�4V��,)�L�)��*5���5��&!/�NJO�(��D��,)�)1��)�����)1�,aBH��/)��S$;f��* ��d0,�� k�T�/+CL�!/�(�/ �0")��S�����\J� ��]5�!&�.0Kt(!&�, �'�J1 ��DWJ� ��]0"�.$.��8

��V��Q$.�,0"�%$��& �'c�10K ��,+��S��V��/!&!W5M��$.�,�102)1�/5M�S$6 ��")1�\J� ���JR��L�LM�S��)�J1�`��0K ��&�,3��]�C)1�,�4E���� ���5�!&�Z5���!/�� �02�Z5M�"JOV��,�" C02�*+�L�!&�"b%�&JO�]�� M$dL�)1��5M��5��/!&�&JO���D�$.�,0"�.$.�& �'9�,)�)1��)S8U�� ��ZY�)K�OJ���WLM��)�J���02H�!���)1!&�]���/+�L�!&��5�H.J#��L�L�!/�/0,��5�!/���� �!/�\J��RJ� �� B�<��o�4JX)1��J��S�UD ��)�5M�,!&�4V>0"��LM��02�&JO��8�� ��C�T�S02�* �$r�10K ��"+C��f�V� ���0K 7$.�S02�.$.�S�R$��&)1�,02J�!/�QDG)1��+ J1 �� � J�1�=���N�����1����L�)1��5M��5��/!&�&J��/�,��4J�J� ��r0K ��� � ��"!���H.J1L�H.J[���C+��*)��(L�)1��+C���T�/ �'i5�H.Jc0"�� g5h�(H� �$.�")K�TJ��%�.$g+C��)1�(�,�����/!&��4DFJ1�")�J1 ��\Y�)K�OJ��10K ��"+C�\�/��$.�,�102)1�&5h�,$m8

�w �J� ��rY�)1�TJQ$.�S02�.$.�/ �'g�10K ��"+C�*f�J1 ��7$.�S02�.$.�,)`02�*+�L�H.J��S�`��!/!�J1 ��7L���)��&JO�BEe0K ��,0Kt.��� M$dJ1 ��" c0K M�� �'*�,���� %�d$��&'*�NJ#J1 ��4J#���P0"�� BJ1���& ��,$I�& [+C��)1�ZJ� ��� c�T�*+C��Y�b.�,$� %H�+d5h�")#��DH� ��1�4J1�/�TY��S$L���)1�&JO�*Ew0K ��S0Kt9�Sa*HM�4J��/�� M�"8{�����& �'�J� ��S�T�Z ��,Vo34��!/H��,�,fqJ� ��ZL���)��&JO�0K ��,0Kt.�{��)1�)1�,02�*+CL�H.J��S$;f%�� �$�J1 ���L�)1�.02�S��������)��,LM�S�4J��S$CH� BJ��/!�J1 ���LM��)1�NJO��0K ��,0Kt.�P��)�����!&!h����J����OYM�,$;8

�eD�J� ��PL���)��&JO�BEe0K ��S0Kt9���2JK�W��)��P��+[��!/!�fSJ1 ��/�{$.�S02�.$.�/ �'�L�)1�.02�S$.H�)1�#�/�W)1�,������ M��5�!/��fS�T�/ �02�+C�*�TJd��D�J1 ��`L���)��&JO�BEe0K ��,0Kt7���2JK�]V��/!&!�02�* *JK���/ l�"�&J� ��,)I�* ��CJ�)K�� ���+C�/�1���&�* p�")1)��*)��)] ��J�)K�� M�T+C�������&�* [�")1)��*)1�,8W�� %H��ZV� ��, `+C�*�TJ���DmJ1 ��9LM��)1�NJO�BEw0K ��,0Kt��,aBH���J��/�� ��Z0K ��,0Kt%�/ �']�* �k$.�/'��&JI��)1�[H� ��1�4J1�/�TY��S$;fUJ1 ��")1�c���]�r�TJ�)1�� �'6�/ �$.��0"��J��/�� lJ� M�4J]J1 ��4JI$��&'*�NJd���]�/ p�")1)1��)S8���*)#�2b���+�L�!&�*fB��H�L�Lh�*�����\J�)K�� M�T+C�������&�* C�")1)��*)��%0,02H�)1)1�,$��& CJ1 ���YM)1�TJ�$.�/'��&JP��D�J1 ���02�.$.��/ 6�{�/'�H�)1�dx.8/=�8#�� ��" kL���)��&JO�`0K ��S0Kt%�\=*f�}�f��� �$i=�=VZ��H�!�$Q5M�]3%�/��!��4J1�,$;f��� �$6��!/!;J� �)1�"�L���)��&JO�BEe0K ��S0Ktc�,aBH���J��/�� ���0K ��,0Kt%�/ �'c$.�/'��&JI=]VZ��H�!�$65h�]3%�&�*!/��J��,$m89�9 6J� ��]��J� ��,)� ��� �$;f�4J�+C�*�TJ,f#�* ��`��D�J� ��QJ� �)1�"�(�,aBH���J��/�� ���0K ��S0KtB�/ �'r�* g�� %�l��J1 ��")C$.�/'��&J��/ oJ1 ��(5�!&�.0KtVZ��H�!�$`5h�3%�&�*!/��J��S$;8

�U�p���"�k ��4V �� ���)15��&J�)K��)1�l$��&'*�NJ � 0,�� �5M�r0"��)1)��S0^J1�,$o�,3��, >�&D�NJK�CL���)1�NJO�BEw0K ��,0Kt���2J1��02�* BJ1���/ o+C��)1�cJ1 ��� g�� ��`J�)K�� ���+C�/�1�T�/�� g�")1)��*),fX02�* ��T��$.�,)dJ1 ��`J1)��,�Q�TJ�)1H�0^J1H�)1�`�/ �{�&'*H�)1�9@M8&=*8X�9�/'��&J � �/��)1�"L�)1�,���" BJ1�,$c5%�[J1 �� ��.$.��4J�J1 ��5������R��DUJ1 ��\J�)1�"�*f��� �$Q�,�*0K !/�& ���)1���T�/ �'9DG)��*+�J� ��/�� ��%$��Z)1�"L�)��S�T�, *JK�X�� �����D�J� ���L���)1�NJO�BEw0K ��,0Kt]���2JK��02�* *JK���/ ��/ �'$.�&'*�NJ� 8{�� �����J1 ��")X$.�/'��&J1�W�& dJ� ��S�T��L���)1�NJO�BEw0K ��,0Kt\���2J1�{��)1�#)1�"L�)1�,���" BJ1�,$\5%�\J� ��� ��.$.�,�{�* J� ��Y�)K�OJ�J��/�")R��D�J� ��]J�)1�"�*8��� ��I!&�/ ��,�9)1�/���& �'[DG)��*+ J1�&�,)I=]J��cJ1�&�,)Rxc��D�J� ��]J�)1�"�d)��,L�)��S�T�, BJJ� ��Q��J� ��,)�LM��)1�NJO�BEw0K ��,0Ktl�T�"J1�C02�* BJ1���/ ��/ �'rJ1 ��k$.�/'��&J1���� gJ��/�")6=�fZ�� �$oJ� ��( ��.$.�,���* J��/�")x[)1�"L�)��S�T�, *J9J� �����J1 ��")\$.�/'��&J1�9�& 7J� ��B�T�IL���)1�&JO�*Ew0K ��S0KtQ���2J1�,8����J���02�]J1 ��4J\�&D��THM0K �J1)��,�9���Z�2b%J��, �$.�S$[J���+[�� %�CJ��/�")K�,f*J1 ��\����+��\$.�/'��&JZ+C�/'� BJ���L�Lh�,��)��/ `+C��)1��J1 ��� Q�� ��L�!���0"��f.5�H.J�J1 �����V��&!/!m5h�]$.����0"H������,$Q�/ k<.�,0^J1�&�* Q@M8 x

���1�TH�+��� ��4V J1 ��4J\5M��J� i$.�&'*�NJ � �� �$7�T�,3��")K��!W��D#J1 ��C$.�&'*�NJK���/ rJ1 ��IY�)1�TJRJ��/�")\��)1�

y�?

Page 40: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� I13=28< ;LK BPO�7/BPQNA 0�G �

� � WU0=;CO�7/29F< ��< ;8Ad<?G���28AC;I13=2C< ;LK^M�BPO�7/BPQ A87�;� W ( W � � W ( X � � W (�' � � X ( W � � X ( X � � X (�' � � '!( W � � '!( X � � '!(�' �

�{�/'�H�)1�\@�8/=>9�����)1�NJO�BEw0K ��,0KtC���2J�J�)1�"�

J�)K�� M�T+C�������&�* [�")1)��*)1�,8W�� ��" c�* [J� ��9Y�)K�OJ�$.�,0"�.$.�& �'I�4J�J��,+�L�J,fBJ� ��R�")1)1��)�E�DG)1�"��$.�/'��&J1���/ J� ��\���,0"�� �$[J��/�")��� M$[J� ��"�/)ZLM��)1�NJO�BEw0K ��,0KtC02�* ��OJ1)1���& BJK�PV��/!&!m��!&!/�4V 02�*)�)1�,02J��/�� c��DU�")1)1��)K��/ >J1 ��kY�)K�TJ[J��/�")S8 �� ����[�& �J1H�)1 �V��/!/!9��!/!/�4V 02�*)�)1�,02J��/�� >��D$.�&'*�NJ � �� �J� ��7�T�S02�* �$$.�S02�.$.�/ �'`�4J�J��,+�L�J,8��� %H���$��&'*�NJK���� M$6L���)1�NJO�BEw0K ��,0Kt`�,aBH��4J1�&�* ���0,�� r����$6�/ r$.�,0"�%$��& �'�6$.�/'��&Jd�T�,�"+C�& �'�!/�rH� �0"�� � ��S0^J1�,$iV��NJ1 iJ� ��,+(8Q�� ��CL�)��*5���5��&!/�/�TJ���0C$.�,0"�.$.�& �'r��0K ��,+C�J��I5M�R$.�,�102)1�/5M�S$[ ��2b%JZH.J��/!&�/u"�S�#J1 ��,�����"b%J�)K�]$.�/'��&J1�Z�� �$[�"b%J�)K�L���)1�&JO�*Ew0K ��S0Ktd�,aBH���J��/�� ��+C��)1��T�.�TJ��"+[��J���0"��!/!/��8

���� � � ���"��5��$���+>!*� � � ��� �����������1��H�+C��J� ���J�J� ���0"�.$.��V��*)1$��UDG)1��+_�� k� �U�&� �'���X0"�%$�����)1�ZHM�T�S$IV��&J� [�SaBH���!.L�)1��5M��5��/!NE�&JO�[�� Q�� Q��)�5��&J�)K��)1�C5��/ ���)1�BE �/ �L�H.J�0K ��� � ��"! 8����*)��� %�c$.�&'*�NJ � f.H��T�/ �'IJ� ��\ ���J1��J��/�� `��D�{�&'*H�)1�]@�8/=�fh�� k�&J��")K�4J1�&�* kL�)1�%0"�,�1��V��/!&!{5M��$.�")1�/3��,$(J1 ��4J9�� kJ1 ���� ���[�&J��")K�4J1�&�* r02�*+IEL�H.J1�,�ZJ1 ��L�)1��5���5��&!/�&JO�[J� ���J�J� ��\J1)1�� ��T+C�&JTJ1�,$6$.�/'��&J��& (LM�B�T�&J��/�� � �����(=02�� M$.�NJ1�&�* ���!�� rJ� ���)��S02�,�&3*�,$r���%+d5h��!�����H�J9J1�Q�� M$r�/ �02!/H�$.�/ �'QJ� ���� � �[J��/�")S8����)9J� ��dY�)K�TJ9�&J��")K�4EJ��/�� Uf;V���0"�� i02�* ��T��$.�,)R$.�/'��&J � �� �$kJ1 ��[$.�/'��&J1�R�& 7J� ��IY�)K�OJRJ��/�")RJ1�`DG�*)�+-�(�TH�5�02�.$.��/ kV� ��/0K r��!&!W�T�"J1����DXJ� ��S�T�]$.�/'��&J1��J� ���J9�1�4J����TDG�`J1 �� �`L���)1�NJO�BEw0K ��,0Kt`�,aBH��4J1�&�* ����/ 6J� ��J�)1�"�\ ��q3*�9�SaBH���!mL�)��*5���5��/!/�NJO�[��DWJ1)1�� ��T+C�������/�� � 8

���� �����$.�")9J� ����" M�T�,+d5�!/�d��DP�"3*�" BJ1�9�& �V� ���0K kJ� ��IJ�)K�� M�T+C�&JTJ��S$7$.�/'��&J1�9�/ rJ� ��ILh��E���NJ1�&�* ��\��D � �� �$�J� ��CY�)K�TJJ��/�")d��)��C�/ �$.�"Lh�" M$.�" BJd�Sa*H��&L�)1��5M��5�!/�C5��& M��)1�7$.�/'��&J1�,fW�� M$J� ��[L�)��*5���5��&!/�NJ1�&�S�R��DZJ� ��[)1�,0"�"�/3��,$��T�%+I5M�*!/�\�/ iJ� ��S�T�CLh�*���NJ1�&�* ����)1�[$.�2J1�")1+��/ ��S$75%�J� ��C0K M�� � ��,!{J�)K�� ����NJ1�&�* 7L�)1��5M��5��/!&�&J��/�,� F � ���.�28d�w 7J� ����\�" ����"+I5�!/�IJ1 ��CL�)1��5���5��&!/�&JO�(��D�� %�>�"3��, BJQ02�* �$.�&J��/�� ���!��� �J1 ��7�,3��" BJ[J1 ��4JQJ� ��kJ1)1�� ���+��&JTJ1�,$ $��&'*�NJK�`�1�4J����TDG�gJ1 ��+�L���)��&JO�BEe0K ��S0Kt]�,aBH���J��/�� ��P�/�#J� ��R����+C�����#J� ��9L�)��*5���5��&!/�NJO�I��DU�� [�"3��, BJP�& cJ� ��R�TH�5�02�.$.�$.�S��0")��/5M�S$p��5h�43��*87�� %H��"f 2U�L��"g��' ��"g��� �&'J�N�&*�!&< �(VZ�`V��� BJ]J��rY� �$pJ1 ��`L�)��*5���5��/!/�NJO�J� M�4J�J� ��RJ1)1�� ��T+C�&JTJ1�,$($.�&'*�NJ��/ QLh�*���NJ1�&�* � �����Q=R0"�� �$.�&J��/�� M��!��� QJ� �����2J���DW)��S02�"�/3��S$���B+I5M�*!/��� ���9�� M$C�� CJ� ����"3*�" BJ��J1 ��4J�J� ���J1)1�� ���+��&JTJ1�,$c$��&'*�NJK�P�1�4J����TDG�dJ1 �� �dL���)1�&JO�*E0K ��S0Kt[�,aBH��4J1�&�* ����� 6$.�/'��&J � 8��i�V�)1�NJ1�\J� ��������

�P) M � � [�=�� ��� ����P

�����/ �'�J� ������" M�T�,+d5�!/��� �$( ���J1�4J1�&�* mf.VZ�\0,�� (L�)1�43��9J� ��\DG�*!&!/�4V��& �'IJ1 ��"�*)��,+/9 �� G 7 �FB/7/IF;C<?0�G ;C0b;8O�<?A AC;83Z;87/5,7/GN;:0^B/B/D�28A < H A80�5,7*>?<?G�7E3=24BE0�5 $�<?G13Z;C<?0�G 0=H ;CO�0�A876I13=28< ;LKNMLBPO�7/BPQNA7�"^D�3Z;8<?0�G�A GF0=; B/0�GN;83=<?G�<?G�� � I�280N9�D�B/7/Ad3UI13=28< ;LKNMLBPO�7/BPQ`7�"ND13Z;C<?0�GbBE0�G�;83=<?G�<?G�� 0�G�> K_9�< ��< ;CA <?G`;CO�7��128A�;;C<?7E2E[ ] OF<?A � <?>?> $�7U9�<?A8B/D�ACA87/9@> 3Z;C7/2 $�D^;4<?AdG�0=; 36AC7/28<?0�D�A 287/AC;C28<?B�;C<?0�Ga[

@*�

Page 41: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� W�%:�1��%:c �S�*��� � ���nF�!=����"J� �S�:!=�;!N��< �L� = ��"��1����"�� �8�S�@'�� *��L�8�P�80 0��6%��L�@��' ������L�8���@'

� ��� �Q= /=�$'�01�L�8���@' �@<*�@' ��"J���S�8/=����#1�80�01�6%��L�,��' J�1�=�L�8���@' � I,�$'�0 < �N� F � � !Z� ��"J���N�$*� �Z�;!=�;!N��< �L�>=�-����6��"J� � �� 01�6%��L�d��'���"J� ����* J�����L� =@?./8"J�8/8B��N���d�.-*��"J���*�=��� �C���N� ��' � �6%;(��S��� E��;E� ���,��"J��0��6%��L�C��!Z��=���1�8�����C� /=�$<�< = ��'�0��� ��G'D0��&'��@�.- �=�:/A" ����"����8I��$'�0 < �N� � !=���"�� �&#��&'����"J�1� ��"J���C�Z�@'J� * �L�C���80�01�6%��L�C�b�N�1�8����-8= ��"�� � ��1���L�>=@?./A"��8/AB�/=�@'����C�S����'��C� �@' 0��6%��L� � E�FD"��G'

�#)c. � � [ � � ��� ���&0�#)c. � � [�=� � ��� ���&0 [

=,+>F�

F� ��� � � �

= )�� �B= �� � � �O=,+px�F � � �=,+ � �B= �� � � �O=,+px�F � � � � �G@�8/=S�

�w 6��)K$.�")ZJ��[L�)��43*��J1 ��/��J� ��,��)1�"+6f.V��\ ��,�,$QJ� ��\DG��!/!&�4V��/ �'�!&�,+�+[� 9KL%:cdc "s� ��� � �U�$'J��� 0��N� � �N�89G(��&'�/=���4- � ��'�0 �P ��&'�0��&'��H!N��' �1� =�0��6%��L�C� ��' 2S"g� /8" ��"J�� �� 0��6%��L�`��� �c=,2U�L��" �S�:!=�;!N��< �L� =qF � EFD"J�&'���"J�_ �S�:!=�;!N��< �L� = ��"��1�_�@' �&#��&' ' (+*�!=�N�e�.-01�6%��L�C���1�S�d= ���

= )�� �� � � �O=b+px�F � �x�`�S�F�4-��4-e��"J� � �&*�*��;ER���� �����$.�")�J1 ��\DGH� �02J��/�� ��� ���O=,+>F � ) F � �T�

�95����")13��ZJ� ���JP�&DhJ1 ������/�P�2b.L��� �$.�,$��/ BJ��]�\Lh��!/�B ���+C�/��!��/ �^f*J� ���02�%�2�c02�/�" BJP��D � � �/�J� ���L�)1��5���5��&!/�&JO�d��D �Z=�� �"8X�� ���DGH� M0^J��/�� � �� � � �T=4+ F � +YF � �T�X�����/$��" BJ���0"��!��2b�0"�"L.J#J1 ��4J��!/!WJ� ��C�.$�$rLh�4VZ�")K����D�����)1�d ��,'*��J��/3���8\��$�$.�& �'QJ1 ��,���]JOVZ�QDGH� �0^J1�&�* ��,fm��!/!UJ1 ��C�"3��, Lh�4V��,)1�\��D �\��)1�[$.��H�5�!&�S$;f{�� �$�J� ��`�%$�$7J1�")1+[�]0"�� �02�,!#��H.JS8Q�{�/ ���!/!&��!&�"JTJ1�& �' �^[ =�� M$Q$.�/3%�/$��& �'C5%�Qx�f%J� ��\)1�,��H�!NJ����ZJ� ���J�J� ��L�)1��5M��5��/!&�&JO�[��DX�� (�"3*�" ( BH�+d5h�")���D{�� ��S�"8BZH.J

������ �O= + F

�) F

� � ) ��� �� �T=,+ F

� +>F � �x [ = ) �

�� �� �O=b+px�F

� �x

J� %H���L�)��43%�/ �'dJ1 ��!/�"+C+[��8�`�S�F�4-��4-e��"J� F�"��=�1�S�&*�E?BZ�[J� ��]$.�2Y� ��NJ1�&�* (��DX0"�� �$��NJ1�&�* ���!;L�)1��5M��5��/!&�&J��/�,��P)N. � � [ � � ���a� �&0�P)N. � � [�=� � ���a� �&0 [

=,+>F�

F� ��� � �

�P)N. � � � [ �J� � ���O0�P)N. � � � [�=�� � ���O0 �G@�8�x��

�R�/3��" QJ� M�4J � � [ ��f��dL���)��&JO�c0K ��S0Kt[�� � �/���1�4J1�/�TY��,$Q�&DUJ� ����J� ��")����+g=q��LM�B�T�&J��/�� ���/ lJ� ��QL���)1�NJO�BEw0K ��,0Kt��T�"JI02�* *JK���/ p�� p�"3*�" l %H�+d5h�")I��D=�� �,8k<.�& �0"�Q��!&!P$��&'*�NJK�]�/ pJ� ���" M�T�,+d5�!/�I��)����OJK�4J����TJ���0"��!/!/�(�/ �$.�,LM�, �$.�, *JSf;J� ��IL�)1��5M��5��/!&�&JO�(J� ���J\��!&! �(L���)��&JO�BEe0K ��,0Kt.���)1�c�1�4J����TY��,$i���J� ��cL�)1�%$�H�0^Jd��D�J� ��cL�)��*5���5��/!/�NJ1�&�S���D�J� ��c�& M$.�&3%��$.H���!�0K ��S0Kt%�]5M�,�& �'�1�4J����TY��,$;8��9�T�/ �'c�m�,+C+C��@M8&=RJ� ��/�����

�#)N. � � � [ ��� � ���N0 [ ��� � � �= ) � � ��� � �O=,+px�F � � �x � �G@�8 y*�

@�=

Page 42: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

<%�/+C�&!���)1!&�*f

�#)N. � � � [ = � � ���N0 [ ��� � � �=,+ � � ��� � �O=,+px�F � � �x � �G@�8 @B�

<%H�5M�OJ1�NJ1H.J��/ �'d:�a*HM�4J��/�� M���G@�8 y*�X�� �$6�G@M8 @%�{�& BJ��]:�aBH��4J1�&�* (� @�8�x��{VZ��'��2J�J1 ����TJ1��J��"+C�, *J��DWJ� ��\J1 ��"�*)��,+68

��HM$.'��/ �']DG)1��+_J1 ��90"��+CL�!/�2b.�NJO�C��D;J� ����P)1�,��H�!&J,f%�&JZVZ��H�!�$[��L�LM�S��)�$.�N�c0"H�!NJZJ���02�*+IEL�H.J1�]J1 ��IL�)��*5���5��/!/�NJO�QJ� ���J�J1 ��]J1)1�� ��T+C�&JTJ1�,$r$.�/'��&J9�/ 7Lh�*���&J��/�� � �/�R�k=�02�� M$.�NJ1�&�* ���!�� �J1 ���)1�,02�,�&3*�,$C$.�/'��&J1���/ CJOVZ���)#+C��)1��J��/�")K����DhJ1 ���J1)��,���& c�{�/'�H�)1��@�8/=�8{���*)TJ1H� ��4J1�"!/��f ��4VZ�"3*�")SfPJ1 ��7+[�� %�BE J��/�")Q0,�����r0"�� 5M���T�*!&3*�,$�DG)1��+ J� ��>=2E J��/�")Q0,�����k5%���g�T�/+CL�!&��&J��")K�4J1�&3*��J1�,0K � ��/aBH��*8

���� �����$.�")WY�)K�OJ{J� ���xqE J��/�")X0"�*�T�*8U�i��0"�� dH��T���� ��,��)1�"+ @�8/=#J1��Y� M$]J1 ���L�)��*5���5��/!/�NJO�J� M�4J��,�*0K `��DWJ� ��\J1)1�� ���+��&JTJ1�,$($.�/'��&J1�Z�& (J1 ��RY�)1�TJ�J��/�")���DUJ� ��9J1)��,�\�/���Q=02�� M$.�NJ1�&�* ���!�� QJ� ��])��S02�,�&3*�,$($.�&'*�NJK���& 6J1 ��]���,02�* �$`J��/�")S8P�� ���� �!&�Q+��.$.�&YM0,�4J��/�� (��D{J� ��J� ��,��)1�"+����J1 ��4J\J1 ��dYM)1�TJRL�)��.$.H�02J�/�9J1��t��, 7�43��,)��* �!&�#� +�=IJ��,)�+[�,fm�T�/ �0"�IJ1 ���L���)1�NJO�BEw0K ��,0Kt���2J]02�* *JK���/ ��/ �'($��&'*�NJ � ���\ ���J�/ �02!/H�$.�S$;8c���4V�J� ��S�T�[L�)1��5M��5��/!&�&J��/�,�\0,�� i5M�[H����,$��/ :PaBH���J��/�� r� @�8/=S�{J1�]Y� �$[J� ��9L�)��*5���5��&!/�NJO�IJ� M�4JPJ1 ���J1)1�� ���+��&JTJ1�,$c$��&'*�NJZ�& cLh�*���&J��/�� � �/�=�8��� ��34��!/�/$.�&JO�`��DWJ1 ��L�)1�.02�,$�H�)��RDG�*!&!/�4V����&+C+C�,$��/��J��"!/�cDG)1��+ J� ���/ �$.�,LM�, �$.�, �02�]��DJ� ��] ��"V 34��!/H��S����D F � � �& 6J1 ��]�" M�T�,+d5�!/�H����,$6�/ r�� ��"�*)��,+ @�8/=�8 BZ�`�/ �$.H�02J��/�� mfMJ� ��/��&J��")K�4J1�&�* QL�)��.02�S����0,�� 65h�H��T�S$(J��CY� M$`J1 ��]L�)1��5M��5��/!&�&JO�[J1 ��4J�J1 ��J�)K�� M�T+C�&JTJ��S$6$.�&'*�NJ� ���\=�f.'*�&3*�" 6�� %�c %H�+d5h�")���DWJ1�&�,)1����DX$��/�TJ��/ �0^J�$��&'*�NJK���& (J� ��\J�)1�"��8�� ��\'��, ��")K��!�$.�,0"�.$.�& �'IL�)1�.02�S$.H�)1��DG��)ZJ1 ��9�, BJ��/)��\02�.$.�R+[�q�[ ��4V 5h�R�TJ1��J��,$m8#����)�,�*0K c$.�/'��&J��� �$c�,��0K c0"��+I5��& M�4J��/�� C��D �_+7=9L���)1�NJO�BEw0K ��,0KtI�T�"J1�P0"�� BJ1���& ��& �']J� ���JZ$.�/'��&J,fH����c:PaBH���J��/�� ��G@�8/=S�9J1�r0"��!/0"H�!/��J��CJ1 ��[L�)1��5���5��&!/�&JO�7��D��(J�)K�� M�T+C�&JTJ��S$�=c02�� M$.�NJ1�&�* ���!�� lJ1 ��c)1�,0"�"�/3��,$l���%+d5h��!��]�/ lJ� �� ��+ =`L���)1�NJO�BEw0K ��,0Kt��T�"J1�,86�� %H��]J� ��,)��Q��)1� �7$��NDFEDG�")1�" BJZL�)��*5���5��&!/�NJ1�&�S���*�����.02���4J1�,$CV��&J� `�S��0K `$��&'*�NJSfB�S��0K [�* ��9�*+C�NJ�J��/ �'`=9L���)1�NJO�BEw0K ��,0Kt���2J,8I���2b%J\J� ��,���IL�)1��5M��5��/!&�&J��/�,�\��)��IH��T�S$7�/ l:PaBH��4J1�&�* g�G@M8&=q��J1�(0"��+CL�H.J1�[�Q���,0"�� �$%E��)K$.�,)I���2JI��D�L�)1��5���5��&!/�&J��/�,�,87�� ��(L�)��*5���5��&!/�NJO��J���5M�(���1�T�.0"�/��J��,$lV��&J� >�� ��($.�/'��&JI�/ J� ��`02�*+�L�H.J1��J��/�� p��D��� ���J1 ��")d$��&'*�NJ � ���J� ��cL�)1��5���5��&!/�&JO�rDG��H� �$l�& oJ� ��[YM)1�TJd�&J��")K�4EJ��/�� Ufm��+C�&JTJ��/ �'(J� ���LM��)1�NJO�BEw0K ��,0Kt6�T�"J]02�� BJK���/ ��& �' � 8I�eD�J� ��[$.�S02�.$.�/ �'6�/�\��H�0"0"�,�1�ODGH�!�fJ� ��" cJ1 ��RL�)��*5���5��&!/�NJ1�&�S�P�*�����.02���4J��S$CV��NJ1 `�S��0K `$.�/'��&J���L�L�)1�*�*0K [�d�*)�=I��$.�"Lh�" M$.�& �'I�* J� ��]J�)K�� M�T+C�&JTJ��S$k$.�/'��&JK���*��J1 ��d %H�+I5M�,)9��DX�&J��,)1��J��/�� ����/�9�/ �02)1�,�*�T�S$;8��� ��dL�)1�.02�S$.H�)1����I34��!&��$o�* �!&�lDG�*)��*��+C�� %�i�&J��,)1��J��/�� ��C�*�d+C�"�"JCJ� ��(�& M$.�"Lh�" �$��" �0"�6�*����H�+CL.J1�&�* g�/ �� ��,��)1�"+|@M8&=*8`�� ����d���1��H�+CL.J��/�� l5�)1�,��t%�$��4V� �V� ��, lJ� ��cJ�)1�"�c02!/�*���,�\H�LM�* p�NJK�T�,!NDO8<%�/ �02�[�S��0K �J��/�")]��D�J1 ��CJ�)1�"�c0"�� BJ1���& M�[� �+n=S�2��� + =S�9J��/+C�,�d+��*)��C ��.$.�S�\J� M�� iJ� ��L�)1�"3%�/��H���J1�&�,),fhJ1 ��d�/ �$.�,LM�, �$.�" M02�C���1�TH�+CL.J1�&�* k+dH��TJ95�)��S��t6$.�4V� kV� ��/!&� � ���9aBH��&J����+C��!&!XDG�*)]�� %�70"�%$��[��D�)��S������ ���5�!&�I5�!/�%0Kt7!&�, �'�J1 m8`�� ����!���0Ktk��D��/ �$.�"Lh�" M$.�" �0"�c0"�� 5h��&'* ���)1�,$;f% ��4VZ�"3*�")Sf%�� QJ� ��)1�,�*�T�* ���5�!/�9�*����H�+CL.J1�&�* QJ1 ��4J�J1 ��]$.�"Lh�" M$.�" �0"�&�S�� ��q3*��r)1�"!��4J1�&3*�"!/�l+��/ ��*)�� � �S0^J[�� �$oJ��, �$oJ1�i0,�� �0"�"!Z�,�*0K o��J1 ��")C��H�JC����+C�"V� M�4J,8p��!/����f�"3*�" 6�&D�$��"Lh�" �$.�, �02�/�,���.0"02H�)��& 6J1 ���� ���C�&J��")K�4J1�&�* mf�J1 ��Y�)K�TJ � +�=�NJ1�")K�4J1�&�* ��� ��q3*�)1�,$.H�0"�,$QJ� ��]�,aBH��/3��.0"��J��/�� (�& k�S��0K k$.�/'��&J,8Z�� ��" kVZ�]0"�� 60"�� �����$.�")�J1 ��]L�)1��5M��5��/!&�&J��/�,��4DFJ1�")�J� ���� +�=I�NJ1�")K�4J��/�� M��J��Q5M�C�[ ��,V )��S02�,�&3*�,$k���,aBH��" M02�]J1 ��4J\�T ���H�!�$k5h�d�,�*�T�/�")J��[$.�S02�.$.�\J1 ��� QJ� ���*)��/'��/ ���!h)1�,0"�"�/3��S$Q���,aBH��, �02�*8

@Bx

Page 43: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� ���+C�*�TJ����/'� ��&YM0"�� BJ{DG�S�4J1H�)�����D�J� ��/��$.�S02�.$.�/ �'��0K ��"+C�����{J� M�4J�J� ���0"��+CL�H.JK�4J1�&�* Lh�")\$.�&'*�NJRLM�,)9�&J��,)1��J��/�� k�����/ �$.�,LM�, �$.�, *J\��D�J1 ��d5�!&�.0Kt(!&�, �'�J1 m89��H�)TJ1 ��")1+C��)1��fh�NJ\0"�� 5h�d�T ��4V� QJ1 ��4J�J� ����q3��")K��'*�9 %H�+I5M�,)���D��&J��,)1��J��/�� ���)1�,aBH��/)1�,$QJ��`$��,02�.$.�d�/��5M�*H� �$.�S$5%�`�CaBH��� BJ��&JO�cL�)1��Lh��)�J��/�� M��!hJ��CJ1 ��!&�*'[��DWJ� ��!/��'[��DWJ1 ��5�!/�%0Kt`!&�, �'�J1 m8

���*)�J1 ����*0^J1H���!X02�*+�L�H.J1��J��/�� 7��D�J� ���L�)1��5���5��/!&�&J��/�,�9�& i�� ��"�*)��,+ @�8/=�fh�NJ��L�Lh�,��)1�J��k5h�c+C��)1�[02�* B3*�" ��/�" BJ\J��kHM�T�`:�aBH��4J1�&�* �� @�8/=S�R�/ �J1�")1+[���D�!/��'�Ee!/�&t*�"!/�& ��%�.$r)K�4J1�&�B�"8�m�"J

!& =_+>F �F�

[ �

��

!/ =,+ F � �F � � [ � � � � �!/ �#)c. � � [ � � ��� ���&0�#)c. � � [�=� � ��� ���&0 [ � � � ��

�G@�8�s��

V� ��,)�� �/�]J� ��`���/'� p�� �$ � ���J1 ��c+[��'* ��&J�H�$.�[��D�J� ��c!/��'�E !/�/t��"!/�/ ��%�%$�)K�4J��/��86��DFJ1�")����+C�\+C�� ��/L�H�!��4J��/�� Uf�:PaBH��4J1�&�* i� @�8/=S��5h�,02�*+C�,�

� � � �� [ � �� ) �� � � � K

�c= ������ � � L � � �B= ��� �

� �� � � � � � �G@�8 }*�

V� ��,)��

� � � �;[�!/ <�� ) =< � +�=

�� ��C0"��!�02H�!/��J��/�� r��D#J� ���!/��'�Ee!/�&t*�"!/�& ��%�.$6)K�4J��/�*���& i:PaBH���J��/�� g� @�8 }*��DG��)R�,��0K �$.�&'*�NJ0"�� c5h��Lh�")�DG��)1+��S$[�"�&J� ��")��T�,)�����!/!&���/ cJ��/+C�9�*)P5%�CL���)K��!/!/�"!M0"��+CL�H.JK�4J1�&�* ��"8��� ��R�T�,)�����!02�*+CL�H.J1��J��/�� 70,�� r5h��L�)��*'�)K��+C+C�,$(DG�*)R�`'��" ��")K��!&E L�H�)�Lh�*���]02�*+�L�H.J��,),f;�� M$kJ� ��I�"bBELh�")1�&+C�" BJK��!W$��4J1�c�& i�� M��L.J1�")9}cVZ�*����5.JK���/ ��,$6�/ kJ1 ��/�9+[�� � ��")S8�����)�D ���TJ9$.�S02�.$.�/ �'�fL���)1��!&!/�"!.02�*+CL�H.J��/ �'���X+C��)1�ZL�)��*+������& �'Mf��� M$��{�/'�H�)1��@�8�xR�Tt*�2J10K ��,�X�\�T�/+CL�!&�&Y��S$C5�!&�.0Kt$.����'*)1��+z�T ��4V��/ �'� ��4V J1 �����0"�� Q5h�]$.�� ���8

�eD#J� ��d�/ �L�H.JRJ��`J� ���$.�,0"�%$��")R�/�9�& rJ� ��dDG��)1+ ��DP�c!/��'�E !/�&t*�"!/�& ��B�.$()K�4J��/��fMJ� ��]Y�)K�OJ)1�4V ��D#5h�qb%�S�R�& i�W�/'�H�)��I@�8�x`0"��+CL�H.J1�,� � � � ��DG��)R�,�*0K �$.�/'��&J,fm0"��)1)��S�TLh�� M$.�& �'[J��QJ� ��)1�&'* *J1+C�*�TJ#��Lh�")K�4J��/�� [�/ `:�a*HM�4J��/�� r� @�8 }*�K8��� ��9��H.J1L�H.J�DG)��*+�J1 ��9�*$�$.�,)1���* [J� ��� ��"bBJ)1�4Vz�/� � �c= ���� � � � � � � �^f�02��)1)1�,��LM�* �$.�/ �'7J1�iJ� ��(JOVZ�i)1�/'� BJ�+C�*�TJC��Lh�")K�4J��/�� M�I�/ �:PaBH��4EJ��/�� >�G@�8 }*�28�m�/t��"V�������f��TH�0,02�S�����&3*�d)1�4V����/ 7�{�&'*H�)1�d@�8�xc0"��)1)��S�TLh�� M$(J��(��Lh�")K�4J��/�� M���/ :PaBH���J��/�� 7� @�8 }*��VZ��)1tB�/ �'dJ���J� ��\!/�2DFJS8���!&�S��)1!&�*f%�{�/'�H�)1�R@�8�x]�*+��&J1������+C�\$.�2JK���/!/�,f.�THM0K ���9J1 ��C��Lh�")K�4J��/�� M���* 7J1 ��[�T�/'� ��R��DPJ� ���!/��'�E !/�/t��"!/�/ ��%�%$r)1��J��/�*�9V��NJ1 i�S��0K i$.�&'*�NJSf;5�H.JJ� ��,���\0")��S�4J1�R ����S�����" BJ1�/��!m$.�N�c0"H�!NJO�*8

���9�T�,��DG)��*+��{�&'*H�)1�Z@M8 x9J1 ��4JP�\LM��)K��!/!&�,!�02��+CL�H�J��")�0"�� C5h�����&+CL�!/�d�/ ��TJ�)1H�+C�" BJ��S$)1�,aBH��/)��/ �'�L�)��/ �0"�&L���!&!/�Q�� %H�+I5M�,)�L�)1��Lh��)�J��/�� ���!MJ1������D{�� ���!/��'*H����$�$.�,)1�,f.+C�.$.H�!/�[x��$�$.�")K�"f���+CL�!&�&Y��,)1�{�� �$I ��* �!&�/ ��S��)X02�/)10"H��NJK�{J��\��L�L�)��qb.�/+C��J��PJ� ��ZDGH� �02J��/�� � � � �28����4V02!/�*���"!/�(J� ����RDGH� �02J��/�� l+dHM�OJ\5M�[��L�L�)1�qb%�/+[�4J1�,$k����Q��H�5��O�S0^J\DG��)RDGH�)�J� ��")]�TJ�H�$.�*f;5�H.JJ� ��")1�\��)��\�/ �$.��0"��J��/�� ��ZJ1 ��4J��&J��/�� ���J�02)1�&J���0"��! " 8

��� 0�5,7�2C7/BE7/G�; 7��^I�7/28<?5,7/GN;83=> � 0�28Q<?GF9�<?BE3Z;87/A,;8O�3Z;b< HUB/0�5,I�DF;83Z;8<?0�G <?A_AC;C28<?B�;C> K 9�< ��< ;83=>�R ) AC< �=MG�< �1BE3=G�; $�< ;CA63=2C7`ACD��,B/<?7/GN;U;C0@2C7EIF287/A87/G�;�� � � � < ;CO�0�DF;63=I�I�2C7/BE< 3�$F>?7_7�� 7/B�; 0�G ;8O�7,IF280%$13�$�<?>?< ;LKe0=H9�7/B/0^9F<?G��,7/28280�2E[

@*y

Page 44: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� G�I�DF;

� 7/B/0^9F7E90�DF;8IFDF; .17/7/9-$13=BPQ>?<?G�Q

� � < ��< ;CA

� � W � � �T�3=2C< ;LK�B8O�7/BPQ^A

� � �d7�;CB�[

� � �d7�;CB�[

�{�&'*H�)1�R@M8 x*9����S02�.$.�/ �'[��L�L���)1��J�H��

���� � � ���"��5��$���! ����/�*�* �� ��+'����� ���* ��5"�� ��$���+:!*� �T����� ����������+[��J� ��,+C��J���0"��!{�� ���!/�.�T������D#L�)��*5���5��&!/�/�TJ���0]$.�S02�.$.�/ �'c���9$��N�c02H�!NJSf;5�H.J�[3��,)��(V��S��t5h��H� �$(�* `J1 ��L�)1��5���5��&!/�&JO�c��D{�")1)��*)�0,�� (5M�]$��")1�&3*�,$Q�,�����/!&�*8

���1�TH�+��6� B�<M�_V��NJ1 >0")��B�����43��,)]L�)1��5���5��&!/�&JO��� M �� �$g�*����H�+C�cYM)1�TJC�� n���U��� �'���02�.$.��V��&J� �)[ y\LM��)1�NJO�BEw0K ��,0Kt]���2JK�#02�* *JK���/ ��/ �'�,�*0K �$.�/'��&J,8P���* ��T��$.�,)#�\L���)1�NJO�BEw0K ��,0Kt���2JRJ�)1�"��fW���R�& l�{�&'*H�)1�I@M8&=*f�0"�� BJ1���& ��& �' � �/ �$.�"Lh�" M$.�" BJ\J��/�")K�"f;5�H.J]!&�"J9J1 ���J��/�")K�\5M� %H�+d5h�")1�,$(DG)1��+ J��*L6J��c5h��J�J��*+ ���CJ� M�4J�J1 ��dH�L�LM�,)�+C�B�OJ�J1�&�,)�����J1 ��I��J1�&�,)R�� �$(J� ��$.�/'��&J�J��[5h�]$.�,0"�%$��,$Q�/��J1�&�,) ��8

jk�.$.�&DG��J1 ���$.�S02�.$.�/ �'�L�)1�.02�,$�H�)��#�*��DG��!/!/�4V69;�eD%5h��J1 L���)1�&JO�90K ��S0Kt%�U02��)1)1�,��LM�* �$.�/ �'J��6J1 ��`5�)1�� �0K ��,�\)1���T�/ �'6DG)1��+ �7$.�&'*�NJ]�/ lJ� ��cY�)K�OJJ1�&�,)I��)��[H� M����J����OY��S$l0K ��� �'*�CJ� ��$.�/'��&J,�BH����& �']J� ��S�T�R0K ��� �'*�,$C$.�/'��&J1�P�& [J1 ���YM)1�TJ#J��/�")SfBLM�,)TDG�*)�+�J� ��9����+�����Lh�")K�4J��/�� C�* J� ��]�T�S02�� M$cJ1�&�,),f��� �$602�� BJ1�& %H��RJ� ��/��L�)��.02�S$.H�)1�R$��4V� `J1�c$.�&'*�NJ � 8�� ���L�)1��5M��5��/!&�&JO�d��Dm$.�,0"�%$��& �'d�")1)��*)XDG��)�$��&'*�NJ � �4DFJ1�")#J1 ����#L�)1�.02�,$�H�)������P�� [H�L�Lh�")5h��H� �$7J��(J1 ��4J])1�,��H�!&J��/ �'`DG�*)�+ +C��t%�& �'k�($.�,0"�/���/�� l�4DFJ��,)\J� �� � ���(�NJ1�")K�4J��/�� i��D�J� ��L�)1��5���5��/!&���OJ1�/09$.�,0"�.$.�& �'��10K ��"+C�*82BZ��J� (L�)��.0"�,$.H�)1�,��5��*�T��J� ��,�&)�$.�S02���T�/�� Q�� �!/�[�� `J� ��)1�,02�,�&3*�,$]���%+d5h��!��U�/ ]J1 ����`E J��/�")WJ�)1�"�*f�5�H.J{J� ��ZL�)��*5���5��/!/�/�TJ���0P�10K ��"+C�Z+[��t��S�mJ1 ��Z+��B�OJ!/�&t*�"!/�`$.�,0"�/���/�� QDG)��*+ J� ������/ .DG��)1+[�4J1�&�* m8

���( ��4V $.�"J��")1+C�& ��`J1 ��`L�)1��5M��5��/!&�&JO��J� ���JC�r$��&'*�NJC�& oJ� ��QY�)K�OJIJ��/�")��/�I�& g�")1)��*)�4DFJ1�")�VZ�\��L�L�!/�CJ� ��\+C�.$.�&Y��,$6$.�S02�.$.�/ �'IL�)��.02�S$.H�)1�R$��,�102)1�&5h�,$(��5h�43��*8W�eDWJ� ��$.�/'��&J��/�)1�,02�,�&3*�,$k�/ i�")1)��*)����� i�"3��, BJR��D�L�)1��5���5��/!&�&JO� � M ��J1 ��" l�(L���)1�&JO�r0K ��,0Ktr0"�� ��TJ�)K���/ ��/ �'J� M�4JR$��&'*�NJ\V��&!/!X5M��H� ��1�4J1�/�TY��S$k�NDZ�� �$k�* �!/�(�&D��� r�"3*�" r %H�+I5M�,)C� �& M02!/H�$.�/ �'`u,�")1�B����D�")1)1��)K����+C�� �'[J� �����J1 ��") �+�=�$.�&'*�NJK���/ rJ1 ���L���)1�NJO�BEw0K ��,0Kt(�T�"J,8��)1��+-�U�"+C+[�c@�8/=�fJ� ��L�)��*5���5��&!/�NJO�[��DX�� Q�,3��, Q %H�+I5M�,)���D{�")1)��*)1����+C�* �' ��+�=]$.�/'��&J1�����

= ) �T=b+lx � M � �c= �x �G@�8 ���

@�@

Page 45: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

<%�/ �02�]�� 6�")1)��*)�V��&!/!m5h�d02�*)�)1�,02J��,$Q�� �!&�Q�ND�5h��J� kLM��)1�NJO�`0K ��,0Kt.��)1�/���& �'IDG)1��+ J� ��I$.�&'*�NJ��)1��H� M����J����OY��S$;f*J� ��9DG��!/!&�4V��/ �']�"b.L�)��S�����/�� ['��/3��S��J1 ���L�)1��5M��5��/!&�&JO��J� ���JZ�I$.�&'*�NJZ�& `J� ��Y�)K�OJ�J1�&�,)��/��)1�,0"�"�/3��S$c�/ (�,)�)1��)��� �$cJ1 ��" r0"��)1)��S0^J1�,$;8

� M � = ) �T=b+px � M � �c=d�x � � �G@�8 A*�

BZ�cJ1 ��]����+C�)��S������ ��/ �'�f.:�a*HM�4J��/�� l�G@M8 ?B�Z'��/3��S�ZJ� ��]L�)��*5���5��/!/�NJO�[J1 ��4J��[$��&'*�NJ��/ 6J� ��Y�)K�OJ�J��/�")[���C)1�,02�,�&3*�,$>02��)1)1�,0^J1!&�l5�H�J[J� ��, �0K ��� �'��S$o5h�,0,��H����Q��D9H� M����J����OY��S$gLM��)1�NJO�0K ��S0Kt%�,8

�O=,+�� M � � =,+��T=,+lx � M � �c= �x � � �G@�8 ?*�

�eD�V��[02�*+d5��/ ��[:PaBH���J��/�� ��C� @�8 A*�R�� �$��G@M8 ?B�^fUJ� ��[L�)1��5M��5��/!&�&JO�k��DZ�")1)��*)\��DZ�6$.�/'��&J]�/ J� ��\Y�)1�TJ�J��/�")���DFJ��,)���L�L�!/�%�& �'IJ1 �����$.�,0"�.$.�& �'�L�)��.02�S���Z���

� � [ � M + � M � = ) �T=b+lx � M � �c= �x � � ) �O=,+�� M � � =,+��T=,+lx � M � �c= �x � � � @�8/=,�B�

BZ�`�/ �$.H�02J��/�� k�&J��,�*�T�/!&�cDG��!/!&�4V��ZJ1 ��4J��&D � � ����J1 ��L�)1��5���5��&!/�&JO�`��DX�")1)1��)��4DFJ1�")�L�)1��E02�S�����/ �'I��DX�C$.�/'��&J��/ QJ1 �� � ��� J��/�")Sf%J� ��,

� � K4� [�� M + � M � = ) �O=b+px ��� � �c=d�x � � ) �O=,+�� M � � =,+��O=b+px ����� �B= �x � � � @�8/=�=q�

�i�Q ��4V �� ��4V J� M�4J�DG��)C�TH.�c0"�&�, *J1!&�p��+[��!/! � M fXJ1 ��(���,aBH��, �02�Z. ���L0�02�* %3��")1'��S�\J��i��8���� M�T��$.�")��{�&'*H�)��`@�8 y�fXV� ���0K o�/���7��t��"J10K p��D � � K4� �*�d�rDGH� �0^J1�&�* g��D � � 8l<%�/ �02�QJ� ��

� �� -� \� � �

+�*��

���

� ��� -

�{�/'�H�)1�\@�8 y*9#<%t��"J10K (��D � � K4� �����IDGH� M0^J��/�� 6��D ���O8��)K$.�/ ��4J1��DG��)]�* ��[34��!/H��[��D �����\J� ��`��5��102���1���QDG��)\J1 ��c ��"b%J,fWJ� ��`$���JTJ1�,$iu"�/'�uS��'6!/�& ���/!&!/H��TJ�)K�4J��S�P�]0"�� %3��, ��/�" BJP'�)K��L� ��/0,��!�+C�"J� ��.$[��D;Y� �$.�/ �' ���;DG�*)���H�0"0"�,�1�T�/3���34��!/H��S�P��D �K8

@Bs

Page 46: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�eJ�0"�� Q5h�]���"�" QDG)1��+ �{�/'�H�)1�\@�8 ydJ1 ��4J��&D� � � � K4� � � ���-DG��)�� � � � R � M

� � K4� [ � � �-DG��) � � [ � � @�8/=Sx*�

J� ��" pJ1 ��Q���,aBH��, �02��. � �J0 � ��8k�eJC0"�� p5h�Q���"�, lDG)��*+ :�aBH��4J1�&�* �G@�8/=�=q�9J� ���JdDG�*) � M��H.�c02�/�" BJ�!/�Q��+[��!/!�f�J� ���/ ��,aBH���!&�&JO����:PaBH���J��/�� p�G@M8&=qx��O�������1�4J1�/�TY��S$;8��{�/'�H�)1�@�8 @C'��/3��,�J� ��+C��b.�&+IH�+ � M DG�*)��T�,3��,)1��!h34��!&H��S����D ��8

� � ���4J1� � My } ��8 s ��8 ��y*?*sy s ��8 @ ��8 ��}�=Sx@ } ��8 y�y*y ��8 �B�4@*Ay s ��8 x*s ��8/=,�*}�?

�{�/'�H�)1�\@�8 @ 9�jr�4b.�/+dH�+ � M DG��)�VZ�,��t[5M�*H� �$6$.�S02�.$.�/ �'c02�* B3*�")1'��, �02�*8�� ��o)K�4J1�o�4J7V� ���0K . � � 0 � ��+[�q� 5h�>$.�"J��")1+C�& ��,$ 5%� ���J��/ �'�DG)1��+ :PaBH��4E

J��/�� l�G@M8&=*=S�PJ� M�4J�DG��)���+[��!/! � �� � K4��� � � x�����+�=S� � M � @�8/=,yB�

��)1��+zJ� ������&J��/���S�����[J��[�� ��4V J1 ��4J�DG�*)��TH.�c0"�&�, *J1!&�Q!/��)�'*� �Kf� � ��� . x���� +�=S� � M 0

� � @�8/="@%�V� ��,)�� � �/�R�c02�* ��TJ1�� BJR�& �$��"Lh�" �$.�, BJ9��D �K8\<%�& M02�]J1 ��d %H�+I5M�,)9��D#�& M$.�"Lh�" �$��" BJ�J1�&�,)1��/ QJ1 ��\J�)1�"�\�/ �02)1�,�*�T�S�Z!&�*'*��)1�&J� �+C��0"��!/!/�[V��NJ1 (5�!&�.0Ktc!/�" �'�J� mf�J� �����5h��H� �$QJ1�IJ1 ��L�)1��5.E��5��&!/�NJO����Dm$.�S02�.$.�/ �']�,)�)1��)P��L�L�)1�*�*0K ��,�Xu,�")1�]V��NJ1 `����+C���T+[��!&!h ��"'B�4J1�&3*��LM�4VZ�")#��D;J� ��5�!/�.0Ktr!&�, �'�J1 m8Q�� ��/�]��!/�4V���L�L�)��B��0K 7J��ku"�,)��k��L�LM�S��)K�RJ��k5h�`�602�* ��T�SaBH��" �0"�[��DZJ� ��+C�.$.�NYh0"�4J1�&�* ]��D�J� ��Z$.�,0"�%$��& �'\�10K ��"+C���� �$��D.J� ����OJ1)���0^JX�/ �$.�"Lh�" M$.�" �0"��)1�,aBH��/)1�"+C�" BJ,f)K�4J� ��")ZJ� ��� 6��DXL�)��*5���5��&!/�/�TJ���0R$.�,0"�%$��& �'c�*���CV� ���!/��8

�� ���������+��\��)1'�H�+��, BJ�0,�� `5h���L�L�!&�/�,$`J��C02�.$.�S��V��&J� (+C��)1��J1 ��� 6yIL���)1�NJO�BEw0K ��,0Kt���2J1��LM�,)9$.�/'��&J,8�<%J�)1�� �'*�")�)1�,��H�!NJK��V��/!&!W5M����0K ��/�"3*�,$(�&D�DG��)�����+C�]�/ BJ��"'*�")��4f�J1�c5M�I$.�2EJ��,)�+C�/ ��,$r!/��J��")Sf��`$.�/'��&J9���90K M�� �'*�,$6V� ��, ��"3*�")����)�+C�*)��IL���)1�NJO�BEw0K ��,0KtQ02�� M�OJ1)1���& BJ1�)1�/���& �'DG)��*+_J� ��\$.�/'��&J���)���3%�/��!��4J1�,$;8������/ �']J1 ��/��0")��&J��,)��/�� c�� �$[DG�*!&!/�4V��& �'J� ��R)1�,������ �E�/ �'C!&�S��$.�/ �'�J��c:�a*HM�4J��/�� i�G@M8&=*=S�Kf�VZ�\��5.JK���/

� � K4� [�� M + � M � =d�� � ��� K � +>=� L � = ) �O=,+px � � � �c= �x �

� � =,+��T=,+lx � � � �c=d�x � � = � =�

) �O=,+�� M � � =d�� � ��� K � +�=� L � =,+��O=b+px � � � �B= �x �� � = ) �T=,+lx � � � �c= �

x � � = � =�

� @�8/=Ss*�

�� ��I�& BJ��,'��,)�0,�� r ��4V~5h�C0K ��*���" kJ1�`+C�/ ��&+C�/u"� � � K4� 8�� ����T�*!&H�J��/�� kJ1�cJ� ��/�R+C�& ��NE+C�&uS�4J1�&�* Q����J� ��]�T+[��!/!/�,�TJ��/ BJ��,'��")���DG��)�V� ��/0K =,+�� M� M

R � = ) �T=,+lx � � � �c= �=,+��T=,+lx � ��� �c= � � �

�= � K4� � @�8/=,}B�

@*}

Page 47: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��)1��+ J� ������SaBH��4J1�&�* mf������&J9���"�" 6J1 ��4JR��� ���P$.�S02)1�,�����,�,f �\��!����c$.�,0")��S�����,�,8��{�&'*H�)1�@�8�s��t��2JK0K ��,� ��� K4� �*�{�9DGH� M0^J��/�� ���D � ��V� ��, �#�/��0K M�� �'*�,$d�*0"0"��)K$.�& �'�J��:�a*HM�4J��/�� (�G@M8&=S}*�K8�� ��\5�)1�,��tBLh���/ BJ1���/ (J� ��\Y�'*H�)1�9)1�"L�)1�,���" BJ�0K ��� �'��S���/ �q8

� �� -� \� � �� �

� ��� -� 287E3=QNI�0�<?GN;

�{�/'�H�)1�\@�8�s#9 BZ�" ��q3%�/��)���DX$.�,0"�%$��& �'[�&J��,)1��J��/�� ���DG�*) �, �y�8�� ��[L�)1�%��DPJ1 ��4JJ1 ��[L�)1��5���5��/!&�&JO�r��D�$.�,0"�.$.�& �'(�,)�)1��)��L�L�)1�*��0K ��,�R�6V��NJ1 l�� ��/ .E

02)1�,�*�T�/ �'l %H�+d5h�")`��D\�NJ1�")K�4J��/�� M�CDG��)`��H.�c02�/�" BJ1!&���T+[��!/! � M �/�cJ� �������+��k�*�[5M�"DG��)1��8�� ��������B+CL.J1��J1�/0I��L�L�)1�*�*0K 6��D�J� ������,aBH��, �02� . � � 0XJ��(�c���9$.� � �")1�" BJ,f� ��4VZ�"3*�")S8���)1��+:PaBH���J��/�� p�G@M8&=S}*�Kf��&D � �P�/�9�TH.�c0"�&�, *J1!&�k��+[��!/!�f �9J1��t��,��J� ��I3q��!&H�������x�DG�*) �`�"3*�" r�� M$� � ) =q� ��xIDG�*) �Q�.$�$;8R�����& �'cJ� ��,���]34��!/H��,�9��D ��� �$6�2b.L��� �$.�/ �'Q:�aBH��4J1�&�* o�G@�8/=Ss*���/ ��LM�4VZ�")����")1�&�S���& ���Of

� � K4� [�� M K � +�=� = �� L ����+>=q� � =d�� � � = ��� ) ��/'� ��,)���)K$.�")ZJ��,)�+[�,� �C�.$�$ � @�8/=q���

� � K4� [�� M K � +�=� � L ����+>=q� � � � � �� ) ��/'� ��,)���)K$.�")ZJ��,)�+[�"� �[�"3*�" � @�8/=,AB�

�����/ �']J1 ��/�,f.�&J�0,�� `5h�\�T ��4V� cJ� ���J�DG�*)��I�TH��NJK��5�!/�c0K ��*���" `LM�B�T�&J��/3��R02�� M�OJK�� BJ � � � �� M$��H.�c02�/�" BJ�!/�c!���)1'�� ���� R �2b.L � + � � � �

� +>=x � � � �C�.$�$

� � R �2b.L � + � � � ��x � � � �[�"3*�"

� @�8/=,?B�

�eJ��/�Z�/ *J1�")1�,�TJ��/ �']J1�I)1�"!��4J1��J1 ��/�Z)1�,��H�!&J�J1�dJ1 ��95�!&�.0Kt[!/�" �'�J� `��DmJ� ��R0"�%$���8#<%�/ �02�9J� ��,)����)1�I� �@+p=S���I��� +o=q� � $.�/'��&J1�Z�& QJ� �� � ���]J1�&�,)���D{�]J�)1�"�@�7+IH��OJ�5h�\��JZ!/�,�*�OJZJ� ��/�Z5��/'�f'��/3%�& �'dJ1 ��\!&�"DFJ��T��$.�\��DX:PaBH��4J1�&�* �� @�8�x��*�^8��9 cJ� ����J� ��")� ��� M$;f��C�TLh�,0"�NYM0RL�)1�.02�S$.H�)1����]$.�,�102)1�/5M�S$l�& o��L�LM�, �$.�&b>� DG�*)d02�* ��TJ�)1H�0^J1�& �'r0"�.$.�,�]�1�4J1�/�TDG�%�& �'6J� ��c)1�/'� BJd�T��$.�c��D

@%�

Page 48: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

:PaBH���J��/�� i�G@�8�x��B�^8

!/ ,�!& U� � +�=S�"����+�=S� ( � (

!/ � �� � + �� � E �c= ��I �xX!/ U� � +�=S�"����+>=q� � @�8�x��B�

�� ��, IVZ�Z0"��+I5��& ��Z:�a*HM�4J��/�� M��� @�8/=,?*�U�� �$(�G@M8 x��*�Kf�J� ��ZL�)1��5���5��&!/�&JO���DM$.�S02�.$.�/ �'R�")1)��*)DG��)��C0"�%$��\�1�4J1�/�TDG�%�& �'C:�aBH��4J1�&�* i� @�8�x��*������5M�*H� �$.�S$(5B�

F � R �2b.L + � � � ��x � + �

x �M����+>=q� � ��[ !& � =d��xX!/ m� � +>=q�2��� +�=S� �c�.$�$

�[ !& � �xX!/ m� � +>=q�2��� +�=S� �c�"3*�"

� @�8�x.=q�

���*) �� y�f�J1 ����cL�)1��5���5��/!&�&JO�g��D$��,02�.$.�/ �'p�,)�)1��)[5h��H� M$�$.�,0")��S�����,�C�2b.Lh�� ��, BJ�����!/!&�V��&J� >��)1�B��JI�* ��8>�95����")13��[J1 ��4JC�&D�J� ��Q %H�+I5M�,)���D��&J��")K�4J1�&�* �� � V� ��/0K �0"�� >5M�+[��$.�RV��&J� ��*H.J�$.�"Lh�" M$.�" �0"�&�S��V��,)�� . xX!& W��� +o=S�"� � +g=S� 0��.� !& ����x��#J��/+��S��!/��)�'*�")SfBJ� ��, J� ��(L�)��*5���5��/!/�NJO�p��DR$.�S02�.$.�/ �'l�")1)��*)IVZ��H�!�$�$.�,0")��S�����`�2b.Lh�� ��, BJ�����!/!&�oV��&J� c��8��eJ[�/� %�%LM��J� ��S�T�/u"�S$pJ� M�4JCH��T�/ �'�J� ��6L�)1��5M��5��/!&���TJ���0Q$.�S02�.$.�/ �'l��0K ��,+C�Q�� M$>0"�� BJ��/ %H��& �'rJ���&J��")K�4J1��4DFJ��,)�$.�"Lh�" M$.�" �0"�&�S���.0"0"H�)�V��&!/!mL�)1�.$.H�0"�9J1 ������2b.Lh�� ��, *J1�/��!m$.�"Lh�" M$.�" �0"��8

�o���,02�* �$RVZ�q��J����"34��!&H���J��XJ1 ��#L�)1��5���5��/!&���OJ1�/0X$.�S02�.$.�/ �'��10K ��"+C�X���;J���0,��!�02H�!��4J1�XJ� ��L�)1��5���5��/!&�&JO�[$.�/�TJ�)1�/5�H.J��/�� M����DW!/��'�E !/�/t��"!/�/ ��%�%$c)1��J��/�*���& 6:PaBH���J��/�� �� @�8 }*�PDG��)��I %H�+d5h�")��D#�&J��,)1��J��/�� ��,8\�� ��/�\��L�L�)1�*��0K k+[��t��,���NJ\Lh�*�1�T�/5�!/�dJ1�cY� �$7V� ��2J1 ��")�Q02�.$.�d��DP'��/3��, �c�� �$ �(����0"��L���5�!/���D#�*0K ��&�,3%�& �'[��)�5��&J�)K��)1�/!&�`��+[��!/!m�")1)1��)�L�)1��5���5��/!&�&JO�`�* 6�� %�`'��/3��, 0K ��� � ��"! 8{���NJ1 CJ� ������/$���DMJ1 ���� B�j|�4��?*�\02��+CL�H�J��")Sf��&JPV����{DG�*H� �$�J� M�4JP�02�.$.��V��NJ1 �_[ y�f���[ }��/��0"��LM��5�!/�\��DW M�� �$.!/�/ �'CJ�)K�� ����&J��/�� (L�)��*5���5��&!/�NJ1�&�S��H�L(J��c� � �%�]�� �$(V��NJ1 �_[ y�f�� [ @�fBJ�)K�� ����&J��/�� (L�)��*5���5��&!/�NJ1�&�S�ZH�L`J1�[� �/="@�@�0"�� `5h� ��� �$�!&�S$;8��� ��,���RY�'�H�)1�,���)1��L���)TJ1�/0"H�!���)1!&�C�/ *J1�")1�,�TJ��/ �'I���/ �02��J� ��,�c$.�/��L�)1�43���J1 ��\02��+C+C�� Q02�� �O�,0^J1H�)1��J1 ��4JZJ� ��02�*+CL�H.J1��J��/�� ���!U02H�J�� � )1��J����D#���,aBH��, *J1�/��!m$.�,0"�.$.�& �' .N=4�N0U5h��H� M$���J1 ��])K�4J��]��J�V� ���0K �� %�`���/+�L�!&�$.�S02�.$.�/ �'c��0K ��"+C�0"�� (��Lh�")K�4J1��8

@*A

Page 49: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � ����� � � � ���6��� � ��� � ��� �6��� � � �6� ���� �� � ��� � � � �� � � � �

�� ��)1�,��H�!&J1����DP�� M��L.J1�")K��x.f�y�f��� M$6@c02�� M02�")1 ��/ �'C5��/ ���)1�`!/�4V�Ee$��" ����NJO�`L���)1�NJO�BEw0K ��,0Kt02�.$.�S�PV��/!/!;5M�R�2b%J��, �$.�S$`�/ cJ1 ��/��0K M��L.J1�")�J��C02�.$.�,�ZV��&J� (�� Q��)�5��NJ1)1��)��C��!/L� ���5M�"J����&u,��8�� ��]!/�2J�J��,)1�9�& rJ� �����!/L� ���5h�2JRV��&!/!{5M� � � ���)1�($��&'*�NJK�"fhV� ��")1� � �/��J� �����!/L� ���5M�"J9�T�/u"��� M$rJ1 �� � � ���)1�7$.�/'��&J1���)��� %H�+d5h�")K�9DG)��*+ �QJ�� � + =��/ �0"!&H����/3���8C�� ��[$.�"Y� ��&J��/�� ����D\� �U�&�������RL���)��&JO�BEe0K ��S0Ktk+[�4J�)1��02�,��� �$��" ����"+I5�!&�S�\��D�+[�4J�)1��02�,���)��IJ� ��c����+��[ ��")1����Z�/ k�� M��L.J1�")�x.8��� ��0"�%$��9VZ��)K$��Z'��*�& �'�V��&J� 6�TH�0K 6�I+C��J�)1�NbQV��&!/!;5M����,aBH��, �02�S����D� � ���)��C$.�/'��&J1�Z�TH�0K cJ� ���J�J1 ��9��H�+ ��D;J1 ��9$��&'*�NJK��V��&J� ��& `�� %��LM��)1�NJO�BEw0K ��,0Kt��T�"J����Pu,�")1�+C�.$.H�!/� � 8

� �� ����+>!#"� � �����5� � !*�� �5+�9�2Y� ��dJ� ���$.���OJK�� �0"�]5M�"JOV��,�" 6JOVZ�`���,aBH��" M02�,���& ��c02�.$.�]��D#��!/L� ���5h�2J\�T�/u"� � ����J� �� %H�+d5h�")���D�LM�B�T�&J��/�� M���/ kV� ��/0K 6J1 ��d���,aBH��, �02�S��$.� � �,),8��� ��]VZ�"�/'� BJ���D��`�T�Sa*H��" �0"��/�J� ��[ BH�+d5h�")��D� ��* �u"�,)��6$.�/'��&J1��*)\J� ��c$.���TJ1�� M02��DG)��*+-J� ��c��!/!NEeu"�,)��6�T�SaBH��" �0"��8c�� ��$.���OJK�� �0"�DGH� �02J��/�� �g���,����D��`02�.$.�]������'*���/ k$.�2YM ��,$r�*��J� ��d %H�+d5h�")9��D#02�.$.�dV��*)1$����D;VZ�"�/'� BJ ��8X�eJ#DG��!/!/�4V��XDG)��*+�J1 ���'*)��*H�LCL�)1��Lh�")�J��/�,����D;��H�0K c�0"�%$��%.N=qxc0hJ� ���J �o���,���/�J� ��� %H�+d5h�")���DmV��*)1$����4J�$.�/�TJ1�� �02� ��DG)��*+ �� %�C'��/3��" c0"�.$.��VZ��)K$;8{�w `��)K$.�,)#J��IH�L�Lh�")5h��H� �$ �o���,��DG��)\J� ��,���C0"�.$.�,�,fUVZ�C ��"�S$rJ1 ��CDG��!/!&�4V��/ �'QJ� ��,��)1�"+6fUV� ��/0K i�/��6$.�/)1�,0^J�2b%J1�" ����&�* Q��D{�� ��,��)1�"+ x�8 y� W�%:�1��%:c J��*����� �1� �=�;/8"�/=�10 � ��' �$'7� �U�&������� �&'J�N�G*,!&< �52U�L��" �@< J"J�:!=���6��� ^� � I*��"J�')(+*,!=��� � � ���,���4- �N�A9&(��&'�/=����4-2 ���6% "g��� ��"J�1�_�N���C��� �6����$')= �@' � �4-���"��*� !&< �7/AB1��.-� �� /8"J�8/8B�� ��� !=�@(+'D0��80 !&=� � � � � � �� ��q� � R �"b.L � � M � � ��q�:+ � �� ��q� ) ����+�=S�%!/ � P ��s.8/=S�2S"J�N�S�� ��� �$' ���&!��L�8�S�1� = J���S�@*������N� �@'�0 � � ��q� ��� 0 ����' �80 !&=

� � ��q� [�!/ � = �� M = ) � � +�=S� <�� P � ) � � +�=S�"�O=,+ < � � � �

��� ��q� [ � � � ��q��

��s.8�x��

�`�S�F�4-GE\���� M�T��$.�")\�QL���)�J���02H�!���)R0K ��,0Ktk���2J\��D �7$.�/'��&J1�,8]�m�2J �l���,�95M�IJ� ��I %H�+I5M�,)R��D$.� � �,)��, BJ��T�Sa*H��" �0"�,����D � � � ���)1�`$.�/'��&J1����DXV��,�&'* *JH�9J� ���J9��H�+zJ1�c�I+C�.$.H�!/� � 8������ ���!/!�Y�)K�OJ��� ��4V J1 ��4J�DG�*)���)15��NJ1)1��)�� �

��� �M�l���,� � � [ =

�M = ) � � +>=q��� P � ) � +>=

��O=,+ �T� � ��s.8 y*�

���� M�T��$.�")ZJ1 ��]$.��H�5�!&��, %H�+C�")K�4J��/ �'IDGH� �02J��/��

i � ��� �� [ � = ) � ) � � )����F) � � =d� � � ��s.8 @B�[ � �

� �� � � �� � ��s.8�s��

@*?

Page 50: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��!/�,��)1!/� � � � ����J� �� %H�+I5M�,)���D��T�SaBH��" �0"�,����D{!/�" �'�J� �(02�* *JK���/ ��/ �'�9 ��* �u"�,)�� � � ���)��$.�/'��&J1�ZJ1 ��4J���H�+zJ1� ��8#���4Vn0"�� ����/$��")�J� ���2b.L�)1�,�1�T�/��

=

�� = ���

�Mi � ��� < � ��� �� [ � �

� �� � � �� � =�� = ���

�M�"b.L � �%x@O��

� ��s.8 }*�

�� ��7J��")1+ �& L���)1�" BJ� ��,���/�`�& :�aBH��4J1�&�* ���s.8 }*�`�TH�+C�cJ����pDG��)(��!/! �gJ1 ��4J6��)1�r ���J+dH�!NJ1�&L�!/�,����D � $.H��9J��J1 ��RH� ��&DG��)1+ ��L��*02�/ �']��D;J1 ���J1�")1+[����)��*H� �$�J� ���H� ��&J�02�/)10"!&����DJ� ��\0"��+CL�!/�2b`L�!/�� ���8��eD �C�����I+IH�!&J��/L�!&���D � f.J� ��5�)1�*0Kt��2J1�,$CJ1�")1+ ��H�+[�ZJ��6=�8��� %H��

=

�� =d���

�Mi � ��� < � ��� �� [ �� ���

M�i���,��� � ��s.8 ���

�{�& M��!/!&�[DG�*) �[�=�f%DG)1��+ :PaBH��4J1�&�* i� s.8 @B��VZ�R'*�2J

i � ��� ��;[ � = ) � � @+ �=,+ � � ��s.8 A*�

i � ��� < � ��� �� [ � �T=,+ �T� � � ���[ �M = ) � � +�=S� � P � ���)[ � ��s.8 ?*�

����+I5��/ ��& �'C:�aBH��4J1�&�* ��\��s.8 ?*�Z�� �$l��s.8 ���2f.V��'*�2J�:PaBH���J��/�� i��s.8 y*�28���4Vp02�* ����/$.�,)W�� �" ����"+I5�!&���& dV� ��/0K ]��!&! ��E !/�" �'�J� � � ���)1�R���,aBH��, �02�S�;J1 ��4JW�1�4J1�/�TDG�J� ���'��/3��" � ��dL���)��&JO�d0K ��S0Kt%����)����Sa*HM��!/!&�]!/�/t��"!/��8X�� ��, mf��43*�")��� %� ��$.�/'��&J1�X�/ c�\0K ��,0Kt

���2J,f.�S��0K (��DWJ� �� � �c= � �%E !/�" �'�J� 6�T�SaBH��" �0"�,���1�4J1�/�TDG�%�& �'�J1 ��0K ��,0Kt`��)��\�Sa*HM��!/!&�[!/�&t*�"!/��f�� M$oDG)1��+�:�aBH��4J1�&�* n��s�8 yB�^f�J� ��6+C��+C�, *J�E '*�" ��,)1��J��/ �'�DGH� �0^J1�&�* gDG�*)CJ� ��kVZ�"�/'� BJK�I��DJ� ��,���\���,aBH��, �02�S���/�

� ��q� [ � =��� M = ) � � +�=S� < � P � ) � � +>=q� � =,+ < � � � � � s.8/=,�B�

���4V J� ��\J1 ��"�*)��,+ DG��!/!/�4V����& (�2b���02J�!/�[J� ��]����+��\V��q�`�����/ 6�� ��"�*)��,+ x.8 y�8�� ��")1�d��)��]��!NJ1��'��"J� ��,)�� � � � � � +�=q� � � � ���)�� ��Ee!&�, �'�J1 r�T�Sa*H��" �0"�,����D#V��,�&'* *JH��f����J� M�4J]J1 ��`L�)1��5M��5��/!&�&JO�rJ1 ��4J��k)1�� �$.�*+�!/��0K ��*���" p�T�SaBH��" �0"�c��D�VZ�"�/'� BJ5�[V��&!/!��1�4J1�/�TDG�

J� ��5�!&�.0Ktc��D4� ���cL���)��&JO�`0K ��S0Kt.����� � � ���,�� � � � � � +>=q� �<%�/ �02�Q�43��,)J� ��Q�" ����"+I5�!/�`��D�0"�.$.�,�,f��,�*0K p��D�J� �� ��5�!/�%0Kt.�d��D�L���)��&JO�i0K ��,0Kt.�]���d�/ .E$.�,LM�, �$.�" BJSf�J� ��rL�)��*5���5��/!/�NJO� F[���,��J� M�4JQ�p���,aBH��, �02�k��D\VZ�"�/'� BJ,�6�/�Q�p02�.$.�kVZ��)K$���

F[���,��[ � � � ���,�� � ��� � � +�=S� � � �s��

Page 51: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� %H��,f%DG��!/!&�4V��/ �'`�� ���L�J��")Rx.f%J� ��]$.�/�TJ1�� �02�\DGH� �0^J1�&�* � � � ���,���� �$QJ� ��+��/ ��/+dH�+ $.���OEJ1�� �02�$.���TJ�)1�&5�H�J��/�� (DGH� �02J��/�� k0"�� Q5h�5M�*H� �$.�S$(5B�� � � � �Ujh� R ]C�kjd�S�U�%�2b.L +,� i � � � �kjM� � s.8/=�=q�

�#),� R � � � R ���� ��� � ]C��j �E�U�%�"b%L +,� i � � � ��� � s.8/=Sx*�

V� ��,)��

i � � � �kjM� [�� � +>=q� M6R �kjM� ) j�!& U� � +�=S� P_+ �� M � � ��q� ) ����+>=q�%!/ � P ) � @j

� s.8/=,yB�

]C��j �E�U� [ M x@O �UjW�O=,+ jM� P � = �� �2b.L � +>==Sx��UjU�T=,+>jh� � s.8/="@%�

j [ � �� ��q��� s.8/=Ss*�

�� M$ � � ��q�Z����'��/3��, Q5%�`:�aBH��4J1�&�* i� s.8�x��K8�eJX0,�� I5M���T ��4V� ]5%�+��"J� ��.$��X���&+C�/!/��)UJ1��J1 ��*���P��DM��L�LM�, �$.�&bI�oJ1 ��4J{J� ��PDGH� M0^J��/�� i � � � ��jh�����P���Jbj [����*�&JP)1�/���,�#V��NJ1 c�� C�& ��NJ1�/��!��/ .Y� ��&J��R�T!/��Lh��f* ������* ���u"�,)��]0")��B�����/ �'�4J�J1 ��\JO�%L��/0,��!;+C�/ ��&+IH�+ $.�/�TJ1�� �02�*f��� �$`J� ��" k)1�"+[���/ ��Z ��"'B�4J1�&3*��8

� �� � � ���"��5��$���! ��a����� ��5����� �/�*�* ����� M�T��$.�")\�(0K ��� � ��"!XV��NJ1 i�� ��/ �L�H�J��!&L� ���5h�2J\��D � !/�2J�J��,)1�RV� ���0K rDG�*)\0"�� %3��, ��/�" �0"�VZ��JK��t��9J��C5h� � � ���)1�c$.�/'��&J1�,8#�m�2J�J1 ��\��H.J1L�H.J�5M� �`�� �$;f��*���/ r�� ���L.J1�")�y�f.!/�2J � ���.�5h���� n��)15��NJ1)1��)��gDGH� �02J��/�� ��DJ� ��i��H.J1L�H.JS8��m�"J�� M � � � ��������� � � ��������� � � =d� f�V� ��")1�� � [ � � � � � � � �������N� � � � 5h��J1 �� � 02�.$.��VZ��)K$�����D;�� � � ���)��I5�!/�%0Kt�02�.$.����D�!/�" �'�J� ��8�9�2Y� ��]J� ��d$��/�102)1�"L��� �02�Q5M�"JOV��,�" r�� k�& �L�H.J�VZ��)K$���[_� � � ��������� � � ���� M$k�� k��H�J�L�H.J�)[���� � ��������� � � ����� r���4� �%��[ ��

� � � � � � � � � � � � s.8/=,}B�V� ��,)��

� � � � �.�;[�!/ F[��� � �� ���.�

� s.8/=q���

�9�2Y� ��

� � ��q� [ �2b.L� � � � s.8/=,AB�

� � � � 1���T� [ �"b%L � � ) �2� � � + � � � � s.8/=,?B�

�� ��c�q3*�")K��'��/ �'(�& o:�aBH��4J1�&�* ��[��s�8&=SA*�\�� M$�� s.8/=,?B�R�/�I��0"0"��)K$.�/ �'(J��6J� ��`$.���OJ1)��/5�H.J1�&�* ��DX0K ��� � ��"!;�*H.J�L�H�J1���`0"�� �$��NJ1�&�* ��,$(�� � � 5h�"�/ �'CJ1)1�� ��T+C�&JTJ1�,$;8#���4V VZ�R)1�,�TJ�)1��0^J���H�)�4J�J��, *J1�&�* CJ��d0K M�� � ��,!/�PV� ���0K c��)1���T�%+C+C�2J�)1��0"��!��& [J1 ��9���" M�T��J1 ��4J � � ��q�P�� �$ � � � � 1���T�s.=

Page 52: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��)1�P�/ �$.�,LM�, �$.�, *J#��D �U�� �$ �RDG�*)��� I��L�L�)1��L�)1���4J��Z0K �����02�Z��D � �����^8X��H�)�J� ��")Sf�V��Z)1�,�TJ�)1�/02J��H�)��4JTJ1�" BJ��/�� QJ�� � ���.��DGH� �0^J1�&�* ���DG��)�V� ��/0K (J� ��/�����%+�+C�"J�)1�`������0K ��/�"3*�,$;8�9 ��r�"b.��+CL�!&�k��D\��H�0K �p0K ��� � ��,!��/�Q�p0K ��� � ��"!�V��&J� � � M��)1�>$.�/'��&J1�cDG��)c5h��J1 �/ �L�H.J��� M$c��H�J�L�H.J��� M$`�IL�)��*5���5��&!/�NJO�6=6+ �`��DW)��S02�"�/3%�& �']J� ��9J1)1�� ���+��&JTJ1�,$Q$.�&'*�NJ��� M$� ��� � +i=S�{��D�)1�,0"�"�/3%�& �'I�� %�I��J� ��,)�$.�/'��&J,8��� ���J1 ��")��2b���+CL�!/�����#J1 ��4JZ��D � �*)TJ1 ���'*�� ���!�,aBH���!��" ��,)�'*�o�T�/'� ���!/���* >�,�NJ1 ��")c��V� ��&J��7�\��HM�����/�� g ��*�/���60K ��� � ��"!���)[�i���q�%!&�,�&'* D ��$��& �'[0K ��� � ��,!m�T�/+C�&!���)�J1�c�W�/'�H�)��\y�8/=�8

jr�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$�$��,02�.$.�/ �'k�* 7J1 ��/�I0K ��� � ��"!�����,aBH��/34��!/�" BJJ��k0K ��%�B�T�/ �'����J� M�4J\+��/ ��/+C�&u,�,� r��� �/� �%�9V� ��, �6����J1 ��C)��S02�"�/3��S$6V��*)1$m8\�� %H��,f�V� ��" � M �/�9J1)1�� ��OE+C�NJ�J��S$;f�V��k0"�� >5h��H� �$>J� ��kL�)1��5M��5��/!&�&JO�p��DR+[�4b.�&+IH�+�E !/�/t��"!/�/ ��%�%$�$.�S02�.$.�/ �'l�")1)��*)5%�

F[� < � R F �*) F � � s.8�x��B�

F � R �P) � �� � � � � � � � M � � � � (�� � � � s.8�x.=q�

F � R� = ������#) � ��

� � � � � � � M � ����� ��� � ���� � � � � � � � � ��� �:+ � � � � M � ��� � ��� � � s.8�x�x*�

�� ��,��)1�"+[��y�8/=\�� �$(y�8�xI0,�� ( ��4V 5h�H����,$6$.�/)��S0^J1!&�[J1�C5M�*H� �$6:PaBH���J��/�� ��\��s�8 x�=S�Z�� M$��s�8 x*x��K8

F � RNM � ��q� P � �2b.LU�E+,� � �2� (�� � s.8�x�yB�

F � R�� � �M�o���,� M � � 1���T� P � M � � 1�1�*� P � = � �"b%Lm�E+,� � � R ��� � R � � s.8�x4@%�

V� ��,)�� � ��S�Z�� �$ � � 1���T����)��9'��/3��, c5%�c:PaBH��4J1�&�* ��R��s.8/=,AB�P�� �$7� s.8/=,?B�#�� M$ �o���,�P����J� ��$.���OJK�� �0"�cDGH� M0^J��/�� ���D�J� ��602�.$.�*8o����)[�� o�" ����"+I5�!/�Q��D�L���)1�&JO�*Ew0K ��S0Kti0"�%$��,�,f#:PaBH��4EJ��/�� M���s.8�x��B�Kfm��s�8 x�y*�Kf��� �$i��s.8�x4@%��5M�*H� �$`J� ���q3��,)1��'���L�)��*5���5��/!/�NJO�[��D{$.�S02�.$.�/ �'C�")1)��*)�43��,)�J1 ��C�" ����"+I5�!/�I�/ iJ��")1+[�R��DPJ1 ��[��)15��&J�)K��)1�(LM��)K��+C�2J1�")K� � f � �����2f +( ��f� R ��f� R ��8#�����/ 7�� ���L.J1�")�y�f �[�� e+�=S� ��xI��L.J1�&+C�/u"�S�ZJ� ��]5h��H� �$(�43��")��^f�5�H.J� ��[��J1 ��")���&+CL�!/�NYh0"�4J1�&�* d ��*�U5h�"�, dDG�*H� �$;8X:PaBH���J��/�� �����s�8 x��*�^f�� s.8�x�yB�Kf��� M$`��s�8 x�@B�U��)1����H.�c02�/�" BJ,f ��4VZ�"3*�")Sf;�& o0"�� �OH� M0^J��/�� lV��&J� p:PaBH���J��/�� ���s�8&=*=S�9J��r$��"+C�� ��TJ�)K�4J1��J� ��c�"b.LM�* ��" BJ�����!$.�S02)1�,��������D;L�)1��5M��5��/!&�&JO����D;�")1)��*)#V��&J� c5�!/�.0KtI!/�" �'�J� CDG�*)��� c�2b.L�H�)1'*��J��S$I�, ����"+d5�!&����D� �U�&� �'����0"�%$��,���4J���H.�c02�/�" BJ�!/�`!/�4V )K�4J1�,�,8

� �� � � ���"��5��$���+>!*� � � ��� ������������ M�T��$.�")��� (���U��� �'���{0"�%$��Z��D � � ���)��]$��&'*�NJK�"fB�� �$I���1�TH�+C�ZJ� M�4JXJ� ���0"�.$.��V��*)1$��W ��q3*��,aBH���!�L�)1��5M��5��/!&�&JO��8��9�P�/ (�� ���L.J��,)�@Mf*H����/ �']J1 ��9 ���J1��J��/�� c��DU�{�&'*H�)���@�8/=�fBV��9V��/�� [J��Y� �$VF � � � � [ �%�2f�J1 ���L�)1��5M��5��/!&�&JO�]J1 ��4JPJ� ���J�)K�� ���+C�NJ�J��,$[$��&'*�NJP�/ [Lh�*���NJ1�&�* � V����#�� �hf�� R � R � +�=�f�'*�&3*�" QJ� ��])1�,0"�"�/3��S$Q���%+d5h��!����& (J� �� �-J��/�")K����D{J� ��L���)1�NJO�BEw0K ��,0Kt���2J�J�)1�"��* ($.�/'��&J � � 8#�{�/)1�TJ�V���� ���!/!;Y� �$ F � � � � [ �.�^8

���� �����$.�")�J� ��R�" M�T�,+d5�!/�9�/ `V� ��/0K `J� ��9J�)K�� ���+C�NJ�J��S$`$.�/'��&J1�Z�/ `Lh�*���NJ1�&�* � �� �$cJ� ��Y�)K�OJ�J1�&�,)P��)1���& M$.�"Lh�" �$��" BJP�,aBH��/L�)1��5���5�!/� � � M��)1�I$.�/'��&J1�,f*�� �$IJ� ���)1�,0"�"�/3��S$I$.�/'��&J1�P��)1�

s�x

Page 53: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

$.�"J��")1+C�& ��,$k��0,02�*)1$.�/ �'CJ1�[J� ���0K ��� � ��"! 8����NJ1 ��& 7J� ����9�" ����"+I5�!&�*f�J1 ��dL�)1��5M��5��/!&�&JO�`��D�� %�r�,3��, *J]0"�� �$.�&J��/�� M��!��� iJ1 �� �kL���)��&JO�70K ��S0Kt.�\��DPJ1 ��[Y�)K�TJRJ1�&�,)]5h�"�/ �'r����J����OYM�,$��/�J� ��`����+C�`���\J1 ��cL�)1��5M��5��/!&�&JO�7��D�J� ��c�,3��, *JI�& lJ1 ��Q�*0^J�HM��!P0"�%$���8k�� %H��"f{H����& �'r��H�)L�)1�"3%�/��H��Z ���J1�4J1�&�* mf

F � � � � [ �.��[ �P),� � � [ �� � ��� � �P� � s.8�x�s*�� W�%:�1��%:c J�� ��� � ���3F M � � � � [ �.� !=� ��"J� �S�;!=�:!���< �L�>=@��"��1� ��"��S� � ���8�S�$'J� *��L�8���A0 � � ' �1� =01�6%��L�b��' ��"J� ��� � ��1���L�>=@?./8"J�8/AB �N���b�@' � ��� � I�%���#1�&' ��"�� �S�8/Z�N��#1�A0 � =@*,!Z�$<:��' ��"J��� J�$?���L�C���$'�E��e�=�8(+*�� ��"J���_�$<�<�/=�$*�!N��' ���C���$'J���4- � � �@'D0 ��"J� � � � ��"��1�6�����C����-8= ��"J� � ��1���L�>=/8"J�8/AB1� �@' � � �1�S� �89G(��$<�< =�< � B �&< =;E�FD"J�&'

F � � � � [ �.��[ F M � � � [ �%� � � � � � � ���/+ �.�� � =d��

�MF M � � � [ �%� � � � � � � � �/+ �.�

� s.8�x�}B�

2S"J�N�S�� � � �T��[ � = ��

�M� � � �%� � � [ �c=d��� �

� =d���

�MF M � � �

� [ �.��� � � s.8�x*���

� ' �H9&(��1�8���@'z��s�8 x�}*�AI�+ � �������1B �G'�*��10$(+< � � I �@'�0���"J� *(+< �C� D< � /=�1�8���@' ��' �H9G(��$?�8���@'���s.8�x*���e��� �P�7B��&' *��70@(+< � � � E

:PaBH���J��/�� r��s�8 xB���X�%�/�"!�$��Z�� c�"b%L�!&��02�&JZ����!/H.J��/�� CDG�*) � ��� �.�XDG�*)��S��0K �KfB5�H.J�02��+CL�H�J1�4EJ��/�� M��!/!&�*f � � � �.���/��DG��H� M$6DG��)���!&! �hfM� R � R � +�=]���/+dH�!&J1�� ��"�*H��T!/��8hBZ�2DG�*)��L�)��43%�/ �'J� ��/��J1 ��"�*)��,+6f%J� ��\DG�*!&!/�4V��& �'I!/�"+C+[�C�/�� ��"�,$��,$;8KL%:cdc "tJ ��� � �U�$'J��� 0��N� � ���89&(��G'D/=� �.-�� ���P���C�����8� /=�@<�< = ��'�0 �P ��G'D0��&'�� � � ' ��� = 0��6%��L�C���' 2S"�� /A" ��"���� �� < �N�C���N� �1�=�8(+*���� ��"J��#1�@<6(�� � 2U�L��"� �S�;!=�:!���< �L�>=tF � � �%�1ENFD"J�&' ��"J� �Z�;!=�;!N��< �L�>= ��"J�1�`��"J� *�70@(+< � � � (+* �4- ��"J�01�6%��L�C� "J��� ��"J� #1�@< (�� � ��� %���#1�G' !G= � � �%���'���"J��� �� ��@'��=���$'

� � �T� [ � = ���

�M� � �.��� � [

Y�����

� = ���

�MF � � �.��� � � s.8�x�AB�

2S"J�N�S� ��"��_ �S�70@()/N�6��' �H9G(����C���$'�� s.8�x�AB�e��� �P�7B��&' *��10$(+< �� � E�`�S�F�4-��4- � �G**�:E�����J��7J� ���JcJ� ��7)1�&'* *J`����$.�r��D]:�a*HM�4J��/�� �� s.8�x�AB��H��T�/ �'o�*)1$��& ���)��+dH�!NJ1�&L�!/��0"�4J1�&�* 7����T�/+CL�!/�6J� �� � J�)K�� ��TDG��)1+ DG��)RJ� ��C��H�+|��D#J� �����!&�"JTJ1�")K�"8]�w i��J1 ��")VZ��)K$��"f�J� ��p02�%�"�[0"�&�, BJ(��D� � �/ J1 ��l�2b.L��� M$.�,$ DG��)1+ ��DI:�a*HM�4J��/�� ���s.8�x�AB�c���QJ� ��L�)1��5���5��/!&�&JO�oJ1 ��4JQJ� ��i�TH�+ ��D\J1 ���$.�/'��&J1�`�/� �h8��W��t%�& �'oJ� ��rL�)��.$.H�02JQ+C�.$.H�!/� � ����&+CL�!/���*$�$��Q��!/!902�%�"�[0"�&�, BJ1�CDG�*)`V� ���0K �g M���[J1 ����1��+C�k34��!/H��r+C�.$.H�!/� � f�J� %H��L�)1�43%�& �'IJ� ��!&�,+�+[��8�`�S�F�4-��4- FD"J�=�1�Z�G*,E��9�T�/ �'�:PaBH��4J1�&�* ��s.8�x�s*�Kf�V��&J� ����+C�r+[�� ��&L�H�!/��J��/�� ���Dd02�� M$.�NEJ��/�� M��!;L�)1��5���5��/!&�&J��/�,�,f.V��\'*�2J

F � � � �&[ �.��[ �#)S� � � � [ � � � � �4� F M � � � [ �.��#),� � � ���q�

[ �P),� � � � [ �'� � ���q� F M � � � [ �.�� � =d�����M�P),� � � � [ � � � � ���q� F M � � � [ � � �

� s.8�x�?B�

s�y

Page 54: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���4V�VZ����5����")13��ZJ� M�4J#J1 ���J��,)�+_�#)S� � � � [ � � � ���q�{���XJ� ���L�)��*5���5��&!/�NJO�]J� ���JP�,�*0K C���2J��D �*+Q=�$.�&'*�NJK�X��J1 ��"){J� M�� � �& IJ� ���L���)1�NJO�BEw0K ��,0Kt���2JK����$�$dJ��+ �h8W��)��*+��m�,+�+[�s.8/=�f

�#)S� � � � [ � � � ���q��[ ��� � � � � �/+ �]+��.$ � � � s.8 y��B�

V� ��,)�� � � �E+ �+C�.$ � ���/��'*�&3*�" (5%�`:PaBH���J��/�� �� s.8�x*���K8P<%H�5��TJ��&J�H�J��/ �'c:PaBH���J��/�� �� s.8 y��B��/ *J1�[:PaBH��4J1�&�* i� s.8�x�?B�Kf�VZ�R'*�2J�J� ��]�OJK�4J��,+C�" BJ���DWJ� ��\J1 ��"�*)��,+(8:PaBH���J��/�� gs.8�x�}70"�� g5M�Q�2b%J��, �$.�,$o�&+C+C�,$.���4J1�"!/�lJ��i�� p�&J��")K�4J1�&3*�`$.�S02�.$.�/ �'7L�)1��E

02�S$.H�)1�I5%�kJ1 ��c�1��+C�[��)1'�H�+C�" BJK�R�*�RH��T�S$7�/ g�� ���L�J��")\@M8��w l��H�0"0"�,�1�T�/3����NJ1�")K�4J1�&�* ��"fF M � � �

� [ �.��5h�,0"��+C�,� F � � � � � [ �.�^fm�� �$#�($.� � �,)��, *JRL�)1��5���5��&!/�&J��/�,�9+dH��TJ95h��0,��!�02H.E!��4J��S$rDG�*)\�,��0K i$.�/'��&J,fm�S��0K 7L�)��*5���5��/!/�NJO�k!/�,�q3%�/ �'Q�* �����DPJ1 �� �(L���)��&JO�r0K ��,0Kt.�R��H�J\��D02�* ����/$.�,)1��J��/�� m8

� �� � � ���"��5��$���! ����/�*�* �� ��+'����� ���* ��5"�� ��$���+:!*� �T����� ������������ M�T��$.�")��C0K ��� � ��"!�V��&J� � �/ �L�H�J1���� M$ � ��H.J1L�H.JK��5M��J� (!/��5M�,!&�S$cDG)1��+z�dJ�� � +o=�8�� ��0K ��� � ��"!mJ�)K�� ����NJ1�&�* `L�)1��5M��5��/!&�&J��/�,����)��\'*�&3*�" (5B�

F[���� ��� [ =,+�� M � F[���

� � � ��[ � M

� +�= � DG��)��� B� �Mf ����H�0K QJ� ���J ���[ ����� M�T��$.�")��L���)1�&JO�*Ew0K ��S0Ktd�T�"J#J�)1�"�9���#�/ `�{�/'�H�)1��@�8/=�V��&J� � �& �$��"Lh�" �$.�, BJPJ��/�")K�# %H�+�E5h�")1�,$�DG)1��+ J1��L J���5M��JTJ��*+ V��NJ1 $� [ y�8zjk�.$.�NDG��J1 ��p$.�,0"�.$.�& �'>L�)1�.02�S$.H�)1�����DG��!/!/�4V��O9��eDX5h��J1 rL���)��&JO�Q0K ��S0Kt.��)������& �'cDG)��*+ �c$.�/'��&J9��)��]H� �����J����OYM�,$k�� M$65M��J� k ��q3*�J� �������+���34��!/H��*f*0K ��� �'���J� ���$��&'*�NJP������{J��]�1�4J1�/�TDG�]5h��J1 C0K ��,0Kt.�"�*��J1 ��")1V��/���Z!&�S�q3��ZJ� ��$.�/'��&J�H� M0K ��� �'*�,$;8X�� ���L�)��*5���5��/!/�NJO����Dm�,)�)1��)��/ [J� ��/��L�)1�%0"�,$.H�)����43*�")15M�*H� �$���J� ���JPDG��)L�)1��5���5��/!&���OJ1�/0d$.�,0"�%$��& �'M8��� ��IL�)��*5���5��&!/�NJO�QJ� M�4JR�Q$.�/'��&J9�/ kJ� ��dY�)K�OJ9J��/�")����9)��S02�"�/3��S$�/ �02�*)�)1�,02J�!/�(�� �$6J� ��" 70"��)1)��S0^J��S$6�/� F M � �dV� ��")1� �_����J� ���L�)1��5���5��&!/�&JO�Q��D#�"�&J� ��,)9 ���")1)1��)K�W�*)���D��")1)��*)1�{��$�$.�& �'\J��]�R+C�%$ � �/ C�� �����DMJ1 ������2J1�#��D �`+(=�$.�/'��&J1�,8{����$��2Y� ��J� ���")1)��*)��/ k��$��&'*�NJ��*���� + � ��+��.$ � 8����2b%J��&J�V��&!/!;5h�]�T ��4V� QJ� M�4J

� [ = ) � � +�=S� � =,+ ��� �� = � � �c=d��

� s.8 y�=q�

�� �� � J�)K�� M�ODG�*)�+ DG�*)�J� ���*)1$.�/ ���)��c��H�+ ��DUJ1 ���")1)��*)1�Z�/ � +�=$.�/'��&J1�����

� � � � [ K;=,+�� M`)� M

� +>=� = ���

�� �� L �c=d� � s.8 y*x*�

� � � � [ K;=,+�� M`)� M

� +>= � + � �=,+ � L �c=d� � DG�*) � �[ = � s.8 y�yB�

[ =�� DG�*) � [ = � s.8 y�@%����4V~02�* ��T��$.�,)�J1 ��]aBH��� BJ1�NJO�

=

�� =d���

�M� � < � ������ �s4@

Page 55: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��!/!PLh�4VZ�")K���D � �/ lJ� ����]�"b.L�)��S�����/�� iJ� ���JI��)1�[ ���Jd+dH�!&J��/L�!/�,�d��D � 0"�� �02�,!P�*H.JI$.H��J��gJ� ��,�&)(H� ��&DG��)1+ ��L���0"�& �'>��)1��H� �$�J1 ��iH� ��&J60"�&)K02!/�7�/ �J� ��i0"��+CL�!/�2b�L�!��� ��*8_�� ��02�%�"�[0"�&�, BJ1����D{LM�4VZ�")K�ZJ� M�4J���)1�\+dH�!&J��/L�!/�,����D � ��$�$;f.J� %H���'��/3B�/ �' �C8

� [ =

�� = ���

�M� � < � � � �� � � s.8 y*s*�

���4V DG)��*+ :PaBH���J��/�� l��s�8 y*y*�

� � < � ��� �� � [ � =,+�� M )� M

� +�= �c=d� � DG�*) ���[ � � s.8 y�}B�

�{�& M��!/!&�*fM02�*+d5��/ ��/ �'c:PaBH���J��/�� ��� s.8 y�}B���� �$p� s.8 y�@B�^f�VZ�]'��"J�:PaBH��4J1�&�* p��s.8 y�=q�K8��� BHM�"fJ� ��rL�)1��5���5��&!/�&JO�gJ1 ��4JQ�g$.�&'*�NJ(�& �J1 ��rYM)1�TJcJ��/�")Q�/�`)��S02�,�&3*�,$��& M02��)1)1�,0^J1!&���� �$�J� ��, 02�*)�)1�,02J��S$c���

� M � = ) � � +�=S� � =,+ ��� �� = � � �c= �� � � � s.8 yB���

�� ��RL�)1��5���5��&!/�&JO�[��DU)1�,0"�"�/3B�/ �'��I$.�/'��&J��& `J� ��RY�)K�TJ�J1�&�,)�0"��)1)��S0^J1!&�[�� M$cJ1 ��" (0K ��� �'*�& �'�&J�$.H��\J���JOVZ�C�/$.�, BJ���0"��!/!/�c3%�&�*!/��J��,$QL���)��&JO�`0K ��S0Kt%�Z���

�O=,+�� M �"�O=b+ �]� =`+ �

� +�= � s.8 y�AB�

�� ���J1�")1+ �T=:+ �]�{�/ c:PaBH���J��/�� k��s�8 y*A*�{����J� ���L�)1��5���5��/!&�&JO�]J1 ��4J�J� ����,)�)1��)K�X�/ [�� ������2J��D ��+�=I$.�/'��&J1�9V��&!/!{ ���J\����J����ODG�(J� ��IL���)��&JO��f��� M$6J� ��IJ��,)�+ �T= + �]� �.�O= + � ���/��J� ��L�)1��5���5��/!&�&JO�kJ� M�4J]J1 ��[��J1 ��")d���2JIV��&!/!# ��q3*�IJ1 ��`�1��+C�[34��!/H��[+C�.$.H�!/� � ���\J1 ��CY�)K�OJ���2J,8

����+I5��& ��& �'i:PaBH���J��/�� ��Q��s.8 yB���Kf���s�8 y*A*�Kf#�� �$ � s.8 y�=S�2f�V��Q'��"J]J� ��(L�)1��5���5��/!&�&JO����D�")1)1��)�DG��)��[$.�/'��&J��& (J� ��\Y�)1�TJ�J��/�")���DFJ��,)�J� ��\Y�)K�TJ��NJ1�")K�4J��/�� Q��D{J� ��]$��,02�.$.�/ �'CL�)1�.02�,�1�

� � [ � M +�� M � = ) � � +>=q� � =_+ ��� �� =d� � �c= �� � �

) �T=b+ � M �"� � +�=S��� =,+�� � +>=q� � =,+ ��� �� =d� � �c=d�� �

�� s.8 y�?B�

<%�/+C�&!���)1!&�*f%DG��)���H�0"0"�,�1�T�/3��9J��/�")K�,f

� � [ � M +�� M � = ) � � +>=q� � =_+ ��� �� =d� � �c= �� �

) �T=b+ � M �"� � +�=S��� =,+�� � +>=q� � =,+ ��� �� =d� � �c=d�� � � � s.8 @*�B�

s�s

Page 56: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� ��)K�4J����J�V� ��/0K \. � �J0 � �C0"�� Q5h�]$.�2J1�")1+C�& ��S$QDG)��*+ :PaBH���J��/�� i��s.8 @*�B�K8P����) � ���+C��!&! f

� � K4� � ��� x�����+�=S� � M � s.8 @�=q�

�eJ��/���/ BJ��,)��S�OJ1�& �'IJ��C�*5��T�,)�3*��J1 ��4J�:�a*HM�4J��/�� i��s�8 @M=S�P�/����$.�" BJ1�/0,��!�J��[:�a*HM�4J��/�� i�G@M8&=,@B�Kf��!&J� ���H�'* mf���Dm0"��H�)K�T�*f4J� ���+[�4b.�&+IH�+�34��!&H�����D � M DG�*)#V� ���0K ����DG)1��+�:�aBH��4J1�&�* 6� s.8 @*�B�02�* %3��")1'���J��[�C����$.� � �")1�" BJS8#�� ��/��3q��!&H��R�/ �0")��S�����,�ZV��NJ1 � H�L(J��k= ��x���� +�=S�28

�_5M�*H� �$i�� i$.�,0"�%$��& �'6�,)�)1��)RV��NJ1 � �yQ�/�0"�� �����$.�")K��5�!/�6+C��)1�C$��N�c02H�!NJS8��� ��$.�S02�.$.�/ �'9�10K ��"+C��V��&!/!%5M��J��\0K ��� �'��P�R$.�/'��&JWV� ��, ��"3*�")X�� %H�+d5h�") �{J1�95h��$.�2J1�")1+��/ ��S$!��4J��,),fh��)R+C��)1�d��D#J� ��IL���)1�&JO�60K ��,0Kt.��)1���T�/ �'[DG)1��+|�Q$.�&'*�NJ\��!/!X ��q3��J1 ��C����+��I34��!/H���8�� ��($.�&'*�NJ�V��&!/!Z5M�(0K ��� �'*�,$l�/ g��H�0K o�rV��q���*�J��i����J����ODG�iJ1 �� ��L���)��&JO�l0K ��,0Kt.�,8r�eD� ~� � +�=S� ��x.f%�&J�0"�� (5h�]�� ��4V� `�/ (J� ��]�1��+C�\VZ�q�Q�����/ 6<%�S0^J1�&�* (@M8 yIJ1 ��4J� � K4� [�� M + � M � =d�� � ��� K � +>=� L � � � �T=,+ � � � � =d��=

�) �O=b+�� M � � =d�� � ��� K � +�=� L K =,+ � �

� +�= L� K =,+ =,+ � �

� +>= L � = � =�� � +�=S� � s.8 @Bx*�

V� ��,)��

� � [ = ) � � +>=q� �T=,+ ��� �� =d� � �c= ��

� s.8 @*yB�

�� ��9�& BJ��,'��,) ��0"�� [ ��4V�5M�R0K ��*���" CJ1�d+C�/ ��&+C�/u"� � � K4� ��H�5��O�S0^JPJ1�]J1 ���)1�,�TJ�)1�/02J��/�� � � �6+k=q� ��x�8W�� ��9�T�*!&H.J1�&�* �J��\J� ��/�P+��/ ��/+C�&uS�4J��/�� C����J1 ����T+[��!&!/�,�TJ#�& BJ1�"'��,) � n� � +k=q� ��xDG��)�V� ��/0K

=,+�� M� M

R ��� � � +�=S� � = ��O=b+ � ��� � � K4� = � � � +px@+ � �e� � =d��=

� � s.8 @�@%�

��� � �{��L�L�)��B��0K ��S����f � [ ����xRDG�*) �I�"3*�" c�� M$k� � ) =S� ��x9DG�*) �I�.$�$;8��� ��" `�2b.L��� M$.�& �':PaBH���J��/�� i��s.8 @Bx*���& k��LM�4VZ�")����")1�/�,�Z�& � � f�VZ�\��5.JK���/

� � K4� [�� M K � +�=� = �� L M � ����� +�=S� P � =d�� )���� � �[�.$�$ � s.8 @Bs*�

� � K4� [ � � M ) =,+ � M� � +�=S� � � K � +>=� � L M � ����� +�=S� P � � )���� � �[�,3��" � s.8 @*}B�

�95����")13��XJ1 ��4JX:PaBH��4J1�&�* `��s�8 @%s������W�/$.�, BJ���0"��!*J��R:PaBH���J��/�� c�G@M8&=4���;�� �$]:�a*HM�4J��/�� c� s.8 @*}B������/$.�, BJ���0"��!mJ��[:PaBH���J��/�� l�G@�8/=,AB���2b�02�,L.J�DG��)�J� ��]02�%�2�c02�/�" BJS8

��)1��+ :PaBH��4J1�&�* ��G@�8/=,AB�R�� mfWJ� ��`$.�")1�/3q��J��/�� l��D��")1)1��)L�)1��5���5��/!&�&JO�7�/ g�� ���L.J1�")]@$.�%�,�( ���J(HM�T��J� ��l)1�,�TJ�)1�/02J��/�� ��DI�>5��& M��)1��5��& M��)1����!&L� ���5h�2JSfR�� �$�J1 ��")1�2DG�*)���J� ��5h��H� �$>�� ��")1)1��)�L�)��*5���5��&!/�NJO�p�/ �:PaBH��4J1�&�* ~� @�8�x.=q�]���C34��!/�/$gDG��)[02�.$.�S�C��D\��)15��NJ1)1��)����!/L� ���5M�"J��T�/u"�*8��� ��I02�%�2�c02�/�" BJ � � � ��L�Lh�,��)1�/ �'[�& k:�a*HM�4J��/�� p� @�8�x.=S�Z������DGH� M0^J��/�� k��DJ� ��]��!/L� ���5h�2J����&u,� � f� ��4V��,3��")S8

s�}

Page 57: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� �� � ��� ��� � ��� � ��� � �&� �u���

�� ��IL�)��*5���5��&!/�NJO�(��DP$��,02�.$.�/ �'c�,)�)1��)?F[� < ���*�����.02���4J��S$6V��NJ1 7�`0"�.$.�& �'Q�� M$k$.�,0"�%$��& �'�10K ��"+C��0,�� I5M��$.�/)��S0^J�!/�+C�,�*�TH�)1�,$]5B�]���/+dH�!��4J1�& �'R5h��J� dJ� ����10K ��"+C�Z�� �$]J� ���0K ��� � ��"!��D��/ BJ��,)��S�OJX�� d�R02�*+CL�H.J��,),8{�� .DG�*)TJ1H� ���J��"!/��fqJ1 ��Z�2b.LM�,)��/+C�" BJX+dH��TJ{5h�Z)��,LM�S�4J��S$]H� BJ1�&!J� ��")1�d��)1�]+[�� %�k$.�,0"�.$.�& �'[D ���/!&H�)��S���&DLF[� < ������J��`5h�d�,34��!/H��4J1�,$kV��&J� 7�� %�6�*0"0"H�)1�*02�*f�� M$iJ� %H��]+[�� B�7J��/+C�,�c= ��F[� < �\J�)1�/��!/�]��)��[ ��,02�S���1��)1��8(���*)d5�!/�.0Kt7!/�" �'�J� ��d��D���5h��H.Js��*��f��� r� B�j ����?*�c02�*+�L�H.J��,)9)1�,aBH��/)��S����5M�*H.J\��8&=��T�S02�* �$kLh�")R�NJ1�")K�4J��/�� rJ��Q$��,02�.$.��i5�!/�%0Kt>5%�pJ� ��7L�)��*5���5��&!/�/�TJ���06$.�,0"�.$.�& �'l�10K ��,+��*8~���� M�T�Sa*H��" BJ�!/��fZ+[�� %�o ��*H�)1�C��D02�*+CL�H.J1��J��/�� QJ��/+C�]��)1�R ��,02�S���1��)1�CJ��C�,3q��!&HM�4J��\�,3��" 6�VF[� < ���/ QJ1 ����)K$.�,)Z��DZ=S� = " 8BZ�,0"��H����(��DR!/�/+��&J1��J��/�� ��C�* ��q3q���&!���5�!&�602�*+�L�H.J��,)[J��/+C��f���!/!���D9J� ��r)1�,��H�!&J1�CL�)1�2E

���" BJ��S$`V��/!&!U5M�RDG��)����&J�H���J��/�� ����/ 6V� ��/0K F[� < �Z����!/��)�'*��8P���")�J1���& �!&�[�&J�V��*H�!�$`5h�+C��)1��/ *J1�")1�,�TJ��/ �'iJ��p ��q3*�6)��S�TH�!&J1�[DG��)c��+C��!&!?F[� < �^8~���4VZ�"3��,),fPJ� ��r$��4J1�lL�)��S�T�, *J1�,$�0"�� L�)1��5���5�!/�I5h�9�"b%J�)K��Lh��!��4J��S$[V��&J� Q����+C�\$.�"'*)��,����D{02�� �YM$.�" M02��J1�����&J�H���J��/�� ����& QV� ���0K F[� < ���/��=S� = $ ��)�=,� = & 8d��H�)�J� ��,)�+C��)1��f��,3��" rJ� ��C!/�&+C�&J��,$�$��4JK�`L�)��S�T�, *J1�,$k ��")1�I'*�&3*�����+C���/ �$.��0"�4J1�&�* c��D;J1 ��R3q��)�����5��&!/�NJO����DUF[� < ��V��&J� Q��H�0K cLM��)K��+C�2J1�")K�#���P5�!&�.0KtC!/�" �'�J� mf02�.$.�\)K�4J1��f��� M$`JO�%Lh�\��D�0K ��� � ��"! 8

� �� �� ��������S���S�*"&!#�� ���!/!P��D�J� ��Q)��S�TH�!&J1�]�& pJ1 ����d0K ���L.J��,)]V��,)��[�*5.J1���& ��,$lV��&J� o!/�4V�Ee$��" ����NJO�7L���)1�NJO�BEw0K ��,0Kt02�.$.�S�U'*�" ��,)1��J��S$�� ��� d� B�j �4��?*��02�*+CL�H.J��,)W5%�]�9L����"H�$.�*)1�� �$.�*+nL�)1�.02�S$.H�)1��8Wjr��)1���LM�S02�&YM0"��!&!/��fSJ� ���L���)��&JO�BEe0K ��,0Kt�+[��J�)1�/0"�,�WV��,)��Z0K ��*���" �/ ]J1 ��Z�1��+C��VZ�q�\���UJ� ����" ����"+�E5�!/���DX!&�4V�Ew$.�, ��T�&JO�[+[�4J1)���02�S��VZ�*��'��" ��")K�4J��S$`�/ 7�� ���L�J��")�x�8#�� ��\Y�)K�OJ���H�5�+[��J�)1�Nb`��D� ��cL���)1�&JO�*Ew0K ��S0KtC���2JK��02�* BJ1���/ ��S$`��H�0"0"�,�1�T�/3��\�T�"J1����D �($.�/'��&J1�,f��� �$Q�,�*0K (��H�0"0"�"�S$.�& �'��H�5�+[�4J1)��&bcVZ�*���I)K�� M$.��+z0"��!/H�+C QLh�")1+dH.JK�4J1�&�* Q��DUJ� ��\Y�)1�TJ,8��� ��\)K�� �$���+ Lh�")1+dH.EJ1��J��/�� (VZ�*��LM�,)TDG�*)�+C�S$`V��&J� k��L����"H�$.�*)1�� �$.�*+ BH�+d5h�")�)1��H.J1�& ��\�� �$QJ� ��, 6+��.$.�&Y��S$���]J� M�4J� ��dJOVZ�]L���)��&JO�BEe0K ��S0Kt����2JK�PVZ��H�!/$c0"�� BJ1���& `+��*)���J� ��� `�� ��9$.�/'��&JZ�/ Q0"��+C+C�� m8�� ����C+C�%$��NYM0,�4J1�&�* >'*H���)K�� BJ��,�,$oJ� ��634��!/�/$��NJO�>��D�J1 ��6Y�)K�OJ[�&J��,)1��J��/�� g�/ �J� ��k$.�S02�.$%E�/ �'cL�)1�.02�,�1���� �$k��!����c�2b�02!/H�$.�S$(J� ��I)��,+C��J��dLM�B�����&5��&!/�NJO�6��D�0K ��B�B�T�/ �'`�`02�.$.�]V��&J� 7�+C�& ��&+IH�+ $.���TJ1�� M02�\��D#x.8

�� ��c02�.$.�S�'��, ��")K�4J1�,$7�& lJ1 ��/�]VZ�q�kVZ�")1�[�OJ1��)1�,$��& iJ� ��`02�*+�L�H.J��,)]�� �$iH����,$i�/ $.�S02�.$.�/ �'�J� ��� ��������#�T�Sa*H��" �0"�,�;'*�" ��,)1��J��,$R5%�\�T�/+dH�!��4J1�,$\5��/ ���)��R�T�%+C+C�2J�)1��0#0K ��� � ��"!��"fV� ��&J����\��H��1���/�� d ��*�/����0K ��� � ��,!/�,f��� �$I���q�%!&�,�&'* D ��$��& �'\0K ��� � ��"!��,8U�w ���)K$.�")UJ��\)��S$.H�0"�02�*+CL�H.J��,)RJ��/+��*fm ��4VZ�"3*�")SfMJ1 ��[02�.$.��V��*)1$rJ��(5M�CJ1)1�� ���+��&JTJ1�,$7VZ�*�R��!&V��q�.��J1 ��[��!/!NEu"�,)��k���,aBH��, �02�*8(�� �������]34��!/��$i���/ �02�*f{�*��2b.L�!����/ ��,$i�/ >�� ���L�J��")Iy�fWJ� ��cL�)��*5���5��/!/�NJO���D�$��,02�.$.�/ �'r�,)�)1��)d�� g�r���%+C+��"J�)1�/0`5��/ ���)1�BE �/ �L�H.JC0K ��� � ��"!��/�I�& M$.�"Lh�" �$��" BJ���D�J� ��J�)K�� M�T+C�&JTJ��S$>0"�.$.�6V��*)1$;8��� ����[�T�/+CL�!&�&YM0,�4J��/�� UfP��D\02�*H�)1����f�)��SaBH��&)1�,���"bBJ1)��,+C�(0,��)1�J��C�, ��TH�)��9J� ���J�J� ����02J�H���!m�T�/+dH�!/��J��/�� `��D{$.�S02�.$.�/ �'�+C���& BJK���/ ���02�*+�L�!&�"J���T�%+C+C�2J1)��5h�2JOVZ�"�" (Lh�*���NJ1�&3*�\�� �$( ��"'B�4J1�&3*�9�*H.J�L�H�J1�,8

� �� �\����"��! � �,-, �@!#� � � � ��"��� �S$��J1)�H��R���&+IH�!��4J��/�� `��DU�]5��& ���)��[���%+�+C�"J�)1�/090K ��� � ��"!X�*B�<����PV��*H�!/$c�& %3��*!&3*��0K ��%�*���/ �')K�� �$.�*+��,)�)1��)����,aBH��" M02�,�P�& [V� ��/0K [02)1�*�1���43��")K���FJ1 ��4JP���,fB0K ��� � ��,!��")1)��*)1�,f4)1�"L�)1�,���" BJ��S$5%��J� ��\02)1�*�1�T�S$�J�)K�� ����&J��/�� c!/�& ��,���& (�W�/'�H�)��Ry�8/=,�*�#�.0"02H�)P�/ �$.�"Lh�" M$.�" BJ�!/�cV��&J� (�]'��/3��,

s*�

Page 58: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

����� ���0� �����!����� ��� ��� �� �0����� ��� � � �����

��� �� �� ���� ��� ���� � �� � �� �� ����

��M����

��M����

��M�� �

��M�� �

M0/ � � M M0/ � � M M�/ � " M M0/ � $ M

�� � � � " �"!�# � � �

� � � � "

� � � $ � � � $ M " � � ��M M 1

�{�&'*H�)1�6}�8&=:9k:�b.LM�,)��/+C�" BJ1��!�)��S�TH�!NJK�C�� B�<��98

�$�%� ���0� �����0� ��� ��� ��� � �!� ��� ����� � ���0�

�&� �� �� ���� ��� ���� � �� � �� �� ����

� M����

� M����

� M�� �

� M�� �

M�/ M "Z$ M0/ M $Z$ M0/ M &S$ M�/ M (S$

�� � � � & �'!$# � � �

� � � � &� � � $ �

� � $ M "� � � M M 1

�W�/'�H�)��k}�8�x#9k:#b%Lh�")1�/+��, BJ1��!�)1�,��H�!&J1�C�* B�<M�98

����� ���0� �����!����� ��� ��� �� �0����� ��� � � �����

� � �� �� ���� ��� ���� � �� � �� �� ����

��M����

��M����

��M�� �

��M�� �

M0/ M � M M0/ M � M M�/ M " M M0/ M $ M

�� � � �)( �"!�# � � �

� � � $ �

� � $ M "

� � ��M M 1

�{�&'*H�)1�6}�8 y 9k:�b.LM�,)��/+C�" BJ1��!�)��S�TH�!NJK�C�� B�<��98

�$�%� ���0� �����0� ��� ��� ��� � �!� ��� ����� � ���0�

� � �� �� ���� ��� ���� � �� � �� �� ����

� M����

� M����

� M�� �

� M�� �

M0/ M 1 M0/ M(

M�/ ��M M0/ �S�

�� " � � & �'!$# � � �

� � � $ �

� � $ M "� � � M M 1

�W�/'�H�)��k}�8 @ 9k:#b%Lh�")1�/+��, BJ1��!�)1�,��H�!&J1�C�* B�<M�98

s�A

Page 59: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

L�)1��5���5��/!&�&JO� �U8U�� ��2J� ��")XL�)1��5���5��&!/���OJ1�/0Z$.�,0"�.$.�& �'�V��&J� C��L���)TJ1�/0"H�!/��){0"�.$.�Z0,�� d$��,02�.$.���H�0K Q�I�T�Sa*H��" �0"�R$.�,LM�, �$��Z3��,)��[�TJ�)1�� �'*!&�C�* cJ� ��R %H�+I5M�,)���D{0")��B�����43��,)1� � '��" ��")K�4J��S$�/ 7�THM0K r�cL�)1�.02�,�1�,8�<%�& M02� � ����9�cVZ�"!/!Ut% ��4V� o�FJ1 ��4J\���"fh5��/ ���+C����!F��$.���OJ1)��/5�H.J1�&�* mf��NJ���dLh�*�1�T�/5�!/�cJ1�7�"34��!&H���J��c�"b.LM�,)��/+C�" BJ1��!&!/�iJ� ��(L�)1��5���5��&!/�&JO����D�$.�,0"�%$��& �'��")1)��*)]'��/3��, � 02)1�*�1�T�43*�")K�I�� �$�J� ��" 0"��!/0"H�!��4J��(F[� < ��DG��)`� B�<�� DG)1��+ J� ����c$���J1��8 �� ����[!��4JTJ1�")L�)1�.02�,$�H�)��� ����QJ1 ��i�*$.34�� BJ1��'�����Dd'*�&3%�/ �'��*$�$.�&J��/�� ���!\�& ����/'� BJQ�/ BJ��>J� ��l��Lh�")K�4J1�&�* ��D�J1 ��`$.�S02�.$.�/ �'7�10K ��"+C�`�� �$p��!��T�k��D�D ��02�/!/�NJK�4J��/ �'70"��+CL���)����T�* �V��&J� g��J� ��")d0"�%$��& �'�10K ��"+C�,�ZJ1 ��4J���)��\��)1�/�" BJ��S$cJ1�4VZ��)1$Q02��)1)1�,0^J1�& �'��IY�b.�,$( %H�+I5M�,)���D{0")��B�����43��,)1�,8

�{�&'*H�)��S�\}�8/=]J��6}�8 @`L�)��S�T�, *JRJ� ��C�*0^J1H���!X$��4JK�`'B�4J1 ��")1�,$6J1 ����\VZ�q�*8\�� ��C��5��102�����1��� 6�S��0K 6'�)K��L� 6����J� ��d)K�4J��/�C��D� %H�+d5h�")���D#02)1�*�1�T�43*�")K�#J1�c5�!/�.0Kt`!/�" �'�J� � �1�i�� �$(J� ����)K$.�/ ��4J1��/��J� ���$.�/'��&J��")1)��*)�L�)1��5���5��&!/�&JO�Q�4DFJ1�")R$.�,0"�%$��& �'M8��w r��!/!mJ� ��,���]�2b.Lh�")1�&+C�" BJK�"f�2b�0"�"L.JcDG�*)`�* ��702�.$.�7V��NJ1 �p)K�4J�� �� �� M$�5�!&�.0Kt�!&�, �'�J1 �=Sx�}�fZJ� ��7$.�,0"�.$.�")`D ���/!&�S$J��c$��,02�.$.�d)1��J� ��,)�J� ��� r$.�,0"�%$��& �'CJ1�c�� k�/ �02�*)�)1�,02J�+��S���1��'*��8#�w k��J� ��,)�VZ��)K$��"f�J� �� � ������P�N�����1���UL�)��*5���5��&!/�NJ1�&�S�U0"��+CL�H.J1�,$]5%�RJ� ��Z$.�S02�.$.�,)UD ���&!/�,$]J��\02�� %3*�")1'��XJ��9�"�&J� ��,)�=P��)��8X�� ����������� C�&+CLh��)�J1�� *J#Lh���/ BJ#�& [�� B�I02��+C+IH� ���0"�4J1�&�* ����.�OJ1�"+��& CV� ���0K [�RDG�"�,$�5���0Kt!/�& �t[���Z�q3q���&!���5�!&�R�T�/ �02�9H� �$.�S02�.$.�S$c5�!/�.0Kt%����DW�& .DG�*)�+[��J��/�� `0,�� `5h�R)��"J�)K�� ���+C�NJ�J��,$m8{�eJ���\�&+CLh��)�J1�� BJRJ��6 ���J���J� ���J F[� < �R����� ��4V� 7�/ i�{�/'�H�)1�,�\}�8&=IJ��k}�8 @(�/�RJ1 ��[$.�,0"�%$��& �'�")1)1��)ZL�)��*5���5��&!/�NJO�`LM�,)�$.�/'��&JZJ1 ��4J��, ���H��,��V� ��" QJ� ��5h�,�TJ�'�H��,�1������+[��$��\��5M�*H.J��,�*0K $.�/'��&Jd�/ o5�!/�%0Kt.�]J� ���J�0"�� � JI5h�Q$.�S02�.$.�,$m87�� ��cL�)1��5M��5��/!&�&JO�i��D�D ���/!&H�)��`J��7$.�S02�.$.�`�5�!/�.0Ktc�/�ZJO�%L���0"��!&!/�`��5M�*H.J]=,�IJ��/+C�,��!���)1'��,)�J1 ��� sF[� < �28

. ������� ���#� ���0��� ��� � ���!��� � ���0� ��� � ��� ��� ��� � �0���

� ��� �

��M����

��M����

��M�� �

��M�� �

M0/ M � M0/ M " M0/ M $ M0/ M & M0/ M ( M0/ M�1 M0/ M(

M0/ ��M M0/ �Z� M0/ � �

� �� �� � #� �� � ���� �� � � � $ �Z�F� �

� ����� � � � � ��� �� � �� � �� # � � � � � � � � � �� ��� ��� ��� � ��� �� � � # � �� � $ M " ��

� � � � � &F� �

����� � � � � ��� �� � � � # � � � ��� � � � � � � � ��� � �� ��� ���� � $ M " � �

� � ��� & � F � �

� � � � # � � �� � � � $ M "F� ��

�{�&'*H�)1�\}�8 s*9�����+CL���)����T�* Q��D{�"b.LM�,)��/+C�" BJ1��!;)��S�TH�!&J1��H��T�/ �'CL�)1��5���5��/!&���OJ1�/0$��,02�.$.�/ �'�J��J� ��"��)1�2J1�/0,��!�)1�,��H�!NJK��V��&J� 6+[�4b.�&+IH�+�E !/�/t��"!/�/ ��%�%$Q$.�,0"�.$.�& �'�8

�� ��c+C�,$��/�� p BH�+d5h�")]��D�5�!&�.0Kt.�V��&J� o$.�S02�.$.�/ �'kD ���/!/H�)��S�Lh�")]Lh���/ BJdL�!/��JTJ1�,$l�* �{�&'*H�)1�,�[}�8/=6J��o}�8 @p���cA���+[�� %�gLh���/ BJ1�,f�L���)�J���02H�!���)1!/�oV� ��")1�(F[� < �C���c��+[��!/!�f�VZ�")1��"34��!&H���J��S$]DG)1��+�$��4J1�\0"�� BJ1���& ��/ �'$.�S02�.$.�/ �'RD ���/!&H�)1�,�X�/ C�� �!/�c=���)Px95�!/�.0Kt.�"8{�� BHM�XJ� ��Lh�*���NJ1�&�* I��Dh�/ �$.�/3%�/$.HM��!.Lh���/ *JK���� IJ� ��,����0"H�)13��,�XVZ��H�!/$IL�)1��5���5�!&�]0K M�� �'*�Z��L�L�)1�,02����5�!&�

s�?

Page 60: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

V��&J� 6+C��)1�\$��4J1��8�{�&'*H�)���}�8 sR0"��+CL���)1�,�WJ1 ����2b.Lh�")1�&+C�" BJK��!�$���J1�\H����& �'RL�)��*5���5��/!/�/�TJ���0�$.�,0"�%$��& �'�* ��

02�.$.�RV��&J� � [ns���@�f �_[ y�f.�� �$ � [�}IJ��IJ� ��9J1 ��"�*)��"J���0"��!hL�)��*5���5��/!/�NJO�[��DU�")1)��*)PJ1 ��4JVZ��H�!�$`)1�,��H�!&J�DG��)ZJ� ��]�1��+C�02�.$.�\�&DW+[�4b.�/+dH�+�Ee!&�/t��,!&�/ ��%�.$Q$��,02�.$.�/ �'CVZ�")1�9H����,$m8#����)02�*+CL���)1�/���� QL�H�)1LM�B�T�S�"f��VBZ�B�T�"EO�� ���H�$. %H�)1�h0"�.$.���D���L�L�)��qb.�/+C��J��,!&�CJ1 ��]����+C�5�!&�.0Kt!/�" �'�J� k�� �$Q)K�4J��\�����/ �02!/H�$.�S$;8#�� ��34��!/H����D2F[� < ��DG��)�J1 �����02�.$.�]�*����H�+C�,��J� ��]H����R��D�� ��]��D�J1 ��It% ��4V� r��!&'*��)1�NJ1 �+[��DG�*)9$.�S02�.$.�/ �'Q��H�0K 7�*���X�2J1�")K�T�* � �3.N=qxB0e89�� ��S�T����!/'���E)1�NJ1 �+[�Z0"��)1)��S0^JP�* �!/�[ BH�+d5h�")K�P��DW02)1�*�1�T�43*�")K�X!&�S���PJ� M�� ` M��!&DmJ� ��\+C�/ ��&+IH�+z$.���OJK�� �0"��8�eJ���L�LM�S��)K�ZDG)��*+zJ� ��]02H�)13��RJ� M�4J�J1 �� BZ�*���2ET�� ���H�$� BH�)��m0"�%$��RVZ��H�!/$(Lh�")�DG��)1+ 5h�2JTJ1�")�4JZ!&�4V�0")��B�����43��,)�L�)��*5���5��&!/�NJ1�&�S���� �$CJ1 ���!/�4V�Ee$��" ����NJO�C02�.$.�9V��*H�!�$[LM�,)TDG�*)�+ 5h�2J�J��")��4J ��/'� 602)1�*�1�T�43*�")�L�)��*5���5��&!/�NJ1�&�S�"8

� �� � �5� !!� ��" ��+'+'��"��� ��+ � � ��"��� �S$�w \J� ���DG��!/!&�4V��/ �'�JOVZ���T�S0^J1�&�* ��;�,�*0K \��D%J� ���0K ��� � ��"!��;H� �$.�,)W0"�� ����/$��")K�4J��/�� \V��/!&!B02�* ��T���TJ��D{�d5��/ ���)��c$���J1�]J�)K�� ���+C�NJ�J��")Sf��IL� %�%����0"��!�0K ��� � ��"! f.�� �$Q�d!/�/t��"!/�/ ��%�%$`)��S02�,�&3*�")S8{�� ����H�J�L�H.J�DG)1��+zJ� ��!/�&t*�"!/�& ��B�.$Q)��S02�,�&3*�")��/�����1�TH�+C�S$cJ1��5h�\J� ��!&�*'�Ee!&�/t��,!&�/ ��%�.$c)K�4J��/��f

� [�!/ �#)c. � [ � .� �T� 0�#)c. � [�=� .� �T� 0V� ��,)�� � ���R�cJ1)1�� ��T+C�&JTJ1�,$7$��&'*�NJSf %� �T�9�/�9J� ���)1�,0"�"�/3��S$6VZ�q3*�2DG��)1+ 02��)1)1�,��LM�* �$.�/ �'[J��J� M�4Jd$.�/'��&J,fX�� �$ ���/�\J1 ��c�*H.J�L�H�JDG)��*+|J� ��c!&�/t��,!&�/ ��%�.$i)��S02�"�/3��,)RDG��)J1 ��4Jd$.�/'��&J,8k��D02�*H�)K�T�*fXJ� ����C��H.J1L�H.Jc02�*H�!�$o5h�60"�� %3��,)TJ1�,$p�/ BJ��l�75��& ���)��o$��&'*�NJ[5h�2DG��)1�6�4JTJ1�"+CL.J1�& �'J��c$��,02�.$.�]�c5�!&�.0KtQ��D�$��4JK��f�5�H�J�J� ��/��0"�� %3��,)1���/�� (V��*H�!/$6$.�S�OJ1)��4�Q�T�*+���/ .DG�*)�+[�4J1�&�* ��5h��H�JWJ1 ��ZJ�)K�� ���+C�NJ�J��,$I�T�SaBH��" �0"��8X<%�& M02��L�)1��5���5��&!/���OJ1�/0�$.�,0"�%$��& �'R��Lh�")K�4J1�,�W ��4J1H�)K��!/!&�V��&J� `!/��'�E !/�/t��"!/�/ ��%�%$c)1��J��/�*�,f*�&J��/�Z ���J�H�)K��!hJ��C����tC ��4V +IH�0K Q0,�� `5h�R'*���/ ��S$c�/ cJ��,)�+[���DX�")1)1��)�L�)1��5���5��&!/�&JO��f����&'* ���!;Lh�4VZ�")��*)�J�)K�� ���+C�/�1�T�/�� ()K�4J��5%�QH��T�/ �'CJ1 ����H.J1L�H.J���DX�!/�&t*�"!/�& ��%�.$\)1�,02�,�&3*�"){$.�&)1�,02J�!/�9V��&J� dJ� ��Z$.�,0"�.$.�")W)1��J� ��,)mJ� M�� ]+[��t%�/ �'�5��& ���)��\$.�S02���T�/�� ��Y�)K�OJS8{����)Z5M��J� [J1 ��\0K ��� � ��"!��P02�* ����/$.�,)��S$C ��")1��f*J� ��/��'*���& CJ1H�)� M�P�*H.JPJ1�d5h����DU0"�" BJ�)K��!�/+�Lh��)�J1�� �02�*8

���*)dJ1 ��`V� ��&J��k�\��HM�����/�� p ��������Q0K ��� � ��"! f����1�TH�+��`J� ���JI�* ��`��D�JOV��rV��q3��"DG��)1+[�����J1)1�� ���+��&JTJ1�,$k�,3��,)��������,0"�� �$��,8�� ��,���C�T�/'� ���!/�9��L�Lh�,��)R��J9J1 ���)��S02�"�/3��,),f���H��NJK��5�!/��4J�J��, BHM�4J��S$o�� M$o$.�"!��q���S$;f#���]JOV��7DGH� �02J��/�� �� � M � �T���� M$ � � � �T�^f�5M��J� o ��� �u,�")1�r�� �!/�DG)1��+ ��[ �IJ1� ��[��]f��� �$Q5h��J� 6��D{�Sa*HM��!;�" ��")1'���f

W��;[ ���M

� �M � �T� � �[ ���M � � � � �T� � �

�m�"J �#� �T�C5h�7�p�1��+CL�!/�k��D\V� ��&J����\��H��������� � ������T�k��DRLh�4VZ�")`$.�, ����NJO� � M Lh�")cH� ��NJ5��� �$.V���$%J� kJ1 ��4J\���9�*$�$.�,$kJ��cJ1 ��I���/'� ���!{��J�J� ��d)1�,02�,�&3*�")S8��� ��, kJ� ���!/��'�Ee!/�&t*�"!/�& ��%�.$)K�4J��/� �Q02�*+CL�H.J��S$`5%�(�� (�/$.�S��!;)1�,0"�"�/3��")�0,�� 6�,�*�T�/!&�[5h�]�� ��4V� Z. A 0;J1�[5M�

� [ x� M � �M M � M � �T�U+ � � � �T� P .� �T� � �V� ��,)�� .� �T���/�ZJ1 ��R)��S02�"�/3��S$cV��q3��"DG��)1+(8W�� ��" � [ �d����J� ��RJ�)K�� M�T+C�&JTJ��S$Q$��&'*�NJSf%J� ��,

}��

Page 61: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� � � 9-$ �

� ��� �

��M����

��M����

��M�� �

��M�� �

� � � " $ & (

� � $ M "F� �

� � $ M "F� �

� � �� ��� � ���� ����� �� ��� � � ���

G ��� � � � � �

�{�&'*H�)1�R}�8 } 9����*+�LM��)1�/���� c5h�2JOVZ�"�, `!/�4V�Ee$��" ����NJO�[0"�%$��,���� �$Q ��C02�.$.�/ �'�f%V� ��&J��]�\��H��OE���/�� Q ��*�/����8

.� �T� [ � M � �T� ) �#� �T�^fB�� �$ ��/�{�S�����&!/��T ��4V� ]J��R5M���\��HM�����/�� ]V��&J� dL�)��*5���5��/!/�NJO�$.�, ��T�&JO�

F[��� � [ �*��[ =� x@O�� �2b.L + � � +�� �� � �x � � � }�8/=S�

� � [ @ W � �O=,+��%�� M � � [ =W�� ���M � M � �T� � � � �T� � � � }�8�x��

�m�/t��,V��/����f

F[��� � [�=S��[ =� x@O�� �2b.L + � � ) � �� � �x � ��{�&'*H�)1�\y�8&=S090"�� BJ1���& M������t��"J10K (��D{J� ��S�T�\L�)1��5M��5��/!&�&J��/�,�,8

� %H�+d5h�")]��D��"b%Lh�")1�/+��, BJ1�\VZ�")1��Lh�")�DG��)1+C�,$��� �J� ��Q����?*�Q0"��+CL�H.J1�")\DG��)I02�.$.�,���D93q��)��/��HM�]5�!/�.0Ktp!&�, �'�J1 ��C�� �$g)1��J��,�I�/ gV� ���0K oJ1 ��(0K M�� � ��,!���H.J1L�H.J1��VZ�")1�Q0K ��B�T�, 5%���(L����"H�$���)K�� �$.�*+| %H�+d5h�")d'��" ��")K�4J��*)��0"0"��)K$.�/ �'`J1�6J� ��`L�)��*5���5��&!/�NJO��$.�" ����&JO�7�/ :PaBH���J��/�� ��}�8/=S�2f#V� ���0K �0"��)1)��S�TLh�� �$��J���J� ��6��!&!&Eeu"�")1��0"�.$.�QVZ��)K$;8o�� ��6���&+IH�!/��J��S$$.�S02�.$.�")[�TJ��*)��S$pJ� ��,���()1�,0"�"�/3��S$oVZ��)K$����& >J� ��r0"��+CL�H.J1�")[�� M$oJ1 ��" ��4J�J��,+�L�J��,$gJ��$.�S02�.$.�]J1 ��"+ 5%�6L�)1��5���5��&!/���OJ1�/0]$��,02�.$.�/ �'M89�� ��I)��S�TH�!&J1����D�J1 ��,���d�"b%Lh�")1�/+��, BJ1��DG��)9�5�!/�.0Kt7!/�" �'�J� p��D�s���@k�� �$l)K�4J1�,���D �" �� M$ �� ��)1�[�T ��4V� p�& o�{�/'�H�)1�c}�8 }k�� ��`���&'* ���!�" ��")1'��%W ��L�LM�S��)1�& �'R�* �J� �����5��102�����1�R�/�#J� ����q34���&!���5�!/���" ��,)�'*�dLh�")#�/ .DG�*)�+[�4J1�&�* [$.�&'*�NJ

}�=

Page 62: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���IJ1 ��4J

W [ W �2 � }�8 y*�

�� ��S�T�d$��4J1�`���1�TH�+C�]�� *J1�&Lh�.$���!X���&'* ���!��"f���)��a[ +=�/ 7:�a*HM�4J��/�� p��}�8�x��^8�����)9H� �02�*)TE)1�"!��4J��S$Q���/'� ���!/�,f.��$�$6yC$.5(J��C�,�*0K Q34��!&H��\�* QJ1 ��]��5M��0"�/�1����8

�� ��\D ��02J�J� ���J�J� ��d�")1)��*)ZL�)��*5���5��/!/�NJO�c����!/�4V��,)�DG��)�J� ��)1��J�� �� 0"�%$��9J1 ��� (DG�*)�J� ��)K�4J�� �" 02�.$.�� ��"�,$��P����+C���2b.L�!��� M�4J��/�� U8����* ��T��$.�,)�JOV��]���.�OJ1�"+[�,f*5h��J1 [V��NJ1 [J� ��R����+C��q34���/!/��5�!/�c�T�/'� ���!#Lh�4V��,),f{ ��������cLM�4VZ�")SfU5�!&�.0Kti!&�, �'�J1 mf��� �$l %H�+I5M�,)d��D��/ .DG�*)�+[�4J1�&�* $.�/'��&J1�ILM�,)����,0"�� �$m87�eD��* ��Q���.�OJ1�"+ �/��02�.$.�S$o�4J�)1��J�� �� �� �$lJ� ��Q��J� ��,)I�4J�)1��J�� �" fJ� ��" iJ� ��CJ1�&+C�c$.H�)1��J��/�� i��DZ�(5�!/�.0Ktr!/�" �'�J� iDG��)\J1 ��[)1��J�� �� 0"�%$������RJOV���02�CJ� M�4JDG��)J� ���)K�4J1� �" 02�.$.��8[�� %H��RJ1 ��[�&+CL�)1�43��,+C�" BJ\��J)1��J�� �� 0"�� �5h�C�2b.L�!����/ ��,$�L�)1�&+[��)1�/!&�5%�dJ1 ���!/�� �'��")�02�� M�OJ1)1���& BJ�J��/+C����DhJ1 ��90"�.$.��8X�� ��/!&��J� ��,)����/�P'�)1�,�4J�J1 ��"�*)��"J���0"��!�+C�")1�NJ�/ rH����& �'cJ� ���02�� M�OJ1)1���& BJ�J��/+C�d�*)902�* ��TJ�)K���/ *J�!/�" �'�J� 7�& r�/ .DG�*)�+[�4J1�&�* k5��&J1�R�����c5������/���DX02�*+�LM��)1�/���� `DG��)�$.� � �,)��, BJ�)1��J��,�,fBJ� ��]0"�*�TJ���DX�&+CL�!/�"+C�" BJ1�& �'c��!/�4V�Ee$��" ����NJO�[LM��)1�NJO�0K ��S0Kt\$��,02�.$.�,)X�/�X$.�"J��")1+C�& ��,$]L�)��/+[��)1�&!/�5%�\J� ���02�* ��OJ1)1���& BJ{!&�, �'�J1 I�/ I0K ��� � ��,!%$��&'*�NJK�"�J� %H���VZ� ��q3*�9H����,$QJ1 ��!/��JTJ1�")�5��*�T������DX02��+CL���)������� ` ��")1��8

���� �����$.�")# ��4VoJOVZ�]�T�.�TJ��"+[�,f��* ���02�.$.�S$���J#)1��J�� �� �� �$�J� �����J� ��")#H� M02�.$.�,$mf*5h��J1 ��q3%�/ �'k�`YM ���!P$��&'*�NJd�,)�)1��)\L�)1��5M��5��/!&�&JO�r��DR=S� = � �� �$i5M��J� iJ�)K�� ���+C�NJ�J��/ �'6J� ��`����+C� %H�+d5h�")C��D9�/ .DG��)1+[�4J��/�� ��T�%+I5M�*!/��Lh�")[�T�S02�* �$;8><%�/ �0"�QJ1 ��k��5��102���1���7��DR�{�/'�H�)1�6}�8 }����'��/3��, k�& rJ��")1+[����D#�" ��,)�'*�`Lh�")R�& .DG�*)�+[��J��/�� k$.�/'��&J,f;�{�&'*H�)��I}�8 }C�& �$��/0,�4J��S��J1 ��4J9J� ��02�.$.�S$[�T�.�TJ��,+_)1�,aBH��/)1�,�#} � A_+kx � @]$.5c�*)P@�8 @d$.5`!&�S�����T�/'� ���!�Lh�4V��,)#J1 ��� [J1 ���H� �02�.$.�S$���%�TJ��,+68(�� ��`)1��J�� �" 0"�.$.�[�/�d!&�S���D �q3���)K��5�!&�[���& �0"�CJ� ��Q�& M02)1�,�����,$��")1)1��)�Ee0"��)1)��S0^J��/ �'Lh�4V��,)�$.�%�S�I ���JcaBH��NJ1�Q� � ���2JCJ1 ��6!&�B���I�& ����&'* ���!Z�" ��,)�'*�pLM�,)[0K ��� � ��"!�$.�/'��&J,8n� <%�"��{�&'*H�)1�\}�8��.8 �c��!&J� ��*H�'� 6 ��[�"b%Lh�")1�/+��, BJ1��!W$��4JK�IHM�T�/ �'[!/�&t*�"!/�& ��%�.$()��S02�,�&3*�")K���"b.�/�TJ�DG��)J� ��R)K�4J1� �� �� �$ �� 02�.$.�,�,f.�&J���L�Lh�,��)K�ZH� �!/�&t*�"!/�CDG)��*+ J� ��RLh�%��)�Lh�")�DG��)1+C�� �02�R��DWJ� ��S�T�02�.$.�S���� QJ� �� B�<���J� M�4J�J� ��"�cVZ��H�!�$( ��q3��\�� %�`�*$.34�� BJ1��'��S���43*�")�J� ��)K�4J1� �� 02�.$.�*8�{�& ���!&!/��fUJ��k�/!&!/H��TJ�)K�4J1�CJ� ��c�*$.34�� BJ1��'�����D�!&�/t��,!&�/ ��%�.$�)1�,0"�"�/3��,)1�9�43��,)]$.�,0"�/���&�* �)1�2E02�,�&3*�")K�hDG��)U$��,02�.$.�/ �'MfS0"�� ����/$��")m�{�&'*H�)1�#}�8 A�8U�� ����m0"��+CL���)1�,�hJ1 ��#�"b%Lh�")1�/+��, BJ1��!�)��S�TH�!&J1�DG��)��I!&�4V�Ew$.�, ��T�&JO�[02�.$.�*f.H��T�/ �'C�d!/�/t��"!/�/ ��%�%$`)��S02�,�&3*�")��� �$`L�)��*5���5��&!/�/�TJ���0R$.�,0"�%$��& �'IJ���Q!&�4VZ�")R5M�*H� �$;fmJ��sF[� < ��DG��)�� %�r0"�%$��I��DPJ� ��C�1��+C��5�!/�%0Ktk!/�" �'�J� l�� M$r)K�4J��*f;H����& �'�c$.�S02���T�/�� k)1�,0"�"�/3��,)��� �$6+[�4b.�/+dH�+ !/�&t*�"!/�& ��B�.$k$.�S02�.$.�/ �'�8��� �����5��102���1����f �Ufh�& ��W�/'�EH�)1�}�8 AI���ZJ� ��]L�)1��5���5��&!/�&JO�[��D�02)1�*�1�T�43*�")#J1 ��4J�VZ��H�!/$Q�2b.���OJ��&DX�C$.�S02���T�/�� (VZ�")1�R+[�*$.��8�w 6��J1 ��")�VZ��)K$��

� [�� �� ����� �

=� x@O <:= � � �Z� � ��eJ������T�/'� ��NYM0,�� BJ��/ 6�{�/'�H�)1�]}�8 AIJ��[�*5��T�,)�3*�RJ� ���/+CLM�*)TJK�� �0"���D��C!&�/t��,!&�/ ��%�.$Q)1�,0"�"�/3��,)�/ 7J1�")1+C�R��DPJ� ����,)�)1��)�Ew02��)1)1�,0^J1�& �'[LM�4VZ�")\��DZ�(0"�.$.��8I�eJ��H�'*'��,�TJ1�9J1 ��4J\J� ��C0"�� �0"�"L.J��D3`���L.J1�&+IH�+-02�.$.�cdc���9 ���JR�*��)1�"!/�"34�� *J�J��602��+C+IH� ���0"�4J1�&�* 7�����NJK�R ���+C�d�/ �$.��0"��J��S�"f�� M$6J� ���J�J1 ������/+�L�!&��02�&JO�r�� �$kv��2b.�/5��&!/�&JO�(��DP02�.$.�/ �'Q�10K ��,+��S�9$��,���")13��]+IH�0K r'�)1�,��J��,)�4J�J��, *J1�&�* `J1 ��� (J1 ��"�/)�5M�,�& �'\`T��L�J��/+dH�+68 d

� �� "T" �$ �S��� � ��"������� ����"��� �S$���1��H�+C�J� ���J9�* ��]��DXJOVZ�c�,aBH��/L�)1��5���5�!/��f��Sa*HM��!U�, ��")1'��*f�H� M02��)1)1�"!��4J��S$( ���)1)��4Vn5��� M$���&'* ���!�������J�)K�� ���+C�NJ�J��S$k�"3*�")1� � �T�S02�� M$��"fh�� �$6!/�2J � M � �T���� �$ � � � �T��5M�J1 ��d0"��+CL�!/�2b

}*x

Page 63: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� � � 9-$ �

� ��� �

��M����

��M����

��M�� �

��M�� �

� ��/ � ��/ " ��/ & ��/ 1 � � / � � / " � / & � / 1 � � / �

� � � � &� � � $ �� � $ M "� � ��M M 1

� � � � &� � � $ �

� � $ M "

� � ��M M 1

�{�&'*H�)1��}�8 �'9o: � �S0^J(��Dd5�!/�.0Kt�!&�, �'�J1 DG��)()K�4J�� �� 0"�.$.���* V� ��&J��p�\��H��1���/�� ��������0K ��� � ��"! 8

Lh�*���NJ1�&3*�CDG)��Sa*H��" �0"��)1�"L�)1�,���" BJK�4J��/�� M�\��DZJ� ��S�T�`���/'� ���!/�,8(�9����H�+C�[J1 ��4J]J1 ��`0"��+CL�!/�2b)1�"L�)1�,���" BJ1��J��/�� Q��DUJ1 ��)1�,02�,�&3*�,$(�T�/'� M��!��/�

.� �T�;[ < � � � M � �T� ) �#� �T�2� � M � �T��J�)K�� ���+C�NJ�J��,$ .� �T�;[ < � � � � � �T� ) �#� �T�2� � � � �T��J�)K�� ���+C�NJ�J��,$V� ��,)�� p�������q�%!&�,�&'* ($��/�TJ�)1�&5�H.J��S$(�� �$ � ������)K�� �$.�*+zL� ��*�T�*f

�#)S� X� [ <:=� � �Z� � �(��

�P),� � � [ =x$O � � R � R x@O

�� M$ �#� �T�Z)��,L�)��S�T�, BJ1�ZV� ��&J��d�\��HM�����/�� Q ������T�\��DXLh�4V��,)�$��" ����NJO� � M 8�w �J� �����5M�T�, �02�k��Dd�� %�g�/ .DG��)1+[�4J1�&�* ��5h��H.J ���) � 5h�2DG��)1�kJ1 ��kJ�)K�� M�T+C�������&�* �/ *J1�")134��! fW�&J�0,�� l5M�(�T ��4V� �J1 ��4JC��!/!#J1 ��c�/ .DG��)1+[�4J��/�� pV� ��2J� ��") � M � �T�\��) � � � �T�V����J�)K�� M�T+C�&JTJ��S$g!/�/�,�C�/ >J1 ��r�1��+CL�!/�,$>�" %3��,!&�*LM�S� � M �� M$ � � ��D9J� ��6�*H.J�L�H�J1�[��D�Y�!&J��,)1�

}�y

Page 64: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� ��� ��� � ����������� � ��� � ���!� � ���-� �

� ��� �

��M����

��M����

��M�� �

��M�� �

M0/ M & M0/ M ( M0/ M�1 M0/ M(

M0/ ��M M0/ �Z� M0/ � �

� � � � � � � � � � � � ���� � � � � # � � ���� ��� � � � � � � �� E G I

� � � � � � � � �� � � � � ��� � ��� �� � � # �� ��� � � � # � � � � �

� #� ��� � # �� � � �

!$# � � � � �� #� � � � � # � � �

�{�&'*H�)1�d}�8 A*9�����+CL���)������� 65M�"JOV��,�" 7$��,02�����&�* r)��S02�,�&3*�")��� �$k!/�&t*�"!/�& ��%�.$k)1�,0"�"�/3��")S���\[s���@�f#2 [ �� 8

+[�4JK0K ��,$`J�� � M � �T���� �$ � � � �T�2f

� M [ ���M

���M � �T� %� �T� � � W =���

� � [ ���M

� �� � �T� %� �T� � � W =���

�#�/�")K02�).N=SyB0U�� ��4V���J� ���J � M �� �$ � � ��)��RLh�*���NJ1�&3*�R���q�%!/�"�/'� `$��/�TJ�)1�&5�H.J��S$`)K�� �$���+ 34��)1�NE��5�!&�S��V��&J� �3q��)����� M02� � M ) W � �� �$ � M $.�,LM�, �$.�/ �'(�� rV� ��"J� ��,) � M � �T���*) � � � �T��V����J�)K�� M�T+C�&JTJ��S$;f

�P),� � �e��[ � �� M6) W�� �"b%L + � ��x�� � M_) W��K� � DG��) ��[ �C��DZ=�f.�&D � �1� �T�Z�/�ZJ1)1�� ���+��&JTJ1�,$� }�8 @B�

�P),� � �e��[ � �� M �2b.Le+ � ��x$� M � �&DX���&'* ���!;��J� ��,)�J� ��� � �1� �T�Z����J�)K�� ���+C�NJ�J��S$ � }�8�s��

V� ��,)��

W�� [ � �M

� M � �T� � �M � �T� � � � }�8 }*�

}�@

Page 65: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�eJ�DG��!/!&�4V����/+C+C�,$.���4J1�"!/�[DG)��*+ :PaBH���J��/�� ����}�8 @B�Z�� M$���}�8�s��Z�� �$`J� ���& �$��"Lh�" �$.�, �02���D

� M �� �$ � � J� ���J�J� ��!/��'�E !/�&t*�"!/�& ��B�.$`)1��J��/�IDG�*)�J� ��)1�,0"�"�/3��,)Z�*H.J�L�H.J��/��'*�&3*�" (5%�� [�!/ �#),� � [ � � M � � � ��#),� � [�=� � M � � � �

[ � � �M + � �� � � =x$� M + =

x�� � M ) W � � � }�8 ���

�{�& M��!/!&�*f.�NJ�DG�*!&!/�4V��ZDG)��*+ :PaBH���J��/�� ����}�8 @B�KfW� }�8�s��Z�� �$l� }�8 ���PJ1 ��4J

�#)S��� � [��*��[��� ��

= )��� ��x )�� �

< =��� � �#(��= )��

� ��x )�� �< ��� �� ��� � � R �

� }�8 A*�

V� ��,)��

� [ W��� M�_���q�%!&�,�&'* 6D ��$.�/ �'60K ��� � ��"!{VZ�*�����&+IH�!/��J��S$r�� rJ� ��C02�*+�L�H.J��,)95%�6H����& �'6�cLM�T�,H�$.��E)K�� �$.�*+ %H�+I5M�,)I'*�" ��,)1��J��*)]J���L�)1�%$�H�02�Q��H.J1L�H.J1� �p��0,02�*)1$.�/ �'kJ1�rJ1 ��QL�)��*5���5��/!/�NJO�$.���OJ1)��/5�H.J1�&�* ��Dd:�aBH��4J1�&�* �� }�8 A*�^8_<%H�0,02�S�����&3*�r34��!/H��,�Q��D ��VZ�")1�70K ��B�T�, ��& �$��"Lh�" .E$.�, *J1!&�*f*V� ��/0K [��L�LM�S��)K�#�T�*+C�"V� ���J#H� �)1�,��!/���OJ1�/0����/ �02��VZ�����1��H�+C�,$IJ� ���L��4J1 `�OJ1)��, �'�J1 V����#0"�� ��TJ1�� *JZ�43��,)�J� ��95���HM$C!&�, �'�J1 mf �]8{�� ��/�Z�T ���H�!�$C5M�R�])1�,�*�T�* ���5�!/�����1��H�+CL.J��/�� mf ��4VZ�"3*�")SfmV� ��" iJ1 ��[D ��$��& �'k)K�4J1�[�/�I02�*+�LM��)K��5�!/��J��6J� ��c5���HM$�!/�" �'�J� Uf{�� �$p�6'��%�.$���1��H�+CL.J��/�� �V� ��" C�102)K��+d5�!&�/ �'R�/�X�,+�L�!&�4�*�,$]5h�2JOVZ�"�, �J� ���$.�/'��&J1����Dh��H�0"0"�,�1�T�/3��Z5�!/�.0Kt%���DX�C02�.$.��8

�� � � 9!$ �

� �� � � � 9!$ �

� ��� �

� M����

� M����

� M�� �

� M�� �

��M �Z� � � � � � " � $ � & � ( ��1 �(

� E G I� �

� � � � � � � � � � � � � ����� � � � � ���� ��� � � � � � ����� � � � � ���

F� ���

� � $ M "F� ���

� � $ M "

�{�&'*H�)1��}�8 ? 9 ����+CL���)������� �5h�2JOVZ�"�, !&�4V�Ew$.�" M�T�&JO��02�.$.�S�o�� M$�J1�&+C� $��&3*�")K�T�&JO� DG��)���q�%!/�"�/'� cD �*$.�/ �'c0K ��� � ��"! 8

�{�&'*H�)��]}�8 ?[�� ��4V��ZJ1 ��])1�,��H�!NJK����D#��H�0K k�[�T�/+dH�!/��J��/�� m8Z�W�/'�H�)��]}�8 ?[�� ��4V����C+dHM0K +C��)1�6+C��)�t*�,$>$.� � �")1�" M02�k5h�2JOVZ�"�" �0"�%$��& �'o�� �$> ��o02�.$.�/ �'iJ� ��� ��W�/'�H�)��r}�8 }�f��� M$

}*s

Page 66: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

J� ��/�9�/�,f���DP0"��H�)K�T�*fh$�H��dJ1�cJ1 ��I��!&�4V�$��,02)1�,�*�T�d��D#5��&JR�,)�)1��)�)1��J��,��V��NJ1 ����&'* ���!WLM�4VZ�")�� i���q�%!&�,�&'* kD ��$��& �'60K ��� � ��"!��,8d�{�&'*H�)��C}�8 ?(��!��T�Q�& �$��/0,�4J��S�9J� ���JRJ1 ��C)1��J�� �" 02�.$.���/�����+C�"V� ���J95h�2J�J��")RJ1 ��� 7J� ���)1��J�� �� 02�.$.��f�5�H�JRJ1 ��")1�I��)��I ���J\�" ���H�'* 7$��4JK�` ��")1�]J��5h�\0"�� %3%�& M02�/ �'�8���!�����f%J� ��)1��J�� �� 02�.$.�02�* *JK���/ ��ZJOV���02����Z+[�� %�c�/ .DG��)1+[�4J1�&�* Q$.�/'��&J1�Lh�")5�!/�.0Kt7���RJ1 ��C)1��J�� �" 02�.$.�*fW���`J1 ��4Jd�(5�!/�.0Ktr!/�*�OJK�RJOV��/0"�[���R!&�* �'(DG��)\J1 ��c����+C��/ .DG��)1+[�4J��/�� i)K�4J��C�/ l5��NJK�Lh�")d���,0"�� �$;8[�� �������]��$�3q�� BJ1��'*�"�*H���V� ��" iJ� ��cD ��$.�S���)1�!/�� �'*�")ZJ� ��� k�I5M��H�$Q!&�, �'�J1 m8

�� � � 9-$ �

� ��� �

��M����

��M����

��M�� �

��M�� �

� M �S� � � � �

� � ��M�M�1

� � � M M 1

� � $ M "

� � $ M "

� � � $ �

� � � $ �� � � � "

� � � � "

�{�&'*H�)1�7}�8/=,� 9l: � �S0^J6��D]5�!/�.0Kt�!&�, �'�J1 �� �,)�)1��)`L�)��*5���5��&!/�NJO�>DG��)6���q�%!/�"�/'� �D ��$��& �'0K ��� � ��"! �*2 [ �" 8

�{�&'*H�)��\}�8/=,�d�T ��4V��PJ� ��9� � �S0^J���Dm5�!/�.0Kt[!&�, �'�J1 `�* c�")1)��*)PL�)1��5M��5��/!&�&JO��DG��)ZJ� ��9)K�4J1��" 02�.$.��8l�� ��Q�")1)��*)dL�)1��5���5��/!&�&J��/�,�]DG��)IJ� ��(�T+[��!/!/�")�5�!&�.0Ktl!/�" �'�J� g0"�%$��,����L�Lh�,��)]J��$.�S02)1�,�����c+IH�0K g+C��)1�6�T!/�4V�!&�lV��&J� >�& �0")��S�����& �'����&'* ���!ZLM�4VZ�")IJ� M�� >J� ��(!&�* �'i5�!&�.0Kt!/�" �'�J� 602�.$.�,�,f�5�H�J�+��*)��$���J1��VZ��H�!�$`5h� ��,!&L.DGH�!m ��")1��8

�{�& ���!&!/��f��{�/'�H�)1�\}�8 Ad��'B���/ `�� ��4V��#J1 ����$.34�� *JK��'*����D{�d!/�&t*�"!/�& ��B�.$[)1�,0"�"�/3��,)��43*�")��$.�S02���T�/�� 6)1�,02�,�&3*�")ZDG��)�J� ��]���q�%!/�"�/'� (D ��$��& �'c0K M�� � ��,!�8��� ��]���q�%!&�,�&'* (D ��$.�/ �'c0K ��� � ��"!�� M$7�\��H��1���/�� 70K ��� � ��"!���)1�I���Q$�� � �")1�" BJ\�& 7J� ��,�&)0K ���)1�*0^J��,)����TJ���0"��J1 ��4J�&JR���\02�� �O�,0^EJ�H�)��S$pJ� M�4JCJ� �����JO�%LM�6��D�'*���& > ���!�$��IDG��)C+C�*�TJC���%+C+��"J�)1�/0(5��/ ���)��BEe�& �L�H.JC0K M�� � ��,!/��GV��&J� (J1 ����5%3%�&�*H��Z�2b�02�,L.J��/�� 6��DUJ� �� B�<M���^8

}�}

Page 67: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��� � � ��� ��� � � � � ��� � � �s� �����q����������w o�� ���L.J1�")dx�f;J� ���DG�*!&!/�4V��& �'Q5h��H� M$�V����\$.�,)��/3��S$kDG�*)\J� ��C+C�& ��&+IH�+�Ee$.���TJ1�� M02�[$.���OEJ�)1�/5�H.J��/�� (DGH� M0^J��/�� 6��D{�� p���U��� �'���Z�, ����"+d5�!&�\��DX02�.$.�S�O9

�#)S� R � � � R ���� � � � ]C��j �E�U�.�2b.L +,� i �kjM��#)S� R � � � R =

� �]8/=S�

V� ��,)��

ja[ ��

i ��jh� [�� � +�=S� R ��jh�:+ �� M � ��q� ) ����+�=S�%!/ �x P ) � @j � �]8�x��

]C�kjd�S�U� [ M x$O �UjU�T=b+>jh� P � =d�� �"b%L � +�==qx1�UjW�O=,+ jM� � �]8 y*�

� ��q� ) ��� +�=S�%!/ �x6[�!/ �� � �T= ) <�� � � ) �T=,+ <�� � � � � �]8 @B�

� � ��q�� [ j DG��)���L�J��/+dH�+ 5M�*H� �$ � �]8�s��

�w CJ� ��/����L�Lh�" �$��Nb�J� �)1�"��J� ��,��)1�"+[��V��/!&!M5M�9L�)��43*�,$�02�* �02�,)� ��/ �']:�a*HM�4J��/�� k���]8/=S�^8��� ��Y�)K�OJ(J� ��"��)1�"+ V��/!/!\�� ���!/�%u"��J� ��i5h�" ��q3%�/��)(��D i ��jh�^fRJ� ��l���,0"�� �$ V��&!/!5M�*H� �$ J� ����H�+C+C��J��/�� ��& �:PaBH���J��/�� ~� �]8/=S���/ �J��,)�+[����DRJ� ��(Y�)K�TJ[�� �$>!/�*�OJCJ��,)�+[�,f#J1 ��6J� ��/)K$V��/!&!P�� ��4V J1 ��4Jd�*���r�� �$����/ �02)1�,�*�T�*fU:PaBH���J��/�� �� �]8/=S�\��L�L�)1�*�*0K ��,�9J� ��[+��/ ��/+dH�+�E$.���OJK�� �0"��$.���OJ1)��/5�H.J1�&�* [DGH� �02J��/�� `$��")1�&3*�,$�DG��)PJ� ��9�,aBH��/L�)1��5���5�!&���, ����"+d5�!&����DU02�.$.�S�#�/ :PaBH���J��/�� i��x.8�s��28� W�%:�1��%:c X ��� � �@�=� (+*�� � �� (�y+I4�$'�0 < ��� i ��jh� !=� 0�����' �80 ��' �H9&(��1�8���@'J�d���]8�x��GI� �d8 @%� �$'�0p���]8�s��&E,FD"J�&'�;E�!/�&+

� �^M i ��jh� [ �+I� E�!/�&+

� �^M � �� �[2I

E i ��jh� "���� �@' < = �@' � F�N�S����'���"�� �S�$'C%a��� � j � �� I� E i ��jh� "����5' ��< �1/=�$< * ��'���*(+*N2U�L��"g��' ��"�� �S�$'C%a��2S"����Z� i ��jh� ���E�`�S�F�4-GEd=�8����(�T ��4V�J1 ��4JC!/�&+� �^M i ��jh� [ �75%�i�� ��4V��/ �'kJ� M�4JC�,��0K p��D�J� ��`J� �)1�"�

J��,)�+[�I�� pJ1 ��`)1�/'� BJI��D�:PaBH��4J1�&�* � �d8 x*�d��L�L�)1�*��0K ��,�]��8��� ��QJ��,)�+ R �kjM�d�/�I'��/3��, 5%� +Dj�!/ Dj + �T=�+ jh�%!/ W�T= + jh�9�� �$70"!&�S��)1!&�k��L�L�)1�*��0K ��,����8]��� � �,)��, BJ����4J��/ �'(:PaBH��4EJ��/�� l� �d8 @%�2f�V��\'��"J

ja[ � � ��S�� [ < � M �O= ) < � � �c=d� +��O=,+ < � � �c= � P�T= ) < � � � ) �T=,+ < � � �� �]8 }*�

}B�

Page 68: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

f

-\

W�

���

�{�/'�H�)1��]8/=>9#<%t��"J10K 6��D ]�� �$Pjr���ZDGH� �02J��/�� �����D � 8�� M$6DG)��*+ J1 ����"f � +

2��� j � ��8 BZH.J9DG)1��+ :PaBH���J��/�� g���]8 @B�2fh!/�/+ ���)= � � ��S� )����+�=S�%!/ �x3[���8#�{�& ���!&!/��f

� @ja[ � < � M �O= ) < � � �c=d� +��T=,+ < � � �c= � P�T= ) < � � � ) �T=,+ < � � �V� ���0K (��!/���[��L�L�)��B��0K ��S���C���� � +

28

x.8���)��*+ :PaBH���J��/�� l� �]8�x��2f

� i� j

[ � i ��jh��Aj )

� i ��jh�� � �Aj

� = � [�� � +>=q�%!& =,+ jj ) �

jr��tB�/ �'�J� ��]�TH�5M�OJ1�NJ1H.J��/��

� [=,+ < �= ) < �

5[ !& =,+ �= ) �� �]8 ���

�� M$`Lh�")�DG��)1+C�& �'[����+C�\+[�� ��/L�H�!��4J1�&�* Q�* 6:�aBH��4J1�&�* �� �d8 }B�2f.VZ�'��"J

j [ =,+ �x =,+ � �c= �= ) � �� �]8 A*�

�w k�{�&'*H�)��\�]8/=�f ]�� M$Pjk��)����t��"J10K ��S$Q�*�ZDGH� �0^J1�&�* �����D � 8!&�/+� �6M

� i� j

[_!/�&+� � �

� � +>=q�%!/ �� = ) �=,+ � � = ) � �c= �=,+ � �c= � ) �P!& = ) �=,+ �!&�/+� �6M

� i� j

[_!/�&+� � �

!& � = ) �=,+ � � = ) � �c= �=_+ � �c= � � =d�!&�/+� �6M

� i� j

[_!/�&+� � �

!& �O= ) � �c= � � � =d��T=b+ � �c=d� � � = � �T= ) � �2�T= ) � ) ����F) � �B= � �� �]8 ?*�

!/�&+� �^M � �� �

[2DG�*) � +px >��f.�*)��& 6��J� ��,)�V��*)1$��,fBDG��) � (�y�8

}�A

Page 69: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

y�8 BZ�2DG�*)��\L�)1�43%�& �'IL���)TJK��y[�� �$Q@C��D{J� ��\J1 ��"�*)��,+6f.V��+IH��OJ��� ��4V�J1 ��4J � i � � jr ������ �!&�(�� ��d�2b%J�)1�"+IH�+689�����/ �'`:PaBH���J��/�� o���]8 ?*�^f�VZ�]��5�J1���/ kJ1 ��I$.�,)��/34�4J1�&3*�]��D � i � � jV��&J� 6)��S�TLh�,02J�J�� � 8�� �� � i� j [ x

=,+ � � )x�� � +>=q�2����+�=S� � �c= �=,+ � � E �c= ��I<%�"JTJ��/ �'CJ1 ��/���,aBH���!�J1�[��f.VZ� ��q3��

� � +�=S�"��� +�=S�[ =`+ � � �B= ��T=,+ � � � � �B= �[ = ) � � ) � " )����) � � �B= "� �c= �

� � +>=q�2��� +�=S��[�= )�c= ���� � � � � � � )

=

� � � � DG�*) �c�,3��" ���]8/=,�*�

� � +>=q�2��� +�=S��[�c=d���� � � � � � � = � )

=

� � � = � � DG��) �`�%$�$ ���]8/=�=S�

�� ��[DGH� M0^J��/�� M�]�� lJ1 ��c)1�&'* BJ]�& o:�a*HM�4J��/�� M�c� �d8&=S�*�\�� M$�� �]8/=�=q���)1�c$.�S02)1�,�����/ �'�/ � DG�*)C� � � � =*8����" �0"�k�,��0K >�,aBH���J��/�� �0"�� > ��q3��6�4J[+C�*�TJ[�� ��k����!/H.J��/�� ��/ J� ��/��)K�� �'���8��� BHM�"f � i � � jr ������4J�+C�*�TJ��� ���"b%J�)1�"+dH�+ �� M$(��J�+C�*�TJ�JOV��[u,�")1�*�ZDG��)� � j � �� 8��� ��" i ��*���4J�+C�*�TJ�JOVZ�Cu"�")1�*��5h�,����$.�,� i � �B� [n��8nB�H�J9�T�/ �0"� i '��%�,�Lh�*���NJ1�&3*�C�*� jl�/ �02)1�,�*�T�S�RDG)��*+ ��fUJOV��6u"�,)��602)1�*�1���& �'B�9DG��)]� � j � �� VZ��H�!�$i�&+CL�!/�i � �� �H >��8#���4V��,3��,),f*DG)��*+ :�a*HM�4J��/�� i� �d8 @%�2f.H����/ �' 5[ ����J?ja[ �� f

i � �� � [ � � � +�=S�.!& �x@+ ������+�=S�%!/ �x@+ �*=,+ �

� !/ �x � ����� ��,)��"DG��)1��f i �kjM�� M�����2b��*0^J�!/�c�* ��\u"�")1��DG��)�� �Sj�� �� 8@�8Z�eD i �kjM�� ������C+C�/ ��/+dH�+ V��NJ1 ��/ kJ� ��d)1�� �'��RDG��)�V� ��/0K i ��jh� ��f.J� ��" k�&J9VZ��H�!�$)1�,aBH��/)���C+[�4b.�/+dH�+ �� (J� ��d�"�&J� ��,)��T��$.���DWJ1 ��]+C�& ��&+IH�+ J1�c����J����ODG� i ���*�;[ �[�� M$i � �� � �>��8 BZH.J i ��jh�Z �������J�+C�*�TJZJOVZ�C�2b%J�)1�"+[��f��T��J� ��/�������/+�Lh�*�1���&5�!/��8

� W�%:�1��%:c X � � � � �1���$'l���U��� �'��� �&'J�N�&*�!&< ���.-/=�70����AI_��"J�* ��'���*(+*�?.0����=���@'D/=�0���� ?�8��� !G(��8���@' -8(+'D/��8���@' *�$= !=��!=�@(+'D0��80 !&= $

�P),� R � � � R � +�=x�� � = � )

����� = � K � � ) �S]C� � �S�U�%�2b.Le+,� i � � � ���]8/=Sx���`�S�F�4-GE9��)1��+ :PaBH��4J1�&�* i� x.8/=,AB�Kf�VZ�R M�q3��

�P),� R � � � R ����� � � K � � L = � K4� M � � ���,� P �� � K@f � ���

� � \ � � 7*5,7S3=G�36H D�G�B�;C<?0�G@;8O�3Z; ��0N7/A4;C0��E7/2C0�� < ;8O�<?G�B/287E3=A8<?G�� �H 3=AC;C7/2 ;CO13=G

���� � \��;CO13Z; <?AER�3 H D�GFB/;C<?0�G � � � � A8D�B8O�;CO13Z; >?<?5�� � �

�� \ � � � � fF[

}�?

Page 70: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�i�90"�� c�"34��!&H���J���J� ��9J��,)�+_DG��) ��[ x]$��&)1�,02J�!/��8����,0,��!/!�J1 ��4JH� � ��x*�����#J1 ��9 %H�+I5M�,)���D���,aBH��" M02�,����DmVZ�"�/'� BJ�xV� ���0K Q�1�4J1�/�TDG��J� ��9Y�)K�OJ_� ��CLM��)1�NJO�BEw0K ��,0Kt.����DW�� %��L���)�J���02H�!���)02�.$.�*8_�� ��")1����)1� � � � � V��q�%�`��DI��)�)K�� �'��/ �'gxp�* ��,�Q�& ~�g���& �'�!/�7L���)��&JO��0K ��,0Kt��T�"J,�+dH�!NJ1�&L�!/�%�& �'[5B�cJ� �� � ���cL���)��&JO�BEe0K ��,0Kt[�T�"J1�,f.V�� M�q3��

� � ��x*��[ ��K � x;L

K � x+L = � K4� � � ��x*� � [�#��� +�=S� �x���� +�=S� � = �

[ ��+�=x1� � = � )

��� � = � K � ��#)S� R � � � R ��+�=

x1� � = � )��� � = � K � � )

���� � � " ]C��j �E�U�.�2b.L +,� i �kjM� ���]8/=,y*�

V� ��,)��\]C��j �E�U�(�� M$ i �kjM�6��)���'��/3��, �/ ~:�a*HM�4J��/�� M�����]8�x��(�� �$�� �d8 yB�^8 �w n��)K$.�")J���5h��H� �$ J� ���J��,)�+[�QDG��)(V� ���0K �7���6�T+[��!&!R�& :PaBH���J��/�� ����]8/=,yB�^f�VZ�i ���J1�rDG)1��+:PaBH���J��/�� k� �d8 }B�XJ1 ��4J��*�bj � ��f � �� !& S. j �.��� +7=q� 0e8W�9�T�/ �'J1 ��/��34��!/H�����D��/ ��OJ1�,�*$��D � � ��q� ��� [ j6�/ 6:�aBH��4J1�&�* i���]8�x��^f i ��jh��+IH��OJ�5h�H� �$.�,)�5h��H� �$.�,$m8i ��jh� ( � � +�=S� � j�!/ =j ) �O=b+ jM�.!& =

=,+ j � + ��!& ���� �

K � �&L < � � ) �x j�!/

j� +�=

i ��jh� ( � � x +�= j�!& =j + ��!/ ==,+ � � � � < � � + �

x j�!/ U��� +>=q� ���]8/="@B�

<%H�5M�OJ1�NJ1H.J��/ �'�� ���7DG��)Djk�� �$QH��T�/ �'c����+C�\�& ��,aBH���!/�&J��/�,�,f.V��\ ��q3*��2b.L +,� i ��jh� R � =

� � � � =d� � � � � � � = � � ����+�=S� ��� �2b.L � � �x � =

=,+ ���Z� ���]8/=Ss��

��)1��+ :PaBH��4J1�&�* i���]8 y*�ZVZ�\'��2J

]C��j �E�U� R � x@OD�,� � =d�� �"b%L � +>=}@� ���]8/=,}*�

��)1��+ :PaBH���J��/�� ��I� �d8&=qs����� �$o���]8/=,}*�2f�V��d���"�dJ� ���J�J1 ��dJ1�")1+[��DG�*) �6[ @`�� M$ �6[ }�/ >:PaBH���J��/�� ~� �]8/=,yB�d��L�L�)1�*�*0K ou"�,)��7D ���TJ��")�J1 ��� �� = � K �*8g��)1��+ �� ��"��)1�"+ �d8&=*fP�&Di � � � >��f�J1 ��" CDG�*)#�"3*�")1�]J��,)�+�5M�"JOV��,�" ���[ A�� �$��[ � � f i ��jh�����#!/�4V��,)�5M�*H� �$.�S$5%�7�,�NJ1 ��") i � A ���U�\�*) i � � �^8o� �eD i � � � �_��fUJ1 ��c)1�&'* *J��T��$.�[��D�:�a*HM�4J��/�� ����]8/=Sx���/�!���)1'��")XJ1 ��� k=��� �$�J� ���J�)1�&3%����!�5h��H� �$C��D�=���L�L�!&�/�,�,8��d�� %H��,f�J1 �����H�+C+C��J��/�� [5h�2JOVZ�"�, ��[ AC�� �$ � ���/��5h��H� �$.�,$(5%�

�S] � # � � �2b.L +,� i � A� ) �2b.Le+,� i � � � � ���]8/=q���

�� ��RY�)K�OJ�J1�")1+z��D�:PaBH���J��/�� i� �]8/=q���Z ������� �l$.�,LM�, �$.�" M02�'��/3��, Q5%�

� M ��K � =d�� K 1UEL=�� K ��I P [��M� � = � K � �2� DG��) � (�y

�� ��r���,0"�� �$>J��,)�+ ��D:PaBH���J��/�� � �d8&=4���C���CJ1 ��r!����TJc�2b.L�)1�,�1�T�/�� ���L�Lh�,��)��/ �'p�/ �J� ���TJ1�4J1�"+C�" BJ���D{J� ��\J� ��,��)1�"+6f�:PaBH���J��/�� l� �]8/=Sx*�^f.L�)1�43%�& �'dJ1 ��\J� ��,��)1�"+68

�4�

Page 71: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� W�%:�1��%:c X � ,���� ��� � � � !=� ��"���' �@' F�N�S� �N�@< (��8���@' �4- i �kjM� [ ��-�����@' ���U��� �'����&'J�N�G*,!&< � Ib�@'D0 < ���2 [_= + ����� !=� � �g�80;E � �N� � M � �� !=� ��"����N�@< (��8���@' �4- R � � M � [�O=,+ 2�%!/ �x)E�F�"��G'Q!&�/+ � � � � � � [ � M E� �Z�@*�FD"J�=�1�Z�G* � E � I � M ��� ��"J���>=Z � /=�@<�* ��'���*(+*�?.0����=���@'D/=� -��1� ��"�� �89&(�� �S�:!=�;!&< ��&'J�N�G*,!&< � �.- ��1���L�>=@?./A"��A/8B /=�10 ���8I �N� ��"J����"��=�1�S�&* �1�=���N���C� ��"J������"J���>=Z � /=�@< *���''��?*(+* 01�������@'D/Z� �4-d� �U��� ����� /=�70������Z � �S�F�;/8"��"J���_�.- ��"J� �A9&(�� �Z�;!=�;!&< ���&'J�N�G*,!&< ���1� ���'�/N�S�=���N���&E�`�S�F�4-GE9�����/ �'[:PaBH��4J1�&�* i���]8�x��2f i �kjM��0,�� (5M�)1�"V�)1�&JTJ��, Q�/ (J� ��\DG�*)�+i �kjM�;[ � + R �kjM� ) �

�!/ �x � ) � � M6R �kjM� ) @jJP`+ �

�!& M �O=,+ < � � � ) �T= ) <�� � � P �

���]8/=,A*�

�i���� ���!/!��T ��4V J� ���J9DG�*)Cj �[���fhJ� ��C!����TJ95�)K��0"�I�/ �:�a*HM�4J��/�� >� �]8/=,AB����L�L�)1�*�*0K ��,���V��&J� l�& M02)1�,�����/ �' ��8`�� �������]�TH��[0"�&�, BJJ��kL�)1�43���J� ��CJ� ��,��)1�"+6fW���& M02� ����Z[ =e+ 2�� M$cJ1 BHM��J� ��\YM)1�TJ�5�)1�*02�\����u"�")1�C�� �!/�[DG�*)Dj [ � M 8R �kjM� ) @j [ j � !/ �� =,+ jj ) � +i!& U�T=,+>jh�jr��tB�/ �'�J� ��]�TH�5M�OJ1�NJ1H.J��/�� � [��O=,+ < � � �.�T= ) < � �Z��D�:PaBH���J��/�� ��\���]8 ������ M$i���]8 A*�2f

R ��jh� ) @ja[ =,+ �x =,+ � �c=d�= ) � �!/ = ) � �c= �=,+ � �c= �

+i!/ � = ) �x � = ) � �c= �= ) � � ���]8/=,?*�

��!����=�!& M �T= ) < � � � ) �T=,+ < � � � P�[ !& W�O= ) < � � ) =

�!/ U�O= ) � � �

[ !& x= ) � )

=�!& U�T= ) � � � ���]8�x��*�

����+I5��/ ��& �'`:PaBH���J��/�� ��I� �]8/=,?B���� �$o� �d8 x��*�2f�J1 ������,0"�� �$65�)1�*02�]�/ 7:PaBH���J��/�� o���]8/=,A*�5h�,02�*+C�,�

+ � � =,+ �x � =,+ � �c= �= ) � � !/ = ) � �c=d�=,+ � �c=d� )�#!& = ) � �c= �= ) � � )

��!/ U�O= ) � � �

�����R�& �0")��S�����,�,f2DG�*)U�� %� � �~=�f%�GV� ��")1�Lj� >�B�^f � � �� �$ � �B= � ��L�L�)1�*��0K \��8W:�b.L��� M$.�& �'J� ��!&�*'*��)1�&J� �+[�ZV��\ ��q3*�

+ � � =,+ �x � =,+ � �c=d�= ) � � x � �c=d� ) � � �c= � �O=b+ � � ) � � ���w kJ1 ��/�R�"b%L�)��S�����&�* mf � � 2

!&�/ ��,��)�!/�(V��NJ1 ���f�5�H.J � �c= � � �`�2b.LM�* ��" BJ1�/��!&!/��8R�� BHM�"fJ� ��]�T�S02�� M$`5�)K��0"�9�/ k:PaBH���J��/�� l� �]8/=,AB�Z��L�L�)1�*�*0K ��,����8

�%=

Page 72: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � ��� �� ��� � � � �_� � � � � � � � � ��� �� � � ��� ��� � ����q� � � � �� � � � � ��� �

�T�� �����S� �� �� � �5���5+� W�%:�1��%:c , �*���5� ����� [ � �� � � � � !Z���"�� � (+* �.- � ��'D0��� J�&'�0 �G''���Z�@'�0 �@*�#�������?�;!&< ���8I < �N�DF �1� � � ��!Z� ��"��� �S�:!=�;!N��< �L� = 0 �G'����L� = �4- ��"J� �����#1�1�����;!&< �GI��$'�0�< �N� � ����q��[��= � �2b.LU�� � � � F �K� � ��� � � ��!=����"J� *��@*��G''� %a�G' ���S���C��' %�-8(+'D/��8���@' -��1����"J� �����#1�1�����:!G< �1EFD"J�&'

F� .��� (�� � M � R �2b.LU�/+,� � M ���� � � � � ��S� ��B98/=S�

-��1��$<�<� ( ��� ()/8"���"��1� ��"J� � � ��q���� ���=�QE���- ��"�� � � �1�S� 01���&/��Z����� I���"��G' ��"J� �N�$*����P���P�&*��G''��"J�$< 0������ /Z�� �6��"��1�`��"��9F � � � � ���1�S�_ �S�:!Z�:!���< �L�C����� �@'D0���"J� ��'���� %��S�$<S0�����''��'C%� � ��q� ��� �S�� �< �:/Z�80 !G= �� (+*�E�`�S�F�4-GE9�� �����H�+ ���/���&J1���"!&D;�\)1�� �$.��+�3q��)�����5�!&�*f��� �$� ��*���\L�)1��5���5��&!/�&JO�d$.���OJ1)��/5�H.J1�&�* DGH� �02J��/�� ��[���9���� M$Q��+C��+C�" BJ�E '*�" ��,)1��J��/ �'dDGH� �0^J1�&�* mf

� ��S�;[ � �= � �2b.LU�� �9� � �[���9��[ �2b.Lm�� �9� ��B98�x��

��)1��+zJ� ��]$.�"Y� ��&J��/�� 6��D �f�V��\'��"J� ��S� �2b.L � ��

� � � � � [��� � � �"b.L � �

<%�/ �02�\J1 ��\34��)1�/��5�!&�S����)1�9�/ �$.�,LM�, �$.�, *JSf

� ��q� [ ��� � � �2b.L � �S[

��� � � � �T��q� ��B98 y*�

���4V DG)��*+ :PaBH���J��/�� ��\��B98�x����� �$l�*BR8 y*�Kf�VZ�\'��"J

��� � � � � ��S��[ �

�= �

�"b.LU�� �9� � �[� ��� ( � �� � � �2b.LU�� �9� � �[���9� ��B98 @B�

���*) (��[�� �$ � ( � � M f � ( � M 8#�� %H��,f��� � � � � ��q� (>�2b.LU��N� � M � �

�� � � �

�[� ����[ �2b.Lm��N� � M �.�#)S��� (c� � M � ��B98�s��

���S��)1)1�� �'��/ �'IJ��")1+[�"fMV��'*�2J�J1 ��d�TJ1��J��"+C�, *J9��D{J� ��J1 ��"�*)��,+6fM:PaBH���J��/�� p�*BR8/=S�28Z�� ��J� ��"��)1�"+ �/��L�)1�43��, `�/ 6�2b���02J�!/�[J� ��]�1��+C�\V��q�c�ND{J� �� � � ��)��\$.����0")��"J��*8

��x

Page 73: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�eJdVZ��H�!�$l��L�Lh�,��)\DG)��*+|J� ��[)1��J� ��,)'�)1�*�1�\�& ��SaBH���!/�NJ1�&�S��/ l:�aBH��4J1�&�* ��[�*BR8 @B�\�� M$�*BR8�s���J1 ��4J�J1 ��]5h��H� M$6�& r:�a*HM�4J��/�� l�*BR8/=S������)K�4J1 ��")�Lh�%��)S8����4VZ�"3*�")Sf%J� ��������� ���J9����&DUJ� ��RLM��)K��+C�2J1�") \�/��0"��)1)��S0^J1!&�[0K ��B�T�, Q�� M$c�&D � � M �/��'*)��S�4J��,)PJ1 ��� QJ� ��R+C�S�� `34��!&H����D �]8��U�`���"�]J� ����"f�02�* ����/$.�,)�J� ��]L�)1�%$�H�0^J �[���9� < � � 8�����)�!/��)�'*�")b��f �[���9���/ �02)1�,�*�T�S��� ���)1L�!/�6��)��*H� �$ E�]8]���4VZ�"3*�")Sf < � � 0,�� �5M�[02�* ����/$.�,)��S$r���R�QV��,�&'* *J1�& �'cD ��02J��*)9J1 ��4JVZ�"�/'� BJ1��!/��)�'*��� 3��,)��C ��S�q3%�&!/��8X�� %H��"f%J1 ��RL�)��.$.HM0^J �[���9� < � � V��/!&!; ��q3*�9�I�T ���)�LQ)������DG��)[����+C� �z!���)1'��,)]J1 ��� E�8>�� ��(J�)1�/0Ktp���IJ��iL��/0Kt 6J���J� ���J�J1 ����C)����T�(�.0"0"H�)1���4J� [ � � M 8R�� ���!&�BJ���0"��!&!/��fhJ1 ��/�R0"�� k5M�C$.�* ��]5%�(J1��t%�/ �'[J1 ��ILM��)�J�����!W$��")1�&34�4J1�&3*�,��V��NJ1 )1�,��LM�S0^JZJ�� \��DWJ� ��\)1�&'* BJ����/$��R��D{:�a*HM�4J��/�� i�*BR8/=S�Z�� �$(���2JTJ1�& �'��&J��,aBH���!MJ1�[��f.'��/3%�& �'

� � M [��� � �

=� ����q�

� � �T��q��� ��B98 }*�

���&J� QJ� ��\0K �����02�R��D�\����J����ODG�%�/ �'�:�aBH��4J1�&�* 7�*BR8 }*�^f%�&J�0"�� Q5M�\�� ��4V� cJ1 ��4JZJ� ��\5h��H� M$�/ (:�a*HM�4J��/�� ��*BR8&=q�^f.t% ��4V� (����J� ��I�� ��")1 ��43C5M�*H� �$;f���J�!/�,�*�OJ� ��*�PJ1 ��02�*)�)1�,02JZ�"b%Lh��E ��, *J1�/��!m$.�"Lh�" M$.�" �0"��� ��8� W�%:�1��%:c , � ���5� ��� � � �@'D0 � �4I�= R � R ��IH!=�e� J���L�=��.- �S�$'�0 �@* #1�1�����:!G< ����2U�L��" �Z�;!=�;!N��< �L�>= 0��&'J���L� = -8(+'�/N�8���@'J�/F � � � � ��� � �1E � �N�,��"����N�1��''� *��@*��G''��% �&' �N�S���C��' %5-8(+'�/&?�8���@' �.- � � ��� � I !=�

� �T� 1���T� [���� �2b.LU� � � ) ��� �e� F �1� � �/��� �e� � � � � � � ��B98 ���

� ��� �=�;/8" ��1�L� �4-@�S�$'�0 �@*N#1�1�����:!G< ��� !=�@���P���C�����8� /=�@<�< =��'�0 �P ��&'�0��&'��_�4-e�=�;/8" �1��"J�N�6 J���L��@'D0 0 ����' ��� �@'D0 !&=

��[ ��� � � � �

[��� � � � �� R �

��B98 A*�

FD"J�&'JI -���� �@' = �1�&!N�L�C�S��� =�')(+*,!=���=� � M �$'�0�� M IF[��� R � � M �� R � � M � R

��� � � M � �1� 1���T� P

��� � � K � M � ��� 1���*� P �"b.L +,�#� � M ) ��� M �z��B98 ?*�

-��1� �$')= R �+I�� R ��-��1�,2S"�� /A" � �T� 1���T� ��� �������&E ��- � �@'�0�� �1�Z� 0����&/��S�N��� I �H9G(��$?�8���@'g��B98 A*�����8��<�<)"J�@< 0�� 2U�L��" ��''�P� %��S�@< ����' �H9&(��1�8���@'g��BR8����@�S�P D< �;/=�80�!&= �8(+*��8I:�$'�0��"J� �Z�;!=�;!N��< �L�>= 0��&'J���L�>=��S�� �< �:/Z�80 !G= �e �S�:!=�;!N��< �L� =;E�`�S�F�4-GE9�m�"J �[� �,� ��5h�]J1 ���$��/�TJ�)1�&5�H.J��/�� kDGH� �0^J1�&�* 7��D �b� �� �$k!/�2J9J� ��I+��*+C�" BJTE'��, ��")K�4J1�& �'dDGH� M0^J��/�� 6��D �b� 5M�

R � 1���T��[ � �= � �

�= � �"b.LU� � ) �� � � �[���b� �

[ �2b.LU� � ) �� ��*BR8/=,�B�

�4y

Page 74: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�����/ �'[:PaBH��4J1�&�* i��BR8 AB���� �$QJ� ���/ �$.�,LM�, �$.�, �02���DX�1��+CL�!/�,�,f.V��\'*�2J

R � 1���T��[ �2b.L ���� � � � � � ) ��� �e� )

��� � � K4� � � �

[ � ��� � � �2b.LU� � � ) ��� �w� � �

��� � � K4� �"b%L � � �

[��� � � � � � 1���T�

��� � � K4� � � � 1���B� �*BR8/=�=q�

����+I5��/ ��& �'C:�aBH��4J1�&�* ��\�*BR8&=S�*�Z�� M$i��BR8&=*=S�Kf�VZ�\'��"J��� � � � �T� 1���T�

��� � � K4� � �T� 1���B��[��

�= � �

�= � �2b.LU� � ) �� � � �[� �,� �

( � � � ��

�= � �

��� �� � = � �2b.LU� � ) �� � � �[���b� �

���*) R ��f � R ��f � R � � M f��� �$ R � � M VZ� ��q3���"b.Lm� � ) �� � (g�"b.LU� �� � M ) ��� � M ��

�� � � � � � 1���T�

��� � � K4� � � � 1�1�*� (>�2b.LU� �� � M`) ��� � M �.�P),� � R � � M � R � � M �

���S��)1)1�� �'��/ �']J1�")1+[�"f.VZ�\'��2J�J1 ��]�TJ1�4J1�"+C�" BJ���D{J� ��\J� ��,��)1�"+6f�:PaBH���J��/�� l�*BR8 ?B�^8

�T�� � ��!*��, �5, � "$ ��� ���������i�V��/�� `J1�CY� �$6�� (�2b.L�)1�,�1���&�* cDG��) � ������[ � �E+��.�PJ1��+[��b%�/+C�&u,�\J� ���"b.L�)��S�����/�� Wc�� � 1�Ojh� [

,+ !& � ��q� + b+ M i ��jh� ) j�!/ � � �� ) �O=,+ jM�.!& � � �� P �*BR8/=Sx*�

V� ��,)��

� ��q��[ � �= �F M ����� � =�� � ����� � � � �*BR8/=,yB�

� � �� [ � �= � F M �����

�� E���= � I F � �����

�� E�� = � I � ����� � � � �*BR8/="@%�

�eD�V���V�)1�NJ1� � �����{�/ CJ� ���DG�*)�+ � ������[ � M ����� ) � � � �����^f � M ���.��V��&!/!�+[�4b.�/+��/u"��W`�� � 1�6jM��&D;Wc�� � 1�Ojh�����R+[�4b.�&+C�/u"�S$rV��&J� 7)1�,��Lh�,0^JRJ�� ��4J � [��`�/ �$.�,LM�, �$.�, *J\��D ��� ���.�28���

�q@

Page 75: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

0"�� I��H.J��*+C��J���0"��!&!/�����J����ODG�\J1 ���02�� M�OJ1)1���& BJ � ������[ � �E+��.�U���XV��Z)��,V�)��&J���J� ��Z�/ BJ��,'�)K��!���/ 6:�aBH��4J1�&�* ��\�*BR8&=Sy*�Z�� M$i��BR8&=,@B�Z�����/ BJ��"'*)1��!/��DG)1��+ �IJ1�28#�� %H��,f

� ��q��[ � �M � F M ����� � =�� ) F � ����� ��= � � . � M ����� ) � � � ����� 0 � � � �*BR8/=Ss*�

� � 4�;[�� �M

x�F M ������� E�� = � I F � ���.�

�� EL��= � I . � M ����� ) � � � ����� 0 � � � �*BR8/=,}B�

�����/ �'[:PaBH��4J1�&�* ��\�*BR8/=Ss����� �$i�*BR8&=S}*��VZ�R'*�2J

� Wc�� � 1�Ojh�� � [

��b+ �� � ��q� ��M�#F ��= �M ) F � =��� � � M ) � � � � � =d� � � � �

+ @j ��,+ �� � � �� � �M x�F �

� E�� = � IM F �� E�� = � I� � � M_) � ��� � � =d� ��� � �

+ B�O=,+ jM� ��,+ �� � � �� �

�M� F � = �M ) F ��= �� � � M_) � ��� � � =d� ��� � � �*BR8/=q���

�eDW:PaBH���J��/�� YBR8/=q�R����V�)��&JTJ1�" `�*H.JZ�*�P�* ����/ BJ��,'�)K��! f*�&JZ���Z02!/�,��)PJ� ���JZ�&J�V��&!/!M5h�\�d�4J�;[ ���& �$��"Lh�" �$.�, BJ���D ��� ���.�Z�* �!/�c�ND{J� ���& BJ��,'�)K�� �$Q�����/$.�, BJ���0"��!/!/�`��8#�� %H��,f=

� ��S���F ��= �M ) F � =��� � � =d�M + j

� � �� x�F �� E���= � IM F �

� E�� = � I� � � =d�M+ =,+>j

� � �� �#F ��= �M ) F � = �� � � =d�M [ � �*BR8/=,AB�

� M ���.� � = � [�

� E � I � x&F M ����� �� E�� = � I F � ����� �� E�� = � I � ) � = �� E � I � F M ����� ��= � ) F � ����� � = � �

�� E ��I � F M ����� ��= � ) F � ����� ��= � � �*BR8/=,?B�

�{�& ���!&!/��f�V���*5��T�,)�3*��J1 ��4J��&D��� � M ���.���1�4J1�/�TDG�%�& �'c:PaBH��4J1�&�* ���B98/=,?B�Z�/��+IH�!&J��/L�!&�/�,$5%�7�� p��)�5��&J�)K��)1�r02�* ��TJ1�� BJSfm�NJ]V��/!/!P�OJ1�&!/!P�1�4J1�/�TDG��:�a*HM�4J��/�� ��*BR8/=,?*�\$�H��CJ��6J1 ��c02�*+IELh�" ��1�4J1�& �'(0K ��� �'��,�9�/ � ��q�^f � � ��R�� �$ � � 4�28d�� %H��,f;V��NJ1 ��c!/�&JTJ�!/�C+[�� ��/L�H�!��4J1�&�* rV��'��"J�:PaBH��4J1�&�* i��y�8 @*�B�K8

���"bBJ\VZ�I�� ��4V J� ���J�J1 ��/�R34��!/H��I��D � M �������%�/�"!�$��\�c!/�.0"��!W+[�4b.�&+IH�+-��D W`�� � 1�6jM�V��&J� 6)��S�TLh�,02J�J�� �S8

� �OW`�� � 1�6jM�� � � [

��b+ 4� � ��q� � � � ��q� � � � ��q�� � � + � � � ��S�� � � � �+ @j��,+ 4� � � �� � � � � �� � � � � ��� � � + � � � � ��� � � � �

+ *�T=,+>jh���,+ 4� � � �� � � � � �� � � � � ��� � � + � � � � ��� � � � � �*BR8�x��B�

��s

Page 76: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���� M�T��$.�")ZJ1 ��\Y�)K�OJ�5�)K��0"�9�/ k:PaBH���J��/�� l�*BR8 x��*��9

� ��q�� � � ��q�� � � + � � � ��q�� � � � � � M [ B��b+>=q� � � �

M��F � =��M ) F ��= ��

� � �M � � �� � � �

M� F ��= �M ) F � =���

� � � = �M � �� � � �+ � � � �

M� F � =��M ) F ��= ��

� � ��= �M � � � � � ���)1��+ J1 ��d<.0K %V���)�J�uR�& ��SaBH���!/�NJO�*f

� � �M� F ��= �M ) F � =���

� � � = �M ��� � � � � R � � �M� F ��= �M ) F � =���

� � �M � � �� � � �

M� F ��= �M ) F � =���

� � � = �M � �� � � �� ��q�

� � � ��q�� � � + � � � ��q�� � � � � � M ( + � ��q� � �

M� F � =��M ) F ��= ��

� � � = �M � �� � ��w (J� ���1��+C�V��q��f%�NJ�0,�� (5M�]�� ��4V� QJ� ���J��4J � [ ��f

� � �� � � � � 4�� � � + � � � � ��� � � � ( + � � 4��x � �

MF �� E�� = � IM F �

� E�� = � I� � � = �M � �� � �� � �� � � � � ��

� � � + � � � ��q�� � � � ( + � � 4� � �M� F � = �M ) F ��= ��

� � � = �M � �� � �����+I5��& ��& �'�J1 ��,���)��S�TH�!NJK���� �$QH����& �'CJ1 ��\D ��02J�J� ���J (���f R ��f.V��RY� �$� �UW`�� � 1�6jM�

� � � ��MR ,+ � �M � =

� ��q�� F ��= �M ) F � =���

� � � = �M ���+ j� � �� x&F �

� EL��= � IM F �� E���= � I� � � = �M � ��

+ =,+ j� � �� ��F � = �M ) F ��= ��

� � � = �M � �� � � � �*BR8�x.=q�

�{�& ���!&!/��fh02�*+�LM��)1�& �'�J1 ��d�/ BJ��"'*)1�� �$Q��D#:PaBH���J��/�� l�*BR8 x�=S��V��&J� r:�aBH��4J1�&�* i��B98/=,AB�^fVZ�\���"�RJ1 ��4J�J1 ���& BJ1�"'�)K�� M$`�����/$��" BJ���0"��!&!/�`��8#�� %H��,f

� � Wc�� � 1�6jM�� � �

��MR �

�� M$9VZ�� ��q3*�{�S�OJK��5�!/���T ��S$9J� ���JW:PaBH���J��/�� C� y�8 @*�B�h�%�&�,!/$��U��!&�.0"��!�+[�4b.�/+dH�+n��D#Wc�� � 1�6jM�V��&J� 6)��S�TLh�,02J�J�� � �����28

�4}

Page 77: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�T�� � $���,-����"&!*�� �- �� ��� � a���* ;, ��� �6 ;���S�;!�w RJ� ����U���,02J��/�� mfSVZ�#�T�/+CL�!&�&DG�9J� ����"b%L�)��S�����&�* �DG�*)SWc���� 1�Ojh�;'*�&3*�" R�& ]:�a*HM�4J��/�� M���*BR8&=qx��Kf�*BR8/=,yB���� �$7�*BR8&=,@B�#5B���"!/�/+��/ ���J��/ �' � ���.��DG)��*+ :PaBH��4J1�&�* �����BR8&=Sy*���� �$r�*BR8/="@%��5%�IHM�OE�/ �'[:PaBH��4J1�&�* i��y�8 @�=q�9� )��,LM�S�4J1�,$Q ��")1�����:PaBH���J��/�� l�*BR8�x�x��PDG�*)�02�� %3*�" ��/�" �0"�S�28

� ������[ � F M ���.� �� EL��= � I ) F � ����� �� E�� = � I ����= � � F M ���.� ��= � ) F � ����� � =�� � = �� = � �*BR8�x�x*�

�{�&)K�TJ�VZ���$�$6�� �$Q��H�5.J1)1�*0^J �.��,+ 4�.!& �. � � �� ) � � �� 0WDG)��*+ :PaBH���J��/�� l�*BR8&=qx��K8#�� ��/�'��/3��S�ZH��

Wc�� � 1�6jM�;[ + !& � ��q�

+ + � i �kjM� ) j�!& ) �T=,+>jh�%!/ W�O=,+ X� ) !/ S. � � �� ) � � 4� 0�� �*BR8�x�yB�

Z[�!/ � � ��� � �� ) � � �� �*BR8�x4@%�

�i)��&J��/ �'C��H.J � ��q���� �$ � � �� ) � � ��Z5%�`H����/ �'[:PaBH��4J1�&�* i��BR8 x*x��Kf�VZ�\'��"J� ��S��[ � � �� ) � � 4�[�� �

MM F M ���.� ��= � ) F � ����� � =�� P =��� � � M F M ����� �� E�� = � I ) F � ���.� �� EL��= � I P � �� � � �*BR8�x�s*�

<%H�5��TJ��&J�H�J��/ �'c:PaBH���J��/�� ���BR8 x*s����& BJ1�C:�aBH��4J1�&�* ��*BR8�x�yB�Kf��� M$cV�)1�NJ1�& �'C�*H.J�J� ���"bBEL�)1�,�1�T�/�� `DG��) �f�VZ�'��2J�:�a*HM�4J��/�� M�R��y�8 @*yB�KfU� y�8 @*@B�KfM�� �$l� y�8 @%s��K8

�T�� � ��, � $����� "&!*�� � �� �� �6 � �S�;! �� �� " "�5�� , � ��+ �S, �5$ � ���/"&� � ! �>� ������� �� ����S+

:PaBH���J��/�� �� y�8 @%���R�T ��4V��9J1 ��4J � � {�6[ �T=@+ 2\�.!& �x�fmV� ���0K ����\�& M$.�"Lh�" �$��" BJd��D ��/ J� ��/��0,������8��� %H��ZJ� ��\�"b%L�)��S�����&�* [DG��)�W`�� � ��^fM:PaBH��4J1�&�* ���y�8 @*y*�2f.�/���/ �$.�,LM�, �$.�, *J���D �� M$Q0,�� (5M�V�)1�NJ�J��,

Wc�� � �� [ ,+ �O=,+ 2�%!/ �x

+�!/ � ��F � =��M ) F � =���� =��� � � ��F �

� E�� = � IM ) F�� E���= � I�

� � �� � � � � �*BR8�x�}B�

�eD�V��d ��4Vn+[��t��\J� ��I��H�5��TJ��&J�H.J1�&�* �� ��[ �.�� + ��^f � � [�=,+ �f � � [ �� �O=b+ ��^fhV��'��"J

W � � � � � �.��[ ���O=,+ 2�%!& �x@+i!/ � � F � �M ) F ��

�� ��= � � F � �M ) F � ��

� � � � � �*BR8�x*���

���

Page 78: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

V� ��,)��� � [

=,+ � � �O=,+��%�x�����"bBJ�VZ�RY� �$QJ� ��+C��b.�&+IH�+ ��D&W � � � � � �%�Z�43*�") � � 8#���"Y� ��

� � � � � �.��[ M F M �����QP � � ) M F � ����� P � �W � � � � � �%��[ �h�T=,+Z2�%!/ �x@+i!& � � � � � � ��� � = � � � � � � ��� � � � �

� W � � � � � �%�� � �[

+ � �M � � � � � ��� � = � � � � � � ��� � � � �O=,+��%� � �� � � � � �.�� � � � � ���

+ x�� � �� � � � � ���2�T=,+��.�� � � � � ��� � � � � �� �M � � � � � ��� � = � � � � � � ��� � � � �

�*BR8�x�AB��� ��[L���)TJ1�/��!X$��")1�&34�4J1�C�& l:PaBH���J��/�� >��BR8 x�A*�9VZ�*�9J1��t*�" iV��NJ1 �r02�� M�OJK�� BJR5�H.J � �34��)1�%�& �'6V��&J� �� � ��0,02�*)1$.�/ �'(J��r:�aBH��4J1�&�* ���BR8 xB���K8(�eJd���d02!/�,��)\DG)��*+ J1 ��c5�)K��0Kt*�2J1�,$

J��,)�+ �& p:�a*HM�4J��/�� ��*BR8�x�AB��J1 ��4J%W � � � � � �.�R �����k�TJ1��J��/�� ���)��kLh���/ BJd�4J � � [ � � fU��)=,+ 5[ �� �O= + ��^8�w 7�*)1$.�,)�J1�Q�� ��4V~J� ���J � � [ � � ��02J�H���!&!/�6+C��b.�&+C�/u"�,� W � � � � � �.�^f��&JR���R�TH.�c0"�&�, *JJ��r�� ��4V�J� ���JI:PaBH���J��/�� ��*BR8 x�A*�R��� ��* � ��"'B�4J1�&3*�dDG�*) � � � � � �� �$i ��� �Lh�*���&J��/3��CDG��)� � � � 8#<%�/ �02�9J� ��\���&'* c��DU:�a*HM�4J��/�� ��*BR8 x�A*�#�/�Z$.�2J1�")1+C�& ��S$c�* �!&�C5%�CJ� ��95�)K��0Kt*�2J1�,$J��,)�+6f. ��4VZ�"3*�")Sf%�/���&J��TH��[0"�&�, BJ�J��c�� ��4V�J� M�4J�

� � �� + � �� � � � � �.�� � � � � ��� ) � �� � � � � ���� � � � � �.� � R � �*BR8�x�?B�

�9)Sf

+ � � �� � � � � �.� � � � � � ��� + . � �� � � � � ��� 0L�. � � � � � ��� 0 �) � � �� � � � � ��� � � � � � ��� + . � �� � � � � ��� 0L�. � � � � � �.� 0 � � + �O=_+��%�x�� � R �

�i)��&J��/ �'C��H.J�J1 ��\Y�)K�OJ�J1�")1+(f�V��\'��"J

+ M F � �M � !& 9F M �E� ) F ��

� �G!/ 9F � �/� P M F � �M ) F ��

� P + M F � �M !& 9F M ) F ��

� !/ 9F � P �. � � � � � ��� 0 ���)1��+_J� ��\<.0K %V���)�J�u��/ ��Sa*HM��!/�NJO�*f�J1 ��R���,0"�� �$cL���)�J���D;J� ����Z�2b.L�)1�,�1�T�/�� [���P!/�,�1�PJ� ��� ��)��,aBH���!�J��dJ� ���Y�)K�OJSf%���J1 ���V� ��*!&��J��,)�+ ���# ��,'*�4J1�&3*��8{�w [J� ��R�1��+C��V��q��f�J� ��\�T�S02�* �$J��,)�+ ���X ��,'*�4J1�&3*��f4�S�OJK��5�!/�/�� ��/ �'9J� ���J�= + �[��T= + �� ��x��%�&�,!/$��X�R+[�4b.�/+dH�+ ��D Wc���� ��^8<%H�5M�OJ1�NJ1H.J��/ �'CJ� ��/���/ BJ��c:�a*HM�4J��/�� i�*BR8�x�}*�2f.V��'*�2J

W`��q��[ =,+ �O=,+ 2�%!& �x@+i!/ � �M M F � =��M ) F ��= �� P � � E�� =�� I � � �*BR8 y��B�

�4A

Page 79: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�T�� �$� ��� �*"$ � ����w r�*)1$.�,)�J1�`+[�4b.�/+C�&u,�I:PaBH���J��/�� g��y�8 }�=q���43��,) C�� M$ %fm�� �$rJ� ��,)��,5B�6+C�/ ��&+C�/u"����H�)H�L�Lh�")C5h��H� M$oJ1� EF2G[DG�*)�J� �� B�<��9f�V��602�*H�!�$g���&+CL�!/�g02�*+d5��/ ��6:PaBH���J��/�� ��(� y�8 }�=S�Kf� y�8 }Bx��Kf��� �$7��y�8 }�yB�Kf��� �$cJ� ��, (���2JZJ� ��RLM��)�J�����!;$.�")1�/3q��J��/3��S�PV��&J� ()��S�TLh�,02J�J1� *f %f��� M$j7�,aBH���!UJ��(��8��� ����9L�)��.0"�,$.H�)1�]����J1�,$.�/��HM�"f��� �$6�&J\�/�9$.�N�c0"H�!NJRJ��($.�"+C�* ��OJ1)1��J��J1 ��4JJ� ��R�TJ1��J��/�� ���)��CLh���/ *J����]DG�*H� �$Q�/�Z�/ �$.�"�S$cJ1 ��R+C��b.�&+IH�+ �43��,) *f ]��DWJ� ��R+C�& ��&+IH�+�43��,)^jm8 ���4VZ�"3*�")SfPVZ�k)��S0"��!/!�J1 ��4JQ:�aBH��4J1�&�* ��k� y�8 }�=S�dJ�� ��y�8 }�@%�dVZ�")1�r$.�,)��/3��S$g5%��"!/�/+��/ ���J��/ �' � ������DG)��*+ :PaBH���J��/�� l� y�8 y%���K8

���*)IJ1 �� B�<M�9f{�&JC+C��t��S�d ��l$.� � �,)��, �02�(V� ���J � �����d�/�,8o�9H��`J1�7J1 ��k�T�%+C+C�2J1)��02�* �$.�&J��/�� mf#:�aBH��4J1�&�* � y�8�s��2f � � ) =q�_[ � �/+=q�^f#�� �$lJ� %H�� � �����]�/���TLh�,0"�NYM�,$o5%�i�� ��34��!/H���8X���4VZ�"3*�")SfqV����� ��4V��S$]J1 ��4J�+IH�!NJ1�&L�!&�%�/ �' � �����W5%�d�\02�� M�OJK�� BJ#$.�%�,�X ���J�0K M�� �'*�W[f.���]J� M�4J � �����P0,�� c5h�0K ��*���" Q���9=�DG��)�J� ��/B�<��98%�ZJ�J� ����ZLM�*�& BJSfBVZ�90,�� Q)��"J�H�)1 [J��:PaBH���J��/�� i� y�8 yB���Z�� �$(+C�& ��&+C�/u"�\J� ��/��$��&)1�,02J�!/��8X��� M�q3���f.!/�2J�J��/ �' � [SF M �/+=S�

EF G R +[��b�

+C�/ � � � � �

� �2b.L,��. !& � ��q�:+ � 0

) �S] � �"b.L`� M i ��jh� ) j�!/ � � �� ) �T=b+ jM�%!/ � � ��U+ � P � �*BR8 y�=q�

� ��q��[�� ��= � ) �O= + ��� � =��� � �� [ x � � = �� �T=b+ ��� � = ��

�*BR8 y*x*�

�W��+C�/ ��/+��/u"�]:�aBH��4J1�&�* i��B98 y�=q���43��")�*f.VZ�]0"�� 6���&+CL�!/�c+C�& ��&+C�/u"�a. !& � ��q� + � 0

� [� � =�� !/ U�O= � ��� ) �T=,+ ��� � =�� !/ S.N= �.�T=`+��h� 0

� ��= � ) �T=,+ ��� � =���*BR8 y�yB�

�&D � �����/ QJ1 ��L�)1��Lh�")�)K�� �'*��J1�C+C��t��� R �28

�U�[���"�\J1 ��4J�:�a*HM�4J��/�� i�*BR8 y�y*�Z�*0^J�HM��!/!&�c+C�/ ��/+��/u"�S� EF G f�VZ�\0,�� 6�T ��4V J� M�4J� �:. !/ � ��q�:+ � 0

�� � (�� �*BR8 y�@%�

�� �����0"�� Q5M�$.�* ��\�"�&J� ��,)�5B�c�TJ�)K���/'� BJ�DG��)1VZ��)1$C5�H�JZJ1�,$.�/��HM��$.� � �")1�" BJ1�/��J��/�� `�*)�5B�[)1�2E0"��!&!/�/ �'�J� M�4JUJ1 ������,0"�� �$$��")1�&34�4J1�&3*�#��D����T�,+��&Ee�& %34��)1�/�� BJm'��" ��")K�4J��/ �'�DGH� M0^J��/�� . !/ � ��q� 0������!/VZ�q�.�ZLM�B�T�&J��/3�� . @10e8#�m�/t��,V��/����f%+C�& ��&+C�/u"�/ �'[�43��,) �'��/3��S�ZH��

� [+Djx �{�O=,+��h� ) �O=,+ jM� � � = � !/ U�T= � ��� ) �T=,+ ��� � = � !/ S.&= ���O=,+��h� 0

� ��= � ) �T=,+ ��� � = ��*BR8 y*s*�

�&D � �/���/ (J� ��dL�)��*LM�,)�)1�� �'��9J��[+[��t���+ 2 � R ��8P�{�& M��!/!&�QV��]0,�� (+��/ ��/+C�&u,�]�43��,)� 5%�c+[��t%�/ �'�J� ��\JOVZ�C�2b.Lh�� ��, *JK���,aBH���!�8

!/ � � � =�� ) �O=,+��h� � =�� � + �[ i �kjM� ) j�!& �x )

jW�O=b+ ��x !/ �W�O=,+��h� ) �O= +>jh�%!/ � � ��= � ) �T=b+��h� � = � � + �

�*BR8 y�}B�

�4?

Page 80: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

:PaBH���J��/�� ��6��B98 y�@%�Kf\�*BR8 yBs����� M$~��BR8 y*}*�I0"�� �5h�kH��T�S$��& �L�)1�& �0"�&L�!&�6J1�l����!/3��QDG��) *f %fU�� M$ � �/ 7J1�")1+[�9��D ji�&D��(����!/H.J��/�� ��2b.�/�TJ1�\V��&J� l� R �2�6+

2� R ��8d�U�

���&+CL�!/�NDG�]J� ��S�T���,aBH���J��/�� ��,f4Y�)K�TJ�0"��+I5��& ��Z:�a*HM�4J��/�� M�Z��BR8 y*y*�{�� �$Q�*BR8 y*s��UJ1�R�,!&�/+C�& M�4J��� 8

+ � � !/ � +��T=,+ � � �%!/ U�O=b+��h��[ + j x !/ �W�T=,+ ���:+��T=,+>jh� M � � !/ � ) �T=,+ ���%!/ U�O=,+��h� P�*BR8 yB���

V� ��,)��

� � [� � =��

� � =�� ) �T=,+ ��� � =����[ � � = �� � = � ) �O=b+��h� ��= �

�� R � R � �

�*BR8 y�AB�

�� ���J� ��/)K$d02�* �$.�&J��/�� ]�/ I:�aBH��4J1�&�* `�*BR8 y�A*�U���U)1�,aBH��/)��S$5%�\J� ���02�* �$.�&J��/�� (���f R ��8���,��)�)K�� �'��/ �'I:�a*HM�4J��/�� l�*BR8 yB���Kf�VZ�R'*�2J

� + � � ) j x ) �T=,+>jh� �� !/ � [ � �O=,+�� � �U+

jx +��T=,+>jh�2�T=b+ �

�� � !/ U�O=,+��h�

[ � + � �:) j x ) �O=,+ jM� �� � !/ W�O=,+��h�

� � [jx ) �O=b+ jM� �

��*BR8 y�?B�

:PaBH���J��/�� ��B98 y�}B�0"�� g��!����k5M�6�T�/+CL�!/�NY��S$p�&D�V��Q��$�$ � J����,�*0K o�T��$.��fXJ1 ��" >�TH�5M�OJ1�NEJ�H�J��I:�aBH��4J1�&�* l��BR8 y�@B���/ kJ� ��d!/�2DFJR����$.�]��DP:�aBH��4J1�&�* l��BR8 y*}*�^f��� M$k�TH�5M�OJ1�NJ1H.J���:PaBH��4EJ��/�� l�*BR8 y*s*�#�/ `J1 ��\)��/'� BJ����/$.�R��DX:PaBH���J��/�� ���BR8 y*}*�^8���DFJ��")9�T�*+��\���&+CL�!/�NYh0"�4J1�&�* mf%J� ��/��%�&�,!/$��

R �� � ��[ i �kjM� ) j�!/ 9x ) �O=,+ jM� R ��� � � �*BR8 @*�B���!�����f*���/ �02�9V��� ��q3*�����2J#J1 ����"b%Lh�� ��" BJ1���/ `:�a*HM�4J��/�� k��B98 y�=q�X�,aBH���!�fBVZ��0"�� c�T�/+CL�!&�&DG�J� ��I�"b%L�)��S�����&�* 6DG��) EF�G48\�P)��.0"�"�,$��& �'`�& 7J� ���VZ�q�(H����,$rJ��`'*�2J:PaBH���J��/�� o�*BR8 @*�B�^f�V����5�J1���/

EF G R +[�4b�

�T= ) �S] � �%�"b.L@+,� � + R �� � � ) � � !/ =� ) �T=,+ � � �%!/

==,+ � � �*BR8 @�=q�

V� ��,)�� � � �1�4J����TY��,��:�a*HM�4J��/�� M�R��BR8 y*?*�Z�� �$i�*BR8 @*�B���� �$ � � R � R � � 8����J��DG)1��+ �{�&'*H�)��Iy�8 @CJ� ���J�J� �� EF G �/ 7:�a*HM�4J��/�� p��B98 @�=q�Z�/�R$.�S02)1�,�����/ �'CV��NJ1 � � f���rJ� M�4J[+[�4b.�&+C�/u"�/ �' j�+��S�� ��IJ1�7Y� M$oJ1 �� j>DG�*)CV� ��/0K gJ� �� � � �1�4J����TDG�B�/ �'i:PaBH��4EJ��/�� M�I��B98 y�?B���� M$o�*BR8 @*�*���/�9+C�& ��&+C�/u"�,$m89�_�T�/+CL�!&�,)�DG�*)�+IH�!��4J��/�� 6DG�*)�J1 ��/�/ji0"�� r5M�DG��H� �$QDG)��*+ :PaBH���J��/�� l�*BR8 y�=S�Kf�DG)��*+zV� ���0K sjk�/��0K ��B�T�, `J1�C+C��b.�&+C�/u"�

� i ��jh� ) j�!& � � ��� � �� � [ i �kjM� ) j x !& �@ � � �T=b+ ��� �*BR8 @Bx*�

A��

Page 81: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � � � �Y�����S� ��� � � � ��� � � � �/� � � � �/� � ��� � �� ���������� � ����� �����q� �

�� p�*�T�%+CL.J���J���0�5M�*H� �$i�� �J� ��[L�)��*5���5��/!/�NJO�r��D�$��,02�.$.�/ �'6�")1)1��)\H����& �'6L�)1��5M��5��/!&���TJ���0$.�S02�.$.�/ �'`V����9$.�"3*�"!/��Lh�,$6�/ l�� ���L.J��,)9@Mfh:�a*HM�4J��/�� o� @�8/=,?B�K8R�� ��/�95M�*H� �$7VZ�*��'��/3��, �����\DGH� �02J��/�� c��D�J� ��9 BH�+d5h�")Z��Dm$.�,0"�.$.�& �'d�&J��")K�4J1�&�* ��,8U�w [J1 ��/�Z��L�LM�, �$.�&b�fBH�L�Lh�")��� M$!/�4V��,)#5M�*H� �$���V��/!&!M5M�R$.�")1�&3*�,$C�* [J� ��9+[�4b.�&+IH�+_ BH�+d5h�")Z��Dm$.�,0"�.$.�& �']�NJ1�")K�4J1�&�* �� �J� M�4JZ0,�� c5h�\��0K ��/�"3*�,$CV��&J� Q�� 7� �U�&� �'����02�.$.�95M�"DG��)1��J� ��9�/ �$.�,LM�, �$.�" M02�\���1�TH�+CL.J1�&�* ��D��� ��,��)1�"+ @M8&=5h�,0"��+C�,���& %34��!/��$;8��i�d�� ���!/!U�� ��4VnY�)1�TJ�J1 ��4J�DG�*)��� %�i� �U��� ������02�.$.��-+dHM�OJ�5h�H�L�Lh�")�5h��H� �$.�,$(5%�� � !&�*'*�

!/��'M��� +>=q�2� � +�=S� � �98/=S�

<%�S02�� M$;f��� �$�+C��)1�k�/+�Lh��)�J1�� BJ,f��o0"�� ��TJ�)1H�0^J1�&�* �L�)��.0"�,$.H�)1�kV��/!&!95M�i$.�,�102)1�&5h�,$�5%�V� ���0K Q�&J�������!/VZ�q�.��LM�B�����/5�!&�\J1��Y� �$6�� p� �U�&� �'����0"�%$��\�1�4J1�/�TDG�%�& �'� ) =5 !/��' � ) !/��' � � = �c= �� �x�!&�*'M����+�=S�"� � +>=q� ( � � �98�x��

����J���J1 ��4J�DG��)�!/��)�'*�,��f�J1 �� � '��/3��" C5%�C:PaBH��4J1�&�* r� �98�x��X���Z��L�L�)1�qb.�&+[��J��"!/�] ���!ND;J1 ��4J'��/3��, Q5%�`:�aBH��4J1�&�* �� �98/=S�"8� W�%:�1��%:c R �*��� � ��� � !=�@��"J� < ��� %a����� ')(+*,!=���@�4-���'�0��� ��G'D0��&'���0��8/=�701��'C%��L�P�N�S�1�8���@'�� ����=��� !G< �S-��1� �$')= /=�70��@�4- !&< �1/8B�< �G' %���"@� 2U�L��" ��01�6%��L�C�4 ��N� J�����L� =@?./8"J�8/8B��$'�0 � ��1���L�>=@?/8"J�8/AB��N���C�` J�N� 01�6%��L�QE�F�"��G' � � !&�*'*�

!/��'M��� +>=q�2� � +�=S��`�S�F�4-GE\���� M�T��$.�")Q�� �QE�J1�&�,)cL���)1�&JO�*Ew0K ��S0Ktg�T�"JcJ�)1�"�6DG�*)Q�� B��$.�/'��&J`�& �� %�~���U��� �'���02�.$.�*8 �U�o�*0K ��/�"3�� � �/ �$.�,LM�, �$.�" BJQ$��,02�.$.�/ �'l�&J��")K�4J1�&�* ��,f��S��0K � ��.$.�6��DRJ� ����CJ�)1�"�+dHM�OJd0"��)1)��S�TLh�� �$rJ��r�6���"L���)1��J��[$.�/'��&J]�& iJ� ��/�I02�.$.��8c�� %H��,fmJ1 ��c %H�+I5M�,)��D� ��.$.�,��/ rJ� ����QE J��/�")RJ�)1�"��+dH��TJ5M�C�4J+C�*�TJ\�,aBH���!{J1�`J1 ��C5�!&�.0Ktk!/�" �'�J� ��8I�� ��IY�)K�OJRJ��/�")02�* BJ1���/ ��Q��� + =S�] ��.$.�,�IDG��)��,�*0K p��D�J1 �� �i5�)1�� �0K ��S�])1�/���& �'rDG)1��+ J� ��(5��*�T�Q ��.$.��8�� %H��,fmJ� ��CY�)1�TJJ��/�")I02�� BJK���/ ����h��� + =S�R$.�/'��&J1�,8`:���0K i��DZJ� ��S�T�c$.�/'��&J1�]'��/3��,�\)1���T��J��� �,+7=S�"���b+7=S�X$��&'*�NJK�#�� CJ1 ��9���,0"�� �$IJ1�&�,)����& �0"���� �!&�6� �_+�=S�X5�)1�� �0K ��,�X)1���T��DG)1��+_�,�*0K ��.$.�9�� cJ1 ��9Y�)1�TJPJ1�&�,),8��� %H��,fBJ� ��,)��\��)1� �h� ��+l=S�"���@+p=S�E��$.�/'��&J1�Z�* [J� ��\���,02�* �$CJ1�&�,),8<%�/+C�&!���)1!&�*f%J� ��,)����)����h� � +>=q� � = � ��� +�=S� � $��&'*�NJK���� QJ� �� ������J��/�")S8��� %H��"f= ) �h����+�=S� ) �h� � +>=q�2��� +�=S� � ) ����F) �h� � +>=q� � = � ��� +�=S� �

) �h� � +�=S� � =d� ����+�=S� � R � � �98 y*��� ��\�2b.L�)1�,�1���&�* `�� QJ� ��!&�"DFJ���D�:PaBH��4J1�&�* ��e�98 yB�Z�/��!/�4V��,)�5M�*H� �$.�S$Q5%�c�&J1��!/�*�OJ�J��,)�+6f�� M$cJ1 ��4J��/ (J�H�)1 6�/��!/�4V��,)�5M�*H� �$.�S$Q5%�7� � +�=S���I��� +>=q� �df� ��" M02�

� � +>=q� � ��� +�=S� � � � � �98 @B��{��t%�& �'`J1 ��C!&�*'*��)1�&J� �+-��DP5M��J� p���/$.�S�R��DZ:�aBH��4J1�&�* >� �98 @B�2fmVZ�I'*�2J]:PaBH���J��/�� >�e�98&=q�^fL�)1�43%�& �'IJ� ��\J� ��,��)1�"+68

A�=

Page 82: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

:PaBH���J��/�� l� �98 y*��0"�� (��!/����5M�]��H�+C+C�,$(�2b���02J�!/�[J��['*�2J

= ) �M� � +�=S� � =d� ��� +>=q� � � =,+�� � +>=q� = �I��� +>=q� = �=,+�� � +�=S� =d� ��� +>=q� = � � R � � �98�s��

�� ��602�*+�L�!&�"b%�&JO�o��D9:PaBH���J��/�� n�e�98 s*�^f� ��4V��,3��,),f�+[��t*�,�I�NJ[!/�,�1�CH����2DGH�!�J1 ��� �:PaBH��4EJ��/�� l� �98/=S�28BZ�2DG��)1�I$��,�102)1�&5��/ �'(�`02�* ��TJ�)1H�0^J1�&�* rL�)1�%0"�,$.H�)��dJ��Q�1�4J1�/�TDG�k:PaBH���J��/�� g�e�98 x*�^fm�c)1�2E

!��4J��/�� M�T ��/L`V��/!/!h5h�\�,�TJ1��5�!&���� ��,$`5M�"JOV��,�" � �� �$[J1 ��\)��,!/��J��/3��9!&�.0"��J��/�� ��Z��DmJ� ��C= � �Z�/ J� ��9L���)��&JO�BEe0K ��,0Kt�+C��J�)1�Nb;8��9�2Y� ��� /G< �1�N�A0e J����"Q�/ `LM��)1�NJO�BEw0K ��,0Kt�+[�4J�)1�&b[J���5M�\�I���2EaBH��" M02�R��D{0"�� � ��,0^J1�,$(��!&J��,)� ���J��/ �'d ���)1�&u,�� BJ1��!��� �$c3*�")�J���0"��!h!/�/ ��,��V��&J� QJ� ��RDG�*!&!/�4V��& �'L�)1��Lh�")�J��/�,�N9]�{�&)K�OJSfmJ1 ��[!/�*�OJ]!/�/ ��[�& iJ1 ��`���,aBH��" M02��J��,)�+C�/ ��4J1�,�]��JJ� ��[5h�"'*�& � ��& �'k��DJ� ��CY�)1�TJ]!/�& ��*���T�S02�� M$;fU�S��0K l3��,)TJ1�2b7���]�4Jd�(Lh���/ BJdV� ��")1��J� ��`L���)1�NJO�BEw0K ��,0Ktk+[��J�)1�Nb02�* BJ1���/ ��]�o=�8r�z3*�")�J��"bi���] ��,)��Q$.�2Y� ��,$o�*�d�r0"�� � ��S0^J1�&�* pLM�*�& BJI5h�2JOVZ�"�, o�THM0"02�S�OE���&3*�[!&�/ ��,�d�& lJ1 ��`���,aBH��, �02�*f{�/ �0"!&H�$��& �'rJ� ���Jd5M�"JOV��,�" lJ1 ��c!����TJI�� �$iYM)1�TJ]!&�/ ��S�`� ���"��{�&'*H�)1�c�98/=S�28c���"Y� ��CJ1 ��[!&�, �'�J1 l��DZ�60"!&�B�T�S$7L���J� p���RJ1 ��[ %H�+d5h�")d��D�!/�/ ��,��/ iJ� ��

�{�&'*H�)��d�98/=>9�:�b���+�L�!&�\��D�02!/�*���,$QL���J� (��DX!&�, �'�J1 6}�8 B�!��� �t%� [ ��� �,���T!����� ��,� [ =�� �"8

���,aBH��" M02��89����)R�2b���+�L�!&�*f�J1 ���0"!&�B�T�S$6L��4J1 r�/ 7�{�&'*H�)��[�98&=d ����9!&�, �'�J1 7}�8R����J��]J1 ��4J�[ ��*)��/u"�* BJ1��!;�*)�3��,)TJ1�/0,��!m!/�/ ��I0,�� kL��*����J1 �)1��H�'* (��J� ��,)�!/�& ��,���� �$6��J1 ��")9�� ��S���/ kJ� ��+[�4J1)��&bI�� M$I�����TJ��/!&!h02��H� *J1�,$����X�* ���!&�/ ��*8W�i����!/!/�4VpJ� ������,aBH��, �02����Dh!/�/ ��,���*�����.02���4J��S$V��&J� 6�I0"!&�B�T�S$cL���J� QJ��C�OJK��)�JZV��&J� 6�� %�[!/�& ��\�/ `J1 ��\L��4J1 (�� �$c'*�I�/ (�"�&J� ��,)�$��&)1�,02J��/�� m8KL%:cdc "tR���� � ��- �@' � ����*���S� /G< ���N�80� ��1��"c�4-,< �G' %���" � ���������C����' �� J�����L� =@?./8"J�8/8B*��1�8��� ���@'D0 ' ��/&< �1���80� ��1��" �.-�< �G' %���"�< ���=����"J�@' � ��� �������8Ib��"J�&' � I,��"J�,' (+*�!=�N� �.-��'�0 �P ��&'�0��&'��H0��8/=�701��'C% �L�����Z�1�8���@'J�8I*�N���C��� �6������ �

@ R � ) = � �98 }*��`�S�F�4-��4- � �L�=�������@< - �.- � ' �A9&(��@< �L� =;E\���� �����$.�")P�\LM��)�J���02H�!���)P0"!&�B�T�S$�L��4J1 [��D;!&�, �'�J1 ��8�� ��,)��C��)1� � ��xc3��")�J���0"��!X!&�/ ��,�\�/ �J� ����\L��4J1 mfm�S��0K �0"��)1)��S�TLh�� M$.�& �'cJ��k�6$.�/'��&J�& �J� ��02�.$.�*8I�Z��!/!{J� ��S�T�C$.�/'��&J1�,fh�/ i��)K$.�")9��D#J1 ��"�/)��L�Lh�,��)1�� �02����!/�� �'`J� ��C02!/�*���,$7L��4J1 � � f

A*x

Page 83: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � f �����Uf � Y �Z� 8����*)�J� ��I02!/�*���,$(L���J� r�� ��4V� k�/ r�W�/'�H�)��I�98/=�fMV��d0"��H�!�$6 ��q3*� � � [�=�f� � [_}�fm�� �$ � � [ =,y�8����� M�T��$.�")RJ1 ��CL���)1�NJO�BEw0K ��,0Ktk���2J\J�)1�"�C���1���%0"�/��J��S$rV��&J� l$.�&'*�NJ� Y �Z� � ���"�I�W�/'�H�)����98�x��2fh�� �$k02�* ����/$.�,)�J� ��]JOVZ�cL��4J1 ����/ 6J� ��/��J�)1�"�DG�*)�+C�S$65B� � Y �Z� f

� � �

��

��� ���

���

��� ���

��� ��� �

�{�/'�H�)1�d�98 x*9#��!/�*���,$QL���J� 6��DX�W�/'�H�)��d�98/=R�/ k�CL���)1�&JO�*Ew0K ��S0KtC���2J�J1)��,��8� E Y �Z� I = � f �����mf � Y � " � ��) � E Y � " IJK4� �Z� ���� �$ � Y �Z� f�� � f�� � f �����;f�� Y � " �G��) � E Y � " ILK4� �S� �^8����J��IJ� ���J � Y �Z� ��L�Lh�,��)1�9�� rJ��/�")����� � �� �$ � E Y �Z� I =d� �* rJ1�&�,)I=*fm�� �$7�& �'��" ��")K��! � ��� M$ � E Y �Z� I = � �� `J��/�") �K8X�eD � �4@]������ `�/ BJ��,'��")SfBJ� ��, � Y � " +dH��TJ���L�Lh�,��)PJOV���02�\�� `J� ��� �4@�����J1�&�,)R�� �$(J� %H�� � � � �4@�8���!NJ1�")1 ��4J1�&3*�"!/��fh�ND�� � �q@%� ) = ��x��/�R�� k�/ BJ��,'��")SfMJ� ��, � E Y � " ILK4� �S� ��L�Lh�,��)K�\�� M02�[�� iJ1 ��7� � �q@%�*+ �� ��� J1�&�,)d�� �$i�* �02�[�* �J1 ��7� � �q@%� ) �� � �J��/�")S8X�w cJ1 ��/��0,������f � R � �q@,+ �� � � �4@�f%02��+CL�!/�2J1�& �'dJ1 ��9L�)��%��D;J1 ��4J���� � �4@�8�`�S�F�4-��4- � �8/=�@'D0 ���@< - �.- � ' �A9&(��@< �L� =;E��eD��[0"�.$.� ������� �!/��|�/ �$.�,LM�, �$.�, *JR$.�,0"�%$��& �'�&J��")K�4J1�&�* ��,f�J� ��, DG�*)6����+C�i$.�&'*�NJ6�/ J� ��i0"�%$���f9�1�q� � f9J� ���L���)��&JO�BEe0K ��,0Kt��T�"J`J�)1�"�02�* BJ1���/ ��#�$��&'*�NJP�* CJ��/�") � ) =�f*�1�q� � M f*J� M�4JP ��*�P��L�LM�S��)1�,$��"!����"V� ��,)����,�NJ1 ��")��� �J��/�")� ) =C��)\�* l�(!/�4V��,)RJ��/�")S8C���4V�!/�2J � � �� M$ � � 5h��J� ��c$��&'*�NJK��&+C+C�,$��/��J��"!/�r5h�"!/�4VJ� ��`JOVZ����L�LM�S��)K�� �0"�,�d��D � M �� pJ1 ��6L���)1�NJO�BEw0K ��,0Kti�T�"JIJ1)��,���Z!&�"J � � �� �$ � � 5h�(J� ��$.�/'��&J1��H� �$.�")1 ��S�4J� (J1 ��"+6f��� �$6���CDG��)�J� k$.�4V� (J��`$��&'*�NJ � 8Z�� ��] %H�+d5h�")���DX$��&'*�NJK���/ J� ��]�T�"J � M f � f � � f �����;f � � f �����;�M�/���4J�+C�*�TJ�x�� � ) =q�^8Z�W�/ ���!&!/��f�0"�� �����$.�")�$.)K�qV��/ �'��02!/�*���,$CLM�4J� `�& [J1 ���LM��)1�NJO�BEw0K ��,0KtI+C��J�)1�Nb[�TJ1��)�J��/ �'IV��NJ1 � M �� M$CJ� ��9L���)1�&JO��0K ��S0Kt����2J02�* BJ1���/ ��/ �' � � �� �$ � � fh�� �$6���[�� k$.�4V� (J��Q$.�&'*�NJ � �� �$(5��*0Kt`H�L6J1� � M 3%�/��J1 �� � � �"8�� ����\02!/�*���,$kL���J� i02�� BJK���/ ���JOV���02�C���9+[�� %�6!&�/ ��S�R�*�9$��&'*�NJK�"fm���cJ1 ��4J � R @M� � ) =S�L�)1�43%�& �'IJ� ��\J� ��,��)1�"+68

� L�)��.0"�,$.H�)1�`V��/!/!� ��4V 5M�k$.�S��0")��/5h�,$pDG�*)�0"�� ��TJ�)1H�02J��/ �'�LM��)1�NJO�BEw0K ��,0Kti+[�4J�)1��02�,�V��&J� k ��`0"!&�B�T�S$(L��4J1 �����DX!/�" �'�J� �T[n@ �|�*)�!/�,�1�"8��� ��]L�)��.02�S$.H�)1�V��&!/!U5h�DG�*!&!/�4V��S$5%�7�6L�)1�%��DPJ1 ��CJ� M�4Jd02�* ��TJ�)1H�0^J1�&�* i0,�� i5M�c0,��)1)��/�,$���H.JV� ��, ��"3*�")]:�a*HM�4J��/�� �� �98�x����������J����OYM�,$;8Z���* ����/$.�,)��� �$ ������`5%� �i+[�4J�)1�&bQ�THM0K 6�*���/ 6�{�/'�H�)1�d�98 y�8P�� ��]+[��J�)1�Nb ��*��5h�"�, ($��&3%��$.�,$(�/ *J1� �%�Q��aBH���)��R�TH�5�+[�4J�)1��02�,�,f.�,�*0K `V��&J� � ��c)��4V����� M$`02�*!&H�+� M�"8�� ���YM)1�TJP)1�4V���Dm�TH�5�+C��J�)1�/0"�,���� �$�J1 ���Y�)K�TJ�02�*!&H�+C [��DU�TH�5�+C��J�)1�/0"�,�#��)��9��!/!���$.�" BJ��&JO�+[�4J1)���02�S�"8[�� ��[��J� ��,)]�TH�5�+C��J�)1�/0"�,�0"�� BJ1���& �J� ��[!/�2J�J��,)�� �& l�,�*0K �Lh�*���&J��/�� i�� iJ� ��+[���/ >$.����'*�� ���!Z�� �$pJ1 ��6!&�"JTJ1�") � �& ��,�*0K gLh�*���NJ1�&�* g� � J1 ��(+C���& �$.����'*�� ���!�8>�9H�)��5 �O�,0^JR�/�9J1�Q)1�"L�!���0"�]�,�*0K 7��H�5�+[�4J1)��&b702�* *JK���/ ��/ �' � � �\�� �$ � � ��V��&J� iLM�,)�+IH.J1��J��/�� ����D�J1 �� � ��i5%� � ��i��$.�" BJ1�NJO�p+[�4J1)��&bp�& >�TH�0K >�rV��q�i�*�]J1�rDG��)1+ ���0"!&�B�T�S$pL���J� ����DR!&�, �'�J1 >@ � ��)C!/�,�1�"8��� ��6!&�"JTJ1�") � ���CH��T�S$oJ1�p$.�" ���J��k�� ���0,02�,L.J1��5�!&�(Lh�*���NJ1�&�*

A�y

Page 84: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

���������

�W�/'�H�)��d�98 y*9��w ��&J�����!U�TJ1��'��R��D�02�* ��OJ1)�HM0^J��/�� QL�)1�%0"�,$.H�)��*8

�/ pV� ��/0K lJ1�kL�!���02�Q�l=[V��NJ1 ���H.JIDG��)1+C�& �'r�� %��02!/�*���,$iL���J� ��d��D�!&�, �'�J1 p@ � ��)!/�,�1�"8�� ��R!&�"JTJ1�") � $.�, ���J1�,�Z�� QH� ���0,02�,L.J1��5�!&�RLh�*���NJ1�&�* m�BJ� ��S�T�\��)1��Lh�*���NJ1�&�* ��Z�& QV� ���0K Q�c=VZ��H�!�$Q0")��S�4J1�\�C0"!&�B�T�S$QLM�4J� (��DX!/�" �'�J� 6@ �-�*)�!&�S���,8#����J��\J� M�4J��"3*�" (DG��) � [ =*f.J� ��+[���/ `$.����'*�� ���!/�Z02�* *JK���/ � � �P5h�,0,��H�������DmJ� ��R0"!&�B�T�S$[L��4J1 ��Z��DU!/�" �'�J� Q@I��H�0K Q�*�#J1 ��4J�� ��4V� Q5%�[J1 ��]$.��JTJ��S$(!&�/ ���/ (�{�/'�H�)1�d�98 y�8

���"bBJ]L��/0Ktr�6��H�5�+[�4J1)��&b�02�* BJ1���/ ��/ �' � � ��� �$ � � �"fU�� �$��& �J� ���Y�)K�TJ\)1�4Vfm���"!/�,0^J����+C�dLh�*���NJ1�&�* 702�* BJ1���/ ��/ �'`�� � �� �$r)1�"L�!/�*02�J1 ��4J � V��&J� i�r=*8R��!/���`L�!���0"�I�Q�c�/ DG)1�� BJ���DX�,��0K (!/�2JTJ1�")��/ 6J� ��]�TH�5�+C��J�)1�Nb`J� ���J��/���& (J� ��]����+��)1�4V �*)�02�*!&H�+C 6����J1 ��4J=�8X�{�& M��!/!&�*f�DG��)#J� ��B�T��Lh�*���NJ1�&�* ����/ CJ� ���+C��J�)1�NbI�& [V� ���0K 6=�� �#0"�� C ��!&�* �'��,)#5h��L�!/�*02�S$V��&J� ��*H.JI02)1�,��J��/ �'r�r0"!&�B�T�S$�LM�4J� g��D�!&�, �'�J1 p@ � �*)d!/�,�1�"f{)1�"L�!���0"�CJ� �� � V��NJ1 g� ��8�� ������%�&�,!/$����I+[��J�)1�NbQ��H�0K 6���ZJ1 ��4J��/ k�W�/'�H�)��d�98 @

���� BJ��/ %H��[V��&J� l)��4V x(��DZJ� ��c��H�5�+[��J�)1�Nb;fU)1�"L�!/�*02�/ �'k�T�*+��CLh�*���NJ1�&�* p02�� BJK���/ ��& �'�� � � ���J�� � �PV��NJ1 (�Q=�fBY�!/!&�/ �'C�/ cJ� M�4J�)��4V �� �$`0"��!/H�+C `5%�c��� ���� �$Q0K ��� �'��/ �' � � �J�� � � �\V� ��, i ��,02�S���1��)1��8c���� BJ1�& %H��C�/ �J1 ����VZ�q�kH� *J1�&!P�,��0K i)1�4V���DZJ� ��c��H�5�+[��J�)1�Nb02�* BJ1���/ ��X��=Z�� �$I'��9J� �)1��H�'* I�S��0K ��TH�5�+C��J�)1�Nb]�/ �J� ����XV��q��8U�eDOfB�4J#����+C��Lh���/ BJ��& �J� ��/�L�)1�.02�,�1�,fh�`)��4V �����, �02�*H� BJ��,)��S$;f;���q�QJ� ���� ����f��/ 7V� ���0K 7 ��`Lh�*���NJ1�&�* �02�* BJ1���/ ��9�� �V��&J� ��*H.J��� 6��0,02��+CL��� %�B�/ �'C��f.'*�IJ1 �)1��H�'* `J1 ��\DG��!/!&�4V��/ �'Z`T�,+��,)�'*�" �0"�#d]L�)1�.02�,$�H�)��*8

�m�"J �� 5h���90"��!/H�+C I�/ �V� ��/0K �)1�4V �Z02�* BJ1���/ ��{� ��8W�9�" ���J��ZJ� ��/�X5%�TF[����� � � �;[ ��f

V� ��,)�� F[���=���%�U�/��$��2Y� ��S$I�*�WJ� ������B+I5M�*!.��L�Lh�,��)��/ �'R�& IJ� �� �����9)��4Vp��D�J� �� ��J1 �0"��!/H�+C ��D;J1 ��\�TH�5�+C��J�)1�Nb;8����*)P�S��0K � � ��f.$.�2YM �� � � �*�#J1 ��90"��!/H�+C cDG��)ZV� ���0K YF[���=� � � � [ =�8���4V Y� �$(�� �#DG��)�V� ���0K PF[���Z� � � ��[ � � �� M$YF[����� � ���;[�� � ���T�,��J1 ��]02�/)10"!&�S$c�, *J1)��/�,��/ 6�{�/'�H�)1�d�98 s�8 ������)�J� ��/� �Kf�0K ��� �'��CF[���Z� � � ��J1�k=�f$F[����� � ����J1�k=�f$F[���Z� � ����J1�c� � �� M$+C�.$.�NDG�QJ� �� � � � � � �9�� �$k� � � ��J� �)��*H�'� ��*H.J�J1 ��]+[�4J1)��&bQJ1�`02�*)�)1�,��Lh�� �$`J��`J� ����� ��,V���2J���D�=�� �"8

���*)WJ1 ����W�,+C�")1'��" M02�RL�)��.0"�,$.H�)1�#J1�9VZ��)1t�fq�NJX�/�{ ��S02�S���1��)1��YM)1�TJWJ1��L�)1�43��PJ� ���J{+[��t*E�/ �'[5M��J� (F[���Z� � ���;[�=]�� �$ F[����� � � � [ =]���&+IH�!&J1�� ��"��HM�T!/�Q$.�%�S�� ���J�DG�*)�+ �� %�Q0"!&�B�T�S$L���J� k��DX!/�" �'�J� k@ � ��)�!/�,�1�"8���!�����f��&J����� ��S02�,�1�1��)1�[J��cL�)��43*�9J1 ��4J9�ND#:PaBH���J��/�� p� �98�x����������J����OY��S$;f%J� ��" r�� �P��!&V��q�.���"b.�/�TJ1����H�0K QJ� ���JDF[���=� � � ��[ � � �� �$ F[����� � ����[ � � 8

A�@

Page 85: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

� f � � � �� f � � � �� f � � � �� f � � � �f � f � f � f �

�{�/'�H�)1�d�98 @ 9P<%�,0"�� �$(�OJ1�"L6�/ Q+[�4J1)��&b(0"�� ��TJ�)1H�02J��/�� m8

�� ���Y�)K�TJmLM�*�& BJmV��/!&!*5M�#L�)��43*�,$95B�R02�* *J1)1�*$.��0^J��/�� U8m���1�TH�+C��J1 ��4JU���2J�J��/ �'DF[���Z� � ����[=�f�F[����� � � �;[�=*fM�� M$sF[���=� � � �;[n�CDG�*)�+[���[0"!&�B�T�S$QLM�4J� k��D�!&�, �'�J1 (@ � �*)�!&�S���,8Z�� ��/�L���J� `+IH��TJ�0"�� BJ1���& c5h��J1 `Lh���/ BJ1� �=� � � �� �$���� � � ����3��,)TJ1�/0"�,�,fB���& M02��J1 ��� � � �PDG��)1+C�")1!&��/ oJ� ��,���(Lh�*���&J��/�� ����/ �$.��0"�4J1�,$gJ� ���J� ��i0"!&�B�T�S$oL���J� ���D�!/�" �'�J� �@ � ��)�!/�,�1�I�"b.�/�TJ��S$J� �)��*H�'� Q�"�&J� ��,)�LM�*�& BJ���!/�� ���8P���� �����$.�")ZJ�)K��0"�& �'I)1��H� M$cJ1 ��/��02!/�*���,$cLM�4J� k�TJ1��)TJ1�& �'C�4J��� � � ��!/�� �'�J1 ��d ��*)��/u"�* BJ1��!;!/�/ ���8��� ��,)��]��)��\JOVZ�c0"�*�T�S�ZJ��c5h�d02�* ����/$.�,)��S$@9��{�/)1�TJ,f�J� ��L���J� o02�*+C�,�\J1� �Z� � � ��!/�� �'r�6 ���)1�&u,�� BJ1��!�!&�/ ��`�*��/ o�W�/'�H�)��Q�98 }������,02�* �$;fWJ� ��`L��4J1 02�*+C�,�ZJ�� �=� � � ��!&�* �'[��3��")�J���0"��!�!&�/ ��]�����/ k�{�&'*H�)��d�98 �%8���*)\0,�����`=*fm�T�"J/F[���Z� � � �5[���f�F[���=� � ���5[z=�fm�� �$kJ1�")1+C�& ���J���J� ��I ��*)��/u"�* BJ1��!{!/�& ��02�*+C�& �'d�& BJ�� �=� � � �* [LM�*�& BJ �Z� � ��fB�*�#�/ `�{�&'*H�)���98 }�8{�� ��" `0"!&�B�T��J1 ��RL��4J1 c5%�I+C�43%�& �'3��,)TJ1�/0,��!/!&�QJ�� ��� � �T89�� ����RL��4J1 r ��*�9�[!/�" �'�J� �!&�S����J� ��� 7@ � ���& �0"�d�&JR���R�T ��*)TJ1�")�J� ��� J� ��[��)1�&'*�& ���!�L��4J1 m86���4VZ�"3��,),f�J1 ����d02�* BJ�)K��$.��0^JK�RJ� ��`�*����H�+CL.J1�&�* �J1 ��4J ��� � ��V������ ��0,02�,L.J1��5�!&�\Lh���/ BJ�V� ��" sF[���=� � ���ZV������,aBH���!�J��6=�8���*)]0"�����[x.fU���2JTF[���Z� � � �^[ ��f)F[����� � ���^[ ��fU�� �$ F[���=� � � � [ =�8C���4V�+[��t���J� ��3��,)TJ1�/0,��!%!/�& ���L�)��,3B�/��HM�T!/�\J��,)�+C�/ ��4J1�& �'\�* ��� � �hJ��,)�+C�/ ��4J1�Z�* �=� � �OfB�� �$dJ� ��� ���)1�&u,�� BJ1��!!/�& ���L�)��,3%�&�*H��T!/�d�*)��/'��/ ���J��/ �'\�� �=� � � �*)��/'��/ ���J����� �=� � � � ���"�9�W�/'�H�)��9�98 ���28X�� ��/�#DG��)1+C��d0"!&�B�T�S$CL��4J1 `��Dm!&�, �'�J1 c!&�S���PJ� M�� c@ � �/ %3���!/3%�& �'] ��"�&J� ��") �Z� � � ���) ��� � � 8X�� ��/���/�Z��!�����`0"�� BJ�)K��$��/02J��/�� r���& �0"�d ���=�� �9��)��IL�!���02�S$k�/ kJ� ���+[�4J1)��&bk�& i�TH�0K ��cV��q�(�*��J1�cDG��)1+�c0"!&�B�T�S$kL��4J1 r��D#!/�" �'�J� 7@ � ��)�!/�,�1�,89�� ����90"��+CL�!/�2J1�,��J� ���L�)1�B��DXJ� ���J/F[����� � � ���� M$F[���=� � � �Z+[�q�`���&+IH�!NJK�� ��,��H���!/�c5M�]���2J��Sa*HM��!�J��k=\�&DWJ1 ��"�(��)1�\5M��J� 6!/��5M�,!&!/�,$(� � 8�U�I02��+CL�!/�2J1��J� ���L�)1�%��DOf�VZ��+IH��OJ��T ��4VgJ1 ��4JP�&DU:PaBH���J��/�� k� �98�x��#�/������J����OYM�,$;fB�NJ��/���!/V��q�%�#LM�B�����&5�!&�9�& [J1 ����P�,+��,)�'*�" �0"��0"�� �$��NJ1�&�* [J��dY� �$c�� ���TH�0K cJ� ���JnF[����� � ���;[�� ��� M$PF[���=� � � �;[n� � 8Z�{�/)1�TJ,f�VZ�d�� ���!/!U�� ��4V J1 ��4JR:PaBH��4J1�&�* p� �98�x����/+CL�!&�/�,��J� ���J�J� ��,)����)1�C ��k+C��)1�CJ� ��� � ��x���34��!/H��S���D ��DG�*)]V� ���0K >F[����� � � �3[z� � 86<%�,0"�� �$;fWV��c�� ���!&!

A*s

Page 86: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� � � � �

� � � � �

� � � � �

� � � � �

� � � � �

f � � f � f � f �f � f � f � f �f � f � f � f �

f � f � f � f �f � f � f � f �

�W�/'�H�)��d�98�s#9�:�b���+CL�!/�\��DX�"+C�")1'��, �02�[L�)��.02�S$.H�)1�\�& 6+[�4J1)��&bQ02�* ��TJ�)1H�0^J1�&�* m8

��� �

� � �

�����

�{�/'�H�)1�d�98 } 9��Z�����C=>9P��!&�B�T�S$`LM�4J� (J1 �)��*H�'� � � �X�� M$ � � � 8�� ��4VoJ1 ��4J#+C��)1�ZJ� ��� � ��x��d�"!/�"+C�, *JK���/ C0"��!/H�+C � � ��DhJ� ��9�TH�5�+C��J�)1�Nb�02�� BJK���/ �� � � �"8�� ��S�T��JOVZ�()1�"!��4J1�&�* ��RV��&!/!P0"��+CL�!/�2J���J1 ��[L�)1�B��DZ���& M02�C�NDhF[���=� � � ���[ � � DG�*)]��!/! ��DG��)V� ���0K F[����� � � ��[ � � fBJ� ��, Q0"��!/H�+C � � V��&!/!;02�* *JK���/ c+C��)1��J1 ��� � ��x �� ��� .Ew� � � �Z�� M$+C��)1�dJ1 ��� � ��x �r� � � �,8qBZH.JRJ� ��/�\���\�&+CLh�*�1�T�/5�!/�[�T�/ �02�C02�*!&H�+� �d��DPJ� ��C��H�5�+[��J�)1�Nb02�* BJ1���/ ����� �!/� � ���6�"!/�"+C�, *JK�"89�� BHM�"fhJ� ��")1�d+dHM�OJR5M���� ��DG��)RV� ���0K tF[���=� � � ��[ � ��� M$ F[����� � � � [�� � 8���� ��4V�5h��H� �$kJ1 ��I %H�+I5M�,)\��D#Lh���/ *JK�R�& �)��4V �J1 ��4J0"�� 75h�I!���5h�"!/!&�S$ ��8\�eD��Lh���/ *JR�& 7J� ���� ���c)1�4V ��D�J1 �����H�5�+[��J�)1�Nbk����H� M��0"0"�"L.JK��5�!/��fhJ1 ��" 7�7=dL�!���0"�,$��4J�J1 ��4JLh���/ *J�V��*H�!�$o0"��H��T�Q�702!/�*���,$oL��4J1 o��D�!/�" �'�J� >@ ���*)I!/�,�1�,87�i�(�� ���!/!�0"�� �����$.�")IJ� ��Y�)K�OJ]!/�/ ��c��DZJ� M�4JI0"!&�B�T�S$�LM�4J� iJ1�r5M�CJ1 ��c ��*)��/u"�* BJ1��!�!/�/ ��c�� l)1�4V �C��)1�&'*�& M�4J��/ �'k�4JJ� ��H� ���0,02�,L.J1��5�!&�Lh���/ BJ,8��� ��!����TJ�!&�/ ��]V��/!&!mJ� ��, k5M�J1 ��]3*�")�J���0"��!;!/�/ ��\J��,)�+C�/ ��4J1�& �'�4J�J1 ��H� ��*0"02�,L.J1��5�!/�RLh���/ BJ,8��i�\Y�)K�OJ��*�Ttc ��4V +[�� %�`0"!&�B�T�S$`L���J� �����D{!/�" �'�J� (@[0"�� �2b.���OJd�TJ1��)TJ1�& �'r�4JI�� iH� ���0,02�"L�J1��5�!&�cLh���/ BJ]�& p)1�4V ����DZJ1 ��`��H�5�+[�4J1)��&b;8(�� ��")1�c��)1�

A�}

Page 87: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

��� �

� � �

��� �

�{�/'�H�)1�d�98��#9��Z�����]x#9P��!&�B�T�S$`LM�4J� (J1 �)��*H�'� � � � �� M$ � � � 8�4J]+C�B�OJQ��� + =S�LM�*�& BJ1�]V� ��")1�[J� ��/�]Y�)1�TJ] ��*)��/u"�* *JK��!#!/�/ ��`0"�� iJ��")1+C�& M�4J��*fW M��+C�"!/��fJ� ��*����LM�B�T�&J��/�� ��P�& [)1�4V �Z��DhJ1 ��90"��+CL�!/�2J1��+[�4J�)1�&bI�/ [V� ��/0K [�* ��,�# ��q3�����!&)1�,�*$.�d5h�"�, L�!���0"�,$;8X�� ���3��,)TJ1�/0,��!%!&�/ ��ZDG)1��+��� B��* �����DMJ� ��S�T�]���*+(=S�WLh���/ *JK��0"�� dJ1�")1+��/ ���J����& C�4J+C�*�TJ�� �:+`=q�WLM�*�& BJ1�,f� ���+C�"!/�\J� �����J1 ��")�Lh�*���&J��/�� ��{�/ dJ1 ���02��!/H�+C ��& �V� ���0K I�* ��,�{ ��q3*�5h�"�" 6L�!���0"�,$;8����,+C�"+d5h�")�J1 ��4J��/ (J� �����02�* ��TJ�)1H�0^J1�&�* QVZ�\ ��"3*�")�L�!���02�S$`+C�*)��RJ� M�� �=�� ���/ (��)1�4V ��)��43*�") �6=�� ���/ (�C02�*!&H�+� U8#�W�/ ���!&!/��f��&D���0"!&�B�T�S$cL���J� 6��D{!&�, �'�J1 6@����ZJ��5h��0"�� ��TJ�)1H�0^J1�,$;fhJ1 ��I ��2b%JR ���)1�&u,�� BJ1��!U!/�& ��IDG)1��+-�� %�6��D�J1 ��,���(� � +�=S��LM�*�& BJ1�R+IH��OJJ��,)�+C�/ ��4J1���& I��02��!/H�+C ]02�* BJ1���/ ��S$9�/ \J� ��P�TH�5�+[�4J�)1�&bRH� M$.�")U0"�� �����$.�")K�4J1�&�* mfS�� �$9J� ��,)�������4J�+C�B�OJ9�[���/ �'�!/�[=�& r�� %�`��DXJ1 ��*���]02�*!&H�+C ����� 6V� ���0K 6J� ���J� ��*)��/u"�* *JK��!;!/�&t*�]0"�� J��,)�+C�/ ��4J1��8{�� BHM�UJ1 ��")1����)1���4J{+C�*�TJ����:+[=S�"� �4+[=S�W$.� � �,)��, *J�02!/�*���,$]L��4J1 ��{��D�!/�" �'�J� d@J� M�4JP0"�� I M�q3����� �H� ���0,02�,L.J1��5�!&��Lh���/ BJ��& C)1�4V �Z��D�J1 ���'��/3��, ���H�5�+[�4J1)��&bI�*���93*�")�J��"b�8���� M�T�Sa*H��" BJ�!/��f.�4J�+C�*�TJ\���e+o=q�2� ��+o=q�#Lh���/ BJ1�Z�/ `)1�4V ����DmJ1 ��\'��/3��, `�TH�5�+[�4J�)1�&b`��)1�H� ��*0"0"�"L.JK��5�!/�I5h�,0,��H�������DZ0"!&�B�T�S$kL���J� ��\��DP!&�, �'�J1 �@M8d�� ��[�1��+C����)�'*H�+C�" BJR0,�� i5M�H����,$7�� l02!/�*���,$rLM�4J� M�9��D�!/�" �'�J� l}�8d���")1��f;DG�*)�� %�k��D#J1 ��k��� + =S�"� � + =q��LM�4J� M�9��D!/�" �'�J� dx.fSJ1 ��")1�P��)1�P��JU+C�*�TJ �d+I=#Lh���/ *JK�m�* ]V� ���0K \J� ��PJ� ��/)1$]!&�/ ��P0,�� \J��,)�+C�/ ��4J1��f4�� M$DG��)Z�,�*0K [��DmJ1 ��,����f.��J�+C�*�TJR� �b+l=S�#LM�*�& BJK���* cV� ���0K [J� ���DG�*H�)TJ1 c!/�& ��\0"�� [J��,)�+C�/ ��4J1��8�� ��ZY�DFJ1 �!/�/ ����/�X ��4V>$.�2J1�")1+��/ ��S$I���& M02���NJ�+IH��OJXJ1�")1+��/ ���J����& C�\02�*!&H�+C ���DMJ� ���'��/3��, ��H�5�+[�4J1)��&b;8W���, �02����JX+C�B�OJ���� +`=q�/�B� �:+Q=S�E��LM�*�& BJ1�X�/ �)��4V �Z��DMJ� ���'��/3��, ���H�5�+[��J�)1�Nb��)1�RH� ���0,02�,L.J1��5�!&�\5h�,0,��H����\��D{0"!&�B�T�S$`LM�4J� M����DW!/�" �'�J� k}�8�<.�&+C�/!/��)�!/��f�0"!&�B�T�S$`L���J� �����D!/�" �'�J� Qx��{0,�� c+[��t*���4JZ+C�*�TJR���@+i=S� � =d� � �b+i=S� � =d� Lh���/ BJ1��H� ���0,02�,L.J1��5�!&�*8{�� %H��,fBJ� ��J���J1��!W %H�+I5M�,)9��DPH� ��*0"02�,L.J1��5�!/�dLh���/ *JK���/ 7)1�4V��]��D#J1 ��C�TH�5�+C��J�)1�Nb � �`���R5M�*H� �$.�S$5%�

� � R ����� � � ����+�=q�

� = � � � +>=q� � = �

[���� +>=q� ��� = � � � +�=S� � � = � � =,+T.&��� +>=q�2� � +�=S� 0 = E � � =d��I=,+ ./��� +�=S�"� � +>=q� 0 = � �� ��� +>=q�/��� = � � � +�=S�E� � = �

=,+ ./��� +�=S�"� � +>=q� 0 = �[ ./��� +�=S�"� � +>=q� 0L� �

��� +�� + � � �98 ���

AB�

Page 88: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

�� %H��H� � R � ��x��[�&D./����+�=S�"� � +>=q� 0L� �

��� +�� + � R �x��

��) � R!&�*'*� ) !/��' � � = �c= �� �x�!&�*'M��� +�=S�"� � +>=q�

<%�/ �02�i��!/!�J1 ��7�,!&�,+C�" BJ1�Q�& )��4V �k��DJ1 ���'*�&3*�" ��H�5�+[�4J1)��&b���)1�r�"�&J� ��,)(� � �*) ��f:PaBH���J��/�� i� �98�x��Z�/+�L�!&�/�,��J1 ��4J�+C�*)��RJ� M�� � ��x��`��DWJ� ���,!&�,+C�" BJ1���/ 6)��4V �R��)1�� � � �,8�{�& ���!&!/��fXVZ�c+dHM�OJI�� ��4V_J� M�4Jd+C��)1�CJ� M�� � ��x����"!/�"+C�" BJK�]�/ o02��!/H�+C � � ��D�J� ����H�5�+[�4J1)��&b]��)1��!���5h�"!/!&�S$d� � 8X�� ��Z��)�'*H�+C�" BJW���X��$.�" BJ���0"��!BJ��9J� ���J{!����TJX��)�'*H�+C�" BJXV��NJ1 J� ��I�"b.0"�"L.J1�&�* rJ1 ��4J�/ ��OJ1�,�*$r��DZ02�� M�OJ1)�H�02J��/ �'`LM�4J� M�R�TJ1��)TJ1�& �'QV��&J� i ���)1�/u"�� BJK��!U!/�/ ��,�DG)1��+ J� ��IH� ��*0"02�,L.J1��5�!/�I$.�/'��&J,f�VZ�I�TJ1��)�J�V��&J� i�c3��,)TJ1�/0,��!m!/�/ ���8\:PaBH���J��/�� o� �98 ���9�TJ��/!&!'��/3��S���Q5M�*H� �$7�� kJ1 ��I %H�+I5M�,)\��DPH� M��0"0"�"L.JK��5�!/�dLh���/ BJ1�,f;�� �$�:PaBH��4J1�&�* g� �98�x��9�TJ��/!&!'�HM��)K�� BJ��,�,��J1 ��4J{�43��") � ��x��9Lh���/ BJ1�{��)1�#!/��5M�,!&!/�,$d� � ���/ �02�P��!&!*J� ��P�"!/�"+C�, *JK�U�/ d0"��!/H�+C �� ��)��I� � � ���*)�� � � �,8��� %H��,fMVZ�] ��q3*�]$.�"+C�� M�OJ1)1��J��,$k�`02�� M�OJ1)�H�02J��/3��]L�)��.02�S$.H�)1�DG��)'��, ��")K�4J1�& �']02�.$.�,���/ `V� ���0K � �& �$��"Lh�" �$.�, BJ�$.�S02�.$.�/ �'d�&J��,)1��J��/�� ���0"�� c5M�RLh�")�DG��)1+��S$V� ��,)�� �|�1�4J����TY��,��:�a*HM�4J��/�� l� �98�x��28

A�A

Page 89: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� ��������� � �� �

� ��� �������� ��� �! ������� �� ���0��� � � � � � ��� �����!�� ��� ��� ��� ����� ��� � � ������� ��� � ���!� � �� ������� �!��� ������� �����0� ��������������� �"!$#&%'�)(+*-,.�0/�132 �5476$8 9&: �<; 9>=&6�� � 9?6?=$�

� � � . � �7� �!� � �0� '@ �?AB� . � �$�� � �� � ��� �.C � ��� � ��� � ��� � � ���0��� ����� ����� ����� � ��������� � �0���! ��� �� � �/�!D(D�&��EGF&*H�H�&!IF&!��KJL�&!5*H���?M � � 8 :?N ; =&9�� � 9&: � �

� � � � �PO ������� � � ������ � �0� �RQ � ���!��� � ��� �0����� ��� �I� �� � ����� ��� � � � � �% �� ����� �/�!D(D�&��EGF&*H�H�&!S ,.���&��T�� � ��� �� �!� �!� � �!� ��� �U �!�� ��!� �VO � � ���0� �P � ���� � � � � 9>6&6$�W� �� ��� ���Q ��� ���YX � ������� ����Z � � � �����%�������!��� �

� 4 � . � � � � ����� � S ��F&!5%�E[�"%�%��\�&!]�)(0/�!�(D�&��EGF *H�\�&!.� � ��� � � ��� � � � ��� � ���0�� � � ���_^ ����� �K` �0��� �5� ��� � ��a �bQdc ����� � � 9?: � �

� 6 � . � � �%� ����� ��e ���������������� ��� � �� � ���!� ��� ����� ����������������� ����� ����� ��/)2L2f2 S ��F !.%�F>�b*H�\�&!5%�&!g/�!�(b�&��EBF&*H�\�&! S ,.���&��T��h� � ; 9�8 : �D; = � � � 9&: � �

� : � O3��ai�5j � ��� � � � �Pe ���0 ������� �0����� � � �!��� ����� � ��� � ��� � ��� �fk0�bM"M�l5T&%�*���E S ����,$!.�H��F&MYm$�&n$��o!�F?M � � � 8 6 � 4 ; 6 � � � � 9>6 � �

� = � ���Up'�Wj ���� ���� �-����� ei�qai�YA � �� � �!������� �Gr��"E'�"*�st�-%�*H���\ubn$*H�\�&!5%3(D�&�'l.n$E[%B�)(v/�!h�7�bow5��!��7��!5*+13F&!h�>�&Eyx5F&���HF>uDMz��%��{e � ���� �!�{^ ��� ��� � � � ������������� �0 ��� � � �� � ��� �!� �� �0� ������ �� � � ��� � � 9?6 4��

� N � � ^ �W| � ����� ���! � . ��� ����������0� ��� � � �0� � ��� ���IQ ��� ��� j �0�� � ���0� ���0��� � �g��)���������&�"!7#&%}�)(*-,.�+/�12 �.4 � 8 � � � � ; � � � N��V � ���� � � � � 9>6&6$�

� 9 � ���. L�. � � ��Q � � �hj'� ��� | � � �.ei� � � �����-� � � � � . �!� ��� � �0�� �5� � � ^ �?������� ����� � ��e 5� �����%�������0� ��� � �D~ ���� ����� � ������ ��� � ��� ��� � � ������� ������ ���0 �������%�������0� �0� � ��� ��� ���0���������� ��/)2f2L2 S �)F&!.%�F>�b*H�H�&!.%i�&!_/�!D(D�&��EGF&*H�\� ! S ,5��� ��T��h� � ; 9��he ��� � � 9?: � �

� � �<� �5�5 L� � ��� � � � � S ,$����%�,��?M��Bsi������� �"!$#&� � ��� � � ��� � � � ��� � � � �� ������ �!� � � �0� ������ �� � � ��� �� 9&: � �

� � ��� AB� � � � � � � ���0�� �5� � � ^ �&������� ����� � �$5O C'8<e � � � � ��� �! ��������� � � � ���0�#���0� ��� � ����� � ��� �� ��� ���� � �� � ��/�12 S �)F&!.%�F>�b*H�H�&!.%'�&!_/�!�(b�&��EBF&*H�\�&! S ,5��� ��T��h� � ; N � 6 � 8 � � 9 ; � � 6��V � ����� � � �� 9&: � �

� � � � ^ � ^ � � � ��� ��� �!� �'2�����&��o�JL�&�������b*H�"!$#�JL���>��%�� � ��� � � ��� � � � ����� � �0�� � � ���K^ ����� �I` �0��� �5� ��� � ��a �bQdc ����� � � 9?: � �

� � � � �5� . � � ��� ����� � � �����0��� ������� � ����-� ��� � ��� �� �����-�� ��� � ��� � ����~ ������ � ����� � � �-� � ��� � �'��)�?o�������&�-!$#��R(v*-,.�0/�12 ��4>:$8 9 � ��; 9 � � � � 9>6&N$�

� � 4 � ��� . ����� ��� �d ��~ ���� ����� � �� ��� ���� � � �0� ��� � ��� ��� ��� � � �� �0� � ����� � ��� ������� ��� ��/�12S ��F !.%�F>�b*H�\�&!5%i�&!_/�!�(D� ��EBF&*H�\�&! S ,.���&��T��.� � ; N � � � 8 � � N ; � � � �Ye ��� � � 9&: � �

� � 6 � �hO�h � �������!� � � � ���0��� ����� � ��� ��� ��� ����������� �0� � � �0� ���!��� ����� ������� ��� �/�!D(D�&��EGF&*H�H�&!F&!��KJL�&!5*H���?M � � 8 : ; � 6�� � 9>6&=$�

� � : � �5� � � ^ �?��� ��� ��� � � �0�� � �f| ������������� � � ��� � � �0� �RQ ��Q � � ��� �0����� ��� ��� ��� �&n$��*-,rW�&!h�>�&!�l.T E0w��&%��"n$E��&!_/�!�(b�&��EBF&*H�\�&! S ,5��� ��T��q � ����� � � � � 9?: � �

� � = � �5� � � ^ �?������� ����� � �0�� ��� . � ��� � � ��l����bnh��!5*H�\F?Mfsi�������&�-!$#&� � ��� � � ��� � � � ����� � �0�� � � ����^ ����� �g` �!��� �.� ��� � ��a ��Q�c �0��� � � 9&: � �

� � N � a'�U� ��� � ��� � �ie � ���0� � ��� � � � ����� �������%��� � � ������� � �0� ����� ����������� ������� �h� � � � ����� �ij ���! . � �0� � 6?6 ; � 9�� � � ��� � �� ����������� ��� �0��������� � �+ �b� ��� �0���0� � � �0� ������ �� � � ��� �t� ��� ��� �� 9&: � �

A�?

Page 90: ldpc - MITweb.mit.edu/gallager/www/pages/ldpc.pdf= 8/= .$. / ' dg ) 9 &'* njk !m r 4jk [ u)k +c / 1 & * 8\8 8 8r8 8\8 8 8\8 8\8 8\8 8 @ = 8 x m 4v ew 9 " njo q )1 njo bet ,0ktc .$.

� �/� � �������� ����� � �� � � ��� # � � � � � � �� �^& � ( � ��M ��� (� � � #�� � � ���� � ��� � � # � � � E � �� I �g$ � 1� N��M ��S" ���S$ �1�Z( ��� ( �F"Z"� � � #�� � � ���� � ��� � � � �� � � � � � � # � � � � �S�� � � � � ��� ��� � � # �� � �F(� ��� � � � #� �� � ���� � ( � ��M ��& M� � � � � ��� � � �"� � " � 1� ��� � # � � � � �F( � (S"� � ��� � � # ��� � � # � # � ��� � � 1 �� � � � ��� ��� �� � ��� � � � � � � # � � � �^" ��$� ����� � # � � � � # � � ��� �&# � � F������� � ( ��" 1� ����� � � � � � � # � � � � � � � �1$Z( &S&� � � � � �� � � � � � � � � �� � � � � ���� � � � � ��� � # � ��� �� � 1 � �1 1� � � � � � � � � � � � � � � ��� # � � � � � � � � � � � � �&# � � � � � �F"Z$ "Z( ��$Z&� � � � � � � � � � # � �� � �� � (� � �� � � ��"� � �� ��� � � ������ � # � � � � � 1 � ( ��� ( ��"=�� # � � � �� � � � � � � � � � � � � ��� ( ��$ �� � � � � � � � � # � � � � � ��" � � 1��� � �� # � � � � � � � � � ��� � 1 �F" M� "=� ��$E"� � ��� � �� � ��� � 1� � �� � �� # � � � � � � � � � � �� � � � # � � � � � � � � �Z�� � � ��� � #� � # � � � # � � �^" (

� � � �� �� � � ��� # � � � � �� � � � �Z�� � � � ���� � � � � ��� � � �� � � � � "� � � � ��� � � � � � � � � � � � � � � � � � � � � � � � � � �&# � � ���# � � ��� � �� ��� � � � � �&# � � � � �^" 1� � � � # ��� � # � � # � � � �F& �� � �$!�# � � � � � � #���� � � � # � � � �^&S$�� � # � ����� �F$ ��& � �Z� ���S��� �� � � �N"� � �� � �� � � �� ��� � �� � ��� �N$ ��� (� ��� � � � � � � � � � � � M� � � ��� �� � � # � � �� � � � ��$Z( &Z&� � � � � # � � � � �� � � � ���� � � � � ��� �� � �� � ��1� � � � � # � � �&# � � ��� � � �� � � � �

( ���Z� # � � ��!!�#"$� � ( � � " ��� � � � # � # � � � � �&# � ��� � ��� � � � � ( � ��M� #� ��� � # � � � � � � # � � � � �Z� ��$ � ��$Z( ��& M� & �� � � � � � � � � � � � �� � � � � � � � � � � � (�� � � � � � � � � � � �&# � � ��� �F"=� ��& M �1&Z$

����� � � � � ��� � � �� � � � � �� � �� � � � � � �� � � � � � # � ��� �� � � ��� � �� � # � � � � �� � � � ��1� # � ��� �� � � �� # � � � � �&# � ���S(� #��� ��� � � � �� � �� �F(

" # ��� � ��%&� � � �(

" # � � � �� � � � � � � � � ��� � �� ��� � � � � � ��� ( ��$ �" � � � � �� ��� � � # � �N( � �S��&# � � ���� � � # � � ��1� � # � � � �� �� ��� � � # � � � ������� � � � �1�Z&" � � � � �� ��� � � # � � � � � ��� � � � � � � � � � � ���� � #� � # � � � # � � �^$ ��� �� � � ��� # � � � � �� � � � � �� ���� � � � � ��� � � �� � � � � & �1& (" � � � � � � � � � # � � � � �^$" ���� � � � � �&# � � � � � � � � � � � � � $ � � $ � � & �^$ M �( � �1(Z�

' � � � � � �� � �F& �' � ��� � � � � # � �� �# � � � � � � � ��� # � � �1$ ���#��&# � � � � � �� � � ��� �� ��� � # � � � � �N"Z���#���� � � � � �� # � � � � �1&��#���� � � � � � �� � �� �F&� � ��� � � ��� �� � �� �^$ ��&��#���� � � � � � � � ��&� � � � ( ��� ( �F"Z"� � � � � � �)(*��(+� �1& � (� � � �)%)�'!!� ��&E"� � �� # � � � � ��� � ��# � � �� � � ��� ��� � � � � � �^" � ��1 � � (# � # � � � � � � � � � � � � ��� � � # � �F�Z��� �� � � ��� # � � � � �� � � �N� �� ���� � � � � ��� � � �� � � �^�S$ �1�Z&� � �� # � � � � ��� � ��# � �� � � � � � � � �� � � � �^" �� � �� � �&# � � � � � � � � � � � # � � � � �F$Z(!$# � � ��# �� � �F&!$# � � � � � � #���� � � � # � � � � �Z� �1$ � ��$Z( ��& � &S&! � � � � �� � � � � � � � ( �1& M ��& � ��&E" ��&Z&� � � � � � � � �"� ( �1& M ��& � ��&E" �1&Z&! � � � � � � �1$ � ( �&# � � � � � � �^&Z$ �� � � � # � � � �� ��� � � � ( � ��M �F" 1 ��� # � � � �� ��� ��� ������ � # � � � � �N"=� � # � � � � � � � � � �F" � ��� # � � � � � EVC � C � I ��& M ��& � ��&E"# � � � � � ��# � �F& �� � � � � � � � # � ��& � � � � � � � � � # � � � � �^" � � � � � ��� # � � � ��� � � # � � � � � � � � ���� � ��� � � � #� � � � � � � # � � � �F$ ��( � � � � ���� � � �� �-, E/.UI � � � ��$ �� � � �&# � � � � � � � � � ��� # � � � � � � �� � � � ��$ �� � � �� � � � � � � �� ��� ��� � (

0 � � � #�� � ��� � � � � � � � � #���� � � � � ���F� 1( �21 � �&# � � �)%)��"$� � (

� � �&# � � � � � � �F$Z� ��$E"3 � � � � � � � � (

?��