Định lý mã hóa kênh nhiễu

10.1 Định lý

Định lý có ba phần, hai khẳng định và một phủ định. Đầu tiên là kết quả khẳng định chính .

1.Đối với tất cả các kênh rời rạc ít bộ nhớ, dung lượng kênh

có thuộc tính sau đây. Đối với bất kỳ ϵ > 0 và R <C, N đủ lớn, có tồn tại một mã của độ dài N và tỷ lệ ≥ R và thuật toán giải mã, mà xác suất tối đa khối lỗi <ϵ .

2.Nếu một xác suất lỗi bit Ƥb là chấp nhận được, tỷ lệ lên tới R (Ƥb) là có thể đạt được,  mà

3. Bất kỳ Ƥb, tỷ lệ lớn hơn R (Ƥb) không thể đạt được.

Hình 10.1. Một phần của R (Ƥb) mặt phẳng được chứng minh có thể đạt được (1, 2) và không thể đạt được (3).

10.2 Các chuỗi liên đới điển hình

Chúng tôi chính thức hoá hình xem trước trực quan chương cuối cùng.

Chúng tôi sẽ xác định từ mã xs từ một tập X N, và xem xét các lựa chọn ngẫu nhiên của một từ

mã và một kênh đầu ra tương ứng y, do đó xác định một tổ hợp liên kết (XY )N . Chúng tôi sẽ sử dụng

một bộ giải mã thiết lập điển hình, giải mã tín hiệu nhận được một y như s nếu xs và y là một kết hợp điển

hình, một giới hạn phải được xác định trong thời gian ngắn.

Các chứng minh sẽ tập trung vào việc xác định các xác suất (a) mà từ mã đầu vào đúng không phải là kết hợp điển hình với chuỗi đầu ra; và (b) một từ mã đầu vào sai là liên kết điển hình với đầu ra. Chúng tôi sẽ cho thấy rằng, đối với N lớn, cả hai xác suất đi đến số không miễn là có ít hơn

2NC từ mã, và tập X là phân phối đầu vào tối ưu.

Liên đới điển hình

Một cặp các trình tự x, y của độ dài N được xác định là liên kết điển hình (để dung sai β) đối với phân phối P (x, y) nếu

x là điển hình của P (x),  nghĩa là

y là điển hình của P (y),  nghĩa là

và x,y là điển hình của P (x, y), nghĩa là

Tập hợp liên đới điển hình J NB là tập hợp của tất cả các cặp chuỗi liên đới điển hình của chiều

dài N.

Ví dụ.Dưới đây là một cặp liên đới điển hình của chiều dài N = 100 tập P (x, y), trong đó P (x) có (p0, p1) = (0,9, 0,1) và P (y | x) tương ứng với một kênh đối xứng nhị phân với mức nhiễu 0,2.x 1111111111000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000y 0011111111000000000000000000000000000000000000000000000000000000000000000000000000111111111111111111

Chú ý rằng x có 10 1s, và như vậy là điển hình của xác suất P(x) (bất cứ lúc nào dung sai β) và y có 26 1s, do đó, nó là điển hình của P (y) (vì P (y = 1) = 0.26); và x và y khác nhau trong 20 bit, đó là số điển hình đảo lộn của kênh này.

Định lý liên đới điển hình.

Cho x, y được rút ra từ tập ¿được xác định bởi

Sau đó,

1. xác suất mà x, y liên đới điển hình (để dung sai β) dần tới 1 khi N→∞

2. số lượng các chuỗi liên đới điển hình |JNB| gần tới 2NH(XY )

Để được chính xác,

3. nếu x’ X N và y’ Y N nghĩa là, x và y là các mẫu độc

lập với cùng một phân phối biên như P(x, y), sau đó xác suất mà (x’, y’) trong tập liên đới điển

hình được khoảng 2−NH (X ;Y ) Để được chính xác,

Chứng minh. Chứng minh phần 1 và 2 dựa vào luật của một số lớn của định lý mã hóa trong Chương 4. Phần 2, để cho cặp x, y đóng vai trò của x trong định lý mã hóa, thay thế P(x) có phân bố xác suất P (x, y).

 Đối với phần thứ ba,

Một phim hoạt hình của tập liên đới điển hình được hiển thị trong hình 10.2. Hai vectơ độc lập điển hình là liên đới điển hình với xác suất

vì tổng số các cặp độc lập điển hình là vùng nét đứt của hình chữ nhật,2NH( X ) 2NH(Y ) ,và số lượng các cặp

liên đới điển hình là khoảng 2NH( XY ) , do đó, khả năng chạm cặp liên đới điển hình là khoảng

Hình 10.2.Tập hợp liên đới điển hình.Theo hướng nằm ngang đại diện cho một tập hợp của tất cả

AXN chuỗi đầu vào dài N. Hướng QQ thẳng đứng đại diện cho AY

N các tập của tất cả các chuỗi đầu ra dài N

hộp bên ngoài có chứa tất cả các cặp đầu vào-đầu ra thể hình dung được. Mỗi chấm đại diện một cặp liên

đới điển hình của chuỗi (x, y). Tổng số chuỗi liên đới điển hình là khoảng 2NH( X ,Y ) .

10.3 Proof of the noisy-channel coding theorem

Phép loại suyHãy tưởng tượng rằng chúng ta muốn chứng minh rằng có một em bé trong một lớp học của 100 trẻ sơ sinh nặng dưới 10 kg. Trẻ sơ em khó bắt và cân. Phương pháp của Shannon giải quyết nhiệm vụ là lấy tất cả các trẻ sơ sinh và cân chúng cùng một lúc trên một máy có trọng lượng lớn. Nếu chúng ta thấy rằng trọng lượng trung bình của chúng là nhỏ hơn 10 kg, có phải tồn tại ít nhất một em bé nặng dưới 10 kg, thực ra phải có nhiều! Phương pháp Shannon không được bảo đảm để biết sự tồn tại của một đứa trẻ thiếu cân, vì nó còn có được một số lượng rất nhỏ của những đứa trẻ lớn trong lớp. Phương pháp Shannon không được bảo đảm để cho thấy lộ sự tồn tại của một đứa trẻ thiếu cân, vì nó dựa vào có được một số lượng nhỏ của những đứa trẻ to lơn trong lớp Nhưng nếu chúng ta sử dụng phương pháp này và nhận được tổng trọng lượng nhỏ hơn 1000 kg thì nhiệm vụ của chúng ta được giải quyết.

Hình 10.3. Phương pháp của Shannon để chứng minh một em bé nặng dưới 10 kg.

Từ trẻ em gầy tới mã nổi tiếng

Chúng tôi muốn chứng minh rằng có tồn tại một mã và một bộ giải mã có xác suất nhỏ của lỗi. Đánh giá xác suất lỗi của bất kỳ hệ thống mã hóa và giải mã đặc biệt không phải là dễ dàng.phát minh của Shannon : thay vì xây dựng một hệ thống mã hóa và giải mã tốt và đánh giá xác suất lỗi của nó, Shannon tính toán xác suất trung bình của khối lỗi của  tất cả các mã, và đã chứng minh rằng trung bình này là nhỏ. Sau đó phải tồn tại mã riêng lẻ có xác suất nhỏ của khối lỗi.

Mã hóa ngẫu nhiên và thiết lập điển hình giải mã

Hãy xem xét hệ thống mã hóa-giải mã sau đây, có tỷ lệ là R’.

1.Chúng ta chọn P(x) và tạo ra S = 2NR' từ mã (N, NR’) = (N, K) mã C một cách ngẫu nhiên

theo

Một mã ngẫu nhiên được hiển thị dạng biểu đồ trong hình 10.4a.

2.Các mã được biết đến cả người gửi và người nhận.

3.Một thông điệp được chọn từ { 1, 2, . . . , 2NR' } và xs được truyền đi. Tín hiệu nhận được là

y, với

4.Các tín hiệu được giải mã bởi tập- điển hình giải mã.

Hình 10.4.(a) Một mã ngẫu nhiên (b) Ví dụ giải mã bởi bộ giải mã tập điển hình. Một dãy đó không phải là liên đới đới điển hình với bất kỳ từ mã, chẳng hạn như ya, được giải mã như s = 0. Một dãy liên đới đới điển hình với từ mã x lẻ, yb, được giải mã như s = 3. Tương tự như vậy, yc được giải mã là s = 4. Một dãy liên đới đới điển hình với nhiều hơn một từ mã, chẳng hạn như yd, được giải mã như s = 0.

Bộ giải mã điển hình. Giải mã y như s (x( s ),y) liên đới điển hình và không có s’ khác mà (x(s '),y) liên đới điển hình; nếu không khai báo một thất bại ( s=0).

Đây không phải là thuật toán giải mã tối ưu, nhưng nó sẽ đủ tốt,và dễ dàng hơn để phân tích. Các bộ giải mã điển hình được minh họa trong  hình 10.4b.

5.Một lỗi giải mã xảy ra nếu s ≠s .

Có ba xác suất của lỗi mà chúng ta có thể phân biệt. Đầu tiên, đó là xác suất  khối lỗi cho một mã cụ thể C, có nghĩa là,

Đây là một về số khó khăn để đánh giá cho bất kỳ mã nào.

Thứ hai, trung bình trên tất cả các mã này xác suất khối lỗi,

May mắn thay, số lượng này là dễ dàng hơn nhiều để đánh giá hơn so với số lượng đầu tiên P(s ≠s C ).

Thứ ba, xác suất khối lỗi tối đa một mã C

là số lượng chúng tôi quan tâm nhất: chúng tôi muốn thể hiện rằng có tồn tại một mã C với tỷ lệ yêu cầu có xác suất khối lỗi tối đa là nhỏ.

Chúng tôi sẽ có được kết quả này bằng cách tìm kiếm xác suất khối lỗi trung bình, ⟨P B ⟩ . Một

khi chúng ta đã chỉ ra rằng điều này có thể được làm cho nhỏ hơn  một số bé tùy ý, chúng ta suy luận ngay lập tức rằng phải tồn tại ít nhất một mã C mà xác suất khối lỗi cũng ít hơn số nhỏ này. Cuối cùng, chúng tôi cho thấy mã này, có xác suất khối lỗi là đủ nhỏ nhưng có xác suất khối lỗi tối đa không biết (và có thể hình dung là rất lớn),  có thể được sửa đổi để làm cho một mã có tỷ lệ nhỏ hơn một chút  có xác suất khối lỗi tối đa cũng đủ nhỏ.  Chúng tôi thay đổi mã bằng cách ném đi 50% phần tồi tệ nhất của từ mã của nó

Do đó, bây giờ chúng tôi sẽ bắt tay vào việc tìm kiếm xác suất trung bình của khối lỗi.

Xác suất lỗi bộ giải mã điển hình thiết lập

Có hai nguồn lỗi khi chúng ta sử dụng bộ giải mã thiết lập điển hình. Hoặc (a) dữ liệu đầu ra y không phải cùng liên đới điển hình với các từ mã được truyền x (s), hoặc (b) có một số từ mã khác trong C mà phải liên đới điển hình với y.

Bởi tính đối xứng của việc xây dựng mã, xác suất trung bình của lỗi tính trung bình trên tất cả các mã không phụ thuộc vào giá trị được chọn của s; chúng ta có thể giả định mà không mất tính tổng quát s = 1

(a) Xác suất đầu vào x1 và đầu ra y không liên đới điển hình biến mất, bởi typicality doanh định lý của phần đầu tiên (p.163). Chúng tôi đưa ra một cái tên, δ, trên ràng buộc về xác suất này, thỏa mãn δ → 0 khi N→∞; với mọi δ, chúng ta có thể tìm thấy một độ dài khối N (δ) sao cho P ((x1, y)∉ J NB)≤ δ

(b) Xác suất xs'

và y liên đới điển hình, cho một s'≠1 là ≤ 2−N ¿ ¿ do phần 3. Và có (

2NR'

−1 ) giá trị đối lập của s'phải suy nghĩ.

Do đó, xác suất trung bình của lỗi ⟨P B ⟩ thỏa mãn

bất đẳng thức (10,16) có giới hạn một tổng xác suất lỗi PTOT bởi tổng của các xác suất Ps' của tất cả các loại của mỗi biến cố trong đó là đủ để gây ra lỗi,

PTOT ≤ P1+P21……được gọi là một hợp ràng buộc. Nó chỉ là một đẳng thức nếu những biến cố khác nhau gây ralỗi không bao giờ xảy ra tại cùng một thời gian như nhau.Xác suất trung bình của lỗi (10,17) có thể được thực hiện <2δ bằng cách tăng N nếu

Chúng ta là hầu hết những điều đó. Chúng ta tạo ba thay đổi:1. Chúng tôi chọn P (x) trong chứng minh được phân phối đầu vào tối ưu của kênh. Với điều kiện R'

<I(X;Y ) - 3β trở thành R'< C- 3β.

Hình 10,5.Làm thế nào bỏ b tơ hoạt động.(a) Trong một mã ngẫu nhiên điển hình,một phần nhỏ của các từ mã có liên quan đến những va chạm-các cặp từ mã đủ gần với nhau mà xác suất của lỗi khi một trong hai từ mã được truyền không phải là nhỏ. (b) Mã kết quả có từ mã ít hơn một chút,do đó, có một tỷ lệ hơi thấp hơn, và xác suất tối đa lỗi của nó sẽ giảm đáng kể.2.Kể từ khi xác suất trung bình của lỗi trên tất cả các mã là <2δ,thì phải tồn tại một mã với xác suất trung bình của khối lỗi Pb (C) <2δ.3.Để cho thấy rằng không chỉ mức trung bình mà còn có xác suất tối đa của lỗi, PBM, có thể được làm nhỏ, chúng ta sửa đổi mã này bằng cách ném đi nửa tồi tệ nhất của từ mã - những cái có nhiều khả năng để tạo ra những lỗi.Những cái còn lại đều phải có xác suất có điều kiện của lỗi ít hơn 4δ. Chúng tôi sử dụng các từ mã còn lại để xác định một mã mới. Đây là mã mới có 2NR

'−1 từ mã, nghĩa là, chúng tôi đã giảm tỷ lệ từ R' tới R' -1 / N (giảm không đáng kể, nếu N lớn), và đạt được ρBM<4δ. Thủ thuật này được gọi là bỏ b tơ (hình 10,5). Mã kết quả có thể không được mã tốt nhất của tỷ lệ và chiều dài của nó, nhưng nó vẫn còn tốt, đủ để chứng minh định lý mã hóa kênh nhiễu, đó là những gì chúng tôi đang cố gắng để làm ở đây.

Để kết luận, chúng ta có thể 'xây dựng' một mã của tỷ lệ R' - 1/ N, R'<C -3β với xác suất tối đa của lỗi <4δ.Chúng tôi có được những định lý như đã nêu bằng cách thiết lập R' = (R + C) / 2, δ = ϵ /

4, β <(C-R') / 3 và N đủ lớn cho các điều kiện còn lại đã đạt được. Vì vậy, phần đầu tiên của định lý được chứng minh.