7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 1/15

Bài Giảng 7• Luật Số Lớn

 –Trung bình của mẫu gần bằng giá trị kỳ vọng

  ,• Tiệm Cận Phân Hoạch Đều (AEP)

 –Xác suất của một chuỗi gần bằng

•  

Lê Nguyên Khôi 1

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 2/15

Bài Giảng 7• Tập Điển Hình (với hữu hạn)

 –Định nghĩa:

 –Tính chất:• Xác suất một chuỗi: 

•

Tổng xác suất: với• Số phần tử:

•  

Lê Nguyên Khôi 2

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 3/15

Nội Dung

• Quá Trình Ngẫu Nhiên• Chuỗi Markov• Tỷ Lệ Entropy

 –Ví dụ: Đường Đi Ngẫu Nhiên Trên Đồ Thị• Quá Trình Markov Ẩn

Lê Nguyên Khôi 3

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 4/15

Nhắc Lại AEP• AEP chỉ ra rằng bits đủ để miêu tả biếnngẫu nhiên độc lập & phân phối giống

nhau• Nhưng nếu biến ngẫu nhiên này phụ

thuộc nhau thì sao? –Trong trường hợp đặc biệt, biến ngẫu nhiênnày tạo thành quá trình dừng, tăng tiệm cậntuyến tính với

•  

Lê Nguyên Khôi 4

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 5/15

Quá Trình Ngẫu Nhiên

• Quá trình ngẫu nhiên: là một tập các biến ngẫunhiên được đặc trưng bởi hàm xác suất hợp

•

Một quá trình là dừng nếu:Với mọi giá trị của và với

•  

Lê Nguyên Khôi 5

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 6/15

Chuỗi Markov• Quá trình ngẫu nhiên rời rạc là Markov n.c.n

 – Xác định• Chuỗi Markov không phụ thuộc thời gian n.c.nkhông phụ thuộc

 –

 trạng thái tại thời điểm – được đặc trưng bởi ma trận xác suất

•  

Lê Nguyên Khôi 6

 

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 7/15

Tỷ Lệ Entropy• Tỷ lệ entropy của một quá trình ngẫu nhiên:

 (nếu tồn tại)• Đối với quá trình ngẫu nhiên dừng, tỷ lệ entroptồn tại và bằng

• CM:

Do đó dương, giảm dần tiến đếnVì vậy

•  

Lê Nguyên Khôi 7

Giam entropy điu kiê  n !ng

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 8/15

Tỷ Lệ EntropyVới chuỗi Markov dừng, tỷ lệ entropy:

Với ; ;: xác suất chuyển từ trạng thái sang: xác suất chuyển từ trạng thái sang .

•  

Lê Nguyên Khôi "

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 9/15

Đường Đi Ngẫu Nhiên Trên Đồ ThịXét đồ thị vô hướng trong đó là nút, cạnh và trọngsố của đồ thị. Mỗi cạnh có một trọng số•  

Lê Nguyên Khôi #

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 10/15

Đường Đi Ngẫu Nhiên Trên Đồ Thị

Ta coi một đường đi ngẫu nhiên là chuỗi Markovtrong đó trạng thái là nút trên đồ thị

Kiểm tra phân phối xác xuất và

•  

Lê Nguyên Khôi 1$

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 11/15

Đường Đi Ngẫu Nhiên Trên Đồ Thị•  

Lê Nguyên Khôi11

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 12/15

Quá Trình Markov Ẩn• Trong nhiều trường hợp, chỉ biết một phần thông tinvề trạng thái của hệ thống . Vậy entropy là gì?

• Không phải lúc nào cũng tạo thành chuỗi Markov• Tính cận trên & cận dưới, dừng quá trình tính toánđến khi sự khác biệt giữa 2 cận là đủ nhỏ• Dừng và• Đồng thời và

•  

Lê Nguyên Khôi 12

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 13/15

Quá Trình Markov ẨnCM:

markov

 

giảm entropy điều kiện

  dừng

Chỉ biết ngoài giảm entropy điều kiện xuống dưới tỷ lệentropy

•  

Lê Nguyên Khôi 13

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 14/15

Quá Trình Markov ẨnCM:Theo luật xích & định nghĩa thông tin tương hỗ:

Do đóVì vậy

Ảnh hưởng của lên giảm dần theo thời gian

•  

Lê Nguyên Khôi 14

7/23/2019 Bai Giang 08

http://slidepdf.com/reader/full/bai-giang-08 15/15

Đọc• Chương 5, Nguyễn Phương Thái

Lê Nguyên Khôi 15