志天整合式機房監控 - VOLITION 志天實業股份有限 …Linebot 訊息告警系統 三色訊息警示燈 TTS語音訊息告警跑馬燈系統 4G/LTE告警簡訊機 簡訊告警系統
第五章 機率 、 隨機訊號與雜訊
description
Transcript of 第五章 機率 、 隨機訊號與雜訊
通訊原理 第五章 機率、隨機訊號與雜訊 1教育部資通訊科技人才培育先導型計畫
第五章 機率、隨機訊號與雜訊
通訊原理 第五章 機率、隨機訊號與雜訊 2教育部資通訊科技人才培育先導型計畫
大綱5-1 機率變數
離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)
5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)
5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)
5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
通訊原理 第五章 機率、隨機訊號與雜訊 3教育部資通訊科技人才培育先導型計畫
大綱5-1 機率變數
離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)
5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)
5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)
5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
通訊原理 第五章 機率、隨機訊號與雜訊 4教育部資通訊科技人才培育先導型計畫
機率變數 在機率或隨機程序裡常利用機率模式或機率系統來描述所觀察到
的現象,定義一個機率模式 (model) ( 由 S,E,P 所組成 ) :
1. 取樣空間 (sample space, S) ,以符號 S 來表示:
取樣空間 S 是觀察某個隨機實驗所有可能發生的實驗現象或結果
(sample point or outcome) 所形成的集合。
2. 事件 (event, E):
取樣空間之部份集合稱為事件,以符號 E 來表示。
3. 機率測量 (probability measurement) ,用 P [·] 表示。
某一事件的機率測量可以定義為
其中 nE表示 N 次隨機實驗中,事件 E 出現的次數。
無法預知下次實際結果
[ ] lim E
N
nP E
N
通訊原理 第五章 機率、隨機訊號與雜訊 5教育部資通訊科技人才培育先導型計畫
集合之基本運算 一個取樣空間 S 中若有兩集合 ( 事件 )A 與 B ,以下是集合的基本運
算:
聯集 (Union) :
或
交集 (Intersection) :
且
補集 (Complement) :
且
}|{ BxAxxBA
}|{ BxAxxBA
}|{ AxSxxAA c
Venn diagram
通訊原理 第五章 機率、隨機訊號與雜訊 6教育部資通訊科技人才培育先導型計畫
機率公設 機率測量均會滿足:
P[S]=1 ,以及 P[ ]=0 。對於任意事件 A , 。若 A 和 B 兩個事件是互斥,則
。
範例 5-1-1
以擲骰子為例子,討論機率空間 :
S=
P[ ]=0, , , P[S]=1
1 [ ] 0P A
][][][ BPAPBAP
若兩事件互斥,則兩事件交集是空集合,兩事件聯集是取樣空間 S 。
事件 =“ 實驗結果點數是偶數”
表示空集合
通訊原理 第五章 機率、隨機訊號與雜訊 7教育部資通訊科技人才培育先導型計畫
以下列出幾條機率特性、公設 (Axioms) :
公設 3 證明:
機率公設
1. [ ] 1 [ ]
2. [ ] 0
3. [ ] [ ] [ ] [ ]
4. , [ ] [ ]
cP A P A
P
P A B P A P B P A B
A B P A P B
[ ] [ / ] [ / ] [ ]
[ / ] [ ] [ / ] [ ] [ ]
[ ] [ ] [ ]
P A B P A B P B A P A B
P A B P A B P B A P A B P A B
P A P B P A B
A/B 代表結果屬於事件 A 但不屬於事件 B 的集合
因為 A 與 Ac 為互斥事件
通訊原理 第五章 機率、隨機訊號與雜訊 8教育部資通訊科技人才培育先導型計畫
條件機率:事件 A 、 B 為取樣空間 S 之部分集合,且 P[B]>0 ,
則在事件 A 已發生的前提下,事件 B 發生的機率即為條件機率。
條件機率的定義: 。
若 A 與 B 互斥,也就是 ,則 。
若 A 是 B 的子集合,則 。
若
則稱 A 和 B 互為獨立事件 ( 統計上的獨立 ) 。
條件機率
][
][]|[
AP
BAPABP
[ | ] 0A B P B A
1]|[, ABPABA
[ ] [ ] [ ] [ | ] [ ]P A B P A P B P B A P B
已知事件 A 發生不會影響事件 B 機率的測量
通訊原理 第五章 機率、隨機訊號與雜訊 9教育部資通訊科技人才培育先導型計畫
貝氏定理 若 ,且
,則 {E1 , E2 , …… , En } 稱為事件空間。
全機率定理 (Total Probability Theorem) :若 {E1 , E2 , …… , En } 是ㄧ組事件空間,對於任意事件 A 而言,恆有:
貝氏定理 (Bayes’ Theorem) :若 {E1 , E2 , …… , En } 是ㄧ組事件空間,對於任意事件 A ,且 P[A]>0 ,
恆有:
n
jjj
iiii
EPEAP
EPEAP
AP
AEPAEP
1
][][
][][
][
][][
][]|[...][]|[][]|[
][...][][][
2211
21
nn
n
EPEAPEPEAPEPEAP
EAPEAPEAPAP
1 2 ... nE E E S , i jE E i j
E1 , E2 , …… , En 均為事件
稱為事前機率稱為事前機率
通訊原理 第五章 機率、隨機訊號與雜訊 10教育部資通訊科技人才培育先導型計畫
隨機變數隨機變數 (Random Variables) :
隨機變數是一種函數對應的關係,是將取樣空間中每個實驗結果 對應於一個實數值 ,則稱 為隨機變數,簡寫為 X ,其函數結構為 X : S R ,其中 R 為實數域。
)(sXx
Ss
)(sX
S1s
3s4s
2s
)( 1sX)( 2sX )( 3sX )( 4sXR圖 5-1-1
通訊原理 第五章 機率、隨機訊號與雜訊 11教育部資通訊科技人才培育先導型計畫
取樣空間 取樣空間 S 是隨機變數的定義域,其對應域為 R ,而隨機變數的值
域 (range) SX乃是某個隨機變數所有對應出實數值的集合或範圍。
若以不同的角度來觀察某個隨機實驗的結果,所形成的取樣空間就會改變。
定義隨機變數最主要的目的是將某個隨機實驗所有可能會發生的結果加以數值化,以方便之後進行統計上的處理與運算。
圖 5-1-2
SX
x RS
s
)(sXx
| ( ), ,XS x x X s s S x R
通訊原理 第五章 機率、隨機訊號與雜訊 12教育部資通訊科技人才培育先導型計畫
事件 事件 (event) 會是取樣空間的子集合,換句話說當某個隨機實驗進行
時發生某個事件的結果一定會包含在所對應子集合裡。
任一事件 A 是取樣空間 S 的子集合,即 A S ,此集合是包含所有屬於事件A 的實驗結果,經過隨機變數 X 函數對應後映至 B ,也就是
當事件 A 發生時,事件 B 也會跟著發生,所以 A 跟 B 被視為等效事件,所以兩者發生的機率會一致, P[B] = P[A] 。
圖 5-1-3
{ | ( ), } XB x x X s s A S
B
通訊原理 第五章 機率、隨機訊號與雜訊 13教育部資通訊科技人才培育先導型計畫
範例 5-1-2
假設一公平的硬幣連續投擲三次,定義隨機變數 X 表示正面出現的次數:
1.隨機變數 X 的值域 SX={0,1,2,3} 。
2.所謂公平即是一次投擲出現正面與反面的機率各為 1/2 ,因此每個 out
come 出現的機率均是 1/8 。3.例如 P[X=2]=P[ 正正反 , 正反正 , 反正正 ]=3/8 。
機率變數
此即為隨機變數的對應關係
通訊原理 第五章 機率、隨機訊號與雜訊 14教育部資通訊科技人才培育先導型計畫
離散隨機變數 離散隨機變數 (Discrete Random Variables)
定義:若是隨機變數 X 之值域 SX為可計數的,不論個數是有限或是
無限,稱為離散型隨機變數。
對於離散隨機變數,機率質量函數 (probability mess function, PMF) 是用來表示離散隨機變數值域中每一個元素 的機率值,其
數學符號為 。XSx
( ) [ ]XP x P X x
通訊原理 第五章 機率、隨機訊號與雜訊 15教育部資通訊科技人才培育先導型計畫
對於離散隨機變數 X ,機率質量函數為 PX(x) 之具有之特性:
隨機變數值域中對於每個元素 x ,其機率值必為正值: PX(x) 0
對於隨機變數值域中所有元素的機率值相加必為 1 :
對於任何一個事件 AS ,經過隨機變數 X 函數對應後映至 B SX ,則
事件 A 出現的機率為
離散隨機變數
( ) 1X
Xx S
P x
[ ] [ ] ( )Xx B
P A P B P x
通訊原理 第五章 機率、隨機訊號與雜訊 16教育部資通訊科技人才培育先導型計畫
累積分配函數累積分配函數 (cumulative distribution function, CDF)
若隨機變數 X 之機率質量函數為 PX(x) ,定義累積分配函數為:
累積分配函數的重要特性:
( ) [ ] ( )X Xs x
F x P X x P s
1 2 1 2
0 00
0 0 0 00
1. 0 ( ) 1,
2. ( ) 0, ( ) 1
3. < ( ) ( )
4. ( ) lim ( )
5. [ ] ( ) ( ) lim ( )
6. [ ] ( ) ( )
X X
X X
X X
X X
X X X
X X
F x x S
F F
x x F x F x
F x F x
P X x P x F x F x
P a X b F b F a
隨機變數 X 小於 x 的機率 : 即是將隨機變數的值域 SX 中所有小於以及等於x 的機率全部累加起來。
累積分配函數是右連續函數,但不一定是左連續函數。
通訊原理 第五章 機率、隨機訊號與雜訊 17教育部資通訊科技人才培育先導型計畫
累積分配函數 範例 5-1-3
公平的銅板連續投擲三次,隨機變數 X 表示正面出現的次數,請繪出
此隨機變數之機率質量函數及累積分配函數:
解答
隨機變數X
0 1 2 3
PX(x) 1/8 3/8 3/8 1/8
)(xPX
8
1
8
3
圖 5-1-4
通訊原理 第五章 機率、隨機訊號與雜訊 18教育部資通訊科技人才培育先導型計畫
根據上表,可獲得累積分配函數為:
x
x
x
x
x
xFX
3,1
32,8
7
21,2
1
10,8
1
0,0
)(
FX
(x)
x
累積分配函數
圖 5-1-5
通訊原理 第五章 機率、隨機訊號與雜訊 19教育部資通訊科技人才培育先導型計畫
累積分配函數 機率質量函數及累積分配函數關係:
)(xPX
8
1
8
3
FX(x)
x
機率質量函數 累積分配函數
將機率質量函數的各點的機率值由左至右累加起來,即可獲得累積分配函數;累加到最後機率值為 1
通訊原理 第五章 機率、隨機訊號與雜訊 20教育部資通訊科技人才培育先導型計畫
平均值 (average) 或期望值 (expected value) :離散型隨機變數 X 的平均值定義為 :
平均值的意義:某個隨機變數的平均值,是指進行許多次隨機試驗後計算其統計平均值,也就是將各個可能出現的結果 xi做算術平均,還要乘上其對應的機率值 PX(xi) 進行加權,即獲得其統計平均值。
離散型隨機變數 X 之機率質量函數為 PX(x) ,若 Y=g(X) 是定義在 X 之值域上的函數,則 Y 之期望值為 :
( ) ( )X
X Xx S
E X xP x
平均值或期望值
[ ] [ ( )] ( ) ( )X
Y Xx S
E Y E g X g x P x
通訊原理 第五章 機率、隨機訊號與雜訊 21教育部資通訊科技人才培育先導型計畫
平均值或期望值 隨機變數經由線性轉換後的期望值 :
隨機變數 X 之機率質量函數為 PX(x) ,經由線性轉換 Y=g(X)=aX+b 後,
則 Y 之期望值為 :
証明:
( )Y X Xg a b
[ ] [ ] ( ) ( )
( ) ( )
[ ]
X
X X
Xx S
X Xx S x S
E Y E aX b ax b P x
a xP x b P x
aE X b
隨機變數 Y 與 X 的平均值也滿足函數 (線性轉換 ) 的關係
通訊原理 第五章 機率、隨機訊號與雜訊 22教育部資通訊科技人才培育先導型計畫
變異數 (Variance)
離散型隨機變數 X 的變異數的定義為:
標準差 (Standard deviation)
隨機變數 X 的標準差的定義為:
在統計上,比較常使用變異數的平方根,也就是標準差 ,因為標
準差的單位和隨機變數 X 是一樣的。
變異數與標準差
2 2Var[ ] ( ) ( ) ( )X
X X Xx S
X E X x P x
][Var XX
X
通訊原理 第五章 機率、隨機訊號與雜訊 23教育部資通訊科技人才培育先導型計畫
變異數與標準差 常用之定理:
證明:
)115(][][
][][Var22
22
XEXE
XEX X
22
222
22
22
2
][][
2][
)()(2][
)()(2)(
)()(][Var
XEXE
XE
xPxxPXE
xPxPxxPx
xPxX
XX
SxXX
SxXX
Sx SxXX
SxXXX
SxXX
XX
X XX
X
通訊原理 第五章 機率、隨機訊號與雜訊 24教育部資通訊科技人才培育先導型計畫
離散隨機變數 範例 5-1-4
某ㄧ個隨機變數 R ,其機率質量函數如下,期望值為 3/2 ,求隨機變數R 的變異數?
解答由公式 (5-1-1) 得知, Var[X]=E[X2]-(E[X])2
otherwise0
,24/3
,04/1
)( r
r
rPR
2 2 2
22
2
[ ] 0 (0) 2 (2) 3
Var[ ] [ ] [ ]
3 33
2 4
R RE R P P
R E R E R
通訊原理 第五章 機率、隨機訊號與雜訊 25教育部資通訊科技人才培育先導型計畫
k 次動差 (kth moment) :離散型隨機變數 X 的 k 次動差之定義如下 :
動差產生函數 (Moment Generating Function, MGF) 之定義如下 :
函數之定義:
具有之特性:
動差形成函數
( ) [ ] ( ) (5 1 2)X
tX txX X
x S
M t E e e P x
( )
0
( )
0
1. (0) 1
( )2. (0) [ ] (5 1 3)
(0)3. ( )
!
X
kXk k
X k
t
kkX
Xk
M
d M tM E X
dt
MM t t
k
( ) [ ] ( )X
k k kX X
x S
E X x P x
將動差產生函數微分 k 次後帶入 t=0之後獲得隨機變數 k 次動差
由無窮多個動差來合成動差產生函數
通訊原理 第五章 機率、隨機訊號與雜訊 26教育部資通訊科技人才培育先導型計畫
接下來介紹常用的離散型隨機變數
均勻分佈 (Uniform Distribution)
定義:若是隨機變數 X 的機率質量函數滿足底下公式
則稱隨機變數 X 為離散型均勻分配。
意義:若隨機變數具有 n 個不同結果,每個結果都具有相同之機率,則稱為均勻分佈之隨機變數。
ㄧ般用在對於每一個實驗結果沒有進一步資訊或概念時,先假設每一個結果發生的機率皆相同。
均勻分配
jixxxxxxn
xP jinX ,,,...,,,1
)( 21
通訊原理 第五章 機率、隨機訊號與雜訊 27教育部資通訊科技人才培育先導型計畫
均勻分配
離散型均勻分配機率質量函數圖形
離散型均勻分配累積分配函數圖形
相同之機率
圖片來源 http://wikimediafoundation.org/wiki/Home
機率 機率
圖 5-1-9 圖 5-1-10
通訊原理 第五章 機率、隨機訊號與雜訊 28教育部資通訊科技人才培育先導型計畫
白努力分配 (Bernoulli Distribution)
定義:若是隨機變數 X 的機率分配為
則稱隨機變數 X 為白努力分配,記為 X~B(1, p) 。
白努力試驗的意義:1. 每次試驗結果只有兩種,成功或失敗。2. 任何一次試驗彼此互相獨立。3. 成功或失敗機率在每次試驗中均相同。
日常生活中,很多例子都是白努力試驗的結果。例如擲硬幣、品管檢查等等。
白努力分配
1,0,)1()( 1 xppxP xxX
通訊原理 第五章 機率、隨機訊號與雜訊 29教育部資通訊科技人才培育先導型計畫
範例 5-1-5 若隨機變數 X~B(1, p) ,試求: (1)動差母函數 (2) 平均值 (3)標準差
解答
(1)白努力的機率分配 由式子 (5-1-2) ,
(2) MX(t) 在 t=0 之泰勒展開式:
白努力分配
1
0
1
)1()()()(
1,0,)1()(
x
tX
txtXX
xxX
pepxPeeEtM
xppxP
...)!3!2
1()1()(32
tt
tpptM X
( 接下頁 )
通訊原理 第五章 機率、隨機訊號與雜訊 30教育部資通訊科技人才培育先導型計畫
所以
可得
(3) 由式子 (5-1-1)
白努力分配
...!2
)0(")0(')0(
...!3!2
1)(
2
32
tM
tMM
pt
pt
pttM
XXX
X
)1(
)0(')0(")()()(Var
)415()0(')(
2
222
pppp
MMXEXEX
pMXE
XX
X
通訊原理 第五章 機率、隨機訊號與雜訊 31教育部資通訊科技人才培育先導型計畫
二項分配 (Binomial Distribution)
定義:若是隨機變數 X 的機率分配為
則稱隨機變數 X 為二項分配,記為 X~B(n, p) 。
意義:就白努力試驗而言,如果每次成功機率為 p ,則失敗機率為 1-p ,
執行 n 次試驗之後,成功次數即為隨機變數 X ,其值介於 0~n 之間,則
X 之機率分配即為二項分配。
二項分配
nxppCxP xnxnxX ,...,3,2,1,0,)1()( !
( )! !nx
nC
n x x
通訊原理 第五章 機率、隨機訊號與雜訊 32教育部資通訊科技人才培育先導型計畫
二項分配 範例 5-1-6
若隨機變數 X~B(n,p) ,試求 X 的動差母函數、期望值以及標準差。
解答 動差母函數
由式子 (5-1-4) ,期望值
而標準差
nt
n
x
xnxtnx
n
x
xnxnx
txtXX
pep
ppec
ppceeEtM
1
)1(
)1()(
0
0
nppepepnM ttnt
X
01 |)()1()0('
)3.5()1()0(')0(" 22 pnpMM XX
通訊原理 第五章 機率、隨機訊號與雜訊 33教育部資通訊科技人才培育先導型計畫
範例 5-1-7
讓隨機變數 X 表示 n 個骰子中出現點數為六點的骰子個數,試計算 X
的變異數。
解答
點數六點表示成功,所以隨機變數 X 可用 ~B(n, 1/6) 來表示
由式子 (5-1-1) ,
二項分配
36
5
6
11
6
1
)1()(Var
n
n
pnpX
通訊原理 第五章 機率、隨機訊號與雜訊 34教育部資通訊科技人才培育先導型計畫
機率密度函數 連續隨機變數 (Continuous Random Variables)
定義:若是隨機變數 X 之值域 SX為不可計數的,稱為連續型隨機變數。
機率密度函數 (Probability Density Function, PDF) : 若一個非負的連續函數 fx(x) 滿足以下式子:
則 fx(x) 就是隨機變數 X 的機率密度函數。
機率密度函數的特性:
x
X dttfxXP )(][
A X
X
X
dxxfAXP
xf
xf
)(][.3
1)(.2
0)(.1機率密度函數積分後才是機率!
就像水的密度是 1乘上體積後才表示水的質量!
通訊原理 第五章 機率、隨機訊號與雜訊 35教育部資通訊科技人才培育先導型計畫
累積分配函數 (Cumulative Distribution Function, CDF) :
若隨機變數 X 的機率密度函數為 fX(x) ,我們可以定義
累積分配函數:
累積分配函數有以下特性:
1.
2.
3. 累積分配函數是右連續的 (Right-continuous) 。
4.
5.
x
XX dttfxXPxF )(][)(
累積分配函數
1)(0 xFX
,1)(lim,0)(lim
xFxF Xx
Xx
)()(][ aFbFbXaP XX
)()(
xfdx
xdFX
X
通訊原理 第五章 機率、隨機訊號與雜訊 36教育部資通訊科技人才培育先導型計畫
範例 5-1-14
令隨機變數 X 表示在區間 (0,3)內所取的任意點,試求出隨機變數 X 的
機率密度函數。
解答
令 X 的機率密度函數 fX(x)=k ,例用機率密度函數特性 2 ,
所以
連續隨機變數
3
1
13)(
else,0
30,)(
3
0
k
kdxkdxxf
xkxf
X
X
通訊原理 第五章 機率、隨機訊號與雜訊 37教育部資通訊科技人才培育先導型計畫
21 xx
連續隨機變數 累積分配函數之圖例:
連續型隨機變數之累積分配函數圖形 John G. Proakis,
Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002
1)(lim
xFXx
dfxXxPx
x X 2
1
)(][ 21
圖 5-1-14
通訊原理 第五章 機率、隨機訊號與雜訊 38教育部資通訊科技人才培育先導型計畫
變數變換後的期望值:
若連續型隨機變數 X 之機率密度函數為 fX(x) ,而 g(x) 為定義在
X 之值域上的函數,則 g(X) 之期望值為:
)515()()()]([
dxxfxgXgE X
期望值
通訊原理 第五章 機率、隨機訊號與雜訊 39教育部資通訊科技人才培育先導型計畫
變異數:
若隨機變數 X 具有機率密度函數 fX(x) 以及累積機率函數 FX(x) ,則變
異數:
若 Var(x)很小,表示 x 的值都在平均值附近。
所以變異數可以反應隨機變數 X 的所有 x 值之間分散的程度。
)615()]()(1[2
][
)()(
])[()(Var
0
2
22
2
22
XXX
X
XX
XX
dxxFxFx
XE
dxxfx
XEX
變異數
通訊原理 第五章 機率、隨機訊號與雜訊 40教育部資通訊科技人才培育先導型計畫
期望值的特性:
變異數的特性 ( 假設 c 為任意常數 ) :
)(Var)(Var.3
0)(Var.2
)(Var)(Var.1 2
XcX
c
XccX
所以將 f(x) 圖形左右平移,並不會影響此分配之分散狀況
cXEcXE
ccE
XcEcXE
)()(.3
)(.2
)()(.1
連續隨機變數
通訊原理 第五章 機率、隨機訊號與雜訊 41教育部資通訊科技人才培育先導型計畫
範例 5-1-15
若隨機變數 X 的 累積分配函數為 FX(x)=1-e-x2 , x>0 。
試利用
求出 X 的變異數。
解答
由式子 (5-1-5)
由式子 (5-1-6)
連續隨機變數
2,)(][
00
1 2
dxedxxXPnxXE xnn
41
21)(Var
12
)(12)(2][
2)(][
2
0
00
2
00
2
2
X
dxxe
dxxFxdxxXxPXE
dxedxxXPXE
x
X
x
通訊原理 第五章 機率、隨機訊號與雜訊 42教育部資通訊科技人才培育先導型計畫
平均值:
連續型隨機變數 X 的平均值的定義為:
平均值的意義:某個隨機變數的平均值,是指該隨機試驗進行許多次以後的平均結果。所以,不僅將各個結果 xi做算術平均,要再乘上出現機率 fX(xi)dx 進行加權!
n 次動差 (nth moment) :連續型隨機變數 X 的 n 次動差之定義為:
dxxxfXE X )()(
dxxfxm X
ndef
nX )()(
平均值與動差
通訊原理 第五章 機率、隨機訊號與雜訊 43教育部資通訊科技人才培育先導型計畫
動差形成函數 (Moment Generating Function, MGF)
定義:
特性:
特性 2 證明:
歸納可得
動差形成函數
)715()(][)(
dxxfeeEtM txtX
X
)815( ][)0(.2
1)0(.1)(
Kk
X
X
XEM
M
][)0(
][)()0('
)()()('
)()(
)( kk
X
txtxX
txX
XEM
XEdxxxfM
dxxfxedxxfedt
dtM
dxxfetM
X
通訊原理 第五章 機率、隨機訊號與雜訊 44教育部資通訊科技人才培育先導型計畫
特徵函數 (Characteristic Functions) :
隨機變數 X 具有機率密度函數 fX(x) ,則 X 之特徵函數之定義為:
特徵函數實際上就是 fX(x) 取傅立葉轉換,故不論 X 為何種機率分配特徵函數一定存在。
範例 5-1-16
有ㄧ個高斯隨機變數,期望值 m ,變異數 ,可知特徵函數:
dxexfw jwx
XX )()(
][)}({)( jwXXX eExfFx
2
2
2
)(
2
22
2
2
2
1)(
wjwx
jwxmx
X
e
dxeew
特徵函數
通訊原理 第五章 機率、隨機訊號與雜訊 45教育部資通訊科技人才培育先導型計畫
對於可微分函數而言 y=g(x) 而言,則隨機變數 X 經由 Y =g(X)轉換後之機率密度函數 fY (y) 為:
範例 5-1-17
若隨機變數 X 為常態分配, ,試求隨機變數 Y=a
X+b 的機率密度函數: 解答
變數變換
)1,0(~ NX
2
2
2
)(
2
1
2
1)(
)(')(
a
byX
Y eaa
aby
fyf
a
byx
axgbaxxg
)(1)('
)()(
ygxi i
iXY
ii
xg
xfyf
通訊原理 第五章 機率、隨機訊號與雜訊 46教育部資通訊科技人才培育先導型計畫
隨機向量 (Random Vector) :延伸連續型隨機變數的概念到多維的連續型隨機向量。
設 S 為連續型結合隨機變數 (X,Y) 之值域, E 為 S內之任一部分集合,
若實函數 fX,Y(x,y) 滿足:
則稱 fX,Y(x,y) 為 (X,Y) 的結合機率密度函數。
結合機率密度函數特性:
隨機向量
Eyx
YX dxdyyxfEP),(
, ),(][
1),(
,,0),(
,
,
dxdyyxf
Ryxyxf
YX
YX
通訊原理 第五章 機率、隨機訊號與雜訊 47教育部資通訊科技人才培育先導型計畫
結合累積分配函數 定義 X 和 Y 的結合累積分配函數 (joint CDF) 為:
由萊布尼茲 (Leibnitz’s)微分法則得知結合機率密度函數和結合累積分配函數的關係為:
在已知 X=x 的情形下的條件機率函數為:
.0)(,)(
).()|( ,
, xfxf
yxfxyf X
X
YXYX
yx
yxFyxf YX
YX
),(
),( ,2
,
dsdttsf
yYxXPyxFx y
YX
YX
),(
],[),(
,
,
通訊原理 第五章 機率、隨機訊號與雜訊 48教育部資通訊科技人才培育先導型計畫
所以對於統計上獨立的隨機變數 X 與 Y ,我們有:
若 g(x,y) 為定義在 X,Y 之值域上的函數,則可以得知 g(x,y) 的期望值為:
相關性:若 g(x,y) 為 XY ,則 E[XY] 稱為隨機變數 X 與 Y 的相關性。
結合累積分配函數
][][][)()(),(
)()(
),()|(
,
,|
YEXEXYEyfxfxyf
yfxf
xyfxyf
YXXY
YX
XYXY
dxdyyxfyxgYXgE YX ),(),(),( ,
通訊原理 第五章 機率、隨機訊號與雜訊 49教育部資通訊科技人才培育先導型計畫
共變數 (Covariance)
隨機變數 X,Y 之共變數定義:
共變數的意義:1. 若隨機變數 X 與 Y 同時減少,則 Cov(X,Y)>0
2. 若隨機變數 X 與 Y 的增減互為相反,則 Cov(X,Y)<0
3. 若隨機變數 X 與 Y 互為獨立,則 Cov(X,Y)=0
共變數
XY
YX
YEXEXYE
YXEYXCov
][][][
))((),(
( 證明 )Cov(X,Y)=E[XY]-E[X]E[Y] = E[X]E[Y]-E[X]E[Y]=0
通訊原理 第五章 機率、隨機訊號與雜訊 50教育部資通訊科技人才培育先導型計畫
相關係數 (Correlation Coefficient)
隨機變數 X,Y 之相關係數定義:
相關係數之性質:
1. 之值在 +1 與 -1 之間。
2. 若 ,則稱 X 與 Y 為互不相關 (uncorrelated) 。
3. 若 X 與 Y 互為獨立,則 X 與 Y 必定不相關,反之未必。
相關係數
YX
XY
YXXY
YXCov
),(
XY
0XY
通訊原理 第五章 機率、隨機訊號與雜訊 51教育部資通訊科技人才培育先導型計畫
相關係數之性質 1 證明:
令隨機變數 U 與 V
相關係數的意義:相關係數表示 X 與 Y 之間是否具有線性關係的指標,若
相關係數趨近於 +1 或 -1 ,表示期間的相關性越強。若相關係數為 +1 或 -
1 ,表示 X 與 Y 為線性關係。
相關係數
1
1
),(][][
,
2
222222
XY
XY
YX
YX
YXCovVEUEUVE
YVXU
通訊原理 第五章 機率、隨機訊號與雜訊 52教育部資通訊科技人才培育先導型計畫
接下來介紹連續型隨機變數模型
均勻分配 (Uniform Distribution)
定義:若是隨機變數 X 的機率密度函數為
則稱隨機變數 X 為連續型均勻分配,記為 U(a,b) 。
應用:有時候影響某事件的因素相當多,且每一個因素的影響程度均差不多,則此現象即可使用均勻分布來描述。例如熱力學中的亂度理論。
1, ,
( )
0 , otherwiseX
x a bb af x
均勻分配
通訊原理 第五章 機率、隨機訊號與雜訊 53教育部資通訊科技人才培育先導型計畫
範例 5-1-18
若隨機變數 X 為均勻分配,試求隨機變數 X 的動差形成函數以及期望值與變異數。
解答
根據公式 (5-1-7) ,
期望值以及變異數,由式子 (5-1-5) 、 (5-1-6) :
均勻分配
tab
eedx
abe
eEtMatbt
b
a
tX
tX
)(
1
][)(
12
)(
23][
2
1][
2222222 abbababa
XE
badx
abxXE
b
a
通訊原理 第五章 機率、隨機訊號與雜訊 54教育部資通訊科技人才培育先導型計畫
連續型均勻分配機率密度函數圖形
均勻分配
機率密度均等
圖 5-1-15
通訊原理 第五章 機率、隨機訊號與雜訊 55教育部資通訊科技人才培育先導型計畫
常態分配 ( 高斯分配 ) (Gaussian Distribution)
定義:若是隨機變數 X 的機率密度函數為
則稱隨機變數 X 為常態分配,記為 。
當 時,則稱 X 為標準常態分配。
討論:常態分布中有兩個參數,1. 稱為位置參數,影響 f(x) 在 x軸上的對稱位置。2. 稱為形狀參數,影響 f(x) 圖形的胖瘦。
0,,,2
1)(
2
2
2
)(
RRxexfx
常態分配
),(~ 2NX
1,0
通訊原理 第五章 機率、隨機訊號與雜訊 56教育部資通訊科技人才培育先導型計畫
常態分配機率密度函數圖形圖片來源 http://wikimediafoundation.org/wiki/Home
常態分配
不同 值影響對稱軸位置
不同 值影響圖形胖瘦
機率
圖 5-1-16
通訊原理 第五章 機率、隨機訊號與雜訊 57教育部資通訊科技人才培育先導型計畫
常態分配的累積分配函數圖形
圖片來源 http://wikimediafoundation.org/wiki/Home
常態分配
機率
圖 5-1-17
通訊原理 第五章 機率、隨機訊號與雜訊 58教育部資通訊科技人才培育先導型計畫
常態分配機率密度函數圖形
常態分配
可看出機率分配與標準差之間的關係
圖片來源 http://wikimediafoundation.org/wiki/Home
機率
圖 5-1-18
通訊原理 第五章 機率、隨機訊號與雜訊 59教育部資通訊科技人才培育先導型計畫
範例 5-1-19
若隨機變數 X 為常態分配, ,試求隨機變
數 X 的動差形成函數以及期望值與變異數。
解答 根據公式 (5-1-7)
常態分配
2
2
2 2 2 2 22
2
2 222
2
( )
2
2( ) ( )
2 2
( )
22
( ) [ ]
1
2
1
2
1
2
tX
xtx
x t x tt t
x tt t
M t E e
e e dx
e e dx
e e dx
),(~ 2NX
( 接下頁 )
通訊原理 第五章 機率、隨機訊號與雜訊 60教育部資通訊科技人才培育先導型計畫
常態分配所以動差形成函數
期望值及變異數:
9)-1-(5
22
1)(
22
22
2
2
tt
tt
e
etM
2202
222
0
|][][)(Var
|][
t
t
t
MXEXEX
t
MXE
由公式 (5-1-8)
通訊原理 第五章 機率、隨機訊號與雜訊 61教育部資通訊科技人才培育先導型計畫
範例 5-1-20若隨機變數 X 為常態分配, ,試求隨機變
數 X2的期望值及變異數。
解答 因為 ,所以 E[X]=0
又 ,
所以 由式子 (5-1-9) 知 X 的動差形成函數為
,由式子 (5-1-8) 知
而
常態分配
2222222 ][][ ][][][Var XEXEXEXEX
),0(~ 2NX
),0(~ 2NX
40
)4(42 3|)(][ )(2
2
t
t
X tmXEetmX
4224
22422222
2)(3
][][][])[(][Var
XEXEXEXEX
通訊原理 第五章 機率、隨機訊號與雜訊 62教育部資通訊科技人才培育先導型計畫
前面提到,若 ,則稱 X 為標
準常態分配。
我們就可以定義標準常態分配的累積分配函數:
的意義為:
常態分配)1,0(~,1,0 NX
zt
dtez 2
2
2
1)(
)(z
)(z
z圖 5-1-19
通訊原理 第五章 機率、隨機訊號與雜訊 63教育部資通訊科技人才培育先導型計畫
常態分配
所以可以進一步得知:
由於圖形左右對稱,可知:z
z
t
dtez 2
2
2
1)(1
)()()(1 zQzz
z z
)( z )()(1 zQz
圖 5-1-20
通訊原理 第五章 機率、隨機訊號與雜訊 64教育部資通訊科技人才培育先導型計畫
Q函數的特性
根據以上對於 Q 函數的定義,可以知道 Q 函數滿足下列關係:
0)(.32
1)0(.2
)(1)(.1
Q
Q
xQxQ
部分 Q 函數的表
通訊原理 第五章 機率、隨機訊號與雜訊 65教育部資通訊科技人才培育先導型計畫
Q函數的範圍
我們常用三種方程式來近似 Q 函數的値
0 allfor 1
12
1)(.3
0 allfor 2
1)(.2
0 allfor 2
1)(.1
22
2
2
2
2
2
xexx
xQ
xex
xQ
xexQ
x
x
x
常用的上限
常用的下限
通訊原理 第五章 機率、隨機訊號與雜訊 66教育部資通訊科技人才培育先導型計畫
Q函數的範圍 配合上一頁的方程式,可得近似 Q 函數範圍的圖型
通訊原理 第五章 機率、隨機訊號與雜訊 67教育部資通訊科技人才培育先導型計畫
二維常態分配 ( 結合高斯隨機變數 )
(Two–Dimensional Gaussian Distribution)
定義:若是隨機變數 (X,Y ) 的結合機率密度函數為
其中
則稱隨機變數 (X,Y ) 為二維常態分配,
記為
2
2
2
2
2
1
1
2
1
1
2221
2
12
1exp
12
1),(
yyxx
yxf
二維常態分配
1,0,,,,, 2121 RRyx
),,,,(~),( 22
2121 BNYX
通訊原理 第五章 機率、隨機訊號與雜訊 68教育部資通訊科技人才培育先導型計畫
二維常態分配中的參數 分別對應到隨機變數X,Y 的期望值,標準差與相關係數。
若 ,表示 X 與 Y彼此互相獨立。
証明:當 時,
範例 5-1-21
若隨機變數 X 和 Y 的結合機率密度函數如下所示:
二維常態分配 ,,,, 2121
0
)()(),( 0 yfxfyxf
yx
yxyxyxf ,,
8
1026exp
8
1),(
22
通訊原理 第五章 機率、隨機訊號與雜訊 69教育部資通訊科技人才培育先導型計畫
試求:
解答
整理一下可得
和二維常態分布的機率密度函數比較
可得
所以
二維常態分配
)(Var)3( }2|{)2( ]0|3[)1( YXXYEYXP
22
2
1
2
3
2
1exp
222
1),(
yxyxf
0,4,1,4,3 222
211
X 與 Y 互相獨立
844)(Var)(Var)(Var)3(
1][]2|[)2(2
1]3[]0|3[)1(
YXYX
YEXYE
XPYXP
通訊原理 第五章 機率、隨機訊號與雜訊 70教育部資通訊科技人才培育先導型計畫
中央極限定理 (Central Limit Theorem) :對於許多個獨立且相同分布 (independent and identically distributed) 的隨機
變數 X1、 X2 、 …、 Xn ,每個隨機變數 Xj平均值均為 ,變異數
令隨機變數 Zn為
則
將許多彼此獨立且相同分布 ( 不需要是高斯分布 ) 的隨機變數相加就會 趨近於高斯隨機變數。
2X
1( ) ... ( )X n Xn
X
X XZ
n
中央極限定理
X
趨近於標準高斯分佈的隨機變數
21
lim Pr exp22
( )
z
nn
xz z dx
z
P
通訊原理 第五章 機率、隨機訊號與雜訊 71教育部資通訊科技人才培育先導型計畫
大綱5-1 機率變數
離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)
5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)
5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)
5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
通訊原理 第五章 機率、隨機訊號與雜訊 72教育部資通訊科技人才培育先導型計畫
隨機程序基本概念
我們常使用數學分析的方式來建立訊號的模型。
訊號模式通常可以分成兩大類形 :
確定性訊號模式 (Deterministic signal model)
在任何時間下訊號沒有任何不確定性
經調變過後的傳送訊號
隨機性訊號模式 (Random or Stochastic signal model)
在任何時間下訊號呈現不確定性
只能由統計特性來描述其瞬間特性
通道雜訊、通道干擾即為隨機性訊號
通訊原理 第五章 機率、隨機訊號與雜訊 73教育部資通訊科技人才培育先導型計畫
隨機程序基本概念
隨機訊號並不容易事先預測,僅能由統計的觀點描述其特性
隨機程序與隨機變數的比較
隨機變數 對隨機變數而言,其實驗結果會對應到一個數值
通常僅關心某一個事件發生的頻率
隨機程序 對隨機程序而言,其實驗結果會對應到一個時間上的函數
我們就不僅關心某些事件發生的頻率,還需要瞭解事件發生的
先後順序的關係
對隨機程序而言,其統計特性會隨時間進行而改變
通訊原理 第五章 機率、隨機訊號與雜訊 74教育部資通訊科技人才培育先導型計畫
隨機程序基本概念
名詞解釋取樣空間 S 是觀察某個隨機實驗所有可能發生的實驗現象或結果所形
成的集合。
取樣函數 (Sample function) : 即是某個實驗結果 所對應之時間函數 x(t ; si) 。
隨機程序 (Random processes) : 所謂隨機程序 X(t , s) 是一種函數對應的規則,是將某個 實驗結果 對應至某個時間函數 x(t , si) ,以及對每
個 實驗結果 si進行機率測量 P[si]=P[x(t,si)] 所組成。
整體 (Ensemble) : 所謂整體是表示由一個實驗中所有可能出現之取樣函數的集合。
Ssi
Ssi
通訊原理 第五章 機率、隨機訊號與雜訊 75教育部資通訊科技人才培育先導型計畫
隨機程序基本概念
為了簡化表達式,通常省略 s 而僅僅使用 X(t) 表示一個隨機程序。 對某一固定時刻 tk ,所有可能出現的結果形成一個隨機變數
當 t = tk, s= si 皆固定時, x(tk ,si) 僅是一個數值。
取樣函數
t=tk
x(tk ,si) 是數值
)},(),...,,(),,({)( 21 nkkkk stXstXstXtX
取樣空間 S X(tk) 是隨機變數
圖 5-2-1
通訊原理 第五章 機率、隨機訊號與雜訊 76教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 範例 5-2-1
假設我們在時間 T = 0, 1, 2, …, 的時候各擲一次骰子,並且把每個時
間所出現的點數 NT 記錄下來 (1 NT 6) ,我們就可以產生一個離散
的隨機程序 X(t) ,在時間 T t T+1內, X(t) = NT。
在此例中,這個隨機程序包含無限多個取樣函數,每一個取樣函數是對應於進行連續擲出骰子並紀錄點數出現的順序。
對於某些不同的實驗結果 在此例中是有可能發生的。
),(),(, jiji stxstxss
通訊原理 第五章 機率、隨機訊號與雜訊 77教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 範例 5-2-1 中實驗結果取樣函數與對應的圖例
取樣空間
針對 s1 的取樣函數圖形
針對 s2 的取樣函數圖形
圖 5-2-2
通訊原理 第五章 機率、隨機訊號與雜訊 78教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 隨機變數與隨機程序的不同
假設在某特定時間點 tk來觀察一個隨機程序
用 來表示這個隨機變數
其統計特性可以用機率質量函數 或機率密度函數 來描述。
)( ktX
)()( xfktX 隨機變數
X(tk)
)()( xPktX
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
圖 5-2-3
t=tk
通訊原理 第五章 機率、隨機訊號與雜訊 79教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 範例 5-2-2
讓一個經過整流的餘弦信號 X(t)=R|cos2ft|擁有一個隨機的振幅 R ,振幅 R 的機率統計特性為指數分佈 (exponential distributed) 的隨機變數 。其機率密度函數為
那麼隨機程序 的機率密度函數 為 ?
解答:
otherwise
rerf
r
R 0
0 )10/1()(
10/
)( )( )( xftX tx
1
)(
|]2cos|/[
])([)(
|2|cos10/
2cos
0
)(
πftx
πft|x/|
R
tX
e
drrf
ftxRP
xtXPxF
通訊原理 第五章 機率、隨機訊號與雜訊 80教育部資通訊科技人才培育先導型計畫
隨機程序與隨機變數
X(t) 機率密度函數為
機率密度函數是會隨時間而改變
範例 5-2-3
範例 5-2-2 中,令 Xn =X(nT) ,則 Xn的機率質量函數 (PMF) 為何?
解答:
/10|cos2 |( )
( )
1 , 0( )
10 | cos 2 |( )
0 ,
x ftX t
X t
e xdF xftf x
dxotherwise
otherwise, 0
6,...,1, 6/1)(
xxP
nX
通訊原理 第五章 機率、隨機訊號與雜訊 81教育部資通訊科技人才培育先導型計畫
隨機程序與隨機變數 如何描述一個隨機程序的分佈呢?
對單一個隨機變數 X1而言,只要知道其機率密度函數 就可以解
決和 X1有關任何的問題。
若是對於兩個隨機變數如 X1和 X2,就必需要知道它們的
結合機率密度函數 (joint PDF) 。
若是對於隨機程序 X(t) 進行完整敘述,對於任意 k 值以及所選擇 k 個時間 t1,
t2, …, tk進行取樣所形成的隨機向量 [X(t1), …, X(tk)] ,都必需要知道這個隨
機向量的結合機率密度函數
1 1( )Xf x
1( ),..., ( ) 1( ,..., )kX t X t kf x x
),( 21, 21xxf XX
通訊原理 第五章 機率、隨機訊號與雜訊 82教育部資通訊科技人才培育先導型計畫
離散與連續的隨機程序 離散數值與連續數值的隨機程序: (Discrete-value and Continuous-value R.P.s)
對於隨機程序 X(t) ,觀察在任意時間點 t 出現的所有結果 (outcomes)
形成的集合,若此集合的元素是可計數的,則此 X(t) 稱為離散數值的隨機程序;反之若此集合的元素是不可計數的,則此 X(t) 稱為連續數值的隨機程序。
離散時間與連續時間的隨機程序: (Discrete-time and Continuous-time R.P.s)
若隨機程序 X(t) 只有在時間 tn=nT下才定義 (X(nT) 有對應的數值, T
是時間常數而 n 是整數 ) ,則此 X(t) 稱為離散時間的隨機程序;若 X
(t) 在所有時間 t都有定義,則此 X(t) 稱為連續時間的隨機程序。
通訊原理 第五章 機率、隨機訊號與雜訊 83教育部資通訊科技人才培育先導型計畫
離散與連續的隨機程序 離散數值與連續數值的隨機程序圖例:
這兩個訊號在時間上 (x軸上 )都是連續的。
離散數值或連續數值之隨機程序的判斷是觀察隨機程序的結果 ( 也就是 y軸上 ) 是否連續。
連續時間,連續數值 連續時間,離散數值
圖 5-2-4 圖 5-2-5
通訊原理 第五章 機率、隨機訊號與雜訊 84教育部資通訊科技人才培育先導型計畫
離散與連續的隨機程序 離散時間與連續時間的隨機程序圖例:
離散時間隨機訊號 Xdc(t) 的產生是對連續時間隨機訊號 Xcc(t) 以 T=0.1秒時間間隔進行取樣所得到的結果。
這兩個訊號在數值上 (y軸上 )都是連續的。
連續時間,連續數值 離散時間,連續數值
圖 5-2-6 圖 5-2-7
通訊原理 第五章 機率、隨機訊號與雜訊 85教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 由於一個隨機程序 X(t) ,在某時間點 t1的取樣值 X(t1) 是一個隨機變數,
因此 X(t1) 平均值為常數。
但平均值會隨著時間 t 而改變,故隨機程序平均值為一個時間函數,即)]([)( tXEtX
John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002
隨機變數 X(t1)
隨機程序的期望值函數
)(tX
)( 0tX
)( 1tx
圖 5-2-8
通訊原理 第五章 機率、隨機訊號與雜訊 86教育部資通訊科技人才培育先導型計畫
隨機程序基本概念 一隨機程序 X(t) 的平均值是決定性函數 (deterministicn function)deterministicn function) 。。
ㄧ旦 X(t1) 的機率密度函數 fX(t1) 已知,則 X(t1) 平均值為
範例 5-2-4
找出之前範例 5-2-2 中餘弦信號 X(t)=R|cos2ft| 的期望值
解答:
dxxxftXEt tXX )()]([)( )(11 1
|2cos|10
|2cos|][
|]2cos|[)]([)(
ft
ftRE
ftREtXEtX
隨機變數
時間的函數
通訊原理 第五章 機率、隨機訊號與雜訊 87教育部資通訊科技人才培育先導型計畫
自相關函數自相關函數 (Autocorrelation function)
ㄧ個隨機程序的自相關函數的意義為此 隨機程序在兩個時間點 t1和 t2
之間功率的相關性。
數學表示式:
緩慢波動以及快速波動的自相關函數
緩慢波動表示兩個時間點t1 和 t2 之間的功率相關性高
快速波動表示兩個時間點t1 和 t2 之間的功率相關性低
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
)]()([),( 2121 tXtXEttRX
圖 5-2-9
通訊原理 第五章 機率、隨機訊號與雜訊 88教育部資通訊科技人才培育先導型計畫
自變異函數自變異函數 (Autocovariance function)
ㄧ個隨機程序的自變異函數的意義為此隨機程序在兩個時間點 t1 和
t2 之間標準差的相關性。
數學表示式:
自變異函數和自相關函數的關係:
隨機程序 X(t) 的變異數 (variance) 為
)](),([),( 2121 tXtXCovttCX
)()(),(
)()()()(
)()()()(
)()()()()()()()(
)()()()(),(
2121
2121
2121
21212121
221121
ttttR
ttttXE
tXEttXtXE
ttttXtXttXtXE
ttXttXEttC
XXX
XXX
X
XXXX
XXX
),()()()]([Var 112
111 ttCttXEtX XX
通訊原理 第五章 機率、隨機訊號與雜訊 89教育部資通訊科技人才培育先導型計畫
互相關函數
交互相關函數 (Cross-correlation function )
考慮兩個隨機程序 X(t) 和 Y(t) ,所對應的自相關函數分別為 RX(t1, t
2) 以及 RY(t1, t2) ,定義 X(t) 和 Y(t) 兩個隨機程序的交互相關函數為 :
若對於所有的 t1 和 t2 ,均滿足 ,則 X(t) 和Y(t) 為正交 (orthogonal) 訊號。
若採用另一種自相關函數的定義 :
)]()([),(
)]()([),(
2121
2121
tXtYEttR
tYtXEttR
YX
XY
0),( 21 ttRXY
)]()([),(
)]()([),(
tXtYEtR
tYtXEtR
YX
XY
通訊原理 第五章 機率、隨機訊號與雜訊 90教育部資通訊科技人才培育先導型計畫
互變異函數
則可以證明 :
互變異函數 (Cross-covariance function )
定義 X(t) 和 Y(t) 兩個隨機程序的互變異函數為:
若對於所有的 t1 和 t2 ,均滿足
則 X(t) 和 Y(t) 為無關 (uncorrelated) 訊號。
)()(),(
)()()()(),(
2121
221121
ttttR
ttYttXEttC
YXXY
YXXY
0),(or 0),( 2121 ttCttC YXXY
),(),( tRtR YXXY
通訊原理 第五章 機率、隨機訊號與雜訊 91教育部資通訊科技人才培育先導型計畫
互相關函數 範例 5-2-5
考慮一和 X(t) 有關的正交調變程序 XI(t) 和 XQ(t) 定義如下:
而 fc表示載波頻率,隨機變數在區間 [0, 2π]內為均勻分布
並且和 X(t)彼此互相獨立,請問互相關函數
解答:
由定義,
(接下頁 )
)2sin()()(
)2cos()()(
tftXtX
tftXtX
cQ
cI
隨機變數
1 2 1 2( , ) [ ( ) ( )]I QX X I QR t t E X t X t
?),( 21, ttRQI XX
通訊原理 第五章 機率、隨機訊號與雜訊 92教育部資通訊科技人才培育先導型計畫
互相關函數解答 (接續 )
將 XI(t1) 和 XQ(t2) 分別代入,可獲得
1 2 1 2 1 2
1 2 2 1
1 2 1 2 2 1
1 2 1 2
( , ) [ ( ) ( ) cos(2 )sin(2 )]
[ ( ) ( )] [sin(2 )cos(2 )]
1( , ) sin 2 ( ) 2 sin 2 ( )
2
1( , )sin 2 ( )
2
I QX X c c
c c
X c c
X c
R t t E X t X t f t f t
E X t X t E f t f t
R t t E f t t f t t
R t t f t t
統計特性只跟兩點觀察時間之間隔有關
值得注意的是當 t1 = t2 時, RXI XQ (t1,t2) =E[XI(t1)XQ(t2)]= 0 ,這說明以相
同時間點去觀察這兩個隨機程序 XI(t) 和 XQ(t) ,它們彼此是互相正交,因此稱 XI(t) 和 XQ(t) 為正交調變程序。
通訊原理 第五章 機率、隨機訊號與雜訊 93教育部資通訊科技人才培育先導型計畫
複數形式的自相關函數複數隨機訊號的自相關函數表示 (Auto-correlation function for complex-valued random process )
),(),(2
),(),(2
122
12
1
))((2
1
))((2
1
2
1),(
21212121
21212121
21211221
2211
*2211
*2121
ttRttRj
ttRttR
YXEXYEj
YYEXXE
YYXjYXjYXXE
jYXjYXE
jYXjYXEZZEttR
XYYXYX
tttttttt
tttttttt
tttt
ttttttZ
通訊原理 第五章 機率、隨機訊號與雜訊 94教育部資通訊科技人才培育先導型計畫
複數形式的互相關函數複數隨機訊號的互相關函數表示 (Cross-correlation function for complex-valued random process )
注意:用 1/2 當標準化係數是因為數學上方便表示而定。
),(),(2
),(),(2
1
)ˆ)((2
1
)ˆ)((2
1ˆ2
1),(
2121ˆ2121ˆ
2211
*2211
*2121ˆ
ttRttRj
ttRttR
jYXjYXE
YjXjYXEZZEttR
XYXYYYXX
tttt
ttttttZZ
通訊原理 第五章 機率、隨機訊號與雜訊 95教育部資通訊科技人才培育先導型計畫
穩定隨機程序
穩定隨機程序 (Stationary random processes ) 的定義:對於一個隨機程序 X(t) 或者 Xn ,如果任意選擇 {m :m=1,2,…} 個觀察時
間點 (t1,…, tm) ,以及對於任意時間上的位移 之結合機率分佈函數都滿足:
或者是結合機率密度函數都滿足:
若上面的式子對所有的 m ≦M都成立,則此 X(t) 或者 Xn 就是一個M
階穩定隨機程序。
1 1 1
1 1
( ),..., ( ) 1 ( ),..., ( ) 1
,..., 1 ,..., 1
( ,... ) ( ,... )
( ,... ) ( ,... )m
n n n k n km m
X t X t m X t X t m
X X m X X m
F x x F x x
F x x F x x
1 1 1
1 1
( ),..., ( ) 1 ( ),..., ( ) 1
,..., 1 ,..., 1
( ,... ) ( ,... )
( ,... ) ( ,... )m
n n n k n km m
X t X t m X t X t m
X X m X X m
f x x f x x
f x x f x x
離散時間隨機程序
連續時間隨機程序
通訊原理 第五章 機率、隨機訊號與雜訊 96教育部資通訊科技人才培育先導型計畫
穩定隨機程序也就是說對於任何 m 個時間點所取出的 m 個隨機向量 (random vector)[X
(t1),X(t2),…,X(tm)] 或者 的 m階結合機率分佈函數不會隨著時間位移而改變。
穩定隨機程序的統計特性只跟 (t1, t2 ,…, tm) 時間上的相對位置有關。
穩定隨機程序 (Stationary random processes ) 是一個十分嚴格的穩定條件,只有少數的訊號可以滿足這樣的條件。
穩定隨機程序的重要概念就是隨機程序的結合機率分佈函數不會隨著時間位移而改變。
也就是說穩定隨機程序在不同的時間去觀察它時會有相同的統計結果。
1 2[ , ,..., ]
mn n nX X X
通訊原理 第五章 機率、隨機訊號與雜訊 97教育部資通訊科技人才培育先導型計畫
穩定隨機程序穩定程序會滿足三個重要特性:
若 X(t) 是一個穩定程序,則 X(t) 的統計特性不為隨時間變化而改變,因此任何時間下的平均值、自相關函數以及自變異函數將分別滿足:
以下將分別證明: 平均值是常數 :
機率密度函數不隨時間位移而改變
( ) (0)( ) ( ) ( )X X t X Xt xf x dx xf x dx
)()(),(
)(),(
)(
212
2121
2121
ttCttRttC
ttRttR
t
XXXX
XX
XX
通訊原理 第五章 機率、隨機訊號與雜訊 98教育部資通訊科技人才培育先導型計畫
穩定隨機程序自相關函數
自變異函數
)(
)0,(
),(
),(
)()(),(
21
21
2121)0()(21
2121)()(21
2121
21
21
ttR
ttR
dxdxxxfxx
dxdxxxfxx
tXtXEttR
X
X
XttX
tXtX
X
二階統計特性只跟兩點取樣時間之間隔有關
二階結合機率密度函數不隨時間位移而改變
)(
)0,(
)0,(
)()(),(),(
21
21
221
212121
ttC
ttC
ttR
ttttRttC
X
X
XX
XXXX
通訊原理 第五章 機率、隨機訊號與雜訊 99教育部資通訊科技人才培育先導型計畫
穩定隨機程序 範例 5-2-6
假設隨機訊號 X(t) 是一個具有固定載波頻率 fc與隨機相位的餘弦載
波,相位是 [0,2] 均勻分布隨機變數,訊號的表現如下:
的機率密度函數為
請問隨機訊號 X(t) 的期望值以及自相關函數如何表示?
)2cos()( tfAtX c
均勻分布隨機變數
otherwise , 0
20 , 2
1)(
f
通訊原理 第五章 機率、隨機訊號與雜訊 100教育部資通訊科技人才培育先導型計畫
穩定隨機程序 解答
X(t) 計算期望值如下:
接下來計算自相關函數:
0|)2sin(2
)2cos(2
)()2cos(
)2cos()()(
20
2
0
tfA
dtfA
dftfA
tfAEtXEt
c
c
c
cX
21
2121
2cos)2cos(
)()(),(
tfAtfAE
tXtXEttR
cc
X
對任意頻率的弦波訊號積分一個週期,積分結果為 0
通訊原理 第五章 機率、隨機訊號與雜訊 101教育部資通訊科技人才培育先導型計畫
穩定隨機程序 所以
)(2cos2
|)(22sin4
)(2cos2
2
1)(22cos
2)(2cos
2
)(2)(2cos2
)(2cos2
2)(2cos)(2cos2
),(
21
2
2021
2
21
2
2
0 21
2
21
2
21
2
21
2
2121
2
21
ttfA
ttfA
ttfA
dttfA
ttfA
dfttfA
ttfA
ttfttfEA
ttR
c
cc
cc
cc
ccX
積分結果為 0
自相關函數只跟兩點取樣時間 t1 與 t2 之相對位置 t1-t2 有關和 t1 與 t2絕對位置無關
通訊原理 第五章 機率、隨機訊號與雜訊 102教育部資通訊科技人才培育先導型計畫
圖例:擁有隨機相位的正弦波的自相關函數圖形
圖例:隨機二位元訊號波的自相關函數圖形
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
穩定隨機程序圖例
圖 5-2-9
圖 5-2-10
通訊原理 第五章 機率、隨機訊號與雜訊 103教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 穩定的隨機程序通常不容易做驗證。
隨機程序 X(t)只要對於所有時間都滿足以下式子
或者滿足
則 X(t) 就是一個廣義穩定 (wide-sense stationary, WSS) 隨機程序 ( 例如範例 5-2-6) 。
廣義穩定隨機程序僅只考慮一階與二階的統計特性,而二階統計特性是針對於自相關函數與自變異函數不隨時間位移而改變。
212121 , allfor )(),(
allfor )(
ttttRttR
tt
XX
XX
平均值是一個常數
212121 , allfor )(),(
allfor )(
ttttCttC
tt
XX
XX
只跟兩點取樣時間 t1 與 t2 之相對位置 t1-t2 有關和 t1 與 t2絕對位置無關
通訊原理 第五章 機率、隨機訊號與雜訊 104教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序二階統計特性只跟兩點取樣時間之差距 (t1-t2 ) 有關和 t1與或者 t2絕對位置無關。
若 X(t) 是一個廣義穩定隨機程序,則令 τ=t1-t2 ,我們可以改寫
注意 :穩定程序必為廣義穩定程序,而廣義穩定程序不一定會是穩定程序;這是因為穩定程序的定義最嚴謹,廣義穩定程序的定義比較寬鬆。
)( ),(),(
)( ),(),(
21
21
XXX
XXX
CttCttC
RttRttR
通訊原理 第五章 機率、隨機訊號與雜訊 105教育部資通訊科技人才培育先導型計畫
結合廣義穩定隨機程序 考慮兩個隨機程序 X(t) 和 Y(t) ,只要對於所有時間都滿足:
X(t) 和 Y(t) 本身是廣義穩定程序 (WSS) 。
互相關函數只跟兩點取樣時間之差距 (t1-t2 ) 有關
或者
則 X(t) 和 Y(t) 就是一個結合廣義穩定 (jointly WSS) 隨機程序 ( 例如範例5-2-5) 。
)()(),( 2121 XYXYXY RttRttR
)( ),(
)( ),(
YY
XX
CttR
RttR
)()(),( 2121 YXYXYX RttRttR
通訊原理 第五章 機率、隨機訊號與雜訊 106教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 若 X(t) 是廣義穩態隨機程序,則 X(t) 的自相關函數 RX()
會滿足三個重要特性:
補充:偶函數的定義為 f(x) = f(− x)
,對稱 Y軸, 例如 即為ㄧ例。 ( 如右圖 )
)0()(
)()(
0)0(
XX
XX
X
RR
RR
R
當 =0 , RX(0) 表示隨機程序的平均功率
RX() 是一個偶函數
自相關函數的峰值出現在 =0
2)( xxy
圖片來源 http://wikimediafoundation.org/wiki/Home
圖 5-2-11
通訊原理 第五章 機率、隨機訊號與雜訊 107教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 證明:
0)(
)()()0(2
tXE
tXtXERX
)(
)()(
)()()(
X
X
R
tXtXE
tXtXER
平均功率 偶函數
峰值 (使用柯西不等式 )
22
2
22
22
)0()(
)0(
)()(
)()()(
XX
X
X
RR
R
tXEtXE
tXtXER
[ 補充 ] :柯西不等式 (Cauchy Inequality)
222 VEUEUVE
通訊原理 第五章 機率、隨機訊號與雜訊 108教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 範例 5-2-7
隨機的二位元信號 ( 在展頻通訊系統中常用來表示的隨機展頻碼 )
下ㄧ頁的圖顯示一個包含二進制的符號 1 和 0 的隨機數列組成的程序
X(t) 的取樣函數 x(t) 。我們現在有下列假設:
1. 符號 1 和 0 分別用 +A 和 -A伏特的波形代表,週期是 T秒。
2. 因為波形並沒有同步,所以第一個完整波的起動時間 td可能位在 0 到 T
秒之間的任何時刻。
3. 假設 td是一連續均勻分布之隨機變數 Td的取樣值,機率密度函數如下表
示:
elsewhere
TtTtf d
dTd
0
0 1
)(
通訊原理 第五章 機率、隨機訊號與雜訊 109教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序在時間區間 (n1)T< ttd <nT 內 (n 是整數 ) ,我們利用投擲一個公正
的硬幣來決定值是 0 或是 1 。若是正面,我們就把結果標記為 1;若
是反面,我們就把結果標記為 0 。所以 0 和 1 出現的機率將會是相同的,而且不同的時間間隔內出現的
0 或 1 的次數是彼此互相獨立的。
+A
-A
x(t)
td
t0
T
圖 5-2-12
通訊原理 第五章 機率、隨機訊號與雜訊 110教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 X(t) 的平均值為 X(t) 的自相關函數為 :
當 則
當 時
令
因為
所以
TtttXEtXEtXtXE ikikik ,0)()()()(
id tTt
ttXE ,0)(
Ttt ik
由於 tk , ti 是屬於不同的時間區間內,則 X(tk ) 與 X(ti ) 為兩個無關的隨機變數
Ttt ik
kik ttt ,0
0 id tTt
通訊原理 第五章 機率、隨機訊號與雜訊 111教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 可得 X(t) 在 td條件下的自相關函數 :
因為隨機變數 Td的機率密度函數為 :
將 對於 Td取平均可
以獲得 :
TttT
ttA
dttfAtXtXE
ikik
ttT
ddTik
ik
d
,1
)()()(
2
0
2
elsewhere
ttTtAttXtXE ikd
dik , 0
,)()(
2
elsewhere
TtTtf d
dTd
, 0
0 ,1
)(
dik ttXtXE )()(
自相關函數只跟取樣時間 ti 與 tk 之相對位置 ti-tk 有關
通訊原理 第五章 機率、隨機訊號與雜訊 112教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序
X(t) 為廣義穩定隨機程序,令 ,自相關函數為 :
繪出來的圖形:
-T T
( )XR
A2
ikX tt
T,
TT
AR ,
0
,1)(
2
圖 5-2-14
ik tt
通訊原理 第五章 機率、隨機訊號與雜訊 113教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序 廣義穩定隨機程序 X(t) 的平均功率為
範例 5-2-8
給定一個隨機變數 W ,機率密度函數為 fW(w) ,以及隨機變數 在區間 (,)內均勻分布, 且 W 和互相獨立。若 X(t) 如以下定義,
則 X(t) 是否為廣義穩定隨機程序?
提示: 可以證明 X(t) 的期望值為 0 ,而且自相關函數 為 τ=t
1-t2的函數,所以得 X(t) 是廣義穩定隨機程序。
)(
)()()0(2 tXE
tXtXERX
)cos()( WtAtX
),( 21 ttRX
通訊原理 第五章 機率、隨機訊號與雜訊 114教育部資通訊科技人才培育先導型計畫
廣義穩定隨機程序整體平均 (ensemble average) 與時間平均 (time average)
整體平均是對隨機程序的所有取樣函數 (整個隨機程序 ) 進行統計平均,又稱為隨機程序之期望值或統計平均值。由於一個隨機程序 X(t) ,在某時間點 t0是進行觀察獲得隨機變數 X(t0) ,對於任意函數 g(X) ,其整體平均值為
時間平均是針對隨機程序某一個取樣函數 x(t ,si) 進行時間上的平均。對於任意函數 g(x) ,其時間平均值為
dxxfxgtXgE tX )()())](([ )(0 0
2/
2/
def
)),((1
lim)(T
T iTi
dtstxgT
xg
通訊原理 第五章 機率、隨機訊號與雜訊 115教育部資通訊科技人才培育先導型計畫
各態歷經 通常跟所選擇的取樣函數 x(t ,si) 有關,選擇不同的取
樣函數可能會獲得不同的時間平均值。
考慮穩定隨機程序 X(t) ,對於某個取樣函數的時間平均值是否會等於其整
體平均值?
各態歷經 (Ergodic) 的定義 : 對於穩定隨機程序 X(t)
若對於任意函數 g(x) 以及所有取樣函數 x(t ,si) ,都可滿足
則 X(t) 為各態歷經。也就是說 X(t) 的某個取樣函數的在時間上的平均值會收歛至整體平均。
ixg )(
))](([)),((1
lim)(2/
2/tXgEdtstxg
Txg
T
T iTi
通訊原理 第五章 機率、隨機訊號與雜訊 116教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 範例 5-2-9
有一個隨機相位訊號 (參考範圍 5.6) ,相位
在 [0,2 )內均勻分布,考慮 ,試問 X(t)
是否為各態歷經?
解答
)2cos()( tfAtX c
duuAg
f
duuAg
T
dttfAgT
dttfAgNT
dttfAgT
tXg
c
utf
c
T
c
NT
NTN
c
T
TT
c
cos2
1
2cos
1
)2cos(1
)2cos(2
1lim
)2cos(1
lim);(
2
0
2
0
2
00
0
2
2
0
0
0
20
通訊原理 第五章 機率、隨機訊號與雜訊 117教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數
另ㄧ方面:
剛剛得知:
所以 X(t) 為各態歷經!
duuAg
duuAg
dtfAgtXE
tf
tf
utf
c
c
c
c
2
0
22
2
2
2
0
cos2
1
)cos(2
12
1)2cos()]([
duuAgtXg cos2
1);(
2
0
時間上的平均值會收歛至整體平均。
通訊原理 第五章 機率、隨機訊號與雜訊 118教育部資通訊科技人才培育先導型計畫
各態歷經 各態歷經的另ㄧ種定義:
穩定程序 X(t) 平均為各態歷經的兩個條件:
而
穩定程序 X(t) 在自相關函數為各態歷經的兩個條件:
而
1. Pr lim ( ) 1
2. lim Var ( ) 0
1( ) ( )
2
X XT
XT
T
X T
T
T
T X t dtT
P
dttXtXTR
TR
TRTR
T
TX
XT
XXT
)()(2
1);(
0);(Varlim.2
1)();(limPr.1
P
通訊原理 第五章 機率、隨機訊號與雜訊 119教育部資通訊科技人才培育先導型計畫
各態歷經 各態歷經的隨機程序會滿足 : 某個取樣函數的時間平均會收歛至整體平均
。
X(t) 是穩定隨機程序,那麼時間平均會非常接近整體平均嗎?對於範例 5-2-
9 ,答案是不一定!
若ㄧ隨機程序 X(t) 是各態歷經,則 X(t) 一定是穩定隨機程序。
反過來,若ㄧ隨機程序 X(t) 是穩定,則 X(t) 不一定是各態歷經。
隨機程序是穩定只是說明 : 在不同的時間下觀察隨機程序的結果會具有
相同的統計分布特性。
X
通訊原理 第五章 機率、隨機訊號與雜訊 120教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 之前提到:
1. 是廣義穩定隨機程序的平均功率。
2. 自相關函數 的意義是表示平均功率會隨著兩個取樣時間的不同而變化。
功率頻譜密度 (Power Spectrum Density, PSD):
從頻譜上來觀察隨機程序之平均功率在各頻率上的分配情況。 廣義穩定隨機程序之功率頻譜密度與自相關函數是傅利葉轉換 (Fourie
r transform) 的關係: (Einstein-Wiener-Khintchine relation)
)0()(2XRtXE
)]()([)( tXtXERX
功率頻譜密度 SX(f)的單位是 watt/Hz 。
dfefSR
deRfS
fjXX
fjXX
2
2
)()(
)()(
通訊原理 第五章 機率、隨機訊號與雜訊 121教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數
功率頻譜密度 SX(f) 在低頻區域較大表示平均功率大多集中在低頻率的訊號成份。
訊號的高頻部份對於訊號的平均功率貢獻較少。
通訊原理 第五章 機率、隨機訊號與雜訊 122教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數特性
功率頻譜密度函數特性:
1. 訊號的直流部份的平均功率為
2. 平均功率:
3. 功率頻譜密度必為正值:
4. 由於實數值隨機程序的自相關函數為偶函數
可證明 ,也就是功率頻譜密
度為偶函數。
5. 功率頻譜密度為實數。
dffSRtXE XX )()0()(2
dRfS f )(|)( 0
0)( fSX
)()( XX RR
對功率頻譜密度函數做積分才是功率!
)()( fSfS XX
隨機訊號的任何頻率對於平均功率的貢獻均為正值!將於 5-3節證明!
通訊原理 第五章 機率、隨機訊號與雜訊 123教育部資通訊科技人才培育先導型計畫
特性 4功率頻譜密度為偶函數之證明:
特性 5功率頻譜密度為實數之證明:
由於 是實數函數,透過傅利葉轉換的關係可獲得
,因此
功率頻譜密度函數
)(
)()(,)(
,)(
)()(
2
2
)(2
fS
RRdsesR
sdsesR
deRfS
X
XXfsj
X
fsjX
fjXX
)(XR
由特性 4 可以推得功率頻譜密度為偶函數
)()()( * fSfSfS XXX )()( * fSfS XX
若複數 z 與其共軛 z* 相等時 z 即為實數
通訊原理 第五章 機率、隨機訊號與雜訊 124教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 範例 5-2-10
有一個隨機相位訊號 (參考範圍 5.6) ,相位
在 [-, )內均勻分布,試問功率頻譜密度?
解答 由 (5-3-1) ,
)2cos()( tfAtX c
)()(4
4
4
)2cos(2
)(
2
)(2)(22
2222
22
cc
ffjffj
fjfjfj
fjcX
ffffA
dedeA
deeeA
defA
fS
cc
cc
通訊原理 第五章 機率、隨機訊號與雜訊 125教育部資通訊科技人才培育先導型計畫
隨機相位訊號功率頻譜密度如圖:
此訊號的平均功率為
功率頻譜密度函數
Haykin / Communication Systems,4th Ed., 2000,John Wiley & Sons, Inc.
dffS
AR XX )(
2)0(
2
圖 5-2-15
通訊原理 第五章 機率、隨機訊號與雜訊 126教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 範例 5-2-11
隨機二元訊號 (Random Binary Wave)(參考範例 5-2-7)
符號 0 與 1 分別以振幅大小為 +A 與 -A伏特週期為 T 的波形代表,數學式可用以下表示:
由範例 (5-2-7) 知自相關函數
otherwise,0
0,1)(
1,)()(
Tttp
ItnTtpIAtX jdn
otherwise,0
,1)(
2 TT
ARX
通訊原理 第五章 機率、隨機訊號與雜訊 127教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數功率頻譜密度由式子 (5-3-1) :
T
T
fjfjT
fj
T
fjT
fjT
TX
Tf
fTffA
dfT
A
deeT
A
deT
AdeT
A
deT
AfS
022
2
0
2
22
0
2
2022
0
2
22
4
)2sin()(2)2cos(2
)2cos(12
1
11
1)(
通訊原理 第五章 機率、隨機訊號與雜訊 128教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數
隨機二元信號的功率頻譜密度圖形
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
)(sinc
)(sin
4
)2cos(12)(
22
22
22
22
2
fTTA
Tf
fTA
Tf
fTAfSX
圖 5-2-16
通訊原理 第五章 機率、隨機訊號與雜訊 129教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 ( 補充 )
限頻 (bandlimited)信號的功率頻譜密度圖形
帶通 (bandpass)信號的功率頻譜密度圖形
John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002
圖 5-2-17
圖 5-2-18
通訊原理 第五章 機率、隨機訊號與雜訊 130教育部資通訊科技人才培育先導型計畫
交叉頻譜密度函數 交叉頻譜密度函數 (cross spectral density)
對於兩個隨機程序 X(t) 以及 Y(t) ,它們的交叉頻譜密度函數的定義為:
其中
若 X(t) 和 Y(t) 是一對結合廣義穩定 (jointly WSS) 隨機程序,則
( ) ( ) exp( 2 )
( ) ( ) exp( 2 )
XY XY
YX YX
S f R j f d
S f R j f d
1 2 1 2
1 2 1 2
( , ) [ ( ) ( )]
( , ) [ ( ) ( )]XY
YX
R t t E X t Y t
R t t E Y t X t
1 2 1 2
1 2 1 2
( , ) ( ) ( )
( , ) ( ) ( )XY XY XY
YX YX YX
R t t R t t R
R t t R t t R
通訊原理 第五章 機率、隨機訊號與雜訊 131教育部資通訊科技人才培育先導型計畫
結合廣義穩定隨機程序 X(t) 和 Y(t) 之交叉頻譜密度函數的特性 :
由於
可證得
交叉頻譜密度函數
( ) ( )
( ) ( ) exp( 2 )
( ) exp( 2 )
( ) exp( 2 )
( )
XY YX
YX YX
YX
XY
XY
R R
S f R j f d
R j f d
R j f d
S f
( ) ( )XY YXS f S f
通訊原理 第五章 機率、隨機訊號與雜訊 132教育部資通訊科技人才培育先導型計畫
範例 5-2-12
若 X(t) 和 Y(t)都是廣義穩態隨機程序,考慮有一個相加的程序 Z(t)= X
(t)+ Y(t) ,則 Z(t) 的功率頻譜密度函數為何?
解答
交叉頻譜密度函數
),(),(),(),(
)()()()()()()()(
)()()()(
)]()([),(
,, utRutRutRutR
uYtYEuXtYEuYtXEuXtXE
uYuXtYtXE
uZtZEutR
YXYYXX
Z
( 接下頁 )
通訊原理 第五章 機率、隨機訊號與雜訊 133教育部資通訊科技人才培育先導型計畫
因為 X(t) 和 Y(t) 均為廣義穩態隨機程序,則
取傅利葉轉換後獲得
若是 X(t) 和 Y(t)彼此不相關,且 X(t) 或者 Y(t) 的平均值為零,
則
交叉頻譜密度函數
( ) ( ) ( ) ( ) ( )Z X XY YX YR R R R R
)()()( fSfSfS YXZ
兩個不相關的隨機程序之和的功率頻譜密度為兩隨機程序個別之功率頻譜密度相加!
( ) ( ) ( ) ( ) ( )Z X XY YX YS f S f S f S f S f
( , ) [ ( ) ( )] [ ( )] [ ( )] 0XYR t E X t Y u E X t E Y u
通訊原理 第五章 機率、隨機訊號與雜訊 134教育部資通訊科技人才培育先導型計畫
大綱5-1 機率變數
離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)
5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)
5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)
5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
通訊原理 第五章 機率、隨機訊號與雜訊 135教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統 在這個章節,討論經由線性非時變系統下的隨機程序傳輸中輸入端信號 X(t) 和輸出端信號 Y(t) 之間的統計特性關係。
假設 X(t) 是一個廣義穩定隨機程序 :
X(t) 和 Y(t) 是定義在相同的機率空間
請問 Y(t) 是否是廣義穩定隨機程序 ??
( ) ( ) ( ) ( ) ( )Y t X t h t X v h t v dv
進行迴旋積分 (Convolution integration)
通訊原理 第五章 機率、隨機訊號與雜訊 136教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統輸出信號 Y(t) 的平均值:
輸入信號 X(t) 和輸出信號 Y(t) 之間的互相關函數:
0
0
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
( ) exp( 2 ) |
( ) | (0)
Y
t v
X X
X f
X f X
t E Y t E X v h t v dv
E X v h t v dv
h t v dv h d
h j f d
H f H
因為 X(t)
是廣義穩定
1 2 1 2 1 2( , ) ( ) ( ) ( ) ( ) ( )XYR t t E X t Y t E X t X v h t v dv
1. 輸出信號 Y(t) 平均值為常數 ( 與時間 t 無關 )2. 輸出的平均值 =輸入的平均值 * 系統的直流響應 H(0)
通訊原理 第五章 機率、隨機訊號與雜訊 137教育部資通訊科技人才培育先導型計畫
接上頁
所以
X(t) 和 Y(t) 之間的互相關函數只跟取樣時間差 τ=t1-t2 有關,下一頁又
證明 Y(t) 是廣義穩定隨機程序,所以 X(t) 和 Y(t) 是一個結合廣義穩定(jointly WSS) 隨機程序。
隨機訊號通過線性非時變系統
1 2 1 2
1 2
1 2
( , ) ( ) ( ) ( )
( ) ( )
( ) ( )
( ) ( )
XY
X
X
X
R t t E X t X v h t v dv
R t v h t v dv
R t t u h u du
R u h u du
令 u=v-t
2
因為 X(t)是廣義穩定
令 τ=t1-t2
1 2 1 2( , ) ( ) ( ) ( ) ( )XY XY XY XR t t R t t R R h
通訊原理 第五章 機率、隨機訊號與雜訊 138教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統輸出信號 Y(t) 的自相關函數:
因此
由於 Y(t)期望值為常數,自相關函數只跟只跟 t1與 t2的時間差 τ=t1-t2
有關,所以 Y(t) 是廣義穩定隨機程序。
1 2 1 2
1 2 2 1
2 1
1 2
( , ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( )
( ) ( )
( ) ( ) ( ) ( ) ( )
Y
XY
XY
XY X
R t t E Y t Y t
E X v h t v dvY t E X v Y t h t v dv
R v t h t v dv
R u h t t u du
R h R h h
因為 X(t) 和 Y(t) 是結合廣義穩定
1 2 1 2( , ) ( )
( ) ( ) ( ) ( ) ( ) ( )Y Y
Y XY X
R t t R t t
R R h R h h
令 u=v-t
2令 τ=t1-t2
通訊原理 第五章 機率、隨機訊號與雜訊 139教育部資通訊科技人才培育先導型計畫
上述的推導可得知輸入信號 X(t) 和輸出信號 Y(t)自相關函數的關係 :
若線性非時變系統的輸入端是廣義穩定的程序,那麼系統的輸出端也是廣義穩定的程序。
輸出端與輸入端之間的關係 :
由於
隨機訊號通過線性非時變系統
( )h ( )XR ( )XYR
( )h ( )YR
( ) ( ) ( )XY XR R h
*
( ) ( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( )
YX XY X
YX X
YX X XY
R R R h
R R h
S f S f H f S f
因為 RX(τ) 是偶函數
*( ) ( ) ( )XY XS f S f H f
因為 SX(f) 是實數函數
通訊原理 第五章 機率、隨機訊號與雜訊 140教育部資通訊科技人才培育先導型計畫
接下來討論輸出端 Y(t) 之功率頻譜密度函數 :
方法一 :先求得輸出訊號 Y(t)自相關函數 ( 時域上處理 ) ,再經由傅利葉轉換之後可獲得 Y(t)功率頻譜密度函數。
方法二 :先求得輸入訊號 X(t) 之功率頻譜密度函數 (頻域上 ) ,再經由輸出端與輸入端之間的功率頻譜密度函數的關係 ( 下一頁証明 ) 得到 Y
(t)功率頻譜密度函數。
隨機訊號通過線性非時變系統
2
( ) ( ) ( ) ( )
( ) ( )
Y X
j fY Y
R R h h
S f R e d
2
2
( ) ( )
( ) ( ) ( )
j fX X
Y X
S f R e d
S f S f H f
功率頻譜密度只跟振幅響應有關跟相位響應無關
通訊原理 第五章 機率、隨機訊號與雜訊 141教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統証明 : 因為
且
所以
經由反傅利葉轉換可獲得:
2( ) ( ) ( )Y XS f S f H f
22 2( ) ( ) ( ) ( )j f j fY Y XR S f e df S f H f e df
( ) ( ) ( ) ( )Y XR R h h
2 2
** 2
*
( ) ( )
( )
( )
j f j fu
j fu
h e d h u e du
h u e du
H f
*( ) ( ) ( ) ( )Y XS f S f H f H f
假設 h(t) 是實數,則 h(u)= h*
(u)
複數 z=a+jb 與其共軛 z*=a-jb 相乘可得到 |z|2=a2+b2
若已知輸入信號之功率頻譜密度可以直接求得輸出信號的功率頻譜密度
通訊原理 第五章 機率、隨機訊號與雜訊 142教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統接下來用範例補充說明功率頻譜密度的物理意義。
範例 5-3-1
假設 是實數,而 定義如圖:)()( fHh
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed圖 5-3-2
通訊原理 第五章 機率、隨機訊號與雜訊 143教育部資通訊科技人才培育先導型計畫
則
也就是輸出功率 約等於 SX 在 fc 上的值乘上頻率範圍 Δf 。當 Δf 很小時, SX ( fc ) 表示訊號在頻率 fc 上的功率密度,若對於所有頻率都測量其對應的功率密度,則 SX ( f ) 稱為功率頻譜密度函數。
隨機訊號通過線性非時變系統
)()(
)()(
)()(
)()0()]([
2/
2/
2/
2/
2
2
cXcX
ff
ff X
ff
ff X
X
YY
fSfSf
dffSdffS
dffSfH
dffSRtYE
c
c
c
c
2[ ( )]E Y t
當 Δf 很小時
通訊原理 第五章 機率、隨機訊號與雜訊 144教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統 範例 5-3-2
假設有一個低通濾波器 ( 如圖 ) ,隨機程序 X(t) 當作輸入訊號, X(t) 的功率頻譜密度特性如下:
請問輸出端的自相關函數為何 ??
低通濾波器
0
1( ) , for all
2XS f N f
X(t)輸入端
Y(t)輸出端
圖 5-3-3
通訊原理 第五章 機率、隨機訊號與雜訊 145教育部資通訊科技人才培育先導型計畫
隨機訊號通過線性非時變系統採用方法二 :
低通濾波器的頻率響應為
則
利用
可求得
* 0
2 2
1( ) ( ) | ( ) |
2 1 2 /Y X
NS f S f H f
L R f
)/(0
2
220
4
/21
1
2)(
LR
fjY
eL
RN
dfefRL
NR
22
2
)/2(1
1)(
fRLfH
1( )
2 1 2 /
RH f
R j fL j fL R
通訊原理 第五章 機率、隨機訊號與雜訊 146教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數 接下來說明功率頻譜密度特性 3 的證明:
讓隨機訊號 X(t)輸入至一濾波器,濾波器的脈衝響應為:
由傅式轉換可得
0)( fSX
)2cos()( tfth c
2/)()()( cc fffffH
通訊原理 第五章 機率、隨機訊號與雜訊 147教育部資通訊科技人才培育先導型計畫
功率頻譜密度函數輸出訊號 Y(t) 的平均功率為
對於任意頻率 fc,都保證
)(2
1)()(
4
1
)()()()(4
1
)()()()]([22
cXcXcX
XcXc
XY
fSfSfS
dffSffdffSff
dffSfHdffStYE
由功率頻譜密度函數特性 4 得知兩者相等
由 5.3節得知
0)]([2)( 2 tYEfS cX
因此功率頻譜密度函數必為正值
通訊原理 第五章 機率、隨機訊號與雜訊 148教育部資通訊科技人才培育先導型計畫
範例 5-3-3
一對穩定的線性非時變濾波器 ( 所對應的脈衝響應為 h1(t) 、 h2(t)) ,分
別輸入將兩個結合廣義穩定 (jointly WSS) 隨機程序 X(t) 和 Y(t) ,如圖所示。請問兩輸出程序 V(t) 和 Z(t) 的交互頻譜密度函數?
解答
求
交互頻譜密度函數
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
1 2 1 2( , ) [ ( ) ( )]VZR t t E V t Z t
( 接下頁 )
通訊原理 第五章 機率、隨機訊號與雜訊 149教育部資通訊科技人才培育先導型計畫
另外
交互頻譜密度函數 1 2 1 2 1
1 2 1
1
( , ) ( ) ( ) ( )
( ) ( )
( ) ( )
VY
XY
XY
R t t E X t v Y t h v dv
R t t v h v dv
R v h v dv
因為 X(t) 與 Y(t) 是結合廣義穩定
令 τ=t1-t2
1 2 1 ( , ) ( ) ( ) ( )VY VY XYR t t R R h
1 2 1 2 2
1 2 2
2 2
2
( , ) ( ) ( ) ( )
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
VZ
VY
u v
VY VY
VY
R t t E V t Y t v h v dv
R t t v h v dv
R v h v dv R u h u du
R h
V(t) 與 Y(t) 互相關函數是廣義穩定
1 2 2 ( , ) ( ) ( ) ( )VZ VZ VYR t t R R h 兩輸出 V(t) 與 Z(t) 互相關函數是廣義穩定
通訊原理 第五章 機率、隨機訊號與雜訊 150教育部資通訊科技人才培育先導型計畫
上述的推導可得知兩輸出信號 V(t) 和 Z(t) 互相關函數 :
交互頻譜密度函數
2 ( )h ( )XYR ( )VYR
1( )h ( )VZR
1 2 2 1 2( , ) ( ) ( ) ( ) ( ) ( ) ( )VZ VZ VY XYR t t R R h R h h
*1 2 1 2( ) ( ) ( ) ( ) ( ) ( ) ( )VZ XY XYS f S f H f H f S f H f H f
*2 ( )H f1( )H f
( )VYS f( )VZS f( )XYS f
通訊原理 第五章 機率、隨機訊號與雜訊 151教育部資通訊科技人才培育先導型計畫
大綱5-1 機率變數
離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)
5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)
5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)
5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
通訊原理 第五章 機率、隨機訊號與雜訊 152教育部資通訊科技人才培育先導型計畫
雜訊的物理意義
雜訊的物理意義:雜訊,ㄧ般指通訊系統中不想要的訊號,可能來自於系統外或是系統內。
這些不想要的訊號或破壞信號傳輸困難度或是增加信號處理的複雜度。
在通訊系統內造成的損害無法控制。
系統外雜訊來源:如大氣、銀河、人為…等。
系統內雜訊來源:電路中電流或電壓的自然晃動造成干
擾,最常見的兩種為散射雜訊與熱雜訊。
通訊原理 第五章 機率、隨機訊號與雜訊 153教育部資通訊科技人才培育先導型計畫
雜訊圖例 我們用圖片來表示雜訊所產生的現象:
原始影像
原始影像加上高斯雜訊
原始影像 加上椒鹽雜訊(salt and pepper noise)
From : vision.cse.psu.edu
通訊原理 第五章 機率、隨機訊號與雜訊 154教育部資通訊科技人才培育先導型計畫
雜訊圖例
原始影像
原始影像加上指數雜訊 原始影像加上伽瑪雜訊
原始影像加上均勻分布雜訊 原始影像加上椒鹽雜訊
各種雜訊的影響
2002, Prentice HallGonzalez and Woods Digital Image Processing 2nd Edition(DIP/2e)
通訊原理 第五章 機率、隨機訊號與雜訊 155教育部資通訊科技人才培育先導型計畫
高斯隨機訊號 高斯隨機訊號
對於隨機訊號 X(t) 任意選擇 k 個時間點以及任意選擇觀察時間 t1 、
t2 、 … 、 tk進行取樣所形成的隨機向量 [X(t1), …, X(tk)]都可以
形成一個多維高斯隨機向量,那麼 X(t) 就是一個高斯隨機訊號。
John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002
高斯隨機變數的機率密度函數
圖 5-4-1
通訊原理 第五章 機率、隨機訊號與雜訊 156教育部資通訊科技人才培育先導型計畫
高斯隨機訊號重要特性:1.若一個線性濾波器的輸入端是高斯隨機訊號,那麼輸出端也將是高斯
隨機訊號。 (這個特性也可以用來確定輸入訊號是否是高斯隨機訊號 )
2.對於高斯隨機訊號的任意 k 個時間點作取樣所形成的隨機向量 [X(t1),
…, X(tk)] 是一個多維的高斯隨機向量。
3.如果一個高斯隨機訊號是廣義穩定的隨機程序 (WSS) ,那麼此一高斯隨機訊號也將是一穩定程序 (SSS) 。
重要特性 3 證明 :
假設 X=[X(t1), …, X(tk)] 的期望值向量 以及變異矩陣 (covaria
nce
matrix) C 。
μ
高斯隨機訊號
通訊原理 第五章 機率、隨機訊號與雜訊 157教育部資通訊科技人才培育先導型計畫
位移一段時間 T 後得到 的期望值
向量和變異矩陣分別是 和 。由於 X(t) 是廣義穩定滿足
1. 期望值不跟隨時間改變
2. Cij表示變異矩陣中第 i 列第 j 行的元素,可以表示
所以可知 。
C
Xii TtXEtXE )()(
ijijXijXjiXij CTtTtCttCttCC )()(),(
),...(),...( 1)(),...,(1)(),...,( 11 kTtXTtXktXtX xxfxxfkk
由於高斯隨機向量的結合機率密度函數可以由期望值向量和變異矩陣來決定,因此結合機率密度函數不隨時間改變,所以 X(t) 是穩定隨機程序
高斯隨機訊號 1 2( ) ( )...... ( )kX t T X t T X t T X
通訊原理 第五章 機率、隨機訊號與雜訊 158教育部資通訊科技人才培育先導型計畫
高斯隨機雜訊 高斯隨機雜訊 (Gaussian Random Noise) 就是機率密度函數為高斯分布的雜
訊 。
因為數學式易於處理,所以高斯雜訊模型常被運用到。
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
標準高斯分布機率密度函數圖形圖 5-4-2
通訊原理 第五章 機率、隨機訊號與雜訊 159教育部資通訊科技人才培育先導型計畫
高斯隨機雜訊應用於影像處理中的例子:
高斯隨機雜訊
原始影像 原始影像經過高斯隨機雜訊後的影像
2002, Prentice Hall, Gonzalez and Woods Digital Image Processing 2nd Edition(DIP/2e)
通訊原理 第五章 機率、隨機訊號與雜訊 160教育部資通訊科技人才培育先導型計畫
熱雜訊
熱雜訊 (Thermal Noise)
由於導體內電子的隨機運動所產生的雜訊。
通常溫度只要大於絕對零度 (0oK) 就會產生。
在頻寬為 Δf Hz內,量測電阻 R(歐姆 ) 兩端的熱雜訊電壓為 VTN。
VTN的平均值為零,變異數為 ,單位
為 (伏特 2) 。
其中 表示波茲曼常數 (Boltzmann‘s cons
tant) ,
T 表示絕對溫度 (oK) 。
2[ ] 4TN
E V kTR f
231.38 10k
通訊原理 第五章 機率、隨機訊號與雜訊 161教育部資通訊科技人才培育先導型計畫
熱雜訊的電路模型如圖所示:
戴維寧 (Thevenin) 等效電路:熱雜訊電阻 R 以及均方值為 之電壓源。
諾頓 (Norton) 等效電路: ,單
位為 (安培 2)
電阻內電子非常多且獨立,依據中央極限定理得知熱雜訊電壓 VTN為高斯分佈,平均值為 0 。
熱雜訊
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4th Ed
][ 2TNVE
fkTGR
VEIE TN
TN 4
][][
2
22
圖 5-4-5
通訊原理 第五章 機率、隨機訊號與雜訊 162教育部資通訊科技人才培育先導型計畫
白色雜訊白色雜訊
定義:若是雜訊的功率頻譜密度函數等於一個常數值,意即在任何頻
率下的功率密度都相同,這種雜訊就被稱為白色雜訊。
功率頻譜密度被定義為: 。2)( 0N
fSW
白色雜訊的功率頻譜密度 白色雜訊的自相關函數
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed圖 5-4-6 圖 5-4-7
通訊原理 第五章 機率、隨機訊號與雜訊 163教育部資通訊科技人才培育先導型計畫
白色雜訊 由上一頁自相關函數圖中可知,對於兩個不同時間作取樣 ( 不管有多接近 ) 的結果會是不相關 (uncorrelated) ,也就是
缺點:這種雜訊表示方式會使總能量變成無限大,
,在現實中是不可能的。
優點:實際上在濾波器或量測儀器的頻率範圍或頻寬是有限,在此頻率範圍內若雜訊擁有平坦的功率頻譜密度,則此雜訊可以被視為白色雜訊,所以在通訊系統的分析上白色雜訊是相當重要的。
範例 5-4-2
當白色雜訊通過理想的低通濾波 (Ideal Low-Pass Filtered White Noise)
對於ㄧ個平均值為 0 的白色雜訊,求通過一個低通濾波器後之輸出的自相關函數 ? 其中低通濾波器頻寬為 B ,頻譜上大小響應為 1 。
df
NdffStWE W 2
)()( 02
1 2 1 2( , ) [ ( ) ( )] 0WR t t E X t X t
通訊原理 第五章 機率、隨機訊號與雜訊 164教育部資通訊科技人才培育先導型計畫
白色雜訊經過低通濾波器之後,平均值為 0 之雜訊的功率頻譜密度會變成:
自相關函數:
由圖中可知,若我們以每秒 2B 的取樣速率進行訊號的取樣,取樣的結果會是彼此不相關 (uncorrelated) 。
02 ,
2( ) ( ) ( )
0, otherwiseN W
Nf B
S f H f S f
00( ) exp( 2 ) sinc(2 )
2N
NR j f df N B B
功率頻譜密度 自相關函數
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
圖 5-4-8 圖 5-4-9
通訊原理 第五章 機率、隨機訊號與雜訊 165教育部資通訊科技人才培育先導型計畫
白色雜訊 範例 5-4-3
考慮ㄧ系統方塊圖如下:討論訊號與白色雜訊的輸出功率。
本地載波 (local carrier)
相關器 (correlator)圖 5-4-10
通訊原理 第五章 機率、隨機訊號與雜訊 166教育部資通訊科技人才培育先導型計畫
白色雜訊 在上一頁的系統方塊圖中本地載波常使用ㄧ常數 來正規化訊
號的功率:
輸出雜訊為
2 /T2
0
2
0
0
2cos(2 )
2cos (2 )
1 cos(4 )
1
T
c
T
c
Tc
S f t dtT
f t dtT
f tdt
T
dttfT
twNT
c0
)2cos(2
)(
通訊原理 第五章 機率、隨機訊號與雜訊 167教育部資通訊科技人才培育先導型計畫
白色雜訊
2
)2(cos
)2cos()2cos()(2
2
)2cos()2cos()()(2
)2cos(2
)()2cos(2
)(
0)2cos(2
)()2cos(2
)(
0
0
20
0
0
0 0
00
2
00
N
dssfT
N
dsdtsftfstN
T
dsdtsftfswtwET
dssfT
swdttfT
twE
dttfT
twEdttfT
twE
T
c
T
cc
T
cc
T
T
c
T
cN
T
c
T
cN
若 w(t) 是白色高斯雜訊,則 N 即是高斯分佈,其機率密度函數可由平均值和變異數來決定
通訊原理 第五章 機率、隨機訊號與雜訊 168教育部資通訊科技人才培育先導型計畫
窄頻雜訊窄頻雜訊 (Narrowband noise)
在通訊系統的接收端中,通常會使用一個頻寬剛好可以讓接收訊號 x
(t) 中的調變訊號成份 s(t)( 由傳送端送出 ) 通過的窄頻帶通濾波器。另外,白色雜訊也會經由此帶通濾波器 (band-pass filtered white noise)
而變成 (帶通 )窄頻雜訊,例如窄頻雜訊的功率頻譜密度為:
圖 5-4-11 窄頻雜訊功率頻譜密度圖 5-4-12 窄頻訊號取樣函數
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
通訊原理 第五章 機率、隨機訊號與雜訊 169教育部資通訊科技人才培育先導型計畫
窄頻雜訊使用第 2 章第 9節帶通訊號的標準表示式來表示窄頻 (帶通 ) 雜訊 :
所以窄頻雜訊 n(t) 可以表示為 :
其中 nI(t) 稱為同相位 (In-Phase) 成分, nQ(t) 稱為正交相位 (Quadratur
e) 成分,可以由分解的方式 ( 如下圖 ) 來產生 :
( ) ( ) cos(2 ) ( )sin(2 )I c Q cn t n t f t n t f t
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed圖 5-4-13
nI(t) 與 nQ(t) 經載波調變後相位上相差 90 度
由帶通窄頻雜訊 n(t) 分解出基頻的 nI(t) 與 nQ(t)
通訊原理 第五章 機率、隨機訊號與雜訊 170教育部資通訊科技人才培育先導型計畫
窄頻雜訊 反之,也可以使用基頻同相位 nI(t) 以及正交相位 nQ(t) 成份來合成或產生
一 (帶通 )窄頻雜訊 n(t) , 如圖表示:
nI(t) 以及 nQ(t) 重要統計特性:
1. 若 n(t) 平均值為 0 ,則 nI(t) 與及 nQ(t) 平均值均為 0 。
2. 若 n(t) 為高斯隨機程序,則 nI(t) 與 nQ(t) 為結合高斯隨機程序。
由同相位成份 nI(t) 與正交相位成份 nQ(t)來合成帶通窄頻雜訊
圖 5-4-14
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
通訊原理 第五章 機率、隨機訊號與雜訊 171教育部資通訊科技人才培育先導型計畫
窄頻雜訊 nI(t) 以及 nQ(t) 重要統計特性:
3. 若 n(t) 為廣義穩定隨機程序,則 nI(t) 以及 nQ(t) 為結合廣義穩定隨機程序。
4. nI(t) 以及 nQ(t) 的功率頻譜密度函數皆為純實數函數。
其中 SN(f) 有訊號出現的頻帶為
且 ( 例如圖 5-4-11) 。
5. nI(t) 以及 nQ(t) 的平均功率與 n(t) 相同,
6. 若 n(t) 為高斯隨機程序 ( 平均值為 0) 且 SN(f) 對稱於 fc ( 例如圖 5-4-17) ,
則 nI(t) 與 nQ(t) 為統計獨立之隨機程序。
( ) ( ), | |( ) ( )
0 , otherwiseI Q
N c N c
N N
S f f S f f f BS f S f
BfBffBf ccc
(0) ( ) ( ) (0)I IN N N NR S f df S f df R
通訊原理 第五章 機率、隨機訊號與雜訊 172教育部資通訊科技人才培育先導型計畫
窄頻雜訊 7. nI(t) 與 nQ(t) 的交互頻譜密度函數皆為純虛數函數。
( ) ( ) , | |( ) ( )
0 , I Q I Q
N c N c
N N N N
j S f f S f f f BS f S f
otherwise
n(t) 的功率頻譜密度
nI(t) 與 nQ(t) 的交互頻譜密度
John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002
圖 5-4-15
圖 5-4-16
通訊原理 第五章 機率、隨機訊號與雜訊 173教育部資通訊科技人才培育先導型計畫
窄頻雜訊 範例 5-4-4
白色雜訊通過帶通濾波器 :
ㄧ個平均值為 0 的白色雜訊,功率頻譜密度 ,經過一個大小響應為 1 的帶通濾波器之後,輸出端之 (帶通 )窄頻雜訊 n(t) 的功率頻譜密度如下圖:
0 / 2N
圖 5-4-17 帶通濾波器的輸出之功率頻譜密度2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
通訊原理 第五章 機率、隨機訊號與雜訊 174教育部資通訊科技人才培育先導型計畫
窄頻雜訊 經由反傅利葉轉換可獲得 (帶通 )窄頻雜訊的自相關函數:
由上圖得知,若以每秒 2B 的取樣速率對於雜訊進行取樣,取樣的結果會是彼此不相關 (uncorrelated) 。
2 20 0
0
( )2 2
2 sin c(2 )cos(2 )
c c
c c
f B f Bj f j fN f B f B
c
N NR e df e df
N B B f
圖 5-4-18 帶通窄頻雜訊的自相關函數
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
通訊原理 第五章 機率、隨機訊號與雜訊 175教育部資通訊科技人才培育先導型計畫
窄頻雜訊 由特性 4 可以獲得 nI(t) 與 nQ(t) 的功率頻譜密度函數
經由反傅利葉轉換可獲得 nI(t) 與 nQ(t) 的自相關函數
窄頻雜訊的平均功率為
0( ) ( ) 2 sinc(2 )I QN NR R N B B
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
圖 5-4-19 nI(t) 與 nQ(t) 的功率頻譜密度函數
20[ ( )] (0) 2 (0)
IN NE n t R N B R
通訊原理 第五章 機率、隨機訊號與雜訊 176教育部資通訊科技人才培育先導型計畫
窄頻雜訊 若使用波封 (Envelope) 與相位成分 (Phase) 來表示窄頻雜訊,則可以表示成:
其中 ,而
。
如何求出 和 的機率分布?假設 nI(t) 與 nQ(t) 為獨立之高斯隨機程序 ( 由特性 6 得知 ) ,則 nI(t) 與 nQ(t)
結合機率密度函數為
其中 NI與 NQ表示對隨機程序 nI(t) 與 nQ(t) 進行取樣所獲得的隨機變數。
( ) ( ) cos(2 ) ( )sin(2 )
( ) cos 2 ( )
I c Q c
c
n t n t f t n t f t
r t f t t
2 2 1( ) ( ) ( ) ( ) tan ( ) / ( )I Q Q Ir t n t n t t n t N t
( ) ( )r t t
2 2
, 2 2
1( , ) exp
2 2I Q
I QN N I Q
n nf n n
波封 相位
通訊原理 第五章 機率、隨機訊號與雜訊 177教育部資通訊科技人才培育先導型計畫
窄頻雜訊利用座標轉換如圖:
利用變數變換, 以及
可以獲得 與 結合機率密度函數!
)sin( )cos( rnrn QI
2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
rdrddndn QI
圖 5-4-20 圖 5-4-21
( ) ( )r t t
通訊原理 第五章 機率、隨機訊號與雜訊 178教育部資通訊科技人才培育先導型計畫
窄頻雜訊 和 的結合機率密度為
所以 討論:
由結合機率密度中可看出機率密度函數跟變數 無關,可以推知 的機率密度函數為常數,也就是均勻分佈。
因為 ,所以
( ) ( )r t t2
, 2 2
,
2
, 2 2
1( , ) exp
2 2
( , )
( , ) exp2 2
I QN N I Q I Q
R
R
rf n n dn dn rdrd
f r drd
r rf r
20
20for 2
1)( f
通訊原理 第五章 機率、隨機訊號與雜訊 179教育部資通訊科技人才培育先導型計畫
窄頻雜訊因此 和 彼此之間是互相獨立的,所以 R
.20for2
1)(
.0for2
exp)(2
2
2
f
rrr
rfR
此即為瑞雷 (Rayleigh) 分佈
<補充 > V 是正規化瑞雷分佈 ( ):2
exp( ), 0( ) 2
0 , otherwiseV
vv v
f v
圖 5-4-22 正規瑞雷分佈 PDF 圖形
2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed
2 1
通訊原理 第五章 機率、隨機訊號與雜訊 180教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)
現在討論一個振幅大小為 A 的正弦波訊號加上一個高斯白色雜訊後的
情形。
以 n(t) 代表白色高斯雜訊,所以接收訊號 x(t) 可以表示成:
重要特性: nI(t) 以及 nQ(t) 為高斯,而且互相獨立。
)2sin()()2cos()(
)2sin()()2cos()()2cos(
)()(2cos)(
tftxtftx
tftntftntfA
tntfAtx
cQcI
cQcIc
c
通訊原理 第五章 機率、隨機訊號與雜訊 181教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
xI(t) 以及 xQ(t) 的結合機率密度函數:
經由變數變換, 以及
所以:
2 21
, 2 2
( )1( , ) exp
2 2I Q
QX X I Q
x A xf x x
cos( ) sin( )I Qx r x r
2 2 2
, 2 2
2 2
2 2
cos( ) sin ( )1( , ) exp
2 2
2 cos( )exp
2 2
QI
R
QI
dxdx
dr drr A rf r
dxdx
d d
r r A Ar
通訊原理 第五章 機率、隨機訊號與雜訊 182教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
在這種情形下,隨機變數 和 再也不是互相獨立了!
推導隨機變數 R 的臨界分佈:
R
202
22
2
2
0 22
22
2
2
0 2
22
2
2
0 ,
2exp
2
)cos(2exp
2exp
2
2
)cos(2exp
2
),()(
ArI
Arr
dArArr
dArArr
drfrf RR
通訊原理 第五章 機率、隨機訊號與雜訊 183教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊 其中 ,表
示零階第一類貝索函數 (Bessel function) 。
貝索函數
階數為 n 的貝索方程式表示式:
這類方程式的解通常是無法用初等函數來簡單表示的。
階數為 n 的貝索方程式的解又稱為第一類 n階貝索函數。
2
00 )cos(exp2
1)( dxxI
0)( 222
22 ynx
dx
dyx
dx
ydx
通訊原理 第五章 機率、隨機訊號與雜訊 184教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊 第一類 n階貝索函數:
修改後的 n階貝索方程式:
修改後的第一類 n階貝索函數:
0
2
0
)!(!
4/
2
sinexp2
1
)sin(cos1
)(
mnm
xx
djnjx
dnxxJ
m
n
n
n
0)( 2222
22 ynxj
dx
dyx
dx
ydx
dnxxJjxI n
nn )cos()cos(exp
2
1)()(
通訊原理 第五章 機率、隨機訊號與雜訊 185教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
0階、 1階和 2階第一類貝索函數曲線
0階
1階
2階
圖片來源 http://wikimediafoundation.org/wiki/Home
圖 5-4-23
通訊原理 第五章 機率、隨機訊號與雜訊 186教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
所以
分布即為萊斯分佈 (Rician distribution) 。
令
)(2
exp)(
)(2
exp)()(
,
0
22
0
22
avIav
vvf
avIav
vrfvf
Aa
rv
V
RV
202
22
2 2exp)(
Ar
IArr
rfR
)(rfR
正規化萊斯分布
通訊原理 第五章 機率、隨機訊號與雜訊 187教育部資通訊科技人才培育先導型計畫
正弦波加上窄頻雜訊
正規化萊斯分布圖形 2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed
當 a=0萊斯變成瑞雷分佈
當 a夠大,在 v=a 處趨近高斯
圖 5-4-24
通訊原理 第五章 機率、隨機訊號與雜訊 188教育部資通訊科技人才培育先導型計畫
參考文獻
1. John G. Proakis, Communication System Engineering Chapter 4,
2th Edition, Prentice Hall,2002.
2. Haykin / Communication Systems,4th Ed, 2000,John Wiley & Sons, Inc.
3. Gonzalez and Woods, Digital Image Processing 2nd Edition(DIP/2e)
2002, Prentice Hall
4. vision.cse.psu.edu
5. www.math.umn.edu
6. http://wikimediafoundation.org/wiki/Home
參考資料