期末考试时间： 1 月 18 日 （星期四） 9:00—11:00

地点： 6 教 301

方式： 闭卷

考试范围：第一章到第五章

考试内容：从作业题中选题

第五章 Markov Process ( 马尔可夫过程 )

马尔可夫过程具备“无后效性”

在这一章，我们介绍 Markov Process 的最简单的两种类型：离散时间离散状态 Markov 链，连续时间离散状态 Markov链。

马尔可夫过程广泛应用于计算机、通讯、自动控制、随机服务、可靠性、生物学、经济、管理、教育、气象、物理、化学等众多领域。

也就是说，这些领域中的许多现象可以用马尔可夫过程来近似描述，从而进行分析。

首先我们先说明什么是离散状态。对定义在概率空间 PF ,,

上的一个随机过程 , 显然它的元素是从 到实数域 的一个函数。如果 的值域只包含有限个或可数个元素

tX R tX ,,,,, 210 EEE

那么可以用 来表示 我们称 为随机过程的离散状态空间，它的元素称为离散状态。

,2,1,0S . ,,,, 210 EEE S

5.1 基 本 概 念

定义 5.1(Markov 链 ). 随机过程 被称为 Markov 链， 如果对任意的 ，有

,2,1,0, nX n

Siiiji n 110 ,,,,,

nnnnnnnn iXjXPiXiXiXiXjXP 11111001 ,,,, (5.1.1)

公式 (5.1.1) 刻画了 Markov 链的无后效性。

5.1.1 Markov 链的定义

Markov 链是离散时间离散状态的马尔可夫过程。

由公式 (5.1.1) 知，给定 Markov 链的初始分布 ，其统计特性可以由条件分布

SiiXP 000

,2,1 ,11 iiXiXP nnnn

唯一确定。所以如何确定这个条件概率，是 Markov 链理论和应用中的重要问题之一。

5.1.2 转移概率定义 5.2 ( 转移概率 ). 称式 (5.1.1) 中的条件概率 iXjXP nn 1

为 Markov 链 的一步转移概率，简称转移概率。 ,2,1,0, nX n

一般情况下，转移概率和时刻 有关。如果无关，则称这样的 Markov 链为齐次 Markov 链， 即：

n

定义 5.3 ( 齐次 Markov 链 ). 当 Markov 链的转移概率

iXjXP nn 1

与 无关时，称 Markov 链是齐次的 (homogeneous), 并记n iXjXPp nnij 1 ；否则称它为非齐次的。

注：齐次 Markov 链有时也称为时齐 Markov 链。 在这门课中我们只考虑齐次 Markov 链。

为方便记，我们定义如下的矩阵：

,, ,

33323130

23222120

13121110

03020100

Sji

pppp

pppp

pppp

pppp

pP ij

(5.1.2)

这里， . 1 iXjXPp nnij 称 为转移概率矩阵，简称为转移矩阵。P

容易验证，转移矩阵 具有如下性质：P

(1)

(2)

Sjipij , ,0

Si ,1 Sj

ijp(5.1.3)

定义 5.4 ( 随机矩阵 ). 如果一个矩阵具有公式 (5.1.3) 中两条性质，则称此矩阵为随机矩阵。

5.1.3 一些例子例 5.1. ( 赌徒破产模型 ) 系统的状态是 到 ，反映赌博者A 在赌博期间拥有的钱数。当他输光或拥有钱数为 时，赌博停止；否则他将持续赌博。假设每次他以概率 赢得 1 ， 以概率 输掉 1 。

0 nn

p

pq 1

显然，上述过程是一个齐次 Markov 链。其转移矩阵为

11

1000000

00000

00000

00000

0000001

nn

pq

pq

pq

P

(5.1.4)

例 5.2. ( 带有一次赞助的赌徒破产模型 ) 设例 5.1 中当赌徒输光时将获得赞助 1让他接着赌下去，那么转移矩阵为：

111000000

00000

00000

00000

0000010

nn

pq

pq

pq

P

(5.1.5)

例 5.3. 设有一蚂蚁在右图上爬行。当两个节点相邻时，蚂蚁将爬向其中一点，并且爬向任意一个邻居的概率是相同的。则此Markov 链的转移矩阵是 1

2

3

4

5

6

0100002

100

2

100

000100

04

1

4

10

4

1

4

1

0002

10

2

1

0002

1

2

10

P

5.1.4 步转移概率 C-K 方程n定义 5.4 ( 步转移概率 ). 称条件概率n

1,0,, , nmSjiiXjXPp mnmn

ij (5.1.6)

为 Markov 链的 步转移概率，相应的称 为 步转移矩阵。

n nij

n pP n

显然，当 时， 。此外规定1n ,1ijij pp PP 1

ji

jipij 0

10

(5.1.7)

即 为单位矩阵。 0P

由定义 5.4 知， 步转移概率 是系统从状态 经 步后转移到状态 的概率。

n nijp i

jn

定理 5.1 (Chapman-Kolmogorov 方程，简称 C-K 方程 ) 对一切 Sjinm , ,0, 有

(1)

(2)

Sk

mkj

nik

nmij ppp

nnn PPPP 1

(5.1.8)

(5.1.9)

Sk

mkj

nik

Skmmnm

Skmmnm

Sk

m

m

mnm

Sk

mnm

nm

nmnm

ij

pp

iXkXkXjX

iXkXiXkXjX

iXP

iXkXP

iXkXP

iXkXjX

iXP

iXkXjX

iXP

iXjX

iXjXPp

PP

P,P

,

,

,,P

,,P

,P

0

00

0

0

0

0

0

0

0

0

0

全概公式

证明 . (1).

(2) 是 (1) 的矩阵表达形式。

(5.1.10)

例 5.4. 在例 5.1 中，令

.2

1,3 qpn 赌徒 A 从 2 元赌金开始赌博。

试求他经过 4 次赌博输光的概率。

解 . 这个概率为

. 20 044

20 XXPp 依题意，转移矩阵为

10002

10

2

10

02

10

2

10001

P (5.1.11)

根据定理 5.1 ，

10008

5

16

10

16

516

50

16

1

8

50001

44 PP (5.1.12)

所以，

16

5420 p （第三行第一列）

1.0000 0 0 0

0.6660 0.0010 0 0.3330

0.3330 0 0.0010 0.6660

0 0 0 1.0000

10P

1.0000 0 0 0

0.6670 0.0000 0 0.3330

0.3330 0 0.0000 0.6667

0 0 0 1.0000

50P

例 5.5 ( 广告效益的推算 ) 在某鲜奶 A改变广告方式后，经调查发现买 A 种鲜奶及另外三种鲜奶 B,C,D 的顾客每两个月的平均转换率如下 ( 假设市场中只有这 4 种鲜奶 ) ：

%50%10%20%20

%0%70%10%20

%4%6%60%30

%1%2%2%95

DCBAD

DCBAC

DCBAB

DCBAA

(5.1.13)

假设目前购买 A ， B ， C ， D 种鲜奶的顾客的分布为 %10 %,35 %,30 %,25 试求半年后鲜奶 A,B,C,D 的市场份额。

解 . 令 为转移矩阵，则显然有P

50.010.020.020.0

00.070.010.020.0

04.006.060.030.0

01.002.002.095.0

P (5.1.14)

为得到半年后的市场份额，我们须知 。3P

14306.014264.02134.05009.0

01196.036584.01388.04834.0

04355.00998.02259.060175.0

01820.00466.00458.08894.0

33 PP

所以，半年后鲜奶 A 的市场占有率为

624.0

5009.0

4834.0

60175.0

8894.0

%10%,35%,30%,25

半年后鲜奶 B 的市场占有率为

15814.0

2134.0

1388.0

2259.0

0458.0

%10%,35%,30%,25

半年后鲜奶 C 的市场占有率为

183318.0

14264.0

36584.0

0988.0

466.0

%10%,35%,30%,25

半年后鲜奶 D 的市场占有率为

034542.0

14306.0

01196.0

04335.0

01820.0

%10%,35%,30%,25

所以， A 种牛奶的新的广告方式很有效！

例 5.6. 设 为齐次 Markov 链，其状态空间为 0, nnX . 3,2,1S

其转移矩阵为

4

1

4

30

2

1

4

1

4

1

04

3

4

1

P (5.1.15)

又已知初始分布为

3

1

2

1

6

1试求

2P(1) 二步转移矩阵

(2)

1,2 31 XXP

(3) 1,2,3 321 XXXP

解 . (1)

16

7

8

3

16

34

1

8

5

8

18

3

8

3

4

1

22 PP

(2) 由全概公式、乘法公式和 Markov 链的性质可知：

16

1

8

1

4

3

3

1

4

1

2

1

4

3

6

1

221

2,2,1

,1,2

1,2

3

102

221

3

100113

3

110103

3

1031

31

ii

i

i

i

iXPpp

iXPiXXPXXP

XiXPXiXXP

iXXXP

XXP

(3) 与 (2) 类似，我们有

.64

9

4

3

4

1

4

1

3

1

2

1

2

10

6

1

3,32,2,31

,1,2,3

1,2,3

3

1033221

3

10010120213

3

10321

321

ii

i

i

iXPppp

iXPiXXPiXXXPiXXXXP

iXXXXP

XXXP

5.1.5. 有限齐次 Markov 链的遍历性质

定义 5.5 设 为齐次 Markov 链， 若对一切状态 Sji , 0, nX n

存在不依赖于 的常数 ，使得i j

jn

ijn

p

lim (5.1.16)

则称 Markov 链 具有遍历性。 0, nX n

遍历性的直观意义是：不论系统从哪一个状态出发，当转移的“步长” 充分大时，转移到某个状态 的概率近似于某个常数 。因此可用 来近似 ，只要 充分大。

n j

j j nijp n

Question:　满足什么条件的 Markov 链具有遍历性呢？

这里我们只对有限齐次 Markov 链做一说明。

有限指 Markov 链的状态集合 中有有限个元素。S

定理 5.２设 为有限齐次 Markov 链 (不失一般性，设 0, nX n

kS ,,2,1 ). 如存在正整数 ，使得对一切状态 ，有Sji ,n

,0nijp (5.1.17)

则此 Markov 链是遍历的；而且公式 (5.1.16) 中的 是下列方程组

j

kjpk

iijij ,2,1 ,

1

(5.1.18)

的满足条件kj

k

iij ,2,1 ,1 ,0

1

(5.1.19)

的唯一解。

例 5.7. 在例 5.6 中，我们知道

16

7

8

3

16

34

1

8

5

8

18

3

8

3

4

1

22 PP

所以，这个有限齐次 Markov 链满足公式 (5.1.17) 。由定理 5.2知

4

1

2

12

1

4

1

4

34

1

4

1

323

3212

211

满足上述方程组和公式 (5.1.19) 的解为：3

1,

2

1,

6

1321

定理 5.２中的条件是充分但不是必要的，如下例所示：

例 5.8. 考虑 Markov 链 .0, nX n 其状态空间为 .2,1S 转移矩阵为

102

1

2

1

ijpP

易验证 步转移矩阵为n

102

11

2

1nnn

ijn pP

因为 .1lim ,0lim 1211

n

n

n

npp

所以 是遍历的。但是，对任意的 ，不满足公式 (5.1.17) 。

.0, nX n 0 ,1 21 npn

例 5.4 中的 Markov 链不是遍历的。

5.2. 状态的分类及性质定义 5.6 称状态 可达状态 ，若存在 使得 。记为 。 若同时有 则称 与 互通，记为 。

i Sjij , 0n 0nijp

ji ij i j ji

定理 5.3 互通是一种等价关系，即满足

(1) 自返性：

(2) 对称性：若 ，则

(3)传递性：若 则

ii

ji ij

,ji ,kj ki

证明 (3). 先证 。 由 知，存在 使得ki ,ji kj nm,

,0mijp .0n

jkp 再由 C-K 方程可知， ,0

njk

mij

Sl

nlk

mil

nmik ppppp

因此 .ki 同理可证 故.ik .ki

我们把任何两个相通的状态归为一类。然后定义：

定义 5.7 若 Markov 链只存在一个类，就称它是不可约的；否则称为可约的。