多元统计分析崔 恒 建

首都师范大学数学科学学院

2017年春季

首都师范大学统计系

欢迎您！

在这里

师资一流， 平台齐全

气氛和谐， 地理优越

第一章 绪论

第二章 多元正态分布

第三章 判别分析

第四章 聚类分析

第五章 主成分分析

第六章 因子分析

第七章 典型相关分析

第一章 绪论

§1.1 矩阵及其运算

§1.2 行列式

§1.3 矩阵的逆

§1.4 矩阵的秩

§1.5 特征值、特征向量和矩阵的迹

§1.6 正定矩阵和非负定矩阵

11 12 1

21 22 2

1 2

q

q

p p pq

a a aa a a

a a a

=

A

p×q矩阵：

1

2

p

aa

a

=

a

p维列向量：

q维行向量： a′=(a1,a2,⋯,aq)

2

,ij

i ja= ∑Α

2 2 21 2 pa a a= ′ = + + +a a a

单位向量：

向量a的长度：

矩阵A的模：

1=a

零矩阵，A=0。方阵，对角线元素，非对角线元素。

上三角矩阵，下三角矩阵。

对角矩阵，记A=diag(a11,a22,⋯,app)。 p阶单位矩阵，记A=Ip或A=I。

若将矩阵A的行与列互换，称为A的转置，记作A′，即

若A′=A，则称A为对称矩阵。显然，aij=aji。

11 21 1

12 22 2

1 2

p

p

q q pq

a a aa a a

a a a

′ =

A

§1.1 矩阵的运算

若A=(aij)：p×q，B=(bij)：p×q,A与B的和定义为

A+B=(aij+bij)：p×q

若c为一常数，A的积定义为

cA=(caij)：p×q

若A=(aij)：p×q，B=(bij)：q×r,A与B的积定义为

1

q

ik kjk

a b p r=

= × ∑AB ：

(1) (A+B)′=A′+B′。

(2) (AB)′=B′A′。

(3) A(B1+B2)=AB1+AB2。

(4) 。

(5) c(A+B)=cA+cB。

1 1

k k

i ii i= =

=

∑ ∑A B AB

若两个p维向量a和b满足

a′b=a1b1+a2b2+⋯+apbp=0则称a和b正交。

若方阵A满足AA′=I，称A为正交矩阵。

若方阵A满足A2=A，则称A为幂等矩阵。

对称的幂等矩阵称为投影矩阵。

矩阵的分块

设A=(aij)：p×q,将它分成四块，表示成

其中A11：k×l，A12：k×(q−l)，A21：(p−k)×l，A22：(p−k)×(q−l)。

若A和B有相同的分块，则

11 12

21 22

=

A AA

A A

11 11 12 12

21 21 22 22

+ + + = + +

A B A BA B

A B A B

若C为q×r矩阵，分成

其中C11：l×m，C12：l×(r−m)，C21：(q−l)×m，C22：(q−l)×(r−m)，则有

11 12

21 22

=

C CC

C C

11 12 11 12

21 22 21 22

11 11 12 21 11 12 12 22

21 11 22 21 21 12 22 22

=

+ + = + +

A A C CAC

A A C C

A C A C A C A CA C A C A C A C

§1.2 行列式

p阶方阵A=(aij)的行列式定义为

这里 表示对1,2,⋯,p的所有排列求和，

τ(j1j2⋯jp) 是排列j1,j2,⋯,jp中逆序的总数。

( ) ( )1 2

1 2

1 2

1 21 p

pp

j j jj j pj

j j ja a aτ= −∑A

1 2 pj j j∑

行列式基本性质

(1) 若A的某行(或列)为零，则|A|=0。 (2) |A′|=|A|。 (3) 若将A某一行(或列)乘以常数c，则所得矩阵行列式为c|A|。

(4) 若A是一个p阶方阵，c为一常数，则|cA|=cp|A|。 (5) 若A的某一行(或列)是其他一些行(或列)的线性组合，则行列式为零。

(6) 若A和B均为p阶方阵，则|AB|=|A||B|。 (7) |AA′|≥0。 (8) 若A与B都是方阵，则

(9) 若A：p×q，B：q×p，则

|Ip+AB|=|Iq+BA|

= =A C A

A BB C B

00

§1.3 矩阵的逆

若方阵A满足|A|≠0，则称A为非退化方阵；若 |A|=0，则称A为退化方阵。

设A=(aij)是一非退化方阵，若方阵C满足AC=I，则称C为A的逆矩阵，记为C=A−1。

逆矩阵基本性质

(1) AA−1=A−1A=I。 (2) (A′)−1=(A−1)′。 (3) 若A和C均为p阶非退化方阵，则

(AC)−1=C−1A−1

(4) |A−1|=|A|−1。

(5) 若A是正交矩阵，则 A−1=A′。 (6) 若A和B为非退化方阵，则

1 1

1

− −

−

=

A AB B0 0

0 0

§1.4 矩阵的秩

矩阵A的线性无关行向量的最大数目称为行秩，其线性无关列向量的最大数目称为列秩。矩阵的行秩和列秩必相等，故称为A的秩，记 rank(A)。

矩阵秩基本性质

(1) 若A为p×q矩阵, 且A≠0，则1≤rank(A)≤min{p,q}(若rank(A)=p,则称A为行满秩的；若rank(A)=q,则称A为列满秩的)。

(2) p阶方阵A是非退化的，当且仅当rank(A)=p(称作A满秩)。

(3) rank(AA′)=rank(A′A)=rank(A)。

§1.5 特征值、特征向量和矩阵的迹

一、特征值和特征向量

二、矩阵的迹

一、特征值和特征向量

设A是p阶方阵，若对于一个数λ，存在一个p维非零向量x，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于特征值λ的一个特征向量。

|A−λI|是λ的p次多项式，称为特征多项式。有p个根

λ1,λ2,⋯,λp，可能为实数或为复数，存在一个p维非零

向量xi，使得

(A−λiI)xi=0即λi是A的一个特征值，而xi是相应的特征向量。

特征值和特征向量基本性质 (1) A和A′有相同的特征值。

(2) 若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。

(3) 若A为实对称矩阵，则A的特征值全为实数，p个特征值表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交。

(4) 。1

p

ii

λ=

=∏A

例

(i) 若A为幂等矩阵，则A的特征值为0或1；

(ii) 若A为正交矩阵，则A的特征值为1或−1。

(5) 若A为p阶对称矩阵，则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得

A=TΛT′记T=(t1,t2,⋯,tp)，λ1,λ2,⋯,λp是A的p个特征值，

而t1,t2,⋯,tp为相应的(一组正交单位)特征向量。

称之为A的谱分解。

1=

p

i i iiλ

=

′′ = ∑A TΛT t t

(6) 若A为p×q实数矩阵，则存在p阶正交矩阵U和q阶正交矩阵V，使得

A=UΛV′其中Λ的(i,i)元素λi≥0，i=1,2,⋯,min(p,q)，其他

元素均为零。正数λi称为A的奇异值，上述分解

式称为奇异值分解。

由A=UΛV′知，

AA′=UΛ2U′，A′A=VΛ2V′ ，于是

AA′ui=λi2ui，i=1,2,⋯,p

A′Avi=λi2vi，i=1,2,⋯,q

即 是 AA′的p个特征值，u1,u2,⋯,up 是相应的特征向量；

是A′A 的q个特征值，v1,v2,⋯,vq 是相应特征向量。

2 2 2 2 2 21 2 1 2, , , 0k k k pλ λ λ λ λ λ+ +> = = = =

2 2 2 2 21 2 1 2, , , 0k k kλ λ λ λ λ+ +> = =

2qλ= =

二、矩阵的迹

A的迹，记tr(A)，tr(A)=a11+a22+⋯+app

迹具有基本性质：

(1) tr(AB)=tr(BA)。 (2) tr(A)=tr(A′)。 (3) tr(A+B)=tr(A)+tr(B)。

(4) 设A=(aij)为p×q矩阵，则

(5) 设λ1,λ2,⋯,λp为方阵A的特征值，则

tr(A)=λ1+λ2+⋯+λp

(6) 若A为投影矩阵，则

tr(A)=rank(A)

( ) ( ) 2

1 1tr tr

p q

iji j

a= =

′ ′= = ∑∑A A AA

§1.6 正定矩阵和非负定矩阵

若对一切x≠0，有x′Ax>0，则称A为正定矩阵，记作A>0；若对一切x，有x′Ax≥0，则称A为非负定矩阵，记作A≥0。 对非负定矩阵A和B，A>B表示A−B>0；

A≥B表示A−B≥0。

正定矩阵和非负定矩阵基本性质

(1) 设A是对称矩阵，则A是正定(或非负定)矩阵，当且仅当A的所有特征值均为正(或非负)。

(2) 设A≥0，则A的秩等于A的正特征值个数。

(3) 若A>0(或≥0)，则|A|>0(或≥0)。 (4) BB′≥0。 (5) 设A≥0是p阶秩为r的矩阵，则存在一个秩为r(即列满秩)的p×r矩阵B，使得A=BB′。

(6) 若A是p阶对称矩阵，其特征值依次为λ1≥λ2≥⋯≥λp，则

(7) 若A是p阶对称矩阵，B是p阶正定矩阵，μ1≥μ2≥⋯≥μp是B−1A的p个特征值，则

1max ,

min p

λ

λ≠

≠

′ ′ =

′ ′ =0

0

x

x

x Ax x x

x Ax x x

1max ,

min p

µ

µ≠

≠

′ ′ =

′ ′ =0

0

x

x

x Ax x Bx

x Ax x Bx

(8) 柯西—许瓦兹不等式(Cauchy−Schwarz) 若B>0，则

(x′y)2≤(x′Bx)(y′B−1y)