E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê...

23
Gauss E-mail:[email protected] October 12, 2007

Transcript of E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê...

Page 1: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

)))���555���êêê���§§§|||������������{{{

on

�Æ�ó§O�XêÆ�ÆÆ�

�®�ÆE-mail:[email protected]

October 12, 2007

Page 2: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

n������555���êêê���§§§|||���LLL���ªªª

a11x1 + a12x2 + ... + a1nxn = b1a21x1 + a22x2 + ... + a2nxn = b2

...an1x1 + an2x2 + ... + annxn = bn

(1)

Page 3: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

ÝÝÝLLL«««

I

Ax = b (2)

I Ù¥

A =

a11 a12 ... a1n

a21 a22 ... a2n...

......

an1 an2 ... ann

x =

x1

x2...xn

b =

b1

b2...

bn

(3)

Page 4: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

nnnØØØ(((JJJÚÚÚOOO���úúúªªª

I )��35µeA�Ûɧ=det A 6= 0§K�5�ê�§|(1)�)�3��"

I Cramer{KµO�þ��§Ø·u¦)n ≥ 4��5�ê�§|"

Page 5: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Gauss^̂̂SSS������{{{���ÄÄÄ���ggg���

ÏL��=z¤þn��5�§|

A =

a(1)11 a

(1)12 ... a

(1)1n

a(2)22 ... a

(2)2n

. . ....

a(n)nn

x1

x2...xn

=

b1

b2...

bn

(4)

Page 6: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Gauss^̂̂SSS������{{{úúúªªª

I

[Ak+1|bk+1] = Lk(−lk)[Ak |bk ] (5)

I

Lk(−lk) = I − lkeTk (6)

Ù¥lk = (0, ..., 0, lk+1k , ..., lnk)T§lik =a(k)ik

a(k)kk

, i =

k + 1, ..., n

Page 7: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

£££���{{{¦¦¦)))þþþnnn������§§§

I

A(n)x = b(n) (7)

I {xn = b

(k)n /a

(n)nn

xk = (bkk −

∑nj=k+1 a

(k)kj xj)/a

(k)kk , k = n − 1, ..., 2, 1

(8)

Page 8: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

½½½nnn3.1

A = (aij) ∈ Rn×n�Ûɧ���^SÌfª

∆k = detAk =

∣∣∣∣∣∣∣a11 . . . a1k...

...an1 . . . ann

∣∣∣∣∣∣∣ 6= 0, k = 1, 2, ..., n − 1

(9)

Ka(k)kk 6= 0

Page 9: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

������{{{ÚÚÚLU©©©)))

I lÝC��Ýw

Ln−1(−ln−1)Ln−2(−ln−2) · · ·L1(−l1)A = A(n) = U (10)

I 5¿�L−1k (−lk) = Lk(lk)u´k

A = L−11 (−l1)L

−12 (−l2) · · ·L−1

n−1(−ln−1)A(n) = LU (11)

Page 10: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

LU©©©)))���LLL���ªªª

I L�L�ª

L = L−11 (−l1)L

−12 (−l2) · · · L−1

n−1(−ln−1)

= L1(l1)L2(l2) · · · Ln−1(ln−1)

=

1l21 1...

.... . .

ln1 ln2 . . . 1

I

U = A(n) =

a(1)11 a

(1)12 ... a

(1)1n

a(2)22 ... a

(2)2n

. . ....

a(n)nn

Page 11: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

ÀÀÀÌÌÌ���������{{{

I ��

I ��

Page 12: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Doolittle©©©))){{{

I ¦)

LUx = b (12)

-Ux = y§¦)

Ly = b Ux = y (13)

I ��^ݦ{¦UÚL

Page 13: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Doolittle©©©))){{{OOO���úúúªªª(1)

I '�

A =

a11 a12 ... a1n

a21 a22 ... a2n...

......

an1 an2 ... ann

=

1l21 1...

.... . .

ln1 ln2 . . . 1

u11 u12 ... u1n

u22 ... u2n

. . ....

unn

I á=��

u1j = a1j , j = 1, 2, ..., n;

li1 =ai1

u11.

Page 14: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Doolittle©©©))){{{OOO���úúúªªª(2)

I ®�U�i − 11ÚL�ci − 1�§Kk

aij = uij +i−1∑k=1

likukj , j = i , i + 1, ..., n

¦U�i1§

uij = aij −i−1∑k=1

likukj , j = i , i + 1, ..., n (14)

I ¦L�i�§Kk

lij =1

ujj(aij −

j−1∑k=1

likukj), i = i , j + 1, ..., n (15)

Page 15: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

nnnééé������555���§§§|||���JJJ`̀̀{{{(1)

A =

b1 c12a2 b2 c2

. . .. . .

. . .

an−1 bn−1 cn−1

an bn

=

1l2 1

l3. . .. . . 1

ln 1

u1 c1

u2 c2

. . .. . .

un−1 cn−1

un

Page 16: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

ééé������555���§§§|||���JJJ`̀̀{{{(2)

I A´é�Ó`|b1| > |c1| > 0|bi | ≥ |ai |+ |ci |, aici 6= 0, i = 2, 3, ..., n − 1|bn| > |an| > 0

(16)

I O�úª

u1 = b1, li =ai

ui−1, ui = bi − lici−1, i = 2, 3, ..., n

(17)

I ¦)Ly = fÚUx = y

y1 = f1, yi = fi − liyi−1, i = 2, 3, ..., n (18)

xn =yn

un, xi =

yi − cixi+1

ui, i = n − 1, ..., 2, 1 (19)

Page 17: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

Cholesky©©©))){{{���²²²������{{{

I A´é¡�½

A =

a11 a12 ... a1n

a21 a22 ... a2n...

......

an1 an2 ... ann

=

l11

l21 l22...

.... . .

ln1 ln2 . . . lnn

l11 l21 ... ln1

l22 ... ln2

. . ....

lnn

I

ljj = (ajj −j−1∑k=1

l2jk)1/2, j = 1, 2, ..., n (20)

lij = (aij −j−1∑k=1

lik ljk)/ljj , i = j + 1, ..., n (21)

Page 18: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

���þþþ���êêê

I ½Â3.1µ XJ�þx ∈ Rn�,�¢�¼êN(x),P�||x ||÷vµ(1)||x || ≥ 0§��=�x = 0��Ò¤á£�½5¤(2)||αx || = |α|||x ||, α ∈ R(àg5)(3)||x + y || ≤ ||x ||+ ||y ||(n�Ø�ª)

I n«~��þ�ê

(1)1-�êµ||x ||1 =∑n

i=1 |xi |(2)2-�êµ||x ||2 = (

∑ni=1 x2

i )1/2

(3)∞-�êµ||x ||∞ = max1≤i≤n |xi |p-�êµ||x ||p = (

∑ni=1 xp

i )1/p

Page 19: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

ÝÝÝ���êêê

I ½Â3.2µ XJA ∈ Rn×n�,�¢�¼êN(A),P�||A||÷vµ(1)||A|| ≥ 0§��=�A = 0��Ò¤á£�½5¤(2)||αA|| = |α|||A||, α ∈ R(àg5)(3)||A + B|| ≤ ||A||+ ||B||(n�Ø�ª)(4)||AB|| ≤ ||A||||B||�N5^�µ

||Ax || ≤ ||A||||x ||

I ½Â3.3µ�x ∈ Rn§A ∈ Rn×n§�½,«�þ�

ê|| · ||ν§�±½Â

||A||ν = maxx 6=0

||Ax ||ν||x ||ν

Page 20: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

���þþþÚÚÚÝÝÝ���êêê(1)

I ½n3.6

I ½n3.7

||A||∞ = max1≤i≤n

n∑j=1

|aij |

||A||1 = max1≤j≤n

n∑i=1

|aij |

||A||2 =√

λmax(ATA)

I Frobenius�ê

||A||F = (n∑

i ,j=1

a2ij)

1/2

Page 21: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

���þþþÚÚÚÝÝÝ���êêê(2)

I Ì�»ρ(A) = max |λ(A)|I �ê�d5

I ½n3.9 �B ∈ Rn×n�||B|| < 1§KI − B�Ûɧ�

||(I − B)−1|| ≤ 1

1− ||B||

Page 22: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

^̂̂���êêê

I A�ÛÉcond(A) = ||A||||A−1||

I

cond(A) ≥ 1 cond(A) = cond(A−1)

cond(αA) = cond(A)

cond(A)2 =λ1

λn

Page 23: E-mail:galoispure@gmail - dsec.pku.edu.cndsec.pku.edu.cn/~kli/teach/chat3.pdf · ) ) ) 5 5 5 ê ê ê § § § | | | { { { o o o n n n) ) ) 5 5 5 ê ê ê § § § | | | { { { o o

)))���555���êêê���§§§|||������������{{{

ooonnn

ÄÄÄ������£££

Gauss������{{{

������nnn���©©©))){{{

���þþþ���êêêÚÚÚÝÝÝ���êêê

ØØØ���©©©ÛÛÛ

½n3.10HilbertÝ