Pawe Omietaski

Wstp do metod numerycznych

Notatki z wykadu prof. Sdziwego.

Spis treci

1 Analiza bdw. 31.1 Reprezentacja liczb rzeczywistych. . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Reprezentacja staoprzecinkowa. . . . . . . . . . . . . . . . . . . 31.1.2 Reprezentacja zmiennoprzecinkowa. . . . . . . . . . . . . . . . . 3

1.2 Operacje zmiennoprzecinkowe . . . . . . . . . . . . . . . . . . . . . . . 51.3 Uwarunkowanie zadania. . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Rozwizywanie ukadw rwna liniowych. 72.1 Wprowadzenie. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2 Metody dokadne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2.1 Metoda eliminacji Gaussa. . . . . . . . . . . . . . . . . . . . . . 82.2.2 Faktoryzacja LR. . . . . . . . . . . . . . . . . . . . . . . . . . . 102.2.3 Faktoryzacja QR . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3 Metody przyblione (interacyjne). . . . . . . . . . . . . . . . . . . . . . 192.3.1 Macierze. Normy macierzowe. . . . . . . . . . . . . . . . . . . . 192.3.2 Podstawowe wiadomoci dotyczce metod iteracyjnych. . . . . . 282.3.3 Metody stacjonarne. . . . . . . . . . . . . . . . . . . . . . . . . 292.3.4 Metody Gaussa-Seidla i Jacobiego. . . . . . . . . . . . . . . . . 302.3.5 Metoda kolejnych nadrelaksacji (SOR - succesive overrelaxation). 342.3.6 Metoda Richardsona. . . . . . . . . . . . . . . . . . . . . . . . . 37

2.4 Metody gradientowe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402.4.1 Metoda najmniejszych kwadratw. . . . . . . . . . . . . . . . . 402.4.2 Uoglniona metoda najmniejszych kwadratw. . . . . . . . . . . 402.4.3 Metoda gradientw sprzonych. . . . . . . . . . . . . . . . . . . 46

3 Wyznaczanie wartoci wasnych i wektorw wasnych macierzy. 483.1 Metody dokadne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.2 Metody iteracyjne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.2.1 Metoda potgowa. . . . . . . . . . . . . . . . . . . . . . . . . . 533.2.2 Wariant metody potgowej . . . . . . . . . . . . . . . . . . . . . 563.2.3 Metoda Householdera. . . . . . . . . . . . . . . . . . . . . . . . 57

3.3 Wyznaczanie wszystkich wartoci wasnych macierzy symetrycznych. . . 593.3.1 Metoda obrotw Jacobiego. . . . . . . . . . . . . . . . . . . . . 593.3.2 Metoda QR wyznaczania wartoci wasnych macierzy. . . . . . . 62

4 Interpolacja. 634.1 Interpolacja wielomianowa. . . . . . . . . . . . . . . . . . . . . . . . . . 644.2 Ilorazy rnicowe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674.3 Wielomiany Hermitea. . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.4 Reszta interpolacji wielomianu. . . . . . . . . . . . . . . . . . . . . . . 724.5 Wzy rwnoodlege . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744.6 Potga symboliczna (wielomian czynnikowy) . . . . . . . . . . . . . . . 764.7 Interpolacja trygonometryczna . . . . . . . . . . . . . . . . . . . . . . . 77

4.7.1 Algorytm szybkiej transformaty Fouriera . . . . . . . . . . . . . 814.8 Funkcje sklejane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

1

5 Aproksymacja. 915.1 Ortogonalizacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.2 Wielomiany ortogonalne . . . . . . . . . . . . . . . . . . . . . . . . . . 96

5.2.1 Wasnoci ekstremalne wielomianw Czebyszewa . . . . . . . . . 1025.3 Aproksymacja jednostajna . . . . . . . . . . . . . . . . . . . . . . . . . 104

6 Cakowanie numeryczne. 1066.1 Kwadratury Newtona-Cotesa. . . . . . . . . . . . . . . . . . . . . . . . 108

6.1.1 Reszta kwadratur Newtona-Cotesa. . . . . . . . . . . . . . . . . 1096.2 Kwadratury zoone Newtona-Cotesa. . . . . . . . . . . . . . . . . . . . 1106.3 Kwadratury Gaussa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.3.1 Reszta kwadratur Gaussa . . . . . . . . . . . . . . . . . . . . . 1156.4 Zbieno cigu kwadratur . . . . . . . . . . . . . . . . . . . . . . . . . 115

7 Rozwizywanie rwna nieliniowych. 1187.1 Metoda bisekcji. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1207.2 Kontrakcje. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.3 Metoda siecznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237.4 Metoda regua falsi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1267.5 Metoda stycznych (Newtona). . . . . . . . . . . . . . . . . . . . . . . . 127

2

Metody numeryczne zajmuj si badaniem sposobw rozwizywania zada mate-matycznych przy pomocy dziaa arytmetycznych.

1 Analiza bdw.

1.1 Reprezentacja liczb rzeczywistych.

Kad liczb rzeczywist x R moemy zapisa w postaci

x = i=k

cii = (kck+ k1ck1 + . . .+ c0 + 1c1 + . . .),

gdzie jest podstaw systemu, oraz ci {0, . . . , 1}. Moemy wic zapisa, eJedna zkropek tokropkadziesitna!

x = ckck1 . . . c0.c1c2 . . .Ustalmy n i niech x oznacza reprezentacj liczby x za pomoc n znakw. Wwczasbdem bezwzgldnym wartoci przyblianej x nazywamy

x = x x,

natomiast bdem wzgldnym tej wartoci nazywamy

= xx.

1.1.1 Reprezentacja staoprzecinkowa.

Liczb x zapisujemy przy pomocy n = n1+n2 znakw, gdzie n1 oznacza liczb znakwprzed kropk dziesitn, a n2 za t kropk. Jeeli n2 = 0, to mamy liczb cakowit.Liczby cakowite o dugoci n nale do przedziau [n+ 1, n 1].

Jeli a, b Z s o dugoci nie wikszej ni n takimi, e a b, ab s liczbamio dugoci nie wikszymi ni n, to operacje dodawania, odejmowania i mnoenia swykonywane dokadnie.

1.1.2 Reprezentacja zmiennoprzecinkowa.

W reprezentacji tej, liczb rzeczywist x zapisujemy w postaci

x = sc m,gdzie s - znak liczby, - podstawa systemu, c - cecha, m - mantysa.

Poniewa bez adnych dodatkowych zaoe kad liczb mona by byo zapisana nieskoczenie wiele sposobw, wprowadza si tzw. warunek normalizacji: m [1, 1). Zatem mantys mona zapisa jako szereg

m =

i=1

ii = 0.12 . . . ,

gdzie i {0, . . . , 1}, 1 6= 0. Liczby i nazywamy liczbami znaczcymi.

Ustalmy t liczb znakw mantysy, oraz n t liczb znakw cechy.

3

Denicja 1.1. (Zbir liczb maszynowych)

A = {x R| x = scmt, c ma n t znakw, mt ma t znakw}Poniewa zbir A jest skoczony, moemy wic zdeniowa odwzorowanie za-

okrglania

rd : R x = scm 7 scmt A,gdzie liczba znakw c jest nie wiksza ni n t.

Jeeli m = 0.1 . . . tt+1 . . ., gdzie i s liczbami znaczcymi, to

mt =

{0.1 . . . t, 0 t+1 2 10.1 . . . t +

t, 2 t+1 <

Wykaemy, e |mmt| 12t 12t mmt 12t. Jeeli 0 t+1 2 1,to

mmt =it+1

ii = t+1

(t+1) +it+2

ii

(2

1)(t+1) + ( 1)

i=t+2

i

= 12t (t+1) +

it+1

i it+2

i = 12t +

it+1

i it+1

i

= 12t.

Podobnie, gdy 2 t+1 <

mmt =it+1

ii t = t+1

(t+1) +it+2

ii t

12t +

it+2

ii 1

2t

Jak wida, powysza denicja mt nie jest w peni poprawna dla podstawy nieparzy-stej. Sposobw zaokrglenia jest wiele i czsto zale one od architektury komputera.

Wprowadmy teraz pojcie dokadnoci maszynowej. Zauwamy, e rd(x)xx

= cmtcmcm

= |mtm||m|

12tm

12t

1= 1

2(t1).

Dokadnoci maszynow nazywamy eps = 12(t1) . Zatem modu bdu wzgld-

nego wartoci rd(x) jest ograniczony

|| = rd(x)x

x

eps .Wic wzr na rd(x) moemy zapisa w postaci

rd(x) = x(1+ ), || eps .

4

Niech rd : R A bdzie takie, e y A : |rd(x) x| |y x|. Warto rd(x)nazywamy aproksymacj liczby x liczb maszynow.

Zauwamy, e jeli rd(x) A, to rd(x) = rd(x). Nasuwa si wic pytanie, kiedyrd(x) / A? Jest tak, jeeli c / [cmin, cmax]. Jeli c < cmin, mamy wwczas niedomiarcechy i przyjmujemy, e rd(x) = 0. Bd wzgldny wynosi wwczas 100%. Gdyc > cmax, mamy nadmiar cechy i przerywamy obliczenia.

1.2 Operacje zmiennoprzecinkowe

Oznaczmy przez dowolne z dziaa +, , , /. Jeeli x, y A, to niekonieczniexy A. Operacj zmiennoprzecinkow oznacza bdziemy przez i dla x, y Adeniujemy jako

xy = (xy)(1+ ), || eps ,

zatemNajpierwzaokr-glamy,pniejdziaamy.

xy = rd(xy).

Operacje zmiennoprzecinkowe nie speniaj praw cznoci i rozdzielno-ci. W celu wykazania tej wasnoci, oznaczmy przez f(E) warto wyraenia arytme-tycznego E obliczonej wedug ustalonego algorytmu w arytmetyce zmiennoprzecinko-wej.

Niech A1 = (a + b) + c i niech A2 = a + (b + c). Pokaemy, e f(A1) 6= f(A2).Ustalmy wic a, b, c A.

f(A1) = (a+ b) + c = ((a+ b)(1+ 1) + c)(1+ 2)

= (a+ b+ c+ (a+ b)1)(1+ 2)

= a+ b+ c+ (a+ b+ c)2 + (a+ b)(1+ 2)1

= (a+ b+ c)(1+ a+b

a+b+c(1+ 2)1 + 2

)= (a+ b+ c)(1+ 1),

1 =a+ba+b+c

(1+ 2)1 + 2, |1|, |2| eps .

Podobnie obliczymy, e

f(A2) = (a+ b+ c)(1+ 2),

2 =b+c

a+b+c(1+ 4)3 + 4, |3|, |4| eps .

Jeeli przyjmiemy teraz, e a jest mae oraz a b, to a+ba+b+c

0. Wic 1 2.Zachodzi rwnie b+c

a+b+c b+c

c 1, zatem dla 2 mamy wzmocnienie bdu, wic

1 6= 2.

5

Wemy teraz A3 = a2 b2 oraz A4 = (a+ b)(a b).

f(A3) = (a a) (b b) = a2(1+ 1) b2(1+ 2)= [a2(1+ 1) b

2(1+ 2)](1+ 3)

= a2 b2 + (a2 b2)3 + (a21 b

22)(1+ 3)

= (a2 b2)[1+ a

21b22

a2b2(1+ 3) + 3

]= (a2 b2)(1+ 3),

3 =a21 b

22

a2 b2(1+ 3) + 3, |i| eps , i = 1, 2, 3.

f(A4) = (a+ b) (a b) = (a+ b)(1+ 4) (a b)(1+ 5)

= (a+ b)(a b)(1+ 4)(1+ 5)(1+ 6) = (a2 b2)(1+ 4),

4 = 4 + 5 + 6 + . . .+ 456, |j| eps , j = 4, 5, 6.Mora!

Wida, e 4 jest rzdu 0, natomiast 3 moe by do due. Zatem wybr algo-rytmu moe decydowa o wielkoci bdu.

1.3 Uwarunkowanie zadania.

Niech D Rm bdzie zbiorem otwartym i niech : D Rn bdzie funkcj cig.Denicja 1.2. Zadanie y = (x) jest dobrze uwarunkowane jeli niewielkie zmianydanych daj mae zmiany wynikw. W przeciwnym przypadku zadanie jest le uwa-runkowane.

Zastanwmy si, kiedy dane zadanie jest dobrze uwarunkowane. Rozwamy taksytuacj: x jest wartoci przybliajc x, y = (x), y = (x). Pytamy, czy zachodziimplikacja

x = x x mae y = y y mae.Zamy, e C1(D,Rn), wwczas

(x) = (x) +(ddx

)(x x) + reszta,

gdzie

= (1, . . . , n), x = (x1, . . . , xm), x = (x1, . . . , xm),

ddx

=(ixj

)j=1,...,m, i=1,...,n

yi = i(x) i(x) =

mj=1

ixj

xj

Jeli yi 6= 0, to

yiyi

=

mj=1

ixj

xjyi

=

mj=1

ixj

xjyi xjxj

=

mj=1

kijxj ,

gdzie kij =ixj

xjyi

nazywamy wspczynnikiem wzmocnienia bdu xj .

Zatem odpowiedzi na postawione wyej pytanie jest: zadanie jest dobrze uwa-runkowane, gdy kij s mae.

6

Przykad 1.3. Niech

y = (p, q) = p+p2 q, q > 0, p > 0.

Zatem (p, q) jest rozwizaniem rwnania

y2 2py+ q = 0.

Zadanie to jest le uwarunkowane, jeeli p2 q. Dla pierwiastkw pooonych bliskosiebie kada zmiana wartoci p i q, nawet niewielka, moe spowodowa brak pierwiast-kw lub znaczne ich oddalenie.

Rysunek 1:

2 Rozwizywanie ukadw rwna liniowych.

2.1 Wprowadzenie.

Niech A = (aij) bdzie rzeczywist macierz wymiaru n n i niech b = (bi) Rn.Rozdzia ten powicimy na szukanie rozwizania ukadu rwna postaci

Ax = b,(1)

rwnowany ukadowi

a11x1 + a12x2 + . . .+ a1nxn = b1a21x1 + a22x2 + . . .+ a2nxn = b2. . .

an1x1 + an2x2 + . . .+ annxn = bn

(2)

Zakadamy, e A jest macierz nieosobliw (detA 6= 0). Wprowadmy oznaczenia

A = [a1, . . . , an], aj reprezentuje kolumn macierzy A, aj =

a1j...anj

,

Ai = [a1, . . . , ai1, b, ai+1, . . . , an].

7

Twierdzenie 2.1. Jeeli A jest macierz nieosobliw, to wspczynniki xi rozwizaniarwnania (1) dane s wzorami

xi =detAidetA

, i = 1, . . . , n

Zatem, aby wyznaczy te wspczynniki naley obliczy n + 1 wyznacznikw. Ko-rzystajc ze wzorw Cramera

detA =Sn

sgna1(1) . . . an(n),

gdzie Sn jest zbiorem permutacji zbioru {1, . . . , n}, w celu obliczenia wyznacznika trzeba#Sn = n!wykona n!(n 1) mnoe. cznie dla wyznaczenia x trzeba wykona

(n+ 1)(n 1)n! = (n 1)(n+ 1)!

(n 1)2(n+ 1)

(n+1e

)n+1(1+O( 1

n+1

)) O(nn+2)mnoe. Dla n = 20 maszyna wykonujca 100 000mnoe na sekund potrzebowaaby3 108 lat. Zatem metoda Cramera jest numerycznie bezuyteczna.

2.2 Metody dokadne.

Zaczniemy od tzw. metod dokadnych, czyli takich, e po skoczonej liczbie kro-kw otrzymamy rozwizanie. Podstawow metod tego typu jest metoda eliminacjiGaussa. Przez odpowiednie przeksztacenia sprowadzimy macierz A do postaci trj-ktnej. Ukad taki bdzie ju mona w atwy sposb rozwiza.

Do metod dokadnych nale te metody oparte na faktoryzacji macierzy. W me-todach tego typu, dla danej macierzy nieosobliwej A szuka bdziemy macierzy B,Ctakich, e A = BC oraz macierze te dadz si atwo odwrci (ukady zwizane z nimibyy atwe do rozwizania). Jeeli znamy ju te macierze, to ukad (1) zastpujemydwoma ukadami{

By = b

Cx = y,(3)

ktre s atwe do rozwizania.

2.2.1 Metoda eliminacji Gaussa.

Rozwamy ukad (2)

a11x1 + a12x2 + . . .+ a1nxn = b1a21x1 + a22x2 + . . .+ a2nxn = b2. . .

an1x1 + an2x2 + . . .+ annxn = bn

i zamy, e a11 6= 0. Mnoymy pierwsze rwnanie przez ai1a11 (i = 2, 3, . . . , n) i odej-mujemy od i-tego rwnania, eliminujc w ten sposb x1 z i-tego rwnania. Dostajemy

8

wic rwnowany ukad

a11x1 + a12x2 + . . .+ a1nxn = b1(a22 a12

a21a11

) a

(1)

22

x2 + . . .+(a2n a1n

a21a11

) a

(1)

2n

xn = b2 b1a21a11

b(1)

2

a(1)

32x2 + . . .+ a(1)

3nxn = b(1)

3

. . .

a(1)

n2x2 + . . .+ a(1)nnxn = b

(1)n

Oba ukady s rwnowane, to znaczy maj to samo rozwizanie. Po odpowied-nich przeksztaceniach i przy odpowiednich zaoeniach otrzymamy ukad w postacitrjktnej

A R

Rysunek 2: Kolejne kroki

r11x1 + r12x2 + . . .+ r1nxn = c1r22x2 + . . .+ r2nxn = c2

. . .

rn1n1xn1 + rn1nxn = cn1rnnxn = cn

rwnowany ukadowi (2), ktry jest o wiele atwiejszy do rozwizania.Algorytm postpowania:

(i) Szukamy rk takiego, e

|a(k1)

rkk| = max{|a

(k1)

jk | : j k}.Element ten nazywamy elementem podstawowym.Zmianie

miejscaulega teprawastrona!

(ii) W macierzy (A(k1), b(k1)) przestawiamy miejscami wiersze k i rk, tak powstamacierz oznaczamy przez (A(k1), b(k1)).

(iii) Obliczamy

lik =a

(k1)

ik

a(k1)

kk

, i = k + 1, . . . , n

i od itego wiersza macierzy (A(k1), b(k1)) odejmujemy kty wiersz tej macie-rzy pomnoony przez lik. W ten sposb eliminujemy xk z wierszy k + 1, . . . , n.Tak otrzyman macierz oznaczamy przez (A(k), b(k)).

9

Kroki (i) - (iii) powtarzamy (n1) krotnie. Otrzymujemy macierz trjktn grn.Istnienieelementupodstawo-wego.

Ale skd wiadomo, e element podstawowy jest zawsze niezerowy, co umoliwianam dzielenie w kroku (iii)?

Zamy, e tak nie jest. Niech Sk = {a(k1)

jk | j = k, . . . , n} bdzie zbiorem tychelementw, spord ktrych wybierzemy element podstawowy w ktym kroku. Niechk0 oznacza ten krok, w ktrym wszystkie elementy zbioru Sk0 s zerami. MacierzA(k01) jest wwczas postaci

A(k01) =

(P Q

0 S(k0)

)

gdzie P ma zera pod diagonaln, a pierwsza kolumna macierzy S(k0) ma same zera.Zatem det S(k0) = 0. Ale macierz A jest nieosobliwa, zatem

0 6= detA = detA(k01) = (det S(k0))(detP) = 0,

co dowodzi istnienia niezerowego elementu podstawowego.Zatem, jeeli macierz A jest nieosobliwa, to metoda eliminacji Gaussa prowadzi do

rozwizania ukadu (1).Kto lepszy,Gauss czyCramer?

Naley jeszcze odpowiedzie na pytanie ile czasu nam to zajmie. W ktym krokuwykonujemy nk dziele w celu wyliczenia lik, oraz (nk)(nk+ 1) mnoe nkwierszy z ktrych kady ma n k+ 1 kolumn. Dla rwnania Rx = b wykonujemy

1+ 2+ . . .+ n =n(n+1)

2

mnoe i dziele. cznie, wszystkich operacji tego typu trzeba wykonaWielkieO. . . jugdzie byo. m

i=1

i2 =m(m+1)(2m+1)

6

M =

n1k=1

[(n k) + (n k)(n k + 1)] +n(n+1)

2

= 2

n1k=1

(n k) +

n1k=1

(n k)2 +n(n+1)

2=n

3(n2 + 3n 1)

= 2

n1k=1

k +

n1k=1

k2 +n(n+1)

2=n

3(n2 + 3n 1) = O(n3).

Zatem otrzymalimy algorytm znacznie efektywniejszy ni metoda Cramera.

2.2.2 Faktoryzacja LR.

Zauwamy, e w metodzie eliminacji Gaussa w ktej iteracji krok (ii) jest rwnowanymnoeniu lewostronnemu macierzy A(k1) przez macierz permutacji Pkrk (powstaej zmacierzy jednostkowej wymaru n przez zamian ze sob wierszy rk i k). Zatem

A(k1) = PrkkA(k1).

10

Krok (iii) polega na pomnoeniu lewostronnym macierzy A(k1) przez macierz Lk po-staci

Lk = [e1, . . . , ek1, lk, ek+1, . . . , en], lk = (0, . . . , 0, 1,lk+1k, . . . ,lnk)T,

Zatem

LkA(k1) = A(k),

. . .

Ln1Pn1,rn1Ln2Pn2,rn2 . . . L1P1r1A = R,

gdzie R jest macierz trjktn grn, a Lj macierzami trjktnymi dolnymi z jedynkna diagonali. Zanim przejdziemy do gwnego twierdzenia wprowadmy denicj ma-cierzy trjktnej oraz udowodnijmy kilka podstawowych wasnoci.

Denicja 2.2. Powiemy, e macierz kwadratowa A = (aij) jest trjktna dolna (grna),gdy aij = 0 dla i < j (i > j).

Lemat 2.3. Niech A,B bd macierzami kwadratowymi wymiaru n, A = (aij). Ww-czas

(i) Jeeli macierz A jest trjktna, to detA = a11 . . . ann.(ii) Jeli macierze A,B s trjktne dolne (grne), to AB jest macierz trjktn

doln (grn).

(iii) Jeli macierz A jest trjktna dolna (grna) i nieosobliwa, to A1 jest macierztrjktn doln (grn).

(iv) Jeeli macierze A,B s trjktne (obie dolne lub obie grne ) z jedynkami naprzektnej, to macierze AB oraz A1 s trjktne (odpowiednio dolne lub grne)z jedynkami na przektnej.

Dowd. Zamy, e A,B s macierzami trjktnymi dolnymi. Dla dowodu pierwszejwasnoci, niech Sn bdzie permutacj zbioru {1, . . . , n} rn od identycznoci.Wwczas istniej i, j {1, . . . , n} takie, e i > (i) oraz j < (j). Zatem dla kadejpermutacji nie bdcej identycznoci istnieje k taki, e ak(k) = 0. Mamy wic

detA =Sn

sgna1(1) . . . an(n) = a11 . . . ann.

Niech teraz C = AB. Zatem C = (cij), gdzie

cij =

ns=1

aisbsj.

Ustalmy i < j. Poniewa macierz B jest trjktna dolna, zatem bsj = 0 dla s < j. Wic

cij =

ns=j

aisbsj.

11

Ale A te jest macierz trjktn doln, wic ais = 0 dla i < s, co daje nam

ciji

Dowd. Na mocy metody eliminacji Gaussa mamy

() Ln1Pn1rn1Ln2Pn2rn2 . . . L1P1r1A = R,

gdzie macierze Pkrk i Lk s jak wczeniej. Poniewa PksPks = I wzr () moemyzapisa w postaci

Ln1Pn1rn1 . . . L1P1r1 P1r1P2r2 . . . Pn1rn1Pn1rn1 . . . P2j2P1r1 I

A = R.

Niech Z = Ln1Pn1rn1 . . . L1P2r2 . . . Pn1rn1 . Twierdzimy, e jest to macierz trj-ktna dolna z jedynkami na przektnej. W tym celu przyjrzyjmy si macierzy P2r2L1P2r2 .Wiemy, e

L1 = [l1, e2, . . . , en].

Mnoenie z prawej strony przez macierz permutacji P2r2 zamienia midzy sob kolumnyo numerach 2 i r2, zatem

L1P2r2 = [l1, er2 , . . . , e2, . . . , en].

Mnoenie z lewej strony przez macierz permutacji P2r2 zamienia midzy sob wierszeo numerach 2 i r2, zatem

P2r2L1 = [l1, e2, . . . , en],

gdzie l1 powsta z l1 przez zamian miedzy sob wyrazw o numerach 2 i r2 (pamitamy,e r2 2). Otrzymalimy wic macierz trjktn doln z jedynkami na przektnej).Oznaczmy t macierz jako L

(1)

1 . Mamy teraz

Z = Ln1Pn1rn1 . . . , P3r3L2L(1)

1 P3r3 . . . Pn1rn1 .

Iloczyn L2L(1)

1 jest oczywicie macierz trjktn doln z jedynkami na przektnej i jeston postaci

L2L(1)

1 = [x, l2, e3, . . . , e4], gdzie x zaley od l1, l2.

Powtarzajc rozumowanie otrzymujemy, e Z jest macierz trjktn doln z jedynkamina przektnej.

Zatem wzr () mona zapisa w postaci

ZPA = R,

gdzie P = Pn1rn1 . . . P2r2P1r1 jest macierz permutacji. Moemy teraz zdeniowaL = Z1 (na mocy poprzedniego lematu jest macierz trjktn doln z jedynkami nadiagonali), co z poczeniem z ostatni rwnoci daje nam tez

PA = Z1R = LR.

Jeli nie potrzeba dokonywa wyboru elementu podstawowego, to

k Pkjk = I,zatem

A = LR.

13

Zastanwmy si, kiedy nie trzeba wybiera elementu podstawowego. Niech A ozna-cza zbir tych macierzy, e w metodzie eliminacji Gaussa nie trzeba wybiera elementupodstawowego. Na podstawie twierdzenia o faktoryzacji moemy sformuowa wniosek.

Wniosek 2.5. Jeli A A, to istniej macierze macierz L trjktna dolna, orazmacierz R trjktna grna takie, e A = LR.

Wykaemy teraz jeden z warunkw wystarczajcych na to, aby dana macierz nale-aa do A.Twierdzenie 2.6. Jeli macierz A jest samosprzona i dodatnio okrelona to A A.A=A>0Dowd. Skoro A jest samosprzona to liczby znajdujce si na diagonali s rzeczywi-ste, moemy wic napisa, e

A =

( a

a A1

),

gdzie R, a Cn1 oraz A1 = A1 jest macierz kwadratow wymiaru n 1.Wykaemy, e > 0.

Macierz A jest dodatnio okrelona, wic x : xAx 0, oraz xAx = 0 x = 0(1).Ustalmy wic

x =

(

y

) Cn, y Cn1, x 6= 0.

Wwczas

xAx = ( y)( a

a A1

)(

y

)= ( y)

(+ aya+A1y

)= + ay + ya+ yA1y.

Zatem > 0, bo jeli y = 0 (wic 6= 0), toxAx = ||2 > 0 > 0.

Moemy zatem napisa, e

xAx = (||2 + 1

ay + 1

ya+ 1

2|ya|2

)+ yA1y 1 y

aay |ya|2=yaya

= (+ 1

ya

)( + 1

ay

)+ y

(A1

1aa

)y.

Z dodatniej okrelonoci macierzy A mamy, e macierz A1 1aa te jest macierz

dodatnio okrelon. Jest tak, bo jeli istnieje takie y0 6= 0, e y0(A1 1aa)y0 0,to dobieramy do niego 0 takie, aby 0 +

1y0

a = 0 i dla

x0 =

(0y0

)1Gdy A jest macierz rzeczywist, to A = AT i warunek na dodatni okrelono ma posta

x 6= 0 xTAx > 0.

14

mamy sprzeczno z dodatni okrelonoci macierzy A.W takim razie moemy wyeliminowa pierwsz kolumn(

1 0

l I

)( a

a A1

)=

( a

l+ a A1 + la

),

l+ a = 0 l = 1a la +A1 = 1aa +A1,(

1 0

l I

)( a

a A1

)=

( a

0 A1 1aa

).

Skoro A1 1aa jest dodatnio okrelona, wic moemy powtrzy procedur. Zatem

A A.Wyznaczmy macierze L i R. Niech A = (aij), L = (lij), R = (rij). Skoro A = LR, to

aij =

nk=1

likrkj.

Wiemy te, e

lik = 0, dla i < k.

rkj = 0, dla k > j,

wic

aij =

min(i,j)k=1

likrkj.

Macierz L ma jedynki na diagonali, zatem

a1j =

min(1,j)k=1

l1krkj = l11r1j r1j = a1j, j = 1, . . . , n.Podobnie

ai1 = li1r11 li1 = ai1r11

, i = 1, . . . , n.

Znamy wic wzory na pierwszy wiersz macierzy R i pierwsz kolumn macierzy L. Wpodobny sposb wyznaczymy kolejne wyrazy. Oglnie, znajc rj i lj, j = 1, . . . , k 1mamy

akj =

ks=1

lksrsj =

k1s=1

lksrsj + lkkrkj rk = ak k1s=1

lksrs.

aik =

ks=1

lisrsk =

k1s=1

lisrsj + likrkk lk = 1rkk(ak k1s=1

lsrsk).

Zajmijmy si teraz twierdzeniem, ktre mona potraktowa jako wniosek z twier-dzenia o faktoryzacji.

15

Twierdzenie 2.7. (wniosek z twierdzenia o faktoryzacji2 )Zamy, e A jest samosprzon macierz rzeczywist dodatnio okrelon. Wwczasistnieje macierz trjktna dolna K taka, e A = KKT.

Dowd. Niech A A, zatem istniej macierze L trjktna dolna i R trjktna grnatakie, e A = LR. Zatem AT = RTLT. A jest samosprzona, wic

LR = RTLT,

LR(LT)1 = RT,

R(LT)1 = L1RT.

Poniewa macierze R i (LT)1 s trjktne grne, a macierze L1 i RT s trjktne dolne,wic z ostatniej rwnoci iloczyny te musz by macierzami diagonalnymi. Niech wicD2 = L1RT. Pokaemy, e jest to macierz dodatnio okrelona. W tym celu ustalmydowolony x 6= 0, mamy

xTD2x = xTR(LT)1x.

Poniewa dla dowolnego x istnieje y taki, e x = LTy, wic

xTD2x = yTLRy = yTAy > 0,

boA jest dodatnio okrelona. WicD2 = diag(d21, . . . , d2n). NiechD = diag(d1, . . . , dn),

wwczas

R(LT)1 = D2 R = D2LT A=LR A = LDDLT = LD(LD)T.Za macierz K wystarczy wic przyj LD.

Sprbujmy teraz wyprowadzi efektywny wzr na wyrazy macierzy K. Niech

A = (aij), K = (kij), KT = (kij).

A = KKT aij = is=1

kis ksj =is=1

kiskjs.

Kolejne wyrazy macierzy K wyznacza bdziemy kolumnami

a11 = k112 k11 = a11.

a1j = k11kj1 kj1 = 1k11a1j, j = 1, . . . , n.Mamy ju pierwsz kolumn macierzy K, zanim zapiszemy wzr dla dowolnej kolumny,sprawdmy jak to wyglda dla drugiej kolumny. Znamy ju k21, moemy wic wyzna-czy

a22 = k21k21 + k22k22 k22 = a22 k212 = a22 a122a11 ,a dziki temu

a2j = k21kj1 + k22kj2 kj2 = 1k22 (a2j k21kj1), j = 1, . . . , n.2Posta Choleskiego macierzy symetrycznej dodatnio okrelonej.

16

Oglnie, gdy znamy kolumny 1, . . . , i 1 macierzy K, to

aii =

is=1

k2is kii = aii ki12 . . . kii12,aij =

i1s=1

kiskjs + kiikji kji = 1kii(aij i1s=1

kiskjs

).

2.2.3 Faktoryzacja QR

Zajmijmy si teraz innym rozkadem macierzy, tym razem na macierz ortogonaln(Q) i macierz trjktn grn (R). Rozkad ten ma zastosowanie przy wyznaczaniuwartoci wasnych. Zanim si nim zajmiemy udowodnijmy

Twierdzenie 2.8. (O ortogonalizacji.)Dana niech bdzie przestrze unitarna (X, (|)) oraz cig {fn}nN X wektorw liniowoniezalenych 3. Wwczas istnieje cig {gn}nN X taki, e(i) (gi|gj) = 0 dla i 6= j;(ii) k N : span{f1, . . . , fk} 4 = span{g1, . . . , gk}.Zatem nasz

cig te jestliniowo nie-zaleny.

Dowd. Zdeniujmy cig {gn}nN wzorem

g1 = f1

gk = fkk1s=1

rskgs, k 2 ,(5)

gdzie rij (i < j) s pewnymi staymi, ktre wyznaczymy tak, aby cig {gn}n speniatez twierdzenia. Ustalmy wic k i zamy, e znamy g1, . . . , gk1 (k > 1). Wwczasdla dowolnego i < k:

(gi|gk) =(gifk k1

s=1

rskgs)

= (gi|fk)

k1s=1

rsk(gi|gs) = (gi|fk) rikgi2.

Skoro cig {gn}n (a tym samym g1, . . . , gk) ma spenia (i), to dla i < k zachodzimusi rwno

0 = (gi|gk) = (gi|fk) rikgi2.Wic

rik =(gi|fk)

gi2 , i < k.

Naley jeszcze sprawdzi, czy gi 6= 0 dla i < k. Zajmiemy si tym pniej. Pokamynajpierw, e cig (5) jest liniowo niezaleny i spenia (ii). Ustalmy k > 0 i niechf span{f1, . . . , fk}, wic

f =

ks=1

sfs.

3Tzn. k N : f1, . . . , fk s liniowo niezalene.4span{f1, . . . , fk} = {x X| x = 1f1 + . . .+ kfk, j R}

17

Z konstrukcji cigu {gn}n wiemy, e dla dowolnego i fi span{g1, . . . , gi}, czyli

fi =

it=1

tgt.

Zatem

f =1sk

s1ts

tgt =s,t

stgt[1 t s k]

=s,t

stgt[1 t k][t s k] =1tk

(( tsk

s

)t

)gt span{g1, . . . , gk}.

Zatem span{f1, . . . , fk} span{g1, . . . , gk} dla dowolnego k. Zawieranie w drug stronwykazuje si podobnie (korzysta si z tego, e z konstrukcji cigu {gn}n wynika, egi span{f1, . . . , fi} dla dowolnego i).

Pozostaje zatem wykaza, e gk 6= 0 dla dowolnego k. Skoro cig {fn}n jest liniowoniezaleny, to f1 6= 0, a tym samym g1 6= 0. Pokamy, e g1, . . . , gk1 6= 0 gk 6= 0.Dla dowodu nie wprost przypumy, e gk = 0. Wwczas

fk =

k1s=1

rskgs,

std

fk span{g1, . . . , gk1} = span{f1, . . . , fk1},

czyli f1, . . . , fk s liniowo zalene sprzeczno z zaoeniem. Tak wic gk 6= 0.Przejdmy teraz do gwnego twierdzenia tego tematu.

Twierdzenie 2.9. (Faktoryzacja QR)Niech A Rnn bdzie macierz nieosobliw, A = (aij). Wwczas istniej macierzeQ = (qij) ortogonalna

5 i macierz R = (rij) trjktna grna takie, e

A = QR.

Dowd. Niech

A = [a1, . . . , an], gdzie aj Rn jest j-t kolumn macierzyA.

Macierz A jest nieosobliwa, zatem wektory a1, . . . , an s liniowo niezalene. Na mocytwierdzenia o ortogonalizacji cig wektorw

q1 = a1

qk = akk1s=1

rskqs, k = 2, . . . , n,(6)

5Macierz Q jest ortogonalna wtedy i tylko wtedy, gdy QTQ jest macierz diagonaln.

18

jest liniowo niezaleny i

(qi|qj) = 0, i 6= j.(7)

Przyjmijmy

rii = 1, i = 1, . . . , n

rij = rij, i < j,

rij = 0, i > j,

Q = [q1, . . . , qn].

Macierz Q jest oczywicie ortogonalna, a R jest trjktna grna. Wystarczy wykaza,e A = QR. Niech (aij) = A = QR, wic Z denicji (6) wektorw qk mamy

aij =

ns=1

qisrsj =

js=1

qisrsj =

j1s=1

qisrsj + qijrjj =

j1s=1

qisrsj + qij(6)= aij,

zatem A = A, co koczy dowd.

Dziki temu rozkadowi ukad (1) mona sprowadzi do ukadu ktry atwo rozwi-za:

QRx = b,

QTQRx = QTb,

DRx = QTb,

gdzie DR jest macierz trjktn grn.

2.3 Metody przyblione (interacyjne).

2.3.1 Macierze. Normy macierzowe.

Zacznijmy od przypomnienia podstawowych wiadomoci dotyczcych norm wRn (wek-torowych). Tak wic odwzorowanie : Rn [0,) jest norm, gdy(i) x = 0 x = 0;(ii) x Rn R : x = || x;(iii) x, y Rn : x+ y x+ y.Norma jest ciga ze wzgldu na warunek trjkta.

Najczciej bdziemy zajmowa si normami postaci

xp = (ki=1

|xi|p)

1p , p 1,

19

z czego najwaniejsze s

x1 =nj=1

|xj|,

x2 = (nj=1

|xj|2)1/2 =

(x|x), (x|y) = xy,

x = max {|xi| : i = 1, . . . , n}.

Rysunek 3: Kule w normach 1, 2, Uwaga 2.10. Wszystkie normy w Rn s rwnowane, tzn.

, , > 0 x Rn : x x x .Jest to rwnowane temu, e

ak k a w al l a w ,

lub, e odwzorowanie

id : (Rn, ) (Rn, )jest cige i odwrotne do niego te jest cige.

Przejdmy teraz do normy operatora. Niech A = (aij) Knn bdzie macierzrzeczywist (zespolon) i niech bdzie dowoln norm wektorow w Kn.Denicja 2.11. Norm6 macierzy A zgodn z norm wektorow nazywamy

A = max{Axx : x 6= 0

}.(8)

6Denicj t naturalnie mona uoglni dla macierzy dowolnych wymiarw. Gdy A jest macierz

nm, wwczas

A = max{Axx : x 6= 0

},

gdzie jest norm zarwno w Rn jak i w Rm.

20

Uwaga 2.12. Norm macierzy moemy zapisa jako

A = max {Ax : x = 1}.Wzr (8) okrela norm w Knn. Oczywicie A 0.A = 0 max {Ax : x = 1} = 0 x : Ax = 0 A = 0;Axx =

|| Axx A = || A;

(A+ B)xx =

Ax+ Bxx

Axx +

Bxx A+ B A+ B.

Ponadto norma operatorowa spenia dwa bardzo wane dla metod numerycznych wa-runki

Ax A x,(9)AB A B.(10)

Warunek (9) wynika z

Axx max

{Axx : x 6= 0

}= A,

natomiast warunek (10) z

ABxx =

A(Bx)x

(9)

ABxx .

Przykad 2.13. Przykad normy w Rn2

ktra nie spenia warunku (10)

|A| = max {|aij| : i = 1, . . . , n, j = 1, . . . , n}.

Wystarczy wzi

A = B =

(1 1

1 1

),

wwczas

AB =

(2 2

2 2

),

|AB| = 2, |A| = |B| = 1.

Denicja 2.14. Niech A = (aij) Kmn bdzie macierz. Liczb zespolon nazy-wamy wartoci wasn jeli istnieje wektor x 6= 0 taki, e

Ax = x.

Jeli tak jest, to x nazywamy wektorem wasnym macierzy A skojarzonym z wartociwasn .

Zbir wszystkich wartoci wasnych macierzy A nazywamy widmem (spektrum) ioznaczamy przez (A).

21

Przez max(A) rozumie bdziemy najwiksz warto wasn macierzy A.

Lemat 2.15. Dla dowolnej macierzy A macierz AA jest symetryczna i pdodatniookrelona. Ponadto max(A

A) 0.Twierdzenie 2.16. Niech A = (aij) bdzie nwymiarow macierz rzeczywist (ze-spolon), wwczas

A = max { nj=1

|aij| : i = 1, . . . , n},

A1 = max{ ni=1

|aij| : j = 1, . . . , n},

A2 =max(ATA).

Dowd. NiechA = (aij) bdzie macierz kwadratow (wymiaru n) i niech x = (x1, . . . , xn)T.

Wwczasa11 . . . a1n... . . . ...an1 . . . ann

x1...xn

=

a11x1 + a12x2 + . . .+ a1nxn...an1x1 + an2x2 + . . .+ annxn

Zajmijmy si najpierw A. Poniewa dla i = 1, . . . , n nj=1

aijxj n

j=1

|aij| |xj| xnj=1

|aij|,

wic

Ax x max { nj=1

|aij| : i = 1, . . . , n},

A max{ nj=1

|aij| : i = 1, . . . , n}.

Aby wykaza, e zachodzi nierwno wystarczy wskaza takie x, aby za-chodzia rwno. Niech zatem k = argmax{

nj=1

|aij| : i = 1, . . . , n} i niech y =

(y1, . . . , yn)T, gdzie

yj =

{1, akj 0

1, akj < 0.

Wwczas y = 1, akjyj = |akj| oraz nj=1

akjyj = n

j=1

akjyj =

nj=1

|akj| = max{ nj=1

|aij| : i = 1, . . . , n}

Ayy = max

{ nj=1

|aij| : i = 1, . . . , n} A max{ n

j=1

|aij| : i = 1, . . . , n}.

22

Przejdmy teraz do A1. Niech b = max {ni=1

|aij| : j = 1, . . . , n}. Zatem

Ax1 =ni=1

nj=1

aijxj n

i=1

nj=1

|aij| |xj| =nj=1

|xj|

ni=1

|aij| bnj=1

|xj| = bx1,

x 6= 0 : Ax1x1 b A1 b.Wemy k = argmax{

ni=1

|aij| : j = 1, . . . , n} i ek = (ik)T, i = 1, . . . , n. Oczywicie

ek1 = 1 i

Aek1 =ni=1

|aik| = b A1 b,co dowodzi rwnoci A1 = max {

ni=1

|aij| : j = 1, . . . , n}.

Na koniec chcemy wykaza, e A2 =max(ATA). Na mocy ostatniego lematu

wzr ma sens. Z denicji mamy

Ax2 = ((Ax)T(Ax))1/2 =xT(ATA)x.

Macierz ATA jest symetryczna i pdodatnio okrelona, zatem z algebry liniowej mamy,e

x22minATA xT(ATA)x x22max(ATA),

zatem

Ax2x2 =

xT(ATA)x

x2 max(ATA).

Aby wykaza nierwno w drug stron wemy v wektor wasny macierzy ATA sko-jarzony z wartoci wasn max. Wwczas

Av2v2 =

vT(ATA)v

v2 =max(ATA)

vTv

v2 =v2

max(ATA)

v2 =max(ATA),

a zatem A2 max(ATA) co koczy dowd.

Wniosek 2.17. Jeeli A = AT > 0, to A2 = max(A).Dowd.

A2 =max(ATA) =

max(A2) =

2max(A) = max(A).

23

Zajmiemy si teraz wspczynnikiem uwarunkowania zadania rozwizania ukadurwna postaci

Ax = b,

gdzie A jest macierz nieosobliw. Niech zatem b = Ax, gdzie x przyblia x. Wwczas

Ax = A(x x) = AxAx = b b = b,

x = A1b,

b = Ax A x x bA ,xx =

A1bx

A1 bx A A

1bb .

Warto A A1 nazywamy wskanikiem uwarunkowania zadania rozwizywaniaukadu rwna liniowych i oznaczamy przez cond(A).

Jeeli A1 = (ij), to ij =jidetA

, gdzie ji = (1)i+jdetAji (Aji jest to macierz

ktra powstaa przez usunicie z macierzy A jtego wiersza i itej kolumny). Widawic, e jeli detA 0, to pewne ij s due, a zatem cond(A) jest due (bo A1jest due).

Denicja 2.18. Wielomianem charakterystycznym macierzy A nazywamy

A() = det (A I).

det(A I) =

a11 a12 a13 . . . a1na21 a22 a23 . . . a2n...

......

. . ....

an1 an2 an3 . . . ann

=

(a11 ) . . . (ann ) + reszta = ()n+ ()n1 tr{A} + . . .+ detA+ reszta,

a zatem wida, e A jest wielomianem stopnia n. Wykazalimy wic

Twierdzenie 2.19. Macierz A Cnn ma n wartoci wasnych (liczc z krotno-ciami).

Dowd. Denicja wielomianu charakterystycznego + zasadnicze twierdzenie algebry.

Denicja 2.20. Macierze A i B s podobne (A B) jeli istnieje nieosobliwa macierzP taka, e

A = PBP1.

Lemat 2.21. Relacja podobiestwa jest rwnowanoci. Co wicej, jeli macierze Ai B s podobne, to ich wielomiany charakterystyczne A() i B() s sobie rwne.

24

Dowd.

A() = det(A I) = det(PBP1 I) = det(P(B I)P1)

= detP B() det(P1) = B().

Wniosek 2.22. Macierze podobne maj te same wartoci wasne liczc z krotnociami.

Twierdzenie 2.23. (posta kanoniczna Jordana macierzy A.)Niech A bdzie macierz kwadratow wymiaru n i niech A() bdzie jej wielomianemcharakterystycznym, tzn.

A() = ( 1)n1 . . . ( k)nk ,

ki=1

ni = n, i 6= j, i 6= j.

Wtedy A jest podobna do macierzy J postaci

J1 . . . 0... . . . ...0 . . . Jk

, Js =

s 0 . . . 0...

. . ....

0 . . . 0 s

0 . . . 0 0 s

, {0, 1}.

Ponadto, jeli zs jest liczb zer nad przektn macierzy Js (zs ns 1), to zs + 1jest liczb wektorw wasnych liniowo niezalenych, skojarzonych z s, np.:

0 00 00 0

1 00 00 0

1 00 10 0

3 wektory 2 wektory 1 wektor

W metodach numeryczny na og nie interesuj nas dokadne wartoci wartociwasnych, czsto wystarczy wiedzie przez co s szacowane. Mwi o tym nastpujcetwierdzenie

Twierdzenie 2.24. Jeli A jest rzeczywist (zespolon) macierz kwadratow wymiarun, to

|i(A)| A, i = 1, . . . , n,

gdzie jest dowoln norm macierzow zgodn z norm wektorow.Dowd. Niech i bdzie wartoci wasn macierzy A i niech vi bdzie wektorem wa-snym odpowiadajcym i, zatemOstatnia

nierw-no zezgodnoci. |i| vi = ivi = Avi A vi.

Dzielc obustronnie nierwno przez vi otrzymujemy tez.

25

Denicja 2.25. Niech A bdzie macierz kwadratow wymiaru n. Promieniem spek-tralnym nazywamy

(A) = max {|i(A)| : i = 1, . . . , n}.

Poprzednie twierdzenie pokazuje, e dla dowolnej normy macierzowej zgodnejz norm wektorow mamy

(A) A.Twierdzenie 2.26. (o wydobywaniu normy.)Dana niech bdzie macierz A Rnn. Wtedy dla dowolnego > 0 istnieje norma wektorowa taka, e

A (A) + .Dowd. Pokaemy najpierw, e jeli R jest macierz nieosobliw i dowoln normw Rn, to

x = Rx jest norm w Rn.(11)Oczywicie x : x 0. Poniewa macierz R jest nieosobliwa zachodzi te x =

0 x = 0. Jednorodno i nierwno trjkta zachodz, bo jest normx = Rx = || Rx = || x ,x+ y = R(x+ y) = Rx+ Ry Rx+ Ry = x + y .

Teraz, majc (11) wyprowadzimy wzr na szukan norm.

Ax x =

RAxRx =

RAR1yy , y = Rx

A = max{Ax x : x 6= 0

}= max

{RAR1y

y | y 6= 0}

= RAR1,zatem szukan norm deniujemy jako

A = RAR1, x = Rx.(12)Dziki twierdzeniu o postaci kanonicznej Jordana istnieje macierz przejcia P taka, eA = PJP1, gdzie J = (ij). Ustalmy > 0 i niech D = diag(

0, . . . , n1). Skoro

D1JD = J^ = (^ij), ^ij = iji+j,

to macierz J^ nad przektn ma 0 lub .

J = DJ^D1,

A = PJP1 = PDJ^D1P1 = PDJ^(PD)1,

wic przyjmujc R = (PD)1 mamy, e A = R1^JR. Niech x = Rx. Na mocy(11) i (12)

A = RAR1 = RR1^JRR1 = J^ max {|i| : i = 1, . . . , n} + = (A) + ,

co naleao wykaza.

26

Twierdzenie 2.27. Niech A bdzie rzeczywist (zespolon) macierz kwadratow wy-miaru n. Wwczas

limkAk = 0 (A) < 1.

Dowd. Zamy, e istnieje warto wasna macierzy A taka, e || 1. Niech vbdzie wektorem wasnym odpowiadajcym wartoci . Zatem

Av = v,

A2v = A Av = Av = Av = 2v.Zatem indukcyjnie mona wykaza, e

Akv = kv.

Wic

kv = Akv Ak v,kv = ||kv v,v Ak v,1 Ak

k 0,sprzeczno.

Zamy teraz, e (A) < 1. Niech > 0 bdzie taki, e q = (A) + < 1. Namocy twierdzenia o wydobywaniu normy, dla tak dobranego , istnieje normawektorowa w Rn taka, e A q. Na mocy submultiplikatywnoci normy wiemy, eAk Ak. Zatem

0 Ak Ak ((A) + )k.Z twierdzenia o trzech cigach lim

k Ak = 0, a wic limkAk = 0, co koczy dowd.Wniosek 2.28. Jeeli (A) < 1, to szereg von Naumanna

k=0

Ak jest zbieny i jego

suma wynosi

k=0

Ak = (IA)1.

Dowd. Niech Sn =nk=0

Ak, wwczasRedukcjawyrazw

Sn(IA) = Sn SnA =

nk=0

Ak

nk=0

Ak+1 = I An+1.

Skoro (A) < 1, to i(I A) > 0, wic I A jest macierz odwracaln. Na mocypoprzedniego twierdzenia

k=0

Ak = limn Sn = limn(IAn+1)(IA)1 = (IA)1.

27

Wniosek 2.29. Szeregk=0

akAk jest zbieny, jeli (A) < r, gdzie r jest promieniem

zbienoci szeregu potgowego f(z) =k=0

akzk.

Dowd. Podobnie jak poprzednio, niech Sn =nk=0

akAk. Na mocy twierdzenia o wydo-

bywaniu normy (tw. 2.26) znajdziemy > 0 oraz norm takie, eA (A) + < r.

Wtedy, dla q = (A) + , otrzymujemy

Sn nk=0

|ak| Ak nk=0

|ak|qk.

Wick=0

qk jest majorant szereguk=0

Ak, a zatem dostajemy zbieno dla (A) j6=i

|aij|, i = 1, . . . , n (mocne kryterium sumy wierszy);

7Ze wzgldu na nieosobliwo macierzy A, po odpowiednich permutacjach zawsze mona uzyska

taki efekt.

30

(ii) |ajj| >i6=j

|aij|, j = 1, . . . , n (mocne kryterium sumy kolumn),

to metody Gaussa-Seidla i Jacobiego s zbiene (w szczeglnoci macierz A jest nie-osobliwa).

Dowd. Zacznijmy od pokazania, e mocne kryterium sumy wierszy (kolumn) pocigaza sob nieosobliwo macierzy A (z czego skorzystamy pokazujc zbieno metodyGaussa-Seidla). Dla dowodu nie wprost zamy, e zachodzi warunek (i) i A jestosobliwa. Zatem istnieje x 6= 0 taki, e Ax = 0. Zamy, e |xk| = x , wwczas

nj=1

akjxj = 0,

akkxk = j6=k

akjxj,

|akk| |xk| j6=k

|akj| |xj|,

|akk| j6=k

|akj||xj |

|xk |j6=k

|akj|,

sprzeczno. Jeli A spenia (ii), to AT spenia (i) i rwnie dochodzimy do sprzecz-noci, zatem macierz A jest nieosobliwa.

Pokamy teraz zbieno metody Jacobiego. Niech BJ = D1(L + U), zatem

bij = aijaii

dla i 6= j, oraz bii = 0. Na mocy twierdzenia 2.33 wystarczy wykaza, edla pewnej normy macierzowej zgodnej z norm wektorow zachodzi BJ < 1.Jeeli zachodzi (i), to

nj=1

|bij| =j6=i

|aij |

|aii |< 1, i = 1, . . . , n BJ < 1.

Jeli natomiast zachodzi (ii), to

ni=1

|bij| =i6=j

|aij |

|ajj |< 1, j = 1, . . . , n BJ1 < 1.

Przejdmy teraz do metody Gaussa-Seidla. Niech BGS = (D + L)1U, chcemy

pokaza, e (BGS) < 1, co na mocy twierdzenia 2.34 zakoczy dowd. Przypumy, eistnieje warto wasna macierzy BGS taka, e || 1. Zatem macierz BGS I jestosobliwa. Wic osobliwa jest te (D + L)1U I = (D + L)1((D + L) + 1

U).

Wiemy, e D+ L jest nieosobliwa, wic osobliwa musi by macierz (D+ L) + 1U. Ale

dziki (i) mamy

|aii| >ji

|aij| ji

|aij|, i = 1, . . . , n,

co oznacza, e macierz (D+L)+ 1U spenia mocne kryterium sumy wierszy. Zatem na

mocy tego co pokazalimy na pocztku dowodu, (D+L)+ 1U jest macierz nieosobliw

sprzeczno.

31

Denicja 2.36. Macierz A = (aij) nazywamy nieredukowaln, jeli nie istnieje ma-cierz permutacji P taka, e

PAP1 =

(B11 B120 B22

).

Wida wic, e macierz A jest nieredukowalna, jeli nie istnieje zbir J {1, . . . , n}taki, e

i J j 6 J : aij = 0.Redukowalno macierzy A jest rwnowana temu, e ukad Ax = b jest rwno-

wany ukadowi{B11y1 + B12y2 = c1

B22y2 = c2.

Okazuje si, e nieredukowalno macierzy A jest silnie zwizana z grafem z niskojarzonym, wprowadmy wic kilka poj dotyczcych grafw.

Grafem (zorientowanym, skierowanym) G nazywamy par (P, V), gdzie P ={P1, . . . , Pn} jest zbiorem skoczonym, a V dwuargumentow relacj w P. Zbir Pnazywamy zbiorem wierzchokw, a V P P zbiorem krawdzi.

Drog dugoci k z wierzchoka u do wierzchoka u w grae G = (P, V) jest cigwierzchokw < P0, P1, . . . , Pk > takich, e P0 = u, Pk = u

i dla i = 1, . . . , k krawdPi1Pi V.

Graf jest cyklicznie spjny jeli dla dowolnych wierzchokw Pi, Pj istnieje drogaz wierzchoka Pi do wierzchoka Pj.

Niech A = (aij) bdzie macierz kwadratow nn. Grafem skojarzonym z macierzA nazywamy graf zorientowany G(A) = (P, V) taki, e P jest zbiorem n-elementowymoraz dla dowolnych i, j {1, . . . , n} : aij 6= 0 PiPj V.

Moemy ju zapisa interesujc nas zaleno.

Twierdzenie 2.37. Macierz A = (aij) jest nieredukowalna wtedy i tylko wtedy, gdygraf G(A) jest cyklicznie spjny.

Dowd. MacierzA jest redukowalna wtedy i tylko wtedy, gdy istnieje zbir J {1, . . . , n}taki, e aij = 0 dla i J, j 6 J. To jest za rwnowane temu, e nie istnieje droga odPk do Pj dla k J, j 6 J.

Nastpny przykad jest klasycznym przykadem macierzy nieredukowalnej. Wyka-zuje si to stosujc poprzednie twierdzenie.

Przykad 2.38. Niech

A =

2 1 0 0 . . . 0

1 2 1 0 . . . 0

0 1 2 1 . . . 0. . .

0 . . . 0 1 2 1

0 . . . 0 0 1 2

Rysunek 4 przedstawia graf skojarzony z t macierz (dla n = 5).

32

P1 P2

P5 P3

P4

Rysunek 4: Graf cyklicznie spjny

Twierdzenie 2.39. Zamy, e macierz A = (aij)ni,j=1 jest nieredukowalna i spenia

jeden z warunkw

(iii) |aii| j6=i

|aij|, i = 1, . . . , n oraz istnieje i0 takie, e mamy ostr nierwno

(sabe kryterium sumy wierszy);

(iv) |ajj| i6=j

|aij|, j = 1, . . . , n oraz istnieje j0 takie, e mamy ostr nierwno

(sabe kryterium sumy kolumn).

Wtedy metody Gaussa-Seidla i Jacobiego s zbiene (w szczeglnoci macierz A jestnieosobliwa).

Dowd. Pokaemy najpierw, e sabe kryterium sumy wierszy pociga nieosobliwomacierzy (analogicznie dla sabego kryterium sumy kolumn).

Zamy wic, e A spenia sabe kryterium sumy wierszy. Istnieje wic i0 taki, e

|ai0i0 | >j6=i0

|ai0j|.

Zamy, e istnieje x 6= 0 taki, e Ax = 0. NiechJ = {k : |xk| |xi|, i = 1, . . . , n, oraz |xk| > |xj| dla pewnego j}.

Twierdzimy, e J 6= . Zamy, e J jest zbiorem pustym, wic i, k |xk| = |xi|, zatemx = |xi|, i = 1, . . . , n. Mamy wic

nj=1

ai0jxj = 0,

ai0i0xi0 = j6=i0

ai0jxj,

|ai0i0 | x xj6=i0

|ai0j|,

|ai0i0 | j6=i0

|ai0j|,

33

co jest sprzeczne ze sabym kryterium sumy wierszy. Niech wic k J, wwczas

akkxk = j6=k

akjxj,

|akk| j6=k

|akj||xj |

|xk |.

Z denicji zbioru J wida, e |xk| > |xj| wtedy i tylko wtedy, gdy j 6 J. Zatem, skoro Aspenia (iii), to w ostatniej nierwnoci zachodzi musi rwno, wic speniony musiby warunek

k J, j 6 J : akj = 0,co jest sprzeczne z nieredukowalnoci macierzy A.

Jeeli macierz A spenia (iv), to AT spenia (iii). Wic A jest nieosobliwa (bo AT

jest nieosobliwa).Wykamy teraz, e metoda Jacobiego jest zbiena, a wic e dla macierzy BJ =

D1(L+U) mamy (BJ) < 1. Dla dowodu nie wprost zamy, e (BJ) 1. Istniejewic warto wasna || 1. Zatem macierz BJ I (a tym samym I BJ) jestosobliwa. Skoro

I BJ = I+D1(L+U) = D1

(D+ 1

(L+U)

),

oraz macierz D1 jest nieosobliwa, to macierz D+ 1(L+U) jest macirz osobliw. Na

mocy zaoenia A = D+ L+U jest nieredukowalna, a wic macierz D+ 1(L+U) te

jest nieredukowalna. Z drugiej strony, skoro

1|| 1,

to jeli A spenia (iii) (ewentualnie (iv)), to D + 1(L + U) te, jest wic (na mocy

pierwszej czci dowodu) nieosobliwa.Pozostao wykaza, e metoda Gaussa-Seidla jest zbiena. Niech wic bdzie

wartoci wasn macierzy BGS tak, e || 1. Zatem macierz I 1BGS jest macierzosobliw (bo I BGS jest osobliwa). Poniewa

I 1BGS = I+

1(D+ L)1U = (D+ L)1(D+ L+ 1

U)

i (D + L)1 jest nieosobliwa, zatem D + L + 1U jest macierz osobliw. Jest ona

nieredukowalna i spenia sabe kryterium sumy wierszy (kolumn), a wic podobnie jakwczeniej jest nieosobliwa sprzeczno. Zatem metoda Gaussa-Seidla jest zbiena.

2.3.5 Metoda kolejnych nadrelaksacji (SOR - succesive overrelaxation).

Zapoznamy si teraz z kolejn metod rozwizywania ukadu (13). Niech

x(k) =

x

(k)

1...

x(k)n

34

bdzie kolejnym przyblieniem danym wzorem

x(k+1)

i = x(k)

i +(x(k+1)

i x(k)

i ),(21)

gdzie x(k+1)

i jest i-t wsprzdn k + 1 iteracji (wektora xk+1) otrzyman metod

Gaussa-Seidla, jest parametrem liczbowym. Wida, e jeli = 1, to x(k+1)

i = x(k+1)

i .Zatem

aiix(k+1)

i = aiix(k)

i +(

ji

aijx(k)

j + bi aiix(k)

i

)

= (1)aiix(k)

i +(

ji

aijx(k)

j + bi),

(D+L)x(k+1) = ((1)DU)x(k) +b,

x(k+1) = (D+L)1((1)DU)x(k) + (D+L)1b,

zatem

x(k+1) = B()x(k) + C,(22)

gdzie

B() = (D+L)1((1)DU), C = (D+L)1b.

Zastanwmy si, jak dobra tak, aby metoda ta bya zbiena, a wic eby(B()) < 1? Czciow odpowied daje nam

Twierdzenie 2.40. (Kahan)Dla dowolnej macierzy A Cnn zachodzi nierwno

(B()) |1|.

Dowd. Niech () bdzie wielomianem charakterystycznym macierzy B(). Ww-czas, z denicji 2.25 promienia spektralnego

|1 . . . n| ((B()))n.

Ale z drugiej strony mamy

(1)n1 . . . n = (0) = detB(),|1 . . . n| = | det(B())| = | det(D+L)1((1)DU)|

= 1a11...ann

(1)na11 . . . ann = |1|n,

co koczy dowd.

Twierdzenie to daje nam natychmiastowo nastpujcy wniosek

Wniosek 2.41. Jeeli metoda SOR jest zbiena, to (0, 2).

35

Dowd. Z zaoenia i poprzedniego twierdzenia mamy

1 > (B()) |1|,zatem (0, 2).Twierdzenie 2.42. (Zbieno metody SOR.)Jeli A = A > 0, to metoda SOR jest zbiena dla kadego (0, 2). W szczeglnocimetoda Gaussa-Seidla jest zbiena dla kadej macierzy A = A > 0.

Dowd. Niech

Q = A1(2(D+L) A) = 2A1(D+L) I.

Pokaemy, e

(i) Wartoci wasne macierzy Q le w prawej ppaszczynie, tzn. j(Q) > 0 j,(ii) B() = (Q+I)1(QI),

(iii) (B()) < 1.

Niech bdzie wartoci wasn macierzyQ i niech x 6= 0 bdzie wektorem wasnymskojarzonym z , zatem

Qx = x,

A1(2(D+L) A)x = x,

(2(D+L) A)x = Ax,

wic

x(2(D+L) A)x = xAx.(23)

Sprzgajc po hermitowsku obustronnie otrzymamy

x(2(D+L) A)x = xAx.(24)

Teraz dodajc stronami (23) i (24), a nastpnie korzystajc z tego, e A = D+ L+ L

(A samosprzona, zatem L = U) mamy

x(4D+ 2(L+ L A))x = (+ )xAx,

2x(2DD)x = 2xAx,

(2)xDx = xAx.

Poniewa A jest dodatnio okrelona, to aii > 0, zatem xDx > 0. Z zaoenia 2 > 0,

wic > 0. Wykazalimy wic punkt pierwszy.Aby wykaza (ii) zauwamy, e z denicji macierzy Q mamy

(Q+I)1(QI) = (2A1(D+L))1(2A1(D+L) 2I)

= (D+L)1(D+LA)

= (D+L)1((1)DU) = B().

36

Przejedmy teraz do punktu (iii). Niech bdzie wartoci wasn macierzy B().Zatem

x 6= 0 : B()x = x.Dziki (ii)

(Q+I)1(QI)x = x,

(QI)x = (Q+I)x,

(1 )Qx = (1+ )x.

W takim razie (x 6= 0 6= 1) = 1+1

jest wartoci wasn macierzy Q.

Oczywicie = +

, zatem

||2 = =()()

(+)(+)=+2

+++2=

||2 2+2

||2 + 2+2

(i)< 1.

Druga cz tezy wynika z (22):

B(1) = (D+ L)1(U) = BGS.

2.3.6 Metoda Richardsona.

Ostatni metod iteracyjn rozwizywania ukadu rwna postaci (1) jak si zaj-miemy jest metoda Richardsona.

Ukad (1) jest rwnowany temu, e dla dowolnego parametru Rx = x (Ax b).

W oparciu o t uwag zdeniujmy tzw. iteracj Richardsona:

xk+1 = xk (Axk b).(25)

W naszych rozwaaniach wygodniejsza bdzie posta rwnowana

xk+1 = (I A)xk+ b,

ktra jak wida jest postaci (18). Zauwamy, e dla 6= 0x = (I A)x+ b x = A1b.

Zatem, jedynym problemem w tej metodzie jest taki dobr , aby (BR()) < 1, gdzieBR() = I A. Niech bdzie wartoci wasn macierzy BR(), zatem

det(BR() I) = 0,

det(I A I) = 0,

det[

(A 1

I)]

= 0,

()ndet(A 1

I)

= 0,

det(A 1

I)

= 0.

37

Zatem, i jest wartoci wasn macierzy BR() wtedy i tylko wtedy, gdy i =1i

jestwartoci wasn macierzy A. Niech wic i (i = 1, . . . , n) bd wartociami wasnymimacierzy A. Wwczas

i = 1 i

s wartociami wasnymi macierzy BR(). Tak wic warunek (BR()) < 1 jest rw-nowany warunkowi

max{|1 max|, |1 min|} < 1.(26)

Zatem dla istnienia takiego potrzeba, aby wszystkie wartoci wasne macierzy A byytego samego znaku, czyli A = AT > 0 albo A = AT < 0.

= 1 , < 0

= 1 , > 0

1

Rysunek 5:

Przyjmijmy, e tak jest. Wwczas zbir z ktrego moemy wybra jest postaci(0, max) (albo (min, 0)). Optymalne , oznaczone jako 0, spenia warunek

|1 0max| = |1 0min|.

= |1 max |

= |1 min |

1

0 max

Rysunek 6:

Zatem

0 =2

min+ max.

38

Wwczas

(BR(0)) = 1 min0 =max min

max+ min.

Udowodnilimy w ten sposb nastpujce twierdzenie:

Twierdzenie 2.43. Jeeli macierz A jest symetryczna i dodatnio (ujemnie) okrelona,to dla

0 =2

min+ max

metoda Richardsona jest zbiena, oraz

(BR(0)) =max min

max+ min.

Zajmijmy si wskanikiem uwarunkowania dla tej metody. Skoro A = AT > 0, tona mocy wniosku 2.17

A2 = max(A),

zatem(A1) =1/(A)

cond(A) = A2A12 = maxmin .

Tak wic

(BR(0)) =

maxmin

1

maxmin

+ 1=

cond(A) 1

cond(A) + 1.

Otrzymalimy, e jeli cond(A) jest due, to (BR(0)) 1.Bezdowodu Twierdzenie 2.44. (Stein-Rosenberg)

Jeli macierz A = (aij) spenia warunek

(1) aii > 0 dla i = 1, . . . , n,

(2) aij 0 dla i 6= j,to zachodzi jeden z wykluczajcych si warunkw

(i) (BJ) = (BGS) = 0,

(ii) 0 < (BGS) < (BJ) < 1,

(iii) (BGS) = (BJ) = 1,

(iv) 1 < (BJ) < (BGS).

39

2.4 Metody gradientowe.

Ponownie rozwamy ukad (1). Przez x oznaczmy rozwizanie tego ukadu. Metodygradientowe opieraj si na obserwacji, e wyznaczenie rozwizania ukadu (1) rwno-wane jest problemowi wyznaczenia

min{(x) : x Rn},(27)

gdzie

: Rn x 7 Ax b2R R,(28)R = RT > 0, uR =

uTRu.

Dla funkcji tej zachodzi

limx (x) =.

Oczywicie (x) > 0 dla Ax b 6= 0, oraz

(x) = 0 bAx = 0 x = x.2.4.1 Metoda najmniejszych kwadratw.

Przyjmijmy w (28) R = I, wwczas

(x) = (Ax b)T(Ax b) = xTATAx 2xTATb+ bTb.

Skoro x realizuje min jeli grad(x) = 0, to x jest rozwizaniem problemu (27)wtedy, gdy ATAx = ATb.

2.4.2 Uoglniona metoda najmniejszych kwadratw.

Niech A = AT > 0. Przyjmijmy R = A1. Wwczas

(x) = xTAx 2bTx+ bTA1b.

Zatem, jeli

(x) = xTAx 2bTx = (x) bTA1b,(29)

to (x) i (x) osigaj minimum w tym samy punkcie.Wic, aby znale rozwizanie ukadu (1) wystarczy wyznaczy minimum funk-

cji (x), a wic rozway dla niej problem (28). Jest to do cikie, wic zamiasttego rozwaymy nieskoczony cig problemw 1-wymiarowych. Ustalmy przyblieniepocztkowe x0 Rn. Szuka bdziemy

k = min{(xk+ dk) : R},(30)

40

gdzie dk Rn jest zadanym wektorem (kierunkiem), a cig {xk}k dany jest wzoremxk+1 = xk+ kdk.(31)

Oczywicie

(xk+1) = (xk + kdk),

naley zatem wyznaczy k. Liczymy

(xk+ dk) = (xk+ dk)TA(xk+ dk) 2b

T(xk + dk)

= 2dTkAdk 2dTk(bAxk) +(xk),

zatem, o ile dTkAdk 6= 0, (xk + dk) jest trjmianem kwadratowym zmiennej .Wystarczy wic wyznaczy k dla ktrego funkcja

gk() = 2dTkAdk 2d

Tkrk,(32)

gdzie rk = bAxk residuum przyblienia xk, osiga minimum (ktre jest ujemnez denicji funkcji). Jest to oczywicie

k =dTkrk

dTkAdk.(33)

Uwaga 2.45. Dla k = 0, 1, . . . zachodzi

(xk+1) < (xk).

Dowd. Ustalmy k i liczmy

(xk+1) = (xk + kdk) = gk(k) +(xk)gk(k)

Twierdzenie 2.46. (zbieno uoglnionej metody najszybszego spadku)Zamy, e

(1) A = AT > 0,

(2) istniej 1, 2 > 0 takie, e

(2.1) 0 < 1 k 2 1, k = 0, 1, . . .(2.2) rk

Tdkrkdk 2, k = 0, 1, . . .8

wwczas

limk xk = x,

gdzie {xk}k jest okrelony wzorem (35).

Dowd. Skoro

(xk+1) = (xk + kkdk) = (kk)2dTkAdk 2kkr

Tkdk+(xk),

wic

(xk+1) (xk) = (kk)2dTkAdk 2kkr

Tkdk,

(xk+1) (xk)(33)= 2k

(dTkrk)2

(dTkAdk)2dTkAdk 2k

dTkrk

dTkAdkrTkdk,

zatem, skoro dTkAdk max(A)dk2 (9)

(xk+1) (xk) = k(k 2)(dTkrk)

2

dTkAdk,

(xk) (xk+1) = k(2 k)(dTkrk)

2

dTkAdk

(2.1)

21(dTkrk)

2

dTkAdk

(2.1)

2122rk2dk2dTkAdk

(2.2)

2122rk2dk2

max(A)dk2 > 0, k = 0, 1, . . .

Tak wic cig {(xk)}k jest silnie malejcy oraz ograniczony od dou, przez bTA1b

(co wynika z (29)), jest wic zbieny. Zatem

limk((xk) (xk+1)) = 0.

Ale

(xk) (xk+1) 2122

max(A)rk2 > 0,

wic z twierdzenia o trzech cigach

limk rk = 0,

co jest rwnowane temu, e

limk xk = A1b = x.

8Na mocy nierwnoci Schwarza i tego, e rkTdk rk dk mamy 2 1.

9z algebry liniowej.

42

Uoglniona metoda najszybszego spadku moe by w zalenoci od wyboru cigw{k}k i {dk}k metod liniow jak i metod nieliniow. W nastpnych przykadachzajmiemy si przypadkami szczeglnymi.

Przykad 2.47. Przyjmijmy

dk = rk, k = 1.

Otrzymujemy zatem, e

xk+1 = xk+ krk.

Oczywicie zaoenia twierdzenia 2.46 s spenione, zatem metoda jest zbiena. Jestona nieliniowa, bo

k =rTkrk

rTkArk

jest nieliniow funkcj zmiennej rk.Metod t nazywamy metod najszybszego spadku.

Przykad 2.48. Niech

k = 1,

dk =

{ek mod n, k 6= lnen, k = ln

Wwczas

k =dTkrk

dTkAdk

zaley w sposb liniowy od rk. Cig przyblie przyjmuje posta

xk+1 = xk+ kej.(36)

Policzmy jeszcze

rTk+1dk = (bAxk+1)Tdk = (bA(xk+ kdk))

Tdk = (bAxk kAdk)Tdk

= rTkdk kdTkAdk = 0,

czyli

rTk+1dk = 0.(37)

Ale skoro dk = ej to rTk+1 = 0. Rwno ta zachodzi wtedy i tylko wtedy, gdy j-ta

wsprzdna rk+1 = b Axk+1 zeruje si. Inaczej mwic, j-te rwnanie ukadu (1)jest spenione dokadnie.

Rwnania (36) i (37) charakteryzuj metod Gaussa-Seidla. Dostajemy zatem, namocy twierdzenia 2.46, e metoda Gaussa-Seidla jest dla macierzy A = AT > 0 zbiena.

43

Przykad 2.49. Jeszcze jeden przykad metody liniowej metoda Richardsona.Niech

dk = rk, kk = .

Wwczas

xk+1 = (I A)xk+ b.

Twierdzenie 2.50. (oszacowanie zbienoci metody najszybszych spadkw)Jeli x jest rozwizaniem ukadu (1) dla macierzy A = AT > 0, x0 Rn przyblieniepocztkowe,

xk+1 = xk+ krk,

rk = bAxk,

k =rTkrk

rTkArk,

to istnieje staa K taka, e

xk x22 K(MmM+m

)2k,

gdzie M,m takie, e

0 < m j(A) M, j = 1, . . . , n.Dowd. Oszacujmy (xk) (x).

(xk+1) (x) = (xk+1) (xk) +(xk) (x)

= ((xk) (x))(1(xk) (xk+1)

(xk) (x)).

Na podstawie dowodu poprzedniego twierdzenia, dla dk = rk, k = 1, mamy

(xk) (xk+1) =(rTkrk)

2

rTkArk.

Z (29) otrzymujemy

(x) = bTA1b,

(x) = (x) + bTA1b = (x) (x).

Z defnicji mamy

(xk) = (Axk b)TA1(Axk b) = r

TkA

1rk.

Zatem

(xk) (x) = rTkA

1rk,

(xk+1) (x) = ((xk) (x))(1

(rTkrk)2

rTkArk

1rTkA1rk

).

44

Wic

(xk+1) (x) ((xk) (x))(1 q),(38)gdzie

q = min{ (rTkrk)2

(rTkArk)(r

TkA1rk)

: rk 6= 0}

= min{

(uTu)2

(uTAu)(uTA1u): u 6= 0}

= min{

1(vTAv)(vTA1v)

: v = 1}.Niech > 0. Skoro dla dowolnych a, b mamy ab 1

4(a+ b)2, to

(vTAv)(vTA1v) = (vT(A)v)(vT(A)1v) 14(vT((A) + (A)1)v)2.(39)

Macierz A+ (A)1 jest dodatnio okrelona i ma wartoci wasne

i(A+ (A)1) = i(A) + (i(A))

1.

Niech v = 1, wicvT(A+ (A)1)v max{i(A) + (i(A))1| i = 1, . . . , n}

max{+ ()1| [m,M]},

czyli

vT(A+ (A)1)v max{f()| [m,M]},(40)gdzie

f() = + 1.

Oczywicie f jest funkcj wypuk osigajc swoje maksimum na brzegu przedziauBo > 0[m,M]. Wybierzmy tak, aby f(m) = f(M), czyli niech

=1mM

.

Wwczas

f(m) =1mM

m+mM

1

m=

m

M+

M

m=

1Mm

(m+M).

Na mocy (39) i (40) otrzymujemy

1 q = 1 min{

1(vTAv)(vTA1v)

: v = 1} 1 min{ 11

4(vT ((A)+(A)1)v)2

: v = 1} 1 11

4max2{f()| [m,M]} = 1

4f2(m)

= 1 4Mm(m+M)2

=(mM)2

(m+M)2.

45

W (38) dostajemy wic

(xk+1) (x) ((xk) (x))(m Mm +M

)2 . . .

((x0) (x))(mMm+M

)2(k+1)Jako szukan sta K wystarczy przyj (x0)(x)

min(A), bo

(xk) (x) = (Axk b)TA1(Axk b) = (Axk b)

T(xkA1b)

= (xk x)T(Axk b) = (xk x)

TA(xkA1b)

= (xk x)TA(xk x) min(A)xk x22.

Wwczas

min(A)xk x22 (xk) (x) ((x0) (x))(mMm+M

)2k.

Uwaga 2.51. Skoro A = AT > 0, cond(A) = max(A)min(A)

, to

Mm

M+m=

Mm

1Mm

+ 1=

cond(A) 1

cond(A) + 1.

Zatem dla metody Richardsona otrzymujemy, e

(B(0)) =cond(A) 1

cond(A) + 1.

2.4.3 Metoda gradientw sprzonych.

Zamy, e A = AT > 0. Wybieramy dowolnie x0 Rn przyblienie pocztkowe iokrelamy pi cigw {n}n, {n}n R, {xn}n, {rn}n, {pn}n Rn nastpujco:

r0 = bAx0, p0 = r0,

k =rTkpk

pTkApk,(41)

xk+1 = xk+ kpk,(42)

rk+1 = rk kApk,(43)

k = rTk+1Apk

pTkApk,(44)

pk+1 = rk+1 + kpk.(45)

Twierdzenie 2.52. Jeeli A jest dodatnio okrelon macierz symetryczn, to poskoczonej liczbie krokw algorytm metody gradientw sprzonych daje rozwizaniedokadne ukadu (1).

46

Dowd. Pokaemy najpierw, e zachodz nastpujce rwnoci:

(i) rTipj = 0, i > j,

(ii) rTi rj = 0, i 6= j,(iii) pTiApj = 0, i 6= j, to znaczy kierunki pi s A-ortogonalne10.Dowd tych trzech rwnoci przeprowadzimy indukcyjnie. Pierwszy krok indukcyjny:

rT1p0(43)= (r0 0Ap0)

Tp0 = rT0p0 0p

T0A

Tp0(41)= rT0p0 r

T0p0 = 0,

rT1r0 = rT1p0

(i)= 0,

pT1Ap0 = (r1 + 0p0)TAp0 = r

T1Ap0 + 0p

T0Ap0

(44)= rT1Ap0 r

T1Ap0 = 0.

Zamy teraz, e wzory (i) (iii) zachodz dla 0 i, j k.Ad(i) Z denicji cigu {rk}k, dla j k, mamy

rTk+1pj(43)= (rk kApk)

Tpj = rTkpj kp

TkApj.

Jeli j < k to na mocy zaoenia indukcyjnego pTkApj(iii)= 0 i rTkpj

(i)= 0. Jeli j = k

to na podstawie denicji cigu {k}k

rTk+1pk = rTkpk kp

TkApk

(41)= rTkpk r

Tkpk = 0.

Ad(ii)

rTk+1rj(45)= rTk+1(pj j1pj1) = r

Tk+1pj j1r

Tk+1pj1

(i)= 0.

Ad(iii) Oczywicie

pTk+1Apj(45)= (rk+1 + kpk)

TApj = rTk+1Apj + kp

TkApj.

Jeli j < k oraz j 6= 0, to

pTk+1Apj(iii)= rTk+1Apj

(43)= rTk+1

1j

(rj rj+1)(ii)= 0.

Jeli j = k, to

pTk+1Apj = rTk+1Apk+ kp

TkApk

(44)= rTk+1Apk r

Tk+1Apk = 0.

Poniewa ukad {rk}k jest, na mocy (ii), ortogonalny w Rn, zatem

k < n : {r0, . . . , rk} jest liniowo niezaleny,10ortogonalne w sensie iloczynu skalarnego (u|v) = uTAv

47

wic

k n : {r0, . . . , rk} jest liniowo zaleny,

czyli

k n : rk = 0.(46)

Wykaemy, e

rk+1 = bAxk+1.(47)

Na mocy (43)

rk+1 = rk kApk = rk1 kApk k1Apk1 = . . . = r0

kj=0

jApj

= r0

kj=0

Ajpj(42)= r0

( kj=0

Axj+1

kj=0

Axj)

= bAxk+1.

Zatem, na mocy (46) i (47), dla k n 1, xk+1 jest rozwizaniem ukadu (1).

3 Wyznaczanie wartoci wasnych i wektorw wa-

snych macierzy.

Niech A Cnn, A = (aij).Twierdzenie 3.1. (Gerszgorin, Schur; lokalizacja wartoci wasnych)Jeli jest wartoci wasn macierzy A, to

i {1, . . . , n} : | aii| j6=i

|aij|.

Dowd. Niech x bdzie wektorem wasnym odpowiadajcym wartoci wasnej , zatem

x = Ax,

czyli

xi =

nj=1

aijxj, i = 1, . . . , n,

( aii)xi =j6=i

aijxj, i = 1, . . . , n.

Skoro x 6= 0, wic

i {1, . . . , n} : xi 6= 0,

48

zatem

i {1, . . . , n} : |xi| = x 6= 0.Dla takiego i mamy

x | aii| = |( aii)xi| = j6=i

aijxj

j6=i|aij| |xj| x

j6=i|aij|,

wic

| aii| j6=i

|aij|.

Dowd alternatywny. Przypumy dla dowodu nie wprost, e

i {1, . . . , n} : | aii| >nj6=i

|aij|.

Wwczas macierz B = A I spenia mocne kryterium sumy wierszy, zatem na mocytwierdzenia 2.35, B jest macierz nieosobliw, co prowadzi do sprzecznoci, bo jestwartoci wasn macierzy A.

Wniosek 3.2. Jeli jest wartoci wasn macierzy A, to

j {1, . . . , n} : | ajj| ni6=j

|aij|.

Dowd. Wystarczy zastosowa poprzednie twierdzenie dla macierzy AT, bo A i AT

maj te same wartoci wasne.

Ustalmy k {1, . . . , n}. Niech

K1 =

ki=1

{ : | aii|

j6=i

|aij|},

K2 =

ni=k+1

{ : | aii|

j6=i

|aij|},

Na mocy twierdzenia 3.1

{i(A)} ni=1

{ : | aii|

j6=i

|aij|}.

Uwaga 3.3. Jeli K1 K2 = oraz K1 zawiera k wartoci wasnych macierzy A, toK2 zawiera n k wartoci wasnych macierzy A.

49

Re

a 11

a 22

a 33

ii

Im

a

Rysunek 7: Zbiory K1 i K2

Dowd. Niech D bdzie macierz diagonaln, L macierz trjktn doln i U macierztrjktn grn takimi, e

A = D+ L+U.

Zdeniujmy macierz At = (aij(t)) dla t [0, 1] nastpujco

At = D+ t(L+U).

Zatem

aii(t) = aii, aij(t) = taij.

Niech K1(t), K2(t) bd okrelone jak wyej dla macierzy At. Zatem, skoro t [0, 1],mamy

Ki(t) Ki, i = 1, 2.

Skoro A0 = D, wic i(A0) = aii, i = 1, . . . , n, oraz

K1(0) = {a11, . . . , akk}, K2(0) = {ak+1,k+1, . . . , ann}.

Mamy te

i(At) K1(t) K1, i = 1, . . . , k.

Teza twierdzenia wynika z cigoci wzgldem t funkcji i(At).

W rozdziale 2.3.1 spotkalimy si z wartociami wasnymi i wektorami wasnymimacierzy. Teraz zajmiemy si ich wyznaczaniem. Pokazalimy ju, e jest warto-ci wasn macierzy A wtedy i tylko wtedy, gdy jest miejscem zerowym wielomianucharakterystycznego macierzy A, oraz e macierze podobne maj te same wielomianycharakterystyczne. O innej cesze wielomianu charakterystycznego mwi twierdzenie

50

Twierdzenie 3.4. (Cayley-Hamiltona)Niech

A() = det (A I),

bdzie wielomianem wielomianem charakterystycznym macierzy A. Wwczas

A(A) = 0.

Dowd. Denicja (2.18) wielomianu charakterystycznego.

Denicja 3.5. Niech x0 Rn \ {0} bdzie dowolnie ustalony. Cigiem Kryowa dlamacierzy A nazywamy cig {xk}k taki, e

xk+1 = Axk, k = 0, 1, . . .(48)

Lemat 3.6. W cigu Kryowa co najwyej n elementw jest liniowo niezalenych.

Uwaga 3.7. Jeli elementy x0, x1, . . . , xp1 cigu Kryowa s liniowo niezalene, ax0, x1, . . . , xp s liniowo zalene, to

k p wektory x0, . . . , xp1, xk s liniowo zalene.

Dowd. Przeprowadzimy indukcj matematyczn. Krok pierwszy (k = p) wynika zzaoenia. Niech k > p. Na mocy zaoenia indukcyjnego, cig x0, . . . , xp1, xk1 jestliniowo zaleny, zatem istniej stae 0, . . . , p1 takie, e

xk1 =

p1j=0

jxj.

Wwczas

xk = Axk1 = A

p1j=0

jxj = Ap1xp1 +

p2j=0

jAxj = p1xp +

p2j=0

jxj+1

= p1

p1j=0

jxj +

p1j=1

j1xj = p10x0 +

p1j=1

(p1j + j1)xj,

a wic xk span{x0, . . . , xp1}.

3.1 Metody dokadne.

Niech A bdzie kwadratow macierz wymiaru n. Zajmiemy si wyznaczaniem wielo-mianu charakterystycznego macierzy A lub jego dzielnika. Zacznijmy od zdeniowaniawielomianu minimalnego macierzy A. Ustalmy x0 Rn i wemy cig Kryowa{xn}

n=0. Na mocy lematu 3.6 istnieje p n takie, e

x0, . . . , xp1 s liniowo niezalene,

x0, . . . , xp s liniowo zalene.

51

Zatem istniej 0, . . . , p1 takie, e

xp + p1xp1 + . . .+ 0x0 = 0.

Z konstrukcji cigu Kryowa mamy

Apx0 + p1Ap1x0 + . . .+ 0Ix0 = 0,

(Ap+ p1Ap1 + . . .+ 0I)x0 = 0,

(A)x0 = 0, () = p + p1

p1 + . . .+ 0.

Denicja 3.8. Niech A Rnn bdzie macierz i niech x0 Rn, x0 6= 0. Wielomia-nem minimalnym dla x0 nazywamy wielomian () =

pk=0

kk taki, e

(i) (A)x0 = 0;

(ii) jeli () spenia (i) oraz deg < deg, to = 0.

Lemat 3.9. Jeli wielomian () spenia warunek (i) denicji 3.8, to dzieli .

Dowd. Zamy, e stopie wielomianu jest nie mniejszy ni stopie wielomianu ,wwczas

() = a()() + r(), deg r < deg.

Zatem

0 = (A)x0 = a(A)(A)x0+ r(A)x0 = r(A)x0,

a wic r spenia warunek (ii) denicji 3.8, zatem r = 0.

Odpowiedzmy teraz na pytanie, jaki jest zwizek midzy wielomianami minimal-nymi dla pewnego x0 Rn i wielomianami charakterystycznymi. Ustalmy x0 Rn.Niech A bdzie wielomianem charakterystycznym macierzy A, wielomianem mini-malnym dla x0. Na mocy twierdzenia 3.4

A(A)x0 = 0.

Zatem () dzieli A(), wic miejsca zerowe wielomianu s wartociami wasnymimacierzy A. Jeli wic p = n, to

() = p+ p1p1 + . . .+ 1+ 0,

gdzie 0, . . . , p s wspczynnikami wielomianu A. Jeli p < n to 0, . . . , p swspczynnikami pewnego dzielnika wielomianu A.

Oznaczmy przez j() wielomian minimalny dla ej.

Denicja 3.10. Wielomianem minimalnym macierzy A nazywamy najmniejsz wsplnwielokrotno wielomianw 1, . . . , n

11.

11Jest to wielomian najmniejszego stopnia podzielny przez kady z wielomianw 1, . . . , n.

52

Twierdzenie 3.11. Jeli jest wielomianem minimalnym macierzy A, to deg degA.

Dowd. Zauwamy, e jeli jest wielomianem minimalnym macierzy A, to (A)ej =0 dla j = 1, 2, . . . , n. Niech x0 Rn. Wwczas

x0 =

nj=1

jej,

(A)x0 = (A)

nj=1

jej =

nj=1

j(A)ej = 0.

Zatem spenia warunek (i) denicji 3.8.

Zamy e x0, . . . , xn1 s liniowo niezalene. Niech X = [x0, . . . , xn1], wwczas

AX = A[x0, . . . , xn1] = [Ax0, . . . , Axn1] = [x1, . . . , xn] =

[x0, . . . , xn1]

0 0 . . . 0 01 0 . . . 0 10 1 . . . 0 2. . .

0 0 . . . 1 n1

= XF.

Macierzy F nazywamy macierz Frobeniusa. Skoro x0, . . . , xn1 s liniowo nieza-lene, to detX 6= 0, wic X jest odwracalna. Zatem macierze A i F s podobne (boA = XFX1). Macierz F ma duo zer, wic atwo jest wyznaczy jej wielomian charak-terystyczny

F() = (1)n(n+ n1

n1 + . . .+ 0).

Ze wzgldu na podobiestwo macierzy A i F jest to te wielomian charakterystycznymacierzy A.

3.2 Metody iteracyjne.

3.2.1 Metoda potgowa.

Zamy, e wartoci wasne 1, . . . , n macierzy A Rnn s takie, e|1| > |2| > . . . > |n|.(49)

Ustalmy dowolny x0 Rn \ {0} i wemy cig Kryowa {xk}k. Oczywicie

xk =

x1k...xnk

, xik = eiT xk.

Twierdzenie 3.12. Jeli wartoci wasne macierzy A speniaj (49), to prawie za-wsze12

limk

xi,k+1

xik= 1

12Okrelenie prawie zawsze oznacza, e mona le wybra x0, ale prawdopodobiestwo takiego

wyboru jest rwne zero.

53

Dowd. Niech v1, . . . , vn bd wektorami wasnymi (liniowo niezalenymi) macierzy Aodpowiadajcymi wartoci 1, . . . , n (Avj = jvj). Niech te x0 Rn. Wwczasistniej i, . . . , n takie, e

x0 =

nj=1

jvj.

Zatem

xk = Akx0 =

nj=1

jAkvj =

nj=1

jkj vj, k = 1, 2, . . .

xik = eiTxk =

nj=1

jkj ei

Tvj = k1

(1ei

Tv1 +

nj=2

j( j1

)keiTvj)

= k1(1eiTv1 +O(|2/1|k)),

zatem

xi,k+1

xik=k+11 (1ei

Tv1 +O(|2/1|k+1))k1(1ei

Tv1 +O(|2/1|k)) k 11eiTv1

1eiTv1= 1,

o ile 1eiTv1 6= 0.

Wystarczy wykaza, e

m{x0 Rn : 1eiTv1 = 0} = 0.Skoro v1, . . . , vn Rn s liniowo niezalene, to Rn = V1 V2, gdzie

V1 = span{v1},

V2 = span{v2, . . . , vn}.

Skoro dimV1 = 1, to dimV2 = n 1, wic mn(V2) = 0.Oczywicie

1eTi v1 = 0 1 = 0 lub eTi v1 = 0.

Jeeli 1 = 0, to

x0 =

nj=2

jvj.

Podobnie, jeli eiTv1 = 0, to

xi0 = eTi x0 =

nj=1

jeTi vj = 1e

Ti v1 +

nj=2

jeTi vj =

nj=2

jeTi vj = e

Ti

nj=2

jvj,

x0 =

nj=2

jvj.

Zatem, jeeli 1eTi v1 = 0, to x0 V2, co koczy dowd.

54

Wida wic, e mona atwo wyznaczy warto wasn macierzy A, bo

xj,k+1

xjk 1, k k0, j = 1, . . . , n,

xk+1 1xk,Axk 1xk 1 warto wasna.

Uwaga 3.13. Powysze twierdzenie zachodzi przy zaoeniu, e

|1| > |2| . . . |n|.Dowd. Niech v1 bdzie wektorem wasnym odpowiadajcym 1 i niech

V1 = {v1 : R}.Wykaemy, e AV1 = V1. Niech x AV1, zatem

v V1 : x = Av.Skoro v V1, to istnieje R taka, e v = v1, a wic

R : x = Av1 = 1v1 V1.Niech teraz v V1. Oczywicie

R : v = v1.Niech =

1, zatem

R : v = 1v1 = Av1 = A(v1) AV1.Niech V2 bdzie taka, e V1 V2 = Rn. Skoro macierz A jest podobna (na mocy

twierdzenia o postaci kanonicznej Jordana) do macierzy(1 0

0 B

),

gdzie macierz B ma wartoci wasne 2, . . . , n, to V2 moemy tak wybra, aby AV2 =V2.

Ustalmy x0 Rn. Istnieje dokadnie jedna para (u,w) V1 V2 taka, e x0 =u+w. Wwczas

xk = Akx0 = A

ku+Akw = 1Akv1 +A

kw = 1k1v1 +A

kw

= k1(1v1 +

(11A)kw),

gdzie 1 R jest taka, e u = 1v1.Skoro w V2 oraz AV2 = V2, to Aw = A |V2 w. Reprezentowana przez B macierz

A |V2 ma wartoci wasne 2, . . . , n, zatem(11A)V2

ma wartoci wasne 21, . . . , n

1.

Zatem

xk = k1

(1v1 +O

(21

k))i dalej postpujemy jak w twierdzeniu 3.12.

Uwaga 3.14. Metoda jest niedogodna, bo zwykle xk k (o ile |1| > 1).

55

3.2.2 Wariant metody potgowej

Zakadamy, e

|1| > |2| . . . |n|.Niech x0 Rn bdzie punktem startowym. Rozpatrzmy nastpujce cigi:

z0 =x0x0 ,

yk = Azk1, k = 1, 2, . . .

zk =ykyk .

Twierdzenie 3.15. Przy powyszych zaoeniach

limk

yik

zik= |1|.

Dowd. Niech {xk}k bdzie cigiem Kryowa. Wwczas

yk =xk

xk1 , k = 1, 2, . . . ,

zk =xkxk , k = 0, 1, . . .

Wykaemy to indukcyjnie. Na mocy zaoenia

z0 =x0x0 ,

oraz

y1 = Az0 =Ax0x0 =

x1x0 .

Drugi krok indukcyjny. Zamy, e znamy ju z0, . . . , zk1 oraz y0, . . . , yk, wwczas

zk =ykyk =

xkxk1

xk1xk =

xkxk ,

yk+1 = Azk =Axkxk =

xk+1xk .

Skoro

zik =yikyk ,

to

yikzik

= yk = xkxk1 =|1|

k 1v1 +O(|21 |k)|1|k1 1v1 +O(|21 |k1)

k |1|,

o ile 1v1 6= 0.Twierdzenie 3.16. Jeli A = AT, |1| > |2| . . . |n| oraz {xn}n jest cigiemKryowa, to iloraz Rayleigha

k =xk

TAxk

xkTxk,(50)

jest zbieny do 1.

56

Dowd. Skoro A = AT, to ma n wektorw wasnych liniowo niezalenych, wzajemnieortogonalnych v1, . . . , vn. Wic

x0 =

nj=1

jvj,

xk =

nj=1

jkj vj,

xTkAxk =( nj=1

jkj vj)T n

j=1

jk+1j vj =

nj=1

ns=1

jskj

k+1s v

Tj vs

=

nj=1

2j2k+1j =

2k+11

(21 +

nj=2

2j(j/1)2k+1

)= 2k+11

(21 +O(|2/1|2k+1),

xTkxk =

nj=1

ns=1

jskj

ksvTj vs =

2k1

(21 +O(|2/1|2k),

zatem k k 1, o ile 1 6= 0.

Zajmiemy si teraz wyznaczaniem kolejnych wartoci wasnych macierzy symetrycz-nych (Hermitowskich). Zamy, e znamy ju 1 i v1, oraz e |1| > |2| > |3| . . . |n|. Niech

A1 = A 1v1v1T.

Wwczas

A1v1 = Av1 1v1(v1Tv1) = 1v1 1v1 = 0,

A1vj = Avj 1v1(v1Tvj) = Avj = jvj,

bo v1Tvj = 1j (A jest ortogonalna). Zatem A1 ma wartoci wasne 0, 2, . . . , n.

Dostajemy w ten sposb kolejn warto wasn macierzy A. Sposb ten nie jestnajlepszy, moe dawa due bdy jeli 1 i v1 zostay sabo przyblione.

3.2.3 Metoda Householdera.

Znajdmy inn macierz podobn do macierzy A = A. Szukamy takiej macierzy U, e

UU = I,

oraz

UAU =(1 0

0 B

)= A1.

Zatem, z podobiestwa macierzy A i B, macierz B ma wartoci wasne 2, . . . , n.

57

Konstrukcja macierzy U przebiega nastpujco. Niech v = (,w)T bdzie takie, eAv = 1v oraz v2 = 1. Zatem

+ww = 1.(51)

Deniujemy

U =

( w

w I ww

)

Chcemy tak dobra , aby UU = I.

UU =( w

w I ww

)( w

w I ww

)

=

(+ww w +w www

w +w www ww + (I ww)(I ww)

)(51)=

(1 P

P Q

).

Skoro

P = w +w www = (1 w22)w,

to przyjmujc = 1w22

dostajemy P = 0. Mamy te

||2 = =1+||2

w42

, + = 2w22

.(52)

Policzmy teraz Q:

Q = ww + (I ww)(I ww)

= ww + I ww ww + ww22w

= I+ (1 (+ ) + ||2w22)ww(52)= I+

(1

1+||2

w22

)= I+

w221+||2w2

2

ww(51)= I.

Pozostaje zatem sprawdzi, czy zachodzi drugi warunek. Niech A1 = UAU. Skoro

A = A, to A1 = A1.

A1e1 = UAUe1

Ue1=v= UAv = 1Uv

Uv=e1= 1e1,

zatem

A1 =

(1 0

0 B

),

wic

j(B) = j(A), j = 2, . . . , n.

58

3.3 Wyznaczanie wszystkich wartoci wasnych macierzy syme-trycznych.

3.3.1 Metoda obrotw Jacobiego.

Niech A = (aij) bdzie macierz symetryczn n n. Rozwamy norm macierzow

N2(A) =

ni,j=1

|aij|2.(53)

Lemat 3.17. Dla normy macierzowej (53) zachodzi nastpujcy wzr

N2(A) = tr(ATA)(54)

Dowd. Niech C = ATA. Wwczas, korzystajc z tego, e A jest symetryczna

cij =

nk=1

aTikakj =

nk=1

akiakj,

trC =ns=1

css =

ns=1

nk=1

a2ks =

nk,s=1

a2ks.

Uwaga 3.18. Powyszy lemat jest prawdziwy dla macierzy prostoktnych takich, eATA jest okrelone.

Zanim przejdziemy do samej metody obrotw Jacobiego wykamy pewne wasnocinormy macierzowej (53).

Twierdzenie 3.19. Niech A bdzie kwadratow macierz symetryczn, U,V dowol-nymi macierzami (odpowiednich wymiarw). Wwczas norma (53) spenia nastpujcewasnoci

(i) N2(A) = N2(AT),

(ii) UTU = I N2(UA) = N2(A),(iii) VTV = I N2(AV) = N2(A),(iv) U,V ortogonalne N2(UAV) = N2(A).Dowd.

ad(i) Oczywisty.

ad(ii) N2(UA) = tr((UA)TUA) = tr(ATUTUA) = tr(ATA) = N2(A).

ad(iii) N2(AV)(i)= N2(VTAT)

(ii)= N2(AT)

(i)= N2(A).

ad(iv) N2(UAV) = tr(VTATUTUAV) = tr((AV)TAV) = N2(AV)(iii)= N2(A).

59

Przejdmy zatem do samej metody obrotw. Dla macierzy A = AT chcemy znaletaki cig {A(k)}k, e

A(0) = A,

A(k+1) A(k),

limkA(k) = diag(d1, . . . , dn).

Jeli znajdziemy taki cig i jego granic, to automatycznie znajdziemy wszystkie war-toci wasne macierzy A, czyli i(A) = di. Oznaczmy A

(k) = (a(k)

ij ) i niech

A(k+1) = T1pkqkA(k)Tpkqk ,

gdzie pk, qk speniaj wzr

|a(k)pkqk | = max{|a(k)

ij | : i 6= j},a macierz Tpq jest macierz obrotu o kt w paszczynie (pq), czyli

tii = 1, i {1, . . . , n} \ {p, q},tpp = tqq = c, gdzie c = cos ,

tpq = tqp = s, gdzie s = sin ,

tij = 0, dla pozostaych i, j.

Kt dobieramy tak, aby a(k+1)pkqk = 0. Macierz Tpq jest macierz ortogonaln.

Rozwamy przypadek n = 2. Niech

A =

(

), T =

(c s

s c

).

Wwczas

TT =

(c s

s c

), TTT =

(c2+ s2 0

0 c2 + s2

)= I,

B = T1AT =

(c s

s c

)(

)(c s

s c

)

=

(c2 2cs+ s2 cs( ) + (c2 s2)

cs( ) + (c2 s2) s2+ 2cs+ c2

)=

(b11 b12b21 b22

).

Dobieramy tak, aby cs( ) + (c2 s2) = 0, czyli

(cos2 sin2) = cos sin ( ), cos 2 = 1

2sin 2( ),

tg2 =2

,

= 12arctg 2

, o ile 6= .

Jeli = to bierzemy

=

{pi4, > 0

pi4, < 0

60

Przy takim wyborze mamy

T1AT =

(b11 0

0 b22

).

Uwaga 3.20. Suma kwadratw na przektnej wzrosa o 2(a(k)pkqk)

2.

Dowd.

G = TTAT =

(UT 0

0 I

)(A11 A12A21 A22

)(U 0

0 I

)=

(UTA11U U

TA12A12U A22

),

N2(G) = N2(UTA11U) +N2(UTA12) +N

2(A21U) +N2(A22)

= N2(UTA11U) +N2(A12) +N

2(A21) +N2(A22).

Twierdzenie 3.21. Jeli dla kadego k wybierzemy (pk, qk) takie, e

|a(k)pkqk | = max {|a(k)

ij | : i 6= j},to metoda obrotw jest zbiena.

Dowd. Niech

t2k =i6=j

|a(k)

ij |2.

Na mocy poprzedniej uwagi

t2k+1 = t2k 2|a

(k)pkqk

|2.

Skoro

|a(k)pkqk | |a(k)

ij |, i 6= j,to

|a(k)pkqk |2 |a(k)ij |2, i 6= j,

wic

t2k =i6=j

|a(k)

ij |2 n(n 1)|a(k)pkqk |2.

Mamy wic2n(n1)

2

t2k+1 t2k 2t2k

n(n1)= t2k

(1 2

n(n1)

) . . . t20(1 2n(n1))k+1 N2(A)(1 2

n(n1)

)k+1,

zatem

limk t2k = 0,

wic

limkA(k) = diag(d1, . . . , dn).

61

3.3.2 Metoda QR wyznaczania wartoci wasnych macierzy.

Jak pokazalimy w twierdzeniu o faktoryzacji QR (tw. 2.9), jeli macierz A jest nie-osobliwa, to istniej macierze Q ortogonalna i R trjktna grna takie, e

A = QR.

Z dowodu tego twierdzenia wynika, e rozkad ten jest jednoznaczny.Zamy o macierzy Q wicej, e jest ortonormalna, czyli

QTQ = I.

Zauwamy, e skoro QTQ = D2 to D1QTQD1 = I. Zatem jako nasz macierzortonormaln wystarczy wzi QD1.

Jeli macierz A jest osobliwa, to mona otrzyma podobny rozkad z tym, e macierzR te bdzie osobliwa (metoda Householdera).

Przejdmy teraz do samej metody QR wyznaczania wartoci wasnych macierzyA. Zamy, e A jest nieosobliwa i niech A0 = A. Istniej zatem macierze Q0 ortonormalna i R0 trjktne grna takie, e A0 = Q0R0. Zdeniujmy cig

Ak = Rk1Qk1, k = 1, 2, . . .(55)

Lemat 3.22. Dla cigu Ak zdeniowanego wzorem (55)

Ak Ak+1, k = 0, 1, . . .

Dowd. Skoro Ak = QkRk to Rk = QkTAk albo Qk = AkR

1k . Wic

Ak+1 = RkQk = QkTAkQk,

albo

Ak+1 = RkQk = RkAkR1k .

Pytanie jakie naley sobie teraz postawi, to czy cig {Ak}k=0 jest zbieny, a jeli

tak to do czego. Zauwamy, e

Ak+1 = QkTAkQk = Qk

TQk1TAk1Qk1Qk = . . . = Qk

T . . .Q0TA0Q0 . . .Qk,

a wic

Ak+1 = UkTAUk, Uk = Q0 . . .Qk.

Podobnie otrzymamy, e

Ak+1 = GkAG1k , Gk = Rk . . . R0.

Oczywicie Uk jest macierz ortogonaln, a Rk macierz trjktn grn. Co wicej,jeli A0

= A0 lub A0 jest trjprzektniowa, to Ak = Ak lub odpowiednio Ak jest

trjprzektniowa (dowd ze wzgldu na indukcje nie wymagany).Pokaemy jeszcze, e UkGk = A

k+1. Istotnie

Ak = Uk1TAUk1 Uk1Ak = AUk1,

UkGk = Q0 . . .Qk1QkRkRk1 . . . R0 = Q0 . . .Qk1AkRk1 . . . R0 = Uk1AkGk1

= AUk1Gk1 = . . . = Ak+1.

62

Twierdzenie 3.23. Jeli cig {Uk}k jest zbieny, to cig {Ak}k jest zbieny do macierzytrjktnej grnej.

Dowd. Niech Uk = Q0 . . .Qk1Qk, wic (ze zbienoci {Uk}k) mamy

Uk = Uk1Qk,

Qk = Uk1TUk,

limkQk = ( limkUk1T)( limkUk) = ( limkUk1)T limkUk = I,

oraz

Ak = Rk1Qk1,

Rk1 = AkQk1T = Uk1

TAUk1Qk1T = Uk1

TAQ0 . . .Qk2Qk1Qk1T

= Uk1TAUk2.

Wic cigi {Qk}k i {Rk}k s zbiene, zatem cig {Ak}k te jest zbieny.Oznaczmy przez A granic cigu {Ak}k oraz przez R granic cigu {Rk}k, wwczasA = lim

kAk = ( limkQk)( limk Rk) = limk Rk = R .Macierz R (a tym samym A) jest macierz trjktn grn (bo Rk s trjktnerrne), co koczy dowd.

Wniosek 3.24. Niech cig {Uk}k bdzie zbieny i niech A = limkAk. Wwczas aii s

wartociami wasnymi macierzy A.

Dowd. Twierdzenie 3.23 + lemat 3.22 + wniosek 2.22.

Uwaga 3.25. Jeli macierz A jest symetryczna i dodatnio okrelona, to cig {Uk}k jestzbieny.

4 Interpolacja.

Dana niech bdzie funkcja f : [a, b] R oraz (n + 1)-parametrowa rodzina funkcji(x; c0, . . . , cn) : [a, b]Rn+1 R. Dla zadanych n + 1 punktw x0, . . . , xn [a, b]bdziemy chcieli dobra parametry c0, . . . , cn tak, aby zachodziy rwnoci

f(xi) = (xi; c0, . . . , cn), i = 0, . . . , n.(56)

Punkty x0, . . . , xn nazywamy wzami interpolacyjnymi, natomiast rwnoci (56) warunkami interpolacyjnymi. Interpolacj nazywamy funkcj .

Tak wic chcemy dobra parametry c0, . . . , cn tak, aby wykres zawiera punkty(xj, f(xj)), j = 0, . . . , n.

Jeeli jest funkcj liniow zmiennych c0, . . . , cn, to interpolacj nazywamy li-niow:

(x; c0, . . . , cn) =

nj=0

cjj(x).

63

Dla interpolacji liniowej warunki interpolacyjne przyjmuj posta

f(xi) =

nj=0

cjj(xi), i = 0, . . . n.(57)

Przykad 4.1.

(i) Interpolacja wielomianowe: j(x) = xj, j = 0, . . . , n,

(ii) Interpolacja trygonometryczna: j(x) = eijx, j = 0, . . . , n, i =

1.

Uwaga 4.2. Ukad (57) jest ukadem (n+ 1) rwna liniowych o niewiadomej

c = (c0, . . . , cn)T Rn+1,

wyrazie wolnym

f = (f(x0), . . . , f(xn))T Rn+1

oraz macierzy

A = (aij), aij = j(xi).

Rwnowanie zapisa go mona jako

Ac = f.

Zatem warunek ten rwnowany jest

f span{0, 1, . . . , n}.

Wwczas parametry cj s wsprzdnymi f wzgldem bazy {j}.

Twierdzenie 4.3. Problem interpolacji liniowej ma dla kadego wektora y Rn+1dokadnie jedno rozwizanie wtedy i tylko wtedy, gdy det(j(xi)) 6= 0 (A jest macierznieosobliw).

Uwaga 4.4.

(i) Twierdzenie 4.3 jest prawdziwe take dla xi oraz f(xi) zespolonych.

(ii) Do wyznaczenia cj wystarczy znajomo xi oraz f(xi), i = 0, . . . , n.

4.1 Interpolacja wielomianowa.

Niech

n = {w| w(x) = anxn+ an1x

n1 + . . .+ a1x + a0, aj C}

oznacza przestrze wielomianw stopnia co najwyej n.

Uwaga 4.5.

64

(i) n jest przestrzeni wektorow.

(ii) dimn = n + 1.

Dowd.

ad(i) v,w n v+ w n.ad(ii) Wystarczy pokaza, e 1, x, . . . , xn jest baz n. Oczywici n = span{1, x, . . . , x

n}.

Niech P(x) =nj=0

cjxj = 0. Oczywicie P(x) n i ma on nieskoczenie wiele

zer, zatem na mocy zasadniczego twierdzenie algebry cj = 0, j = 0, . . . , n, czyli1, x, . . . , xn s liniowo niezalene.

Zagadnienie interpolacji wielomianowej polega na tym, e dla danych par punktw(xi, f(xi)), i = 0, . . . n szukamy wielomianu P n takiego, e

P(xi) = f(xi), i = 0, . . . , n.(58)

Twierdzenie 4.6. (istnienie i jednoznaczno zagadnienia interpolacji wielomianowej)Jeeli x0, . . . , xn [a, b] s parami rne, to dla dowolnego wektora wartoci f =(f(x0), . . . , f(xn))

T problem (58) ma dokadnie jedno rozwizanie.

Dowd. Zacznijmy od istnienia takiego wielomianu. Niech

li(x) =(x x0) . . . (x xi1)(x xi+1) . . . (x xn)

(xi x0) . . . (xi xi1)(xi xi+1) . . . (xi xn)=j6=i

x xj

xi xj,

zatem li(xj) = ij. NiechDelta Kro-neckera.

L(x) =

ni=0

f(xi)li(x) wielomian interpolacyjny Lagrangea.(59)

Wic

L(xj) =

ni=0

f(xi)li(xj) = f(xj), j = 0, . . . , n.

Aby wykaza jedyno przypumy, e P,Q n speniaj zaoenia twierdzenia.Wtedy W(x) = P(x) Q(x) n zeruje si w n + 1 punktach x0, . . . , xn. Na mocyzasadniczego twierdzenia algebry W 0, zatem P = Q.Uwaga 4.7. W powyszym twierdzeniu zamiast przedziau [a, b] R mona rozpatry-wa zbir zwarty K C.Uwaga 4.8. Ukad {lj}j tworzy baz n.

65

Dowd. Oczywicie span{l0, . . . , ln} = n. Wystarczy wykaza, e l0, . . . , ln s liniowoniezalene. Niech

P(x) =

nj=0

djlj(x) = 0.

Skoro lj(xi) = ij to

P(xi) = di, i = 0, . . . , n.

Wic d0 = d1 = . . . = dn = 0, co koczy dowd.

Z istnienia i jednoznacznoci interpolacji wielomianowej dla xi 6= xj dostajemy, e

det (xji) = V(x0, . . . , xn) = det

1 x0 . . . x

n0

......

. . ....

1 xn . . . xnn

6= 0.

Dzieje si tak dlatego, e dla bazy Lagrangea dostajemy macierz jednostkow In+1.Wyznacznik V(x0, . . . , xn) nazywamy wyznacznikiem Vandermondea.

Jak wida po dodaniu nowego wza, aby znale wielomian interpolacyjnyLagrangea naley ponownie wyznaczy wielomiany lj(x), j = 0, . . . , n+1. Sprbujmypozby si tej niedogodnoci. Jako baz n przyjmijmy

p0(x) = 1,

p1(x) = x x0,

...

pn(x) = (x x0)(x x1) . . . (x xn1).

Oczywicie {pj}nj=0 n oraz n = span{p0, . . . , pn}. Niech

P(x) =

ns=0

bsps(x)

oznacza wielomian interpolacyjny Newtona.Korzystajc z uwagi 4.2 (dla c = (b0, . . . , bn)) macierz A przyjmuje posta

A = (pj(xi)) =

1 0 0 . . . 0

1 x1 x0 0 . . . 0

1 x2 x0 (x2 x0)(x2 x1) 0...

......

. . ....

1 xn x0 (xn x0)(xn x1) . . . (xn x0) . . . (xn xn1)

Zatem, jako wniosek z twierdzenia 4.6 otrzymujemy

Twierdzenie 4.9. Jeli xi 6= xj dla i 6= j to wielomian interpolacyjny w postaciNewtona jest wyznaczony jednoznacznie. Liczby bj wyznacza si z ukadu rwna omacierzy trjktnej.

66

Zalet postaci Newtona jest to, e dodanie nowego wza xn+1 (takiego, e xn+1 6=xj, j = 0, . . . , n) nie zmienia wartoci b0, . . . , bn. Istotnie, oznaczmy przez P0..n(x)(dowolny) wielomian interpolacyjny przechodzcy przez wzy x0, . . . , xn, wwczas

P0..n+1(x) = P0..n(x) + bn+1pn+1(x),

gdzie

pn+1(x) = (x x0) . . . (x xn).

Dzieje si tak dlatego, e macierz A zostaje powikszona o jeden wiersz i jedn kolumn

A -A 0

Rysunek 8:

Istniej wzory na wspczynniki bj wielomianu interpolacyjnego Newtona. Zwi-zane s one z ilorazami rnicowymi.

4.2 Ilorazy rnicowe.

Dana niech bdzie funkcja f : [a, b] R oraz podzia n = {x0, . . . , xn} przedziau[a, b] (xi 6= xj dla i 6= j). Deniujemy