Praktikum iz numerickih metoda u statisticiˇ · Ideja Newtonove metode (metode tangente) je...

Praktikum iznumerickihmetoda ustatistici

Tina Bosner &Saša Singer

Rješavanjenelinearnihjednadžbi

Praktikum iz numerickih metoda u statisticiRješavanje nelinearnih jednadžbi

Tina Bosner & Saša Singer



RješavanjenelinearnihjednadžbiIterativne metode ibrzina konvergencije

Metoda bisekcije

Newtonova metoda

Metoda sekante

Metoda jednostavneiteracije

Newtonova metodaza višestrukenultocke

Zadaci

Rješavanje nelinearnih jednadžbi

Primjer

Neka su dana opažanja {1,1,1,1,1,1,2,2,2,3}logaritamske distribucije sa gustocom

p(x | θ) =θx

x(− ln (1− θ))za x = 1,2,3, . . . , 0 < θ < 1.

Tada je, ako zanemarimo konstantu, logvjerodostojnost dana funkcijom

f (θ) =

(n∑

i=1

xi

)ln θ − n ln (− ln (1− θ)),

koju želimo maksimizirati.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Primjer (nastavak)Traženje maksimuma funkcije f svodi se na traženjenjene stacionarne tocke.Rješavanje jednadžbe vjerodostojnosti znacipronalaženje korijena derivacije od f , tj.

f ′(θ) =

∑ni=1 xi

θ+

n(1− θ) ln (1− θ)

= 0.

U našem slucaju∑n

i=1 xi = 15 i n = 10.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

-30

-20

-10

0

10

20

30

0 0.2 0.4 0.6 0.8 1

f(x)df(x)

0

Slika: Log vjerodostojnost logaritamske distribucije i njenaderivacija iz primjera




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

U statistici važno mjesto zauzima rješavanje problemamaksimuma vjerodostojnosti i nelinearnih najmanjihkvadrata.Oba problema su zapravo pitanje optimizacije, ali se unekim slucajevima svode na problem rješavanjanelinearnih jednadžbi (u smislu traženja stacionarnetocke).Dakle, za pocetak, baviti cemo se rješavanjem jednenelinearne jednadžbe.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Iterativne metode i brzina konvergencije

Problem: za zadanu nelinearnu funkciju f : I → R, gdjeje I neki interval, tražimo sve one x ∈ I za koje je

f (x) = 0.

U pravilu, pretpostavljamo da je f neprekidna na I i dasu joj nultocke izolirane.Ako je f neprekidna na [a,b], i vrijedi f (a) · f (b) < 0,onda f sigurno ima nultocku na [a,b].Za nultocku xk cemo reci da je izolirana ako postojikrug nekog pozitivnog radijusa oko xk takav da je xkjedina nultocka unutar tog kruga. U protivnom, kažemoda je nultocka neizolirana.Kod neizoliranih nultocaka postoji problemkonvergencije algoritama za nalaženje nultocaka.Odsad nadalje, pretpostavljano da f ima samo izoliranenultocke.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Traženje nultocki na zadanu tocnost sastoji se od dvije faze:1 Izolacije jedne ili više nultocki, tj. nalaženje intervala I

unutar kojeg se nalazi barem jedna nultocka. Ovo jeteži dio posla i obavlja se na temelju analize tokafunkcije.

2 Iterativno nalaženje nultocke na traženu tocnost.Postoji mnogo metoda za nalaženje nultocaka nelinearnihfunkcija na zadanu tocnost. One se bitno razlikuju po tome

imamo li sigurnu konvergenciju ili ne,i po brzini konvergencije (kad konvergiraju).

Uobicajeno:brze metode nemaju sigurnu konvergenciju,dok je sporije metode imaju.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Definicija

Niz iteracija (xn,n ∈ N0) konvergira prema tocki α s redomkonvergencije p, p > 1, ako je p najveci broj takav da vrijedi

|α− xn| 6 c|α− xn−1|p, n ∈ N

za neki c > 0. Ako je p = 1, kažemo da niz konvergiralinearno prema α. U tom je slucaju nužno da je c < 1 iobicno se c naziva faktor linearne konvergencije.

NapomenaZa p = 1 i c < 1 je katkad mnogo lakše dokazati relaciju

|α− xn| 6 cn|α− x0|, n ∈ N

umjesto one iz definicije




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Metoda bisekcije

Najjednostavnija metoda nalaženja nultocaka funkcijeje metoda bisekcije ili raspolavljanja.Osnovna pretpostavka za pocetak algoritmaraspolavljanja je neprekidnost funkcije f na intervalu[a,b], s tim da u rubovima intervala vrijedi

f (a) · f (b) < 0.

To znaci da f ima na [a,b] barem jednu nultocku.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Oznacimo s α pravu nultocku funkcije, a zatim sa0 := a,b0 := b ix0 :=polovište intervala [a0,b0], tj.

x0 =a0 + b0

2.

Ideja metode: u n-tom koraku algoritmakonstruiramo interval [an,bn] kojemu jeduljina = polovina duljine prethodnog intervala,ali tako da je nultocka ostala unutar intervala [an,bn].




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Konstrukcija intervala [an,bn] sastoji se u raspolavljanjuintervala [an−1,bn−1] tockom xn−1 i to tako da je

an = xn−1, bn = bn−1 ako je f (an−1) · f (xn−1) > 0,an = an−1, bn = xn−1 ako je f (an−1) · f (xn−1) < 0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Slika: Graficki prikaz nalaženja nultocke metodom bisekcije.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Konvergencija i zaustavljanje algoritma

TvrdnjaAko vrijede startne pretpostavke za metodu raspolavljanja,ona ce konvergirati prema nekoj nultocki iz intervala [a,b].

Nultocku smo našli sa zadanom tocnošcu ε ako je

|α− xn| 6 ε.

Kako cemo znati da je to ispunjeno, ako ne znamo α?Buduci da je xn polovište intervala [an,bn] i α ∈ [an,bn],onda je

|α− xn| 6 bn − xn =12

(bn − an),

pa je dovoljno zahtijevati

bn − xn 6 ε.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Algoritam

% Metoda raspolavljanjax=(a + b)/2;while b - x > epsilon

if f(x) * f(b) < 0a := x;

elseb := x;

endx = (a + b) / 2;

end% Na kraju je x ≈ α.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Ocjena greške

Iz konstrukcije metode, lako se izvodi pogreška n-teaproksimacije xn nultocke α. Vrijedi:

|α− xn| 6 bn − xn =12(bn − an) =

122 (bn−1 − an−1)

= · · · = 12n+1 (b − a).

Nadalje, vrijedi (b − a)/2 = b − x0 = x0 − a, pa slijedi da je

|α− xn| 612n (b − x0) =

12n (x0 − a).

Ova relacija podsjeca na linearnu konvergenciju, ali sezdesna ne pojavljuje |α− x0|. Ipak, desna strana dajenaslutiti da ce konvergencija biti dosta spora.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Relacija

|α− xn| 61

2n+1 (b − a)

omogucava da se unaprijed odredi koliko je korakaraspolavljanja potrebno da bismo postigli tocnost ε.Da osiguramo |α− xn| 6 ε, dovoljno je zahtjevati

12n+1 (b − a) 6 ε,

iz cega slijedi

n >ln (b − a)− ln ε

ln 2− 1, n ∈ N0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Ako je funkcija f klase C1[a,b] onda se iz Teoremasrednje vrijednosti može dobiti i dinamicka ocjenagreške:

|f (xn)| = |f ′(ξ)||α− xn|,pri cemu je ξ izmedu xn i α.Iz

|f ′(ξ)| > m1, m1 = minx∈[a,b]

|f ′(x)|,

ako je m1 > 0, imamo

|α− xn| 6|f (xn)|

m1.

Drugim rijecima, ako želimo da je |α− xn| 6 ε, dovoljnoje zahtijevati da je

|f (xn)|m1

6 ε.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Newtonova metoda

Pretpostavimo da je funkcija f barem neprekidnoderivabilna na nekoj domeni, (idealno na cijelom R).Nadalje, neka je zadana, ili nekako izabrana, pocetnatocka x0.Ideja Newtonove metode (metode tangente) je povucitangentu na graf funkcije f u tocki (x0, f (x0)), i definiratinovu aproksimaciju x1 u tocki gdje ta tangenta sijece osx, tj. aproksimirati nultocku funkcije nultockomtangente.Isti postupak možemo ponoviti u tocki x1 i dobiti tockux2, pa iz x2 x3, itd.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Slika: Graficki prikaz nalaženja nultocke Newtonovom metodom.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Geometrijski izvod metode je jednostavan.U tocki xn napišemo jednadžbu tangente i pogledamogdje tangenta sijece os x .Jednadžba tangente je

y − f (xn) = f ′(xn)(x − xn).

Iz zahtjeva y = 0 za x = xn+1, izlazi da je novaaproksimacija xn+1 dana izrazom

xn+1 = xn −f (xn)

f ′(xn), n > 0.

Za racunanje je dovoljno pretpostaviti da f ′(xn) postoji ida je f ′(xn) 6= 0 u svim tockama xn.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Relacija za grešku Newtonove metode

Neka je α neka nultocka funkcije f i pretpostavimo da jef ∈ C2(I), gdje je I segment takav da je α ∈ I.Neka je xn ∈ I bilo koja tocka, tj. neka aproksimacija zaα, onda funkciju f možemo razviti u Taylorov red okoxn, do ukljucivo prvog clana.Za x ∈ I, dobivamo

f (x) = f (xn) + f ′(xn)(x − xn) +f ′′(ξn)

2(x − xn)

2,

pri cemu je ξn izmedu x i xn, tj. ξn ∈ I.Uvrštavanjem nultocke x = α ∈ I, uz pretpostavkuf ′(xn) 6= 0, i preuredivanjem dobivamo

α = xn −f (xn)

f ′(xn)− (α− xn)

2 f ′′(ξn)

2f ′(xn).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Oduzimanjem prethodne jednakosti i

xn+1 = xn −f (xn)

f ′(xn)

dobivamo izraz koji veže greške dviju susjednih iteracija

α− xn+1 = −(α− xn)2 f ′′(ξn)

2f ′(xn).

Medutim, sasvim opcenito greška se ne morasmanjivati, naime, bez dodatnih pretpostavki, cak i akostartamo u nekom intervalu I = [a,b], nema garancije

da aproksimacije ostaju u tom intervalu I,a kamo li da konvergiraju.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Konvergencija Newtonove metode

Newtonova metoda ne mora konvergirati premanultocki, ali konvergira kada je xn dovoljno blizu α.Takva konvergencija se zove lokalna konvergencijametode.

Teorem (Brzina lokalne konvergencije)

Neka je α jednostruka nultocka funkcije f i pretpostavimo daje f ∈ C2(I) na nekom segmentu I koji sadrži nultocku α.Ako niz aproksimacija xn generiran Newtonovom metodomkonvergira prema α, onda je brzina konvergencije (barem)kvadratna, i na limesu vrijedi

limn→∞

α− xn+1

(α− xn)2 = − f ′′(α)

2f ′(α).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Odavde citamo da je Newtonova metoda, kadkonvergira, (barem) kvadratno konvergentna.Ako je f ′′(α) = 0, konvergencija može biti i brža odkvadratne! Ipak, treba biti oprezan, jer takav zakljucakvrijedi samo ako je f ′(α) 6= 0, tj. α je jednostrukanultocka.Za višestruke nultocke ovo ne vrijedi, jer konvergencijamože biti i samo linearna.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

TeoremNeka je α jednostruka nultocka funkcije f i neka je

Iε := {x ∈ R | |x − α| 6 ε}

segment radijusa ε oko α. Pretpostavimo da je f ∈ C2(Iε) zasve dovoljno male ε > 0. Definiramo brojeve

m1(ε) := minx∈Iε|f ′(x)|, M2(ε) := max

x∈Iε|f ′′(x)|,

i, na kraju

M(ε) :=M2(ε)

2m1(ε).

Ako je ε toliko mali da vrijedi 2εM(ε) < 1, onda je, za bilokoju startnu tocku x0 ∈ Iε Newtonova metoda dobrodefinirana, i konvergira barem kvadratno prema jedinojnultocki α ∈ Iε.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

U nekim situacijama možemo iskoristiti ovaj rezultat olokalnoj konvergenciji za osiguranje konvergencijeNewtonove metode.Pretpostavimo da smo locirali nultocku funkcije f usegmentu [a,b] i znamo da je f ∈ C2[a,b]. Neka je“globalno”

M2 = maxx∈[a,b]

|f ′′(x)|, m1 = minx∈[a,b]

|f ′(x)|.

Pretpostavimo još da je f strogo monotona na [a,b], štoje ekvivalentno s m1 > 0.Tada f ima jedinstvenu jednostruku nultocku α u [a,b].




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

To znaci da imamo sve osnovne pretpostavkeprethodnog teorema o lokalnoj konvergencijiNewtonove metode i još znamo da je f ′ 6= 0 na [a,b].Umjesto “lokalnog” M(ε), izracunamo “globalnu”velicinu

M :=M2

2m1.

Sad možemo pokušati izabrati ε tako da vrijediIε ⊆ [a,b], pa mora biti M > M(ε),i da je εM < 1 (u dokazu prethodnog teorema, uvjet2εM < 1 trebao je samo za dokaz da je f ′ 6= 0, što vecimamo, a za ostatak dokaza bio je dovoljan ovaj slabijiuvjet).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Ocjena greške iteracija u Newtonovoj metodi

Pretpostavimo da sve iteracije xn leže unutar intervala[a,b]. Onda možemo dobiti i ocjenu lokalne greškesusjednih iteracija u Newtonovoj metodi, u terminimavelicina M2 i m1.Iz ranije relacije za grešku

α− xn = −(α− xn−1)2 f ′′(ξn−1)

2f ′(xn−1),

gdje je ξn−1 izmedu nultocke α i xn−1, odmah slijedi

|α− xn| 6M2

2m1(α− xn−1)

2.

Za dvije susjedne iteracije xn−1 i xn u Newtonovojmetodi, takoder, vrijedi veza preko Taylorove formule

f (xn) = f (xn−1)+f ′(xn−1)(xn−xn−1)+f ′′(ξn−1)

2(xn−xn−1)

2,




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

pri cemu je ξn−1 izmedu xn−1 i xn, što zajedno sadefinicijom iteracija u Newtonovoj metodi

f (xn−1) + f ′(xn−1)(xn − xn−1) = 0,

daje

f (xn) =f ′′(ξn−1)

2(xn − xn−1)

2.

Sad iskoristimo pretpostavku da je xn−1, xn ∈ [a,b], paonda mora biti i ξn−1 ∈ [a,b]. Dobivamo

|f (xn)| 6M2

2(xn − xn−1)

2.

Kao i kod metode bisekcije, ako je m1 > 0, vrijediocjena

|α− xn| 6|f (xn)|

m1.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Kombinacijom ovih ocjena dobivamo ocjenu greške zasvaku iteraciju xn u Newtonovoj metodi

|α− xn| 6M2

2m1(xn − xn−1)

2.

Ako je ε tražena tocnost, onda zahtjev

M2

2m1(xn − xn−1)

2 6 ε

garantira da je |α− xn| 6 ε, do na greške zaokruživanja.Pripadni test zaustavljanja iteracija u Newtonovojmetodi je

|xn − xn−1| 6

√2m1ε

M2.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Naravno, uz ovaj, možemo koristiti i raniji testzaustavljanja

|f (xn)| 6 m1ε,

uz veznik “ili”, tj. pitamo je li ispunjen jedan ili drugi.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Globalno konvergentna Newtonova metoda

Iz prethodnih teorema znamo da ako smo dovoljnoblizu nultocke, Newtonove iteracije ce konvergirati, a daopcenito, ne moraju konvergirati. Medutim, u tomslucaju se možemo “približiti” nultocki iteracijamabisekcije.Dakle, novu aproksimaciju prihvacamo ako je

|f (xn+1)| < |f (xn)|,

a u suprotnom, zakljucujemo da nas je Newtonovaiteracija dovela predaleko i da korak moramo smanjiti.Stoga umjesto xn+1 uzimamo (xn+1 + xn)/2 kao novuaproksimaciju, te postupak polovljenja ponavljamo svedok prethodni uvjet ne bude zadovoljen. Time dolazimodo sljedeceg algoritma:




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Algoritam (Globalno konvergentna Newtonova metoda)v = f (x0);if |v | < ε

Stop. % Pocetna aproksimacija je dovoljno dobra.endfor k=1:N

x1 = x0 − v/f ′(x0);w = f (x1);while |w | > |v |

x1 = (x1 + x0)/2;w = f (x1);

endif |x1 − x0| < ε | |w | < δ

Stop. % Metoda je konvergirala. Izlaz x1.else

x0 = x1;v = w;

endend




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Globalna konvergencija Newtonove metode

U analizi konvergencije i ocjenama greške koristili smopretpostavku da je

f strogo monotona na [a,b],tj. da prva derivacija f ′ ima fiksni predznak na [a,b].

Ako i druga derivacija ima fiksni predznak na tom intervalu,onda možemo dobiti i

globalnu konvergenciju Newtonove metode,uz odgovarajuci izbor startne tocke x0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Teorem

Neka je f ∈ C2[a,b] i neka je f (a) · f (b) < 0. Ako prva idruga derivacija f ′ i f ′′ nemaju nultocku u [a,b], tj. ako f ′ i f ′′

imaju konstantan predznak na [a,b], onda Newtonovametoda konvergira prema jedinstvenoj jednostrukoj nultockiα funkcije f u [a,b], i to za svaku startnu aproksimacijux0 ∈ [a,b], za koju vrijedi

f (x0) · f ′′(x0) > 0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Izbor startne tocke za Newtonovu metodu

Uvjet f (x0) · f ′′(x0) > 0 na izbor startne tocke uprethodnom teoremu ima vrlo jednostavnugeometrijsku interpretaciju: ako pogledamo graffunkcije f na [a,b], startnu tocku x0 treba odabrati na“strmijoj” strani grafa funkcije.

Slika: Izbor startne tocke x0 ako je f ′ > 0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci Slika: Izbor startne tocke x0 ako je f ′ < 0.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Metoda sekante

Ako ne znamo derivaciju f ′ funkcije f , ili se ona teškoracuna, onda možemo tangentu aproksimiratisekantom kroz dvije startne tocke x0 i x1, tj. derivacijuaproksimirati podijeljenom razlikom

f ′(x0) ≈f (x1)− f (x0)

x1 − x0= f [x0, x1].

Tako dobivamo metodu sekante.Ideja metode sekante je povuci sekantu na graf funkcijef u tockama (x0, f (x0)) i (x1, f (x1)), i definirati novuaproksimaciju x2 u tocki u kojoj ta sekanta sijece os x,tj. aproksimirati nultocku funkcije nultockom sekante.Postupak nastavljamo povlacenjem sekante krozposljednje dvije tocke (x1, f (x1)) i (x2, f (x2)), i takoredom.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Slika: Graficki prikaz nalaženja nultocke metodom sekante.

NapomenaMetoda sekante takoder ne mora konvergirati!




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Geometrijski izvod metode je jednostavan. Napišemojednadžbu sekante u tockama xn−1 i xn i pogledamogdje taj pravac sijece os x.Jednadžba sekante je

y − f (xn) =f (xn)− f (xn−1)

xn − xn−1(x − xn).

Iz zahtjeva y = 0 za x = xn+1, izlazi da je novaaproksimacija xn+1 dana izrazom

xn+1 = xn − f (xn)xn − xn−1

f (xn)− f (xn−1), n > 1.

Za racunanje je dovoljno pretpostaviti da jef (xn) 6= f (xn−1) u svim “susjednim” tockama xn−1 i xn.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Relacija koja povezuje greške susjednih aproksimacijaima oblik

α− xn+1 = −(α− xn)(α− xn−1)f ′′(ζn)

2f ′(ξn),

gdje je ζn izmedu xn−1, xn i α, a ξn izmedu xn−1 i xn.Iz ove relacije može se izracunati red konvergencijemetode sekante, uz odgovarajuce pretpostavke.Dobivamo

p =1 +√

52

≈ 1.618.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Metoda jednostavne iteracije

Pretpostavimo da tražimo α, rješenje jednadžbe

x = ϕ(x).

Definiramo jednostavnu iteracijsku funkciju s

xn+1 = ϕ(xn), n > 0,

uz x0 kao pocetnu aproksimaciju za α. Rješenja, tj.tocke za koje je x = ϕ(x), zovu se fiksne tocke funkcijeϕ.Newtonova metoda, takoder, pripada klasi jednostavnihiteracija, jer je

ϕ(x) = x − f (x)

f ′(x).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Jednostavne neprekidne iteracijske funkcije

LemaNeka je funkcija ϕ neprekidna na [a,b] i neka je

a 6 ϕ(x) 6 b, ∀x ∈ [a,b],

u oznaci ϕ([a,b]) ⊆ [a,b]. Tada jednostavna iteracijax = ϕ(x) ima bar jedno rješenje na [a,b].




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

LemaNeka je funkcija ϕ neprekidna na [a,b] i neka je

ϕ([a,b]) ⊆ [a,b].

Nadalje, pretpostavimo da postoji konstanta q, takva da je0 < q < 1 i vrijedi

|ϕ(x)− ϕ(y)| 6 q|x − y |, ∀x , y ∈ [a,b].

Tada x = ϕ(x) ima jedinstveno rješenje α unutar [a,b].Takoder, niz iteracija

xn = ϕ(xn−1), n > 1

konvergira prema α za proizvoljni x0 ∈ [a,b].




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Jednostavne derivabilne iteracijske funkcije

Teorem

Neka je ϕ ∈ C1[a,b] takva da je ϕ([a,b]) ⊆ [a,b] i neka je

q := M1 = maxx∈[a,b]

|ϕ′(x)| < 1.

Tada vrijedi:1 x = ϕ(x) ima tocno jedno rješenje α ∈ [a,b],2 za proizvoljni x0 ∈ [a,b] i jednostavnu iteraciju

xn+1 = ϕ(xn), n > 0 vrijedi

limn→∞

xn = α,

|α− xn| 6 qn|α− x0|,

limn→∞

α− xn+1

α− xn= ϕ′(α).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Ocjena greške za metodu jednostavne iteracije

Pretposljednja nejednakost iz Teorema znaci dajednostavna iteracija konvergira linearno s faktorom q.Uz uvjete iz prethodnog teorema, lako se izvodi ocjenagreške za metodu jednostavne iteracije.Za dvije susjedne iteracije xn = ϕ(xn−1) ixn−1 = ϕ(xn−2) vrijedi

|xn − xn−1| = |ϕ(xn−1)− ϕ(xn−2)|= |ϕ′(ξn−1)||xn−1 − xn−2| 6 q|xn−1 − xn−2|,

pri cemu je ξn−1 izmedu xn−2 i xn−1. Prethodnu relacijumožemo raspisati kao

|xn − xn−1| 6 q|xn−1 − xn−2| = · · · = qn−1|x1 − x0|.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Kriterij zaustavljanja

dinamicki kriterij za zaustavljanje procesa

|xn − xn−1| 6ε(1− q)

q.

Ako želimo unaprijed znati broj iteracija, trebazahtijevati

qn

1− q|x1 − x0| 6 ε,

pa dobivamo

n >ln ε(1−q)|x1−x0|

ln q=

ln ε+ ln (1− q)− ln |x1 − x0|ln q

.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Kriterij zaustavljanja možemo napisati i ovisno o rubnimtockama intervala a i b. Vrijedi

|x1 − α| = |ϕ(x0)− ϕ(α)| 6 q|x0 − α||x2 − α| = |ϕ(x1)− ϕ(α)| 6 q|x1 − α| 6 q2|x0 − α|

...|xn − α| = |ϕ(xn−1)− ϕ(α)| 6 · · · 6 qn|x0 − α|.

Buduci da je |x0 − α| 6 |b − a|, dobivamo|xn − α| 6 qn|b − a|, odakle slijedi još jedan statickikriterij zaustavljanja

n >ln ε|b−a|

ln q=

ln ε− ln |b − a|ln q

.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Pojednostavljeni teorem

Teorem o konvergenciji možemo napisati i malo drugacije.

TeoremNeka je α rješenje jednostavne iteracije x = ϕ(x) i neka je ϕneprekidno diferencijabilna na nekoj okolini od α i neka je|ϕ′(α)| < 1. Tada vrijede svi rezultati prethodnog teorema,uz pretpostavku da je x0 dovoljno blizu α.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Iterativne metode viših redova

TeoremNeka je α rješenje od x = ϕ(x) i neka je ϕ p putaneprekidno diferencijabilna za sve x u okolini α, za nekip > 2. Nadalje, pretpostavimo da je

ϕ′(α) = · · · = ϕ(p−1)(α) = 0.

Ako je startna vrijednost x0 dovoljno blizu α, iteracijskafunkcija

xn+1 = ϕ(xn), n > 0,

imat ce red konvergencije p i vrijedi

limn→∞

α− xn+1

(α− xn)p = (−1)p−1ϕ(p)(α)

p!.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Analiza Newtonove metode

Korištenjem prethodnog teorema možemo analizirati iNewtonovu metodu za koju je

ϕ(x) = x − f (x)

f ′(x).

Deriviranjem dobivamo da je

ϕ′(x) = 1− (f ′(x))2 − f (x)f ′′(x)

(f ′(x))2 =f (x)f ′′(x)

(f ′(x))2 ,

pa jeϕ′(α) = 0,

uz pretpostavku da je f ′(α) 6= 0, tj. da je nultocka jejednostruka.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Na slican nacin, dobivamo

ϕ′′(α) =f ′′(α)

f ′(α).

Ako je f ′′(α) 6= 0, možemo pokazati da je redkonvergencije Newtonove metode jednak 2.Ako je f ′(α) 6= 0, f ′′(α) = 0, onda ce red konvergencijebiti barem 3.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Newtonova metoda za višestruke nultocke

Promotrimo što ce se dogoditi s konvergencijomNewtonove metode, ako funkcija f ima neprekidnihprvih p + 1 derivacija i p-struku nultocku u α, uz p > 2,tj. ako se funkcija f može zapisati kao

f (x) = (x − α)ph(x), h(α) 6= 0.

Tada vrijedi

f (α) = f ′(α) = · · · = f (p−1)(α) = 0, f (p)(α) 6= 0.

Promotrimo Newtonovu metodu kao jednostavnuiteraciju,

xn+1 = ϕ(xn), ϕ(x) = x − f (x)

f ′(x).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Uvrstimo li pretpostavku o obliku funkcije f i njezinederivacije f ′, imamo

ϕ(x) = x − (x − α)h(x)

p h(x) + (x − α)h′(x).

Deriviranjem funkcije ϕ i uvrštavanjem x = α dobivamo

ϕ′(α) = 1− 1p6= 0, za p > 1,

što pokazuje linearnu konvergenciju.Prema vec dokazanom teoremu, faktor konvergencijebit ce ϕ′(α) = 1− 1

p , što je vrlo sporo. U prosjeku to jepodjednako brzo kao bisekcija za p = 2 ili cak lošije odbisekcije za p > 3.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Newtonovu metodu možemo popraviti na dva nacinaako tocno znamo red nultocke,ako ne znamo red nultocke.

Želimo popraviti Newtonovu metodu za p-strukunultocku, p > 2, ako znamo p. Definiramo iteracijskufunkciju

ϕ(x) = x − pf (x)

f ′(x).

Tada je

ϕ′(x) = 1− p(f ′(x))2 − f (x)f ′′(x)

(f ′(x))2 = 1− p + pf (x)f ′′(x)

(f ′(x))2 .

Iskoristimo li oblik funkcije f , dobivamo da je

limx→α

f (x)f ′′(x)

(f ′(x))2 = 1− 1p.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Odatle odmah slijedi

limx→α

ϕ′(x) = 0,

što pokazuje da ova modifikacija osigurava baremkvadratno konvergentnu metodu.Ako unaprijed ne znamo p, primijetimo da funkcija

u(x) =f (x)

f ′(x)=

(x − α)h(x)

p h(x) + (x − α)h′(x)

ima jednostruku nultocku u α.Drugim rijecima, obicna Newtonova metoda, aliprimijenjena na u(x) konvergirat ce kvadratno,

xn+1 = xn −u(xn)

u′(xn),




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

gdje je

u′(x) =(f ′(x))2 − f (x)f ′′(x)

(f ′(x))2 = 1− f ′′(x)

f ′(x)u(x),

što pokazuje da cemo dobiti kvadratnu konvergenciju,iako ne znamo red nultocke, ali uz racunanje još jednederivacije funkcije (f ′′).Slicno vrijedi i za metodu sekante, koju cemo ubrzati,kao da radimo s jednostrukim nultockama, akoprimijenimo metodu sekante za funkciju u

xn+1 = xn − u(xn)xn − xn−1

u(xn)− u(xn−1).

I u ovom slucaju postoji “cijena”, a to je racunanje f ′.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Zadaci

ZadatakNapišite M-file za funkciju bisekcija() koja pomocumetode bisekcije racuna aproksimaciju nultocke danefunkcije. Ulazni parametri neka su:

funkcija f ,rubne tocke pocetnog intervala a i b,tolerancija eps,

a izlazni:aproksimacija nultocke x,broj iteracija k potrebnih za postizanje dane tocnosti,polja A, B, X i FX u kojima se u svakom korakuspremaju a, b, x i f (x).




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakNapišite M-file za funkciju newton() koja pomocuNewtonove metode racuna aproksimaciju nultocke danefunkcije. Ulazni parametri neka su:

funkcija f i njena derivacija df ,pocetna aproksimacija x0,tolerancije eps i del,maksimalni broj koraka N,

a izlazni:aproksimacija nultocke x,broj iteracija k potrebnih za postizanje dane tocnosti,polja X, FX i KOR u kojima se u svakom korakuspremaju x, f (x) i kor .




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Zadatak (nastavak)kor je korekcija koja se dodaje prošloj iteraciji da bidobili trenutnu, tj.

kor =f (xn−1)

f ′(xn−1), xn = xn−1 − kor ,

zapravo kor daje razliku uzastopnih iteracija.Kriterij zaustavljanja je |xn − xn−1| < eps ili |f (xn)| < delili je broj iteracija dosegnuo N.U kriteriju zaustavljanja koristite while petlju sa danimkriterijima.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakNapišite M-file za funkciju newton_glob() koja pomocuglobalno konvergentne Newtonove metode racunaaproksimaciju nultocke dane funkcije. Ulazni parametri nekasu:

funkcija f i njena derivacija df ,pocetna aproksimacija x0,tolerancije eps i del,maksimalni broj koraka N,

a izlazni:aproksimacija nultocke x,broj iteracija k potrebnih za postizanje dane tocnosti,polje KBIS duljine k, gdje je KBIS(k) broj korakabisekcije napravljenih u k-tom koraku metode,




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Zadatak (nastavak)polja X, FX i RAZL u kojima se u svakom koraku(ukljucujuci i korake bisekcije) spremaju x, f (x) i razlikatrenutne iteracije i prethodne.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakNapišite M-file za funkciju sekanta() koja pomocu metodesekante racuna aproksimaciju nultocke dane funkcije.Ulazni parametri neka su:

funkcija f ,pocetne aproksimacije x0 i x1,tolerancije eps i del,maksimalni broj koraka N.

Izlazni parametri i kriteriji zaustavljanja isti su kao i kodNewtonove metode.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakNapišite M-file za funkciju newton_visestr_nult() ukojoj cete modificirati Newtonovu metodu za višestrukenultocke. Funkcija ima iste ulazne i izlazne parametre kao ikod Newtonove metode, osim što još ima kao dodatni ulazniparametar i kratnost nultocke p.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

Zadatak

Izracunajte 3√

1.5 tako da tražite realnu nultocku funkcije

f (x) = x3 − 1.5.

Nultocku cete tražiti u intervalu [1,2].Usporedite metode bisekcije, Newtonovu i sekante(narcito broj iteracija).Za odredivanje pocetne iteracije Newtonove metodekoristite Teorem o globalnoj konvergenciji Newtonovemetode.Tražena tocnost je eps = del = 10−8.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakRacunajte nultocku (α = 0) funkcije

f (x) = arctg(x)

Newtonovom obicnom i globalno konvergentnommetodom metodom.Za pocetne iteracije uzmite

x0 = 1, ±1.39174520027073489, 5.

Tražena tocnost je eps = del = 10−10.




Metoda bisekcije

Newtonova metoda

Metoda sekante



Zadaci

ZadatakFunkcija

f (x) = x3 − 5.56x2 + 9.1389x − 4.68999

ima dvostruku nultocku u x = 1.23.Usporedite obicnu Newtonovu, modificiranu Newtonovumetodu za dvostruku nultocku (p = 2) i obicnuNewtonovu metodu primijenjenu na funkciju u = f/f ′.Za pocetnu iteraciju uzmite x0 = 1.5.Tražena tocnost je eps = del = 10−10.Promotrite ponašanje korekcija svake metode.

Praktikum iz numerickih metoda u statisticiˇ · Ideja Newtonove metode (metode tangente) je...

Documents

Transcript of Praktikum iz numerickih metoda u statisticiˇ · Ideja Newtonove metode (metode tangente) je...