rje avanje nelinearnih sustava - naslovnica | pmfzadaci rješavanje nelinearnih sustava tražimo...

40
Praktikum iz numeriˇ ckih metoda u statistici Tina Bosner Rješavanje nelinearnih sustava Praktikum iz numeriˇ ckih metoda u statistici Rješavanje nelinearnih sustava Tina Bosner

Upload: others

Post on 21-Jan-2020

12 views

Category:

Documents


3 download

TRANSCRIPT

Page 1: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

Rješavanjenelinearnihsustava

Praktikum iz numerickih metoda u statisticiRješavanje nelinearnih sustava

Tina Bosner

Page 2: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Rješavanje nelinearnih sustava

Tražimo riješenje sistema nelinearnih jednadžbi, tj. zadani F : Rn ← Rn želimo naci x∗ ∈ Rn takava da je

F (x∗) = 0.

Pretpostavit cemo da je F neprekidno diferencijabilna.Najcešce se koriste Newtonova metoda, njezinevarijante i Broydenova metoda.Kažemo da je xk aproksimacija od x∗ sa tocnošcu ε akovrijedi

‖xk − x∗‖ 6 ε

u nekoj normi ‖ · ‖ na Rn.

Page 3: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Newtonova metoda za sustave nelinearnihjednadžbi

Newtonova metoda za sustave nelinearnih jednadžbi,se kao i kod jednodimenzionalnog slucaja, dobivapronalaženjem korijena afine aprosimacije funkcije F utrenutnoj tocki xk .Promotrimo jednakost

F (xk + p) = F (xk ) +

∫ xk+p

xk

J(z) dz,

gdje je J = D F Jacobijeva matrica, tj. zaF = (f1, . . . , fn)T je

J(x)i j =∂fi∂xj

(x), i , j = 1, . . . ,n.

Page 4: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

U prethodnom izrazu integral aproksimiramo salinearnim izrazom J(xn) · p, cime dobijemo afinuaproksimaciju od F u perturbaciji p tocke xk ,

Mk (xk + p) = F (xk ) + J(xk ) · p.

Zatim tražimo korak sk za koji je Mk (xk + sk ) = 0, te nataj nacin dobivamo Newtonovu iteraciju za naš sustavjednadžbi.Dakle, pocevši od tocke x0, u svakoj iteraciji racunamo

J(xk )sk = −F (xk ),

xk+1 = xk + sk ,

sve dok nismo našli zadovoljavajucu aproksimacijunultocke.

Page 5: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Problemi:1 Jacobijeva matrica ne mora biti analiticki izracunljiva

(na primjer, u primjeni, sam F nije u analitickom obliku).U tom slucaju J(xk ) se aproksimira podjeljenimrazlikama ili nekom drugom “manje skupom” metodom.

2 J(xk ) može biti singularna ili loše uvjetovana, tako dase sustav J(xk )sk = −F (xk ) ne može pouzdano riješiti.Problem se rješava perturbiranjem matrice J(xk ) takoda se dobije bolje uvjetovan sustav, ili bolje, koristi seneka globalna metoda.

Page 6: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Prednosti Newtonove metode:1 Kvadratna konvergencija ako startamo dovoljno blizu

nultocke x∗ i ako je J(x∗) regularna.2 Tocno rješenje u jednom koraku ako je funkcija F afina.

Nedostaci Newtonove metode:1 Za mnogo problema metoda nije globalno

konvergentna.2 Metoda zahtjeva racunanje J(xk ) u svakom koraku.3 Svaki korak zahtjeva rješavanje linearnog sustava koji

može biti singularan ili loše uvjetovan.

Page 7: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Lokalna konvergencija Newtonove metode

Oznacimo sa:‖ · ‖ normu na Rn,N(x , r) otvorenu kuglu radijusa r oko x , tj.

N(x , r) = {y ∈ Rn : ‖y − x‖ < r}.

Teorem (1)

Neka je F : Rn ← Rn neprekidno diferencijabilna na nekomotvorenom konveksnom skupu D ⊂ Rn. Pretpostavimo dapostoji x∗ ∈ Rn i r , β > 0, takvi da je

N(x∗, r) ⊂ D,F (x∗) = 0,J(x∗)−1 postoji uz ‖J(x∗)−1‖ 6 β, iJ ∈ Lipγ(N(x∗, r)), tj za svaki x , y ∈ N(x∗, r) vrijedi

‖J(x)− J(y)‖ 6 γ‖x − y‖.

Page 8: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Teorem (nastavak)

Tada postoji ε > 0 takav da je za sve x0 ∈ N(x∗, ε) nizx1, x2, . . . generiran sa

xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .

dobro definiran, konvergira ka x∗, i vrijedi

‖xk+1 − x∗‖ 6 βγ‖xk − x∗‖2, k = 0,1, . . . .

Page 9: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

TeoremNeka je D ⊂ Rn otvoren skup. Nadalje, Neka je D0konveksnan skup uz D0 ⊂ D, i neka je F : D → Rn

diferencijabilna za svaki x ∈ D0 i neprekidna za svaki x ∈ D.Za x0 ∈ D0 neka su dane pozitivne konstante r , α, β, γ, h zakoje vrijedi:

N(x0, r) ⊆ D0, h :=αβγ

2< 1, r :=

α

1− h,

i neka F ima slijedeca asvojstva:‖J(x)− J(y)‖ 6 γ‖x − y‖ za svaki x , y ∈ D0,J(x)−1 postoji i zadovoljava ‖J(x)−1‖ 6 β za svakix ∈ D0,‖J(x0)−1F (x0)‖ 6 α.

Page 10: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Teorem (nastavak)Tada

1 pocevši za x0, svaka tocka

xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .

je dobro definirana i zadovoljava xk ∈ N(x0, r) za svakik > 0,

2 limk→∞ xk = x∗ postoji i zadovoljava x∗ ∈ N(x0, r) iF (x∗) = 0,

3 za svaki k > 0 je

‖xk − x∗‖ 6 αh2k−1

1− h2k .

Pošto je 0 < h < 1, Newtonova metoda je baremkvadraticno konvergentna.

Page 11: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Uz malo jace pretpostavke može se pokazati da je x∗ jedinanultocka u N(x0, r):

Teorem (Newton–Kantorovich)

Neka je dana funkcija F : D ⊆ Rn ← Rn i konveksan skupD0 ⊆ D, te neka je F neprekidno diferencijabilna na D0 ineka zadovoljava uvjete‖J(x)− J(y)‖ 6 γ‖x − y‖ za svaki x , y ∈ D0,‖J(x0)−1‖ 6 β,‖J(x0)−1F (x0)‖ 6 α,

za neki x0 ∈ D0. Definirajmo konstante

h := αβγ, r1,2 :=1∓√

1− 2hh

α.

Page 12: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Teorem (nastavak)

Ako je h 6 12 i N(x0, r1) ⊂ D0, tada niz {xk} definiran sa

xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .

ostaje unutar N(x0, r1) i konvergira jedinstvenoj nultocki odF u D0 ∩ N(x0, r2).

Page 13: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Modificirana (kvazi) Newtonova metoda

Newtonova metoda konvergira kvadraticno, ali samoako je pocetna aproksimacija x0 dovoljno blizutraženom rješenju x∗.Kako bi se izbjegao problem uskog izbora pocetneaproksimacije koristi se modificirana Newtonovametoda koja je kombinacija

Newtonove metodepretraživanje po pravcu — optimizacijska metodametode raspolavljanja

i za koju se može dokazati globalna konvergencija zaveliku klasu funkcija F .

Page 14: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Definirajmo f (x) := F (x)T F (x) = ‖F (x)‖22.Modifikacija algoritma se satoji u uvodenju dodatnogparametra λ, i smjera traženja s da bi definirali niz

xk+1 := xk − λksk ,

gdje je u našem slucajusk := dk := J(xk )−1F (xk ),a λk se odabire tako da niz {f (xk )} bude strogopadajuci i da xk konvergira minimumu funkcije f .

Pošto je f (x) > 0 za svaki x

f (x) = 0 ⇐⇒ F (x) = 0.

Page 15: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Algoritam (Modificirana Newtonova metoda)

x0 zadan;k = 0;while ∼kriterij_zaustavljanja

dk = J(xk )−1F (xk );γk = 1

κ2(J(xk )) ;Definiramo f (x) = F (x)T F (x) i fk (τ) = f (xk − τdk );Nadi najmanji cijeli broj j ≥ 0 takav da je

fk (2−j) ≤ fk (0)− 2−j γk4 ‖dk‖2‖Df (xk )‖2;

Nadi imin ∈ {0,1, . . . , j} takav da jefk (2−imin ) = mini=0,...,j fk (2−i);

λk = 2−imin ;xk+1 = xk − λkdk ;k = k + 1;

endx∗ ≈ xk ;

Page 16: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Napomene

Odmah se vidi da je

Df (x) = 2F (x)T J(x).

Pri izvršavanju danog algoritma, može se desiti da λkbude jako mali, tako da korak koji se dodaje na xk budeskoro zanemariv. U tom slucaju dobro je stavitiogranicenje na λk odozdo, tako da ako je λk < 0.01postavi se da je λk = 0.01.

Page 17: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Metoda podijeljnih razlika

Ponekad je problem izracunati Jacobijevu matricu J(xk )jer ili nemamo analiticki izraz za J(xk ), ili je njezinoanaliticko racunanje prekomplicirano i “preskupo”.U tom slucaju može se J(xk ) zamijeniti saaproksimacijom.Jacobijevu matricu matricu možemo aproksimirati takoda parcijalne derivacje zamijenimo podijeljenimrazlikama, tj. matricu

J(x) = DF (x) =[

∂F∂x1

(x) · · · ∂F∂xn

(x)]

zamijenjujemo sa matricom

∆F (x) =[

∆1F (x) · · · ∆nF (x)],

Page 18: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

gdje su

∆iF (x) =F (x1, . . . , xi + hi , . . . , xn)− F (x1, . . . , xi , . . . , xn)

hi

=F (x + hiei)− F (x)

hi.

Zbog toga za racunanje elemenata matrice ∆F (x)potrebno je još n puta izvrijedniti funkciju F .Preostaje još odrediti korake hi , i = 1, . . . ,n.

Ako je bilo koji hi prevelik, tada je ∆F (x) lošaaproksimacija od J(x), pa gornje iteracije mogukonvergirati puno sporije od egzaktne metode, akouopce konvergiraju.Ako je bilo koji hi premali, tada je F (x + hiei ) ≈ F (x),pa se kod racunanja ∆iF (x) može dogoditi fatalnokracenje.

Page 19: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Kompromis je

|hi |‖∆iF (x)‖2 ≈√

eps‖f (x)‖2,

gdje je eps mašinska tocnost.hi onda možemo naci tako da krenemo od hi = eps · xi ,i vrtimo petlju

while ‖F (x1, . . . , xi + hi , . . . , xn)− F (x1, . . . , xi , . . . , xn)‖2 <√

eps‖F (x)‖2

hi = hi · 2;end

Kod vecine “pristojnih funkcija” dovoljno ce bitihi =

√eps · xi

Page 20: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Lokalna konvergencija metode podijeljenihrazlika

TeoremNeka F i x∗ zadovoljavaju pretpostavke Teorema (1), uznormu ‖ · ‖1. Tada postoje ε,h > 0 takvi da je realni niz {xk}definiran sa

∆jF (xk ) =F (xk + hkej)− F (xk )

hk, j = 1, . . . ,n,

xk+1 = xk − (∆F (xk ))−1F (xk ), k = 0,1, . . . ,

gdje je 0 < |hk | 6 h i x0 ∈ N(x∗, ε), dobro definiran ikonvergira linearno prema x∗. Ako je

limk→∞

hk = 0,

konvergencija je superlinearna.

Page 21: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Teorem (nastavak)Ako pak postoji konstanta c1 takva da je

|hk | 6 c1‖xk − x∗‖1,

ili analogno konstanta c2 takva da je

|hk | 6 c2‖F (xk )‖1,

tada je konvergencija kvadraticna.

Definicija

Za niz {xk} kažemo da konvergira superlinearno prema x∗ako postoji niz {ck}, limk→∞ ck = 0 takav da je

‖xk+1 − x∗‖ 6 ck‖xk − x∗‖.

Page 22: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Modificirana Newtonova metoda sapodijeljenim razlikama

U modificiranu Newtonovu metodu se takoder možeumjesto J(x) koristiti aproksimativni ∆F (x).Sada iteracija Newtonove metode glasi

xk+1 = xk − λk (∆F (xk ))−1F (xk ).

Još moramo izracunati Df (x) = 2F (x)T J(x) za x = xk ,što možemo aproksimirati izrazom

∆f (x) = 2F (x)T ∆F (x).

Za kriterij zaustavljanja, kod obje varijante, možemouzeti iteraciju k za koju je

maxi=1,...,n

∣∣∣∣xk (i)− xk−1(i)xk−1(i)

∣∣∣∣ ≤ eps.

Page 23: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Broydenova metoda

Ako je funkcija F toliko komplicirana, da je i “preskupo”racunanje vrijednosti od F u n dodatnih tocakapotrebnih za racunanje ∆F (x), umjesto J(xk )upotrijebiti cemo matricu Ak koja je cak jednostavnija iod ∆F (xk ).Prisjetimo se da zapravo kod Newtonove metodeoriginalnu funkciju F u svakom koraku k zamjenjujemoafinim modelom

Mk (x) = F (xk ) + J(xk )(x − xk ),

i umjesto problema F (x) = 0 rješavamo Mk (x) = 0.

Page 24: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Sada cemo promatrati afini model

Mk (x) = F (xk ) + Ak (x − xk ).

U jednodimenzionalnom slucaju zahtjev kojim smodobili metodu sekante bio je da Mk (xk−1) = F (xk−1), tj.

F (xk−1) = F (xk ) + Ak (xk−1 − xk ),

iliAk (xk − xk−1) = F (xk )− F (xk−1).

Prethodnu lednadžbu zovemo jednadžba sekante.Medjutim, za n > 1 jednadžba sekante nije dovoljna dabi odredili Ak .

Page 25: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Pošto osim jednadžbe sekante mi nemamo nikakvedruge informacije o Jacobijevoj matrici ili o modelu, micemo u svakom koraku pokušati sacuvati što je višemoguce od onog što vec imamo.Zbog toga cemo odabrati Ak tako da minimiziramopromjenu afinog modela, uz uvijet da jednadžbasekante bude zadovoljena.Razlika modela u k -tom i k − 1-om koraku za bilo kojix ∈ Rn, dana je sa

Mk (x) − Mk−1(x) = F (xk ) + Ak (x − xk )− F (xk−1)− Ak−1(x − xk−1)

= F (xk )− F (xk−1)− Ak (xk − xk−1) + (Ak − Ak−1)(x − xk−1)

= (Ak − Ak−1)(x − xk−1),

što slijedi iz jednadžbe sekante.

Page 26: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Oznacimo za sk−1 := xk − xk−1 iyk−1 := F (xk )− F (xk−1).Izrazimo za bilo koji x ∈ Rn

x − xk−1 = αsk−1 + t ,

gdje je tT sk−1 = 0.Tada izraz koji želimo minimizirati postaje jednak

Mk (x)−Mk−1(x) = α(Ak − Ak−1)sk−1 + (Ak − Ak−1)t .

Nemamo utjecaja na prvi izraz sa desesne strane,pošto jednadžba sekante implicira(Ak − Ak−1)sk−1 = yk−1 − Ak−1sk−1. Ali možemo drugiizraz izjednaciti s nulom za svaki x ∈ Rn, odabirom Aktako da je (Ak − Ak−1)t = 0 za svaki t okomit na sk−1.

Page 27: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Na taj nacin dobivamo da je Ak − Ak−1 matrica ranga 1koja se može zapisati u formi usT

k−1, za neki u ∈ Rn.Matrica još mora zadovoljavati jednadžbu sekante uobliku

(Ak − Ak−1)sk−1 = yk−1 − Ak−1sk−1,

iz cega slijedi da je

u =yk−1 − Ak−1sk−1

sTk−1sk−1

.

Konacno dobivamo da je

Ak = Ak−1 +(yk−1 − Ak−1sk−1)sT

k−1

sTk−1sk−1

kao najmanja promjena afinog modela konzistentnogsa Aksk−1 = yk−1.

Page 28: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Prethodna jednadžba zove se Broydenova korekcija(update).“Korekcija” jer se aproksimacija od J(xk ) ne racuna usvakom koraku iz pocetka, nego se korigiraaproksimacija Ak−1 od J(xk−1) da bi se dobilaaproksimacija Ak od J(xk ).Može se pokazati da je Broydenova korekcija Akminimalna promjena matrice Ak−1 konzistentna saAksk−1 = yk−1, ako je promjena Ak − Ak−1 mjerena uFrobeniusovoj normi.Sada smo dovršili konstrukciju afinog modela Mkodabirom matrice Ak . Ocito, slijedeci korak iteracije sedobiva kao korijen ovog afinog modela.Na taj nacin smo u Newtonovoj metodi J(xk ) zamijenilisa Ak .

Page 29: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Algoritam (Broydenova metoda)

% Dani su F : Rn ← Rn, x0 ∈ Rn, A0 ∈ Rn×n

k = 0;while ∼kriterij_zaustavljanja

Riješi Aksk = −F (xk ) po sk ;xk+1 = xk + sk ;yk = F (xk+1)− F (xk );

Ak+1 = Ak +(yk−Ak sk )sT

ksT

k sk;

k = k + 1;end

Napomena

Pocetni A0 se obicno racuna pomocu podijeljenih razlika.

Page 30: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Lokalna konvergencija Broydenove metode

Može se pokazati da ako je x0 dovoljno blizu nultockix∗, gdje je J(x∗) nesingularan, i A0 dovoljno blizu J(x0),tada niz iteracija {xk} dobiven Broydenovom metodomkonvergira superlinearno prema x∗.Takoder se može pokazati da je nužan i dovoljan uvijetza superlinearnu konvergenciju metode sekante (nenužno Broydenove)

limk→∞

‖J(xk )(sNk − sk )‖‖sk‖

= 0,

gdje je sNk = −J(xk )−1F (xk ) Newtonov korak za xk , tj.

imamo superlinearnu konvergenciju metode sekanteako i samo ako koraci metode sekante po velicini ismjeru konvergiraju Newtonovim koracima iz iste tocke.Za Broydenovu metodu ne mora nužno vrijeditilimk→∞ Ak 6= J(x∗).

Page 31: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Kriterij zaustavljanja

LemaNeka je xk ∈ Rn, k = 0,1, . . . . Ako niz {xk}konvergirasuperlinearno prema x∗ ∈ Rn, tada u bilo kojoj normi ‖ · ‖vrijedi

limk→∞

‖xk+1 − xk‖‖xk − x∗‖

= 1.

Lema kaže da kada god algoritam postigne baremsuperlinearnu konvergenciju, tada se za kriterijzaustavljanja može koristiti sk = xk+1 − xk umjestoek = xk − x∗.

Page 32: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Rješavanje linearnih sustava u Broydenovojmetodi

Pošto je Broydenova korekcija oblika Ak = Ak−1 + uvT

za u = yk−1 − Ak−1sk−1 i v =sk−1

sTk−1sk−1

, rješavanje

linearnih sustava u Broydenovoj metodi može seimplementirati puno efikasnije od racunanja kompletnefaktorizacije pojedinacnog sustava u svakom koraku.Racunati cemo QR faktorizaciju

QkRk = Ak = Ak−1 + uvT ,

gdje su u, v ∈ Rn, i Ak−1 je nesingularna matrica zakoju vec imamo faktorizaciju Qk−1Rk−1.Za w = QT

k−1u imamo

Ak = Qk−1Rk−1 + uvT = Qk−1(Rk−1 + wvT ),

i još izracunamo QR faktorizaciju

Rk−1 + wvT = QR.

Page 33: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Tada je Rk = R i Qk = Qk−1Q.Prednost je u tome da se QR faktorizacija odRk−1 + wvT može napraviti u O(n2) operacija za razlikuod O(n3) operacija koliko bi nam trebalo da smo radilidirektno QR faktorizaciju matrice Ak .Kada imamo izracunate Qk i Rk , sustav

Aksk = (QkRk )sk = −F (xk )

množenjem matricom QTk s lijeva postaje jednak

Rksk = −QTk F (xk ),

koji se riješi povratnom supstitucijom.

Page 34: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

QR faktorizacija matrice B = Rk−1 + wvT

Ponište se svi reci u matrici wvT osim prvog, što semože napraviti sa n − 1 Givensovih rotacija. To sepostiže poništavanjem bilo kojeg stupca razlicitog odnulvektora u matrici wvT , a pošto su svi stupci oblikav(i) · w , na taj nacin poništiti ce se svaki stupac.Dakle dovoljno je Givensove rotacije primjeniti na n × 1matrici w , cime dobivamo w .Paralelno iste rotacije primjenimo na Rk−1, koja ce setransformirati u gornju Hessenbergovu matricu Rk−1.Lako se vidi da je B := Rk−1 + wvT matrica dobivenadanim Givensovim rotacijama primijenjenim na matricuB, i takoder je gornje Hessenbergova.Sad još pomocu Givensovih rotacija treba poništitidijagonalu ispod glavne u Hessenbergovoj matrici B, ito tako da element na poziciji (i , i − 1) poništimo saelementom na poziciji (i − 1, i − 1) za i = 2, . . . ,n.

Page 35: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Napomene

Broydenova metoda se takoder koristi umjestoNewtonove u globalno konvergentnoj metodi.Može se desiti da se nakon puno koraka Ak malopreviše udalji od J(xk ) što može rezultirati da globalnaiteracija ne može naci niti jednu zadovoljavajucu tocku.U tom slucaju se Broydenova metoda “resetira” tako dase Ak ponovno izracuna pomocu podijeljenih razlika, inastavi pomocu Broydenovih korekcija.

Page 36: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

Zadaci

NapomenaZa tolerancije koristite imena varijabli epsilon i delta jerje eps u MATLAB-u rezerviran za mašinsku tocnost.Kao kriterije zaustavljanja koristite

maxi=1,...,n

∣∣∣∣xk (i)− xk−1(i)xk−1(i)

∣∣∣∣ < ε, ili ‖F (xk )‖2 < δ, ili k > N.

ZadatakNapišite M-file za funkciju Newton_sustav() koja pomocuNewtonove metode za sistem nelinearnih jednadžbi racunaaproksimaciju nultocke dane vektorske funkcije. Ulazni iizlazni parametri su isti kao i kod Newtonove metode zajednu jednadžbu, uz odgovarajuce dimenzije, uz još dodatniulazni parametar dim koji je dimenzija prostora nad kojim jedefinirana funkcija f .

Page 37: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

ZadatakNapišite M-file za funkciju Newton_glob_sustav() kojapomocu modificirane Newtonove metode za sistemnelinearnih jednadžbi racuna aproksimaciju nultocke danevektorske funkcije. Ulazni i izlazni parametri su isti kao i kodNewton_sustav().

ZadatakNapišite M-file za funkciju podjel_razl_sustav() kojapomocu metode podijeljenih razlika za sistem nelinearnihjednadžbi racuna aproksimaciju nultocke dane vektorskefunkcije. Ulazni i izlazni parametri su isti kao i kodNewton_sustav() samo bez df .

Page 38: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

ZadatakNapišite M-file za funkciju QRgivens_Broyden() kojaracuna QR faktorizaciju matrice Rk−1 + wvT . Ulazniparametri neka su gornje trokutasta matrica R, te vektori w iv, a izlazni matrice Qt i Rt.

ZadatakNapišite M-file za funkciju Broyden_sustav() kojapomocu Broydenove metode za sistem nelinearnihjednadžbi racuna aproksimaciju nultocke dane vektorskefunkcije. Ulazni i izlazni parametri su isti kao i kodpodjel_razl_sustav().

Page 39: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

ZadatakUsporedite Newtonovu, modificiranu Newtonovu metodu,metodu podijeljenih razlika i Broydenovu metodu zarješavanje sustava F (x) = 0, gdje je

F (x) =

[x2

1 + x22 − 2

ex1−1 + x32 − 2

],

za koji je tocno rješenje x∗ = [1,1]T . Uzmite da jeε = δ = 10−10 i N = 50. Za pocetne tocke isprobajte:

1 x0 = [1.5,2]T , i2 x0 = [0.5,0.4]T ,

Page 40: Rje avanje nelinearnih sustava - Naslovnica | PMFZadaci Rješavanje nelinearnih sustava Tražimo riješenje sistema nelinearnih jednadžbi, tj. za dani F : Rn n želimo naci´ x 2

Praktikum iznumerickihmetoda ustatistici

Tina Bosner

RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi

Modificirana (kvazi)Newtonova metoda

Metoda podijeljnihrazlika

Broydenova metoda

Zadaci

ZadatakProvjerite da za

F (x) =

[x1 + x2 − 3x2

1 + x22 − 9

],

ciji su korijeni [0,3]T i [3,0]T , ako primjenite Broydenovumetodu uz pocetnu iteraciju x0 = [1,5]T , vrijedi da je

limk→∞

Ak =

[1 1

1.5 7.5

]dok je

J(x∗) =

[1 10 6

].

Istovremeno xk vrlo brzo konvergira ka [0,3]T .