Download - Znanstveno racunanje 1 - Predavanja - PMFnela/zr1vjezbe/zr1_predavanja.pdf · Zadaci Iterativne metode za linearne sustave Problemi svojstvenih vrijednosti i SVD Problem najmanjih

Znanstvenoracunanje 1

Nela Bosner

LAPACK

Iterativnemetode zalinearnesustave

Problemisvojstvenihvrijednosti iSVD

Problemnajmanjihkvadrata

Znanstveno racunanje 1Predavanja

Nela Bosner


Nela Bosner

LAPACKCLAPACK

Zadaci




LAPACK

Ime LAPACK je kratica za Linear Algebra PACKage.LAPACK je biblioteka potprograma pisanih u Fortranu77 za rješavanje najcešcih problema u numerickojlinearnoj algebri.Dizajniran je da efikasno radi na širokom rasponumodernih i brzih racunala.LAPACK može riješiti

sustave linearnih jednadžbilinearni problem najmanjih kvadrataproblem svojstvenih vrijednostiproblem singularnih vrijednosti

ukljucuje joši i racunanje raznih pomocnih problema ivelicina, kao npr.: matricne faktorizacije i procjene brojauvjetovanosti matrica.Sva dokumentacija i software dostupan je na

http://www.netlib.org/lapack/


Nela Bosner

LAPACKCLAPACK

Zadaci




Biblioteka se sastoji odupravljackih (driver) potprograma za rješavanjestandardnih problemaracunskih (computational) potprograma zarješavanje odredenih racunskih zadatakapomocnih (auxiliary) potprograma za izvodenjeodredenih podzadataka ili racunanje osnovnih operacija

Svaki upravljacki potprogram obicno poziva nizracunskih potprograma.Racunski potprogrami sveukupno mogu rješavati širiraspon problema nego upravljacki.Pomocni potprogrami obicno se koriste za numerickuanalizu.Gotovo sve rutine postoje u realnoj i kompleksnojvarijanti, i to u single i double preciznosti.LAPACK omogucuje rad sa gusto popunjenim ivrpcastim matricama.


Nela Bosner

LAPACKCLAPACK

Zadaci




LAPACK potprogrami su pisani tako da se što jemoguce više osnovnih operacija izvodi pozivanjemBLAS (Basic Linear Algebra Subprograms)potprograma.Vrlo efikasni BLAS potprogrami su implementirani uovisnosti o platformi na kojoj se izvode, i dostupni su zavecinu modernih racunala.BLAS nije dio LAPACK-a jer su LAPACK potprogramineovisni o platformi, ali mu omogucuju vrhunskuucinkovitost.Dokumentacija i software dostupan je na

http://www.netlib.org/blas


Nela Bosner

LAPACKCLAPACK

Zadaci




Postoje tri stupnja BLAS potprograma:1 BLAS 1 potprogrami za vektorske operacije, kao npr.:

y ← αx + y

2 BLAS 2 potprogrami za matricno–vektorske operacije,kao npr.:

y ← αAx + βy

3 BLAS 3 potprogrami za matricne operacije, kao npr.:

C ← αAB + βC

BLAS 3 potprogrami su najefikasniji jer se vrši O(n3)operacija s pomicnom tockom nad O(n2) podataka, dokBLAS 2 vrši samo O(n2) operacija nad O(n2) podataka.


Nela Bosner

LAPACKCLAPACK

Zadaci




Pravilo imenovanja LAPACK potprograma:Svi upravljacki i racunski potprogrami imaju imenaoblika

XYYZZZX predstavlja tip podataka

S REALD DOUBLE PRECISIONC COMPLEXZ COMPLEX*16 ili DOUBLE COMPLEX


Nela Bosner

LAPACKCLAPACK

Zadaci




YY predstavljaju tip matrice, kao npr.:BD bidijagonalnaDI dijagonalnaGB opca vrpcastaGE opca (nesimetricna, i ponekad pravokutna)HE hermitskaOR ortogonalnaPO simetricna ili hermitska pozitivno definitnaSY simetricnaTR trokutastaUN unitarna

kod vecine pomocnih potprograma drugo i trece slovoje LA.ZZZ predstavljaju operaciju ili racun koja se izvršava


Nela Bosner

LAPACKCLAPACK

Zadaci




Primjer

Upravljacki potprogram za rješavanje opcenitog sustavalinearnih jednadžbi zove se SGESV:

SGESV

pri cemu je

S ulazni i izlazni parametri su realne varijable singlepreciznosti

GE matrica sustava je opcenita gusto popunjena matricaSV rješava se sustav linearnih jednadžbi

Napomena: Trece slovo kod ZZZ može biti prazno.


Nela Bosner

LAPACKCLAPACK

Zadaci




CLAPACK

C verzija LAPACK-a.CLAPACK biblioteka napravljena je pomocu alata zaprebacivanje Fortran koda u C, nazvan f2c.Moraju se poštivati Fortranovska pravila za pozivanjepotprograma i Fortranovske strukture podataka.

1 Imena C potprograma moraju se razlikovati odistovjetnih Fortran potprograma.

Fortranovskom imenu potprograma dodaje se na krajudonja crtica (_)

Fortran CCALL SGESV(· · ·) sgesv_(· · ·)

2 Argumenti potprograma moraju se prenjeti po adresi, tj.kao pokazivaci.Fortran CCALL SGESV( 5, 1, A, 5, N=LDA=LDB=5; NHRS=1;

IPIV, B, 5, INFO ) sgesv_( &N, &NRHS, A, &LDA, IPIV, B, &LDB, &INFO )


Nela Bosner

LAPACKCLAPACK

Zadaci




3 Dvodimenzionalna polja se razlicito definiraju u C-u iFortranu.

dvodimenzionalno polje u FortranuDOUBLE PRECISION A(LDA, N)

je kontinuirani komad memorije sastavljen od LDA×Nrijeci u double preciznosti, spremljenih po stupcima kojise nalaze jedan iza drugogdvodimenzionalno polje u C-u

double A[LDA][N];

je niz od LDA pokazivaca na redove duljine N, umemoriju se spremaju redovi koji ne moraju biti jedanza drugimza pozivanje CLAPACK potprograma treba koristitijednodimenzionalno polje velicine LDA×N rijeci udouble preciznosti

double *A;A = malloc( LDA*N*sizeof(double) );


Nela Bosner

LAPACKCLAPACK

Zadaci




Matrica:

A = tttttttttttttttttttt

Fortran:

A: t t t t t t t t t t t t t t t t t t t tC:

A:

vvvvv

-

-

-

-

-

ttttt

ttttt

ttttt

ttttt


Nela Bosner

LAPACKCLAPACK

Zadaci




Primjer (Fortranov pristup poljima u C-u)

Sljedeci dio koda prikazuje kako inicijalizirati M × N polje Atako da je element na poziciji (i , j) jednak i + j .

double *A;A = malloc( M*N*sizeof(double) );for(j=0; j < N; j++)for (i=0; i < M; i++) A[j*M+i] = i+j;


Nela Bosner

LAPACKCLAPACK

Zadaci




Zaglavlja (headers) potrebna za korištenje CLAPACKpotprograma:

f2c.h — definicije raznih tipova podataka, kao npr.:

typedef long int integer;typedef float real;typedef double doublereal;typedef struct real r, i; complex;typedef struct doublereal r, i; doublecomplex;typedef long int logical;

fblaswr.h — deklaracija BLAS potprogramaclapack.h — deklaracije CLAPACK potprograma


Nela Bosner

LAPACKCLAPACK

Zadaci




Primjer

Rješimo sustav Ax = b, pri cemu su

A =

1 1 4 12 1 1 65 1 1 01 4 1 3

, b =

7

1079

,pomocu CLAPACK potprograma dgesv_(). Izracunatorješenje cemo usporediti s egzaktnim rješenje koje iznosix = [ 1 1 1 1 ]T .

Potprogram dgesv_() racuna rješenje realnogsustava linearnih jednadžbi Ax = b, gdje je A n × nmatrica, a x i b su n × nrhs matrice.Za racunanje je korištena LU faktorizacija s parcijalnimpivotiranjem

A = P ∗ L ∗ U,

gdje je P matrica permutacija, L jedinicnadonjetrokutasta, a U je gornjetrokutasta matrica.


Nela Bosner

LAPACKCLAPACK

Zadaci




Primjer (nastavak)U zaglavlju clapack.h deklaracija za taj potprogram je

int dgesv_(integer *n, integer *nrhs,doublereal *a, integer *lda, integer *ipiv,doublereal *b, integer *ldb, integer *info);

pri cemu su:

n (ulaz) red matrice Anrhs (ulaz) broj stupaca matrice b

a (ulaz) n × n matrica sustava A(izlaz) faktori L i U, bez dijagonale od L

lda (ulaz) vodeca dimenzija polja a (lda ≥ n)ipiv (izlaz) n polje za spremanje indeksa koji definiraju

matricu permutacija P:redak i matrice A zamijenjen je retkom ipiv[i]


Nela Bosner

LAPACKCLAPACK

Zadaci




Primjer (nastavak)

b (ulaz) n × nrhs matrica desne strane b(izlaz) n × nrhs matrica rješenja x

ldb (ulaz) vodeca dimenzija polja b (ldb ≥ n)info (izlaz) informacija o izvršavanju potprograma

(0=OK)

Program primjer1.c koji rješava zadani problem ipotrebna zaglavlja nalaze se na

http://www.math.hr/˜nela/zr1.html

Program se kompajlira sa$ gcc primjer1.c -lblas -llapack


Nela Bosner

LAPACKCLAPACK

Zadaci




Program (primjer1.c)#include <stdio.h>#include <stdlib.h>#include "f2c.h"#include "fblaswr.h"#include "clapack.h"main(integer argc, char *argv[])

doublereal a[]=1.0,2.0,5.0,1.0, 1.0,1.0,1.0,4.0, 4.0,1.0,1.0,1.0,1.0,6.0,0.0,3.0;

doublereal b[]=7.0,10.0,7.0,9.0;doublereal x[]=1.0,1.0,1.0,1.0;doublereal alpha, rg;integer n, nhrs, *ipiv, info, incx;n=4;ipiv=malloc(n*sizeof(integer));nhrs=1;incx=1;alpha=-1.0;dgesv_( &n, &nhrs, a, &n, ipiv, b, &n, &info );printf("dgesv() je izracunao :[ %19.16f, %19.16f, %19.16f, %19.16f ]ˆT\n",

b[0],b[1],b[2],b[3]);printf("Egzaktno rjesenje je : [ 1, 1, 1, 1 ]ˆT\n");daxpy_( &n, &alpha, x, &incx, b, &incx );printf("Razlika izracunatog i egzaktnog rjesenja :[ %.2e, %.2e, %.2e, %.2e ]ˆT\n", b[0],b[1],b[2],b[3]);

rg=dnrm2_( &n, b, &incx )/dnrm2_( &n, x, &incx );printf("Relativna greska rjesenja iznosi : %.2e\n", rg);


Nela Bosner

LAPACKCLAPACK

Zadaci




Matrice u primjenama su cesto velikih dimenzija, zatose ne preporuca unos elemenata matrica sastandardnog ulaza.Matrice se mogu unijeti

iz datotekegeneriranjem pomocu LAPACK potprograma

CLAPACK potprogrami za generiranje matrica su:int dlaset_(char *uplo, integer *m,integer *n, doublereal *alpha, doublereal

*beta, doublereal *a, integer *lda);int dlarnv_(integer *idist, integer

*iseed, integer *n, doublereal *x);


Nela Bosner

LAPACKCLAPACK

Zadaci




int dlaset_() inicijalizira m × n matricu A tako daelementi na dijagonali budu jednaki β a van dijagonaleα.uplo (ulaz) odreduje dio matrice A koji ce biti

inicijaliziran:= ’U’: gornji trokut= ’L’: donji trokutinace: cijela matrica

m (ulaz) broj redaka matrice An (ulaz) broj stupaca matrice A

alpha (ulaz) konstanta α, vrijednost vandijagonalnihelemenata

beta (ulaz) konstanta β, vrijednost dijagonalnihelemenata

a (ulaz/izlaz) matrica Alda (ulaz) vodeca dimenzija polja a (lda ≥ m)


Nela Bosner

LAPACKCLAPACK

Zadaci




int dlarnv_() vraca vektor od n slucajnih brojeva izunformne ili normalne distribucije.idist (ulaz) odreduje distribuciju slucajnih brojeva:

= 1: uniformna 〈0,1〉= 2: uniformna 〈−1,1〉= 3: normalna N(0,1)

iseed (ulaz/izlaz) polje od 4 elemenata, sjemegeneratora slucajnih brojeva;elementi polja moraju biti izmedu 0 i 4095,a iseed[3] mora biti neparan;kod izlaza sjeme se ažurira

n (ulaz) broj slucajnih brojeva koje trebagenerirati

x (izlaz) polje generiranih slucajnih brojeva


Nela Bosner

LAPACKCLAPACK

Zadaci




Zadaci

ZadatakNapišite program koji ucitava broj n, te zatim generira n × nmatricu A i n-dimenzionalan vektor x sa slucajnimbrojevima.

1 Sami napišite potprogram mojmv() za množenjematrice s vektorom, i primijenite ga na A · x.

2 Primijenite BLAS potprogram dgemv_() za A · x.U oba slucaja mjerite vrijeme izvršavanja potprograma zamnoženje matrice i vektora pomocu funkcije clock().Deklaracija clock_t clock(void); nalazi se u zaglavljutime.h. Vrijednost koju vraca ta funkcija dijeli se sakonstantom CLOCKS_PER_SEC cime se dobiva brojsekundi. Provjerite vaš program na širokom rasponudimenzija. Što primijecujete?


Nela Bosner

LAPACKCLAPACK

Zadaci




ZadatakNapišite program koji ucitava broj n, te zatim generira dvijen × n matrice A i B sa slucajnim brojevima.

1 Sami napišite potprogram mojmm() za množenje dvijumatrica, i primijenite ga na A · B.

2 Primijenite BLAS potprogram dgemm_() za A · B.U oba slucaja mjerite vrijeme izvršavanja potprograma zamnoženje matrica pomocu funkcije clock(). Provjerite vašprogram na širokom rasponu dimenzija. Što primijecujete?


Nela Bosner

LAPACK

Iterativnemetode zalinearnesustaveMatricne norme

Standardne iteracije

Jacobijeva metoda

Gauss–Seidelovametoda

SOR metoda

Zadaci

Iteracije izKrylovljevihpotprostora

Metoda konjugiranihgradijenata

Zadaci

Prekondicioniranametoda konjugiranihgradijenata

Zadaci

GMRES metoda

Zadaci

Primjeri iz primjene

Elektricna mreža

Numerickorješavanje obicnediferencijalnejednadžbe

NumerickorješavanjePoissonovejednadžbe



Iterativne metode za linearne sustave

Sustavi linearnih jednadžbi pojavljuju se kao posljedicarješavanja mnogih problema u fizici, kemiji, biologiji,strojarstvu, gradevini . . .Problem: Za regularnu matricu A ∈ Rn×n i vektorb ∈ Rn naci x ∈ Rn takav da je

Ax = b.

Rješenje: x = A−1bMetoda Gaussovih eliminacija cesto nije pogodna zamatrice velikih dimenzija i strukturirane matrice.U tim slucajevima se koriste iterativne metode, kojenajcešce daju aproksimativna rješenja.Željena tocnost aproksimativnog rješenja postiže sezadavanjem odgovarajuceg kriterija zaustavljanja.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Iterativna metoda)

x0 zadan;k = 0;while (!kriterij_zaustavljanja)

k + +;xk = f (xk−1);

x ≈ xk ;

Važno je da:za svaki k formula f (xk−1) za racunanje xk jejednostavnaxk teži prema x = A−1b i za neki k (obicno k n) je xkprihvatljiva aproksimacija za xkonvergencija xk prema x je što brža


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Matricne norme

Kod nekih iterativnih metoda za rješavanje sustavalinearnih jednadžbi racunanje kriterija zaustavljanjazahtijeva racunanje matricne norme.S druge strane, matricne norme koriste se za mjerenjagreški buduci da se kod numerickog rješavanja oneuvijek pojavljuju zbog korištenja aritmetike konacnepreciznosti.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Definicija

Preslikavanje ν : Cm×n −→ R je matricna norma na Cm×n

ako zadovoljava sljedece uvjete:1 ν(A) ≥ 0, za svako A ∈ Cm×n

2 ν(A) = 0 ako i samo ako je A = 03 ν(αA) = |α|ν(A), za α ∈ C, A ∈ Cm×n

4 ν(A + B) ≤ ν(A) + ν(B), za sve A,B ∈ Cm×n

Nazivi uvjeta:1.–2. → pozitivna definitnost,

3. → homogenost,4. → nejednakost trokuta.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Definicija

Neka su µ, ν i ρ matricne norme na Cm×n, Cn×k i Cm×k

redom. One su konzistentne ako je

ρ(AB) ≤ µ(A)ν(B),

za svaki izbor A ∈ Cm×n i B ∈ Cn×k .Specijalno, matricna norma ν na Cn×n je konzistentna ako je

ν(AB) ≤ ν(A)ν(B),

za sve A,B ∈ Cn×n.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Napomena

Gornja definicija obuhvaca i konzistentnost matricne ivektorske norme, jer prirodno identificiramo Cn×1 i Cn.Ako je ν konzistentna matricna norma na Cn×n i A1,A2,. . . ,Am ∈ Cn×n proizvoljne matrice, indukcijom seodmah vidi da je

ν(A1A2 · · ·Am) ≤ ν(A1)ν(A2) · · · ν(Am).

Specijalno, za svako A ∈ Cn×n i m ∈ N je

ν(Am) ≤ ν(A)m.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Standardna Euklidska vektorska norma ima jednopovoljno svojstvo, a to je:

‖Ux‖2 = ‖x‖2, x ∈ Cn, U ∈ Cn×n U∗U = UU∗ = I,

Buduci da je U unitarna matrica ovo svojstvo zove seunitarna invarijantnost vektorske norme, pri cemudjelovanje matrice U cuva udaljenosti.Takvo svojstvo može se definirati i za matricne norme.

Definicija

Norma ν na Cm×n je unitarno invarijantna ako je:

ν(U∗AV ) = ν(A),

za sve unitarne matrice U ∈ Cm×m, V ∈ Cn×n i sveA ∈ Cm×n.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





TeoremAko je ν konzistentna matricna norma na Cn×n, onda postojivektorska norma ‖ ‖ na Cn koja je konzistentna sa ν.

Dokaz.Za a ∈ Cn, a 6= 0 definirajmo

‖x‖ = ν(xaT ), za ∀x ∈ Cn.

Lako se pokaže da je to norma.Vrijedi

‖Ax‖ ≤ ν(A)‖x‖, za ∀x ∈ Cn.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Definicija

Neka je A ∈ Cn×n, tada je sa

spr(A) = ρ(A) = max|λ| : λ ∈ σ(A)

definiran spektralni radijus matrice A.

TeoremNeka je ν konzistentna matricna norma na Cn×n. Tada zasvaku matricu A ∈ Cn×n vrijedi

ρ(A) ≤ ν(A).


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





TeoremZa svaku matricu A ∈ Cn×n i za svaki ε > 0 postojikonzistentna matricna norma νA,ε na Cn×n takva da je

νA,ε(A) ≤ ρ(A) + ε.

TeoremNeka je ‖ ‖ proizvoljna norma na Cn. Preslikavanjeν : Cn×n −→ R, definirano sa

ν(A) = max‖x‖=1

‖Ax‖ = maxx 6=0

‖Ax‖‖x‖

,

za A ∈ Cn×n, je konzistentna matricna norma na Cn×n,konzistentna je sa ‖ ‖, i zove se operatorska norma naCn×n, inducirana vektorskom normom ‖ ‖.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





NapomenaNužan uvijet da bi ν bila operatorska norma je

ν(I) = max‖x‖=1

‖Ix‖ = max‖x‖=1

‖x‖ = 1,

pri cemu je I identiteta.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjeri matricnih normi

Neka je A = [aij ] ∈ Cn×n. Sljedeca preslikavanja definirajukonzistentne matricne norme na Cn×n.

Primjer

‖ ‖F : Cn×n −→ R,

‖A‖F =

√√√√ n∑i=1

n∑j=1

|aij |2 =√

tr(A∗A),

zove se Frobeniusova ili Euklidska norma. (Na Cn×1 ∼= Cn

je ‖ ‖F = ‖ ‖2.)


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Frobeniusova norma nije operatorska norma za n > 1jer je

‖I‖F =√

n.

Frobeniusova matricna norma ‖ ‖F i euklidskavektorska norma ‖ ‖2 su konzistentne jer je za x ∈ Cn

‖Ax‖F ≤ ‖A‖F‖x‖F = ‖A‖F‖x‖2.

Frobeniusova norma ‖ ‖F je unitarno invarijantna.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer

‖ ‖2 : Cn×n −→ R,

‖A‖2 =√ρ(A∗A),

zove se spektralna norma.Spektralna matricna norma ‖ ‖2 je operatorska normana Cn×n inducirana vektorskom normom ‖ ‖2

‖A‖2 = max‖x‖2=1

‖Ax‖2

Maksimum se postiže u vektoru y (2) za kojeg vrijedi

A∗Ay (2) = λmax (A∗A)y (2), ‖y (2)‖2 = 1,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

tj. y (2) je jednak jedinicnom svojstvenom vektorumatrice A∗A koji odgovara najvecoj svojstvenojvrijednosti λmax (A∗A), i tada je

‖Ay (2)‖2 = ‖A‖2.

Vrijedi konzistentnost s vektorskom normom, za x ∈ Cn

‖Ax‖2 ≤ ‖A‖2‖x‖2

Spektralna norma ‖ ‖2 je unitarno invarijantna.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer

‖ ‖1 : Cn×n −→ R,

‖A‖1 = maxj=1,...,n

n∑i=1

|aij |.

Matricna norma ‖ ‖1 je operatorska norma na Cn×n

inducirana vektorskom normom ‖ ‖1

‖A‖1 = max‖x‖1=1

‖Ax‖1

Maksimum se postiže u vektoru

y (1) = ej0 =[

0 · · · 0 1 0 · · · 0]T,

j0


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

pri cemu je j0 ∈ 1, . . . ,n takav da je

n∑i=1

|aij0 | = maxj=1,...,n

n∑i=1

|aij | = ‖A‖1,

i tada je‖Ay (1)‖1 = ‖A‖1.


‖Ax‖1 ≤ ‖A‖1‖x‖1


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer

‖ ‖∞ : Cn×n −→ R,

‖A‖∞ = maxi=1,...,n

n∑j=1

|aij |.

Matricna norma ‖ ‖∞ je operatorska norma na Cn×n

inducirana vektorskom normom ‖ ‖∞

‖A‖∞ = max‖x‖∞=1

‖Ax‖∞

Maksimum se postiže u vektoru

y (∞)(j) =

ai0 j

|ai0 j | , ai0j 6= 0

1, ai0j = 0

, j = 1, . . . ,n,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

pri cemu je i0 ∈ 1, . . . ,n takav da je

n∑j=1

|ai0j | = maxi=1,...,n

n∑j=1

|aij | = ‖A‖∞,

i tada je‖Ay (∞)‖∞ = ‖A‖∞.


‖Ax‖∞ ≤ ‖A‖∞‖x‖∞

Sve prikazane norme mogu se definirati i na Cm×n.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Obzirom da je Cm×n ∼= Cmn a na Cmn sve su vektorskenorme ekvivalentne, to vrijedi i za matricne norme.

Napomena

Neka su ‖ ‖p i ‖ ‖q matricne norme na Cm×n, tada je zasvaku matricu A ∈ Cm×n

‖A‖p ≤ αpq‖A‖q,

pri cemu se jednakost dostiže, a konstante αpq tabeliranesu u sljedecoj tablici.

‖ ‖q‖ ‖p

‖ ‖1 ‖ ‖2 ‖ ‖∞ ‖ ‖F

‖ ‖1 1√

m m√

m‖ ‖2

√n 1

√m 1

‖ ‖∞ n√

n 1√

n‖ ‖F

√n

√rang(A)

√m 1


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža






Iterativnu metodu pokušavamo naci u obliku

xk+1 = Txk + c, k = 0,1,2, . . . , x0 zadan,

gdje je T ∈ Rn×n matrica iteracije i c ∈ Rn.Jedan nacin odabira iterativne matrice T je taj damatricu sustava A rastavimo na

A = M − N, M regularna.

Tada se polazni linearni sustav transformira u

x = M−1Nx + M−1b, tj. x = Tx + c

gdje jeT = M−1N, c = M−1b

Rješenje sustava je onda fiksna tocka iteracija

xk+1 = M−1Nxk + M−1b, k = 0,1,2, . . .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija standardnih iteracija

TeoremNeka je b ∈ Rn i A = M − N ∈ Rn×n regularna matrica. Akoje

M regularna matrica,ρ(M−1N) < 1 (spektralni radijus),

tada niz iteracija xk , k ≥ 0 definiran sa

xk+1 = M−1Nxk + M−1b, k = 0,1,2, . . .

konvergira prema x = A−1b za proizvoljnu pocetnu iteracijux0. Tvrdnja teorema vrijedi i ako je ‖M−1N‖ < 1 za bilo kojukonzistentnu matricnu normu ‖ ‖.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Teorem

Neka vrijede pretpostavke za T = M−1N kao uprethodnom teoremu (‖T‖ < 1).Pretpostavimo da tražimo aproksimaciju rješenja takvuda vrijedi

‖xk − x‖ < ε,

gdje je ‖ · ‖ neka od normi ‖ · ‖1, ‖ · ‖2 ili ‖ · ‖∞.

Za kriterij zaustavljanja je dovoljno tražiti da je

‖T‖k

1− ‖T‖‖x1 − x0‖ < ε,

odnosno

k >ln(ε(1−‖T‖)‖x1−x0‖

)ln(‖T‖)

.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Jacobijeva metoda

Matricu A ∈ Rn×n rastavimo kao

A = L + D + R,

tako da suL = donji trokut od AD = dijagonala od AR = gornji trokut od A

uz pretpostavku da A nema nula na dijagonali.Kod Jacobijeve metode je

MJ = D, NJ = −(L + R),

ona je iterativna metoda oblika

xk+1 = TJxk + cJ , k = 0,1,2, . . .

za koju je

TJ = −D−1(L + R), cJ = D−1b.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Jacobijeva metoda)


k + +;for (i = 0; i < n; i + +)

x1[i] = b[i];for (j = 0; j < i ; j + +)

x1[i] = x1[i]− A[i][j] ∗ x0[j];for (j = i + 1; j < n; j + +)

x1[i] = x1[i]− A[i][j] ∗ x0[j];x1[i] = x1[i]/A[i][i];

x0 = x1;

x ≈ x0;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija Jacobijeve metode

TeoremAko je matrica sustava A ∈ Rn×n strogo dijagonalnodominantna matrica, tj. ako vrijedi

n∑j=1j 6=i

|aij | < |aii |, i = 1, . . . ,n,

tada Jacobijeva metoda konvergira za svaku pocetnuiteraciju.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Gauss–Seidelova metoda

Matricu A ∈ Rn×n rastavimo isto kao kod Jacobijeve metode

A = L + D + R.

Kod Gauss–Seidelova metode je

MGS = D + L, NGS = −R,


xk+1 = TGSxk + cGS, k = 0,1,2, . . .

za koju je

TGS = −(D + L)−1R, cGS = (D + L)−1b.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Gauss–Seidelova metoda)


k + +;for (i = 0; i < n; i + +)

x0[i] = b[i];for (j = 0; j < i ; j + +)

x0[i] = x0[i]− A[i][j] ∗ x0[j];for (j = i + 1; j < n; j + +)

x0[i] = x0[i]− A[i][j] ∗ x0[j];x0[i] = x0[i]]/A[i][i];

x ≈ x0;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija Gauss–Seidelova metode

TeoremAko je matrica sustava A ∈ Rn×n simetricna pozitivnodefinitna matrica, tada Gauss–Seidelova metoda konvergiraza svaku pocetnu iteraciju.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





SOR metoda

U iteracije se uvodi parametar relaksacije ω kojinastoji smanjiti spektralni radijus matrice iteracije iubrzati konvergenciju.To se radi pomocu sljedeceg rastava:

A =1ω

D + L +ω − 1ω

D + R.

Kod SOR metode je

MSOR,ω =1ω

D + L, NSOR,ω =1− ωω

D − R,


xk+1 = TSORxk + cSOR, k = 0,1,2, . . .

za koju je

TSOR,ω=(D+ωL)−1[(1−ω)D−ωR], cSOR,ω=ω(D+ωL)−1b.

Za ω = 1 SOR se svodi na Gauss–Seidelovu metodu.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (SOR metoda)

x0, omega zadani;k = 0;while (!kriterij_zaustavljanja)

k + +;for (i = 0; i < n; i + +)

x0[i] = (1− omega) ∗ x0[i];pom = b[i];for (j = 0; j < i ; j + +)

pom = pom − A[i][j] ∗ x0[j];for (j = i + 1; j < n; j + +)

pom = pom − A[i][j] ∗ x0[j];x0[i] = x0[i] + pom ∗ omega/A[i][i];

x ≈ x0;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija SOR metode

TeoremAko je matrica sustava A ∈ Rn×n simetricna pozitivnodefinitna matrica, tada SOR metoda konvergira za ω ∈ 〈0,2〉i za svaku pocetnu iteraciju.

TeoremSOR metoda ne konvergira za ω < 0 i ω ≥ 2.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer

Rješavamo sustav Ax = b, pri cemu su

A =

16 −4 8 12−4 4 −7 38 −7 78 32

12 3 32 113

, b =

32−4111160

,pomocu SOR metode. Egzaktno rješenje ovog sustava jex = [ 1 1 1 1 ]T .

U ovom slucaju uzet cemo normu reziduala kao kriterijzaustavljanja: iteracije se zaustavljaju kada je

‖b − Axk‖2 < 10−5.

Provjerit cemo brzinu konvergencije za Gauss–Seidelovu metodu, i za SOR sa optimalnim ω.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

omega

rho(

t)

Slika: Spektralni radijus SOR matrice iteracije za matricu A.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Gauss–Seidelova metoda je dala aproksimacijurješenja zadane tocnosti nakon 25 iteracija:

x25 =

1.0000007729950561.0000016095995711.0000001949347620.999999819976533

.Iz prethodnog grafa vidimo da je optimalni ω ≈ 1.2 zaSOR metodu. U tom slucaju SOR daje aproksimacijurješenja zadane tocnosti nakon 15 iteracija:

x15 =

1.0000000723648931.0000006906484561.0000000905462320.999999975329080

.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadaci

ZadatakNapišite program koji ucitava:

matricu Avektor bpocetnu iteraciju x0

parametar relaksacije ωtocnost aproksimacije ε

Program treba izracunati aproksimaciju rješenja sustavaAx = b pomocu SOR metode, zadane tocnosti. Najprije setreba provijeriti da li SOR uopce konvergira. Ako da, ispisneka se sastoji od

aproksimacije rješenjabroja iteracija potrebnih za dostizanje zadane tocnosti


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)

Za realizaciju programa napišite sljedece potprograme:sor_norma() — vraca (1,∞, ili F ) normu matriceiteracija za SOR metodu. Koristite CLAPACKpotprograme:

dlacpy_() — kopira cijelu matricu ili njene dijelove(gornji ili donji trokut)dtrsm_() — (BLAS) racuna produkt inverza trokutastematrice s nekom drugom matricomdlange_() — racuna normu matrice

sor_konvergencija() — vraca 1 ako metodakonvergira (‖TSOR‖ < 1), ili 0 inacesor_rjesavac() — najprije nakon prve iteracijeSOR-a racuna kriterij zaustavljanja, a onda racunaaproksimaciju rješenja sustava


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)Vaš program testirajte na sustavu Ax = b, gdje je

A =

101 −4 8 12−4 20 −7 38 −7 78 32

12 3 32 113

, b =

11712

111160

,a za optimalni ω uzmite 1.05.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





ZadatakVaš program za racunanje aproksimacije rješenja sustavaAx = b pomocu SOR metode testirajte na 100× 100Stieltjesovoj matrici koja je spremljena u datotecistieltjes_matr.txt na adresi


Matricu ucitajte u svoj program na sljedeci nacin:

FILE *f;double *a;int i, n=100;a=malloc(n*n*sizeof(double));f=fopen("stieltjes_matr.txt","r");for (i=0;i<n*n;i++)

fscanf(f,"%lf",a+i);fclose(f);


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)Vektor b generirajte tako da egzaktno rješenje bude[ 1 1 · · · 1 ]T pomocu potprograma dlaset_() idgemv_(). Kriterij zaustavljanja neka je ‖b − Axk‖2/‖b‖2 ≤ ε.

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

omega

rho(

t)

Slika: Spektralni radijus SOR matrice iteracije za Stieltjesovumatricu.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Iteracije iz Krylovljevih potprostora

Rezultat iz linearne algebre: svaka matrica poništava svojkarakteristicni i minimalni polinom.

κA(A) = a0I + a1A + · · ·+ an−1An−1 + anAn = 0,

gdje je

A ∈ Rn×n, κA(λ) = det(A− λI) =n∑

i=0

aiλi .

Kada je matrica regularna⇒ a0 6= 0,

A−1 = − 1a0

(a1I + · · ·+ an−1An−2 + anAn−1).

Rješenje sustava Ax = b možemo zapisati kaox = A−1b,

x = −a1

a0b − · · · − an−1

a0An−2b − an

a0An−1b,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





odnosno

x ∈ spanb,Ab, . . . ,An−1b = Kn(A,b).

Prostor Kn(A,b) zovemo Krylovljevim prostorommatrice A i inicijalnog vektora b.Ideja za iterativne metode rješavanja sustava linearnihjednadžbi: iteracije su aproksimacije rješenja izKrylovljevih potprostora.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Metoda konjugiranih gradijenata

To je iterativna metode iz Krylovljevih potprostora, zarješavanje sustava Ax = b, A ∈ Rn×n, b, x ∈ Rn, pricemu je matrica sustava A simetricna pozitivnodefinitna:

AT = AyT Ay > 0 za svaki y ∈ Rn, y 6= 0

Sa 〈x , y〉A = yT Ax dobro je definirani skalarni produkt(provjerite aksiome).Sa ‖x‖A =

√〈x , x〉A =

√xT Ax definirana je A-norma.

Za primjenu metode ne trebamo pristupati pojedinimelementima matrice.Dovoljno je znati djelovanje matrice na vektor A · y —cesto se zadaje kao funkcija od y .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Metoda konjugiranih gradijenata (CG))

x0 zadan;d0 = r0 = b − Ax0;k = 0;while (!kriterij_zaustavljanja)

αk =rTk rk

dTk Adk

;

xk+1 = xk + αkdk ;rk+1 = rk − αkAdk ;

βk+1 =rTk+1rk+1

rTk rk

;

dk+1 = rk+1 + βk+1dk ;k = k + 1;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija metode konjugiranih gradijenata

TeoremGreška ek dobivena u k-tom koraku metodekonjugiranih gradijenata ima najmanju A-normu naprostoru

e0 + spanAe0,A2e0, . . . ,Ake0.

U svakom koraku CG algoritma, duljina vektora greškeek = x − xk se reducira, pri cemu je A−1b = x = xm, zaneki m ≤ n.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





TeoremGreška ek dobivena u k-tom koraku metodekonjugiranih gradijenata zadovoljava

‖ek‖A ≤ minpk∈Pk ,pk (0)=1

maxi=1,...,n

|pk (λi)|‖e0‖A,

pri cemu su λ1, . . . , λn svojstvene vrijednosti od A.Primijenjiva ocjena je dana sa

‖ek‖A ≤ 2

(√κ2(A)− 1√κ2(A) + 1

)k

‖e0‖A.

pri cemu je κ(A)2 = ‖A‖2 · ‖A−1‖2 = λmax/λmin brojuvjetovanosti matrice A.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadaci

ZadatakNapišite potprogram cg() koji implementira metodukonjugiranih gradijenata. Ulazni parametri neka su

dimenzija problema nmatrica A i vektor bpocetna iteracija x0

tolerancija tolKriterij zaustavljanja je ‖rk‖2/‖b‖2 ≤ tol, gdje jerk = b − Axk .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





ZadatakMatrica sustava u ovom zadatku je simetricna pozitivnodefinitna 100× 100 matrica, sa svojstvenim vrijednostimaλ(A) ∈ 1,4,9, . . . ,10000, a dobivena je kao produktA = QΛQT , pri cemu je Λ dijagonalna matrica svojstvenihvrijednosti, a Q slucajna ortogonalna matrica. Zageneriranje matrice Q koristite sljedece CLAPACKpotprograme:

dlarnv_() za generiranje matrice slucajnih brojevadgeqrf_() za racunanje QR faktorizacije (Qortogonalna, R gornjetrokutasta)dormqr_() za množenje matrice sa matricom Q

Uvjetovanost ovako definirane matrice jednaka jeκ(A) = 104.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)

Za pocetnu iteraciju uzet cemo x0 = [0 0 . . . 0]T , a zadesnu stranu sustava, b je odreden tako da rješenje sustavabude jednako x = [1 1 . . . 1]T , odnosno da je b = A · x.Napišite program koji riješava ovaj sustav, pomocu metodekonjugiranih gradijenata i u svakom koraku k kontrolirajterelativnu normu reziduala ‖rk‖2/‖b‖2. Iteriranje se trebazaustaviti kada je ona manja od tol = 10−8.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 20 40 60 80 100 12010

−9

10−8

10−7

10−6

10−5

10−4

10−3

10−2

10−1

100

iteracija

|| r

|| / |

| b ||

Student Version of MATLAB

Slika: Relativne norme reziduala u svakoj iteraciji metodekonjugiranih gradijenata, za matricu A iz prethodnog zadatka.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





ZadatakSituacija u ovom zadatku je slicna prethodnom, samo štopozitivno definitna matrica A ima deset razlicitih svojstvenihvrijednosti, svaka od njih kratnosti 10. Dakle, A = QΛQT ,gdje je Λ dijagonalna matrica svojstvenih vrijednostiλ(A) ∈ 1,2, . . . ,10, a Q slucajna ortogonalna matrica.Uvjetovanost matrice A iznosi κ(A) = 10. b i x0 se odredujukao u prethodnom zadatku. Napišite program koji riješavaovaj sustav, pomocu metode konjugiranih gradijenata i usvakom koraku k kontrolirajte relativnu normu reziduala‖rk‖2/‖b‖2. Iteriranje se treba zaustaviti kada je ona manjaod tol = 10−8.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 1 2 3 4 5 6 7 8 9 1010

−16

10−14

10−12

10−10

10−8

10−6

10−4

10−2

100

102

iteracija

|| r

|| / |

| b ||


Slika: Relativne norme reziduala u svakoj iteraciji metodekonjugiranih gradijenata, za matricu A iz prethodnog zadatka.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Prekondicionirana metoda konjugiranihgradijenata

Prekondicioniranje je bilo kakvo modificiranjeoriginalnog linearnog sustava, koje na neki nacinolakšava rješavanje danog sustava, npr. ubrzavakonvergenciju.Modificirani sustav ima isto rješenje, ali ima boljasvojstva, npr. bolja spektralna svojstva matricesustava.Matrica prekondicioniranja je matrica koja utjece natransformaciju sustava.Ako matrica M aproksimira matricu sustava A na nekinacin, modificirani sustav glasi

M−1Ax = M−1b


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





U slucaju da je matrica A simetricna, tada se odmatrice M može zahtijevati da bude simetricna ipozitivno definitna.Matrica M se može onda faktorizirati npr. metodomCholeskog na M = RT R, i onda možemo definirati idvostrano prekondicioniranje pomocu faktora, pri cemuse tada rješava sustav

R−T AR−1y = R−T b, x = R−1y

Matrica prekondicioniranog sustava R−T AR−1 ostajesimetricna.Matrice M−1A i R−T AR−1 imaju iste svojstvenevrijednosti, jer su slicne.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Odabir matrice prekondicioniranja:Za bilo koju simetricnu pozitivno definitnu n × n matricuA = [aij ], dijagonalna matrica prekondicioniranja

dana je sa D = diag(√

a−111 , . . . ,

√a−1

nn )

(prekondicionirana matrica: DAD)Drugi nacin odabira matrice prekondicioniranja sunekompletne faktorizacije:

tokom samog procesa faktorizacije odredeni seelementi zanemarujuto na primjer mogu biti elementi u kojima originalnamatrica sustava ima nulutakve se matrice prekondicioniranja uvijek ostavljaju ufaktoriziranom oblikunjihova efikasnost ovisi o tome kako dobro njihov inverzaproksimira A−1

za simetricne pozitivno definitne matrice možemoprimijeniti nekompletnu faktorizaciju Choleskog


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Nekompletna faktorizacija Choleskog (IC))

for (i = 0; i < n; i + +)for (k = 0; k < i ; k + +)

A[i][i] = A[i][i]− pow(A[k ][i],2);A[i][i] = sqrt(A[i][i]);for (j = i + 1; j < n; j + +)

if (A[i][j]! = 0)for (k = 0; k < i ; k + +)

A[i][j] = A[i][j]− A[k ][i] ∗ A[k ][j];A[i][j] = A[i][j]/A[i][i];


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Prekondicionirana metoda konjugiranihgradijenata (PCG))

x0 zadan;r0 = b − Ax0;riješi Mp0 = r0;d0 = p0;k = 0;while (!kriterij_zaustavljanja)

αk =rTk pk

dTk Adk

;xk+1 = xk + αk dk ;rk+1 = rk − αk Adk ;riješi Mpk+1 = rk+1;

βk+1 =rTk+1pk+1

rTk pk

;dk+1 = pk+1 + βk+1dk ;k = k + 1;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadaci

ZadatakNapišite potprogram pcg() koji implementiraprekondicioniranu metodu konjugiranih gradijenata pomocunekompletne faktorizacije Choleskog. Potprogram ic() kojiimplementira nekompletnu faktorizaciju Choleskog nalazi seu datoteci ic.c na adresi


Ulazni parametri neka sudimenzija problema nmatrica A i vektor bpocetna iteracija x0

tolerancija tol


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)

Kriterij zaustavljanja je ‖rk‖2/‖b‖2 ≤ tol, gdje jerk = b − Axk . Koristite BLAS potprogram

dtrsv_() za rješavanje sustava sa trokutastommatricom.

U algoritmu linija riješi Mpk+1 = rk+1; znaci da zaizracunati nekompletni faktor Choleskoga R racunamo:

1 sk+1 = R−T rk+1

2 pk+1 = R−1sk+1

jer M = RT R, a M−1 = R−1R−T .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





ZadatakMatrica sustava ovog primjera je rijetko popunjenaStieltjesova matrica, ciji raspored netrivijalnih elemenata jedan u Slici.

0 20 40 60 80 100

0

10

20

30

40

50

60

70

80

90

100

nz = 798

Svojstvene vrijednosti ove matrice nalaze se u intervaluλ(A) ∈ 〈3.23,47.07〉, i mnoge su vrlo blizu jedne drugima, auvjetovanost iznosi κ(A) = 14.5627.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)Prekondicioniranje nekompletnom faktorizacijom Choleskogcemo usporediti sa dijagonalnim prekondicioniranjem, i saoriginalnim sustavom bez prekondicioniranja, kada serješavaju pomocu metode konjugiranih gradijenata. Vektordesne strane b je izracunat tako da je egzaktno rješenjex = [1,1, . . . ,1]T , a x0 = [0,0 . . . ,0]. Odnosi izmeduuvjetovanosti i broja iteracija potrebnih za postizanje istetocnosti od tol = 10−8 tih triju sustava, dani su u sljedecojtablici.

neprekondicionirani dijagonalno IC prekondicioniranisustav prekondicionirani sustav

sustavκ(A) 14.5627 7.8162 1.5025k 28 21 8


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 5 10 15 20 2510

−10

10−9

10−8

10−7

10−6

10−5

10−4

10−3

10−2

10−1

100

iteracija

|| r

|| / |

| b ||

neprekondicionirani sustavdijag. prekond. sustav IC prekond. sustav


Slika: Relativne norme reziduala u svakoj iteracijiprekondicionirane metode konjugiranih gradijenata, za matricu izprethodnog zadatka.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 20 40 60 80 100

0

10

20

30

40

50

60

70

80

90

100

nz = 449

Slika: Raspored netrivijalnih elemenata nekompletnog faktoraCholeskog matrice iz prethodnog zadatka.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





GMRES metoda

GMRES metoda (Generalized minimal residualalgorithm) može se primijeniti na sve vrste matrica.koristi modificirani Gram–Schmidtov postupak kako bikonstruirao ortonormiranu bazu q1,q2, . . . ,qk+1 zaniz Krylovljevih potprostora

spanr0,Ar0, . . . ,Ak r0,

−→ Arnoldijev algoritam.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (Arnoldijev algoritam)

q0 sa ‖q0‖2 = 1 zadan;for (j = 0; j < n − 1; j + +)

qj+1 = Aqj ;for (i = 0; i <= j ; j + +)

H[i][j] = qTi qj+1;

qj+1 := qj+1 − H[i][j]qi ;H[j + 1][j] = ‖qj+1‖2;

qj+1 =qj+1

H[j + 1][j];


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Za ortogonalnu matricu

Qk = [ q1 q2 · · · qk ],

i (k + 1)× k gornje Hessenbergovu matricu

Hk+1,k = [hij ], i = 1, . . . , k + 1, j = 1, . . . , k

iz Arnoldijevog algoritma vrijedi

AQk = Qk+1Hk+1,k .

GMRES metoda u svakom koraku racunaaproksimaciju rješenja xk = x0 + Qkyk , takvu da jexk ∈ x0 +Kk (A, r0) sa minimalnom 2-normom reziduala.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (GMRES metoda)

x0 zadan;r0 = b − Ax0;β = ‖r0‖2;

q1 =r0

β;

l = [1,0, . . . ,0]T ;for (k = 0; k < kmax ; k + +)

Izracunaj qk+1 i H[i][k ] za i = 0, . . . , k + 1, koristeciArnoldijev algoritam.

Primijeni F0, . . . ,Fk−1 na zadnji stupac od H:for (i = 0; i <= k − 1; i + +)[

H[i][k ]H[i + 1][k ]

]=

[ci si−si ci

] [H[i][k ]H[i + 1][k ]

];


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (GMRES metoda — nastavak)

Izracunaj k-tu Givensovu rotaciju Fk kako bi seponištio H[k + 1][k ]:

ck =|H[k ][k ]|√

|H[k ][k ]|2 + |H[k + 1][k ]|2;

if ck 6= 0

sk = ckH[k + 1][k ]

H[k ][k ];

elsesk = 1;

Primijeni k-tu rotaciju na l i na zadnji stupac od H:[l[k ]l[k + 1]

]=

[ck sk−sk ck

] [l[k ]0

];

H[k ][k ] = ckH[k ][k ] + skH[k + 1][k ];H[k + 1][k ] = 0;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Algoritam (GMRES metoda — nastavak)

if (ocjena norme reziduala β|l[k + 1]| dovoljno mala)Riješi gornje trokutasti sustav Hk×kyk = βlk×1.xk = x0 + Qkyk ;


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Neka svojstva GMRES metode

TeoremRezidual u k-tom koraku zadovoljava

rk =b − Axk = Qk+1(βξ1 − Hk+1,kyk )

=Qk+1F (k)∗(g(k)[k + 1]ξk+1),

pri cemu su ξ1 prvi jedinicni vektor ξ1 = [1,0, . . . ,0]T ,F (k) = FkFk−1 · · ·F0, a g(k) = βF (k)ξ1. Kao rezultatdobivamo

‖rk‖2 = ‖b − Axk‖2 = |g(k)[k + 1]|.

Neka je A regularna matrica. Tada se GMRESalgoritam prekida u k-tom koraku (H[k + 1][k ] = 0) zak ≤ n ako i samo ako je aproksimacija xk jednakaegzaktnom rješenju.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Konvergencija GMRES metode

TeoremNeka je xk aproksimacija rješenja ostvarena u k-tom korakuGMRES algoritma, i neka je rk = b − Axk . Tada postojiqk−1 ∈ Pk−1 takav da je xk oblika

xk = x0 + qk−1(A)r0

i‖rk‖2 = min

qk−1∈Pk−1‖(I − Aqk−1(A))r0‖2.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





TeoremNeka je dan nerastuci niz f (0) ≥ f (1) ≥ · · · ≥ f (n − 1) > 0pozitivnih brojeva i skup kompleksnih brojeva razlicitih odnule λ1, λ2, . . . , λn, tada postoji matrica A sa svojstvenimvrijednostima λ1, λ2, . . . , λn i desna strana sustava b sa‖b‖2 = f (0) takvi da reziduali rk u svakom koraku GMRESalgoritma primijenjenog na sustav Ax = b sa x0 = 0,zadovoljavaju ‖rk‖2 = f (k), k = 1,2, . . . ,n − 1.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadaci

Za rješavanje linearnih sustava pomocu GMRES metodekoristit cemo gotovi potprogram GMRES.c koji se nalazi naadresi


Ovaj potprogram deklariran je sa

int gmres_(integer *n, doublereal *b,doublereal *x, integer *restrt, doublereal

*work, integer *ldw, doublereal *h, integer

*ldh, integer *iter, doublereal *resid, int(*matvec) (doublereal *, doublereal *,

doublereal *, doublereal *), int (*psolve)(doublereal *, doublereal *), integer *info)

pri cemu su


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





n (ulaz) red matrice Ab (ulaz) vektor desne strane bx (ulaz) pocetna iteracija

(izlaz) aproksimacija rješenjarestrt (ulaz) broj iteracija kod restarta (≤ n)

work pomocno polje dimenzija ldw × (restrt + 4).ldw (ulaz) vodeca dimenzija polja work , ldw ≥ n

h pomocno polje dimenzija ldh × (restrt + 2)za spremanje matrice H i Givensovih rotacija

ldh (ulaz) vodeca dimenzija polja h, ldh ≥ restrt + 1.iter (ulaz) maksimalan broj iteracija

(izlaz) broj izvršenih iteracijaresid (ulaz) kriterij zaustavljanja; tolerancija na ‖b−Ax‖/‖b‖

(izlaz) konacna vrijednost od ‖b−Ax‖/‖b‖


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





matvec potprogram za racunanje produkta matrica–vektory = α · A · x + β · y ,gdje su α i β skalari, x i y vektori, a A matrica.Poziv potprograma:matvec (alpha, x, beta, y)

psolve potprogram za rješavanje sustava sa matricomprekondicioniranjaMx = b,gdje su x i b vektori, a M matrica. b se ne mijenja.Poziv potprograma:psolve (x, b)

info (izlaz) informacija o izvršavanju potprograma(0=OK)


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





ZadatakU ovom zadatku promatramo GMRES metodu, i pokazatcemo da se zaista može konstruirati matrica sa u naprijedodredenom krivuljom konvergencije, za bilo koji skupsvojstvenih vrijednosti. Definirat cemo

skup svojstvenih vrijednostiλ(A) ∈ e

2πi100 k : k = 0,1, . . . ,99,

niz vrijednosti f (0) = 100, f (1) = 99,f (2) = 98,. . . ,f (99) = 1, f (100) = 0,

g(k)=√

(f (k−1))2−(f (k))2=√

(100−k+1)2−(100−k)2, k=1,...,100.

Matrica V = [v1 v2 · · · v100] je slucajna ortogonalnamatrica,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)

definirajmo b =∑100

i=1 g(i)vi , i tada je ‖b‖2 = f (0).Definirajmo matricu B = [b v1 · · · v99]

izracunajmo koeficijente polinoma

a(z) = z100 −99∑

i=0

αiz i = (z − λ1(A)) · · · (z − λ100(A)),

u našem slucaju je a(z) = z100 − 1, odnosno

α0 = 1, α1 = α2 = · · · = α99 = 0,

jer se radi o stotim korijenima jedinice.konstruirajmo matricu A kao


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Zadatak (nastavak)

A = B ·

0 · · · 0 α01 · · · 0 α1

. . ....

...1 α99

· B−1.

Pocetna iteracija je x0 = 0, i tol = 10−5.

Prema teoretskim rezultatima, ovako definirani sustavAx = b ima matricu sa gore definiranim svojstvenimvrijednostima i sa rezidualima, takvim da nakon svakeiteracije GMRES metode vrijedi ‖rk‖2 = f (k). Provjerite totako da ispišete normu reziduala u svakom koraku.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 10 20 30 40 50 60 70 80 90 1000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

iteracija

|| r

|| / |

| b ||

Slika: Relativne norme reziduala u svakoj iteraciji GMRESmetode, za matricu A iz prethodnog zadatka.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža






Mnoge matrice dobivene iz primjene su takozvane Mmatrice.

DefinicijaZa n × n matricu A kažemo da je M-matrica ako

(i) aii > 0, i = 1, . . . ,n,(ii) aij ≤ 0, i , j = 1, . . . ,n, j 6= i , i(iii) A je regularna i A−1 ≥ 0.

U sljedecem teoremu nalaze se ostale ekvivalentne tvrdnje,prema kojima možemo prepoznati M-matricu


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





TeoremNeka je A realna n × n matrica sa nepozitivnim vandija-gonalnim elementima. Sljedece tvrdnje su ekvivalentne:

(i) A je M-matrica.(ii) A je regularna i A−1 ≥ 0.(iii) Sve svojstvene vrijednosti od A imaju pozitivan realni

dio.(iv) Svaka realna svojstvena vrijednost od A je pozitivna.(v) Sve glavne minore od A su M-matrice.(vi) A se može faktorizirati u oblik A = LU, gdje je L donje

trokutasta, U gornje trokutasta, a svi dijagonalnielementi obaju matrica su pozitivni.

(vii) Dijagonalni elementi od A su pozitivni, i AD je strogodijagonalno dominanatna za proizvoljnu pozitivnu,dijagonalnu matricu D.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





DefinicijaRealna matrica A je Stieltjesova matrica ako je Asimetricna, pozitivno definitna i svi vandijagonalni elementiod A su nepozitivni.

TeoremSvaka Stieltjesova matrica je M-matrica.

KorolarAko je matrica sustava A M-matrica, tada

Jacobijeva i Gauss–Seidelova metoda konvergiraju zasvaku pocetnu iteraciju,Stopa konvergencije Gauss–Seidelove metode jenajmanje tako dobra kao stopa Jacobijeve metode.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Elektricna mreža

Primjer

Problem od kojeg polazimo je racunanje potencijala uelektricnoj mreži prikazanoj na slici.

y y y y

y y y y

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

CCC

XX

XXXXXXXXXXX

XX

XXXXXXXXXXX

XX

XXXXXXXXXXX

B

A

6

1

5

2

4

3

0 V

100 V

1 Ω

3 Ω

2 Ω

3 Ω

3 Ω

4 Ω

15 Ω 10 Ω 3 Ω

Otpori u otpornicima su dani na slici, a razlikapotencijala izmedu tocaka A i B je 100 V.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Iz Ohmovog zakona slijedi da je jakost struje Ipq kojastruji od tocke p do tocke q u grani mreže pq, dana sa

Ipq =vp − vq

Rpq,

gdje su vp i vq potencijali u tockama p i q, a Rpq jeotpor grane pq.Prema Kirchoffovom zakonu, suma jakosti struja kojezavršavaju u jednom cvoru mora biti jednaka nuli, i tovrijedi za svaki cvor mreže.To je zapravo zakon sacuvanja naboja, i on ukazuje nato da se struja ne može akumulirati niti generirati u bilokojem cvoru mreže.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Primjena tih dvaju zakona na cvor 1 vodi do sljedecejedadžbe

IA1 + I21 + I61 =100− v1

3+

v2 − v1

3+

v6 − v1

15= 0

ili u sredenom obliku

11v1 − 5v2 − v6 = 500.

Na slican nacin mogu se napisati jednažbe za svakipreostali cvor u mreži, cime dobivamo sustav od 6jedadžbi, sa 6 nepoznanica.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Nepoznanice su vi , i = 1, . . . ,6, potencijali u cvorovima.

11v1 − 5v2 − v6 = 500−20v1 + 41v2 − 15v3 − 6v5 = 0

− 3v2 + 7v3 − 4v4 = 0− v3 + 2v4 − v5 = 0

− 3v2 − 10v4 + 28v5 − 15v6 = 0−2v1 − 15v5 + 47v6 = 0

Problem smo sveli na rješavanje sustava, kojegmatricno možemo zapisati kao Av = b, pri cemu jeA ∈ R6×6 matrica, a v ,b ∈ R6 vektori, i oni su oblika

11 −5 0 0 0 −1−20 41 −15 0 −6 0

0 −3 7 −4 0 00 0 −1 2 −1 00 −3 0 −10 28 −15−2 0 0 0 −15 47

︸︷︷︸

A

v1

v2

v3

v4

v5

v6

︸︷︷︸

v

=

500

00000

︸︷︷︸

b

.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Matrica A je M matrica prema kriteriju (vii), jer za∆ = diag(0.4,0.7,0.9,1,1,0.5)

A ·∆ =

4.4 −3.5 0.0 0.0 0.0 −0.5−8.0 28.7 −13.5 0.0 −6.0 0.0

0.0 −2.1 6.3 −4.0 0.0 0.00.0 0.0 −0.9 2.0 −1.0 0.00.0 −2.1 0.0 −10.0 28.0 −7.5−0.8 0.0 0.0 0.0 −15.0 23.5

je strogo dijagonalno dominantna.

Prema teoremu o konvergenciji Jacobijeve iGauss–Seidelove metode za M matrice, možemokoristiti te dvije metode za racunanje aproksimativnogrješenja sustava Av = b.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

omega

rho(

t)



Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Sustav cemo rješavati Gauss–Seidelovom, SORmetodom i GMRES metodom.Za sve metode neka je

v (0) = [0 0 0 0 0 0]T .Kriterij zaustavljanja: ‖b − Av (k)‖2/‖b‖2 ≤ 10−8.

Za SOR metodu treba uzeti optimalan parametarω = 1.35.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Rješenje sustava je

v =

705240312210

Tražena tocnost dostiže se za:

Gauss–Seidel 65 iteracijaSOR 23 iteracijuGMRES 6 iteracija


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Numericko rješavanje obicne diferencijalnejednadžbe

Primjer

Numericki cemo riješiti jednu konkretnu obicnudiferencijalnu jednadžbu (rubni problem), i usporeditidobiveno rješenje sa egzaktnim rješenjem jednadžbe.

Imamo sljedeci problem:

− d2

dx2 y(x)− y(x) =2 sin(x), x = 〈0,1〉,

y(0) =0y(1) = cos(1)

Lako se može provjeriti da je egzaktno rješenje dano sa

y(x) = x cos(x).


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Numericki rješenje možemo približno odreditiaproksimacijom na dovoljno gustoj mreži definiranoj na[0,1], i to se zove diskretizacija.Gledamo ekvidistantnu mrežu od 101 tocke i definiramo

h = 0.01, xi = ih, yi ≈ y(xi), fi = 2 sin xi ,

i = 0,1, . . . ,100.

Derivaciju možemo aproksimirati na dva nacina:diferencijom unazad

y ′(ih) ≈ y(ih)− y((i − 1)h)

h=

yi − yi−1

h,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)diferencijom unaprijed

y ′(ih) ≈ y((i + 1)h)− y(ih)

h=

yi+1 − yi

h.

Druga derivacija se najcešce aproksimira kombinacijomovih dviju diferencija, i tako dobivena aproksimacijazove se centralna diferencija:

y ′′(ih) ≈y((i+1)h)−y(ih)

h − y(ih)−y((i−1)h)h

h=

=y((i + 1)h)− 2y(ih) + y((i − 1)h)

h2 =

=yi+1 − 2yi + yi−1

h2 .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Uvrstimo li to u problem, dobivamo aproksimativnilinearni sustav sa nepoznanicama y0, . . . , y100

y0 =0−yi−1 + 2yi − yi+1

h2 − yi =fi , i = 1, . . . ,99

y100 = cos(1).

Kad to sredimo dobit cemo 99 jednadžbi

(2− h2)y1 − y2 =h2f1−yi−1 + (2− h2)yi − yi+1 =h2fi , i = 2, . . . ,98

−y98 + (2− h2)y99 =h2f99 + y100,


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Dobili smo sustav Ay = b, sa A ∈ R99×99 i b, y ∈ R99,pri cemu su

A =

1.9999 −1−1 1.9999 −1

· · · · · · · · ·−1 1.9999 −1

−1 1.9999

,

y =

y1y2...

y98y99

, b =

0.0002 sin(0.01)0.0002 sin(0.02)

...0.0002 sin(0.98)

0.0002 sin(0.99) + cos(1)

.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Lako možemo provjeriti da je matrica A pozitivnodefinitna pomocu faktorizacije Choleskog.U CLAPACK-u treba pozvati potprogram dpotrf_()koji racuna faktorizaciju Choleskog i provjeriti što vracavarijabla info:

ukoliko je info= 0 matrica je pozitivno definitnaukoliko je info> 0 matrica nije pozitivno definitna

Njezina uvjetovanost je κ2(A) = 4.5090 · 103.Sustav cemo rješavati Gauss–Seidelovom, SORmetodom i metodom konjugiranih gradijenata.Za sve metode neka je

y (0) = [0 0 0 · · · 0]T .Kriterij zaustavljanja: ‖b − Ay (k)‖2/‖b‖2 ≤ 10−8.



Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

omega

rho(

t)



Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

y

rubni uvjeti izracunato rjesenjeegzaktno rjesenje


Slika: Numericko i egzaktno rješenje rubnog problema.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−3

−2.5

−2

−1.5

−1

−0.5

0x 10

−6

x

e

greska


Slika: Greška (y − y ) izmedu egzaktnog i numerickog rješenjerubnog problema u kojoj prevladava greška diskretizacije.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Izracunatu aproksimaciju rješenja usporedite saegzaktnim rješenjem, racunanjem greške u cvorovimamreže.Tražena tocnost dostiže se za:

Gauss–Seidel 15019 iteracijaSOR 400 iteracijaCG 99 iteracija


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Numericko rješavanje Poissonove jednadžbe

Primjer

Numericki cemo riješiti Poissonovu parcijalnu diferencijalnujednadžbu (rubni problem), koja je specijalni oblik difuzijskejednadžbe (npr. distribucija temperature u objektu).

Imamo sljedeci problem:

−∆u(x , y) =f (x , y) na Ω

u(x , y) =0 na ∂Ω

gdje je Ω jedinicni kvadrat 〈0,1〉 × 〈0,1〉.∆ je Laplaceov operator

∆u =∂2u∂x2 +

∂2u∂y2

a njegova diskretizacija se takoder provodi konacnimdiferencijama.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Za metodu konacnih diferencija iz danog podrucja Ωizabran je skup tocaka koji cini mrežu, i u svakoj tockimreže od Ω derivacija u Poissonovoj jednadžbizamijenjuje se sa kvocijentom koji se približava pravojderivaciji kada mreža postaje sve finija.

ttttt

ttttt

ttttt

∂Ω Ω-9

hy

hx

1 2 3

4 5 6

7 8 9

10 11 12

13 14 15

(i, j)(i − 1, j) (i + 1, j)

(i, j − 1)

(i, j + 1)


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Uvedimo uniformnu mrežu

xi , yj : i = 0,1, . . . ,nx + 1, j = 0,1, . . . ,ny + 1

na našem jedinicnom kvadratu, sa koracimahx = 1/(nx + 1) u x smjeru,i hy = 1/(ny + 1) u smjeru y,

kao što je prikazano na prethodnoj slici za nx = 3,ny = 5.Tada su

x0 = 0, xnx +1 = 1, xi = ihx , i = 1, . . . ,nx ,

y0 = 0, yny +1 = 1, yj = jhy , j = 1, . . . ,ny .


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)Dalje aproksimiramo druge derivacije centralnimdiferencijama

ui,j ≈ u(xi , yj),

∂2u∂x2 (xi , yj) ≈

ui−1,j − 2ui,j + ui+1,j

h2x

,

∂2u∂y2 (xi , yj) ≈

ui,j−1 − 2ui,j + ui,j+1

h2y

Ako definiramo fi,j = f (xi , yj), i ako centralne diferencijeuvrstimo u Poissonovu jednadžbu umjesto derivacija,dobit cemo aproksimativni sustav sa nepoznanicamaui,j , za i = 1, . . . ,nx , j = 1, . . . ,ny


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

−ui−1,j + 2ui,j − ui+1,j

h2x

+−ui,j−1 + 2ui,j − ui,j+1

h2y

= fi,j ,

i = 1, . . . ,nx , j = 1, . . . ,ny ,

gdje su

u0,j = unx +1,j = 0, j = 0, . . . ,ny + 1,ui,0 = ui,ny +1 = 0, i = 0, . . . ,nx + 1.

Matrica A dobivenog sustava je dimenzije nxny × nxny iima poseban oblik poznat pod imenom blok-TSTmatrica

T =Toeplitzova (konstantna duž svih dijagonala)S =simetricnaT =tridijagonalna


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

1 2 ··· ny−1 ny

A =

S TT S T

. . . . . . . . .T S T

T S

1

2...ny−1

ny

pri cemu su S,T ∈ Rnx×nx takve da je

T = − 1h2

yI, S =

φ ψψ φ ψ

. . . . . . . . .ψ φ ψ

ψ φ

,φ = 2

h2x

+ 2h2

y,

ψ = − 1h2

x


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 10 20 30 40 50 60 70 80

0

10

20

30

40

50

60

70

80

nz = 369

Slika: Raspored netrivijalnih elemenata u matrici A dobivenojdiskretizacijom operatora −∆.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)vektor nepoznanica u i vektor desne strane b su oblika

u =

u1,1...

unx ,1u1,2

...unx ,ny−1

u1,ny...

unx ,ny

, b =

f1,1...

fnx ,1f1,2...

fnx ,ny−1f1,ny

...fnx ,ny

.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Mi cemo rješavati stacionarnu difuzijsku jednadžbu suniformnim toplinskim konduktivitetom materijala, stockastim vanjskim izvorom topline u središtu kvadratajacine 10000, i konstantnom temperaturom na rubu.Ovaj problem je ekvivalentan rješavanju Poissonovejednadžbe s funkcijom

f (x , y) =

0 za (x , y) ∈ Ω \ (0.5,0.5)

10000 za (x , y) = (0.5,0.5)

Za diskretizaciju, sada cemo uzeti ekvidistantnudvodimenzionalnu mrežu

h = 0.1, xi = ih, yj = jh, i , j = 0,1, . . . ,10,ui,j ≈ u(xi , yj), fi,j = f (xi , yj).


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Matrica sustava A ∈ R81×81 je oblika

A = 100 ·

D −I 0 0 0 0 0 0 0−I D −I 0 0 0 0 0 00 −I D −I 0 0 0 0 00 0 −I D −I 0 0 0 00 0 0 −I D −I 0 0 00 0 0 0 −I D −I 0 00 0 0 0 0 −I D −I 00 0 0 0 0 0 −I D −I0 0 0 0 0 0 0 −I D

pri cemu su D, I ∈ R9×9


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

D =

4 −1 0 0 0 0 0 0 0−1 4 −1 0 0 0 0 0 00 −1 4 −1 0 0 0 0 00 0 −1 4 −1 0 0 0 00 0 0 −1 4 −1 0 0 00 0 0 0 −1 4 −1 0 00 0 0 0 0 −1 4 −1 00 0 0 0 0 0 −1 4 −10 0 0 0 0 0 0 −1 4

a I je identiteta.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Vektor desne strane b ∈ R81 je oblika

b[i] =

0 za i = 1, . . . ,40,42, . . . ,81

10000 za i = 41

Vektor nepoznanica u ∈ R81 je oblika

u[k ] = ui,j , k = (j − 1) · 9 + i .

Napomena: U C-u imamo pomak u indeksimab[i]→ b[i − 1], u[k ]→ u[k − 1] jer indeksi krecu od 0,pa je b[40] = 10000 i b[i] = 0 za i 6= 40.Rješavamo sustav Au = b, pri cemu je matrica AStieltjesova.


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Svojstvene vrijednosti od A su analiticki poznate iiznose:

λi,j = 400(

sin2(

iπ20

)+ sin2

(jπ20

))Njezina uvjetovanost je κ2(A) = 39.8635.Sustav cemo rješavati Gauss–Seidelovom, SORmetodom i metodom konjugiranih gradijenata.Za sve metode neka je

u(0) = [0 0 0 · · · 0]T .Kriterij zaustavljanja: ‖b − Au(k)‖2/‖b‖2 ≤ 10−8.



Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

omega

rho(

t)



Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





Primjer (nastavak)

Tražena tocnost dostiže se za:

Gauss–Seidel 169 iteracijaSOR 33 iteracijaCG 13 iteracija


Nela Bosner

LAPACK



Jacobijeva metoda


SOR metoda

Zadaci



Zadaci


Zadaci

GMRES metoda

Zadaci


Elektricna mreža





00.2

0.40.6

0.81

0

0.5

10

10

20

30

40

50

60

xy

u

Slika: Aproksimativno rješenje Poissonove jednadžbe.


Nela Bosner

LAPACK


Problemisvojstvenihvrijednosti iSVDSpektralnadekompozicija

Zadaci


Sistem masa selasticnimoprugama

Particioniranje grafa

SVD


RješavanjeortogonalnogProcrustesproblema

Nalaženje kutevaizmedu dvapotprostora

Nalaženje presjekapotprostora

Procesiranje slika


Problemi svojstvenih vrijednosti i SVD

Problemi svojstvenih vrijednosti i dekompozicijasingularnih vrijednosti (SVD) su srodni problemi.

Definicija

Neka je A ∈ Cn×n. Skalar λ ∈ C zove se svojstvenavrijednost matrice A, ako postoji vektor x ∈ Cn, x 6= 0 takavda je

Ax = λx .

Takav vektor x zove se svojstveni vektor od A, koji pripadasvojstvenoj vrijednosti λ.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Definicija

Ukoliko za matricu A = [a1 . . . an] možemo napisati da jeA = SDS−1, za neku regularnu matricu S = [s1 . . . sn], iD = diag(d1, . . . ,dn) dijagonalnu matricu tada vrijedi:

AS = SD ⇒ Asi = disi i = 1, . . . ,n.

U tom slucaju dijagonalni elementi matrice D predstavljajusvojstvene vrijednosti matrice A, a stupci matrice Spredstavljaju svojstvene vektore matrice A. Za rastavA = SDS−1 kažemo da je spektralna dekompozicijamatrice A.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Napomena

Ako je A ∈ Rn×n simetricna matrica, onda postojiortogonalna matrica U ∈ Rn×n i dijagonalna matricaΛ = diag(λ1, . . . , λn), pri cemu su λi ∈ R za i = 1, . . . ,n,takve da je

A = UΛUT .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Teorem (Dekompozicija singularnih vrijednosti (SVD))

Neka je A ∈ Cm×n matrica ranga r . Tada postoje unitarnematrice U ∈ Cm×m i V ∈ Cn×n takve da je

U∗AV =

[Σ+ 00 0

]r

m−r

r n−r

gdje je Σ+ = diag(σ1, . . . , σr ), uz σ1 ≥ σ2 ≥ · · · ≥ σr > 0.(Tada je A = UΣV ∗.)

DefinicijaPozitivni skalari σ1, . . . , σr zovu se singularne vrijednosti,a stupci matrica U i V zovu se lijevi i desni singularnivektori matrice A.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Napomena

Za matricu A ∈ Cm×n ranga r ≤ min(m,n), matriceA∗A ∈ Cn×n i AA∗ ∈ Cm×m su simetricne i pozitivnosemidefinitne. Vrijedi:

V ∗A∗AV = diag(σ21, . . . , σ

2r ,0, . . . ,0︸︷︷︸

n−r

), σ1≥σ2≥···≥σr>0

tj, kvadrati singularnih vrijednosti matrice A susvojstvene vrijednosti matrice A∗A, samo što se medunjima nalazi n − r nula, a stupci matrice V su njenisvojstveni vektori.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Napomena (nastavak)

U∗AA∗U = diag(σ21, . . . , σ

2r ,0, . . . ,0︸︷︷︸

m−r

), σ1≥σ2≥···≥σr>0

tj, kvadrati singularnih vrijednosti matrice A susvojstvene vrijednosti matrice AA∗, samo što se medunjima nalazi m − r nula, a stupci matrice U su njenisvojstveni vektori.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Spektralna dekompozicija

Metode numerickog racunanja spektra

Ako je A ∈ Rn×n simetricna matrica, onda tražimo nizortogonalnih matrica U1, U2,. . . takvih da

UTk · · ·UT

2 UT1 AU1U2 · · ·Uk → Λ = diag(λ1, . . . , λn),

kad k →∞.

Ovakvim transformacijama cuva se simetricnostmatrice.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Jacobijeva metoda

Ideja koja stoji iza Jacobijeve metode je sistematskosmanjivanje velicine

S(A) =

√√√√√ n∑i=1

n∑j=1j 6=i

a2ij ,

koju još nazivamo normom vandijagonalnihelemenata.Najprikladniji izbor za matrice Ui su Jacobijeverotacije Ri = Ri(pi ,qi ;φi).Definirajmo niz simetricnih matrica A(i) ∈ Rn×n, takavda je,

A(0) = A, A(i) = RTi A(i−1)Ri .

Za svaki i , biraju sepivotni indeksi pi i qi , ovisno o pivotnoj strategiji,kut φi , takav da poništi elemente sa indeksima pi i qi , tj

a(i)pi ,qi = a(i)

qi ,pi = 0.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Kada se raspiše djelovanje Jacobijevih rotacija u i-tomkoraku, onda se vidi da se mijenjaju samo pi -ti i qi -tistupac i redak. Odnosno

11

ci −si1

si ci1

·

∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗

·

11

ci si1

−si ci1

=

∗ ∗ • ∗ • ∗∗ ∗ • ∗ • ∗• • • • 0 •∗ ∗ • ∗ • ∗• • 0 • • •∗ ∗ • ∗ • ∗

pri cemu su sa ∗ oznacene stare vrijednosti, sa • nove,ci = cosφi , i si = sinφi .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Iz uvjeta a(i)pi ,qi

= a(i)qi ,pi

= 0 slijedi da su

ci =1√

1 + t2i

, si = tici ,

pri cemu su

ti = tanφi =sign(τi)

|τi |+√τ2

i + 1

τi =a(i−1)

qi ,qi− a(i−1)

pi ,pi

2a(i−1)pi ,qi


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Još treba odabrati pivotnu strategiju. Postoje raznepivotne strategije, od kojih cemo mi obraditi jednu.Jacobijeva metoda sa ciklickom strategijom porecima — ciklusi se sastoje od:

(pi ,qi) =(1,2), (1,3), . . . , (1,n), (2,3), (2,4), . . . , (2,n), . . .

. . . , (n − 2,n − 1), (n − 2,n), (n − 1,n),

odnosno u jednom ciklusu se poništavajuvandijagonalni elementi u sljedecem poretku:

∗ 1 2 3 4 51 ∗ 6 7 8 92 6 ∗ 10 11 123 7 10 ∗ 13 144 8 11 13 ∗ 155 9 12 14 15 ∗

.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Na kraju treba odrediti i uvjet zaustavljanja iteracija.Iteracije se zaustavljaju kada

S(A(i)) ≤ tol‖A‖F ,

za neku velicinu tolerancije tol > 0.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Algoritam (Jacobijeva metoda sa ciklickom pivotnomstrategijom po recima)

tol zadan;while (S(A) > tol‖A‖F )

for (p = 0; p < n − 1; p + +)for (q = p + 1; q < n; q + +)

if (A[p][q]! = 0)tau = (A[q][q]− A[p][p])/(2 ∗ A[p][q]);t =sign(tau)/(fabs(tau) + sqrt(1 + pow(tau, 2)));c = 1/(sqrt(1 + pow(t ,2)));s = t ∗ c;

elsec = 1;s = 0;


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Algoritam (nastavak)

app = A[p][p]; apq = A[p][q]; aqq = A[q][q];app = app − t ∗ apq;aqq = aqq + t ∗ apq;for (k = 0; k < n; k + +)

pom = A[k ][p];A[k ][p] = c ∗ pom − s ∗ A[k ][q];A[k ][q] = s ∗ pom + c ∗ A[k ][q];A[p][k ] = A[k ][p]; A[q][k ] = A[k ][q];

A[p][q] = 0; A[q][p] = 0;A[p][p] = app; A[q][q] = aqq;


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Zadaci

ZadatakNapišite potprogram jacobi_sd() koji implementiraJacobijevu metodu za spektralnu dekompoziciju simetricnematrice. Ulazni parametri neka su

dimenzija problema nmatrica Atolerancija tol

Kriterij zaustavljanja je S(A(i)) ≤ tol‖A‖F . Potprogram trebavratiti niz izracunatih svojstvenih vrijednosti.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


ZadatakSvoj potprogram testirajte na 4× 4 simetricnoj matrici sapoznatim svojstvenim vrijednostima. Generirajte slucajnuortogonalnu matricu U, dijagonalnu matricuD = diag(−10,−5,0.1,0.2), a matricu A izracunajte kaoA = UDUT . Uzmite tol = 4 · 10−16.

ZadatakTestirajmo Jacobijevu metodu na primjeru Risove matrice.Risova matrica A ∈ R10×10 je simetricna, i definira se kao

A[i][j] =1

2(8− i − j + 1.5), i , j = 0, . . . ,9.

Poznato je da svojstvene vrijednosti tvore nakupine oko−π/2 i π/2. Neka je tol = 10−15.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


0 1 2 3 4 5 610

−30

10−25

10−20

10−15

10−10

10−5

100

ciklusi

S(A

)


Slika: Norme vandijagonalnih elemenata po ciklusima Jacobijevemetode sa ciklickom strategijom po recima, za matricu izprethodnog zadatka.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika



Za sljedece primjere koristit cemo CLAPACK-ovepotprograme

dsyev_() za racunanje svih svojstvenih vrijednosti isvojstvenih vektora simetricne matrice.

Potprogram najprije svede matricu A na tridijagonalnioblik T , tako da je A = QTQT pri cemu je Qortogonalna.Zatim se koristi brz algoritam za racunanje spektralnedekompozicije tridijagonalne matrice T , tj. T = PΛPT .Konacna spektralna dekompozicija od A jeA = (QP)Λ(QP)T .Poziv potprograma jeint dsyev_(char *jobz, char *uplo,integer *n, doublereal *a, integer *lda,doublereal *w, doublereal *work, integer

*lwork, integer *info);


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


jobz (ulaz)= ’N’: racuna samo svojstvene vrijednosti= ’V’: racuna svojstvene vrijednosti isvojstvene vektore

uplo (ulaz) odreduje dio matrice A koji jespremljen:= ’U’: gornji trokut= ’L’: donji trokut

n (ulaz) red matrice Aa (ulaz) matrica A; spremljen je samo njen gornji,

ili donji trokut (ovisno o uplo)(izlaz) ako je jobz = ’V’ — matrica svojstvenihvektoraako je jobz = ’N’ — ulazni trokut je uništen


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


lda (ulaz) vodeca dimenzija polja a (lda ≥ n)w (izlaz) n polje koje sadrži svojstvene vrijednosti

u rastucem poretkuwork pomocno polje dimenzije ldwldw (ulaz) vodeca dimenzija polja work, ldw ≥ 3n−1info (izlaz) informacija o izvršavanju potprograma

(0=OK)


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


dsyevx_() za racunanje nekih svojstvenih vrijednosti iodgovarajucih svojstvenih vektora simetricne matrice.

Potprogram najprije svede matricu A na tridijagonalnioblik T , tako da je A = QTQT pri cemu je Qortogonalna.Zatim se koristi algoritam za racunanje svojstvenihvrijednosti i svojstvenih vektora tridijagonalne matrice T .Poziv potprograma jeint dsyevx_(char *jobz, char *range, char

*uplo, integer *n, doublereal *a, integer

*lda, doublereal *vl, doublereal *vu,integer * il, integer *iu, doublereal

*abstol, integer *m, doublereal *w,doublereal *z, integer *ldz, doublereal

*work, integer *lwork, integer *iwork,integer *ifail, integer *info);


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


jobz (ulaz)= ’N’: racuna samo svojstvene vrijednosti= ’V’: racuna svojstvene vrijednosti isvojstvene vektore

range (ulaz)= ’A’: racuna sve svojstvene vrijednosti= ’V’: racuna svojstvene vrijednosti u 〈vl , vu]= ’I’: racuna od il-te do iu-te svojstvenevrijednosti u rastucem poretku

uplo (ulaz) odreduje dio matrice A koji jespremljen:= ’U’: gornji trokut= ’L’: donji trokut

n (ulaz) red matrice A


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


a (ulaz) matrica A; spremljen je samo njen gornji,ili donji trokut (ovisno o uplo)(izlaz) ulazni trokut je uništen

lda (ulaz) vodeca dimenzija polja a (lda ≥ n)vl (ulaz)vu (ulaz) vl < vuil (ulaz)iu (ulaz) 1 ≤ il ≤ iu ≤ n

abstol (ulaz) Tolerancija na apsolutnu grešku usvojstvenim vrijednostima. Najbolje uzetivrijednost 2*dlamch_(’S’)

m (izlaz) ukupan broj izracunatih svojstvenihvrijednosti, 0 ≤ m ≤ n.ako je range = ’A’ — m = nako je range = ’I’ — m = iu − il + 1


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


w (izlaz) n polje cijih prvih m elemenata sadržitražene svojstvene vrijednosti u rastucemporetku

z (izlaz) ldz × k polje (k ≥ m)ako je jobz = ’V’ i info = 0 — prvih m stupacaod Z sadrži ortonormalne svojstvene vektore odA, tako da je i-ti stupac jednak svojstvenomvektoru svojstvene vrijednosti w [i]

ldz (ulaz) vodeca dimenzija polja z (ldz ≥ n)work pomocno polje dimenzije ldwldw (ulaz) vodeca dimenzija polja work, ldw ≥ 8n

iwork pomocno cjelobrojno polje dimenzije 5nifail (izlaz) ako je jobz = ’V’ i info > 0 — ifail

sadrži indekse svojstvenih vektora koji nisuizkonvergirali

info (izlaz) informacija o izvršavanju potprograma(0=OK)


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Sistem masa s elasticnim oprugama

Primjer

Promatramo fizikalni sistem koji se sastoji od tijela razlicitihmasa, povezanih elasticnim oprugama.

HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH

k5

HHHHHHHHHHHHHHHHHHHHHHHH

k7

HHHHHH

k1

HHHHHHHHHHHHHHH

k6

HHHHHH

k2

HHHHHHHHHHHHHHH

k8

HHHHHH

k3

HHHHHH

k4

m1

m2

m3

m4


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Problem je pronaci slobodne oscilacije ovog sistema.U ovom konkretnom primjeru imamo cetiri tijela masami i = 1,2,3,4, i osam opruga krutosti kl l = 1, . . . ,8.Definirat cemo sljedece matrice:

M =

m1 0 0 00 m2 0 00 0 m3 00 0 0 m4

,

K =

k1 + k2 + k6 −k2 −k6 0−k2 k2 + k3 + k8 −k3 −k8

−k6 −k3 k3 + k4 + k6 + k7 −k4

0 −k8 −k4 k4 + k5 + k8

,pri cemu je u matrici K prikazana interakcija medu

masama.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)i -ti redak odgovara i-toj masi, a njegov j-ti stupacodgovara odnosu i-te mase sa j-tom.Na svakom dijagonalnom elementu na poziciji (i , i)nalazi se zbroj krutosti svih opruga vezanih za i-tumasu.Na (i , j)-toj poziciji nalazi se −kl ukoliko l-ta oprugapovezuje i-tu i j-tu masu, ili 0 ako te dvije mase nisupovezane oprugom.

Na kraju, definirat cemo vektor

x =

x [1]x [2]x [3]x [4]

,kod kojeg x [i] predstavlja vertikalni položaj i-te mase.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Iz fizikalnih zakona, položaj masa može se opisatisistemom diferencijalnih jednadžbi

x = −M−1Kx .

Ako pretpostavimo da je rješenje oblika

x = x0eiφt ,

tada za drugu vremensku derivaciju imamo

x = −φ2x0eiφt = −M−1Kx0eiφt .

Sredivanjem dobivamo

M−1Kx0 = φ2x0,


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)što se svodi na rješavanje problema traženjasvojstvenih vrijednosti i svojstvenih vektora matriceM−1K .U ovom slucaju svojstvena vrijednost je oblika φ2.Nadalje, možemo uociti da je matrica K simetricna, aliprodukt M−1K gubi to svojstvo.Matrica M je dijagonalna sa pozitivnom dijagonalom,zato je dobro definirana matrica

M12 = diag(m

121 , . . . ,m

124 ).

Množenjem produkta M−1K matricom M12 slijeva i

matricom M−12 zdesna, dobit cemo matricu A koja je

slicna matrici M−1K .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Matrica A je oblika

A = M12 (M−1K )M−

12 = M−

12 KM−

12 ,

što pokazuje da je ta matrica i simetricna, i imat ce istesvojstvene vrijednosti kao i polazna matrica.

Pomnožimo li jednadžbu M−1Kx0 = φ2x0 sa M12 , dobit

cemo novi svojstveni problem

(M−12 KM−

12 )(M

12 x0) =φ2(M

12 x0)

Au =λu

pri cemu su

A = M−12 KM−

12 , u = M

12 x0, λ = φ2.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Neka su vrijednosti masa i krutosti opruga dane usljedecim tablicama.

i 1 2 3 4mi 2 5 3 6

i 1 2 3 4 5 6 7 8ki 10 9 8 7 6 5 5 5

Tada su matrice M i K dane sa

M =

2 0 0 00 5 0 00 0 3 00 0 0 6

, K =

24 −9 −5 0−9 22 −8 −5−5 −8 25 −70 −5 −7 18

.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)U našem primjeru je

A =

12.0000 −2.8460 −2.0412 0−2.8460 4.4000 −2.0656 −0.9129−2.0412 −2.0656 8.3333 −1.6499

0 −0.9129 −1.6499 3.0000

,i mi tražimo svojstvene vrijednosti i vektore matrice A.Problem cemo riješiti pomocu potprograma dsyev_().Trebamo naci matrice U i Λ, takve da je

A ≈ UΛUT ,

i iz dobivenih svojstvenih vrijednosti i svojstvenihvektora, trebamo izracunati 4 slobodne oscilacije xi .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Izracunate matrice bi trebale biti

U =

0.9228 0.2354 0.1835 −0.2438−0.2301 0.6226 −0.4426 −0.6029−0.3015 0.3894 0.8626 −0.1161

0.0682 0.6367 −0.1625 0.7507

,

Λ =

13.3767 0 0 0

0 1.0983 0 00 0 9.2700 00 0 0 3.9883

.Dakle, imamo 4 rješenja koja predstavljaju putanjeslobodnih oscilacija, oblika

xi = M−12 uiei

√λi t , i = 1,2,3,4.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)λi je i-ta svojstvena vrijednost od A, a ui je njensvojstveni vektor, odnosno Λ = diag(λ1, λ2, λ3, λ4), iU = [u1 u2 u3 u4].Na kraju dobivamo

x1 =

0.6525−0.1029−0.1741

0.0278

e3.6574it , x2 =

0.1298−0.1979

0.4980−0.0664

e3.0447it ,

x3 =

−0.1724−0.2696−0.0670

0.3065

e1.9971it x4 =

0.16650.27840.22480.2599

e1.0480it .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika



Primjer

Želimo podijeliti skup objekata u grupe koje sadrže objektesa slicnim svojstvima.

Matematicki ovaj problem je ekvivalentan particijivrhova grafa.Particija grafa se izvodi tako da se minimiziraju težinebridova koji povezuju vrhove iz razlicitih grupa.Ovaj problem se dalje svodi na svojstveni problem.Za pocetak nam trebaju neke definicije.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Definicija

Graf je uredeni par G = (V ,E), gdje je∅ 6= V = V (G) skup vrhova,E = E(G) je skup bridova disjunktan s V ,a svaki brid e ∈ E povezuje dva vrha u, v ∈ V kojenazivamo krajevima od e.Vrhovi u i v su tada incidentni, i pišemo e = u, v.

Definicija

Graf G je konacan ako su skupovi V i E konacni.Brid ciji krajevi se podudaraju naziva se petlja.Dva ili više bridova sa istim parom krajeva nazivaju sevišestruki bridovi.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Definicija (nastavak)Graf je jednostavan ako ne sadrži petlje niti višestrukebridove.Jednostavan graf kod kojeg je svaki par vrhovapovezan s jednim bridom naziva se potpuni graf.Neka je w funkcija w : E(G)→ F, gdje F može biti R,R+, Zm,. . . . Uredeni par (G,w) koji se sastoji od grafaG i težinske funkcije w naziva se težinski graf.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Neka je zadan jednostavan težinski graf (G,w), gdje jeG = (V ,E),∅ 6= V = 1,2, . . . ,n je skup vrhova,E je skup bridova i , j i , j ∈ V, sa težinamaw(i , j) ∈ R+.Želimo podijeliti V u dva podskupa V1 i V2. Tajpostupak nazivamo biparticija.Biparticija skupa V može se opisati relacijom

V = V1 ∪ V2, V1 ∩ V2 = ∅.

Kako izvesti smislenu biparticiju tako da V1 i V2predstavljaju grupe sa nekim zajednickim svojstvima?


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


n3

n2

n1 n4

n6

n5

n73 3

4

2 7

5

3

7

1

2

1

Slika: Biparticija grafa G.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Definicija

Matrica susjedstva grafa G je n × n matrica W = [wij ], gdjeje

wij =

w(i , j), ako i , j ∈ E ,0, inace.

Napomena

Matrica W je simetricna matrica ciji elementi sunenegativni realni brojevi.Buduci da je graf jednostavan, dijagonalni elementi odW su jednaki 0.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Razlika izmedu dva skupa V1 i V2 može se mjeriti kaoukupna težina svih bridova koji povezuju ta dva skupa.Ta mjera se naziva rez particije, i definira se kao

cut(V1,V2) =∑

i∈V1,j∈V2

wij za V1,V2 ⊂ V .

Dalje, generaliziramo pojam težinske funkcije idefinirajmo pojam težine vrha i ∈ V:

w(i) =n∑

j=1

wij .

Definirajmo još i pojam težine skupa Vk ⊆ V:

w(Vk ) =∑i∈Vk

w(i) = cut(Vk ,V ) =∑

i∈Vk ,j∈V

wij .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Za primjer grafa G sa slike:

V = 1,2,3,4,5,6,7V1 = 1,2,3,4V2 = 5,6,7

imamo

cut(V1,V2) =4w(V1) =w(1) + w(2) + w(3) + w(4) = 42w(V2) =w(5) + w(6) + w(7) = 34

Najjednostavniji nacin za biparticiju grafa jeminimizacija reza, i za to postoje efikasni algoritmi.Medutim, kod takvih particija cesto se izoliraju blokovisa malim brojem vrhova. To ponekad nije poželjno.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Ako želimo podskupove sa balansiranim težinama,trebamo minimizirati normalizirani rez:

cutN(V1,V2) =cut(V1,V2)

w(V1)+

cut(V2,V1)

w(V2),

Za graf G sa slike imamo

cutN(V1,V2) =4

42+

432

= 0.2202.

Problem nalaženja egzaktnog minimalnognormaliziranog reza pripada NP klasi — vrijemeizvršavanja algoritma koji rješava taj probleme rasteeksponencijalno sa velicinom ulaznih podataka.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Taj problem možemo riješiti aproksimativnoprebacivanjem u realnu domenu.Ponovo polazimo od skupa vrhova V = 1,2, . . . ,n.Particija V = V1 ∪ V2 može se reprezentirati vektoromx = [xi ], koji je definiran sa

xi =

1, i ∈ V1−1, i ∈ V2

, i = 1, . . . ,n.

Može se pokazati da za matricuD = diag(w(1), . . . ,w(n)) vrijedi sljedece

cut(V1,V2) =14

xT (D −W )x , ,

cutN(V1,V2) =zT (D −W )z

zT Dz,


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)gdje je

zi =

1, i ∈ V1−q, i ∈ V2

, i = 1, . . . ,n, q =w(V1)

w(V2).

Matrica L = D −W zove se Laplaceova matrica grafaG i ima mnogo korisnih svojstava.Matrica L = [`ij ] je n × n matrica ciji svaki red i stupacodgovara jednom vrhu, tako da

`ij =

n∑

k=1

wik , i = j

−wij , i 6= j , i , j ∈ E0, inace.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

L je simetricna pozitivno semidefinitna matrica, tako dasu joj sve svojstvene vrijednosti realne i nenegativne.Dalje, vrijedi

Le = 0, za e = [ 1 . . . 1 ]T ,

što znaci da je 0 je najmanja svojstvena vrijednost od L,a e je njen svojstveni vektor.Sada možemo preformulirati problem. Zapocet cemosa problemom diskretne minimizacije

minV1∪V2=VV1∩V2=∅

cut(V1,V2) = minxi∈−1,1

xT e=0

xT Lx

minV1∪V2=VV1∩V2=∅

cutN(V1,V2) = minzi∈−q,1zT De=0

zT LzzT Dz

,


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Uvijet xT e = 0 služi da se izbjegne trivijalno rješenje, ida se balansira broj vrhova u podskupovima.Za slucaj kada je n paran, uvijet xT e = 0 znaci da je∑n

i=1 xi = 0, i da skupovi V1 i V2 sadrže isti broj vrhova.Uvijet zT De = 0 znaci da je

0 =n∑

i=1

ziw(i) =∑i∈V1

w(i)−q∑i∈V2

w(i) = w(V1)−qw(V2),

što daje definiciju broja q.Gornji diskretni problemi ce se sada zamijenitiproblemom kontinuirane minimizacije.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

min‖x‖2=1xT e=0

xT Lx

minzT De=0

zT LzzT Dz

= min‖y‖2=1

yT D12 e=0

yT D−12 LD−

12 y

gdje je y = D12 z.

Matrica LN = D−12 LD−

12 zove se normalizirana

Lapalaceova matrica grafa G.LN je takoder simetricna pozitivno semidefinitna, cija jenajmanja svojstvena vrijednost jednaka 0, sasvojstvenim vektorom D

12 e.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Može se pokazati da se minimum prvog problemakontinuirane minimizacije postiže za u2 = [u(2)

i ], štopredstavlja svojstveni vektor druge najmanje svojstvenevrijednosti od L.Taj vektor se naziva Fiedlerov vektor.Minimum drugog problema kontinuirane minimizacijepostiže za uN,2 = [u(N,2)

i ], što predstavlja svojstvenivektor druge najmanje svojstvene vrijednosti od LN .Taj vektor se naziva normalizirani Fiedlerov vektor.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Na kraju, za aproksimativno rješenje optimalnebiparticije možemo uzeti

za minimizaciju cut

V1 = i : u(2)i ≥ 0, V2 = i : u(2)

i < 0za minimizaciju cutN

V1 = i : D−12 u(N,2)

i ≥ 0, V2 = i : D−12 u(N,2)

i < 0.

Problem grafa G sa slike cemo riješiti pomocupotprograma dsyevx_().Nakon što izracunamo Fiedlerov vektor i normaliziraniFiedlerov vektor, trebaju se odrediti podskupovi V1 i V2dobiveni za oba slucaja.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Izracunati Fiedlerovi vektori bi trebali biti

u2 =

−0.38326−0.37308−0.14519−0.38009

0.423710.408510.44941

, uN,2 =

−0.34096−0.36254−0.13241−0.45047

0.414280.461910.38324

.

Odgovarajuce svojstvene vrijednosti su

λ2 = 1.9497, λN,2 = 0.17559.

U oba slucaja ispada

V1 = 5,6,7, V2 = 1,2,3,4.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


SVD

Za sljedece primjere koristit camo CLAPACK-ov potprogramdgesvd_().

dgesvd_() racuna dekompoziciju singularnihvrijednosti opcenite pravokutne matrice.

Potprogram najprije svede matricu A na bidijagonalnioblik B, tako da je A = WBY T pri cemu su W i Yortogonalne.Zatim se koristi brz algoritam za racunanje SVD-abidijagonalne matrice B, tj. B = SΣZ T .Konacni SVD od A je A = (WS)Σ(YZ )T .Poziv potprograma jeint dgesvd_(char *jobu, char *jobvt,integer *m, integer *n, doublereal *a,integer *lda, doublereal *s, doublereal

*u, integer * ldu, doublereal *vt,integer *ldvt, doublereal *work, integer

*lwork, integer *info);


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


jobu (ulaz)= ’A’: svih m stupaca od U su vraceni u polju u= ’S’: prvih minm,n stupaca od U su vraceniu polju u= ’O’: prvih minm,n stupaca od U su vraceniu polju a= ’N’: stupci od U nisu izracunati

jobvt (ulaz)= ’A’: svih n redaka od V T su vraceni u polju vt= ’S’: prvih minm,n redaka od V T su vraceniu polju vt= ’O’: prvih minm,n redaka od V T su vraceniu polju a= ’N’: reci od V T nisu izracunati


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


m (ulaz) broj redaka matrice An (ulaz) broj stupaca matrice Aa (ulaz) matrica A;

(izlaz) ako je jobu = ’O’ — prvih minm,nstupaca od Uako je jobvt = ’O’ — prvih minm,n redakaod V T

ako je jobu 6= ’O’ i jobvt 6= ’O’ — sadržaj od Aje uništen

lda (ulaz) vodeca dimenzija polja a (lda ≥ m)s (izlaz) minm,n polje koje sadrži singularne

vrijednosti u padajucem poretku


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


u (izlaz) ako je jobu = ’A’ — m ×m ortogonalnamatrica Uako je jobu = ’S’ — prvih minm,n stupacaod Uako je jobu = ’N’ ili ’O’, u se ne referencira

ldu (ulaz) vodeca dimenzija polja u (ldu ≥ m)vt (izlaz) ako je jobvt = ’A’ — n × n ortogonalna

matrica V T

ako je jobvt = ’S’ — prvih minm,n redakaod V T

ako je jobvt = ’N’ ili ’O’, vt se ne referenciraldvt (ulaz) vodeca dimenzija polja vt (ldvt ≥ n)work pomocno polje dimenzije ldwldw (ulaz) vodeca dimenzija polja work,

ldw ≥ 5 maxm,ninfo (izlaz) informacija o izvršavanju potprograma


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika



SVD ima široku primjenu:racunanje inverza regularne kvadratne matriceracunanje generaliziranog inverza pravokutne matriceracunanje uvjetovanosti matricerješavanje ortogonalnog Procrustes problemanalaženje presjeka jezgara dvaju linearnih operatoranalaženje kuteva izmedu dva potprostoranalaženje presjeka potprostorarješavanje linearnog problema najmanjih kvadratarješavanje linearnog problema totalnih najmanjihkvadratarješavanje integralnih jednadžbi (geofizika)procesiranje slikamodeliranje prometa na internetugenetika (obrnuti inženjering genske mreže)


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Rješavanje ortogonalnog Procrustes problema

PrimjerOvaj problem se npr. pojavljuje u psihometriji (znanosto mjerenju mentalnih sposobnosti i procesa, tj.predocavanje psihickih pojava matematickimsredstvima).Pretpostavimo da je A ∈ Rm×n matrica podatakadobivenih izvodenjem odredenog skupaeksperimenata.Ako se isti skup eksperimenata ponovo izvede, dobivase druga matrica podataka B ∈ Rm×n.U ortogonalnom Procrustes problemu istražujemomogucnost da li se podaci u A mogu zarotirati tako dadobijemo podatke u B (cuvaju se medusobni kutevi iudaljenosti).


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Zbog grešaka u podacima taj problem vjerojatno nijemoguce riješiti egzaktno.Zato tražimo rješenje problema

minQ∈Rn×n, QT Q=In

‖AQ − B‖F .

Primijetimo da ako je Q ∈ Rn×n ortogonalan, tada je

min ‖AQ − B‖2F = min(trag(AT A) + trag(BT B)− 2 trag(QT AT B)).

Ortogonalni Procrustes problem je, prema tome,ekvivalentan problemu maksimiziranja izrazatrag(QT AT B)).Maksimizirajuci Q se može naci racunanjem SVD-amatrice AT B.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Ako je

UT (AT B)V = Σ = diag(σ1, . . . , σn)

SVD matrice AT B i ako definiramo ortogonalnu matricuZ = V T QT U,tada je

trag(QT AT B) = trag(QT UΣV T ) = trag(ZΣ) =n∑

i=1

ziiσi ≤n∑

i=1

σi .

Jasno se vidi da se gornja ograda postiže za Z = I, paje tada Q = UV T .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Algoritam (Rješavanje ortogonalnog Procrustes problema)1 C = AT B2 Izracunaj SVD UT CV = Σ.3 Q = UV T .

Primjer (nastavak)

Mi cemo uzeti sljedece konkretne podatke

A =

1.2 2.12.9 4.35.2 6.16.8 8.1

, B =

1 23 45 67 8

.Konkretan problem rješavat cemo pomocu gornjegalgoritma i potprograma dgesvd_().


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Osim rješenja Q nadite i minimalnu normu za‖AQ − B‖F .Izracunata matrica Q bi trebala biti

Q =

[0.9999 −0.01260.0126 0.9999

],

a minimalna vrijednost

‖AQ − B‖F = 0.4661.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Nalaženje kuteva izmedu dva potprostora

Primjer

Neka su X i Y potprostori od Rm, cije dimenzijezadovoljavaju

p = dim(X ) ≥ dim(Y) = q ≥ 1.

Glavni kutevi θ1, . . . , θq ∈ [0, π/2] izmedu X i Ydefiniraju se rekurzivno sa

cos(θk ) = maxx∈X

maxy∈Y

xT y = xTk yk

tako da:

‖x‖2 = ‖y‖2 = 1xT xi = 0 i = 1, . . . , k − 1yT yi = 0 i = 1, . . . , k − 1


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Vektori x1, . . . , xq i y1, . . . , yq zovu se glavnivektori izmedu potprostora X i Y.Za glavne kuteve vrijedi

0 ≤ θ1 ≤ · · · ≤ θq ≤ π/2.

Ako je p = q tada je

dist(X ,Y) = ‖PX − PY‖2 =√

1− cos(θp)2 = sin(θp),

udaljenost izmedu potprostora jednakih dimenzija, gdjesu PX i PY ortogonalne projekcije na X i Y.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

U tom slucaju kut ∠(X ,Y) može se definirati kao

∠(X ,Y) = arcsin(dist(X ,Y)) = θp

= maxx∈X

∠(x ,Y) = maxx∈X

miny∈Y

∠(x , y)

= maxy∈Y

∠(y ,X ) = maxy∈Y

minx∈X

∠(x , y).

Štoviše

∠(x ,Y) = miny∈Y

∠(x , y) = miny∈Y

arccos(

xT y‖x‖2‖y‖2

),

pri cemu svi vektori x i y moraju biti razliciti od nule.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Ako stupci od X ∈ Rm×p i Y ∈ Rm×q definirajuortnormirane baze za X i Y, tada

maxx∈X‖x‖2=1

maxy∈Y‖y‖2=1

xT y = maxu∈Rp

‖u‖2=1

maxv∈Rq

‖v‖2=1

uT (X T Y )v .

Slijedi, da ako je

UT (X T Y )V = diag(σ1, . . . , σq), sa σ1 ≥ σ2 ≥ · · · ≥ σq

SVD od X T Y, tada možemo definirati xk , yk i θk sa

[ x1 . . . xq ] =XU,

[ y1 . . . yq ] =YV ,cos(θk ) =σk , k = 1, . . . ,q.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Obicno potprostori X i Y su definirani kao slike matricaA ∈ Rm×p i B ∈ Rm×q koje ne moraju biti ortonormirane.U tom slucaju tražene ortonormirane baze mogu sedobiti QR faktorizacijom matrica A i B.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Algoritam (Racunanje glavnih kutova i glavnih vektoraizmedu dva potprostora)

1 Izracunaj QR faktorizaciju A = QARA: QA ∈ Rm×p,QT

A QA = Ip, RA ∈ Rp×p.2 Izracunaj QR faktorizaciju B = QBRB: QB ∈ Rm×q,

QTB QB = Iq, RB ∈ Rq×q.

3 C = QTA QB.

4 Izracunaj SVD UT CV = diag(cos(θk )).5 [x1, . . . , xq] = QAU(:,1 : q).6 [y1, . . . , yq] = QBV.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Mi cemo racunati glavne kuteve i glavne vektoreizmedju dvije 2D ravnine u R4 pomocu gornjegalgoritma i potprograma dgesvd_().Ravnina X neka je razapeta vektorima (1,0,0,0) i(1,1,1,1).Ravnina Y neka je razapeta vektorima (1,−1,1,−1) i(0,1,0,1).Koliki je kut ∠(X ,Y)?


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)Kosinusi glavnih kuteva bi trebali biti

cos(θ1) = 1, cos(θ2) = 0.5774.

Glavni vektori bi trebali biti

[ x1 x2 ] =

−0.5000 −0.8660−0.5000 0.2887−0.5000 0.2887−0.5000 0.2887

, [ y1 y2 ] =

−0.5000 −0.5000−0.5000 0.5000−0.5000 −0.5000−0.5000 0.5000

.Kut izmedu ravnina iznosi

∠(X ,Y) = 0.9553 = 5444′


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Nalaženje presjeka potprostora

PrimjerIsti postupak kao u prethodnom primjeru može se koristiti zaracunanje ortogonalne baze za Im(A) ∩ Im(B), gdje suA ∈ Rm×p i B ∈ Rm×q.

Teorem

Neka su cos(θk ) za k = 1, . . . ,q, U = [ u1 · · · uq ] iV = [ v1 · · · vq ] definirani kao u prethodnom primjeru.Ako indeks s definiramo sa1 = cos(θ1) = · · · = cos(θs) > cos(θs+1), tada vrijedi

Im(A) ∩ Im(B) = [u1, . . . ,us] = [v1, . . . , vs].

Primjer (nastavak)Koja je baza presjeka ravnina iz prethodnog zadatka?


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Procesiranje slika

Primjer

Želimo nacrtati plohu u 3D grafici.Pretpostavimo da je ploha definirana kao graf sljedecefunkcije

f (x , y) =1

250(x2y − x2 − y2 + 175) (x , y) ∈ [−5, 5]× [−5, 5].

Buduci da je racunalna grafika diskretna, prvo moramodefinirati mrežu na kvadratu [−5,5]× [−5,5], i ondacrtamo tocke koje predstavljaju vrijednost funkcije usvakom cvoru mreže.Pocetni kvadrat možemo podijeliti na male 0.5× 0.5kvadrate, proizvevši ukupno 21× 21 = 441 tocakamreže.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Tocke mreže oznacimo sa

(xi , yj), i , j = 0, . . . ,20, xi = −5+0.5i , yj = −5+0.5j .

Te tocke dalje organiziramo u 21× 21 matricu A = [aij ],gdje su

aij = f (xi , yj),

koja se dalje koristi za crtanje.Prema tome moramo spremiti 441 elementa.Pomocu potprograma dgesvd_() izracunajte SVDmatrice A.Koliko je netrivijalnih singularnih vrijednosti od A, tj. kojije r = r(A)?


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


TeoremNeka je dan SVD od A ∈ Rm×n. Ako je k < r = r(A) i

Ak =k∑

i=1

σiuivTi = U(1 : m,1 : k)Σ(1 : k ,1 : k)V (1 : n,1 : k)T

tada, za svaku unitarno invarijantnu normu ‖ · ‖ vrijedi

minr(B)≤k

‖A− B‖ = ‖A− Ak‖,

a posebno

minr(B)≤k

‖A− B‖2 =‖A− Ak‖2 = σk+1,

minr(B)≤k

‖A− B‖F =‖A− Ak‖F =

√√√√ r∑i=k+1

σ2i .


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


Primjer (nastavak)

Izracunajte Ak za k = 1, . . . , r i usporedite ‖A− Ak‖F .Što možete zakljuciti?Za spremanje matrice Ak dovoljno je umjesto m · nelemenata spremiti (m + n + 1) · k elemenata odU(1 : m,1 : k), V (1 : n,1 : k) i Σ(1 : k ,1 : k), što možebiti velika ušteda.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


−5

0

5

−5

0

50

0.2

0.4

0.6

0.8

1

xy

z

Slika: 3D prikaz funkcije f (x , y) = 1250 (x2y − x2 − y2 + 175).


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


−5

0

5

−5

0

5

0.4

0.5

0.6

0.7

0.8

xy

z

Slika: Za aproksimaciju ranga 1 A1 potrebno je spremiti 43elemenata, što predstavlja 9.75% originalne kolicine memorije.Prikaz nije precizan.


Nela Bosner

LAPACK



Zadaci




SVD





Procesiranje slika


−5

0

5

−5

0

50

0.2

0.4

0.6

0.8

1

xy

z

Slika: Za aproksimaciju ranga 2 A2 potrebno je spremiti 86elemenata, što predstavlja 19.50% originalne kolicine memorije.Prikaz je identican originalu.


Nela Bosner

LAPACK



ProblemnajmanjihkvadrataRješavanje problemanajmanjih kvadratapomocu SVD-a

Zadaci

Rješavanje problemanajmanjih kvadratapomocu QRfaktorizacije

QR faktorizacijapomocuHouseholderovihreflektora

QR faktorizacijapomocu Givensovihrotacija

Zadaci

Primjeri iz primjene:Integralne jednadžbe

Numerickorješavanjeintegralnihjednadžbi

Problem najmanjih kvadrata

Pretpostavimo da imamo skup mjerenih podataka(tk , yk ), k = 1, . . . ,m, i želimo taj model aproksimiratifunkcijom oblika ϕ(t).Ako je ϕ(t) linearna, tj. ako je

ϕ(t) = x1ϕ1(t) + · · ·+ xnϕn(t),

onda bismo željeli pronaci parametre xj tako da mjerenipodaci (tk , yk ) zadovoljavaju

yk ≈n∑

j=1

xjϕj(tk ), k = 1, . . . ,m.


Nela Bosner

LAPACK




Zadaci




Zadaci



Ako oznacimo

akj = ϕj(tk ), bk = yk ,

onda prethodne jednadžbe možemo u matricnomobliku pisati kao

Ax ≈ b,

pri cemu je A = [aij ] ∈ Rm×n i b = [bi ] ∈ Rm.Ako je mjerenih podataka više nego parametara, tj. akoje m > n, onda ovaj sustav jednadžbi ima višejednadžbi nego nepoznanica, pa je preodreden.


Nela Bosner

LAPACK




Zadaci




Zadaci



Postoji mnogo nacina da se odredi “najbolje” rješenje,zbog statistickih razloga to je cesto metoda najmanjihkvadrata.Funkcija ϕ odreduje se iz uvjeta da euklidska norma(norma 2) vektora pogrešaka u cvorovimaaproksimacije bude najmanja moguca, tj. tako daminimiziramo S,

S =m∑

k=0

(yk − ϕ(tk ))2 → min .

tj. odredujemo x tako da minimizira rezidual r = Ax − b

minx‖r‖2 = min

x‖Ax−b‖2, A ∈ Rm×n, b ∈ Rm, x ∈ Rn.


Nela Bosner

LAPACK




Zadaci




Zadaci



Ako je rang(A) < n, onda rješenje x ovog problemaocito nije jedinstveno, jer mu možemo dodati bilo kojivektor iz jezgre od A, a da se rezidual ne promijeni.Medu svim rješenjima x problema najmanjih kvadratauvijek postoji jedinstveno rješenje x najmanje norme, tj.koje još minimizira i ‖x‖2.


Nela Bosner

LAPACK




Zadaci




Zadaci



Iz geometrijske interpretacije problema najmanjihkvadrata odmah vidimo da je za rješenje x , Axortogonalna projekcija vektora b na Im(A).To se lako može provjeriti ako definiramodiferencijabilnu funkciju

φ(x) =12‖Ax − b‖22,

i izjednacimo ∇φ(x) = 0 (ekvivalentno traženjuminimuma minx ‖Ax − b‖2).Vrijedi

∇φ(x) = AT Ax − AT b,

a iz ∇φ(x) = 0 slijedi

AT (Ax − b) = AT r = 0.


Nela Bosner

LAPACK




Zadaci




Zadaci



Da se zaista radi o minimumu, provjerimo Hessian

Hφ = AT A

i on jepozitivno definitan u slucaju da je matrica A punogstupcanog ranga, pa tada postoji jedinstveni minimum, ion je rješenje sustava

AT Ax = AT b,

pozitivno semidefinitan u slucaju da matrica A nemapuni stupcani rang, pa se tada minimum postiže nacitavom afinom potprostoru

x + Ker(A), gdje je x neko rješenje.


Nela Bosner

LAPACK




Zadaci




Zadaci



Sada, ako sa−→b ,−→Ax i −→r oznacimo vektore u

vektorskom prostoru Rm, pri cemu je x je rješenjeproblema najmanjih kvadrata, tada imamo da je

−→b =

−→Ax −−→r ,

(Ay)T r = 0 za svaki y ∈ Rn, odnosno −→r ⊥ Im(A).Na kraju možemo zakljuciti da je

−→Ax dobiven iz

−→b , tako

što mu se oduzela komponenta okomita na Im(A), pa je−→Ax zaista ortogonalna projekcija od

−→b na Im(A).

>

-? -

BBBBBBBBN

−→b

−→Ax

−→r

−→Ay

−→Ay−−→b


Nela Bosner

LAPACK




Zadaci




Zadaci



Matricni problem najmanjih kvadrata može se riješiti na višenacina, koji ukljucuju neke istaknute faktorizacije matrice A:

dekompoziciju singularnih vrijednosti (SVD)QR faktorizaciju


Nela Bosner

LAPACK




Zadaci




Zadaci



Rješavanje problema najmanjih kvadratapomocu SVD-a

Ako A ima puni stupcani rang, onda je rješenjeproblema najmanjih kvadrata

minx‖Ax − b‖2

jednakox = V Σ−1

+ U(:,1 : n)T b,

i vrijednost minimuma je

minx‖Ax − b‖2 = ‖U(:,n + 1 : m)T b‖2.

Ako A nema puni stupcani rang (rang je r < n), tada sesva rješenja problema najmanjih kvadrata mogunapisati u obliku

x = V (:,1 : r)Σ−1+ U(:,1 : r)T b + V (:, r + 1 : n)z,

gdje je z ∈ Rn−r proizvoljni vektor, a V (:, r + 1 : n)zpredstavlja jedan vektor iz Ker(A).


Nela Bosner

LAPACK




Zadaci




Zadaci



Rješenje x koje ima minimalnu 2-normu je ono za kojeje z = 0, tj.

x = V (:,1 : r)Σ−1+ U(:,1 : r)T b,

i vrijedi ocjena

‖x‖2 ≤‖b‖2σmin(A)

.


Nela Bosner

LAPACK




Zadaci




Zadaci



Zadaci

ZadatakZadane su tocke u ravnini

(1,3.5), (2,4.9), (3,6.8) (4,9.3), (5,10.9), (6,13.4), (7,15.1),

(8,16.7), (9,19) (10,21.2)

koje treba aproksimirati pravcem

f (x) = a0 + a1x ,

koristeci metodu najmanjih kvadrata pomocu SVD-a. Iz ovihpodataka možemo zakljuciti da se radi o malo perturbiranimtockama sa pravca p(x) = 2x + 1.


Nela Bosner

LAPACK




Zadaci




Zadaci



NapomenaPodsjetimo se, matrica i desna strana problema su oblika

A =

1 11 21 31 41 51 61 71 81 91 10

, b =

3.54.96.89.310.913.415.116.719

21.2

.

Sada racunamo SVD dekompoziciju matrice A.


Nela Bosner

LAPACK




Zadaci




Zadaci



Napomena (nastavak)

Dobit cemo

U(:,1 : 2) =

0.0571 −0.58500.1070 −0.48690.1570 −0.38870.2069 −0.29060.2569 −0.19250.3068 −0.09440.3567 0.00370.4067 0.10190.4566 0.20000.5065 0.2981

,

Σ+ =

[19.8217 0

0 1.4491

], V =

[0.1422 −0.98980.9898 0.1422

],


Nela Bosner

LAPACK




Zadaci




Zadaci



Napomena (nastavak)a rješenje problema najmanjih kvadrata je dano sa

x =

[a0a1

]= V Σ−1

+ U(:,1 : 2)T b =

[1.16671.9842

],

odnosno, ovime smo izracunali tražene koeficijente pravca

a0 = 1.1667 a1 = 1.9842.

Dakle aproksimativni pravac je p(x) = 1.1667 + 1.9842x.


Nela Bosner

LAPACK




Zadaci




Zadaci



1 2 3 4 5 6 7 8 9 100

5

10

15

20

25y=2*x+1tockeaproksimativni pravac

Slika: Aproksimativni pravac za tocke iz prethodnog zadatka,dobiven kao rezultat problema najmanjih kvadrata.


Nela Bosner

LAPACK




Zadaci




Zadaci



Rješavanje problema najmanjih kvadratapomocu QR faktorizacije

Teorem (QR dekompozicija)

Neka je A ∈ Rm×n, uz m ≥ n. Tada postoji ortogonalnamatrica Q ∈ Rm×m takva da je

QT A = R =

[R10

],

gdje je R ∈ Rm×n, a R1 ∈ Rn×n gornjetrokutasta matrica snenegativnim dijagonalnim elementima. Tada je

A = QR.

QR faktorizaciju možemo izracunati na više nacina:ortogonalna matrica Q dobiva se uzastopnimmnoženjem elementarnih ortogonalnih matrica,kao što su: reflektori ili rotacije.


Nela Bosner

LAPACK




Zadaci




Zadaci



Ako A ima puni stupcani rang, onda je rješenjeproblema najmanjih kvadrata

x = R−11 Q(:,1 : n)T b.

Preciznije, da bismo našli x , rješavamo trokutastilinearni sustav

R1x = Q(:,1 : n)T b.

Ako A nema puni stupcani rang, tada prvo trebamoodrediti rang matrice A koristeci QR faktorizaciju sastupcanim pivotiranjem.

Ako matrica A ima rang r < n, onda njena QRfaktorizacija ima oblik

AP = QR = Q

R11 R120 00 0

rn − rm − n

,

r n − r


Nela Bosner

LAPACK




Zadaci




Zadaci



gdje je R11 regularna reda r sa nerastucomdijagonalom, R12 neka r × (n − r) matrica, a matrica Pje n × n matrica permutacija.Kad se nakon pivotiranja u tekucem koraku, iponištavanja ispoddijagonalnih elemenata u tekucemstupcu, na dijagonali nade 0, tada znamo da je donjidesni (n− r)× (n− r) blok matrice R1 jednak nulmatrici.Sva se rješenja problema najmanjih kvadrata mogunapisati u obliku

x = P[

R−111 (Q(:,1 : r)T b − R12z)

z

].

gdje je z ∈ Rn−r proizvoljni vektor.Do rješenja problema najmanjih kvadrata saminimalnom 2-normom možemo doci pomocu potpuneortogonalne dekompozicije.


Nela Bosner

LAPACK




Zadaci




Zadaci



Možemo izvesti još jednu QR faktorizaciju, i to nasljedeci nacin: trebamo izracunati n × n ortogonalnumatricu Z takvu da je

Z[

RT11

RT12

]=

[LT

110

]r

n − r

gdje je LT11 r × r gornjetrokutasta matrica.

Tada slijedi

QT AS = L =

[L11 00 0

]r

m − r ,

r n − r

gdje je S = PZ T , a Im(S(:, r + 1 : n)) = Ker(A).Rješenje problema najmanjih kvadrata sa minimalnomnormom onda glasi

x = S[

L−111 Q(:,1 : r)T b

0

].


Nela Bosner

LAPACK




Zadaci




Zadaci



QR faktorizacija pomocu Householderovihreflektora

Za zadani vektor a ∈ Rm, a 6= 0, tražimo ortogonalnumatricu H ∈ Rm×m takvu da je

Ha = −αe, gdje je e ∈ Rm, ‖e‖2 = 1 zadani vektor.

Za a = 0 je H = I i nužno je α = 0.Za H zahtijevamo da je oblika

H = I − 1γ

vvT , gdje je γ > 0, v 6= 0.

Matrica H je Householderov reflektor.


Nela Bosner

LAPACK




Zadaci




Zadaci



Svojstva Householderovog reflektora:H simetricna matrica, tj. HT = H.

Za γ =‖v‖2

22 je H ortogonalna matrica.

Zbog ortogonalnosti od H mora biti ‖a‖2 = |α|, padefiniramo

α =

‖a‖2, eT a ≥ 0−‖a‖2, eT a < 0

Predznak se bira zbog stabilnosti metode, daizbjegnemo fatalno kracenje.Da bi vrijedila tražena svojstva matrice H, moramodefinirati sljedece:

v =a + αe

γ =‖a‖2(‖a‖2 + |eT a|)


Nela Bosner

LAPACK




Zadaci




Zadaci



Napomena

Da bismo racunali sa Householderovim reflektorom Huopce ga ne trebamo posebno racunati kako bismodobili njegov matricni oblik.Za x ∈ Rm je:

Hx =

(I − 1

γvvT

)x = x − vT x

γv .

Dakle, potrebno je izracunati samo skalarni produktvT x i µ = vT x

γ ∈ R, odakle je

Hx = x − µv ,

što je manje operacija nego generirati matricu H imnožiti je vektorom.


Nela Bosner

LAPACK




Zadaci




Zadaci



Householderove reflektore možemo primijeniti natraženje QR faktorizacije matrice A.Radimo direktno nad stupcima matrice, i to oddijagonale na dolje.Neka je A = [ a(1)

1 · · · a(1)n ] ∈ Rm×n za m ≥ n.

Ako je a(1)1 6= 0, stavimo li

e(1) = e1 ∈ Rm,

znamo naci Householderov reflektor H1 takav da je

H1a(1)1 = −α1e(1).

Ako je a(1)1 = 0, stavimo H1 = I.


Nela Bosner

LAPACK




Zadaci




Zadaci



Tada je

A(2) =H1A(1) = [ H1a(1)1 · · · H1a(1)

n ] =

=

−α1 ∗ ∗ · · · ∗

0... a(2)

2 a(2)3 · · · a(2)

n0

.Ako je a(2)

2 6= 0 ∈ Rm−1, postoji Householderovamatrica H2 ∈ R(m−1)×(m−1) takva da je

H2a(2)2 = −α2e1,

uz e1 ∈ Rm−1.Za

H2 =

[1 00 H2

]


Nela Bosner

LAPACK




Zadaci




Zadaci



imamo

H2A(2) =

[1 00 H2

]−α1 ∗ ∗ · · · ∗

0... a(2)

2 a(2)3 · · · a(2)

n0

=

=

−α1 ∗ ∗ · · · ∗

0 −α2...

... H2a(2)3 · · · H2a(2)

n0 0

=

=

−α1 ∗ ∗ · · · ∗

0 −α2 ∗ · · · ∗0 0...

... a(3)3 · · · a(3)

n0 0


Nela Bosner

LAPACK




Zadaci




Zadaci



Nastavljamo tako dalje, svaki puta smanjujuci dimenzijuproblema i radeci sa

A(k)(k : m, k : n) i Hk ∈ R(m−k+1)×(m−k+1),

a Hk ∈ Rm×m definiramo sa

Hk =

[Ik−1 0

0 Hk

].

Na kraju imamo

HnHn−1 · · ·H1A =

−α1 ∗ ∗ · · · ∗0 −α2 ∗ · · · ∗

. . .. . .

0 0 −αn

0 0 0...

......

0 0 0

= R,


Nela Bosner

LAPACK




Zadaci




Zadaci



Dakle A = QR, gdje je Q = H1 · · ·Hn.Želim li u R nenegativnu dijagonalu, prethodnujednakost slijeva još pomnožimo matricom

Hn+1 = diag(−sign(α1), . . . ,−sign(αn),1, . . . ,1),

koja je ortogonalna.


Nela Bosner

LAPACK




Zadaci




Zadaci



NapomenaI kod QR faktorizacije se može pivotirati i to tako da sestupac najvece norme (od dijagonale na doljea(k)

k , . . . ,a(k)n ) dovede na pivotno mjesto i njega se

poništi ispod dijagonale.To se koristi kad želimo naci rang matrice, jer sudijagonalni elementi matrice R sortirani padajuce poapsolutnim vrijednostima.Imamo

Hn(· · ·H2((H1(AI1,j1))I2,j2) · · · In,jn ) = R,

tj.QT AP = R, =⇒ AP = QR.


Nela Bosner

LAPACK




Zadaci




Zadaci



Racunanje QR faktorizacije pomocu Householderovihreflektora implementira CLAPACK-ov potprogramdgeqrf_().

Poziv potprograma jeint dgeqrf_(integer *m, integer *n,doublereal *a, integer * lda, doublereal

*tau, doublereal *work, integer *lwork,integer *info);


(izlaz) elementi iznad i na dijagonali sadrže R1;elementi ispod dijagonale sadržeHouseholderove vektore

lda (ulaz) vodeca dimenzija polja a (lda ≥ m)


Nela Bosner

LAPACK




Zadaci




Zadaci



tau (izlaz) skalarni faktori γi Householderovihreflektora

work pomocno polje dimenzije ldwldw (ulaz) vodeca dimenzija polja work, ldw ≥ ninfo (izlaz) informacija o izvršavanju potprograma

(0=OK)

Racunanje QR faktorizacije s pivotiranjem pomocuHouseholderovih reflektora implementira CLAPACK-ovpotprogram dgeqp3_().

Poziv potprograma jeint dgeqp3_(integer *m, integer *n,doublereal *a, integer * lda, integer

*jpvt, doublereal *tau, doublereal

*work, integer *lwork, integer *info);


Nela Bosner

LAPACK




Zadaci




Zadaci




(izlaz) elementi iznad i na dijagonali sadrže R1;elementi ispod dijagonale sadržeHouseholderove vektore

lda (ulaz) vodeca dimenzija polja a (lda ≥ m)jpvt cjelobrojno polje dimenzije n;

(ulaz) ako je jpvt[j] 6= 0, j-ti stupac od A jepermutiran u prvi stupac od AP;ako je jpvt[j] = 0, j-ti stupac od A je slobodanstupac;(izlaz) ako je jpvt[j] = k , tada je j-ti stupac odAP bio k -ti stupac od A


Nela Bosner

LAPACK




Zadaci




Zadaci



tau (izlaz) skalarni faktori γi Householderovihreflektora

work pomocno polje dimenzije ldwldw (ulaz) vodeca dimenzija polja work, ldw ≥ 3n + 1info (izlaz) informacija o izvršavanju potprograma

(0=OK)Za generiranje matrice Q koristite potprogramdorgqr_(), a za množenje s matricom Q koristitedormqr_().

Mnogo tocnije je raditi QR faktorizaciju pomocu Givensovihrotacija, iako taj postupak zahtijeva više operacija.


Nela Bosner

LAPACK




Zadaci




Zadaci



QR faktorizacija pomocu Givensovih rotacija

Givensove rotacije su kvadratne matrice koje sudobivene ulaganjem dvodimenzionalnih rotacija u vecujedinicnu matricu.

R(p, q;φ) =

1...

.

.

.

. . ....

.

.

. 0

1...

.

.

.· · · · · · · · · c · · · · · · · · · −s · · · · · · · · ·

.

.

. 1...

.

.

.. . .

.

.

.... 1

.

.

.· · · · · · · · · s · · · · · · · · · c · · · · · · · · ·

.

.

.... 1

0...

.

.

.. . .

.

.

.... 1

p

q

p q


Nela Bosner

LAPACK




Zadaci




Zadaci



gdje su

R(p,q) = R(p,q;φ) ∈ Rn×n

c = cosφs = sinφφ ∈ [0,2π〉,

a p i q su pivotni indeksi i smatramo da je p < q.Matrica R(p,q;φ) je ocito ortogonalna i vrijedi

R(p,q;φ)−1 = R(p,q;φ)T = R(p,q;−φ).

Pomnožimo li matricu A ∈ Rm×n slijeva sa R(p,q;φ)T ,u A se promijeni samo p-ti i q-ti redak, a sve ostaloostaje isto.


Nela Bosner

LAPACK




Zadaci




Zadaci



Zato umjesto velike matrice možemo gledati pripadnuravninsku rotaciju

R = R(p,q;φ) =

[c −ss c

]i samo p-ti i q-ti redak od A.Neka su

[a1 a2 · · · an] i [b1 b2 · · · bn]

p-ti i q-ti redak od A i neka je A = RT A.Zapravo mijenjamo samo ovo:[

c s−s c

] [a1 a2 · · · anb1 b2 · · · bn

]=

[a1 a2 · · · an

b1 b2 · · · bn

].

φ cemo odabrati tako da se u A poništi element namjestu (q, r), tj. tako da je br = 0.


Nela Bosner

LAPACK




Zadaci




Zadaci



Imamo:

cai + sbi =ai

−sai + cbi =bi , i = 1, . . . ,n

Iz uvjeta br = 0, je

cbr = sar ,

RT[

arbr

]=

[ar0

].

Buduci da je R ortogonalna vrijedi

|ar | =

∥∥∥∥[ ar0

]∥∥∥∥2

=

∥∥∥∥RT[

arbr

]∥∥∥∥2

=

∥∥∥∥[ arbr

]∥∥∥∥2

=

√a2

r + b2r .

ar biramo tako da bude pozitivan:

ar =

√a2

r + b2r > 0.


Nela Bosner

LAPACK




Zadaci




Zadaci



Ako je ar = br = 0 tada R = I.Napokon, dobivamo

c =ar

ar, s =

br

ar.

Napomena

Zbog tocnijeg racunanja u aritmetici konacne preciznosti, c is se cesto racunaju kao

|br | > |ar |

τ =ar

br, s =

sign(br )√1 + τ2

, c = sτ,

|br | ≤ |ar |

τ =br

ar, c =

sign(ar )√1 + τ2

, s = cτ.


Nela Bosner

LAPACK




Zadaci




Zadaci



Givensove rotacije poništavaju element po elementmatrice A.Za dobivanje QR faktorizacije potrebno je poništiti sveelemente donjeg trokuta matrice A, i to tako da sejednom poništeni element (jednak nuli) više ne mijenja.Nacin na koji biramo kojim redom cemo ih poništavatizove se pivotna strategija.Najcešca pivotna strategija je poništavanje postupcima:

∗ ∗ ∗ ∗ ∗5 ∗ ∗ ∗ ∗4 9 ∗ ∗ ∗3 8 12 ∗ ∗2 7 11 14 ∗1 6 10 13 15

,


Nela Bosner

LAPACK




Zadaci




Zadaci



i to tako da se na poziciji (i , j) element poništiGivensovom rotacijom Rj(i − 1, i).Na kraju, za A ∈ Rm×n, m ≥ n dobivamo da je

Rn(n, n + 1)T · · ·Rn(m − 2,m − 1)T Rn(m − 1,m)T · · ·R2(2, 3)T · · ·R2(m − 2,m − 1)T ··R2(m − 1,m)T · R1(1, 2)T · · ·R1(m − 2,m − 1)T R1(m − 1,m)T A = R,

tj. A = QR, gdje se matrica Q tada dobiva kao produktodgovarajucih Givensovih rotacija

Q = R1(m−1,m) · · ·R1(1, 2)R2(m−1,m) · · ·R2(2, 3) · · ·Rn(m−1,m) · · ·Rn(n, n+1).

Definiramo

Rj(i − 1, i) =

[c(i−1,i)

j −s(i−1,i)j

s(i−1,i)j c(i−1,i)

j

]


Nela Bosner

LAPACK




Zadaci




Zadaci



Algoritam (QR faktorizacija pomocu Givensovih rotacija)

for (j = 0; j < n; j + +)for (i = m − 1; i > j ; i −−)

if (fabs(a[i][j]) > fabs(a[i − 1][j]))τ = a[i−1][j]

a[i][j] ;

s(i−1,i)j = sign(a[i][j])√

1+τ2;

c(i−1,i)j = s(i−1,i)

j τ ;else

τ = a[i][j]a[i−1][j] ;

c(i−1,i)j = sign(a[i−1][j])√

1+τ2;

s(i−1,i)j = c(i−1,i)

j τ ;


Nela Bosner

LAPACK




Zadaci




Zadaci



Algoritam (QR faktorizacija pomocu Givensovih rotacija)

a[i − 1][j] =√

a[i − 1][j]2 + a[i][j]2;a[i][j] = 0;for (k = j + 1; k < n; k + +)

pom = a[i − 1][k ];a[i − 1][k ] = c(i−1,i)

j · a[i − 1][k ] + s(i−1,i)j · a[i][k ];

a[i][k ] = −s(i−1,i)j · pom + c(i−1,i)

j · a[i][k ];

R = A;


Nela Bosner

LAPACK




Zadaci




Zadaci



Zadaci

ZadatakNapišite potprogram givens_qr() koji racuna QRfaktorizaciju pomocu Givensovih rotacija. Ulazni parametrineka su

dimenzije problema m i nmatrica A

a na izlazu neka se u gornjem trokutu matrice A nalazi R1 izQR faktorizacije. Za rad sa Givensovim rotacijama koristiteBLAS 1 potprograme

drotg_() — generira rotacijudrot_() — primijenjuje rotaciju


Nela Bosner

LAPACK




Zadaci




Zadaci



ZadatakSvoj potprogram testirajte na matrici

A =

1 2 −12 4 2−2 0 3

6 −1 2

.NapomenaRješenje bi trebalo biti

R =

6.7082 0.5963 1.3416

0 4.5436 0.70430 0 3.96280 0 0

.


Nela Bosner

LAPACK




Zadaci




Zadaci



ZadatakPonovo su zadane tocke u ravnini

(1,3.5), (2,4.9), (3,6.8) (4,9.3), (5,10.9), (6,13.4), (7,15.1),

(8,16.7), (9,19) (10,21.2)

koje treba aproksimirati pravcem

f (x) = a0 + a1x ,

koristeci metodu najmanjih kvadrata, ali ovaj puta pomocuQR faktorizacije. Koristite CLAPACK-ov potprogramdgeqrf_().


Nela Bosner

LAPACK




Zadaci




Zadaci



Napomena

Dobit cemo

R1 =

[−3.1623 −17.3925

0 9.0830

],

Q(:,1 : 2) =

−0.3162 −0.4954−0.3162 −0.3853−0.3162 −0.2752−0.3162 −0.1651−0.3162 −0.0550−0.3162 0.0550−0.3162 0.1651−0.3162 0.2752−0.3162 0.3853−0.3162 0.4954

,


Nela Bosner

LAPACK




Zadaci




Zadaci



Napomena (nastavak)a rješenje problema najmanjih kvadrata je dano sa

x =

[a0a1

]= R−1

1 Q(:,1 : 2)T b =

[1.16671.9842

],

odnosno, ovime smo izracunali tražene koeficijente pravca

a0 = 1.1667 a1 = 1.9842.

Dakle aproksimativni pravac je p(x) = 1.1667 + 1.9842x


Nela Bosner

LAPACK




Zadaci




Zadaci



ZadatakPretpostavimo da želimo riješiti problem najmanjih kvadrata,pri cemu je matrica A = [aij ] ∈ R21×21 zadana kao uprimjeru o procesiranju slike:

Definirana je funkcija

f (x , y) =1

250(x2y − x2 − y2 + 175) (x , y) ∈ [−5, 5]× [−5, 5].

Definiramo tocke(xi , yj), i , j = 0, . . . ,20, sa

xi = −5 + 0.5i , yj = −5 + 0.5j .

aij = f (xi , yj).Vektor b je zadan sa

b =[

10 1 · · · 1]T.


Nela Bosner

LAPACK




Zadaci




Zadaci



Zadatak (nastavak)

Znamo da matrica A nema puni rang, zato cemo moratikoristiti potpunu ortogonalnu dekompoziciju zadobivanje rješenja sa minimalnom normom.Nakon izvodenja QR faktorizacije s pivotiranjem,koristite automatsko odredivanje ranga tako da nadeteprvi element na dijagonali matrice R koji je u ovomslucaju po apsolutnoj vrijednosti manji od 21 · 10−16.Za drugu faktorizaciju koristite CLAPACK-ovpotprogram za racunanje LQ faktorizacije dgelqf_().Koristite dorglq_() i dormlq_() za generiranje imnoženje sa ortogonalnom matricom iz LQfaktorizacije.Za racunanje S = PZ T koristite polje jpvt koje vracapotprogram dgeqp3_().


Nela Bosner

LAPACK




Zadaci




Zadaci



NapomenaRješenje problema najmanjeg kvadrata iz prethodnogprimjera sa najmanjom normom bi trebalo biti:

x =

−0.6603−0.5875−0.5152−0.4434−0.3721−0.3013−0.2311−0.1614−0.0922−0.0235

0.04470.11240.17950.24620.31230.37790.44300.50750.57160.63510.6981

.


Nela Bosner

LAPACK




Zadaci




Zadaci




Definicija

Neka je ∆ = [a,b] ⊆ R segment u R i neka C(∆) oznacavaBanachov prostor neprekidnih realnih funkcija na ∆, snormom definiranom kao

‖x‖ = max|x(t)| : t ∈ ∆.

Neka je k : ∆′ ×∆ −→ R neprekidna funkcija, gdje je ∆′

segment ne nužno jednak ∆. Tada, za svaki x ∈ C(∆),funkcija t 7−→ k(s, t)x(t) je integrabilna u Riemannovomsmislu i funkcija

y(s) =

∫ b

ak(s, t)x(t)dt , s ∈ ∆′ (1)

je neprekidna na ∆′.


Nela Bosner

LAPACK




Zadaci




Zadaci



Definicija (nastavak)Jednadžba (1) predstavlja Fredholmovu integralnujednadžbu prve vrste.Jednadžba (1) takoder definira i preslikavanjeK : C(∆) −→ C(∆′) takvo da x 7−→ y, i ona se možezamijeniti jednadžbom

y = Kx . (2)

Operator K zove se Fredholmov integralni operator, afunkcija k je jezgra Fredholmovog integralnog operatoraK .

Najcešci problem vezan uz Fredholmov integralni operatorje za zadani y ∈ C(∆′) naci funkciju x ∈ C(∆) takvu dajednakost (2) vrijedi.


Nela Bosner

LAPACK




Zadaci




Zadaci



KorolarAko je jezgra k operatora K neprekidna na ∆′ ×∆, tada jeoperator K iz Hilbertovog prostora L2(∆) u unitarni prostorC(∆′) kompaktan.


Nela Bosner

LAPACK




Zadaci




Zadaci



TeoremNeka su X i Y Hilbertovi prostori i neka je K : X −→ Ykompaktan operator beskonacnog ranga. Tada postojeortonormalni nizovi ei u X i fi u Y, te nizovi realnihbrojeva σi gdje su

σ1 ≥ σ2 ≥ · · · ≥ σi ≥ · · · > 0, limi→∞

σi = 0,

takvi da se svaki x ∈ X može izraziti kao

x = x0 +∞∑

i=1

〈x ,ei〉ei , pri cemu Kx0 = 0,

i

Kx =∞∑

i=1

σi〈x ,ei〉fi . (3)


Nela Bosner

LAPACK




Zadaci




Zadaci



Teorem (nastavak)Jednadžba (3) je Schmidtova reprezentacija operatora K .Skalari σi > 0 oznacavaju singularne vrijednosti operatoraK

NapomenaPrethodni rezultati pokazuju da je Fredholmov integralnioperator kompaktan i da njegove singularne vrijednostiteže ka nuli.Prema tome, rješavanje Fredholmove integralnejednadžbe predstavlja loše uvjetovani problem, injegovo rješenje je ekstremno osjetljivo na greške umjerenju kod ulaznih parametara.


Nela Bosner

LAPACK




Zadaci




Zadaci



Numericko rješavanje integralnih jednadžbi

Fredholmova integralna jednadžba obicno se koristi ufizici za modeliranje distorzije instrumenta kod mjerenjanepoznate funkcije x(t).Prvi korak diskretizacije Fredholmove integralnejednadžbe je zamjena jednadžbe (1) sustavomjednadžbi

yi =

∫ b

ak(si , t)x(t)dt + ξi , i = 1, . . . ,m,

gdje suk(si , t) dobro poznata ocitovanja instrumenta,yi = y(si ) su izmjerene vrijednosti u cvorovimadiskretne mreže s1, s2, . . . , sm,ξi su slucajne greške mjerenja s ocekivanjem nula.


Nela Bosner

LAPACK




Zadaci




Zadaci



Drugi korak je diskretizacija integrala pomocu neke odmetoda za numericko integriranje, pri cemu bi greškadiskretizacije trebala biti manja od grešaka mjerenja.Pocetni beskonacno dimenzionalni problem (1) setransformira u konacno dimenzionalni problem

y = K x + ξ, (4)

gdje suy = [yi ] ∈ Rm je vektor izmjerenih velicina,K ∈ Rm×n je poznata matrica sa m ≥ n,x ∈ Rn vektor nepoznanica cije su komponente iliaproksimacije od x(t) u diskretnim cvorovima mrežet1, t2, . . . , tn, ili nepoznati koeficijenti u razvoju x(t) ponekim baznim funkcijama.


Nela Bosner

LAPACK




Zadaci




Zadaci



ξ = [ξi ] ∈ Rm je vektor slucajnih grešaka mjerenja kojizadovoljava

E(ξ) = 0, E(ξξT ) = S2,

gdje suE je operator ocekivanja, a 0 ∈ Rm,S2 ∈ Rm×m je pozitivno definitna matrica kovarijance zaξ.

Kod vecine problema pretpostavlja se da su greškemjerenja statisticki nezavisne, pa je

S2 = diag(ς21 , . . . , ς

2m),

gdje su ς1, . . . , ςm poznate standardne devijacije greške.


Nela Bosner

LAPACK




Zadaci




Zadaci



NapomenaDiskretizacija loše uvjetovanog Fredholmove integralnejednadžbe rezultirat ce loše uvjetovanim linearnimsustavom.To znaci da singularne vrijednosti matrice K brzo težeka nuli, i njen broj uvjetovanosti je veliki.Rješavanje problema najmanjih kvadrataminx ‖K x − y‖ tada postaje ekstremno nestabilno, iizracunato rješenje x je beskorisno.


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer

Za racunanje distribucije velicina cestica u spektroskopijifotonske korelacije potrebno je riješiti Fredholmovuintegralnu jednadžbu prve vrste, kod koje je

k(s, t) = e−st .

Kada se Fredholmov integralni operator diskretizira,dobivene singularne vrijednosti distribuirane su kao nasljedecoj slici.


Nela Bosner

LAPACK




Zadaci




Zadaci



0 5 10 15 20 25 30 35 40 45 50

10−24

10−22

10−20

10−18

10−16

10−14

10−12

10−10

10−8

10−6

10−4

10−2

100

i

sing

ular

val

ues

σ i

m=100, si are equidistant

m=500, si are equidistant

m=50, si=s

i−1+max(floor(eqi),1)



Nela Bosner

LAPACK




Zadaci




Zadaci



PrimjerMjerenje gravitacije je takoder vezano uz Fredholmovuintegralnu jednadžbu.

Varijacija gustoce podzemnih stijena rezultiravarijacijama polja gravitacije na zemljinoj površini.Zbog toga, na temelju mjerenja polja gravitacije nazemljinoj površini možemo izracunati gustocepodzemnih stijena.Varijacija vertikalne komponente polja gravitacije g(s)duž pravca s na površini povezana je sa varijacijomgustoce mase f (t) duž segmenta pravca t (0 ≤ t ≤ 1)na dubini d ispod površine pomocu Fredholmoveintegralne jednadžbe prvog reda


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

g(s) =

∫ 1

0k(s, t)f (t)dt

sa jezgrom

k(s, t) =d

(d2 + (s − t)2)3/2 .

Singularne vrijednosti matrice K ∈ R15×15 dobivenediskretizacijama na ekvidistantnim mrežama jednogkonkretnog problema prikazane su na sljedecoj slici.Rješenje problema f = K−1g jako oscilira ineupotrebljivo je.


Nela Bosner

LAPACK




Zadaci




Zadaci



2 4 6 8 10 12 14

0

1

2

3

4

5

6

7

i

sing

ular

val

ues

σ i of K



Nela Bosner

LAPACK




Zadaci




Zadaci



Obicno se pretpostavlja da greške imaju normalnudistribuciju:

ξ ∼ N(0,S2).

Zbog toga je iz vjerojatnosnih razloga korisno skaliratidiskretni linearni sustav sa matricom S−1. Tada je

b = S−1y , A = S−1K , η = S−1ξ.

Diskretni linearni sustav se tada transformira u

b = Ax + η, η ∼ N(0, Im),

gdje je Im ∈ Rm×m identiteta.Ako je x aproksimacija od x , tada njezin rezidualr = b − Ax mora aproksimirati η = b − Ax , odnosnoaproksimacija x je prihvatljiva samo ako je r prihvatljivuzorak iz distribucije N(0, Im).


Nela Bosner

LAPACK




Zadaci




Zadaci



Rješavanje problema najmanjih kvadrata

Tražimo rješenje xNK problema

minx‖Ax − b‖2

Matrica A ima puni stupcani rang ali je loše uvjetovana,zato su komponente od xNK vrlo osjetljive na maleperturbacije u komponentama od b.Zbog grešaka mjerenja dobiveno rješenje je cestonerealno.Kod nekih fizikalnih mjerenja ocekuje se vrlo glatkorješenje, dok izracunata aproksimacija rješenja divljeoscilira oko rješenja.Zbog toga se provodi regularizacija.


Nela Bosner

LAPACK




Zadaci




Zadaci



Regularizacija

Najcešce korištena metoda za stabiliziranje oscilirajucihrješenja problema najmanjih kvadrata je uvodenjeuvjeta na rješenje x oblika

‖Q(x − x0)‖22 ≤ β2.

Ovdje sux0 opcionalna inicijalna aproksimacija od x ,Q je matricna reprezentacija linearnog operatora uvjeta,β2 je konstanta koja odreduje jacinu uvjeta.

Aproksimacija xλ dobiva se rješavanjem problema

minx

(‖b − Ax‖22 + λ‖Q(x − x0)‖22

),

gdje je parametar λ Lagrangeov multiplikator cijavrijednost ovisi o β2.Rješenje je oblika

xλ = (AT A + λ2QT Q)−1(AT b + λ2QT Qx0).


Nela Bosner

LAPACK




Zadaci




Zadaci



Uspjeh regularizacije ovisi o izboru parametra λ, a za topostoje nekoliko nacina.Najcešci izbor za Q je identiteta In ∈ Rn×n.U tom slucaju problem se može izraziti kao prošireniproblem [

bλx0

]=

[AλIn

]x +

[ηλγ

],

sa [ηγ

]∼ N(0, Im+n).

Parametar λ postaje težinska konstanta koja bi trebalabiti dovoljno velika da bi prigušila oscilacijeaproksimativnog rješenja xλ tako da ga drži blizu x0, a sdruge strane dovoljno mala da ne prouzroci rast normekvadrata ‖Axλ − b‖22.


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer

Diskretizirat cemo dobro poznati problem Phillipsovejednadžbe

y(s) =

∫ 3

−3k(s, t)x(t)dt , s ∈ [−6,6],

gdje je

k(s, t) =

16

[1 + cos

(π(t−s)

3

)], |t − s| ≤ 3

0, inace

i

y(s) =16

(6− |s|)

[1 +

12

cos(πs

3

)]+

92π

sin(π|s|

3

).


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)Rješenje ovog problema je poznato i glasi

x(t) = 1 + cos(πt3

), t ∈ [−3,3].

−6 −4 −2 0 2 4 60

1

2

s ili t

y(s)

ili x

(t)

y(s)x(t)


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

Ovaj problem diskretizirat cemo na sljedeci nacin.m = 150, si = −5.925 + (i − 1) · hs za i = 1, . . . ,m,gdje je hs = 11.85/(m − 1) (ekvidistantna mreža nasegmentu [−5.925,5.925] sa m tocaka).n = 121, tj = −3 + (j − 1) · ht za i = 1, . . . ,n, gdje jeht = 6/(n − 1) (ekvidistantna mreža na segmentu[−3,3] sa n tocaka).Integral se diskretizira pomocu trapezne formule∫ b

ak(si , t)x(t)dt ≈ b − a

2(n − 1)(k(si , t1)x(t1) + 2k(si , t2)x(t2)+

+ · · ·+ 2k(si , tn−1)x(tn−1) + k(si , tn)x(tn))


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak) ∫ 3

−3k(si , t)x(t)dt ≈

3n − 1

[ k(si , t1) 2k(si , t2) · · · 2k(si , tn−1) k(si , tn) ]

x(t1)x(t2)

...x(tn−1)

x(tn)

Dakle, ovime smo odredili:

x =[xj ] ∈ Rn, gdje je xj = x(tj)

K =[kij ] ∈ Rm×n, gdje je kij =

3

n−1k(si , tj), j = 1,n6

n−1k(si , tj), j = 2, . . . , n−1

y =[yi ] ∈ Rm, gdje je y = K x


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)Dalje definiramo

S = diag(ς1, . . . , ςm), ςi = 10−4yi ,

što znaci da ce greške u yi biti u 4 znamenci.Sada uzimamo η = [ηi ] ∈ Rm gdje su ηi slucajni brojeviiz normalne distribucije, i konacno definiramo

A = S−1K , b = S−1y + η.

Uvjetovanost matrice A je velika: κ(A) = 2.8877 · 109.y = y + Sη predstavljaju vektor izmjerenih velicina kojeukljucuju i grešku.


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

Prvo cemo riješiti problem najmanjih kvadrataminx ‖Ax − b‖2, koristeci ili SVD ili QR faktorizaciju.Za rješenje xNK ovog problema treba izracunati

1 ‖AxNK − b‖2 (≈ 4.9512)2 ‖xNK − x‖2 (≈ 311.7771)

U ovom slucaju imamo minimalnu normu reziduala, aligreška je ogromna.


Nela Bosner

LAPACK




Zadaci




Zadaci



−3 −2 −1 0 1 2 3−100

−80

−60

−40

−20

0

20

40

60

80

100

120

t

x nk(t

)

x(t)xnk(t)

Slika: Egzaktno rješenje i rješenje najmanjih kvadrata.


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

Sada cemo ukljuciti regularizaciju.Možemo uzeti x0 = 0, ali za naš primjer bolje je uzetivrijednosti x0 = [y(tj)], j = 1, . . . ,n.Najcešci nacin za odabir optimalnog parametra λbazira se na L krivulji.Koordinate tocake na L krivulji predstavljaju log10 ‖xλ‖2i log10 ‖Axλ − b‖2.Odabire se ona vrijednost λ za koju je ‖xλ‖2 ogranicenna najbolji moguci nacin, dok istovremeno ‖Axλ − b‖2nije prevelik.Takav λ odgovara tocci u uglu L krivulje.Za naš primjer optimalni λ je λopt = 0.748.


Nela Bosner

LAPACK




Zadaci




Zadaci



0.92 0.94 0.96 0.98 1 1.02 1.04 1.06 1.08 1.1 1.12

1.14

1.16

1.18

1.2

1.22

1.24

1.26

1.28

1.3

1.32

1.34

log10( || b−Ax || )

log 10

( ||

x ||

)

L krivuljaoptimalni λnajbolji λ

Slika: L krivulja za 0.1 ≤ λ ≤ 100 sa tockama koje odgovarajuλopt i λnaj .


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

Dakle, riješit cemo problem najmanjih kvadrataminx ‖Ax − b‖2, gdje su

A =

[A

λopt In

], b =

[b

λopt x0

],

koristeci ili SVD ili QR faktorizaciju.Za rješenje xλopt ovog problema treba izracunati

1 ‖Axλopt − b‖2 (≈ 8.8121)2 ‖xλopt − x‖2 (≈ 2.9042)

U ovom slucaju norma reziduala je malo narasla, aligreška je puno bolja nego kod rješenja najmanjihkvadrata.


Nela Bosner

LAPACK




Zadaci




Zadaci



−3 −2 −1 0 1 2 3

0

0.5

1

1.5

2

2.5

t

x λ(t)

x(t)xλ(t)

Slika: Egzaktno rješenje i rješenje regularizacije za λopt .


Nela Bosner

LAPACK




Zadaci




Zadaci



Primjer (nastavak)

Nekim statistickim metodama može se pokazati daaproksimaciju s najboljom greškom možemo dobiti zaλnaj = 77.5.Zato cemo na kraju riješiti problem najmanjih kvadrataminx ‖Ax − b‖2, za

A =

[A

λnaj In

], b =

[b

λnaj x0

],

koristeci ili SVD ili QR faktorizaciju.Za rješenje xλnaj ovog problema treba izracunati

1 ‖Axλnaj − b‖2 (≈ 11.7861)2 ‖xλnaj − x‖2 (≈ 0.0195)

U ovom slucaju norma reziduala je još malo narasla, aligreška je prihvatljivo mala.


Nela Bosner

LAPACK




Zadaci




Zadaci



−3 −2 −1 0 1 2 3

0

0.5

1

1.5

2

2.5

t

x λ(t)

x(t)xλ(t)

Slika: Egzaktno rješenje i rješenje regularizacije za λnaj .

Download - Znanstveno racunanje 1 - Predavanja - PMFnela/zr1vjezbe/zr1_predavanja.pdf · Zadaci Iterativne metode za linearne sustave Problemi svojstvenih vrijednosti i SVD Problem najmanjih

Top Related