metod najmanjih kvadrata...metod najmanjih kvadrata račun izravnanja2 –osnovni kurs osnovne...

38
METOD NAJMANJIH KVADRATA Račun izravnanja 2 – osnovni kurs Osnovne studije – 3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. Građevinski fakultet u Beogradu Katedra za geodeziju i geoinformatiku

Upload: others

Post on 02-Mar-2020

45 views

Category:

Documents


4 download

TRANSCRIPT

Page 1: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

METOD NAJMANJIH

KVADRATA

Račun izravnanja 2 – osnovni kursOsnovne studije – 3. semestar, školska 2019/2020

Prof. dr Branko Božić, dipl.geod.inž.

Građevinski fakultet u Beogradu

Katedra za geodeziju i geoinformatiku

Page 2: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Sadržaj

Uvod

Prosta aritmetička sredina

Opšta aritmetička sredina

Najbolja ocena parametara modela

Varijanse i težine

Jednostavniji MNK problemi – matrična

interpretacija

Page 3: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

UVOD - Definicija i klasifikacija merenja

Crandall and Seabloom (1970): ‟Merenje

predstavlja instrumentalno upoređivanje

nepoznate veličine sa poznatim standardom‟

Rezultat merenja je samo jedna

aproksimacija vrednosti merene veličine

Tačnu vrednost nije moguće odrediti

Merenja po definiciji sadrže greške

Merenja mogu biti: a) direktna i b) indirektna

Page 4: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

UVOD-Klasifikacija grešaka merenja

Prema prirodi uticaja: a) grube (blunders, mistakes), b) sistematske i c) slučajne (accidental, random)

Slučajne greške – aksiomi: 1) greške male po intenzitetu se češće2) jednaka verovatnoće pojave pozitivnih i

negativnih vrednosti grešaka 3) mala verovatnoća pojave grešaka velikih po

intenzitetu

Page 5: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

UVOD-Greške i reziduali

Merena veličina: istinita ili najverovatnijavrednost ?

Najverovatnija vrednost = najbolja ocena

Ma koliki broj merenja realizovali nećemo dobiti istinitu vrednost

Aritmetička sredina spada u najbolju ocenu

Rezultat merenja - Istinita vrednost = Istinita greška

Najverovatnija vrednost – Rezultat merenja = Rezidual

Page 6: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Gaussov princip najmanjih kvadrata

(least squares principle)

"Zbir kvadrata odstupanja

rezultata merenja od

najverovatnije vrednosti je

minimalan"

𝑖=1

𝑛

𝑝𝑖𝑣𝑖2 = 𝑚𝑖𝑛

pi – težine

vi - reziduali

Page 7: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Prosta aritmetička sredina – princip

MNK

Neka je slučajna veličina x

merena n puta i neka su

dobijene sledeće vrednosti

x1,x2,...,xn. Neka je µ istinita

vrednost, a - aritmetička

sredina. Tada je

x

n

x

n

xxxx

n

k

k

n

121 ...

kk xxv

Rezidual

𝐸 ҧ𝑥 = 𝜇

𝐷 ҧ𝑥 =𝜎2

𝑛

Page 8: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Prosta aritmetička sredina – primena

principa najmanjih kvadrata

ili

xvxxvxxvx nn ...,,, 2211

• Neka je realizovano n rezultata merenja

x1,x2,...,xn neke fizičke veličine. Po definiciji: Rezultat merenja + Rezidual = Najbolja ocena

nn xxvxxvxxv ...,,, 2211

Princip najmanjih kvadrata: Najbolja ocena se dobija

minimiziranjem sume kvadrata reziduala

Nepoznati

parametar

Page 9: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Neka je

n

k

kv1

2 ili

22

2

2

1

1

2 )(...)()( n

n

k

k xxxxxxv

Traži se 0

xd

d

0)(2...)(2)(2 21

nxxxxxxxd

d

n

x

n

xxxx

n

k

k

n

121 ...

Deobom obe strane sa 2 i

oslobađanjem od zagrade

dobija se

Prosta aritmetička sredina – primena

principa najmanjih kvadrata

Page 10: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Rešavanje sistema linearnih jednačina

primenom MNK principa

povezuju dve nepoznate x i y sa opažanjima (7, 5 i 0.5)

Rešenje po prve dve daje x =0.5 i y =1.5, rešenje druge i treće daje x =0.65 i

y =1.45…

Nekonzistentnost rešenja (jednačina). Zaključak: u merenjima prisutne

greške.

Problem rešavamo dodavanjem reziduala

3

2

1

5.03

53

742

vyx

vyx

vyx

Linearan sistem jednačina oblika:

Moguće je odabrati vrednosti v1, v2 i v3 na osnovu kojih će se dobiti

jedinstveno rešenje za x i y, nezavisno od toga koji će se par jednačina

odabrati. Rešenje za x i y po metodi najmanjih kvadrata:

2222 )5.03()53()742(),( yxyxyxvyxf

2x+4y=7

1x+3y=5

3x-1y=0.5

Page 11: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

0)1)(5.03(2)3)(53(2)4)(742(2

0)3).(5.03(2)53(2)2)(742(2

2

2

yxyxyxy

v

yxyxyxx

v

normalne jednačine oblika,

5.42268

5.20814

yx

yx

MNK rešenje glasi x =0.643 i y =1.437

Zamenom vrednosti x i y u jednacine opazanja omogućava računanje

reziduala (v1=0.033, v2= - 0.047, v3 = - 0.007)

U tabeli, prikazane su vrednosti kvadrata reziduala slobodnog rešenja i

rešenja dobijenog po principu najmanjih kvadrata.

x =0.5 i y =1.5 x =0.643 i y =1.437

0 0.001

0 0.002

0.25 0.000

Suma VV 0.25 0.003

D = det(14 88 26

=300

Dx = det(20.5 842.5 26

=193

Dy = det(14 20.58 42.5

=431

14*26-8*8=

Page 12: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Težine i varijanse

Konstanta proporcionalnosti = referentna varijansa = faktor varijanse

= a priori varijansa = varijansa jedinice težine

2

20

2

1

kk s

spili

sp

2

0

Za p =122

0 ks Varijansa opažanja jedinične težine (Pretpostavka: merenja su nekorelisana)

PRIMER:

Merenje 1: 10.11 (s = 0.01)

Merenje 2: 10.12 (s = 0.02)

Merenje 3: 10.13 (s = 0.03)22

02

2

03 )03.0(

)03.0(1

p

Najvece s

1,25,2)02.0(

)03.0(,9

)01.0(

)03.0(32

2

22

2

1 ppp

Težina p

Page 13: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Opšta aritmetička sredina

Neka su x1, x2, ..., xn merenja sa težinama

p1,p2,...,pn i neka je najbolja ocena merenja.

Po definiciji:

Merenje + Rezidual = Najbolja ocena

pnnpp xvxxvxxvx ...,,, 2211

ili

npnpp xxvxxvxxv ...,,, 2211

Rešenje tražimo primenomi principa minimuma sume kvadrata proizvoda reziduala i težina

n

k

kkvp1

2

px

Page 14: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Opšta aritmetička sredina

22

22

2

11

1

2 )(...)()( npnpp

n

k

kk xxpxxpxxpvp

0

pxd

d

0)(2...)(2)(2 2211

npnpp

p

xxpxxpxxpxd

d

n

k

k

n

k

kk

n

nnp

p

xp

ppp

xpxpxpx

1

1

21

2211

...

...

Deobom sa 2 i oslobadjanjem od zagrade

Page 15: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Jednostavniji modeli - Najbolja ocena

parametara modela - Line of Best Fit

cmxy

Nagib prave

Presek prave

sa y osom

12

12tanxx

yym

m,c – parametri modela

x,y – merenja

Page 16: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Ocena parametara modela –

merenja iste preciznosti

tačka x y

1 -40.0 -24.0

2 -15.0 -24.0

3 10.0 -12.0

4 38.0 15.0

5 67.0 30.0

cmxvy kkk

cvxmvy Xkkkk )(

kkk ycmxv )(

n

k

kv1

2

2

55

2

22

2

11

1

2 )(...)()( ycmxycmxycmxvn

k

k

0,0

dc

di

dm

dNeophodan uslov minimuma

Najčešće se xk

tretira kao

nezavisna

promenljiva

Page 17: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

0)1)((2...)1)((2)1)((2

0))((2...))((2))((2

552211

555222111

ycmxycmxycmxdc

d

xycmxxycmxxycmxdm

d

n

k

k

n

k

k

n

k

kk

n

k

n

k

kk

ycnxm

yxxcxm

11

11 1

2

Normalne jednačine

k

kk

k

kk

y

yx

c

m

nx

xx2

Normalne jednačine u matričnom obliku

nNx nNx1

Ocena parametara modela – merenja

iste preciznosti – MNK ocene

Page 18: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

2

1

1112

1222

21122211

1

)(

1

n

n

nn

nn

nnnnc

mnNx

1,2

1

1,,2212

1211,,

uuuun

n

c

m

nn

nn

nxN

00.15

00.3780

00.500.60

00.600.7858

c

m

66.9

55.0

00.785800.60

00.6000.5

)00.6000.6000.500.7858(

1

c

m

Ocena parametara modela –

jednake težine – MNK ocene

Page 19: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

kkk ycmxv

5.2

6.3

9.7

0.6

8.7

5

4

3

2

1

v

v

v

v

v

Ocena parametara modela – merenja

jednake preciznosti - reziduali

Page 20: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Pretpostavka da obe koordinate (x i y) sadrže greške

0 b)vx(m)vy()y,x(Fxy

ybxmbb

Fm

m

Fv

y

Fv

x

Fyx

00

Četiri nepoznate i nije linearna

1

1

b

F

xm

F

y

F

mx

FSa parcijalnim izvodima

DDAYDXD

CCAYCXC

BBBYBXB

AAAYAXA

ybxmbmxvvm

ybxmbmxvvm

ybxmbmxvvm

ybxmbmxvvm

000

000

000

000

Jednačine za četiri date tačke

FAXBV Matrični oblik

1000000

0010000

0000100

0000001

0

0

0

0

m

m

m

m

B

1

1

1

1

D

C

B

A

YD

XD

YC

XC

YB

XB

YA

XA

x

x

x

x

A;

v

v

v

v

v

v

v

v

V

DD

CC

BB

AA

ybxm

ybxm

ybxm

ybxm

F;b

mX

00

00

00

00

Rešenje problema sa pretpostavkom o greškama u obe promenljive

mo i co iz bilo koje dve jednačine (približne vrednosti)

c

coc

co

co

co

co

c

c

c

c

c

co

co

co

co

c

Page 21: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

2

2

2

2

2

2

2

2

2

0

0000000

0000000

0000000

0000000

0000000

0000000

0000000

0000000

1

YD

XD

YC

XC

YB

XB

YA

XA

Q

Kofaktorska matrica (vrednosti koje

se dobijaju iz izravnanja mreže)

FWA)AWA(Xe

T

e

T 1 Rešenje (ocena nepoznatih parametara)

1 )BQB(W T

e

FAXVe

Vektor ocena reziduala

VLL̂m Vektor ocena rezultata merenja

r

VWVs ee

T

e2

0

Referentna varijansa =

r

VWVs

T

2

0

Kovarijaciona matrica ulaznih veličina (merenja ili sl.) = Kl

a posteriori faktor

varijanse = ocena od

a priori varijanse

Page 22: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Ocena parametara u modelu

merenja različite preciznostiTačka x y pi

1 -40.0 -24.0 2

2 -15.0 -24.0 5

3 10.0 -12.0 7

4 38.0 15.0 3

5 67.0 30.0 3

n

k

kkvp1

2

2

555

2

222

2

111

1

2 )(...)()( ycmxpycmxpycmxpvpn

k

kk

0,0

dc

di

dm

d

0)1)((2...)1)((2)1)((2

0))((2...))((2))((2

555222111

555522221111

ycmxpycmxpycmxpdc

d

xycmxpxycmxpxycmxpdm

d

Page 23: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Ocena parametara u modelu

merenja različite preciznosti

n

k

kk

n

k

n

k

kkk

n

k

kkk

n

k

n

k

kkkk

yppcxpm

yxpxpcxpm

11 1

11 1

2

kk

kkk

kkk

kkkk

yp

yxp

c

m

pxp

xpxp 2

00.117

00.10620

00.2000.230

00.2300.22824

c

m

669131.12

592968.0

c

m9.2

1.5

3.5

4.2

4.12

5

4

3

2

1

v

v

v

v

v

Dve normalne jednačine

kkk ycmxv

Prava je pomerena ka 2 i 3, zbog težina

Page 24: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Jednostavniji MNK problemi –

matrična interpretacija

n

k

kv1

2 Minimum sume kvadrata reziduala

vvT2

1

21

1

2

n

n

n

k

k

v

...

v

v

v...vvv

n

k

kkvp1

2

PvvT2

1

2

1

21

1

2

nn

n

n

k

kk

v

...

v

v

p

..

p

p

v...vvvp

Nekorelisana

merenja

Page 25: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Jednostavniji MNK problemi – matrična

interpretacija ocena parametara modela

regresione prave

555

444

333

222

111

vycmx

vycmx

vycmx

vycmx

vycmx

cmxvy kkk

vlAx

5

2

1

5

2

1

5

2

1

..

1

..

1

1

v

v

v

y

y

y

c

m

x

x

x

Opšti model

Matrica

koeficijenata

Vektor

reziduala

Page 26: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

l))P(AxlA(x

l))P(Axl(Ax)

l)P(Axl)AxPvv

TTT

TT

TT

(

(

PAxAxPlAxPAxlPllTTTTTT

PAxAxPlAxPAxlPllTTTTTT

Skalari PA)x(AxPAx2lPllTTTT

T

dx

d0

T

dx

d0PA)(AxPA2l

TTT 2

PlAPA)x(ATT

Normalne jednačine

nNx

Jednostavniji MNK problemi – matrična interpretacija ocena parametara modela regresione prave

Page 27: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

nNx

nNx1

lAxv

vll ˆ

Izraz – izravnanje indirektnih opažanja, predložili su

Mikhail i Graice 1976 i 1981. godine ukazuje da svako

opažanje predstavlja jedno indirektno merenje

nepoznatih parametara. U geodetskom premeru

koriste se i drugi nazivi, kao: parametarsko izravnanje,

izravnanje jednačina opažanja metodom najmanjih

kvadrata ili izravnanje jednačina rezidula metodom

najmanjih kvadrata.

Osnovne karakteristike MNK:

- Matematički model (jednačina) povezuje opažanja, reziduale i nepoznate

parametre

- Za n opažanja postoji minimalnih no neophodnih za rešavanje u

nepoznatih parametara (u ovom slučaju no = u) dok je r = n – no broj suvišnih

merenja

- Za svako opažanje postavlja se jedna jednačina, tj. n je ukupan broj jednačina

Jednostavniji MNK problemi – matrična interpretacija ocena parametara modela regresione prave

Page 28: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

MNK ocena parametara modela parabole

cbxaxy 2

Matematički model parabole

cbxaxvy kkkk 2

kkkk ycbxaxv 2

Za n = 6 i u = 3

Nepoznati parametri: a, b, c

lAxv

RMIT University -

Deakin

Page 29: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

MNK ocena parametara modela parabole

6

2

1

)1,6()1,3(

6

2

6

2

2

2

1

2

1

)3,6(

6

2

1

)1,6(.

,,

1

...

1

1

,.

y

y

y

c

b

a

xx

xx

xx

v

v

v

lxAv

IP Za

nNx

nNx1

lAxv

vll ˆ

Page 30: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Rešavanje nelinearnog sistema

𝐿 = f(x, y)

𝐿 = 𝑓 𝑥, 𝑦 = 𝑓 𝑥0, 𝑦0 +(𝜕𝐿

𝜕𝑥)0

1!𝑑𝑥 +

(𝜕2𝐿

𝜕2𝑥)0

2!𝑑𝑥2 +...+

(𝜕𝑛𝐿

𝜕𝑛𝑥)0

𝑛!𝑑𝑥𝑛

𝑥0, 𝑦0

𝑥 = 𝑥0 + 𝑑𝑥𝑦 = 𝑦0 + 𝑑𝑦

𝐿 = 𝑓 𝑥, 𝑦 = 𝑓 𝑥0, 𝑦0 + (𝜕𝐿

𝜕𝑥)0𝑑𝑥 + (

𝜕𝐿

𝜕𝑦)0𝑑𝑦

Procedura:

1. Odrediti približne vrednosti koordinata xo,yo

2. Uvrstiti približne vrednosti u jednačinu i sračunati priraštaje dx,dy

3. Sračunati popravljene vrednosti x,y

4. Sa novim vrednostima ponoviti 2. i 3. korak

5. Primeniti iterativni postupak sve dok dx,dy ne budu ispod granica

tolerancije

Funkcija

Razvoj u

Tejlorov red

Približne vrednosti nepoznatih parametara

Ocene (najverovatnije) vrednosti

Razvoj funkcije do prvog

stepena

Page 31: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

PRIMER

𝑥2 + 𝑦2 = 6

3𝑥2 − 2𝑦 = 8

𝜕𝐹1

𝜕𝑥= 2𝑥,

𝜕𝐹1

𝜕𝑦= 2𝑦; 𝜕𝐹2

𝜕𝑥= 6𝑥,

𝜕𝐹2

𝜕𝑦= −2

xo=1 i yo=1

2(𝑥0)𝑑𝑥 + 2(𝑦0) 𝑑𝑦 = 6 − 𝑥02 − 𝑦0

2

6 𝑥0 𝑑𝑥 − 2 𝑑𝑦 = 8 − 3 𝑥02 + 2 (𝑦0)

Prva iteracija

𝑑𝑥 = 1.375

𝑑𝑦 = 0.625

𝑥 = 1 + 1.375 = 2.375y= 1 + 0.625 = 1.625

Četvrta iteracija𝑥𝑜 = 2.375𝑦𝑜 = 1.625

𝑥 = 2.375 − 0.412 = 1.963

y= 1.625 − 0.099 = 1.525

Druga iteracija ...

𝑥 = 1.919y=1.523

Sistem nelinearnih jednačina

Izvodi po x,y

Približne (početne) vrednosti x,y

𝐴 =2𝑥𝑜 2𝑦𝑜6𝑥𝑜 −2

F=6 − 𝑥0

2 − 𝑦02

8 − 3 𝑥02 + 2 (𝑦0)

Priraštaji u 2. iter.

Page 32: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

PRIMER – Matrična

interpretacija

𝐴 =

𝜕𝐹

𝜕𝑥

𝜕𝐹

𝜕𝑦𝜕𝐺

𝜕𝑥

𝜕𝐺

𝜕𝑦

𝐴𝑥 = 𝐹 + 𝑣

𝐴 =2𝑥𝑜 2𝑦𝑜6𝑥𝑜 −2

F=6 − 𝑥0

2 − 𝑦02

8 − 3 𝑥02 + 2 (𝑦0)

𝑥 = 𝐀𝐓𝐀−𝟏𝐀𝐓𝐅 =

𝑑𝑥𝑑𝑦

Iterativni postupak

- Broj iteracija zavisi od kvaliteta približnih vrednosti

Page 33: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Kružnica(𝑥 − ℎ)2+(𝑦 − 𝑘)2−𝑟2 = 0

𝜕𝐹

𝜕ℎ= −2 𝑥 − ℎ ,

𝜕𝐹

𝜕𝑘= −2 𝑦 − 𝑘 ,

𝜕𝐹

𝜕𝑟= −2𝑟

𝐴𝑥 = 𝐹 + 𝑣

A=

𝜕𝐹1

𝜕ℎ

𝜕𝐹1

𝜕𝑘

𝜕𝐹1

𝜕𝑟

⋮ ⋱ ⋮𝜕𝐹𝑛

𝜕ℎ

𝜕𝐹𝑛

𝜕𝑘

𝜕𝐹𝑛

𝜕𝑟

𝐹 =0 − (𝑥1 − ℎ0)

2+(𝑦1 − 𝑘0)2−𝑟0

2

…0 − (𝑥𝑛 − ℎ0)

2+(𝑦𝑛 − 𝑘0)2−𝑟0

2

𝑥 =𝑑ℎ𝑑𝑘𝑑𝑟

Tacke x y

1 9.1 5.6

2 6.5 7.2

3 4.2 4.8

h0= 3.0000

ko= 3.0000

r0= 4.0000

h = 6.7363

k = 4.6715

r = 2.5395

Nakon 4 iteracije 5.6

7.2

4.8 4.6715

0

2

4

6

8

0 2 4 6 8 10

h,k – koordinate centra kružnice, r – poluprečnik kružnice

P

R

I

M

E

R

Približne vrednosti nepoznatih parametara

Ocene parametara

Page 34: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Kružnica – drugi način

𝑥2 + 𝑦2 + 2𝑑𝑥 + 2𝑒𝑦 + 𝑓 = 0

2𝑑𝑥 + 2𝑒𝑦 + 𝑓 = −(𝑥2 + 𝑦2)

A=

𝜕𝐹1

𝜕𝑑

𝜕𝐹1

𝜕𝑒

𝜕𝐹1

𝜕𝑓

⋮ ⋱ ⋮𝜕𝐹𝑛

𝜕𝑑

𝜕𝐹𝑛

𝜕𝑒

𝜕𝐹𝑛

𝜕𝑓

𝐹 =− 𝑥1

2 + 𝑦12

…− 𝑥𝑛

2 + 𝑦𝑛2 𝑥 =

𝑑𝑒𝑓

A=

2𝑥1 2𝑦1 1⋮ ⋱ ⋮

2𝑥𝑛 2𝑦𝑛 1𝑥 = 𝐴𝑇𝐴 −1𝐴𝑇𝐹 =

-6.73629

-4.67147

60.75097

𝑥𝑐 = −𝑑𝑦𝑐 = −𝑒

𝑟 = 𝑑2 + 𝑓2 − 𝑓x y

centar= 6.73629 4.671472

r= 2.539545

Koordinate centra kružnice

Radijus (poluprečnik) kružnice

Page 35: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

REŠENJE SISTEMA

JEDNAČINA GAUSOVOM ELIMINACIJOM

26826

8253

728

321

321

32

xxx

xxx

xx

Kako treća jednačina ima

najveći koeficijenat uz x1,

jednačine 1 i 3 zemeniće mesta

728

8253

26826

3

321

321

2

xx

xxx

xxx

1. Korak – eliminacija x1

Realizacija: Prvu jednačinu

ponožiti sa 3/6 i dobijeni

proizvod oduzeti od druge

jednačine

728

8253

26826

728

524

26826

3

32

321

2

xx

xx

xxx

728

524

26826

2. Korak – eliminacija x2

Realizacija: Kako je uz x2 najveći

koeficijent 8, yamenićemo drugu i

treću vrstu a onda pomnožiti

drugu sa 4/8 i oduzeti je od treće

524

728

26826

32

3

321

2

xx

xx

xxx

2

33

728

26826

3

3

321

2

x

xx

xxx

3. Korak – Računanje

x3, x2 i x1

Rešenje: obrnutim

redom, računa se x3,

x2 i na kraju x1

2

33

528

26826

482266

1

1278

1

2

1

321

32

3

)xx(x

)x(x

x

Dati sistem jednačuna:

Page 36: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Linearni sistemi: LU faktorizacija, matrična inverzija

bAx

33

2322

131211

3231

21

333231

232221

131211

00

0

1

01

001

826

280

253

u

uu

uuu

mm

m

aaa

aaa

aaa

aA jk

612

21228523

826

280

280

121513

3231

333231

3323321331332232123132113131

232221

2313212322122122112121

131313121212111111

umm

umm

uumumaumumauma

uum

uumauumauma

uuauuauua

LUA

A kvadratna matrica

Tri modifikacije metode Gausove eliminacije: 1) Doolittle, 2) Crout i 3)

Cholesky

L – donja trouglasta matrica, a

U – gornja trouglasta matrica

1) Doolittle-ov metod (Crout-ov metod je sličan, U i L menjaju mesta)

1. Računanje elemenata matrica L i U

2. Faktorizacija A=LU

600

280

253

112

010

001

826

280

253

2. Rešenje Ly=b

bLUxAx

Osnovna idejayUx,bLy

3

7

8

26

7

8

112

010

001

3

2

1

y

y

y

y

3. Rešenje Ux=y

50

1

4

3

7

8

600

280

253

3

2

1

.

x

x

x

x

211

2

2

1

1

1

1

1

11

1

1

1

k;n,...,kjumau

m

j;n,...,jkumau

n,...,ju

am

n,...,kau

k

s

skjsjk

kk

jk

j

s

skjsjkjk

j

j

jkk

Opšti izrazi

Napomena: Često je

neophodno zameniti redove

matrice A, a time i vektora b što

ne utiče na rešenje

jk

jk

uU

mL

Page 37: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Linearni sistemi: LU faktorizacija, matrična inverzija

53783

31754

11

411772

14

12

24

211

2

2

22232

2313333

213132

22

32

2212222

11

3131

11

21211111

1

1

1

1

2

11

1

1

1111

)(llal

)()lla(l

l

lal;l

al

l

al;al

j;n,...,jpllal

l

n,...,jlal

n,...,jl

al

al

j

s

psjspj

jj

pj

j

s

jsjjjj

j

j

3) Cholesky-ev metod

Primenjuje se kada je A simetrična pozitivno-definitna matrica (A=AT i

xTAx>0 za svako x≠0), tada je U=LT i ujk = mkj . Primenjuje se pri rešavanju

sistema Ax=b koji se zasniva na faktorizaciji A=LLT, i naziva se Cholesky-

ev metod. Ako je L=[ljk] formule za faktorizaciju glase:

1

6

3

5

27

7

500

340

712

5

27

7

155

101

14

537

041

002

00

00

00

83514

5172

1424

15583514

1015172

141424

3

2

1

3

2

1

33

3222

312111

333231

2221

11

321

321

321

x

x

x

x

yxLUxsenjeRe

y

y

y

y

bLysenjeRe

l

ll

lll

lll

ll

l

:RESENJE

xxx

xxx

xxx

T

Page 38: METOD NAJMANJIH KVADRATA...METOD NAJMANJIH KVADRATA Račun izravnanja2 –osnovni kurs Osnovne studije –3. semestar, školska 2019/2020 Prof. dr Branko Božić, dipl.geod.inž. UVOD

Pitanja za ponavljanje

1. MNK linearni i nelinearni modeli – ocena

nepoznatih parametara

2. MNK rešenje za prostu i opštu aritmetičku

sredinu

3. Ocena nepoznatih parametara u modelu prave

4. Ocena nepoznatih parametara u modelu

parabole

5. Ocena nepoznatih parametara u modelu

kružnice