optimizacijske metode - vladimir batageljvlado.fmf.uni-lj.si/vlado/optim/opt1.pdf · korak pri...

OPTIMIZACIJSKE METODEskripta v pripravi

Vladimir Batagelj

Ljubljana 17. december 2003

2

Vladimir Batagelj: Optimizacijske metodec©1997 V. Batagelj, nadaljnje razmnozevanje ni dovoljeno

17. december 2003/ 10 : 23

Kazalo

Predgovor 5

1 Optimizacijske naloge 71.1 Osnovni pojmi . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2 Primeri optimizacijskih problemov . . . . . . . . . . . . . . . . . 10

1.2.1 Resevanje sistema enacb . . . . . . . . . . . . . . . . . . 111.2.2 Naloga linearnega programiranja . . . . . . . . . . . . . . 111.2.3 Naloga nelinearnega programiranja . . . . . . . . . . . . 121.2.4 Izoperimetricna naloga . . . . . . . . . . . . . . . . . . . 121.2.5 Naloge diskretne optimizacije . . . . . . . . . . . . . . . 121.2.6 Naloga o minimalnem vpetem drevesu . . . . . . . . . . . 131.2.7 Naloga o prirejanju . . . . . . . . . . . . . . . . . . . . . 131.2.8 Naloga o trgovskem potniku . . . . . . . . . . . . . . . . 14

2 Lastnosti 152.1 Podobne in enakovredne naloge . . . . . . . . . . . . . . . . . . 152.2 O nepraznosti mnozice Min(Φ, P ) . . . . . . . . . . . . . . . . . 172.3 Globalni in lokalni minimumi . . . . . . . . . . . . . . . . . . . 192.4 Konveksne mnozice in funkcije . . . . . . . . . . . . . . . . . . . 29

2.4.1 Posplosena konveksnost . . . . . . . . . . . . . . . . . . 292.4.2 Obicajna konveksnost . . . . . . . . . . . . . . . . . . . 35

3 Resevanje 433.1 Minimum funkcij na IRn . . . . . . . . . . . . . . . . . . . . . . 433.2 Sedla . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453.3 Prirejene in dualne naloge . . . . . . . . . . . . . . . . . . . . . 483.4 Lagrangeova prirejenost . . . . . . . . . . . . . . . . . . . . . . 503.5 Karush-Kuhn-Tuckerjev izrek . . . . . . . . . . . . . . . . . . . 543.6 Numericni postopki . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.6.1 Pokoordinatni spust in Hooke-Jeevesov postopek . . . . . 61


17. december 2003/ 10 : 23

4 KAZALO

3.6.2 Gradientni postopek . . . . . . . . . . . . . . . . . . . . 623.7 Kazenske metode . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.7.1 Metoda zunanje tocke . . . . . . . . . . . . . . . . . . . 643.7.2 Metoda notranje tocke . . . . . . . . . . . . . . . . . . . 66

Literatura 201


17. december 2003/ 10 : 23

Predgovor

Ti zapiski vsebujejo snov spredavano pri predmetu Optimizacijske metode zastudente racunalnistva. Ker knjiga se ni dokoncana in ni primerne literature, kibi vsebovala vso snov zbrano na enem ali dveh mestih, sem se odlocil, da zapiskedo izida knjige naredim dostopne v elektronski obliki.

Nadaljnje razmnozevanje ali predelovanjeni dovoljeno!

Ljubljana, 18. oktober 1998 Vladimir Batagelj


17. december 2003/ 10 : 23

6 Predgovor


17. december 2003/ 10 : 23

Poglavje 1

Optimizacijske naloge

1.1 Osnovni pojmi

Naj bo na mnozici Φ dana funkcija

P : Φ → IR

kjer je IR = IR ∪ +∞,−∞. Mnozici Φ bomo rekli mnozica dopustnih resitev,funkciji P pa namenska ali kriterijska funkcija.

Pogosto pri dolocitvi mnozice dopustnih resitev Φ izhajamo iz sirse mnoziceresitev Ω, ki jo je enostavneje opisati. Mnozico dopustnih resitev Φ tedaj sestavl-jajo tiste resitve x ∈ Ω, ki zadoscajo predikatu dopustnosti ali omejitvam Φ(x)

Φ = (Ω,Φ) = x ∈ Ω : Φ(x)Postavimo

Min(Φ, P ) = x ∈ Φ : ∀y ∈ Φ : P (y) ≥ P (x)Za vsak par x, y ∈ Min(Φ, P ) velja P (x) ≥ P (y) in P (y) ≥ P (x); torej jeP (x) = P (y). To pomeni, da imajo vsi elementi mnozice Min(Φ, P ), ce je taneprazna, isto vrednost kriterijske funkcije P . Oznacimo jo z min(Φ, P ) in jorazsirimo na primer, ko je mnozica Min(Φ, P ) prazna, s predpisom:

min(Φ, P ) =

infx∈Φ P (x) Φ 6= ∅∞ Φ = ∅

Tedaj lahko zapisemo tudi

Min(Φ, P ) = x ∈ Φ : P (x) = min(Φ, P )Na podoben nacin lahko vpeljemo tudi Max(Φ, P ) in max(Φ, P ); ali pa z uporabozvez:


17. december 2003/ 10 : 23

8 Optimizacijske naloge

Ext.1 Max(Φ, P ) = Min(Φ,−P )Ext.2 max(Φ, P ) = −min(Φ,−P )

Ti dve zvezi nam omogocata, da se omejimo samo na Min in min. Nastejmonekaj njunih lastnosti. Za Φ,Ψ,Γ ⊆ Ω velja:

Ext.3 Ψ ⊆ Φ ⇒ min(Ψ, P ) ≥ min(Φ, P )Ext.4 Ψ ⊆ Φ ∧ Ψ ∩ Min(Φ, P ) 6= ∅ ⇒

min(Ψ, P ) = min(Φ, P ) ∧ Min(Ψ, P ) = Ψ ∩ Min(Φ, P )Ext.5 Ψ,Γ ⊆ Φ ∧ Min(Ψ, P ) ∩ Min(Γ, P ) 6= ∅ ⇒

min(Ψ, P ) = min(Γ, P )Ext.6 Ψ ⊆ Φ ∧ ∀y ∈ Φ \ Ψ∃x ∈ Ψ : P (x) < P (y) ⇒

Min(Ψ, P ) = Min(Φ, P )Ext.7 Min(Ψ, P ) 6= ∅ ∧ Min(Γ, P ) 6= ∅ ⇒

Min(Ψ ∪ Γ, P ) = Min(Min(Ψ, P ) ∪ Min(Γ, P ), P ) 6= ∅

Pogosto zadostuje ze nekoliko sibkejsa oblika lastnosti Ext.6:

Ext.6’ Ψ ⊆ Φ ∧ ∃x ∈ Ψ∀y ∈ Φ \ Ψ : P (x) < P (y) ⇒Min(Ψ, P ) = Min(Φ, P )

Lastnost Ext.6 / Ext.6’ nam omogoca zozenje iskanja minimalnih resitev na podmnozicomnozice dopustnih resitev – podmnozice, ki vsebujejo same neobetavne resitvelahko odvrzemo.

Lastnost Ext.7 pa omogoca uporabo nacela deli in vladaj pri iskanju minimal-nih resitev. V ta namen jo zapisemo v obliki:

Ext.7’ Φ =⋃k

i=1 Φi ∧ Min(Φi, P ) 6= ∅, i = 1, . . . , k ⇒Min(Φ, P ) = Min(

⋃ki=1 Min(Φi, P ), P )

Za dolocitev optimizacijske naloge moramo, glede na znacilnosti naloge, pove-dati se kdaj je naloga resena. V strogi razlicici povemo to z mnozico sprejemljivihresitev Σ – torej je naloga natancno dolocena s trojico (Φ, P,Σ). Veckrat panekoliko popustimo in sprasujemo le po eni izmed sprejemljivih resitev ali pacelo samo po njeni vrednosti. Poglejmo si nekaj pogostejsih oblik optimizacijskihnalog:

(Φ, P,Min) doloci Σ = Min(Φ, P )(Φ, P,∈ Min) doloci x ∈ Min(Φ, P )(Φ, P,min) doloci min(Φ, P )(Φ, P, lim) doloci zaporedje (xi : xi ∈ Φ, i ∈ IN),


17. december 2003/ 10 : 23

1.1 Osnovni pojmi 9

Slika 1.1: Kovanci na indeksu.

tako da velja limi→∞

P (xi) = min(Φ, P )

(Φ, P, δ < ε) doloci x ∈ Φ, tako da bo (z dano verjetnostjo)razlika δ = P (x) − min(Φ, P ) zadosti majhna.

(Φ, P,∈ Φ) doloci x ∈ Φ.

Zaradi zvez Ext.1 in Ext.2 je naloga (Φ, P,Max) enakovredna nalogi(Φ,−P,Min); in naloga (Φ, P,max) nalogi (Φ,−P,min).

V nadaljnjem se bomo v glavnem usmerili na stroge naloge minimizacije(Φ, P,Min) in popuscali le, kadar bo to potrebno.

Mnozica optimizacijskih nalog sestavlja optimizacijski problem. Obicajnozdruzimo v optimizacijski problem med seboj podobne naloge, ki imajo enakoobliko in se razlikujejo le po podatkih. Nalogi, ki pripada optimizacijskemu prob-lemu, pravimo tudi primerek problema.

PRIMER 1.1 Kovanci.Poskusimo zapisati kot optimizacijsko nalogo naslednje vprasanje: Koliko

najvec enakih kovancev lahko postavimo na indeks tako, da se ne prekrivajo in vceloti leze na indeksu?

Recimo, da je polmer posameznega kovanca enak r in sta dolzini stranic in-deksa a in b.

Kaj so resitve? Vzemimo za resitve vse mozne razmestitve kovancev v ravnini.Kako opisemo posamezno razmestitev? To je mnozica postavitev posameznih ko-vancev. Kako povemo, kam smo postavili kovanec? Tako, da povemo kam smopostavili njegovo sredisce – njegovi koordinati (x, y). Izhodisce koordinatnegasistema postavimo v sredino indeksa, tako da je stranica a vzporedna osi x. Torejimajo resitve obliko

σ = (x1, y1), (x2, y2), . . . , (xk, yk)


17. december 2003/ 10 : 23


kjer so xi, yi ∈ IR, i ∈ I = 1..k.Seveda vse take resitve ne dolocajo pravilnih razmestitev na indeksu – niso

dopustne. Da bi bila resitev σ = (xi, yi)i∈I dopustna, mora zadoscati nasled-njim omejitvam:

• vsak kovanec je v celoti na indeksu:

∀i ∈ I : ((|xi| ≤a

2− r) ∧ (|yi| ≤

b

2− r))

• razlicna kovanca se ne prekrivata:

∀i, j ∈ I : (i 6= j ⇒ (xi − xj)2 + (yi − yj)

2 ≥ (2r)2)

Konjunkcija obeh pogojev sestavlja predikat dopustnosti Φ(σ).Kaj pa je kriterijska funkcija? Zanima nas najvecje stevilo kovancev – torej

P (σ) = cardσ.Povzemimo: vprasanje o postavitvi cimvecjega stevila kovancev na indeks

lahko zapisemo kot optimizacijsko nalogo (Φ, P,Max), kjer je

Φ = (xi, yi)i∈I : ∀i ∈ I : ((|xi| ≤a

2− r) ∧ (|yi| ≤

b

2− r)) ∧

∀i, j ∈ I : (i 6= j ⇒ (xi − xj)2 + (yi − yj)

2 ≥ (2r)2)

in je P (σ) = cardσ.Na enak nacin bi zapisali tudi naloge o postavljanju: kovancev na knjigo,

kroznikov na mizo, steklenic v zaboj – spreminjajo se le kolicine a, b in r. Vsenaloge sestavljajo primerke istega problema. 2

Seveda je natancen zapis optimizacijske naloge sele prvi, a zelo pomemben,korak pri njenem resevanju. Ce ne drugega, znamo za posamezno resitev presoditiali je dopustna in za vsak par dopustnih resitev odlociti, katera je boljsa. Formalnizapis problema je tudi izhodisce za nacrtovanje postopka/programa za njegovoresevanje.

1.2 Primeri optimizacijskih problemov

Z optimizacijskimi nalogami se v matematiki, predvsem pa pri njeni uporabi,srecujemo na vsakem koraku. Veckrat pa lahko tudi probleme, ki nimajo navidezz optimizacijo nicesar skupnega, zastavimo kot optimizacijske naloge. Poglejmosi nekaj primerov:


17. december 2003/ 10 : 23

1.2 Primeri optimizacijskih problemov 11

1.2.1 Resevanje sistema enacb

Nalogi: resi sistem enacb

Pk(x) = 0, k ∈ I, x ∈ IRn

lahko priredimo optimizacijsko nalogo (IRn, P,Min), kjer je

P (x) =∑

k∈I

P 2k (x)

Sistem enacb je resljiv natanko takrat, ko je min(IRn, P ) = 0 in je mnozicaMin(IRn, P ) neprazna. Mnozica resitev sistema je tedaj kar Min(IRn, P ). Ceje min(IRn, P ) > 0, je sistem protisloven; elementi mnozice Min(IRn, P ), ce jeneprazna, pa nekako najbolje zadoscajo sicer protislovnim pogojem (enacbam).

Fermat je na rob Diofantove knjige pripisal, da je nasel preprost dokaz tega,da za n > 2 ne obstaja nobena resitev enacbe

xn + yn = zn

v naravnih stevilih, a da je zal na robu premalo prostora. Dokaza ni zabeleziltudi nikjer drugje. Od tedaj matematiki se vedno poskusajo dokazati ali ovreci totrditev.

Po opisanem postopku lahko Fermatov problem zastavimo kot optimizacijskonalogo (Φ, P,min), kjer je

Φ = (x, y, z, n) ∈ (IN+)4, n ≥ 3

P (x, y, z, n) = (xn + yn − zn)2

Fermatov problem je enakovreden vprasanju: ali je min(Φ, P ) 6= 0 ?

1.2.2 Naloga linearnega programiranja

imenujemo nalogo (Φ, P,Min), kjer je

Φ = x ∈ IRn : Ax = b, x ≥ 0 in P (x) = cTx

ter je A matrika reda m× n in sta b ∈ IRm, c ∈ IRn.Kot naloge linearnega programiranja lahko zastavimo vrsto prakticnih opti-

mizacijskih nalog. Zato in zaradi obstoja ucinkovitih postopkov za njih resevanje,lahko stejemo linearno programiranje med najbolj rabljene optimizacijske metode.


17. december 2003/ 10 : 23


1.2.3 Naloga nelinearnega programiranja

imenujmo nalogo (Φ, P,Min), kjer je

Φ = x ∈ IRn : Pk(x) ≤ 0, k ∈ I

in so P : IRn → IR in Pk : IRn → IR, k ∈ I dane funkcije. Obicajno nalozimona funkcije Pk in P se dodatne zahteve, kot sta zveznost in konveksnost.

1.2.4 Izoperimetricna naloga

zahteva, da dolocimo sklenjeno ravninsko krivuljo K : r(t) = (x(t), y(t)),a ≤ t ≤ b dolzine d, ki omejuje lik najvecje ploscine. Nalogo lahko zastavimokot optimizacijsko nalogo (Φ, P,Max), kjer je

Φ = K ∈ C2 :

∮

K

√rrdt = d

in

P (K) =1

2

∮

K

(xy − yx) dt

Ze stari Grki so vedeli, da so resitve te naloge kroznice z obsegom d. Danesse s podobnimi nalogami ukvarja posebna veja matematicne analize – variacijskiracun.

1.2.5 Naloge diskretne optimizacije

optimizacijska naloga je naloga diskretne optimizacije, ce je moc mnozice Φstevna (koncna ali stevno neskoncna). Med nalogami diskretne optimizacije sonajpogostejse:

• celostevilske: Φ ⊆ ZZn

• kombinatoricne: Φ je podmnozica ene izmed mnozic kombinatoricnih kon-figuracij (permutacije, kombinacije, razbitja, ...)

• naloge na grafih: Φ je podmnozica mnozice podgrafov danega grafa G.

Med naloge diskretne optimizacije sodijo tudi naslednje:


17. december 2003/ 10 : 23

1.2 Primeri optimizacijskih problemov 13

1.2.6 Naloga o minimalnem vpetem drevesu

Naj bo dan povezan grafG = (V,E) in preslikava v : E → IR+, ki vsaki povezavie ∈ E pripise njeno vrednost v(e). Naloga o minimalnem vpetem drevesu imenu-jemo optimizacijsko nalogo (Φ, P,Min), kjer je

Φ = H = (V,E ′) : H je povezan vpet podgraf grafa G

inP (H) =

∑

e∈E′

v(e)

Nalogo imenujemo naloga o vpetem drevesu zato, ker velja

Min(Φ, P ) ⊆ H : H je vpeto drevo grafa G

1.2.7 Naloga o prirejanju

n ljudi mora opraviti n opravil. Stroski, ki jih imamo, ce clovek i opravi opraviloj, naj bodo aij . Ljudem moramo prirediti vsakemu po eno opravilo, tako dabodo skupni stroski najmanjsi, pri cemer pa morajo biti opravljena vsa opravila.Zastavljeni problem lahko prevedemo na optimizacijsko nalogo (Sn, P,Min), kjerje Sn mnozica vseh permutacij stevil od 1 do n in

P (π) =n∑

i=1

ai,π(i)

Permutacijo π lahko opisemo tudi z dvojisko matriko x, doloceno s predpisom

xij =

1 j = π(i)0 sicer

Tedaj lahko nalogo o prirejanju zapisemo takole: (Φ, P,Min), kjer je I = 1..n,

Φ = x ∈ 0, 1n2

: ∀i ∈ I :∑

j∈I

xij = 1, ∀j ∈ I :∑

i∈I

xij = 1

inP (x) =

∑

(i,j)∈I×I

aijxij

Pogoji v opisu mnozice Φ zagotavljajo, da je x matrika neke permutacije. Iz tegazapisa naloge o prirejanju vidimo, da sodi med naloge (celostevilskega) linearnegaprogramiranja.


17. december 2003/ 10 : 23


1.2.8 Naloga o trgovskem potniku

Trgovski potnik se je namenil, da bo obsel n mest tako, da se bo v vsakem mudilsamo enkrat. Znane so razdalje dij med posameznimi mesti. Kako naj potuje, dabo opravil cim krajso pot?

Pri formalizaciji naloge nadomestimo “zemljevid” z grafom povezanosti mestG = (V,E). Tocke tega grafa so mesta, povezave pa predstavljajo prometnezveze med mesti. Vsaki povezavi je pripisana se pripadajoca razdalja. Obravnavosi precej poenostavimo, ce problem obravnavamo nad polnim grafom, pri cemervsem nepovezavam (glede na G) pripisemo kot razdaljo neko zelo veliko stevilo.Vsakemu potovanju ustreza Hamiltonov cikel po grafu. Tega lahko popisemo zurejeno n-terko tock π, sestavljeno po pravilu

j = π(i) – tocka j je v ciklu naslednik tocke i

Ce naj π popisuje Hamiltonov cikel, mora biti ciklicna permutacija. Tako dobimonalogo (Γn, P,Min), kjer je Γn mnozica ciklicnih permutacij stevil od 1 do n in

P (π) =∑

i∈I

di,π(i)

Najbrz ni potrebno posebej opozarjati na podobnost naloge o trgovskem potnikuz nalogo o prirejanju. Vendar, kakor bomo videli, videz vcasih vara.


17. december 2003/ 10 : 23

Poglavje 2

Lastnosti

2.1 Podobne in enakovredne naloge

Imejmo optimizacijski nalogi (Φ, P,Min) in (Ψ, Q,Min) ter relacijo τ ⊆ Φ×Ψ,ki zadosca pogoju:

CS. ∀x ∈ Min(Φ, P ) : τ(x) 6= ∅

Potem je relacija τ :

• omejevalna ali lokalizator, ce velja: Min(Ψ, Q) ⊆ τ(Min(Φ, P ))

• izbiralna ali selektor, ce velja: τ(Min(Φ, P )) ⊆ Min(Ψ, Q)

• prevajalna ali translator, ce velja: τ(Min(Φ, P )) = Min(Ψ, Q).

OPOMBA: Doloceno povezanost med nalogama bi si zagotovili ze z nekolikosibkejso zahtevo:

CW. Min(Φ, P ) 6= ∅ ⇒ τ(Min(Φ, P )) 6= ∅

Ocitno iz veljavnosti pogoja CS izhaja veljavnost pogoja CW. 2

Strozjo zahtevo CS smo privzeli, ker za selektorje zahteva CW se ne zago-tavlja veljavnosti naslednje trditve:

IZREK 2.1 Pri kompoziciji dveh lokalizatorjev/selektorjev/translatorjev se tiprelacije ohranja.

Produkt relacij ohranja vrsto zveze.Definirajmo: Nalogi (Φ, P,Min) in (Ψ, Q,Min) sta si podobni, kar zapisemo

(Φ, P,Min) ∼ (Ψ, Q,Min)


17. december 2003/ 10 : 23

16 Lastnosti

Φ Ψ

τ

Min(Φ P), Min(Ψ,Q)

τ(Min(Φ,P))

Slika 2.1: Selektor

natanko takrat, ko zanju obstajata selektorja τ ⊆ Φ × Ψ in ϑ ⊆ Ψ × Φ. Ce pa starelaciji τ in ϑ translatorja, sta nalogi enakovredni, kar zapisemo

(Φ, P,Min) ≈ (Ψ, Q,Min)

Podobnost in enakovrednost razsirimo na naloge maksimizacije s predpisoma:

(Φ, P,Max) ∼ (Φ,−P,Min) in (Φ, P,Max) ≈ (Φ,−P,Min)

Iz izreka izhaja, da sta ∼ in ≈ ekvivalencni relaciji. Poleg tega je ≈⊆∼.Prva ugotovitev, ki jo lahko povemo o podobnih nalogah:

IZREK 2.2 Za podobni nalogi (Φ, P,Min) in (Ψ, Q,Min) velja:

Min(Φ, P ) = ∅ ⇔ Min(Ψ, Q) = ∅

Dokaz: Predpostavimo nasprotno. Naj bo (zaradi simetrije je dovolj splosno)Min(Φ, P ) = ∅ in Min(Ψ, Q) 6= ∅ ter ϑ ⊆ Ψ × Φ selektor. Potem je

ϑ(Min(Ψ, Q)) ⊆ Min(Φ, P ) = ∅

oziroma ϑ(Min(Ψ, Q)) = ∅, kar pa je v protislovju s CW. 2

Nalogi, ki zadoscata lastnosti Ext.6, sta enakovredni, saj sta relaciji:

τ(x) =

x x ∈ Ψ∅ x ∈ Φ \ Ψ

in ϑ(u) = u

selektorja.Oznacimo Φ(x) = y ∈ Φ : P (y) ≤ P (x). Tedaj iz lastnosti Ext.6’

neposredno izhaja:


17. december 2003/ 10 : 23

2.2 O nepraznosti mnozice Min(Φ, P ) 17

IZREK 2.3 Naj bo x ∈ Φ. Tedaj je (Φ, P,Min) ≈ (Φ(x), P,Min).

IZREK 2.4 Naj bo preslikava ϕ : P (Φ) → IR strogo narascajoca. Tedaj je(Φ, P,Min) ≈ (Φ, ϕ P,Min).

Naj bo preslikava ψ : P (Φ) → IR strogo padajoca. Tedaj je (Φ, P,Min) ≈(Φ, ψ P,Max).

Primeri takih preslikav so na primer Q = αP + β, α > 0 in za P > 0 sepreslikave Q = P 2, Q =

√P in Q = lnP .

Optimizacijska problema sta podobna/enakovredna, ce za vsako nalogo prvegaproblema obstaja podobna/enakovredna naloga drugega problema; in obratno.

Pojem podobnih oziroma enakovrednih problemov nam omogoca, da vpel-jemo standardne probleme, ki jih kar se da natancno razdelamo. Pri resevanjuproblemov/nalog pa jih najprej poskusimo prevesti na kakega od standardnih.

2.2 O nepraznosti mnozice Min(Φ, P )

O obstoju minimumov (resljivosti optimizacijskih nalog) v splosnem ni mogoceveliko povedati. Ocitno je mnozica Min(Φ, P ) neprazna, ce je mnozica Φ koncna.V tem primeru lahko mnozico Min(Φ, P ), vsaj teoreticno, dolocimo s polnimpreborom mnozice dopustnih resitev Φ:

Popt := ∞;forall x ∈ Φ do

Px := P (x);if Px < Popt then

Popt := Px; Min := xelseif Px = Popt then

Min := Min ∪ xendif

endfor

Za diskretno optimizacijsko nalogo z neskoncno mnozico dopustnih resitev Φlahko pogosto z uporabo lastnosti Ext.6 dolocimo enakovredno nalogo s koncnomnozico dopustnih resitev in s tem pokazemo njeno resljivost.

PRIMER 2.1 Naj bo G = (V,A) koncen graf in d : A → IR+ dolzinapovezav. Naloga o najkrajsih poteh iz tocke u v tocko v grafa G imenujemonalogo (Φ, P,Min), kjer je

Φ = σ : σ je sprehod iz u v v po G


17. december 2003/ 10 : 23

18 Lastnosti

in, za sprehod σ = (u, a1, v1, a2, v2, . . . , vn−1, an, v)

P (σ) =∑

a∈σ

d(a)

Mnozica dopustnih resitev Φ je neprazna natanko takrat, ko je tocka v dosegljivaiz tocke u po grafu G.

Pokazimo, da za vsak neosnoven sprehod σ ∈ Φ obstaja osnoven sprehod(pot) σ0 ∈ Φ, za katerega je P (σ0) < P (σ).

Ce sprehod σ ni osnoven, se v njem neka tocka ponovi vi = vj , i < j.Oznacimo σz = (u, a1, . . . , vi), σs = (vi, ai+1, . . . , vj) in σk = (vj , aj+1, . . . , v).Tedaj je σ = σzσsσk in je sprehod iz u v v tudi σ′ = σzσk. Velja se

P (σ) = P (σz) + P (σs) + P (σk) > P (σz) + P (σk) = P (σ′)

Ce je σ′ pot, je trditev dokazana; sicer postopek ponovimo. Na ta nacin, zaradikoncnosti sprehoda σ, v koncno korakih pridemo do iskane poti σ0. Torej mnozica

Ψ = σ : σ je pot iz u v v po G

zadosca pogojem iz lastnosti Ext.6. Mnozica Ψ je koncna. 2

Drug, zelo pomemben primer pa obravnava Bolzano-Weierstrassov izrek:

IZREK 2.5 Naj bo P zvezna funkcija na kompaktni (zaprta in omejena) mnoziciΦ, tedaj je Min(Φ, P ) 6= ∅.

Dokaz: Naj bo m = min(Φ, P ). Tedaj obstaja zaporedje (xk : k ∈ IN), tako daP (xk) → m. Ker je Φ kompaktna mnozica in P zvezna, obstaja K ⊆ IN tako daxi → x∗ ∈ Φ za i ∈ K in velja

m = limk→∞

P (xk) = limi→∞,i∈K

P (xi) = P (x∗)

Ker je min(Φ, P ) = P (x∗) > −∞, je x∗ ∈ Min(Φ, P ). 2

Veckrat nam pride prav tudi naslednja posledica Bolzano-Weierstrassovegaizreka:

IZREK 2.6 Naj bo Φ zaprta mnozica, P : Φ → IR zvezna funkcija in naj boza nek x ∈ Φ mnozica Φ(x) = y ∈ Φ : P (y) ≤ P (x) omejena. Tedaj jeMin(Φ, P ) 6= ∅.

PRIMER 2.2 Vsak polinom sode stopnje s pozitivnim vodilnim koeficientomima vsaj en minimum. 2


17. december 2003/ 10 : 23

2.3 Globalni in lokalni minimumi 19

Veckrat lahko mnozico dopustnih resitev Φ skrcimo na naslednji nacin. Rec-imo, da znamo vsaki resitvi x ∈ Ω pripisati njeno velikost m(x), m : Ω → IR+

0 .Pravimo, da je kriterijska funkcija kotlasta, ce zanjo velja

∃x0 ∈ Φ ∃c > 0 ∀x ∈ Φ : (m(x) > c⇒ P (x) > P (x0))

Iz lastnosti Ext.6’ neposredno izhaja

IZREK 2.7 Naj bo kriterijska funkcija P naloge (Φ, P,Min) kotlasta in

Ψ = x ∈ Φ : m(x) ≤ c

tedaj je (Φ, P,Min) ≈ (Ψ, P,Min).

PRIMER 2.3 Poseben razred kotlastih funkcij dobimo takole. Naj za nalogo(Φ, P,Min) velja

a. ∀c ∈ IR+∃x ∈ Φ : m(x) > cb. m(x) → ∞ ⇒ P (x) → ∞

Tedaj je funkcija P kotlasta.Uporabimo to za nalogo (IR2, P,Min), kjer je

P (x, y) = x4 + y4 − 3xy

Postavimo m((x, y)) = max(|x|, |y|). Lastnost a je izpolnjena, iz

P (x, y) = (x4 + y4)(1 − 3xy

x4 + y4), x2 + y2 > 0

pa izhaja se veljavnost lastnosti b. Ker je mnozica Ψ = (x, y) ∈ IR2 : |x|, |y| ≤c kompaktna in P zvezna, je po izreku 2.5 Min(IR2, P ) 6= ∅. 2

2.3 Globalni in lokalni minimumi

Pogosto lahko v dani mnozici Ω definiramo relacijo sosednosti resitev S ⊆ Ω×Ω,za katero zahtevamo le refleksivnost.

PRIMER 2.4 Kadar je Ω = IRn, za dani ε > 0, obicajno definiramo relacijoS(ε) s predpisom:

xS(ε)y ≡ d(x, y) ≤ ε

kjer je d izbrana razdalja. Mnozica S(ε, x) sosedov tocke x je tedaj obicajnaε–okolica tocke x. Velja:

ε < η ⇒ S(ε) ⊂ S(η)


17. december 2003/ 10 : 23

20 Lastnosti

2

V diskretnih optimizacijskih nalogah obicajno definiramo sosednost z lokalnimitransformacijami, ki prevedejo eno resitev v drugo.

Naj bo na Ω dana mnozica transformacij T . Tedaj je

xSy ≡ ∃τ ∈ T : τ(x) = y

PRIMER 2.5 V mnozici IBn dvojiskih vektorjev dolzine n navadno definiramolokalno transformacijo s spremembo vrednosti na i-tem mestu: x′

i = 1 − xi. 2

PRIMER 2.6 Pri problemu trgovskega potnika se najpogosteje uporabljajo sosed-nosti r-OPT, pri katerih so sosednje resitve dolocene tako, da iz tekocega ciklaodstranimo r povezav in jih nadomestimo z novimi, ki zopet sestavljajo cikel.

Slika 2.2: Lokalna transformacija 2-OPT

Na slikah 2.2 in 2.3 sta prikazani sosednosti 2-OPT in 3-OPT. Lin je s poskusipokazal, da je sosednost 3-OPT veliko boljsa kot sosednost 2-OPT, ucinek sosed-nosti visjih redov pa ne upravicuje povecane porabe casa. 2

PRIMER 2.7 V primeru, ko je Ω = Sn (permutacije n elementov), pa lahkopostavimo:

πSσ ≡ π = σ ∨ ∃p, q : σ = (pq)π

2

PRIMER 2.8 Vpeto drevo – izberemo tetivo, vkljucimo jo v novo drevo, izpripadajocega cikla pa izlocimo neko povezavo. 2

Element x ∈ Φ je lokalni minumum glede na S natanko takrat, ko je x ∈Min(Φ ∩ S(x), P ); ali drugace povedano, ko

∀y ∈ Φ ∩ S(x) : P (x) ≤ P (y)

Mnozico vseh lokalnih minimumov naloge (Φ, P,min) glede na sosednost Soznacimo LocMin(Φ, P, S).

Zato, da bi poudarili razliko, pravimo elementom mnozice Min(Φ, P ) tudiglobalni minimumi. Ocitno je vsak globalni minimum tudi lokalni. Poleg tegavelja se:


17. december 2003/ 10 : 23


Slika 2.3: Lokalne transformacije 3-OPT


17. december 2003/ 10 : 23

22 Lastnosti

IZREK 2.8 Za vsako sosednost S je

LocMin(Φ, P,Φ × Φ) = Min(Φ, P ) ⊆ LocMin(Φ, P, S)

in, ce je ∅ ⊂ Q ⊂ S, tudi

LocMin(Φ, P, S) ⊆ LocMin(Φ, P,Q)

Trditev je posledica lastnosti

∅ ⊂ Ψ ⊂ Φ ∧ x ∈ Ψ ∩ Min(Φ, P ) ⇒ x ∈ Min(Ψ, P )

Relacija sosednosti nam ponuja za resevanje optimizacijskih nalog naslednjipostopek lokalne optimizacije:

izberi x ∈ Φ ;while ∃y ∈ S(x) ∩ Φ : P (y) < P (x) do x := y;

Ce se postopek iztece v koncno korakih, konca v lokalnem minimumu.V postopku lahko relacijo sosednosti tudi spreminjamo – npr. zmanjsujemo ε.Pri razdelavi postopka lokalne optimizacije za dani optimizacijski problem

moramo poiskati odgovore na naslednja vprasanja:

a. dolocitev sosednosti S ⊆ Ω × Ω.Kot vemo, cim bogatejsa je sosednost, tem verjetneje so lokalni minimumi tudiglobalni. Po drugi strani pa pregledovanje obsezne sosescine zahteva precej casa.Pri izbiri sosednosti zato poskusamo uravnoteziti obe nasprotujoci si zelji.

b. izbira zacetne resitve.Lokalnim minimumom se poskusamo izogniti tako, da postopek lokalne opti-mizacije veckrat ponovimo pri razlicnih (nakljucnih) zacetnih resitvah in si za-pomnimo najboljso dobljeno resitev. Izdelava “postenega” generatorja nakljucnihdopustnih resitev je lahko vcasih sama zase zahtevna naloga. Pri vecjem steviluponovitev se pokaze kot zelo dober prikaz zgradbe prostora resitev (glede naizbrano sosednost) tabela desetih trenutno najboljsih dobljenih resitev. Zazeljenoje tudi, da lahko postopku lokalne optimizacije kot zacetno resitev podtaknemoresitev, ki si jo izmisli uporabnik, ali resitev, ki jo dobimo s kakim pribliznimpostopkom.

c. dokaz ustavljivosti postopka.Zaporedje vrednosti resitev, ki nastopijo pri lokalni optimizaciji, je padajoce. Cepokazemo se, da je navzdol omejeno in se vsakic spremeni vsaj za δ > 0, sepostopek po koncno korakih iztece. Na koncni mnozici Φ je to vselej res.


17. december 2003/ 10 : 23


d. izbira naslednje resitve.Pri koncnih sosescinah obicajno uporabljamo kar pregled vseh sosedov. Vcasihpa lahko za dolocitev ustrezne resitve uporabimo lastnosti kriterijske funkcije inomejitev (npr. gradientni postopek). Pogosto obstaja v sosescini vec resitev zmanjso vrednostjo. V teh primerih najpogosteje izberemo ali

• prvo tako resitev, ki jo najdemo; ali pa

• resitev, ki najbolj zmanjsa vrednost kriterijske funkcije (najhitrejsi spust).

Poskusi kazejo, da glede koncnih rezultatov ni znacilnih razlik med obema pristo-poma. Prvi porabi manj casa pri pregledovanju okolice, pa zato naredi vec ko-rakov.

e. ucinkovito preverjanje pogoja P (y) < P (x).Pogosto je kriterijska funkcija P sestavljena iz prispevkov posameznih sestavinresitve. Zato se izkaze, da se splaca pogoj P (y) < P (x) nadomestiti z enakovred-nim pogojem P (x) − P (y) > 0 ali P (x)/P (y) > 1 ali kakim drugim, ker jeizraz, ki nastopa v tem pogoju precej enostavnejsi kot sama kriterijska funkcija –prispevki sestavin, ki pri lokalni transformaciji ne sodelujejo, se pokrajsajo.

f. lokalna optimalnost resitev.Lokalna optimizacija nam v splosnem ne zagotavlja, da bomo dobili globalni min-imum. V naslednjem razdelku bomo zvedeli, da je za konveksne naloge postopeklokalne optimizacije tocen – dobljeni lokalni minimum je vselej globalni. Vsplosnem se moramo zadovoljiti z ugotovitvijo, da ce je postopek generiranjanakljucnih zacetnih resitev vsaj nekoliko posten (ustvari lahko vsako dopustnoresitev, ceprav ne nujno z enako verjetnostjo), s stevilom ponovitev postopkalokalne optimizacije narasca tudi verjetnost, da bo dobljeni najboljsi lokalni min-imum tudi globalni.

V poglavju o diskretni optimizaciji si bomo ogledali nekatere poskuse izpopol-nitve postopka lokalne optimizacije: postopke ohlajanja (simulated annealing) inpostopke prepovedanih smeri (tabu search).

g. povezanost sosednosti S.Pri navadni lokalni optimizaciji je povezanost grafa (Ω, S) le lepotnega pomena,pri izpopolnjenih postopkih pa postane zelo zazeljena.

h. preverjanje postopka.Ko postopek sprogramiramo, se postavi vprasanje, kako preveriti njegovo pravil-nost in kakovost. Zato je potrebno pripraviti zbirko nalog z znanimi resitvami. Virtakih nalog so lahko tudi teoreticni rezultati o problemu.


17. december 2003/ 10 : 23

24 Lastnosti

Slika 2.4: Veternica v letalskem motorju Rolls Royce RB211-535C [3].

PRIMER 2.9 Problem uravnotezanja turbin.Pri izdelavi turbin lahko mase posameznih lopatic nihajo tudi za do pet odstotkov

okrog povprecne vrednosti. Obicajno turbino sestavlja 14 do 18 lopatic [54, 8].Pri namescanju lopatic na os namestimo tezisca lopatic v isti ravnini enakomernopo kroznici. Lopatice zelimo namestiti v takem vrstnem redu, da bo tezisce tur-bine cim blize osi vrtenja.

Oznacimo z n stevilo lopatic, zm1,m2, . . . ,mn mase lopatic in zM =∑mi

skupno maso lopatic. Razmestitev lopatic okrog osi opisemo s permutacijo σ – nap-to mesto postavimo lopatico σ(p). Naj bo se

ϕi = (i− 1)2π

n, i = 1, 2, . . . , n

kot, ki pripada i-temu mestu in r polmer kroznice. Tedaj je za razmestitev σ


17. december 2003/ 10 : 23


Slika 2.5: Uravnotezena resitev n = 14.

tezisce (xσ, yσ) doloceno z izrazoma:

xσ =r

M

n∑

i=1

mσ(i) cosϕi yσ =r

M

n∑

i=1

mσ(i) sinϕi

odmik d(σ) tezisca od osi vrtenja pa z;

d(σ) =√

x2σ + y2

σ

Nalogo uravnotezanja turbine lahko torej izrazimo kot optimizacijsko nalogo(Sn, d(σ),Min). Krajsi razmislek nam pove, da lahko pri razmescanju eno maso”pribijemo”na izbrano mesto – enakovrednost resitev glede na zasuk. Poleg tegatudi zrcalni permutaciji dolocata enakovredni resitvi. Torej bi morali pri polnempreboru resitev pregledati 1

2(n− 1)! permutacij.

n 12 (n− 1)! n 1

2(n− 1)!

10 181440 16 65383718400011 1814400 17 1046139494400012 19958400 18 17784371404800013 239500800 20 6082255020441600014 3113510400 25 31022420086661971968000015 43589145600 30 4420880996869850977271808000000

Recimo, da program pri polnem preboru (na super-racunalniku) pregleda milijonresitev na sekundo. Tedaj bi pri n = 14 tekel 8.6 ur; pri n = 18 pa ze 49401 ureoziroma 5.6 let.


17. december 2003/ 10 : 23

26 Lastnosti

kmax := (n− 1)(n− 2)/2; k := kmax;doloci nakljucno zacetno razmestitev σ;izracunaj x, y, d2;

search : loopfor p := 2 to n− 1 do

for q := p+ 1 to n dox := x− r

M(mσ(p) −mσ(q))(cosϕp − cosϕq);

y := y − rM

(mσ(p) −mσ(q))(sinϕp − sinϕq);

d2 := x2 + y2

if d2 < d2 thenx := x; y := y; d2 := d2; k := kmax;t := σ(p); σ(p) := σ(q); σ(q) := t;

elsek := k − 1; if k ≤ 0 exit search

endifendfor

endforendloop

Slika 2.6: Postopek lokalne optimizacije za problem turbin.


17. december 2003/ 10 : 23


Na sliki 2.6 je podan postopek lokalne optimizacije za problem turbin. Pogle-jmo posamezne odlocitve. Ce dobimo (a) razmestitev η iz razmestitve σ tako, dav njej premenjamo masi na p-tem in q-tem mestu (transpozicija), sta koordinatinovega tezisca (xη, yη) takole povezani (e) s teziscem razmestitve σ:

xη = xσ − r

M(mσ(p) −mσ(q))(cosϕp − cosϕq)

yη = yσ − r

M(mσ(p) −mσ(q))(sinϕp − sinϕq)

Za izbiro (b) zacetne razmestitve uporabimo naslednji postopek za mesanje [41],ki je popolnoma posten

for i := n downto 2 doj := 1 + trunc(i ∗ random); t := σ[i];σ[i] := σ[j];σ[j] := t;

endfor;

Za prvo permutacijo lahko postavimo kar σ[i] = i, i = 1, . . . , n.Ker je vsaka permutacija produkt transpozicij, (g) je graf sosednosti povezan.V postopku smo se odlocili (d) za premik v prvo boljso resitev.Pri preverjanju postopka (h) pride prav naslednji izrek [8] o celostevilskem

problemu uravnotezanja turbin, pri katerem je mi = i:

Celostevilski problem uravnotezanja turbin ima uravnotezeno resitevd(σ) = 0 natanko takrat, ko n ni potenca nekega prastevila, n 6=pk, k > 0.

Na sliki 2.5 je prikazana uravnotezena resitev za n = 14.V tabelah 2.1 in 2.2 pa sta za nalogo celostevilskega uravnotezanja za n = 10

podani sledi lokalne optimizacije za zacetni permutaciji

σa =

(

1 2 3 4 5 6 7 8 9 101 4 9 7 6 3 10 8 5 2

)

in

σb =

(

1 2 3 4 5 6 7 8 9 106 5 7 3 1 10 9 8 4 2

)

.

Dobimo lokalna minimuma

σ∗a =

(

1 2 3 4 5 6 7 8 9 101 10 7 5 2 8 3 9 6 4

)

, d(σ∗a) = 1.63945 in

σ∗b =

(

1 2 3 4 5 6 7 8 9 106 9 8 3 2 5 10 7 4 1

)

, d(σ∗b ) = 0 (globalni minimum).

2


17. december 2003/ 10 : 23

28 Lastnosti

Tabela 2.1: Sled lokalne optimizacije za σa

p q x y d

−189.07613 30.50180 191.520602 3 −143.62158 −2.52286 143.643742 7 −114.20278 18.85115 115.748183 4 −80.49184 18.85115 82.669834 5 −62.31002 32.06101 70.074584 9 −51.07304 −2.52286 51.135315 10 7.76456 −45.27088 45.931926 7 −13.06995 18.85115 22.938826 8 −0.50662 1.55921 1.63945

Tabela 2.2: Sled lokalne optimizacije za σb

p q x y d

−116.85547 −88.01890 146.296032 3 −98.67365 −101.22876 141.363902 6 −0.00000 −69.16775 69.167753 6 47.60062 −34.58387 58.837603 8 58.83760 0.00000 58.837604 5 40.65578 −13.20986 42.748024 10 20.32789 14.76908 25.126652 7 −9.09091 −6.60493 11.236984 5 −0.00000 0.00000 0.00000


17. december 2003/ 10 : 23

2.4 Konveksne mnozice in funkcije 29

2.4 Konveksne mnozice in funkcije

2.4.1 Posplosena konveksnost

Naj bo Ω mnozica in d : Ω × Ω → IR+0 razlicnost na Ω – zadosca pogojema:

d1. d(x, x) = 0d2. d(x, y) = d(y, x)

Poleg tega bomo zahtevali, da zadosca vsaj se pogoju

d3’. d(x, y) = 0 ⇒ ∀z ∈ Ω : d(x, z) = d(y, z)

Razlicnosti, ki zadosca tudi pogojema

d3. d(x, y) = 0 ⇒ x = y – razlocljivostd4. d(x, z) + d(z, y) ≥ d(x, y) – trikotniska neenakost

pravimo razdalja.Velja tudi d3 ⇒ d3’.

Daljica v (Ω, d) s krajiscema x, y ∈ Ω imenujemo mnozico

[x, y] = z ∈ Ω : d(x, z) + d(z, y) = d(x, y)Postavimo

[x] = z ∈ Ω : d(x, z) = 0Velja d(x, y) = 0 ⇒ [x] = [y].

Vpeljemo lahko se (x, y] = [x, y] \ [x] in (x, y) = [x, y] \ ([x] ∪ [y]). Ce dzadosca d3, je [x] = x.

Velja: x, y ⊆ [x, y], [x] ⊆ [x, y], [x, y] = [y, x] in d(x, z) = 0 ⇒ [x, y] =[z, y].

Na stvar lahko pogledamo tudi takole. Naj bo relacija ' ⊂ Ω × Ω dolocena spredpisom

x ' y ⇔ d(x, y) = 0

' je enakovrednost (ekvivalencna relacija). Po d3’ je funkcija d/ ' dobro defini-rana na Ω/ ' ; se vec, je razdalja na Ω/ ' .

IZREK 2.9 (x, y) 6= ∅ ⇒ d(x, y) > 0

Dokaz: Naj bo z ∈ (x, y). Tedaj po definiciji mnozice (x, y) velja d(x, z) > 0in d(z, y) > 0 in je zato tudi d(x, y) = d(x, z) + d(z, y) > 0. 2

Mnozica Φ ⊆ Ω je konveksna (izbocena) natanko takrat, ko velja

∀x, y ∈ Φ : [x, y] ⊆ Φ

Kadar zelimo posebej poudariti, da je mnozica konveksna glede na razlicnost d,recemo, da je d-konveksna.


17. december 2003/ 10 : 23

30 Lastnosti

Slika 2.7: Konveksna in nekonveksna mnozica.

IZREK 2.10 Presek konveksnih mnozic je konveksna mnozica.

Dokaz: Vzemimo poljubno druzino konveksnih mnozic Φii∈I . Bodita x, y ∈⋂

i∈I Φi. Po definiciji preseka je tedaj za vsak i ∈ I: x, y ∈ Φi in dalje zaradikonveksnosti mnozice Φi tudi [x, y] ⊆ Φi. Od tu pa zopet po definiciji presekakoncno dobimo [x, y] ⊆ ⋂

i∈I Φi. Presek je konveksna mnozica. 2

Funkcija P : Φ → IR na konveksni mnozici Φ je konveksna natanko takrat,ko velja:

∀x, y ∈ Φ : (d(x, y) = 0 ⇒ P (x) = P (y))

in∀x, y ∈ Φ∀z ∈ (x, y) : d(x, y)P (z) ≤ d(y, z)P (x) + d(x, z)P (y)

Ce v drugem pogoju velja strogi neenacaj <, je P strogo konveksna. Za razlocljiverazlicnosti je prvi pogoj vselej izpolnjen.

Funkcija P : Φ → IR na konveksni mnozici Φ je skoraj konveksna natankotakrat, ko velja:

∀x, y ∈ Φ∀z ∈ (x, y) : P (z) ≤ max(P (x), P (y))

Ce v pogoju velja strogi neenacaj <, je P strogo skoraj konveksna.Funkcija P : Φ → IR na konveksni mnozici Φ je (strogo, skoraj) konkavna

natanko takrat, ko je funkcija −P (strogo, skoraj) konveksna.

OPOMBA: O navadni konveksnosti govorimo v primeru, ko je Ω vektorski pros-tor s skalarnim produktom xy. Na primer Ω = IRn in xy =

∑ni=1 xiyi. Tedaj

definiramo razdaljo d(x, y) =√

(x− y)2. Zanjo je

[x, y] = z : z = λx+ (1 − λ)y, λ ∈ [0, 1]

pogoj za konveksnost funkcije pa zapisemo

P (λx+ (1 − λ)y) ≤ λP (x) + (1 − λ)P (y), λ ∈ (0, 1)

Konveksna funkcija na odprti konveksni mnozici v IRn je zvezna. 2


17. december 2003/ 10 : 23


Slika 2.8: Konveksna funkcija.

IZREK 2.11 Vsaka (strogo) konveksna funkcija je tudi (strogo) skoraj konveksnafunkcija.

Dokaz: Vzemimo poljuben par x, y ∈ Φ in katerikoli z ∈ (x, y). Po izreku 2.9je d(x, y) > 0 in zato

P (z) ≤ d(y, z)P (x) + d(x, z)P (y)

d(x, y)≤ d(y, z) + d(x, z)

d(x, y)max(P (x), P (y))

= max(P (x), P (y))

Pri tem smo upostevali, da je d(x, z)+ d(z, y) = d(x, y). Ce je funkcija P strogokonveksna, je prva neenakost stroga. 2

IZREK 2.12 Naj bo P : Φ → IR (strogo) konveksna funkcija na konveksnimnozici Φ. Tedaj velja:

a. λP (x) + µ, λ, µ ∈ IR, λ > 0 je (strogo) konveksna funkcija na Φ;b. naj bo se τ : Ψ → IR, P (Φ) ⊆ Ψ ⊆ R, (strogo) narascajoca

konveksna funkcija na Ψ. Tedaj je funkcija τ P(strogo) konveksna na Φ.

Dokaz: b.

τ P (z) = τ(P (z)) ≤ τ(d(y, z)

d(x, y)P (x) +

d(x, z)

d(x, y)P (y))

≤ d(y, z)

d(x, y)τ(P (x)) +

d(x, z)

d(x, y)τ(P (y))


17. december 2003/ 10 : 23

32 Lastnosti

=d(y, z)

d(x, y)τ P (x) +

d(x, z)

d(x, y)τ P (y)

2

IZREK 2.13 Naj bodo Pi : Φ → IR, i ∈ I = 1..n konveksne funkcije nakonveksni mnozici Φ. Tedaj so konveksne tudi funkcije:

a.∑

i∈I λiPi(x), λi ≥ 0b. maxi∈I Pi(x)c. maxi∈I(0, Pi(x))

IZREK 2.14 Naj P : Ω → IR skoraj konveksna funkcija. Tedaj je mnozica

Φ = x ∈ Ω : P (x) ≤ 0

konveksna.

Dokaz: Pokazati moramo, da je za vsak par razlicnih tock x, y ∈ Φ tudi pri-padajoca daljica [x, y] ⊆ Φ; oziroma, da je za vsak z ∈ (x, y) : z ∈ Φ.

Po definiciji mnozice Φ sta P (x) ≤ 0 in P (y) ≤ 0 in zato naprej, po definicijiskoraj konveksnosti

P (z) ≤ max(P (x), P (y)) ≤ 0

Torej je res tudi z ∈ Φ. 2

Opomba: na enak nacin pokazemo, da je tudi mnozica x ∈ Ω : P (x) < 0konveksna.

Plast funkcije P : Φ → IR na visini h imenujemo mnozico

Lev (P, h) = x ∈ Φ : P (x) ≤ h

IZREK 2.15 Naj bo Φ konveksna mnozica. Tedaj je funkcija P : Φ → IR sko-raj konveksna natanko takrat, ko je za vsak h ∈ IR plast Lev (P, h) konveksnamnozica.

Dokaz: Naj bosta x, y ∈ Lev (P, h) poljubni, razlicni tocki. Tedaj je P (x), P (y) ≤h in dalje za vsak z ∈ (x, y)

P (z) ≤ max(P (x), P (y)) ≤ h

Torej je tudi z ∈ Lev (P, h) – mnozica Lev (P, h) je konveksna.Pokazimo trditev se v nasprotno smer. Vzemimo poljubna x, y ∈ Φ in postavimo

h = max(P (x), P (y)). Tedaj sta x, y ∈ Lev (P, h). Ker je po predpostavkimnozica Lev (P, h) konveksna, je tudi [x, y] ⊆ Lev (P, h) – torej velja

∀z ∈ (x, y) : P (z) ≤ h = max(P (x), P (y))


17. december 2003/ 10 : 23


Funkcija P je skoraj konveksna. 2

Sosednost S ⊆ Ω × Ω je dobra za konveksno mnozico Φ natanko takrat, kovelja

∀x ∈ Φ ∀y ∈ Φ \ S(x) ∃z ∈ S(x) ∩ (x, y)

Optimizacijska naloga (Φ, P,Min) je konveksna, ce sta Φ in P konveksni.Pomen konveksnosti pri optimizaciji razkriva naslednji izrek:

IZREK 2.16 Za dobro sosednost je vsak lokalni minimum konveksne naloge tudiglobalni.

Dokaz: Naj bo x lokalni minimum za neko dobro sosednost S. Tedaj je ∀z ∈S ∩ Φ : P (z) ≥ P (x). Ce je S(x) ∩ Φ = Φ, trditev velja. Sicer vzemimokaterikoli drug y ∈ Φ \ S(x) in pokazimo, da je P (x) ≤ P (y). Predpostavimonasprotno ∃y ∈ Φ \ S(x) : P (x) > P (y). Ker je P (x) > P (y), je d(x, y) > 0.Naj bo z ∈ (x, y) ∩ S(x) element iz definicije dobre sosednosti. Tedaj je

P (z) ≤ d(y, z)

d(x, y)P (x) +

d(x, z)

d(x, y)P (y)

<d(y, z)

d(x, y)P (x) +

d(x, z)

d(x, y)P (x) = P (x)

Stroga neenakost izhaja iz predpostavke P (y) < P (x) in d(x, z) > 0.Torej lahko vselej najdemo tak z ∈ (x, y) ∩ S(x), da je P (z) < P (x); kar

pomeni, da x ni lokalni minimum – protislovje. 2

Ta izrek zagotavlja, da je za konveksne naloge postopek lokalne optimizacije,ce se iztece v koncno korakih, tocen.

IZREK 2.17 Naj bo funkcija P : Φ → IR strogo skoraj konveksna nad konvek-sno mnozico Φ in naj bo x lokalni minimum za dobro sosednost S ⊆ Ω×Ω. Tedajje x ∈ Min(Φ, P ).

Dokaz: Dokazujemo s protislovjem. Ker je x lokalni minimum, velja

∀y ∈ S(x) ∩ Φ : P (x) ≤ P (y)

Recimo, da x /∈ Min(Φ, P ). Tedaj obstaja tak z ∈ Φ, da je P (z) < P (x).Ker je sosednost S dobra, obstaja vsaj en y ∈ (x, z) ∩ S(x), za katerega, kerje y ∈ S(x) ∩ Φ, velja P (x) ≤ P (y). Po drugi strani je zaradi stroge skorajkonveksnosti

P (y) < max(P (z), P (x)) = P (x)

kar da, ce zdruzimo obe neenakosti, protislovje P (y) < P (y). 2


17. december 2003/ 10 : 23

34 Lastnosti

IZREK 2.18 Naj bo funkcija P : Φ → IR skoraj konveksna nad konveksnomnozico Φ, tedaj je tudi mnozica x ∈ Min(Φ, P ) konveksna.

Dokaz: Vzemimo poljubna razlicna x, y ∈ Min(Φ, P ). Tedaj je P (x) = P (y) =min(Φ, P ) in za vsak z ∈ (x, y)

P (z) ≤ max(P (x), P (y)) = min(Φ, P )

Torej je P (z) = min(Φ, P ) oziroma z ∈ Min(Φ, P ). 2

Naj bo Γ ⊆ Ω. (Induktivna) konveksna ovojnica mnozice Γ imenujemomnozico con Γ, ki je dolocena induktivno s praviloma:

con 1. Γ ⊆ con Γcon 2. x, y ∈ con Γ ⇒ [x, y] ⊆ con Γ

Iz pravila con 2 izhaja, da je con Γ konveksna mnozica. Obratno, ce je Γ konvek-sna mnozica, je con Γ = Γ.

IZREK 2.19 Naj bo za neprazno mnozico Γ ⊆ Φ, con Γ ⊆ Φ in P skoraj kon-veksna funkcija na Φ. Tedaj je

∀z ∈ con Γ : P (z) ≤ supw∈Γ

P (w)

Dokaz: Dokazujemo z induktivno posplositvijo. Ce je z ∈ Γ, je trditev ocitna.Pokazimo se, da pravilo con 2 ohranja neenakost. Po induktivni predpostavki zax, y ∈ con Γ trditev velja

P (x), P (y) ≤ supw∈Γ

P (w)

Tedaj je po skoraj konveksnosti funkcije p tudi za vsak z ∈ [x, y]

P (z) ≤ max(P (x), P (y)) ≤ supw∈Γ

P (w)

Po induktivni posplositvi neenakost velja za vsak z ∈ con Γ. 2

Mnozica Γ ⊆ Φ razpenja konveksno mnozico Φ natanko takrat, ko veljacon Γ = Φ. Mnozica Γ ⊆ Φ je neodvisna natanko takrat, ko zanjo velja ∀x ∈Γ : x /∈ con (Γ \ x). Nedvisno mnozico B, ki razpenja mnozico Φ, imenujemobaza (osnova) mnozice Φ.

Iz zadnjega izreka neposredno izhaja.

IZREK 2.20 Naj bo B ⊆ Φ baza konveksne mnozice Φ in P : Φ → IR skorajkonveksna funkcija. Teda je

∀z ∈ Φ : P (z) ≤ supw∈B

P (w)


17. december 2003/ 10 : 23


Tocka z ∈ Φ je robna tocka konveksne mnozice Φ natanko takrat, ko velja¬∃x, y ∈ Φ : z ∈ (x, y).

Vsaka baza mnozice Φ vsebuje vse njene robne tocke.

2.4.2 Obicajna konveksnost

V tem razdelku si bomo ogledali nekatere posebnosti, ki veljajo za obicajno kon-veksnost – primer, ko je Ω vektorski prostor (npr. Ω = IRn).

Iz pogoja za obicajno konveksnost mnozice Φ ⊆ Ω

∀x, y ∈ Φ ∀λ ∈ (0, 1) : λx+ (1 − λ)y ∈ Φ

izhaja:

IZREK 2.21 Naj bo Φ konveksna mnozica, xk ∈ Φ, λk ≥ 0, k ∈ 1..n in∑λk =

1. Tedaj je tudi∑λkxk ∈ Φ.

∑λkxk je konveksna ovojnica.

IZREK 2.22 (Krein – Milman) Kompaktna konveksna mnozica v IRn je konvek-sna ovojnica svojih robnih tock.

IZREK 2.23 Za konveksno mnozico Φ je za vsak ε > 0 sosednost S(ε) dobra.

Dokaz: Naj bo x ∈ Φ in y ∈ Φ\S(ε)(x). Tedaj je mnozica z : z ∈ (x, y)∧0 <d(x, z) < ε vselej neprazna. 2

PRIMER 2.10 n-razsezna krogla K s srediscem c ∈ IRn in polmerom r

K = x ∈ IRn : ||x− c|| ≤ r

je konveksna mnozica.Pokazati moramo: ce sta x, y ∈ K , je tudi αx + βy ∈ K za vse α, β ≥ 0 in

α+ β = 1.Ker sta x, y ∈ K , je ||x− c|| ≤ r in ||y − c|| ≤ r. Naprej je racun kratek

||αx+ βy − c|| = ||α(x − c) + β(y − c)|| ≤ α||x − c|| + β||y − c|| ≤ r

Torej je res tudi αx+ βy ∈ K . 2

Iz pogoja za konveksnost funkcije P : Φ → IR na konveksni mnozici Φ:

∀x, y ∈ Φ ∀λ ∈ (0, 1) : P (λx+ (1 − λ)y) ≤ λP (x) + (1 − λ)P (y)

dobimo


17. december 2003/ 10 : 23

36 Lastnosti

IZREK 2.24 (Jensenova neenakost). Naj bo P konveksna funkcija na konveksnimnozici Φ. Tedaj za poljubne λi ≥ 0, i ∈ I = 1..n,

∑

i∈I λi = 1 in xi ∈ Φ veljaneenakost

P (∑

i∈I

λixi) ≤∑

i∈I

λiP (xi)

Ce je P strogo konveksna in so λi > 0, velja enakost natanko takrat, ko so vsi xi

med seboj enaki.

PRIMER 2.11 Ker je funkcija − lnx strogo konveksna in strogo padajoca naIR+, po Jensenovi neenakosti dobimo znamenito neenakost med aritmeticno ingeometricno sredino

1

n

∑

i∈I

ai ≥ n

√∏

i∈I

ai

kjer so ai ∈ IR+, i ∈ I . Enakost velja natanko takrat, ko so vsa stevila ai enaka.2

PRIMER 2.12 Linearna funkcija P (x) = (a, x)+c, kjer so a, x ∈ IRn in c ∈ IRje konveksna funkcija.

Naj bo α, β ≥ 0 in α+ β = 1, tedaj je

P (αx+βy) = (a, αx+βy)+c = α((a, x)+c)+β((a, y)+c) = αP (x)+βP (y)

Funkcija P (x) je konveksna. 2

Iz analize poznamo naslednje izreke o konveksnih funkcijah:

IZREK 2.25 Ce je funkcija P : IRn → IR zvezno odvedljiva, je konveksna na Φnatanko takrat, ko velja:

∀x, y ∈ Φ : P (y) ≥ P (x) + ∇P T (x)(y − x)

kjer je ∇P (x) = [ ∂P (x)∂xi

] gradient funkcije P ; in ce je dvakrat zvezno odvedljiva,je konveksna natanko takrat, ko je Hessova matrika

∇2P (x) = H(P, x) = [∂2P

∂xi∂xj]

v vsaki tocki x ∈ Φ pozitivno semi-definitna

∀y ∈ IRn : yT∇2P (x)y ≥ 0

Pri preverjanju pozitivne (semi-)definitnosti se opremo na Sylvesterov izrek:


17. december 2003/ 10 : 23


IZREK 2.26 Kvadratna simetricna matrika A = [ai,j ] ∈ IRn×n je pozitivnodefinitna natanko takrat, ko so vsi glavni minorji te matrike

∆k =

∣∣∣∣∣∣∣∣∣∣

a1,1 a1,2 · · · a1,k

a2,1 a2,2 · · · a2,k

......

. . ....

ak,1 ak,2 · · · ak,k

∣∣∣∣∣∣∣∣∣∣

k = 1, . . . , n

pozitivni. Ce so ∆k > 0, k = 1, 2, . . . , n− 1 in ∆n = 0, je matrika A pozitivnosemi-definitna.

in izrek

IZREK 2.27 Kvadratna simetricna matrika A = [ai,j ] ∈ IRn×n je

a. pozitivno definitna natanko takrat, ko so vse njene lastne vrednosti pozi-tivne;

b. pozitivno semi-definitna natanko takrat, ko so vse njene lastne vrednostinenegativne;

PRIMER 2.13 Pokazimo, da je funkcija

P (x, y) = 4x2 + y2 − 2xy

konveksna na IR2.Pripadajoca Hessova matrika

H(P, (x, y)) =

[

4 −1−1 1

]

je konstantna. Glavna minorja ∆1 = 4 in ∆2 = 4 · 1 − (−1) · (−1) = 3 stapozitivna v vsaki tocki (x, y) ∈ IR2. Torej je P res konveksna na IR2. 2

Vsota konveksnih funkcij je zopet konveksna funkcija. V nasprotno smertrditev velja le v posebnih primerih.

IZREK 2.28 Naj bo funkcija P : Φ → IR konveksna na konveksni mnozici Φ ⊆IRn in naj se da zapisati v obliki P (x, y) = Q(x) + S(y), x ∈ IRm, y ∈ IRn−m.Tedaj velja: ce je funkcija S(y) konveksna, je konveksna tudi funkcija Q(x).

Dokaz: Predpostavimo nasprotno: Q(x) ni konveksna. Tedaj obstajajo x1, x2 inz = αx1 + βx2, α, β ≥ 0 in α+ β = 1 tako, da je

Q(z) > αQ(x1) + βQ(x2)


17. december 2003/ 10 : 23

38 Lastnosti

Slika 2.9: Unimodalna funkcija.

Poglejmo sedaj

P (z, y) = P (α(x1, y) + β(x2, y)) ≤ αP (x1, y) + βP (x2, y) =

= α(Q(x1) + S(y)) + β(Q(x2) + S(y)) < Q(z) + S(y) = P (z, y)

Prisli smo do protislovja – izrek velja. 2

PRIMER 2.14 Unimodalne funkcije.Funkcija P : [a, b] → IR je strogo unimodalna na intervalu [a, b], ce obstaja

c ∈ [a, b], tako da velja

∀x, y ∈ [a, c] : (x < y ⇒ P (x) > P (y))

in∀x, y ∈ [c, b] : (x < y ⇒ P (x) < P (y))

Ocitno za tako funkcijo velja Min([a, b], P ) = c.

TRDITEV 2.29 Naj bo P strogo unimodalna na [a, b] in x, y ∈ [a, b], x < y.Tedaj velja

P (x) ≤ P (y) ⇒ c < y in P (x) ≥ P (y) ⇒ c > y

Dokaz: Pokazimo prvi del trditve. Prvi pogoj iz definicije stroge unimodalnostiy ≤ c ⇒ P (x) > P (y), ce upostevamo p ⇒ q ∼ ¬q ⇒ ¬p, dobi iskano oblikoP (x) ≤ P (y) ⇒ c < y. 2


17. december 2003/ 10 : 23


Obstaja vec postopkov iskanja minimuma strogo unimodalne funkcije P (x)na intervalu [a, b]. Vecina jih temelji na naslednjem razmisleku. Izberimo znotrajintervala [a, b] se dve razlicni tocki u in v, u < v in oznacimo z x∗ resitev naloge([a, b], P,Min). Tedaj nastopijo po pravkar dokazani trditvi naslednje mosnosti

a. P (u) < P (v) ⇒ x∗ < vb. P (u) > P (v) ⇒ x∗ > uc. P (u) = P (v) ⇒ u < x∗ < v

oziroma

a∧c. P (u) ≤ P (v) ⇒ x∗ ∈ [a, v]b. P (u) > P (v) ⇒ x∗ ∈ [u, b]

Vsakic dobimo krajsi interval s tremi tockami. Ali lahko v njem postavimo cetrtotocko tako, da ohranimo simetrijo skozi ves tek iskanja resitve?

xk xk−2 xk−1︸︷︷︸

dk

︸︷︷︸

dk−1︸︷︷︸

dk−1

dk−2︷︸︸︷

Oznacimo z x0, x1, x2, . . . → x∗ zaporedje tock, v katerih racunamo funkcijskevrednosti. Ce lahko postavljamo tocke na zeljeni nacin, mora veljati

d0 = b− a in dk−2 = dk−1 + dk, k > 1

kjer je di sirina intervala na i–tem koraku. Privzemimo se, da je razmerje dolzinzaporednih intervalov stalno

di−1

di= ϕ, i > 0

Tedaj mora ϕ zadoscati enacbi

ϕ2 − ϕ− 1 = 0

in je zato, ker mora biti ϕ > 1

ϕ =1

2(1 +

√5) ≈ 1.618033989


17. december 2003/ 10 : 23

40 Lastnosti

CONST eps = 0.0001;

FUNCTION P( x: real ): real;BEGIN

P := ((x - 3)*x + 2)*x - 1END;

PROCEDURE golden_section( VAR a, b: real;VAR r: integer; eps: real );

VAR q, d, u, v, Pu, Pv : real;BEGIN

q := (3-sqrt(5))/2;d := b-a; u := a + q*d; v := b - q*d;Pu := P(u); Pv := P(v); r := 0;WHILE d > eps DO BEGIN

r := r+1;IF Pu > Pv THEN BEGIN

a := u; u := v; Pu := Pv;d := b-a; v := b - q*d; Pv := P(v);

END ELSE BEGINb := v; v := u; Pv := Pu;d := b-a; u := a + q*d; Pu := P(u);

END;END;

END; golden_section

a := 0; b := 3;golden_section( a, b, r, eps );z := (a+b)/2; Pz := P(z);

Slika 2.10: Postopek zlatega reza v Pascalu.


17. december 2003/ 10 : 23


Tabela 2.3: Potek iskanja minimuma funkcije.

a u v b P (u) P (v) δ0 0.00000 1.14590 1.85410 3.00000 -1.14279 -1.23104 3.000001 1.14590 1.85410 2.29180 3.00000 -1.23104 -0.13613 1.854102 1.14590 1.58359 1.85410 2.29180 -1.38483 -1.23104 1.145903 1.14590 1.41641 1.58359 1.85410 -1.34420 -1.38483 0.708204 1.41641 1.58359 1.68692 1.85410 -1.38483 -1.36279 0.437695 1.41641 1.51973 1.58359 1.68692 -1.37934 -1.38483 0.270516 1.51973 1.58359 1.62306 1.68692 -1.38483 -1.38119 0.167187 1.51973 1.55920 1.58359 1.62306 -1.38434 -1.38483 0.103338 1.55920 1.58359 1.59867 1.62306 -1.38483 -1.38410 0.063869 1.55920 1.57428 1.58359 1.59867 -1.38488 -1.38483 0.03947

10 1.55920 1.56852 1.57428 1.58359 -1.38477 -1.38488 0.0243911 1.56852 1.57428 1.57783 1.58359 -1.38488 -1.38490 0.0150712 1.57428 1.57783 1.58003 1.58359 -1.38490 -1.38489 0.0093213 1.57428 1.57647 1.57783 1.58003 -1.38490 -1.38490 0.0057614 1.57647 1.57783 1.57867 1.58003 -1.38490 -1.38490 0.0035615 1.57647 1.57731 1.57783 1.57867 -1.38490 -1.38490 0.0022016 1.57647 1.57699 1.57731 1.57783 -1.38490 -1.38490 0.0013617 1.57699 1.57731 1.57751 1.57783 -1.38490 -1.38490 0.0008418 1.57699 1.57719 1.57731 1.57751 -1.38490 -1.38490 0.0005219 1.57719 1.57731 1.57739 1.57751 -1.38490 -1.38490 0.0003220 1.57719 1.57727 1.57731 1.57739 -1.38490 -1.38490 0.0002021 1.57727 1.57731 1.57734 1.57739 -1.38490 -1.38490 0.0001222 1.57731 1.57734 1.57736 1.57739 -1.38490 -1.38490 0.00008

Dobljeno stevilo ϕ je razmerje zlatega reza. Zato tudi temu postopku minimizacijepravimo postopek zlatega reza (glej sliko 2.10). Zanj velja

dn =d0

ϕn

Ker je ϕ5 = 11.090, potrebuje postopek 5 korakov za eno decimalko.V tabeli 2.3 je prikazan potek dolocanja minimuma funkcije P (x) = x3 −

3x2 + 2x − 1 po postopku zlatega reza. Dobimo x∗ = 1.57735 in P (x∗) =−1.38490.

2


17. december 2003/ 10 : 23

42 Lastnosti


17. december 2003/ 10 : 23

Poglavje 3

Resevanje

3.1 Minimum funkcij na IRn

Naj bo P (x), x ∈ IRn v okolici tocke x∗ vsaj dvakrat zvezno odvedljiva. Razvi-jmo jo v Taylorjevo vrsto okoli x∗

P (x∗ + εy) = P (x∗) + εyT∇P (x∗) +1

2ε2yTH(P, x∗)y + ε2O(εy)

pri cemer je ε > 0 in y ∈ IRn.Kdaj ima funkcija P (x) v tocki x∗ minimum? V neki dovolj majhni okolici

tocke x∗ funkcija P (x) nima vrednosti manjse od P (x∗).Recimo, da bi obstajal tak y, da je

yT∇P (x∗) < 0

Tedaj, ker ε2 gre hitreje proti 0 kot ε, je mogoce najti δ > 0 tako, da za vsakε, 0 < ε ≤ δ velja

P (x∗ + εy) < P (x∗)

To pa pomeni, da tocka x∗ ni minimum – protislovje. Torej je potreben pogoj zato, da je v tocki x∗ minimum

∀y : yT∇P (x∗) ≥ 0

Toda, ker mora ta neenakost veljati tudi za vektorja y in −y, je to mogoce le, ceje ∇P (x∗) = 0. Podoben sklep velja tudi za maksimum.

Tockam, v katerih je ∇P (x) = 0 pravimo stacionarne tocke.Naj bo x∗ stacionarna tocka. Tedaj je

P (x∗ + εy) = P (x∗) +1

2ε2yTH(P, x∗)y + ε2O(εy)


17. december 2003/ 10 : 23

44 Resevanje

Ce bi bil yTH(P, x∗)y < 0 za kak y ∈ IRn, bi zopet veljalo za dovolj majhneε > 0

P (x∗ + εy) < P (x∗)

kar pomeni, da tocka x∗ ni minimum – pritislovje. Torej mora v minimumu veljati

∀y ∈ IRn : yTH(P, x∗)y ≥ 0

Ce v tem pogoju za vse y 6= 0 velja strogi neenacaj, je tocka x∗ strogi minimum;sicer je potrebno stvar se preuciti.

Povedano strnemo v naslednji izrek:

IZREK 3.1 Potreben pogoj za to, da ima zvezna in dvakrat zvezno odvedljivafunkcija P naloge (IRn, P,Min) (lokalni) minimum v tocki x∗, je

∇P (x∗) = 0

in, da je Hessova matrika H(P, x∗) pozitivno semi-definitna. Ce je pozitivnodefinitna, je v tocki x∗ strogi (lokalni) minimum.

Pri dvakrat zvezno odvedljivih konveksnih funkcijah je drugi pogoj avtomaticnoizpolnjen. Zato zadostuje ze prvi.

PRIMER 3.1 Regresijska premica. Imamo n podatkov, meritev

(xi, yi), i = 1, . . . , n

pri cemer imata vsaj dve tocki razlicno absciso. Kako dolociti premico y = ax+b,ki jih najbolje povzema? Obicajno uporabljamo metodo najmanjsih kvadratov.Premico dolocimo tako, da je vsota kvadratov napak – odstopanj posameznih tockod premice najmanjsa. Tako dobimo optimizacijsko nalogo (IR2, P,Min), kjer je

P (a, b) =n∑

i=1

((axi + b) − yi)2

Naloga zadosca pogojem izreka. Iz pogoja ∇P = 0 dobimo enacbi

∂P

∂a=

n∑

i=1

2((axi + b) − yi)xi = 0

∂P

∂b=

n∑

i=1

2((axi + b) − yi) = 0

z resitvijo

a =n∑xy −∑x

∑y

n∑x2 − (

∑x)2

, b =1

n(∑

y − a∑

x)


17. december 2003/ 10 : 23

3.2 Sedla 45

oziroma, ce vpeljemo oznako z = 1n

∑z

a =xy − x y

x2 − x2, b = y − ax

Poglejmo se Hessovo matriko

H =

[∂2P∂a2

∂2P∂a∂b

∂2P∂b∂a

∂2P∂b2

]

= 2

[ ∑x2 ∑

x∑x n

]

Ker je ∆1 = 2∑x2 > 0 in ∆2 = 4(n

∑x2 − (

∑x)2) = 2

∑∑(xi − xj)

2 > 0,je matrika H pozitivno definitna in zato funkcija P strogo konveksna. Torej jeregresijska premica enolicno dolocena.

Kriterijska funkcija, ki meri napako po metodi najmanjsih kvadratov je precejobcutljiva na vecje napake in tujke (outliers). Zato v takih primerih nekateri rajeuporabljajo kriterijsko funkcijo, ki temelji na absolutnih napakah

P (a, b) =n∑

i=1

|(axi + b) − yi|

Seveda pa te naloge ne moremo vec ugnati z gornjimi sredstvi. 2

3.2 Sedla

Tocka (x∗, u∗) ∈ Φ × Ψ je minmax-sedlo funkcije G : Φ × Ψ → IR natankotakrat, ko velja:

∀(x, u) ∈ Φ × Ψ : G(x, u∗) ≥ G(x∗, u∗) ≥ G(x∗, u)

in je maxmin-sedlo funkcije G natanko takrat, ko velja:

∀(x, u) ∈ Φ × Ψ : G(x, u∗) ≤ G(x∗, u∗) ≤ G(x∗, u)

Ce enega od pogojev za sedlo pomnozimo z −1 se neenakosti obrnejo – dobimodrugi pogoj. Torej velja:

IZREK 3.2 Funkciji G(x, u) in −G(x, u) imata ista sedla, a nasprotnih vrst.

KolicinoG(x∗, u∗) imenujemo vrednost sedla (x∗, u∗). Da je slednje smiselno,nam zagotavlja naslednja lastnost:

IZREK 3.3 Vsa sedla iste vrste imajo enako vrednost.


17. december 2003/ 10 : 23

46 Resevanje

Dokaz: Zaradi simetrije bomo dokazovali samo za minmax-sedla. Bodita (x∗, u∗)in (x, u) minmax-sedli. Potem po definiciji velja:

G(x∗, u) ≥ G(x, u) ≥ G(x, u∗) ≥ G(x∗, u∗) ≥ G(x∗, u)

kar je mogoce le, ce povsod velja enacaj. Torej je res G(x∗, u∗) = G(x, u). 2

Iz gornjega dokaza je le se majhen korak do lastnosti:

IZREK 3.4 Mnozica sedel iste vrste funkcije G : Φ×Ψ → IR je oblike Φs×Ψs,kjer sta Φs ⊆ Φ in Ψs ⊆ Ψ .

Dokaz: Bodita (x∗, u∗) in (x, u) minmax-sedli. Tedaj sta minmax sedli tudi(x∗, u) in (x, u∗). Pokazimo, na primer, da je (x∗, u) minmax-sedlo. Napisimopogoja: za vsak (x, u) ∈ Φ × Ψ velja:

G(x, u∗) ≥ G(x∗, u∗) ≥ G(x∗, u) in G(x, u) ≥ G(x, u) ≥ G(x, u)

Iz prejsnjega dokaza vemo G(x, u∗) = G(x∗, u∗) = G(x, u) = G(x∗, u). Torejje res tudi

G(x, u) ≥ G(x, u) = G(x∗, u) = G(x∗, u∗) ≥ G(x∗, u)

kar je bilo treba pokazati. 2

Sedaj pa si oglejmo se najpomembnejsi rezultat tega razdelka, ki daje potrebenin zadosten pogoj za obstoj sedla.

IZREK 3.5 Funkcija G : Φ × Ψ → IR ima minmax-sedlo natanko takrat, koobstaja tocka (x∗, u∗) ∈ Φ × Ψ, tako da velja:

minx∈Φ

supu∈Ψ

G(x, u) = maxu∈Ψ

infx∈Φ

G(x, u) = G(x∗, u∗)

in ima maxmin-sedlo natanko takrat, ko obstaja tocka (x∗, u∗) ∈ Φ × Ψ, tako davelja:

maxx∈Φ

infu∈Ψ

G(x, u) = minu∈Ψ

supx∈Φ

G(x, u) = G(x∗, u∗)

Dokaz: Trditev bomo dokazali samo za minmax-sedlo.Najprej pokazimo sedlo ⇒ pogoj. Naj bo (x∗, u∗) ∈ Φ × Ψ minmax-sedlo.

Potem velja:

∀(x, u) ∈ Φ × Ψ : G(x∗, u) ≤ G(x∗, u∗) ≤ G(x, u∗)

oziromasupu∈Ψ

G(x∗, u) ≤ G(x∗, u∗) ≤ infx∈Φ

G(x, u∗)


17. december 2003/ 10 : 23

3.2 Sedla 47

in dalje, se toliko bolj

infx∈Φ

supu∈Ψ

G(x, u) ≤ G(x∗, u∗) ≤ supu∈Ψ

infx∈Φ

G(x, u)

Po drugi strani pa za vsako tocko (y, v) ∈ Φ × Ψ velja

G(y, v) ≥ infx∈Φ

G(x, v)

in daljesupu∈Ψ

G(y, u) ≥ supu∈Ψ

infx∈Φ

G(x, u)

ter koncnoinfx∈Φ

supu∈Ψ

G(x, u) ≥ supu∈Ψ

infx∈Φ

G(x, u)

Zdruzimo obe koncni neenakosti pa vidimo, da morajo veljati enacaji. Ker ob-staja tocka (x∗, u∗), v kateri je prvi inf / sup dosezen, ga lahko zamenjamo zmin /max. S tem je trditev v eno smer dokazana.

Preostane nam se pogoj ⇒ sedlo. Iz pogoja izreka dobimo

G(x∗, u∗) = supu∈Ψ

G(x∗, u) = infx∈Φ

G(x, u∗)

od tu pa po definiciji inf in sup pogoj za minmax-sedlo

∀(x, u) ∈ Φ × Ψ : G(x∗, u) ≤ G(x∗, u∗) ≤ G(x, u∗)

S tem je dokaz koncan. 2

Za nadaljne izreke o obstoju sedel je potrebno privzeti dodatne lastnosti zafunkcijo G in mnozici Φ in Ψ; npr. odvedljivost, konveksnost/konkavnost, ...

Brez vecjih tezav lahko sestavimo primere funkcije G (obicajno so podane zmatriko), ki so ali brez sedla, ali imajo samo sedla enega tipa, ali pa imajo sedlaobeh tipov. Tako ima na primer funkcija G podana z matriko:

u minu maxu

1 2 3 41 1 0 5 2 0 5

x 2 2 2 4 3 2 43 0 1 7 2 0 7

minx 0 0 4 2 4 = 4maxx 2 2 7 3 2 = 2

dve maxmin-sedli (2, 1) in (2, 2) ter eno minmax-sedlo (2, 3).Iz analize vemo: Naj bo G : IR × IR → IR v okolici tocke (x∗, u∗) dvakrat

zvezno odvedljiva funkcija. Za to, da je (x∗, u∗) analiticno sedlo, zadostuje, davelja ∇G(x∗, u∗) = 0 in je H(G, (x∗, u∗)) negativno definitna.

Vendar pa ni vsako analiticno sedlo tudi sedlo v smislu tega razdelka, kar jeocitno iz izreka 3.3 .


17. december 2003/ 10 : 23

48 Resevanje

3.3 Prirejene in dualne naloge

Naj bo dana funkcija G : Φ × Ψ → IR, ki doloca funkciji

P (x) = supu∈Ψ

G(x, u) in Q(u) = infx∈Φ

G(x, u)

potem pravimo, da sta si nalogi (Φ, P,Min) in (Ψ, Q,Max) prirejeni glede na G.

IZREK 3.6 Za s funkcijo G : Φ × Ψ → IR doloceni funkciji P in Q velja:

∀(x, u) ∈ Φ × Ψ : P (x) ≥ Q(u)

Dokaz:P (x) = sup

v∈ΨG(x, v) ≥ G(x, u) ≥ inf

y∈ΦG(y, u) = Q(u)

2

V primeru, ko obstaja tocka (x∗, u∗) ∈ Φ × Ψ, za katero velja enakostP (x∗) = Q(u∗) pravimo, da sta si prirejeni nalogi dualni ali pridruzeni; tocki(x∗, u∗) pa dualna tocka.

OPOMBA: Gornja definicija dualnosti je nekoliko ozja od tiste, ki jo obicajnosrecamo v literaturi. Z njo se odpovemo primerom, ko je neka od mnozic Ψ in Φprazna. 2

IZREK 3.7 Bodita glede na G prirejeni nalogi (Φ, P,Min) in (Ψ, Q,Max) du-alni in naj bo (x∗, u∗) dualna tocka, potem velja:

a. x∗ ∈ Min(Φ, P ) in u∗ ∈ Max(Ψ, Q)b. min(Φ, P ) = max(Ψ, Q) = G(x∗, u∗) = P (x∗) = Q(u∗)

Dokaz:a. Iz izreka 3.6 izhaja, da velja za vsak x ∈ Φ : P (x) ≥ Q(u∗). Po pred-postavki Q(u∗) = P (x∗) izhaja naprej P (x) ≥ P (x∗); kar pomeni, da je resx∗ ∈ Min(Φ, P ). Podobno pokazemo tudi, da je u∗ ∈ Max(Ψ, Q).

b. Ker sta po delu a x∗ ∈ Min(Φ, P ) in u∗ ∈ Max(Ψ, Q), je po definiciji inpredpostavki min(Φ, P ) = P (x∗) = Q(u∗) = max(Ψ, Q).

Pokazati moramo se, da lahko v ta spisek enakosti dodamo tudi G(x∗, u∗).Izhajamo iz neenakosti

G(x, u∗) ≥ Q(u∗) = P (x∗) ≥ G(x∗, u)


17. december 2003/ 10 : 23

3.3 Prirejene in dualne naloge 49

Postavimo vanjo x = x∗ in u = u∗ pa dobimo

G(x∗, u∗) ≥ Q(u∗) = P (x∗) ≥ G(x∗, u∗)

kar je mogoce le, ce povsod veljajo enacaji. S tem je trditev dokazana. 2

Zvezo med dualnostjo in sedli nam daje naslednji izrek:

IZREK 3.8 Glede na funkcijo G : Φ × Ψ → IR prirejeni nalogi (Φ, P,Min) in(Ψ, Q,Max) sta si dualni natanko takrat, ko ima funkcija G minmax-sedlo.

Dokaz: V eno smer (dualnost ⇒ sedlo) je trditev ze skoraj dokazana. Naj bo(x∗, u∗) dualna tocka. Upostevajmo v neenakosti iz prejsnjega dokaza koncnougotovitev P (x∗) = Q(u∗) = G(x∗, u∗) pa imamo:

G(x, u∗) ≥ G(x∗, u∗) ≥ G(x∗, u)

Torej je (x∗, u∗) res minmax-sedlo.V nasprotno smer (sedlo ⇒ dualnost) pa sklepamo takole: Naj bo (x∗, u∗)

minmax-sedlo. Potem je po definiciji ∀u ∈ Ψ : G(x∗, u) ≤ G(x∗, u∗). Torejtudi:

P (x∗) = supu∈Ψ

G(x∗, u) ≤ G(x∗, u∗)

in podobnoQ(u∗) = inf

x∈ΦG(x, u∗) ≥ G(x∗, u∗)

oziroma P (x∗) ≤ Q(u∗). Od tu po izreku 3.6 sledi enakost P (x∗) = Q(u∗). 2

Vzemimo sedaj poljubna x∗ ∈ Min(Φ, P ) in u∗ ∈ Max(Ψ, Q). Ce sta sinalogi (Φ, P,Min) in (Ψ, Q,Max) dualni, potem je tocka (x∗, u∗) po izreku 3.7.b dualna tocka in po izreku 3.8 minmax sedlo. Po drugi strani iz izreka 3.8in izreka 3.7 .a izhaja, da je vsako minmax-sedlo (x∗, u∗) ∈ Min(Φ, P ) ×

Max(Ψ, Q). Kar pomeni, da mnozica minmax sedel funkcijeG sovpada z mnozicoMin(Φ, P ) × Max(Ψ, Q).

Vpeljimo se relaciji

τ(x) = u : Q(u) = P (x) in θ(u) = x : P (x) = Q(u)pa vidimo iz pravkar povedanega, da mora veljati ∀x ∈ Min(Φ, P ) : τ(x) =Max(Ψ, Q) oziroma

τ(Min(Φ, P )) =⋃

x∈Min(Φ,P )

τ(x) = Max(Ψ, Q)

in podobno za θ. Torej sta τ in θ translatorja. Povzemimo:

IZREK 3.9 Glede na G dualni nalogi (Φ, P,Min) in (Ψ, Q,Max) sta enako-vredni in velja:

(x, u) ∈ Φ × Ψ : P (x) = Q(u) = Min(Φ, P ) × Max(Ψ, Q)


17. december 2003/ 10 : 23

50 Resevanje

3.4 Lagrangeova prirejenost

Najpogosteje pridemo do prirejene naloge z Langrangeovo funkcijo. Poglejmo,kako to naredimo:

Naj bo optimizacijsko obmocje Φ naloge (Φ, P,Min) podano takole

Φ = x ∈ Ω : Pi(x) ≤ 0, i ∈ I, Pj(x) = 0, j ∈ J, I ∪ J = 1..n

in naj bo Φ 6= ∅. V primeru, ko je Φ 6= ∅, pravimo, da so omejitve in naloganeprotislovne. Ce obstaja tocka x ∈ Ω, tako da je Pi(x) < 0, i ∈ I , je nalogastrogo neprotislovna. Tocki x recemo tudi Slaterjeva tocka.

OPOMBA: Pogoj oblike Pj(x) = 0 nadomestimo z dvema enakovrednimapogojema

Pj(x) ≤ 0 in − Pj(x) ≤ 0

2

Predpostavimo zacasno, J = ∅.Oznacimo u = (u1, u2, ..., un) in P(x) = (P1(x), P2(x), ..., Pn(x)) ter

(u,v) =∑

i∈I

uivi

potem lahko definiramo Lagrangeovo funkcijo L : Ω × (IR+0 )n → IR naloge

(Φ, P,Min) takole:L(x,u) = P (x) + (u,P(x))

Od tu dobimo (glede na L) prirejeni nalogi (Ω, P ∗,Min) in ((IR+0 )n, Q,Max),

kjer je

P ∗(x) = supu∈(IR+

0 )n

L(x,u) in Q(u) = infx∈Ω

L(x,u)

Pokazimo najprej, da je naloga (Ω, P ∗,Min) enakovredna osnovni nalogi! Nasto-pita dva primera:

a) x ∈ Φ ; tedaj so vsi Pi(x) ≤ 0; kar pomeni, da je tudi P(x) ≤ 0 in dalje(u,P(x)) ≤ 0. Toda za u = 0 je (u,P(x)) = 0 in zato

supu∈(IR+

0 )n

(u,P(x)) = 0

Torej je v tem primeru P ∗(x) = P (x).


17. december 2003/ 10 : 23

3.4 Lagrangeova prirejenost 51

b) x 6∈ Φ; tedaj je vsaj en Pi(x) > 0. Definirajo zaporedje (uk) takole:

ukj = kδij

Tedaj za k → ∞ tudi (uk,P(x)) → ∞. Torej je

P ∗(x) = supu∈(IR+

0 )n

(u,P(x)) = ∞

Povzemimo :

P ∗(x) =

P (x) x ∈ Φ∞ x ∈ Ω \ Φ

Ker je po predpostavki Φ 6= ∅, izhaja od tu enakovrednost osnovne naloge (Φ, P,Min)in naloge (Ω, P ∗,Min); ce pa je naloga ((IR+

0 )n, Q,Max) dualna nalogi (Ω, P ∗,Min),zaradi tranzitivnosti enakovrednosti in enakovrednosti dualnih nalog izhaja, da jetudi naloga ((IR+

0 )n, Q,Max) enakovredna osnovni nalogi.Seveda moramo funkcijo Q(u) dolociti v vsakem primeru posebej. Poglejmo

se primer pogoja oblike Pi(x) = 0. Ta nam v Lagrangeovi funkciji prispeva clena

u+Pi(x) − u−Pi(x) = (u+ − u−)Pi(x) = uPi(x)

Iz te enakosti vidimo, da lahko oba clena nadomestimo z enim samim, pri tem pamoramo pogoja u+, u− ≥ 0 nadomestiti (omiliti) z u ∈ IR.

Ce so P, Pi konveksne in je naloga resljiva, ima L sedlo.

PRIMER 3.2 Pokazimo, kako lahko uporabimo dualnost pri resevanju naloge(Φ, P,Min)

P (x, y) = x2 + y2

Φ = (x, y) ∈ IR2 : 2x+ y ≤ −4Pripadajoca Lagrangeova funkcija je

L(x, y;u) = x2 + y2 + u · (2x+ y + 4), u ≥ 0

Ker sta kriterijska funkcija in omejitev konveksni ima L sedlo. Poiscimo

Q(u) = inf(x,y)∈IR2

L(x, y;u)

Ker je L zvezno odvedljiva, lahko inf dolocimo po izreku iz pogojev

∂L

∂x= 2x+ 2u = 0

∂L

∂y= 2y + u = 0


17. december 2003/ 10 : 23

52 Resevanje

od koder dobimox = −u y = −u

2

Torej je

Q(u) = L(x, y, u) = −5u2

4+ 4u

Funkcija Q(u) je parabola in doseze maksimum v temenu u∗ = 85 . Torej je

x∗ = −8

5y∗ = −4

5Q(u∗) = P (x∗, y∗) =

16

5

2

PRIMER 3.3 Resimo naslednjo optimizacijsko nalogo (Φ, P,Min)

P (x) =n∑

i=1

|xi − ai|

Φ = x ∈ IRn :n∑

i=1

xi = 0

kjer so ai, i = 1, . . . , n dana realna stevila.Lagrangeova funkcija naloge je

L(x, u) = P (x) + uP1(x) =n∑

i=1

(|xi − ai| + uxi)

pri cemer je u ∈ IR. Dolocimo prirejeno nalogo (Ψ, Q,Max).

Q(u) = infx∈IRn

L(x, u) = infx∈IRn

n∑

i=1

(|xi − ai| + uxi)

Ker so posamezni cleni vsote med seboj neodvisni, velja naprej

Q(u) =n∑

i=1

infxi∈IR

(|xi − ai| + uxi)

Poiscimo, koliko jeq(u) = inf

x∈IR(|x− a| + ux)

Velja

q(u) = infx∈IR

(1 + u)x− a x ≥ a(u− 1)x+ a x < a


17. december 2003/ 10 : 23

3.4 Lagrangeova prirejenost 53

Z analizo posameznih moznosti dobimo

q(u) =

ua |u| ≤ 1−∞ |u| > 1

in, ce oznacimo A =∑n

i=1 ai, dalje

Q(u) =

uA |u| ≤ 1−∞ |u| > 1

Torej je prirejena naloga enakovredna nalogi ([−1, 1], uA,Max), ki je enostavnoresljiva

A > 0 u∗ = 1 Q(u∗) = AA = 0 u∗ ∈ [−1, 1] Q(u∗) = 0A < 0 u∗ = −1 Q(u∗) = −A

Torej je vselej Q(u∗) = |A|.To resitev lahko uporabimo pri resevanju osnovne naloge (Φ, P,Min), ce sta

prirejeni nalogi dualni, t.j., ce je resljiva enacba

P (x∗) = Q(u∗) = |A|, x∗ ∈ Φ

Poskusimo jo resiti! Nastopita dva primera:

a) A = 0; enacba ima obliko

P (x∗) =n∑

i=1

|x∗i − ai| = 0

z enolicno resitvijo x∗ = a. Ker je

∑ni=1 xi =

∑ni=1 ai = A = 0, je x

∗ ∈ Φ.

b) A 6= 0; postavimo ai − x∗i = αiA. Tedaj iz enacbe P (x∗) = |A| izhaja∑n

i=1 |αi| = 1. Po drugi strani, ce sestejemo predpostavljene enakosti, dobimo

An∑

i=1

αi =n∑

i=1

(αiA) =n∑

i=1

(ai − x∗i ) = A−n∑

i=1

x∗i

Ce naj bo x∗ ∈ Φ, je

∑ni=1 x

∗i = 0; kar da koncno zvezo

∑ni=1 αi = 1. Iz obeh

zvez izhaja αi ≥ 0, i = 1, . . . , n. Torej je

Min(Φ, P ) = x∗ : x∗i = ai − αiA,αi ≥ 0,n∑

i=1

αi = 1

2


17. december 2003/ 10 : 23

54 Resevanje

IZREK 3.10 Glede na L prirejena funkcija Q(u) je konkavna.

Dokaz: Vzemimo v,w ∈ (IR+0 )n in naj bo

u = λv + (1 − λ)w, λ ∈ [0, 1]

Tedaj velja

Q(u) = infx∈Ω

L(x,u) = infx∈Ω

(P (x) + (u,P(x))

= infx∈Ω

((λ+ (1 − λ))P (x) + (λv + (1 − λ)w,P(x))

upostevajmo se inf(f + g) ≥ inf f + inf g pa lahko nadaljujemo

≥ λ infx∈Ω

(P (x) + (v,P(x)) + (1 − λ) infx∈Ω

(P (x) + (w,P(x))

= λQ(v) + (1 − λ)Q(w)

2

OPOMBA: V gornjih razmisljanjih o prirejenih nalogah ni nobenih posebnihpredpostavk o naravi P, Pi in Φ. Na primer, ko je Ω = ZZm, funkcija Q niodvedljiva; vendar je zaradi konkavnosti vsak lokalni maksimum u∗ tudi glob-alni.

V splosnem je prirejeno nalogo torej lazje resevati. Zal prirejeni nalogi nistavedno dualni (enakovredni). Kljub temu zaradi

max((IR+0 )n, Q) = Q(u∗) ≤ min(Φ, P )

vrednost Q(u∗) ali njeno oceno lahko uporabljamo za spodnjo mejo P . 2

3.5 Karush-Kuhn-Tuckerjev izrek

Poglejmo ponovno postopek iz primera 2 na nalogi (Φ, P,Min), kjer je

Φ = x ∈ IRm : Pi(x) ≤ 0, i ∈ I, Pj(x) = 0, j ∈ J

Pripadajoca Lagrangeova funkcija je

L(x,u) = P (x) + (u,P(x))

pri cemer, ce zapisemo u = (uI ,uJ ), je uI ≥ 0. Dolocimo

Q(u) = infx∈IRm

L(x,u)


17. december 2003/ 10 : 23

3.5 Karush-Kuhn-Tuckerjev izrek 55

oziroma, se nekoliko vec, dolocimo x∗(u) ∈ IRm, za katerega je

Q(u) = L(x∗(u),u)

Ce je L zvezno odvedljiva po x, mora po izreku 3.1 x∗(u) zadoscati pogoju

∇xL = 0

in, ce naj si z resitvijo prirejene naloge pomagamo pri resevanju osnovne naloge,morata biti nalogi dualni

P (x∗) = Q(u∗) = L(x∗,u∗)

Torej mora veljati

P (x∗) = L(x∗,u∗) = P (x∗) + (u∗,P(x∗))

oziroma0 = (u∗,P(x∗)) =

∑

i∈I

u∗iPi(x∗) +

∑

j∈J

u∗jPj(x∗)

Ker je Pj(x∗) = 0, j ∈ J , je drugi clen enak 0 in preostane

∑

i∈I

u∗iPi(x∗) = 0

Toda, u∗i ≥ 0, Pi(x∗) ≤ 0, i ∈ I , in zato koncno

u∗iPi(x∗) = 0, i ∈ I

Iz povedanega lahko povzamemo (potrebnostni) del Karush-Kuhn-Tuckerjevegaizreka:

IZREK 3.11 Naj bodo P in Pk, k ∈ K = I∪J zvezno odvedljive funkcije in najima Lagrangeova funkcija L sedlo. Potem je potreben pogoj za to, da ima naloga(Φ, P,Min) v tocki x

∗ ∈ Φ lokalni minimum, obstoj realnih stevil uj, j ∈ J inui ≥ 0, i ∈ I , za katere velja:

∇xL = ∇xP (x∗) +∑

i∈I

ui∇xPi(x∗) +

∑

j∈J

uj∇xPj(x∗) = 0

inuiPi(x

∗) = 0, i ∈ I


17. december 2003/ 10 : 23

56 Resevanje

Poleg pogojem za ui mora resitev x∗, ce naj bo dopustna, zadoscati se ome-

jitvamPi(x

∗) ≤ 0, i ∈ I in Pj(x∗) = 0, j ∈ J

Z resitvijo tako dobljenega sistema enacb dobimo kandidate za “lokalna” sedla(x∗,u∗).

Za konveksne naloge velja tudi obrat.

IZREK 3.12 Ce je osnovna naloga (Φ, P,Min) konveksna, strogo neprotislovnain J = ∅, so Karush-Khun-Tuckerjevi pogoji tudi zadostni.

Dokaz: Iz konveksnosti funkcij P in Pi izhaja, da v tocki x∗ velja

P (x) ≥ P (x∗) + ∇P T (x∗)(x − x∗)

Pi(x) ≥ Pi(x∗) + ∇P T

i (x∗)(x − x∗), i ∈ I

Pomnozimo zadnje neenakosti z u∗i ≥ 0, sestejmo jih in pristejmo prvo pa dobimo

P (x) +∑

i∈I

u∗iPi(x) ≥ P (x∗) +∑

i∈I

u∗iPi(x∗)+

(∇P T (x∗) +∑

i∈I

u∗i∇P Ti (x∗))(x − x

∗)

Predzadnji in zadnji clen sta po K-K-T izreku enaka 0. Torej je za x ∈ Φ, ker je∑u∗iPi(x) ≤ 0

P (x) ≥ P (x∗) −∑

i∈I

u∗iPi(x) ≥ P (x∗)

kar pomeni x∗ ∈ Min(Φ, P ). 2

Omejitev Pi(x) ≤ 0 je zasicena ali aktivna v tocki x0, ce je Pi(x0) = 0.Pri odgovoru na vprasanje, kdaj so pogoji izreka tudi zadostni, potrebujemo

pojem primernosti omejitev. Mi se bomo izognili definiciji tega pojma in navedlinekaj zadostnih pogojev za primernost, ki pokrivajo vecino prakticnih primerov:

• linearnost funkcij Pi;

• konveksnost funkcij Pi in nepraznost notranjosti mnozice Φ;

• neodvisnost gradientov omejitev, ki so zasicene v dani tocki.

Pokazati je mogoce, da so pogoji iz izreka zadostni, ce je osnovna naloga konvek-sna in so omejitve primerne v tocki x

∗.


17. december 2003/ 10 : 23


PRIMER 3.4 Cobb-Douglasov obrazec. Pri nacrtovanju nalozb se veckratuporablja Cobb-Douglasov obrazec

O = kCγL1−γ , k > 0, 0 < γ < 1

kjer je: O – obseg proizvodnje (output), C – sredstva (capital), L – delovna sila(labour force).

Recimo, da imamo na voljo letna sredstva B (budget). Kako jih naloziti, dabomo dobili cim vec, ce je obrestni faktor za sredstva enak r, za delovno silo paw?

Vprasanje lahko zapisemo kot optimizacijsko nalogo (Φ1, P1,Max) ≈ (Φ1,−P1,Min),kjer je

Φ1 = (C,L) ∈ IR2 : rC + wL ≤ B, C,L ≥ 0P1(C,L) = kCγL1−γ

Nalogi pripada Lagrangeova funkcija

L(C,L;λ) = −kCγL1−γ + λ(rC +wL−B), λ ≥ 0

K-K-T pogoji dajo enacbe

∂L∂C

= 0 = −kγCγ−1L1−γ + λr

∂L∂L

= 0 = −k(1 − γ)CγL−γ + λw

0 = λ(rC + wL−B)

Iz prvih dveh enacb izhaja

r

w=

γ

1 − γ

L

Cin λ 6= 0

Zato iz tretje enacbe dobimo

rC + wL = B

kar da resitev

C∗ =γB

rL∗ =

(1 − γ)B

w

Ocitno sta C∗, L∗ ≥ 0.Poglejmo se obratno nalogo: Koliksna so najmanjsa sredstva potrebna za

dosego zeljenega obsega proizvodnje D?Vprasanju ustreza optimizacijska naloga (Φ2, P2,Min), kjer je

Φ2 = (C,L) ∈ IR2 : kCγL1−γ = D


17. december 2003/ 10 : 23

58 Resevanje

P2(C,L) = rC + wL

Nalogi pripada Lagrangeova funkcija

L(C,L;λ) = rC + wL+ λ(kCγL1−γ −D), λ ∈ IR

K-K-T pogoji dajo enacbe

∂L∂C

= 0 = r + λkγ(C

L)γ−1

∂L∂L

= 0 = w + λk(1 − γ)(C

L)γ

Iz obeh enacb izhajar

w=

γ

1 − γ

L

C

Dodatno enacbokCγL1−γ = D

dobimo iz pogoja za dopustnost resitve (C,L). Iskana resitev je

C∗ =D

k(w

r

γ

1 − γ)1−γ in L∗ =

D

k(r

w

1 − γ

γ)γ

Zopet sta C∗, L∗ ≥ 0. 2

PRIMER 3.5 Dolocimo minimum funkcije P (x, y) = x pri omejitvah (x −1)2 + (y + 2)2 ≤ 16 in x2 + y2 ≥ 13.

Najprej zapisimo omejitvi v “standardni” obliki

P1(x, y) = (x− 1)2 + (y + 2)2 − 16 ≤ 0

P2(x, y) = −x2 − y2 + 13 ≤ 0

Poleg teh dveh neenacb dobimo iz Karush-Kuhn-Tuckerjevih pogojev se zveze[

10

]

+ u

[

2(x− 1)2(y + 2)

]

+ v

[

−2x−2y

]

=

[

00

]

u · ((x− 1)2 + (y + 2)2 − 16) = 0

v · (x2 + y2 − 13) = 0

pri cemer sta u, v ≥ 0. Iz prve zveze dobimo enacbi

u · (x− 1) − vx = −1

2in u · (y + 2) = vy


17. december 2003/ 10 : 23


Slika 3.1: Prikaz naloge.


17. december 2003/ 10 : 23

60 Resevanje

Do tock, v katerih je morda minimum, pridemo z analizo resitev tega sistemaenacb.1. v = 0; iz enacb u · (y + 2) = 0 in u · (x − 1) = − 1

2 izhaja, da je u 6= 0 iny = −2. Iz enacbe (x−1)2 +(y+2)2 = 16 dobimo (x−1)2 = 16. Koren x = 5odpade, ker je pripadajoci u = − 1

8 ≤ 0. Drugi koren da resitev

x = −3, y = −2, u =1

8, v = 0, P = −3

2. v 6= 0; tedaj je x2 + y2 = 13;2.1. u = 0; tedaj je y = 0 in zato x = ±

√13. Negativni koren odpade, ker je

pripadajoci v negativen. Ostane resitev

x =√

13, y = 0, u = 0, v =1

2√

13, P =

√13

2.2. u 6= 0; dobimo sistem kvadratnih enacb x2+y2 = 13 in (x−1)2+(y+2)2 =16, iz katerega izhaja x = 2y + 1 in 5y2 + 4y − 12 = 0. Koren y = −2 smo zedobili v primeru 1. (iz vy = 0 pa izhaja protislovje), koren y = 6

5 pa nam da novoresitev

x =17

5, y =

6

5, u =

3

40, v =

1

5, P =

17

5

Nalogo (Φ, P,min) si lahko ponazorimo tudi na sliki. Iz nje vidimo, da je resitev1 globalni minimum, resitev 2.2 lokalni minimum in resitev 2.1 le K-K-T tocka.

2

3.6 Numericni postopki

Obstaja vec postopkov za resevanje optimizacijskih nalog oblike

(IRn, P,Min)

Locijo se predvsem po tem, koliko upostevajo lepe lastnosti kriterijske funkcije P[62]. Osnovna delitev je tako na:

• postopki, ki uporabljajo samo funkcijske vrednosti: pokoordinatni spust,Hooke-Jeevesov postopek, Nelder-Meadov postopek;

• postopki, ki uporabljajo tudi prve odvode kriterijske funkcije: gradientnipostopek;

• postopki, ki upostevajo tudi druge odvode kriterijske funkcije: Davidon-Fletcher-Powellov postopek, Fletcher-Reevesov postopek.


17. december 2003/ 10 : 23

3.6 Numericni postopki 61

izberi zacetno tocko x ∈ IRn in koracni vektor h ∈ IRn;loop

y := x; change := FALSE;for i := 1 to n do begin

z := y + hei;if P (z) < P (y) then

begin y := z; change := TRUE endelse begin

z := y − hei;if P (z) < P (y) then

begin y := z; change := TRUE endend;

end;x := y;if not change then begin

if error(h) < epsilon then exit;h := h/q;

end;end;

Slika 3.2: Pokoordinatni spust

Za probleme z omejitvami obstajata dva pristopa:

• premi postopki – pazimo, da ne zapustimo mnozice dopustnih resitev; lin-earizacija problema;

• prevedba na probleme brez omejitev: Lagrangeova dualnost, kazenske funkcije(v naslednjem razdelku);

• postopki za posebne vrste problemov: linearno programiranje, Marquardtovpostopek za dolocanje parametrov po metodi najmanjsih kvadratov.

3.6.1 Pokoordinatni spust in Hooke-Jeevesov postopek

Postopek pokoordinatnega spusta je podan na sliki 3.2. Tipicne vrednosti parametrovso q = 10 in epsilon = 0.0001.

Hooke-Jeevesov (1961) postopek je izboljsava pokoordinatnega spusta. Prinjem izkoristimo informacijo, ki smo jo nabrali v zadnjem koraku spusta, in se seposkusimo v dobljeni smeri premakniti kar se da dalec. Stavek x := y; nadomes-timo s stavki


17. december 2003/ 10 : 23

62 Resevanje

d := y − x;repeat x := y; y := y + d until P (y) ≥ P (x);

Pravimo tudi, da v zanki for raziscemo okolico dane tocke x, v dodatku pa napre-dujemo.

Obstaja vec izpopolnitev tega postopka, ki razlicno popravljajo korak v posameznismeri.

3.6.2 Gradientni postopek

Naj bo kriterijska funkcija P odvedljiva. Kako izbrati v pomiku x → x + hs,h ≥ 0 enotski smerni vektor s tako, da bo padec vrednosti P najvecji?

Vpeljimo funkcijo

Q(s) = P (x+ hs) − P (x) =n∑

i=1

∂P

∂xi(x)hsi

Tako dobimo optimizacijsko nalogo (Φ, Q,Min), kjer mnozico dopustnih resitevsestavljajo vsi enotski vektorji Φ = s ∈ IRn :

∑ni=1 s

2i = 1. Pripadajoca

Lagrangeova funkcija je

L(s, λ) = Q(s) + λ(n∑

i=1

s2i − 1)

=n∑

i=1

∂P

∂xi(x)hsi + λ(

n∑

i=1

s2i − 1)

kjer je λ ∈ IR. Od tu dobimo sistem enacb

∂L∂si

= h∂P

∂xi(x) + 2λsi = 0, i = 1, . . . , n

iz katerih izhaja

s = − h

2λ∇P (x) = −α∇P (x)

kjer je α ≥ 0; ali

Q(s) = −αn∑

i=1

(∂P

∂xi(x))2 ≤ 0

Torej je smer najvecjega pada vrednosti kriterijske funkcije smer nasprotna njen-emu gradientu. Ta ugotovitev je osnova gradientnega postopka


17. december 2003/ 10 : 23

3.7 Kazenske metode 63

izberi zacetno tocko x;repeat

s := −∇P (x);doloci minimum y funkcije P (x) na premici x+ λs;error := |x− y|; x := y;

until error < epsilon;

3.7 Kazenske metode

Vzemimo optimizacijsko nalogo (Φ, P,Min), kjer je Φ oblike

Φ = x ∈ Ω : Pi(x) ≤ 0, i ∈ I

in naj bo funkcija k : IR → IR dolocena s predpisom

k(y) =

0 y ≤ 0∞ y > 0

Postavimo za x ∈ Ω

K(x) =∑

i∈I

k(Pi(x)) in Q(x) = P (x) +K(x)

Tedaj je

K(x) =

0 x ∈ Φ∞ x /∈ Φ

in dalje Q(x) =

P (x) x ∈ Φ∞ x /∈ Φ

Torej, ce je Φ 6= ∅, je(Φ, P,Min) ≈ (Ω, Q,Min)

Druga naloga je brez omejitev! No, kriterijska funkcija Q praviloma ne ohranjalepih lastnosti (npr. zveznosti), ki jih morda imajo funkcije P in Pi, i ∈ I .

Ali je mogoce zamisel popraviti tako, da ne izgubimo (vseh) lepih lastnostifunkcij P in Pi, i ∈ I ? V nekaterih primerih je odgovor pritrdilen. To lahkostorimo celo na vec nacinov. Prve korake je naredil Courant (okrog 1943), po-drobneje pa sta leta 1968 pristop razdelala Fiacco in McCormick.

Nalogi (Φ, P,Min) priredimo druzino nalog (Ω, Q(., r),Min) odvisnih odparametra r ∈ IR+, za katero velja

(Ω, Q(., r),Min) −−−→r→∞ (Ω, Q,Min)

pri cemer imajo funkcije Q(., r), r ∈ IR zahtevane lepe lastnosti.


17. december 2003/ 10 : 23

64 Resevanje

3.7.1 Metoda zunanje tocke

Pri metodi zunanje tocke izberemo za funkcijo k, na primer,

k(y) =

0 y ≤ 0y y > 0

ali k(y) =

0 y ≤ 0y2 y > 0

in nato postavimoK(x, r) = r

∑

i∈I

k(Pi(x))

terQ(x, r) = P (x) +K(x, r)

Oznacimo za f : Ω → IR

f+(x) = max(0, f(x))

Za funkcijo f+ je mogoce pokazati

IZREK 3.13 Naj bo f : IRn → IR zvezno odvedljiva na IRn. Tedaj je zveznoodvedljiva tudi funkcija g(x) = (f+(x))2 in velja

∂g(x)

∂xi= 2f+(x)

∂f(x)

∂xi

za vsak x ∈ IRn.

Od tu neposredno izhaja: Ce so kriterijska funkcija in omejitve naloge (Φ, P,Min), Φ ⊆IRn zvezno odvedljive, je zvezno odvedljiva tudi zunanja kriterijska funkcija

Q(x, r) = P (x) + r∑

i∈I

(P+i (x))2

Kazenski clen imenujemo tudi Courant-Beltramijeva kazenska funkcija.Zvezna odvedljivost funkcije Q(x, r) postane pomembna pri numericnem resevanju

nalog (Ω, Q(., r),Min), saj lahko uporabimo ucinkovitejse postopke, ki temeljena odvodih.

O zvezi med nalogami (Ω, Q(., r),Min), r ∈ IR+ in nalogo (Φ, P,Min) jemogoce pokazati naslednji izrek:

IZREK 3.14 Naj zunanja kazenska funkcije K(x, r) zadosca za vsak r ∈ IR+ inza vsak x ∈ Ω pogojem


17. december 2003/ 10 : 23


a. K(x, r) ≥ 0b. K(x, r) = 0 ⇔ x ∈ Φc. K(x, r) je zveznad. kriterijska funkcija P (x) je zvezna in je izpolnjen vsaj en od pogojev:

d1. ‖x‖ → ∞ ⇒ P (x) → ∞d2. Φ je omejena mnozica in ‖x‖ → ∞ ⇒ K(x, r) → ∞

Tedaj ima zaporedje x∗(r), r → ∞ resitev nalog (Ω, Q(., r),Min) vsaj eno stekalisceinK(x∗(r), r) → 0. Vsako stekalisce zaporedja x∗(r) pripada mnozici Min(Φ, P ).

Iz izreka izhaja naslednji postopek dolocanja resitev naloge (Φ, P,Min):

izberi zacetni r (npr. r := 1);loop

doloci x∗(r) ∈ Min(Ω, Q(., r)) z izbranimpostopkom resevanja nalog brez omejitev;if K(x∗(r), r) je dovolj majhna exit;povecaj r (npr. r := 10r)

endloop

PRIMER 3.6 Prikazimo metodo zunanje tocke na nalogi (Φ, P,Min) za

Φ = (x, y) ∈ IR2 : 3x− 2y ≥ 4

P (x, y) = x2 + y2

Nalogi pripada zunanja kriterijska funkcija

Q(x, y; r) =

x2 + y2 3x− 2y ≥ 4x2 + y2 + r(4 + 2y − 3x)2 3x− 2y < 4

Dolocimo resitev naloge (IR2, Q(., r),Min). V tem primeru lahko to naredimoanaliticno

∂Q

∂x= 0 = 2x− 6r(4 + 2y − 3x)

∂Q

∂y= 0 = 2y + 4r(4 + 2y − 3x)

oziroma, ko preuredimo

(1 + 9r)x− 6ry = 12r in − 6rx+ (1 + 4r)y = −8r


17. december 2003/ 10 : 23

66 Resevanje

od koder dobimo

x∗(r) =12r

1 + 13r=

12

13 + 1r

in y∗(r) =−8r

1 + 13r=

−8

13 + 1r

Tocke (x∗(r), y∗(r)) /∈ Φ, saj je

3x∗(r) − 2y∗(r) =52r

1 + 13r=

4

1 + 113r

< 4

Stekalisce zaporedja (x∗(r), y∗(r)) pa je ( 1213 ,− 8

13) ∈ Φ.

r x∗(r) y∗(r)

1 0.8571 -0.57142 0.8884 -0.59264 0.9057 -0.60388 0.9143 -0.6095

16 0.9187 -0.612432 0.9209 -0.613964 0.9220 -0.6146∞ 0.9231 -0.6154

2

3.7.2 Metoda notranje tocke

Glavna slabost metode zunanje tocke je, da se optimalnim tockam priblizujemood zunaj – zunaj mnozice dopustnih resitev Φ. Fiacco in McCormick (1968)sta predlagala nov pristop, ki odpravlja tudi to slabost za naloge (Φ, P,Min), zakatere je notranjost mnozice Φ

IntΦ = x ∈ Ω : Pi(x) < 0, i ∈ I

neprazna. Tocke, ki niso notranje, sestavljajo rob mnozice Φ

∂Φ = Φ \ IntΦ

Vpeljala sta zaprecno funkcijo

B(x) =

−∑i∈I1

Pi(x) x ∈ IntΦ∞ sicer

in kazensko kriterijsko funkcijo

Q(x, t) = P (x) + tB(x), t ≥ 0


17. december 2003/ 10 : 23


Za x ∈ IntΦ je B(x) ≥ 0. Funkcija Q(x, t) na IntΦ ohranja konveksnost inzveznost.

Kasneje so si izmislili se druge zaprecne funkcije, kot je na primer

B(x) =

−∑i∈I ln(−Pi(x)) x ∈ IntΦ∞ sicer

Zopet je mogoce pokazati:

IZREK 3.15 Naj bo Φ zaprta mnozica, IntΦ 6= ∅ in vsak x ∈ Φ je stekaliscenotranjih tock. Naj notranja kazenska funkcije B(x) zadosca pogojem

a. B(x) ≥ 0, x ∈ IntΦb. B(x) je zvezna na IntΦc. x→ ∂Φ ⇒ B(x) → ∞d. kriterijska funkcija P (x) je zvezna in je izpolnjen vsaj en od pogojev

d1. ‖x‖ → ∞ ⇒ P (x) → ∞d2. Φ je omejena mnozica

Tedaj ima zaporedje x∗(t), t→ 0 resitev nalog (Ω, Q(., t),Min) vsaj eno stekaliscein tB(x∗(t)) → 0. Vsako stekalisce zaporedja x∗(t) pripada mnozici Min(Φ, P ).

PRIMER 3.7 Metodo notranje tocke si oglejmo na preprosti nalogi (Φ, P,Min)

Φ = x ∈ IR : x ≥ 2 in P (x) = x

Nalogi pripada notranja kriterijska funkcija

Q(x; t) = x+t

x− 2

Resitev naloge (IR, Q(., t),Min) lahko dolocimo analiticno

∂Q

∂x= 0 = 1 − t

(x− 2)2

od koder dobimo x(t) = 2 ±√t oziroma x∗(t) = 2 +

√t ∈ Φ. Ker je

∂2Q∂x2 (x∗(t)) > 0, je v tej tocki minimum. Stekalisce zaporedja (x∗(t)), t → 0je tocka 2 ∈ Φ.

t x∗(t) Q(x∗(t), t)

1 3 40.25 2.5 30.01 2.1 2.2

0.0001 2.01 2.020 2 2

2


17. december 2003/ 10 : 23

Literatura

[1] Abramov L.M., Kapustin V.F.: Matematiceskoe programmirovanje. Izda-tel’stvo Leningradskogo universiteta, Leningrad, 1976.

[2] Aho A.V., Hopcroft J.E., Ullman J.D.: The design and analysis of computeralgorithms. Addison-Wesley, Reading, Mass., 1974.

[3] Amiouny S.V., Bartholdi J.J., Vande Vate J.H.: Heuristics for Balancing Tur-bine Fans. rokopis, 1998.

[4] Balinski M.L.: Integer programming. Management Science, 12(1965), 253- 313.

[5] Batagelj V., Pisanski T., Vranjes B.: Diskretni optimizacijski problemi. In-formatica 76, Bled 1976, 3.128, 1-5.

[6] Batagelj V.: Optimizacijske naloge – osnovni pojmi. Seminar za numericnoin racunalnisko matematiko , Ljubljana, 1978.

[7] Batagelj V.: Hamiltonova naloga za grafe. 8. seminar iz matematike: Za-nimiva matematika, DMFA SRS, Ljubljana, 1980, 13-25; Presek 11(1983-84)1, 4-16.

[8] Batagelj V.: Turbine ***. Seminar za numericno in racunalnisko matematiko, Ljubljana, 1988.

[9] Bazaraa M.S., Sherali H.D., Shetty C.M.: Nonlinear Programming, Theoryand Algorithms. Wiley, New York 1993.

[10] Bazaraa M.S., Jarvis J.J., Sherali H.D.: Linear Programming and NetworkFlows. Wiley, New York 1990.

[11] Bensoussan A., Lions J.L., Temam R.: Metody dekompozicii, decentral-izacii, koordinacii i ih prilozenija. v Metody vycislitel’noj matematiki.Nauka, Novosibirsk, 1975.


17. december 2003/ 10 : 23

202 LITERATURA

[12] Bonomi E., Lutton J.L.: The n-city travelling salesman problem: Statisticalmechanics and the Metropolis algorithm. SIAM review 26(1984)4, 551-568.

[13] Bourgeois F., Lassalle J-C.: An Extension of the Munkres Algorithm for theAssignment Problem to Rectangular Matrices. CACM 14(1971)12, 802-806.

[14] Bunday B.D.: Basic optimisation methods. Edward Arnold Ltd, London1984.

[15] Carre B.: Graphs and networks. Clarendon Press, Oxford 1979.

[16] Christofides N.: Graph Theory; An algorithmic approach. Academic Press,New York, 1975. (ruski prevod: Mir, Moskva 1978)

[17] Culioli J-C.: Introduction a l’Optimisation. Ellipses, Paris 1994.

[18] Computing. Handbooks in Operations Research and Management Science, 3(E.G. Coffman, Jr., J.K. Lenstra, A.H.G. Rinnooy Kan, eds.). North-Holland,Amsterdam 1992.

[19] Duffein R.J., Peterson E.L., Zener C.: Geometric Programming; Theory andApplications. John Wiley, New York 1967.

[20] Ermol’ev Ju.M., Ljasko I.I., Mihalevic V.S., Tjuptja V.I.: Matematiceskiemetody issledovanija operacij. Visca skola, Kiev 1979.

[21] Fargo F.: Nonconvex Programming. Akademiai Kiado, Budapest 1988.

[22] Feynman R.P.: Feynman Lectures on Computation. Addison-Wesley, Read-ing, MA 1996.

[23] Fiacco A.V., McCormick G.P.: Nonlinear programming: Sequential uncon-strained minimization techniques. Wiley, New York 1968. (ruski prevod:Mir, Moskva 1972).

[24] Filipic B.: Genetski algoritmi v kombinatoricni optimizaciji. Doktorska dis-ertacija, FER, Ljubljana 1993.

[25] Foulds L.R.: Combinatorial optimization for undergraduates. Springer-Verlag, New York 1984.

[26] Galas Z., Nykowski I.: Zbior zadan z programowania matematycznego.PWN, Warszawa, 1988.

[27] Garey M.R., Johnson D.S.: Computers and intractability, A guide to thetheory of NP-completeness. W.H. Freeman, San Francisco 1979.


17. december 2003/ 10 : 23

LITERATURA 203

[28] Garey M.R., Johnson D.S.: The complexity of near-optimal graph coloring.JACM, 23(1976), 43 - 49.

[29] Gibbons A.: Algorithmic Graph Theory. Cambridge University Press, Cam-bridge 1985.

[30] Glover F.: Tabu search. ORSA Journal on Computing. Part I: 1(1989)3, 190-206; Part II: 2(1990)1, 4-32.

[31] Gol’stejn E.G.: Teorija dvojstvennosti v matematiceskom programmirovaniii ee prilozenija. Nauka, Moskva 1971.

[32] Goldberg D.E.: Genetic Algorithms in Search, Optimization and MachineLearning. Addison-Wesley, Reading 1989.

[33] Hiriart-Urruty J-B.: L’optimisation. Que sais-je? 3184. Presses Universi-taires de France, Paris 1996.

[34] Holland J.H.: Adaptation in Natural and Artificial Systems. University ofMichigan Press, Ann Arbor 1975.

[35] Hopcroft J., Tarjan R.: Isomorphism of planar graphs. (ruski prevod) Kiber-neticeskij sbornik, 12, Mir, Moskva, 1975.

[36] Horowitz E., Sahni S.: Fundamentals of Computer Algorithms. ComputerScience Press, Rockville 1978.

[37] Jeter M.W.: Mathematical programming. Dekker, New York 1986.

[38] Karmanov V.G.: Matematiceskoe programmirovanie. Nauka, Moskva 1980.

[39] Karp R.M.: Reducibility among Combinatorial problems. (ruski prevod)Kiberneticeskij sbornik, 12, Mir, Moskva 1975.

[40] Kaufmann A.: Introduction a la combinatorique en vue des applications.(ruski prevod) Nauka, Moskva 1975.

[41] Knuth D.E.: The art of computer programming. Addison-Wesley, Reading,MA 19**??.

[42] Mos***: Turbine. ***, Reading, MA 1996.

[43] Klavzar S., Lokar M., Petkovsek M., Pisanski T.: Diskretna optimizacija.DMFA SRS, Ljubljana 1986.

[44] Koo D.: Elements of optimization. Springer-Verlag, Heidelberg 1977.


17. december 2003/ 10 : 23

204 LITERATURA

[45] Korbut A.A., Finkel’stejn J.J.: Diskretnoe programmirovanie. Nauka,Moskva 1969.

[46] Kozak J.: Podatkovne strukture in algoritmi. DMFA SRS, Ljubljana 1986.

[47] Lawler E.L., Lenstra J.K., Rinnooy Kan A.H.G., Shmoys D.B.: The Trav-eling Salesman Problem; A guided tour of combinatorial optimization. JohnWiley, New York 1986.

[48] Limic N., Pasagic H., Rnjak C.: Linearno i nelinearno programiranje. Infor-mator, Zagreb 1978.

[49] Maffioli F.: Randomized algorithms in combinatorial optimization: A sur-vey. Discrete Applied Mathematics 14(1986), 157-170.

[50] Martic L.: Nelinearno programiranje. Informator, Zagreb 1973

[51] McRoberts K.L.: A search model for evaluating combinatorially explosiveproblems. Operations Research, 19(1971), 1331 - 1349.

[52] Minoux M.: Mathematical programming. Theory and algorithms. Wiley,Chichester, 1986.

[53] Mitten L.G.: Branch-and-bound methods: general formulation and proper-ties. Operations Research, 18(1970), 24 -34.

[54] Mosevich J.: Balancing hydraulic turbine runners – A discrete combinatorialoptimization problem. European Journal of Operational Research 26(1986),202-204.

[55] Mohar B.: Aproksimacijski postopki za problem trgovskega potnika.Gradivo za 2. seminar: Izbrana poglavja iz racunalnistva, Oddelek zamatematiko, Ljubljana 1992.

[56] Murty K.: Linear and Combinatorial Programming. John Wiley, New York,1976.

[57] Padberg, Rinaldi: A branch and cut algorithm ... SIAM Review 33(1991)1,60-100.

[58] Papadimitriou C.H., Steiglitz K.: Combinatorial optimization: Algorithmsand complexity. Prentice-Hall, Englewood Cliffs, New Jersey 1982.

[59] Pardalos P.M., Rosen J.B.: Constrained global optimization: Algorithmsand applications. Lecture Notes in Computer Science 268. Springer-Verlag,Berlin 1987.


17. december 2003/ 10 : 23

LITERATURA 205

[60] Peressini A.L., Sullivan F.E., Uhl J.J.: The mathematics of nonlinear pro-gramming. Springer-Verlag, New York 1988.

[61] Podinovskij V.V., Nogin V.D.: Pareto-optimal’nye resenija mnogokrite-rial’nyh zadac. Nauka, Moskva 1982.

[62] Press W.H., Flannery B.P., Teukolsky S.A., Vetterling W.T.: NumericalRecipes; The art of scientific computing. Cambridge University Press, Cam-bridge, 1986.

[63] Rawlins G.J.E.: Foundations of Genetic Algorithms. Morgan Kaufmann,San Mateo 1991.

[64] Reeves C.R. ed.: Modern Heuristic Techniques for Combinatorial Problems.McGraw-Hill, London 1995.

[65] Reingold E.M., Nievergelt J., Deo N.: Combinatorial Algorithms; Theoryand practice. Prentice-Hall, Englewood Cliffs, NJ, 1977. (ruski prevod: Mir,Moskva, 1980)

[66] Roberts F.S.: Graph theory and Its Applications to Problems of Society.SIAM, Philadelphia 1978.

[67] Romanovskij I.V.: Algoritmy resenija ekstremal’nyh zadac. Nauka, Moskva1977.

[68] Saaty T.L.: Optimization in integers and related extremal problems.McGraw-Hill, New York 1970 (ruski prevod: Mir, Moskva 1973).

[69] Saaty L.T.: Multicriteria Decision Making – The Analytic Hierarchy Pro-cess. RWS Publications, Pittsburgh 1988.

[70] Sakovic V.A.: Issledovanie operacij. Visejsaja skola, Minsk, 1985.

[71] Sedgewick R.: Algorithms. Addison-Wesley, Reading, MA 1988.

[72] Shapiro J.F.: Mathematical programming: Structures and algorithms. Wiley,New York 1979.

[73] Soltan V.P.: Vvedenie v aksiomaticeskuju teoriju vypuklosti. Stiinca,Kisinev 1984.

[74] Suharev A.G., Timohov A.V., Fedorov V.V.: Kurs metodov optimizacii.Nauka, Moskva 1986.


17. december 2003/ 10 : 23

206 LITERATURA

[75] Sysło M.M., Deo N., Kowalik J.S.: Discrete Optimization Algorithms; withpascal programs. Prentice-Hall, Englewood Cliffs, NJ, 1983.

[76] Tarjan R.E.: Data Structures and Network Algorithms. SIAM, Philadelphia1983.

[77] Walukiewicz S.: Programowanie Dyskretne. PWN, Warszawa, 1986.

[78] Wirth N.: Racunalnisko programiranje. DMFA, Ljubljana.

[79] Zajcenko J.P.: Issledovanie operacij. Visca skola, Kiev 1975.

[80] Zakrajsek E.: Dualnost v linearnem programiranju. Seminar za numericnoin racunalnisko matematiko , Ljubljana 1979.

[81] Zangwill W.I.: Nonlinear programming, A unified approach. Prentice Hall,Englewood Cliffs, N.J. 1969.

[82] Zerovnik J.: Algoritem Ohlajanje. Gradivo za 2. seminar: Izbrana poglavjaiz racunalnistva, Oddelek za matematiko, Ljubljana, 1992.


17. december 2003/ 10 : 23

optimizacijske metode - vladimir batageljvlado.fmf.uni-lj.si/vlado/optim/opt1.pdf · korak pri...

Documents