metode optimizacije u projektovanju izvodi sa predavanja

Универзитет у Београду Машински факултет

Катедра за Машинске конструкције и механизацију Одсек за Транспортно инжењерство, конструкције и логистику Предмет:

МЕТОДЕ ОПТИМИЗАЦИЈЕ У ПРОЈЕКТОВАЊУ - Хендаути са предавања -

Предметни наставник Сарадник

доц. др. Ненад Косанић дипл. инг. Милош Рајковић

Машински факултет Универзитета у Београду

Одсек за Транспортно Инжењерство, Конструкције и Логистику

Методе оптимизације у пројектовању Страна: 2/77

С А Д Р Ж А Ј

1. Нумеричка анализа • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 5

1.1 Општи увод • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 5

1.2 Историја • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 6

1.3 Директне и итеративне методе • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 6

1.4 Дискретизација • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 7

2. Области проучавања нумеричким методама • • • • • • • • • • • • • • • • • • • • • • • 8

2.1 Прорачунавање вредности функција • • • • • • • • • • • • • • • • • • • • • • • • • • 8

2.2 Интерполација, екстраполација и регресија • • • • • • • • • • • • • • • • • • • • • • • 8

2.3 Решавање једначина и система једначина • • • • • • • • • • • • • • • • • • • • • • • 9

2.4 Оптимизација • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 9

2.5 Интеграција • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 10

2.6 Диференцијалне једначине • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 10

3. О П Т И М И З А Ц И Ј А • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 11

3.1 Историја • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 11

3.2 Главне подобласти • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 12

3.2.1 Вишециљна оптимизација • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 13

3.2.2 Мултимодална оптимизација • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 13

3.2.3 Бездимензиона оптимизација • • • • • • • • • • • • • • • • • • • • • • • • • • • • 14

3.3 Аналитичка карактеризација оптимума • • • • • • • • • • • • • • • • • • • • • • • • • 14

3.4 Рачунске оптимизационе технике • • • • • • • • • • • • • • • • • • • • • • • • • • • • 15

Л И Н Е А Р Н О П Р О Г Р А М И Р А Њ Е

4. Симплекс метод • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 17

5. Симплекс алгоритам • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 19

5.1 Симплекс табела • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 19

5.2 Промена базе (симплекс правила) • • • • • • • • • • • • • • • • • • • • • • • • • • • • 19

6. Метода ’’M’’ • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 23

6.1 Специјални случајеви • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 23




7. Матрична презентација • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 25

8. Анализа осетљивости • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 27

8.1 Осетљивост коефицјената функције циља • • • • • • • • • • • • • • • • • • • • • • • • 27

8.2 Осетљивост оптималног решења на промене коефицјената функције циља

базичних променљивих • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 28

8.3 Осетљивост десне стране ограничења • • • • • • • • • • • • • • • • • • • • • • • • • • 29

9. Транспортни проблем • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 31

Н Е Л И Н Е А Р Н О П Р О Г Р А М И Р А Њ Е

10. Основни концепти • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 35

10.1 Глобални (апсолутни) минимум • • • • • • • • • • • • • • • • • • • • • • • • • • • • 35

10.2 Локални (релативни) минимум • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 35

10.3 Вајерштрасова теорема • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 35

10.4 Градијентни вектор • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 37

10.5 Хесијан матрица • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 38

10.6 Развијање у Тејлоров ред • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 39

10.7 Квадратне форме и коначне матрице • • • • • • • • • • • • • • • • • • • • • • • • • • 40

10.7.1 Матрица квадратне форме • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 41

10.7.2 Форма матрица • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 42

10.8 Теорема за проверу коначности или полуконачности квад. форме или матрице • • 43

10.9 Теорема о главним минорима • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 44

10.10 Сопствене вредности и сопствени вектор • • • • • • • • • • • • • • • • • • • • • • • 44

10.11 Диференцијација квадратних форми • • • • • • • • • • • • • • • • • • • • • • • • • 45

10.11.1 Концепт потребних и довољних услова • • • • • • • • • • • • • • • • • • • • • • 46

10.11.2 Неограничени проблеми оптималног пројектовања • • • • • • • • • • • • • • • 47

10.11.3 Процедура за извођење услова оптималности • • • • • • • • • • • • • • • • • • 47

10.11.4 Потребан услов првог реда • • • • • • • • • • • • • • • • • • • • • • • • • • • • 47

10.11.5 Потребан услов другог реда • • • • • • • • • • • • • • • • • • • • • • • • • • • • 48

10.11.6 Услови оптималности за функцију више променљивих • • • • • • • • • • • • • • 49




11. Њутн – Рапсонов метод • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 52

11.1 Једна нелинеарна једначина • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 52

11.1.1 Кораци итеративне Њутн – Рапсонове методе • • • • • • • • • • • • • • • • • • • 53

11.2 Систем нелинеарних једначина • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 54

11.2.1 Кораци Њутн – Рапсоновог метода • • • • • • • • • • • • • • • • • • • • • • • • • 55

12. Ограничени проблеми оптималности • • • • • • • • • • • • • • • • • • • • • • • • • • • 57

12.1 Ограничења једнакости – потребни услови • • • • • • • • • • • • • • • • • • • • • • 57

12.2 Регуларна тачка • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 57

12.3 Лагранжеви множитељи и потребни услови • • • • • • • • • • • • • • • • • • • • • 57

12.4 Геометријско значење Лагранжових множитеља • • • • • • • • • • • • • • • • • • • 59

12.5 Теорема Лагранжових множитеља • • • • • • • • • • • • • • • • • • • • • • • • • • • 60

12.6 Потребни услови за ограничења неједнакости • • • • • • • • • • • • • • • • • • • • • 61

12.7 Теорема Кунтакерових потребних услова • • • • • • • • • • • • • • • • • • • • • • • 63

13. Глобална оптималност • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 69

13.1 Конвексни скупови • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 70

13.2 Конвексне функције • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 71

13.2.1 Теорема о провери конвексности функције • • • • • • • • • • • • • • • • • • • • • 72

13.2.2 Проблем конвексног програмирања • • • • • • • • • • • • • • • • • • • • • • • • 73

13.2.3 Теорема о глобалном минимуму • • • • • • • • • • • • • • • • • • • • • • • • • • 73

13.2.4 Теорема о потребним условима II реда за генерални ограничени проблем • • • 74

Референце • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 77

Напомена: Поглавља 1 - 3 прочитати информативно (неће бити на колоквијумима и завршном испиту). За испит спремити поглавља 4 - 15.




1. Нумеричка анализа

Нумеричка анализа [1] је проучавање алгоритама који користе нумеричке апроксима-ције [2] (за разлику од опште симболичке манипулације) за проблеме класичне математике (за разлику од дискретне математике).

Један од најранијих математи-чких списа је вавилонска глинена плоча [3] (7289 - те године пре нове ере.), која даје шесдесетодецималну нумеричку

апроксимацију броја √ , тј. дужину дијагонале у јединичном квадрату. Бити у стању израчунати стране троугла (и самим тим, бити у стању израчунати квадратни корен) је изузетно важно, на пример, у архитектури, грађевинарству и другим техничким наукама. Нумеричка анализа наставља дугу традицију практичних математи-чких прорачуна. Слично као вавилонска

апроксимација √ , савремена нумери-чка анализа не тражи тачан одговор, јер је тачне одговоре често немогуће добити у пракси. Уместо тога, велики део нумеричке анализе се бави добијањем приближних решења уз одржавање разумне границе грешке.

Нумеричка анализа природно проналази примену у свим областима инжењерства и физичким наукама; али у 21. веку, науке о животу, па чак и уметности су усвојиле елементе научних израчунавања. Обичне диференцијалне једначине [4] се појављују у кретању небеских тела (планета, звезда и галаксија), оптимизација се јавља у портфолио менаџменту; нумеричка линеарна алгебра [5] је важна за анализу података; Стохастичке диференцијалне једначине [6] и Маркови редови [7] су неопходни за симулацију живих ћелија у медицини и биологији. Пре појаве савремених рачунара, нумеричке методе су често зависиле од интерпола-ција [8] у великим штампаним табелама. Уместо тога, од средине 20. века, компјутери израчунавају потребне функције. Интерполациони алгоритми ипак могу да се користе као део софтвера за решавање диференцијалних једначина.

1.1 Општи увод Општи циљ у области нумеричке анализе је дизајн и анализа техника којима бисмо дали приближно тачна решења за тешке проблеме. Разноврсност техника и анализа која се предлаже је следећа:

• Напредне нумеричке методе су неопходне за израду изводљивости нумеричке прогнозе времена [9] • Прорачун путање летилице захтева прецизно нумеричко решење система ''обичних'' диференцијалних једначина.

Вавилонски глинени таблет из 7289 - те године П.Н.Е. (око 1800 - 1600 година пре Христа) са коментарима. Апроксимација

квадратног корена броја 2 (√2) је са четири шездесетодеци-мална броја: 1+24/60+51/60

2+10/60

3=1,41421296...




• Ауто компаније могу побољшати безбедност својих возила помоћу компјутерских симулација саобраћајне несреће. Таква симулација се у суштини састоји од решавања парцијалних диференцијалних једначина нумеричким методама. • Хеџ фондови (приватни инвестициони фондови), користите алатке из свих области нумеричке анализе, за израчунавање вредности акција и деривата тачније од других учесника на тржишту. • Авио - компаније користе софистициране алгоритме за оптимизацију при одлуци о цени карата, задатака за авионе и посаде и прорачун потрошње горива. Ова област се назива операциона истраживања [10]. • Осигуравајуће компаније користе нумеричке програме за актуарске [11] анализе. У остатку овог одељка описује се неколико важних тема из нумеричке анализе.

1.2 Историја Област нумеричких анализа претеча је открића модерног рачунара за много векова. Линеарне интерполације су већ биле у употреби више од 2000 година. Многи велики математичари из прошлости били су преокупирани нумеричким анализама, што је очигледно из имена важних алгоритама као што су: Њутн - ов метод, Лагранжева интерполација [12], Гаусова елиминација [13] или Ојлер - ов метод [14]. Да би се олакшали ручни прорачуни, одштампане су велике књиге са формулама и табелама података, као што су интерполације тачака и функције коефицијената. Коришћењем ових табела бројева, често обрачунатих са 16 децималних места или више за неке функције, могла се наћи прецизна вредност коју укључујући у дате формуле, чини да постижете веома добре нумеричке процене појединих функција. Канонски рад у овој области је ''NIST'' - публикација [15] измењена од стране Абрамовича и Стегун - а, књига од преко 1000 страница са веома великим бројем најчешће коришћених формула и функција и њихове вредности у многим тачкама. Функције вредности више нису корисне сада када је рачунар доступан, али велики списак формула и даље може бити веома користан. Механички калкулатор је такође развијен као алат за ручно рачунање. Ови калкулато-ри су прерасли у електронски рачунар 1940 - те, а тада је утврђено да су ови рачунари такође корисни за административне сврхе. Али, проналазак рачунара је утицао и на поље нумеричке анализе, јер су сада могли да се ураде дужи и сложенији прорачуни за краће време.

1.3 Директне и итеративне методе Директним методама израчунавамо решење проблема у коначном броју корака. Ове методе ће дати прецизан одговор да ли су извршена у бесконачно прецизној аритметици. Примери укључују Гаусову елиминацију, ''QR'' факторизацију за решавање система линеарних једначина, и симплекс метода [16] у оквиру линеарног програмирања. У пракси, користи се коначна прецизност, а резултат је апроксимација правог решења (под претпоставком стабилности). За разлику од директних метода, од итеративне методе се не очекује да се заврши у неколико корака. Полазећи од почетне претпоставке, итеративне методе формирају сукцесивне апроксимације које конвергирају на тачно решење само у оквиру задатог ограничења (грешке). Тест конвергенције се ради да би се одлучило када је пронађено решење довољно прецизно. Чак и коришћењем бесконачно прецизне аритметике, ова метода




неће доћи до решења у оквиру коначног броја корака (уопштено). Примери укључују Њутнов метод, метод бисекције и Јакоби итерације. У рачунској алгебри са матрицама, итеративне методе се генерално користе за велике (сложене) проблеме. У нумеричкој анализи, итеративне методе се чешће користе него директне. Неке методе су директне у принципу, али се обично користе као да нису, нпр. ''GMRES'' [17] и коњуговано - градијентна метода. За ове методе је број корака потребних за добијање тачног решења толико велики да је апроксимација прихваћена на исти начин као и за итеративни метод. Пример директне против итеративних метода: Размотримо проблем решавања једначине , за непознат број x.

Директна метода

Одузимање 4

Дељење са 3

Узитање корена

За итеративни метод, примењује се метод Бисекција на ( ) . Почетне вредности су ( ) ( ) .

Итеративни метод

a b средина f(средина)

0 3 1.5 -13,875

1,5 3 2,25 10,17 ...

1,5 2,25 1,875 -4,22 ...

1,875 2,25 2,0625 2,32 ...

Закључујемо из ове табеле да је решење између 1,875 и 2,0625. Алгоритам би могао вратити било који број у том опсегу уз грешку мању од 0,2.

1.4 Дискретизација Континуирани проблеми морају понекад бити замењени дискретним проблемом чије решење је познато да је приближно решењу континуираног проблема; Овај процес се зове дискретизација [18]. На пример, решење диференцијалне једначине је функција. Ова функција мора бити представљена коначаним бројем података, на пример, сопственом вредношћу на коначаном броју бодова на свом домену, иако је ова област континуум. Пример: У два сата током трке, меримо брзину аутомобила у три различита тренутка и снимамо их у следећој табели:




Време 0:20 1:00 1:40

km/h 140 150 180

Дискретизација би била када би се рекло да је брзина аутомобила била константна од 0:00 до 0:40, а затим од 0:40 до 1:20 и на крају од 1:20 до 2:00 сати. На пример, укупна пређена километража у првих 40 минута је око (2/3 h x 140 km/h) = 93,3 km. То ће нам омогућити да проценимо укупну дужину пута као 93,3 km + 100 km + 120 km = 313,3 km, што је пример нумеричке интеграције коришћењем Риманове суме [19], јер је кретање (пређени пут) интеграл од брзине.

2. Области проучавања нумеричким методама

Област нумеричких анализа је подељена у различите дисциплине у складу са пробле-мом који треба да се реши.

2.1 Прорачунавање вредности функција

Један од најједноставнијих проблема је процена функције у датој тачки. Најједно-ставнији приступ, простог прикључивања броја у формулу понекад и није веома ефикасан. За полиноме, бољи приступ је коришћење Хорнер шеме [20], јер смањује потребан број множења и додатака. Генерално, важно је да се процени и контролише заокруживање грешака [21] које проистичу из коришћења записа са покретним зарезом [22].

2.2 Интерполација, екстраполација и регресија

Интерполација решава следећи проблем: имајући у виду вредност неке непознате функције на одређеном броју тачака, коју вредност има та функција на некој другој тачки између датих тачака? Екстраполација [23] је веома слична интерполацији, осим што сада желимо да пронађемо вредност непознате функције у тачки која је изван дате тачке. Регресија [24] је такође слична, али узима у обзир да су подаци непрецизни. Узимајући у обзир неке тачке, као и мерење вредности неке функције у тим тачкама (са грешком), желимо да се утврди непозната функција. Метод најмањег квадрата [25] је један популаран начин да се то постигне.




Пример интерполације: Приметили смо да температура варира од 20 степени Целзијуса у 1:00 часова, до 14 степени у 3:00 часова. Линеарном интерполацијом ових података би се могло закључити да је 17 степени у 2:00 часова и 18,5 степени Целзијуса у 1:30 по подне. Пример екстраполације: Ако бруто домаћи производ земље расте просечно 5% годишње и био је 100 милијарди долара прошле године, можемо извести да ће БДП ове године бити 105 милијарди долара. Пример регресије: У линеарној регресији, имајући у виду n тачака, израчунавамо линију која пролази што ближе овим n тачкама.

2.3 Решавање једначина и система једначина

Још један основни проблем је рачунање решења неке дате једначине. Разликују се два уобичајена случаја, у зависности од тога да ли је једначина линеарна или не. На пример, једначина је линеарна, а није. Много напора је уложено у развој метода за решавање система линеарних једначина. Стандарднe директне методе, односно методе које користе неке матрице разлагања су Гаусова елиминација, ''LU'' декомпозиција, декомпозиција Чхолески [26] за симетричне (или хермитске), позитивно - дефинитивне матрице и ''QR'' декомпозиција за не - квадратне матрице. Итеративне методе, као што је Јакоби метода, Гаус - Сеидел метода, сукцесивне и коњуговано градијентне методе су обично пожељне за велике системе. Алгоритми за проналажење корена се користе за решавање нелинеарних једначина (они су тако названи јер корен функције је аргумент за који је функција приноса нула). Ако је функција диференцијабилна и извод је познат, онда је Њутнов метод популаран избор. Линеаризација је још једна техника за решавање нелинеарних једначина.

2.4 Оптимизација

Оптимизацијони проблеми траже тачку у којој је дата функција максимизована (или минимализована). Често, тачка такође мора да задовољи нека ограничења. Област оптимизације је даље подељена на неколико подобласти, у зависности од облика функције циља и ограничења. На пример, линеарно програмирање [27] бави се




случајем да су обе функције циља и ограничења линеарне. Познати метод линеарног програмирања је симплекс метода. Метода Лагранжових множитеља може да се користи за смањење проблема оптимизације са ограничењима на неограниченим оптимизационим проблемима. Детаљније о оптимизацији у поглављу 3. Пример оптимизације: Рецимо да продајете лимунаду на штанду, и да сте истакли обавеште-ње да је једна чаша 1 €. Ако можете да продате 197 чаша лимунаде дневно, и ако знате да ћете за сваки раст од 0,01 ЕУР, продавати дневно једну чашу мање; Ако бисте могли наплатити 1,485 €, требало би да повећате свој профит, али због ограничења да цена може да расте за само 1 Евроцент, чаша од 1,49 € ће дати максималан приход од 220,52 € по дану.

2.5 Интеграција

Нумеричке интеграције [28] , у неким случајевима, такође познате и као нумеричка квадратура, траже вредност одређеног интеграла. Популарне методе користе једну од Њутн - Кот формула (као што је правило средње вредности или Симпсон правило) или Гаусову квадратуру. Ови методи се ослањају на "подели па освоји" стратегији, при чему интеграл, релативно велики скуп, је подељен на интеграле у мањим скуповима. На вишим нивоима, где ове методе постају претерано неефикасне у смислу рачунског напора, може се користити Монте Карло [29] или квази - Монте Карло метода [30] , или, у средње великим димензијама интеграла, метод ретких мрежа [31].

2.6 Диференцијалне једначине

Нумеричка анализа се такође бави са израчунавањем (у приближној мери) у решавању диференцијалних једначина, како обичних диференцијалних једначина тако и парцијалних диференцијалних једначина. Парцијалне диференцијалне једначине се решавају тако што ћете прво једначину довести на коначно - димензиони ниво. То може да уради метода коначних елемената [32], метода коначних разлика [33], или (нарочито у инжењерству) метода коначних запремина [34]. Теоријски опис ових метода често укључује теореме из функционалне анализе. То смањује проблем решевања алгебарске једначине. Пример примене диференцијалних једначина: Ако сте подесили 10 вентилатора да дува ваздух са једног краја собе на други, а затим пустите перо на ветру, шта се дешава? Перо ће пратити струје ваздуха, које могу бити веома сложене. Једна од апроксимација је да меримо брзину којом ваздух дува у близини пера сваке секунде, и наставимо да пратимо перо као да се креће у правој линији истом брзином. За једну секунду, измеримо брзину ветра поново. То се зове Ојлерова метода за решавање обичних диференцијалних једначина.




3. О П Т И М И З А Ц И Ј А

У математици, рачунарству и економији, оптимизација [35], или математичко про-грамирање, се односи на избор најбољег елемента неког скупа у оквиру расположивих алтернатива. У најједноставнијем случају, то значи решавање проблема у којима се настоји да се минимизира или максимизира ''права'' функција, систематским избором вредности реалног или целобројног броја променљиве у оквиру дозвољених променљивих у скупу. Ова формулација, користећи скалар, реалну функцију циља, је вероватно најједноставнији пример; уопштавање оптимизацијске теорије и технике у друге формулације обухвата велики део примењене математике. Уопштено, то значи проналажење "најбољих могућих", вредности неких функција циља у оквиру дефинисаног домена, укључујући и различите врсте циљне функције и различите врсте домена.

3.1 Историја

Прва оптимизациона техника, која је позната као ''најстрмија опадајућа'' [36], потиче из времена Гауса. Историјски гледано, први термин који је уведен је био линеарно програмирање, који је увео Џорџ Дантзиг [37] 1940. Термин програмирање у овом контексту не односи на компјутерско програмирање (иако се рачунари данас користе екстензивно за решавање математичких проблема). Уместо тога, термин потиче од коришћења програма од стране војске САД који се односи на предложену обуку и логистичке распореде, који су проблеми које је Дантзиг студирао у то време. (Осим тога, касније, употреба термина "програмирање" је очигледно била важна за добијање финансијских средстава, јер је била повезана са истаживањима високих технологија које су сматране важним). Други важни математичари из области оптимизације су:

• Ричард Белман • Аркадиј Немировски

• Роналд А. Хауард • Јуриј Нестеров

• Леонид Канторович • Џон фон Нојман

• Нарендра Кармаркар • Борис Полјак

• Вилијам Каруш • Лев Понтриагин

• Леонид Качијан • Џејмс Ренегар

• Бернард Копман • Кис Рус

• Харолд Кун • Наум З. Шор

• Жозеф Луј Лагранж • Михаел Ј. Тод

• Лазло Ловаз • Алберт Такер




3.2 Главне подобласти • Конвексно програмирање [38] проучава случај, када је функција циља конвексна и ограничења, ако постоје, да ли формирају конвексан скуп. Ово се може посматрати као посебан случај нелинеарног програмирања или као генерализација линеарног или конвексног квадратног програмирања. • Линеарно програмирање (LP), тип конвексног програмирања, проучава случај у коме функција циља ф је линеарна и скуп ограничења који је наведен користи само линеарне једнакости и неједнакости. Такав скуп се назива Полихедронски или Политопски ако је ограничен. • Дворедно ''кон'' програмирање (SOCP) [39] је конвексни програм, и укључује одређене врсте квадратних програма. • Полу - дефинисано програмирање (SDP) [40] је подпоље конвексне оптимизације у којима су варијабле полу - дефинисане матрице. То је уопштавање линеарног и конвексног квадратног програмирања. • Конично програмирање [41] је општи облик конвексног програмирања. LP, SOCP и SDP могу се посматрати као конусни програми са одговарајућим типом конуса. • Геометријско програмирање [42] је техника у којој су циљ и неједнакости ограничења изражени као ''посиноминали'' и једнакости ограничења као ''мономинали'' и могу се трансформисати у конвексан програм. • Целобројно програмирање [43] проучава линеарне програме у којима су неке или све променљиве ограничене на целобројне вредности. Ово није конвексно програмирање, и уопште много је теже него регуларно линеарно програмирање. • Квадратно програмирање [44] дозвољава функцији циља да има квадратне чланове, док скуп А мора бити одређен са линеарним једнакостима и неједнакостима. За специфичне облике квадратне функције, ово је тип конвексног програмирања. • Нелинеарно програмирање [45] проучава општи случај у коме функције циља или ограни-чења, или оба, садрже нелинеарне делове. Ово може или немора бити конвексан програм. Уопштено говорећи, конвексност програма утиче на тешкоће у решавању више од линеарности. • Стохастичко програмирање проучава [46] случајеве у којима неки од параметара или ограничења зависе од случајних променљивих. • ''Робусно'' програмирање [47] је, као стохастичко програмирање, покушај да се ухвати неизвесност у подацима основног оптимизационог проблема. То се не ради помоћу случајних променљивих, већ уместо тога, проблем се решава, узимајући у обзир грешке при уносу података. • Комбинаторна оптимизација [48] се бави проблемима, где је скуп могућих решења дискретан, или се може свести на једно дискретно решење. • Бесконачно - димензионисана оптимизација [49] проучава случај када је скуп могућих решења подскуп бесконачно - димензионалног простора, као што је простор функција.




• Хеуристички алгоритми [50] • Метахеуристици [51] • Студија задовољавајућих ограничења [52] проучава случај у коме је функција циља f константа (ово се користи код вештачке интеличенције, нарочито у аутоматизованом схватању (свести)). • Програмирање ограничењима [53] • Раставно програмирање се користи тамо где најмање једно ограничење мора бити задовољено, али не сва. Од посебне користи у формирању електронског распореда. • Оптимизација трајекторије [54] је посебна врста оптимизације трајекторија за вазду-шне и свемирске летелице. У једном броју подобласти, технике су примарно дизајниране за оптимизацију у дина-мичном контексту (то јест, доношење одлука током времена): • Калкулус варијација [55] тражи да оптимизује циљ дефинисан са многим тачкама у вре-мену, узимајући у обзир како се функција циља мења ако постоји мала промена у изабраном путу. • Теорија оптималне контроле [56] је генерализација калкулус варијације. • Динамичко програмирање [57] проучава случајеве у којима је оптимизациона стратегија заснована на дељењу проблема на мање потпроблема. Једначина која описује однос између ових потпроблема се зове Белманова једначина. • Математичко програмирање са ограничењима равнотеже [58] је када су у ограничења укључене варијационе неједнакости и комплементарност.

3.2.1 Вишециљна оптимизација

Додавањем више од једног циља, оптимизациони проблем постаје комплекснији. На пример, ако сте желели да оптимизујете конструкцију, желели бисте дизајн који чини да је конструкција и лака и крута. Пошто ова два захтева чине сукоб циљева, компромис мора да постоји. Имаћемо дизајн најлакше конструкције и један најкруће, а између њих бесконачан број пројеката који су неки компромис између тежине и крутости. Овај скуп компромиса дизајна је познат као Паретов скуп [59]. Крива зависности тежине од крутости најбољег дизајна позната је као Парето граница. Дизајн се процењује да је Парето оптималан, ако не доминирају други пројекти: Парето оптималан дизајн мора бити бољи од другог дизајна у најмање једном аспекту. Ако је гори од другог дизајна у сваком аспекту, онда је доминирао неки други и овај није Парето оптималан.

3.2.2 Мултимодална оптимизација

Оптимизацијони проблеми су често мулти - модални, тј. они поседују више добрих решења. Сви они могу бити глобално добри (иста вредност функције циља), или би могли да




буду мешавина глобално добрих и локално добрих решења. Добијања свих (или бар неких од) вишешеструких решења је циљ мултимодалних Оптимизера. Класичне технике оптимизације због итеративног приступа не функционишу на задовољавајући начин када се користе за добијање вишеструких решења, јер се не гарантује да ће се добити различита решења чак и са различитим тачкама полазишта у вишеструким применама алгоритма. Еволутивни алгоритми су, међутим веома популарни приступ за добијање више решења у мулти - модалним оптимизационим задацима.

3.2.3 Бездимензиона оптимизација

Бездимензиона оптимизација се користи у проблемима у дизајнирању, и састоји се од следећих корака: • Приказивање димензија дизајна ''без димензија'' • Избор локалног региона дизајна простора за обављање анализа • Креирање I - оптималног дизајна у оквиру локалног дизајн простора • Формирање ''површина одговора'' [60] на основу анализе Оптимизација дизајна заснована je на процени функције циља, користећи ''одговор површину'' модела.

3.3 Аналитичка карактеризација оптимума

Да ли је могуће да задовољи све услове? Програм задовољивости, такође називан проблем изводљивости [61], је само проблем проналажења било којег изводљивог решења, без обзира на објективну вредност. То се може посматрати као посебан случај математичке оптимизације где је циљна вредност иста за свако решење, па је свако решење оптимално. Многи алгоритми за оптимизацију треба да крену од могуће тачке. Један начин да се добије таква тачка је да се прошире услови изводљивости користећи додатне променљиве; са довољно ових променљивих, било која полазна тачка је изводљива. Затим, смањујемо број променљивих и сужавамо проширене услове све док не падну на нулу или негативну вредност. Да ли постоји оптимално? Теорема Екстрема [62] (Екстремне вредности) Карла Вајерштраса (Немачки математи-чар, 1815 - 1897) наводи услове под којима оптимално постоји. Како можемо наћи оптимално? Једна од Фермаових теорема [63] тврди да се Оптима од неограниченог проблема налази на стационарним тачкама, где је први извод или градијент функције циља нула. Још више уопштено, могу се наћи на критичним тачкама [64], где је први извод или градијент функције циља нула или је недефинисан, или на граници скупа избора. Једначина, наводећи да је први извод једнак нули у унутрашњем оптимуму се понекад назива "услов првог реда". Оптима неједнако - ограничених проблема, се проналази Лагранж мултипликаторском методом. Овај метод израчунава систем неједнакости под називом ''Каруш - Кун - Такерови'' услови [65] или "комплементарне лабавости условима ", који се тада се користи за израчунавање оптимале.




Док први извод теста идентификује тачке, које могу бити Оптима, он не може да разликује тачку која је минимум од оне која је максимум или она који није ниједно. Када је функција циља два пута диференцијабилна, ови случајеви могу се разликовати укључивањем другог извода или матрице другог извода (под називом Хесијан матрице [66]) у неограниченим проблемима; или матрица другог извода функције циља и ограничења се зове гранични Хесијан. Услови који разликују максимум и минимум из других стационарних тачака се понекад називају "услови другог реда". Како се мења оптимум ако се промени проблем? Теорема Коверте [67] описује како се вредност оптималног решења мења када се промене основни параметри. Максимум теорема [68], Клода Берге - а (1926 - 2002, Француски математичар, теорема из 1963) описује континуитет оптималног решења у функцији основних параметара.

3.4 Рачунске оптимизационе технике

Оптимизационе методе су грубо подељени у две групе: SVO - Оптимизација са једном променљивом [69] MVO - Оптимизација са више променљивих [70] За два пута диференцијабилне функције, неограничени проблеми могу се решити проналажењем места где је градијент функције циља нула (то јест, стационарне тачке) и коришћењем Хесијан матрице да класификује врсту сваке тачке. Ако је Хесијан дефинисан и позитиван, тачка је локални минимум, ако је негативан локални максимум, а ако је неодређен, нека врста превојне тачке. Постојање извода није увек претпостављено и многе методе су настале за специфичне ситуације. Основне класе метода, на основу глаткоће функције циља су: • Комбинаторне методе • Методе без интеграције • Методе првог реда • Методе другог реда Методе које се негде између категорија наведених изнад су: • ''Сноп'' методе • Коњуговано - градијентна метода • Метода елипсоида • Франк Волф метода • Градијент порекла - звани најстрмији опадајући или најстрмији растући • Метод унутрашњих (интерних) тачака • Метод линијског претраживања - техника за једнодимензионалне оптимизације, обично се користи као потпрограм за друге, више опште технике • Нелдер - Меад метод звани Амоеба метод • Њутнов метод • Квази - Њутн методе • Симплекс метода • Метод субградијента - сличан као Градијент метод у случају да не постоје градијенти




Уколико су функције циља конвексне у целој области од интереса, онда било који локални минимум ће такође бити глобални минимум. Постоје робустне, брзе нумеричке технике за оптимизацију два пута диференцијабилне конвексне функције. Ограничени проблеми могу често бити трансформисани у неограничене проблеме уз помоћ Лагранжових множитеља. Ево неколико других популарних метода: • Оптимизација ''мрав колонија'' • Бат алгоритам • Претрага по линији • Алгоритам ''пчеле'' • Диференцијална еволуција • Еволуција стратегије • Метод испуњене функције • Алгоритам ''Firefly'' • Генетски алгоритми • Хармонијска претрага • Планинарење • IOSO • Оптимизација ''роја'' честица • Квантно жарење • Симулација жарења • Стохастички тунел • Табу претраживање

Примене Проблеми у динамици крутог тела [71] (посебно у зглобној динамици крутог тела), често захтевају технике математичког програмирања, јер можете да видите динамику крутих тела као покушај да се реши обична диференцијална једначина са вишеструким ограничењима; ограничења су разна нелинеарна геометријска ограничења као што су "ове две тачке морају увек да се поклапају ", или "ова површина не сме да продре у било коју другу површину", или "ова тачка мора увек да лежи негде на овој кривој ". Такође, проблем рачунања контактног напрезања може да се уради решавањем линеарних проблема комплементарности [72], који се такође могу посматрати као квадратно програмирање проблема. Многи проблеми у дизајну се могу изразити као оптимизациони програми. Ова апликација се зове оптимизација дизајна. Један подскуп је инжењеринг оптимизација, а друга новија и све већа подобласт ове области је мултидисциплинарна оптимизација, која је корисна у многим проблемима, а посебно је била примењена на авио инжењерским проблемима. Економија се такође ослања на математичко програмирање. Често проучавамо проблем у Микроекономији, максимизациони проблем, и његов проблем дуалности [73] и то су економски проблеми оптимизације. Купци и фирме се претпоставља да максимално користе свој профит/корисност. Такође, агенти се најчешће подразумева да имају аверзије према ризику, тако да желе да минимизирају ризик где год би могли бити изложени. Цене некретнина су, такође, објашњене коришћењем оптимизације, иако је у основи теорија много компликованија него једноставна корисност или профит за оптимизацију. Теорија трговине такође користи оптимизацију да би објаснила обрасце трговине међу народима. Друго поље које користи оптимизационе технике интензивно је операциона истраживања [74].




Л И Н Е А Р Н О П Р О Г Р А М И Р А Њ Е

4. Симплекс метод Симплекс метод је први, најједноставнији и најелементарнији метод програмирања (1947. Данцин). Читава област линеарног и нелинеарног програмирања зове се: Операциона истраживања или математичко програмирање. Користи се аутономно или у некој другој области. Основни појмови су: - функција циља - функција ограничења (дефинишу изводљиве или допустљива решења)

( ) , где је c – коефицјент функције циља (трошка) Ограничења могу бити линеарне или нелинеарне једначине или неједначине.

}

где је: m – број ограничења n – број променљивих Ограничења су најчешће неједначине. Оне се затим трансформишу у једначине зато што се са једначинама много лакше ради. Правила за трансформације: • Неједнакости ≤ трансформишу се у једнакости додавањем допунских променљивих , . . . до колико је потребно. • Неједнакости ≥ трансформишу се у једнакости одузимањем допунских променљи-вих и додавањем вештачких променљивих. Допунске променљиве имају своје физичко тумачење, а вештачке немају и користе се само да би се генерисало почетно базично изводљиво решење. Све променљиве ( ), по дефиницији линеарног програмирања, као и ресурси ( ). Све додатне и допунске променљиве, као и вештачке су ненегативне. се додаје да се дефинише почетно базично решење. У општем случају n > m. Систем је конзистентан – не постоји јединствено решење. Две кључне теореме су:

• Базична теорема линеарног програмирања: У систему од m једначина са n промен-љивих за n > m, решење у коме најмање (n – m) променљивих има вредност 0, представља екстремну тачку. Или:




Било које решење добијено када се (n – m) променљивих изједначи са 0, а систем реши по преосталих m променљивих, представља екстремну тачку. Оваква решења називају се базичним решењем.

• Теорема екстремне тачке: Оптимално решење проблема линеарног програмирања

налази се бар у једној од екстремних тачака изводљиве области. Разлог трансформације ≤ и ≥ у = је да се омогући симплекс методи да проблем реши по екстремним тачкама изводљиве области. Симплекс метод ’’ради’’ само са базичним извод-љивим решењем.

( )

има оволико базичних решења али нису сва изводљива. Пример: ; ограничења , ( )

Решење X1 X2 X3 X4

изводљиво

неизводљиво

A 0 0 12 16 (0; 0)

B 0 6 0 -8 (0; 6)

C 0 4 4 0 (0; 4)

D 4 0 0 8 (4; 0)

E 8 0 -12 0 (8; 0)

F 2 3 0 0 (2; 3)

( )

Базична изводљива решења су у теменима. Хипер равни:

∑

Било који број n би дефинисао неки рогаљ.




5. Симплекс алгоритам

Симплекс алгоритам је итеративна процедура за одређивање базичних решења изводљивих решења из система једначина и тестирање решења на оптималу. Алгоритам подразумева ’’кретање’’ из једног базичног изводљивог решења у друго изводљиво решење побољшљвајући (или у најгоре случају, задржавајући исту) вредност функције циља. Другим речима, израчунава се само неколико вредности екстремних тачака, тј. мања група базичних изводљивих решења.

5.1 Симплекс табела После трансформације неједнакости у једнакости, додавањем и одузимањем додатних и додавањем вештачких променљивих, формира се симплекс табела. Пример: ; ограничења База ( )

∑

где је:

– релативни коефицјент трошка. Служи да покаже која ће од тренутно небазичних проме-

нљивих ући у базу у новом базичном изводљивом решењу. ( ) Канонски систем једначина – у сваком реду по једна ’’1’’ и одмах може да се прочита почетно базично решење.

5.2 Промена базе Вредност функције циља може се повећати (смањити) укључујући једну тренутно небазичну променљиву у базу. Како је број базичних променљивих константан, онда и једна тренутно базична променљива мора да изађе из базе и да постане небазична. Овај процес назива се промена базе.

Cj 3 2 0 0 0 Решење (b) Cb база X1 X2 X3 X4 X5

0 X3 2 1 1 0 0 12

0 X4 5 1 0 1 0 10

0 X5 4 -3 0 0 1

3 2 0 0 0 F = 0




ред у симплекс табели користи се за одређивање променљиве која ће ући у базу. Бројеви у

овом реду показују промену вредности функције циља за улазак јединичне променљиве Xj у базу. • Симплекс правило број 1: Избор променљиве за улазак у базу одређује се на основу

реда. У проблему max F променљива која ће ући у базу мора имати максималну вредност .

Ако су све вредности реда непозитивне, тада је текуће базично решење оптимално. При

min F у базу улази променљива са најнегативнијом вредношћу . Ако сусве вредности

ненегативне тада је текуће базично решење оптимално. Ако има више променљивих за улазак

у базу са истом вредношћу реда, за улазак у базу бира се променљива на случајан начин.

• Симплекс правило број 2: Променљива која мора да напусти базу добија се деље-њем броја у колони ’’решење’’ са коефицјентом ограничења колоне променљиве која улази у базу. За излаз из базе бира се променљива са минималним односом. Ако постоји више истих односа, бира се један од њих на случајан начин. Пример (на основу табеле из претходног примера): X1 улази.

; ако је тај случај се не разматра

У новом базичном решењу биће: X3 , X1 , X5 .

Колона променљиве која улази у базу назива се пивот колона. Ред променљиве која

излази из базе назива се пивот ред. Број у пресеку пивот колоне и пивот реда зове се пивот број.

Нови пивот ред добија се дељењем старог пивот реда са пивот бројем. Наставак примера: 2 ред / : 5 →

Нови редови се добијају одузимањем новог пивот реда помноженог са коефицјентом ограничења у пивот колони старог реда од старог реда.

Стари ред 1

(

)

}

Нови ред 1 На исти начин добија се и нови ред 3:

Стари ред 3

(

)

}

Нови ред 3




Поступак се понавља док не буду све нуле у реду за максимум или све негативне

вредности за минимум. Коефицјент са негативним вредностима у пивот колони се не узима у обзир. Нови пивот ред:

Нови ред број 1:

(

)

Нови ред број 3:

(

)

Решење чија је реална вредност једнака нули, зове се дегенерисано решење.

Директно очитавање: , , . . . – базичне променљиве – небазичне променљиве Ако небазична променљива уђе у базу, она мења решење ; ; Већ: ;

; . . . , . . .

Cj 3 2 0 0 0 Решење

Cb база X1 X2 X3 X4 X5

0 X3 0

1

0 8

пивот ред 3 X1 1

0

0 2

0 X5 0

0

1 8

0

0

0 6

пивот колона

Cj 3 2 0 0 0 Решење (b)

Cb база X1 X2 X3 X4 X5

0 X3 2 1 1 0 0 12

0 X4 5 1 0 1 0 10

0 X5 4 -3 0 0 1

3 2 0 0 0 F = 0




∑

∑ ( )

∑ ( )

∑

∑ ( )

Симплекс правило број 1:

∑

док

Излази:

{

} ; k – индекс базичне променљиве која улази у базу

повећавамо док нека базична променљива не постане 0. само ово!




6. Метода ’’М’’

Симплекс алгоритам захтева почетно изводљиво базично решење које није увек могуће добити једноставним додавањем или одузимањем додатних променљивих. У овом случају проблем се мора модификовати додавањем ’’вештачких’’ променљивих. Вештачке променљиве немају своје физичко значење и претстављају ’’лажне’’ променљиве које се додају једначинама и неједначинама ограничења искључиво да би се генерисало почетно базично изводљиво решење. У финалној симплекс табели вештачке променљиве морају имати вредност 0. Због тога се коефицјентима вештачких променљивих у функцији циља у проблемима минимизације ( ) додељују екстремно високе вредности, а у проблемима максимизације ( ) екстремно мале вредности (негативне). Симплекс алгоритам ће потом кроз итерације избацити вештачке променљиве из базе. Пример: ;

у почетној симплекс табели базичне променљиве су , , , ;

6.1 Специјални случајеви

I случај: НЕМА ИЗВОДЉИВОГ РЕШЕЊА Ако су ограничења узајамно искључива не постоји изводљиво решење, тј. у бази финалне табеле појављује се једна или више вештачких променљивих.




II случај: ВИШЕСТРУКО ОПТИМАЛНО РЕШЕЊЕ Ово решење постоји ако је вредност реда једне небазичне променљиве нула. То

значи да ова променљива може бити укључена у базу без промене вредности функције циља. Ово решење је такође оптимално.

Овај случај јавља се када је нека од хипер равни ограничења, паралелна функцији циља.

III случај: НЕОГРАНИЧЕНЕ ПРОМЕНЉИВЕ У одређеним специјалним применама линеарног програмирања могуће је да одређене променљиве имају негативне вредности. Ове променљиве зову се слободне. Слободне проме-нљиве најчешће се замењују са две ненегативне променљиве.




7. Матрична презентација

са ограничењима

c – вектор врста коефицјент у функцији циља x – вектор колона променљивих A – матрица коефицјената ограничења R – вектор колона десне стране једначине Пример:

Почетна симплекс табела може да се напише у матричном облику.

I – јединична матрица m x m Xb – вектор колона базичних променљивих Cb – вектор колона кеофицјента функције циља базичних променљивих

Међутабеле као и финална симплекс табела такође се може представити матрицом.

База C Решење

Cb Xb B-1A B-1 B-1R

C-Cbt B-1A - Cb

t B-1 Cbt B-1·R

B-1 – инверзна матрица коефицјената ограничења текућих базичних променљивих B – матрица коефицјената ограничења текућих базичних променљивих B – m x m Прва колона матрице B садржи коефицјенте колоне ограничења за прву Cb променљиву из почетне табеле. Инверзна матрица заузима место у другим итерацијама матрице I из почетне табеле.

Cj 3 4 5 4 0 0 0 Решење

Cb Xb X1 X2 X3 X4 X5 X6 X7

0 X5 2 5 4 3 1 0 0 224

0 X6 5 4 -5 10 0 1 0 280

0 X7 2 4 4 -2 0 0 1 184

3 4 5 4 0 0 0 F = 0

C

Cb Xb А I R

C O




[

]

[ ⁄ ⁄

⁄ ⁄

⁄

⁄ ⁄ ⁄ ]

[ ⁄ ⁄

⁄ ⁄

⁄

⁄ ⁄ ⁄ ]

(

) [ ]

( )( )(

)

( ) (

) (

⁄

⁄

)

( )( )( ) (

⁄ )

( ) (

⁄ ) ( ⁄ )

Cj Решење


4 X4 0

0 1

0

8

3 X1 1 1 0 0

60

5 X3 0

1 0

20

0

0 0

F = 312




8. Анализа осетљивости Параметри линеарног програмирања (кеофицјенти функције циља, коефицјент ограничења и десна страна ограничења) нису увек са сигурношћу познати и могу се при решавању проблема мењати. Такође може доћи и до промене броја променљивих и броја ограничења у моделу линеарног програмирања. Анализа осетљивости има за циљ да испита ефекте ових промена на оптимално решење.

8.1 Осетљивост коефицјената функције циља Осетљивост оптималног решења на промене коефицјената функције циља одређује се

из услова да параметар мора бити у финалној табели, да би решење остало оптимално; за проблем максимизације непозитиван, а запроблем минимизације ненегативан. Пример: До решења класичним путем. Имамо финалну табелу из претходног примера:

Најпре ћемо одредити осетљивост оптималног решења на промене коефицјената функције циља небазичних променљивих. 14 14

Ово значи да се C2 може повећавати од садашње вредности 4 на максимално 34/5, дакле за 14/5 да би оптимално решење остало непромењено. Ако се коефицјент функције циља повећа преко 14/5 → решење неће остати исто (оптимално), односно X2 ће ући у базу. На исти начин одређујемо осетљивост осталих небазичних променљивих.

Cj Решење


4 X4 0

0 1

0

8

3 X1 1 1 0 0

60

5 X3 0

1 0

20

0

0 0

F = 312




8.2 Осетљивост оптималног решења на промене коефицјената функције циља базичних променљивих

Како сви морају бити мањи или једнаки нули, онда је то систем неједначина.

(

)

}

Ако C1 узима вредности у интервалу [ ], текуће базично решење остаје оптимално, а уколико је C1 ван овог интервала, потребно је променити базу.

Cj C1 4 5 4 0 0 0 Решење


4 X4 0

0 1

0

8

C1 X5 1 1 0 0

60

5 X3 0

1 0

20

0 (

) 0 0




8.3 Осетљивост десне стране ограничења

Осетљивост на промене вредности ресурса – десне стране ограничења, одређује се из израза за вредност базичних променљивих у матричној презентацији.

Пример:

(

⁄ ⁄

⁄ ⁄

⁄

⁄ ⁄ ⁄ )

(

) (

)

}

Ако коефицјент узима у интервалу [ ], вредност оптималног решења се не мења.

∑




∑

∑

∑ ( ∑

)

∑

∑

∑ ∑

∑

текућа вредност функције циља

∑ ( ∑

)

⏟

∑

∑

Само у функцији небазичних променљивих.

Матрична презентација: B , B-1 ;

Cb – вектор функције циља у функцији базичне променљиве (вектор врста) Aj – колона у почетној матрици оптерећења.

Са матрицама – модификована симплекс метода.




9. Транспортни проблем m – изворишта и n – одредишта Изворишта су места где постоје неке расположиве количине ( ), а у одредиштима су потребне количине ( ) и .

Задатак је да се одреди потребна количина тако да транспорт најмање кошта.

∑∑

Ограничења:

∑

∑

1O Количина делова која се транспортује из i – тог изворишта не може бити већа од расположиве количине у том изворишту.

∑∑

∑

2O Количина производа која се допрема у j – то одредиште не сме бити мања од потребне количине у том одредишту

∑∑

∑

Када стоји знак једнако (=) у ограничењима, ради се о затвореном транспортном проблему. Све променљиве морају бити веће од нуле (>0).

Постоје два отворена случаја: I случај: Уведемо фиктивно извориште које чува количину потребну да задовољи разлику.

∑

∑

∑

∑

· · · · ·

· · · · ·




- коефицјент фиктивних изворишта у функцији циља

– количине које недостају одредишту

Сводимо проблем на затоврени →

∑

∑

II случај: Уведемо фиктивно одредиште које прихвата вишак.

∑

∑

∑

∑

- неискоришћене залихе у изворишту → Сводимо на:

∑

∑

Пример: небазична остало

Одредишта

О1 О2 О3 Расположиве

количине Изворишта

И1 1

6 40

5

7

40

И2 45 4

8

15 6

60 15

И3 9

25 7

25 10

50 25

Потребне количине 45 65 40 ∑ = 150

x - јединични трошкови транспорта m = 3 n = 3 m + n = 6 ограничења

m · n = 9 променљивих

По теорији највише (m + n - 1) независних променљивих (базичних).




Постоји више метода за одређивање почетног решења. 1 – метода северозападног угла 2 – метода најмањег трошка (double checking) 3 – метода контуре (stepping stone) 4 – модификована метода (метода потенцијала) – МОДИ Прво се гледа по редовима који су најмањи трошкови, а затим по колонама. Почетно базично изводљиво решење: М Е Т О Д А Н А Ј М А Њ Е Г Т Р О Ш К А

М Е Т О Д А К О Н Т У Р Е + и - Дода се у небазичну ’ + , поремети се ред па мора ’ -

+ и - за сва небазична поља; сад за 13 →

У базу улази најнегативнија,

(1,2) (1,3)

– → (3,3) постаје небазична 15 → 0 50 ново базично решење Сад све исто; кад су сви релативни трошкови нула или већи од нуле, крај. М О Д И М Е Т О Д А

базичне променљиве (m + n – 1) једначина

(*) ( ) ; -

-

У (m + n – 1) имамо (m + n) и променљивих и једна од и има слободну вредност,

углавном се узима нула (највише).




Узима се да је решимо систем једначина. те вредности у (*) П ЦЕЛОБРОЈНО ПРОГРАМИРАЊЕ (бинарно 0 – 1) Р – метода асигнације (распоређивања) или додељен или недодељен

проблем извршиоцу – метода трговачког путника – метода кинеског поштара – метод ствари




Н Е Л И Н Е А Р Н О П Р О Г Р А М И Р А Њ Е

10. Основни концепти

Ограничен скуп S (област изводљивих решења – изводљива област) је скуп изводљивих пројеката. Проблем оптимизације састоји се у налажењу пројеката у области изводљивих решења који даје најчешће минималну вредност функције циља (функције трошка) у ограниченом скупу.

( )

10.1 Глобални (апсолутни) минимум

Функција ( ) од n променљивих има глобални (апсолутни) минимум у тачки X* (X и X* су вектори) ако је ( ) ( ) . . . (1.1) Ако је неједнакост стриктна за сем за X* тада је X* глобални (апсолутни, стриктни) минимум.

10.2 Локални (релативни) минимум

Функција ( ) од n променљивих има локални (релативни) минимум у X* ако је

неједнакост (1.1) тачна у малој околини N тачки X* у скупу S. Ако је неједнакост стриктна (<) тада се X* назива стриктни локални минимум. Околина N се математички дефинише као скуп тачака.

{ ‖ ‖ } Геометријски, то је мала изводљива област која садржи X*. ( ) може имати стриктни глобални минимум у само једној тачки, а глобални минимум у неколико тачака ако има исту вредност у свакој од тих тачака. Функција може имати стриктни локални минимум у само једној тачки у околини N тачке X*. Она, међутим, може имати локални минимум у неколико тачака у N ако је вредност функције иста у свим тачкама.

10.3 Вајерштрасова теорема

Ако је ( ) континуална у скупу изводљивих решења S који је затворен и ограничен,

тада ( ) има глобални минимум у S. S је затворен ако укључује све своје граничне тачке. S је ограничен ако за

, где је C неки коначан број. Тачкасти (скаларни) производ два n – димензиона вектора x и y је

( ) ∑

Вектори су ортогонални ако је њихов тачкасти производ нула. Уколико вектори нису ортогонални, угао између њих се може израчунати из дефиниције тачкастих производа.




( ) ‖ ‖‖ ‖ Дужина или норма вектора x је

‖ ‖ √∑

√ √

Функција ( ) n променљивих је континуална у тачки X* ако за било које постоји такво да

| ( ) ( )| кад год је ‖ ‖ За све тачке X у малој околини тачке X* промена вредности функције је мала када је функција континуална. Континуалне функције, међутим, не морају да буду диференцијабилне. Два пута континуално диференцијабилна функција значи да је, не само функција два пута диференцијабилна, већ је и други извод континуалан.

континуална и диференцијабилна континуална и недиференцијабилна функција у функција тачкама X1 . . . X5

дисконтинуална функција дисконтинуална функција Када услови Вајерштрасове теореме нису задовољени, глобално решење можда још увек постоји. Теорема не искључује ову могућност, већ је не гарантује. Када су услови испуњени, постојање глобалног минимума је гарантовано.




10.4 Градијентни вектор

Функција ( ) m променљивих има своје парцијалне изводе у тачки X* по X1, по X2 у X* до последњег извода

( )

( )

( )

( )

( ) ( )

Вектор колона парцијалног извода се назива градијентни вектор

( )

( )

[ ( )

( )

( )

]

[ ( )

( )

]

( )

Геометријски, градијент v је нормала на тангентну раван у датој тачки X*.

Градијент v је усмерен у правцу максимума повећања функције ( ).




Пример: Израчунати градијент v функције: ( ) ( )

( ) у тачки X* (1,8 ; 1,6)

( )

( )

( )

[ ]

10.5 Хесијан матрица

Диференцирајући градијентни вектор још једном (свака компонента градијентног вектора диференцира се по свакој променљивој ) добија се матрица два парцијална извода функције ( ) која се назива Хесијан матрица.

[

]

( )

Сваки елемент Хесијана је такође функција која се израчунава у датој тачки X*. Како је усвојено да је ( ) два пута континуално диференцијабилно, мешовити парцијални изводи су једнаки.

Хесијан је увек симетрична матрица.

[

] ( )

Пример: Израчунати H функције ( )

у (1; 2)




( ) [

]

( ) [

]

10.6 Развијање у Тејлоров ред

Функција се може апроксимирати полиномом у околини било које тачке помоћу њене вредности и извода користећи Тејлоров развој у ред. Тејлоров развој око тачке X* је

( ) ( ) ( )

( )

( )

( ) ( )

R је остатак који је мањи од претходног члана уколико је X довољно близу X*. Ако је Тејлоров развој у ред постаје:

( ) ( ) ( )

( )

( )

За функцију од две променљиве Тејлоров развој у тачкама

и биће:

( ) (

)

(

)

(

)

[

(

)

(

)( )

(

) ]

( ) (

) ∑

( )

∑∑

( )(

) ( )

Како су величине ⁄ компоненте градијента функције дате у једначини (1.3) и

⁄ компоненте Хесијана у једначини (1.5) израчунате у тачки X*, Тејлоров развој у ред

може се написати у облику:

∑ ( )

( ) ( ) ( )

( ) ( ) ( )

Тејлоров развој се на овај начин генерализује у функцију од n променљивих. Дефинишући , једначина 1.10 постаје

( ) ( )

( )

Када се X помера у малој околини тачке X* око које смо развили Тејлоров полином, мења се вредност функције. Ако ову промену означимо ( ) ( ) тада једначина (1.11) даје:




( )

Разлика првог реда ( ) у тачки X* означава се са и добија се задржавајући само први члан једначине (1.12) ( ) мала разлика (промена) Разлика првог реда је тачкасти производ вектора градијента и вектора и . Разлика првог реда је прихватљива апроксимација промене почетне функције ( ) када је X близу X*. Пример: Развити у Тејлоров ред функцију две променљиве до разлика другог реда.

( ) у тачки ( )

[

]

[ ] [

]

[

] [

]

Заменом ових израза у матрични облик, Тејлоров развој у ред користећи , добијамо

апроксимацију ( ) функције ( ), где је ( ) .

( ) [ ]

[( )

( )]

[( )

( )]

[

] [( )

( )]

( )

( )

10.7 Квадратне форме и коначне матрице

Квадратна форма је специјална нелинеарна функција која има само чланове другог реда. На пример:

( )

; Размотримо функцију и променљиве ( )

( ) написану у облику:

( )

∑∑

( )

где су: – познате константе




Квадратне форме играју важну улогу у оптимизацији. Једначина (1.14) може се написати у развијеном облику:

( )

(

) ( )

( ) ( )

Функција се назива квадратна форма јер је сваки од чланова или квадрат променљиве или производ две различите променљиве.

10.7.1 Матрица квадратне форме

Квадратна форма може се написати у матричној нотацији. Нека је матрица [ ]

и нека је ( ) n – димензиони вектор и ( ) други n – димензиони вектор добијен множењем са →

∑

( ) ( )

Једначину (1.16) можемо написати као:

( )

∑

(∑

)

( )

∑

Збир десне стране је скаларни производ x и y, тј. ( ), а како је онда у матричној презентацији квадратна форма има облик

( )

( )

P – матрица квадратне форме F(x). Елементи матрице су коефицјенти чланова функције F(x). Осим квадратних чланова, сваки производ ( ) се појављује два пута.

Једначину (1.15) можемо да напишемо у облику:

( )

{[

] [( ) ( ) ]

[( ) ( ) ] [( ) ]} ( )

Дакле, за , коефицјент за је ( ).

Дефинишемо елементарну n x n матрицу A kao:

( ) ( )

и може се показати да је




Дакле, у (1.20) збир ( ) можемо заменити збиром ( ), па:

( )

( )

Вредност квадратне форме се не мења само када се P замени са A. Матрица A је увек симетрична матрица, , док матрица P није симетрична. Тако се било

која квадратна форма облика

( )

може се заменити идентичном квадратном формом

( )

Са истом квадратном формом могу се сјединити многе матрице, али је само једна симетрична. Симетрична матрица је увек јединствена. Из једначина (1.11) и (1.22) види се да је трећи члан Тејлоровог развоја у ред управо квадратна форма променљивих . Хесијан H је у ствари матрица квадратне форме. Пример: Идентификовати матрицу квадратне форме:

( )

(

)

Решење: пишући квадратну форму у матричном облику ( )

добијамо

( )

[ ] [

] [

]

коефицјент уз



Коефицјенти могу се поделити између елементарних и матрица P. Збир

мора бити исти за коефицјенте . Постоји много матрица сједињених са квадратном

формом.

[

] ( )

[ ] [

] [

]

10.7.2 Форма матрица

Квадратна форма ( ) може бити + , - или 0 за било које x. 1О Ако је она увек позитивна, осим за ( ). Тада се назива позитивно коначна. 2О Ако је она увек негативна, осим за ( ). Тада се назива негативно коначна. 3О Ако постоји бар један , за кога је ( ) , квадратна форма се назива позитивно полу – коначна. За све остале x квадратна форма је + .




4О Ако постоји бар један , за кога је ( ) , а за све остале вредности x је негативно, таква квадратна форма назива се негативно полуконачна. 5О Квадратна форма која је за неке вредности x позитивна, а за неко x негативна, зове се бесконачна. Симетрична матрица A назива се позитивно – коначна, позитивно – полуконачна, негативно – коначна, негативно – полуконачна и бесконачна, ако је квадратна форма (повезана са матрицом A) позитивно – коначна, позитивно – полуконачна, негативно – коначна, негативно – полуконачна или бесконачна. Пример: Одредити форму матрице:

a) [

]

Квдратна форма сједињена са матрицом A је увек позитивна.

(

) ; само за

и матрица A је увек позитивно коначна.

b) [

]

(

) [ ( )

] ; за све

Када је и ( ( )) за те вредности квадратне функције је , а за све

остале вредности увек мања од нуле, па је ова матрица негативно полуконачна.

10.8 Теорема за проверу коначности или полуконачности квадратне форме или матрице

Нека су ( ) n сопствених вредности симетричне n x n матрице A сједињене

са квадратном формом ( )

. Следеће релације важе како за квадратну форму тако и

за матрицу A: 1О ( ) је позитивна коначна ако и само ако су све матрице A стриктно позитивне, тј. 2О ( ) је позитивна полуконачна ако и само ако су све матрице A ненегативне, тј. (бар једна сопствена вредност мора бити = 0). 3О ( ) је негативна коначна ако и само ако су све матрице A стриктно негативне, тј. 4О ( ) је негативна полуконачна ако и само ако су све матрице A непозитивне, тј. (бар једно мора бити једнако нули). 5О ( ) је неограничена ако и само ако су неке а неке .




10.9 Теорема о главним минорима Нека је k – ти главни минор симетричне n x n матрице A која се дефинише као детерминанта k x k подматрице добијене брисањем последњих (n - k) редова и колона матрице A. Претпоставља се да ниједан од два узастопна главна минора није нула. Тада следи: 1О A је позитивна коначна ако и само ако су сви главни минори позитивни, 2О A је позитивна полуконачна ако и само ако су (бар један главни минор мора бити једнак нули). 3О A је негативна коначна ако и само ако за непарно и за парне . 4О A је негативна полуконачна ако и само ако за непарно и за парне . 5О A је бесконачна ако не задовољава ни један од горе наведених услова. Теорија квадратне форме користи се за услове другог реда за тачку локалног оптимума. Такође, користи се за одређивање конвексности функције у оптимизационим проблемима. Конвексне функције имају важну улогу у одређивању тачке глобалног оптимума.

10.10 Сопствене вредности и сопствени вектор За дату n x n матрицу А било који ненула вектор x који задовољава једнакост (проблем одређивања средње вредности дефинисан је са) ( ), где је скалирајући вектор, назива се сопствени вектор. Скалар назива се сопствена вредност. Како је из једначине (1') може се видети да је дато као корен такозване карактеристичне једначине.

| | ( ) Једначина (2') даје полином n - тог степена по . Корени полинома су тражени сопствени вектори. Претпоставићемо да је А симетрична матрица.

Пример: Наћи сопствену вредност и сопствене векторе матрица [

]

Проблем сопствене вредности је дефинисан следећим изразом

[

] [ ] [

]

Карактеристични полином дат је изразом

[

]

Сопствени вектор:

[( ) ( )

] [ ]




Решење је ( ) а други карактеристични вектор је за

[( ) ( )

] [ ] ( )

Може се показати да је (нормални вектори)

[

] [

] [

]

[

] ( )[( ) ]

; ; ; Пошто је , а полуконачна матрица

; |

| |

|

Два узастопна ; не можемо да применимо теорему о минорима.

10.11 Диференцијација квадратних форми Размотримо следећу квадратну форму (на пример ону из једначине 1.22) и напишимо је у сумарној нотацији:

( )

∑∑

( )

Да би смо је диференцирали најпре развијмо израз па диференцирајмо по . Да би добили:

( )

∑

( )

Пишући парцијалне изводе (1.24) у облику вектора тачке добијамо градијент квадратне форме. Градијент квадратне форме има облик:

( ) ( ) Диференцирајући (1.24) још једном, а сада по :

( )

( )

Једначина (1.26) показује да су компоненте матрице А заправо компоненте Хесијан матрице

за квадратну форму. А мора бити (квадратна) симетрична матрица квадратне форме.




Пример: Израчунати градијент и Хесијан квадратне форме:

( )

(

)

( )

( )

( )

( )

( )

( )

( )

( )

( )

( )

( )

Пишући квадратну форму у матричном облику, идентификујемо матрицу А.

[

]

Упоређујући елементе и А са другим параметрима из F видимо да је H = A. Користећи (1.25) градијент квадратне форме је дат као:

( ) [

] [

] [

]

10.11.1 Концепт потребних и довољних услова Услови који морају бити задовољени у оптималној тачки називају се потребним. Ако било која тачка не задовољава потребне услове, она не може бити оптимална. Задовољење потребних услова не гарантује оптимум. Тачке које задовољавају потребне услове називају се кандидатима за нулу. Услови довољности обезбеђују тестове за идентфикацију оптималних и неоптималних тачака. Ако тачка кандидат задовољава довољне услове, она је тада заиста оптимум. Ако услови довољности нису задовољени или се не могу применити, нисмо у могућности да извучемо било који закључак оптималности тачке кандидата. Потребне су даље анализе или други услови да би се испитала оптималност тачке кандидата.




10.11.2 Неограничени проблеми оптималног пројектовања Ови проблеми гласе: minF без било каквог ограничења. Ови проблеми ретко се јављају у пракси, међутим услови оптималности за ограничене проблеме су само локално проширење неограничених проблема. Такође, нумеричка стратегија за решавање ограничених проблема састоји се у томе да се они пребаце у низ неограничених проблема.

10.11.3 Процедура за извођење услова оптималности Услови оптималности користе се за одређивање кандидата за min тачку функције. Размотримо прво услове за неограничене проблеме: - Претпоставимо да смо у min тачки X* и да испитујемо блиску околину да би испитали својства функције и њених извода (локални оптимум - зато што тако испитујемо само блиску околину X* услове које добијамо називају се локални). Нека је X било која тачка у блиској околини X*. Прираштај променљиве:

а прираштај функције за:

( ) ( ) Како ( ) има локални минимум у X*, не може се даље смањивати, ако се померамо за ново растојање. Дакле, промена функције за било које померање у блиској околини , мора бити ненегативно за малу промену .

( ) Ова неједнакост може се користити за извођење потребних и довољних услова за тачку локалног минимума. Како је d мало, се може апроксимирати Тејлоровим развојем у ред за тачку X* и на овај начин добити услови оптималности.

Услови оптималности за функцију једне променљиве

10.11.4 Потребан услов првог реда Тејлоров развој у ред функције ( ) у тачки X* даје:

( ) ( ) ( )

( )

( ) може бити негативно без обзира на знак ( ) Промена вредности функције:

( )

( ) ( )

Видимо да (1.28) може бити позитивна или негативна, зависно од знака члана ( ) , а може бити + или - . Како је d мало, члан првог реда једначине (1.28) је знатно већи од осталих чланова. Због тога је потребан услов првог реда, да је:




( ) ( ) Услов првог реда јер он користи само први извод функције. Овај услов је такође потребан и залокални максимум и за седласту (превојну) тачку (за стационарне тачке).

Довољни услови

Овим условом одређује се која од тачака кандидата (специјалних тачака) је стриктни локални минимум функције. Како стварне тачке задовољавају потребни услов ( ) ,

( )

( ) ( )

Стационарне тачке које не задовољавају (1.30) морају бити бар локални минимум јер задовољавају (1.27). ( ). Функција има позитивну закривљеност у позитивној тачки.

10.11.5 Потребан услов другог реда Ако (1.30) није задовољена, тј. ако је ( ) , не можемо закључити да X* није минимална тачка. Такође из (1.27) и (1.28) следи да ( ) не може бити минимум, уколико није испуњено да је:

( ) ( ) Ова неједнакост (1.31) је потребан услов другог реда, па било која тачка која га крши ( ( ) ) не може бити локални минимум. Ако је ( ) морамо израчунати изводе вишег реда да би одредили да ли је тачка локални минимум или не. Ако није онда мора

( ) , то је потребан услов, а ( ) мора бити већи од нуле; да би X* био локални минимум. Генерално, да би тачке биле стационарне (потребни услови) најнижи извод различит од нуле мора бити парног реда и мора бити позитиван, да би тачка била локални минимум (довољан услов). Сви изводи непарног реда нижи од извода парног реда, различитог од нуле, морају бити нула (потребан услов). Пример 1: Наћи локални минимум функције ( ) ( ) све позитивне вредности осим за ( ) ( ) ( ) ( ) ( ) за све , довољан услов је задовољен. је локални минимум за ( ).




Пример 2: Наћи локални минимум функције ( )

( )

( ) потребан услов

( )

A

( )

B

(

) ( ) 1. min (

) ( ) 1. max Функција нема глобални минимум.

10.11.6 Услови оптималности за функцију више променљивих Нека је ( ) функција n променљивих, па вишедимензиона форма Тејлоровог развоја у ред гласи:

( ) ( ) ( )

( )

промена вредности функције (разлика функције)

( )

( ) ( )

Ако претпоставимо да је локални минимум у тачки X* тада мора бити ненегативно. Значи, задржавајући се на првом члану (1.32), може бити ненегативно за све d када је

( ) ( ) односно, када је ( ) . У компонентној форми потребан услов гласи:

( )

( )

Тачке које задовољавају ову једнакост, називају се стационарне тачке. Позитивност обезебеђена је ако је:

( ) ( ) Ово је испуњено само ако је ( ) позитивно коначна матрица, што је довољан услов за локални минимум функције ( ) у тачки X*.




ТЕОРЕМА: Потребни и довољни услови за локални минимум

Ако ( ) има локални минимум у X*, тада је ( )

потребан услов

првог реда. Потребан услов другог реда: Ако ( ) има један минимум у X* тада је

( ) [ ( )

]

позитивно коначна или позитивно полуконачна у тачки X*. Довољан услов другог реда: Ако је ( ) позитивно коначна у стационарној тачки X*, тада је X* тачка локалног минимума функције ( ).


Једначине су линеарне по и . Потребан услов стационарна тачка

[

] [ ] (

)

Да би проверили да ли је стационарна тачка локални минимум, израчунавамо H у X*.

[

]

[

]

| |

|

|

√

√

H је коначна позитивна матрица у X*. То је елипса:

( ) [( ) ( )]




Пример 2: Наћи стационарну тачку функције ( )

Потребан услов:

( )

Њутн - Рапсоновом методом нађена друга два корена (нумеричка метода)

( ) ( )

Провера да ли су тачке локални минимум, максимум или стационарна тачка.

1. ,

; ( ) ; локални максимум (A)

2.

, ; ( ) локални минимум (B) 3.

, ; ( ) локални минимум (C)


Потребни услови:

( )

( )

}

( )

( )

[

]

( )

[

]

Како су обе сопствене вредности позитивне Хесијан ( ) - а у X* је позитивна коначна, дакле ( ) је локални минимум са ( ) .




11. Њутн – Рапсонов метод У оптимизацији нелинеарне једначине настају код састављања потребних услова за оптималност неограничених или ограничених проблема. Корени нелинеарног система једначина представљају кандидате за минималну тачку. Аналитичко решење нелинеарних једначина је готово немогуће осим за врло просте случајеве у којима се може спровести елиминација променљивих. У овој методи, налази се истовремено, само једно решење у зависности од почетног решења. Уколико почетна тачка није у околини решења, метода може да не доведе до решења.

11.1 Једна нелинеарна једначина ( ) ( ) Ако постоји почетно решење, решење ћемо итеративно побољшавати док не нађемо корен једначине.

( ) ( ) ( ) ( )

где је k - број итерација; ( ) - почетно решење; ( ) - је промена процене у k - тој операцији Итерације се настављају све док не буде задовољена једначина C1.

Развијмо израз за ( ) око текуће процене вредности ( ) у линеаран Тејлоров ред:

( ( ) ( )) ( ( )) ( ( ))

( ) ( )

( ( )) је текућа вредност функције

( ) је текућа процена корена ( ( ))

је текући нагиб (текући градијент)

Треба да нађемо ( ) тако да једначина C1 задовољена у некој процени вредности

корена, тј. у ( ( ) ( )).

Стављајући да је једначина C3 = 0, следи ( ) ( ( ))

( )

За свако k, ( ) се израчунава из једначине C4 и добија нова процена за корен једначине. Процес се наставља све док се не добије да је ( ) .

Δ ABC: ( )( )

( )

( ( ))

( ) ( )( )




11.1.1 Кораци итеративне Њутн – Рапсонове методе

1. Изабрати почетну тачку у ( ) и параметар δ за заустављање итерацијоног процеса. Ставити да је k = 0.

2. Израчунати функцију у текућој процени ( ( )), па онда проверити конвергенцију. Ако је

| ( ( ))| , зауставити се и онда је ( ) корен једначине ( ) .

У супротном наставити даље.

3. Израчунати извод функције

у текућој процени ( ).

4. Израчунати ( ) ( )( )

5. Ажурирати процену корена као ( ) ( ) ( ) 6. Ставити и ићи на корак 2.

Пример: Наћи корен једначине користећи Њутн - Рапсонов метод стартујући из ( )

( )

1. ( ) ; ;

2. ( ( ))

| | , ( ) није корен.

3.

4. ( ) ( )( )

5. ( ) ( ) ( ) 6. (поново на корак 2) Потребно је 4 итерације до решења.

( ) ( ( )) ( ( ))

( )

0 1,00 - 0,175 0,1264 1,383

1 2,383 0,9 0,1393 0,646

2 1,737 0,172 0,832 - 0,207

3 1,53 0,021 0,626 - 0,034

4 1,496 0,00013 < δ




11.2 Систем нелинеарних једначина Ако имамо за систем n - нелинеарних једначина, можемо га написати у векторском облику (C5) ( ) где су ( ) и , и димензиони вектори.

Стартујемо од ( ) и то је текућа процена једначине (C5) и она се итеративно побољшава.

( ) ( ) ( ) ( ) Критеријум заустављања је да се израчуна дужина вектора ( )

‖ ( )‖ √∑{ ( )}

( )

и да се усвоји X* као корен једначине ( ) ако је мали број

‖ ( )‖ ( ) Или, зауставни критеријум може да буде да највећа компонента ( ) задовољава зауставни критеријум.

| |

Треба развити формулу за ( ). Размотримо случај са две једначине и две непознате (n = 2).

( ) ( ) ( )

( )

( )

( )

( )

( )

( ) ( )

Да би добили изразе за ( )

и ( )

из (b) пишемо израз за линеаран Тејлоров развој у ред за

функције и око текуће процене ( ) и изједначавамо га са нулом.

( ( ) ( ))

( )

( )

( ( ) ( ))

( )

( )

( )

где се парцијални изводи ⁄ израчунавају у текућим проценама ( )

и ( )

. Једначине у

(c) су линеарне по ( )

и ( )

. Оне се решавају по ( )

и ( )

и једначина (b) се користи за ''update'' процене мреже. Поступак се наставља до постизања инвергенције.

[ ( )

( )]

[

]

[

( )

( )] [

] ( )

( ) (

( ) ( ))

( ) (

( ) ( ))

( ) [ ( )] ( )




Ј - Јакобијан матрица система једначина Јакобијан је по дифиницији: n x n матрица парцијалних извода

[ ]

( )

i - ти ред Ј је транспоновани градијентни вектор од ( ), тј. . Ако се инверзна матрица Ј

може израчунати имамо ( ).

( ) ( ) ( )

Лакше је израчунати ( ) решавањем линеарног система једначина из (C9)

[ ( )] ( ) ( )

11.2.1 Кораци Њутн – Рапсоновог метода

1. Изабери почетну тачку ( ) заустављање итеративног процеса.

2. Израчунати у ( ). ( ( )) - испитати конвергенцију. Ако је ‖ ( )‖ крај ( )

У противном корак 3.

3. Израчунати Ј у текућој процени ( ) има у једначини (C10)

[ ]

4. Израчинати ( ) према (C12). 5. Ажурирати процену корена користећи једначину (C6). 6. Ставити и ићи на корак број 2. Метода даје истовремено само једно решење, а конвергира зависно од почетне тачке

( ). Да би нашли све корене, поступак се мора поновити из нових почетних тачака. Метод није од помоћи ако је Ј сингуларан у било којој итеризацији. Пример: Наћи корене система нелинеарних једначина:

( )

( )

[

]

[

]




1. Нека је ( ) ( )

2. ( ( ))

(

( ))

‖ ‖ √( ) ( ) па ( ) није корен једначине

[

] Сад формирамо систем једначина

[

] [

( )

( )] [

]

( )

( )

5. ( )

( )

( )

( )

( )

( )

6. ( )

( )

( )

‖ ( )‖

0 500 1 7751

1 651 1,33 3206

2 822 1,77 1291

3 976 2,35 489,2

4 1047 3,049 161,3

5 1025 3,677 38,5

6 1003 3,963 3,98

7 1000,3 3,9995 0,05

‖ ( )‖

Дакле, ( ) ( ) је корен система једначина (e) и (f) и задовољавају мењану тачност. Тачан корен једначине је ( )




12. Ограничени проблеми оптималности Генерални модел оптим пројектовања је наћи вектор пројектних променљивих ( ) који min функцију циља ( ) ( ) (1.36) са ограничењима једнакости

( ) ( ) и ограничењима неједнакости

( ) ( )

12.1 Ограничења једнакости – потребни услови Размотримо најпре потребне услове за min ограничених проблема само са ограничењима једнакости. Као и у случају неограничених проблема, решавањем ових услова добијају се тачке кандидати за минимум.

12.2 Регуларна тачка

Нека ограничени проблем има само ограничења једнакости ( ) за за тачку X* која задовољава ограничења

( )

каже се да је регуларна тачка пројектног простора (изводљиве области) ако су сви градијентни вектори свих ограничења у тачки X* линеарни независни. Линеарна независност значи да не постоје два вектора j који су паралелни и да се ниједан градијент не може изразити као линеарна комбинација других. Када у проблему егзистирају и ограничења неједнакости, да би тачка била регуларна, градијенти активних ограничења морају, такође, бити линеарно независни.

12.3 Лагранжеви множитељи и потребни услови

Може се показати да свако ограничење има одговарајући придружен скаларни множи-тељ који се зове Лагранжев множитељ. Они имају геометријско и физичко тумачење, а њихове вредности зависе од облика функције циља и ограничења. Пример: Наћи који минимализују функцију ( ) ( )

( ) ( )

са ограничењима ( ) ( )

Изводљива област је дуж . Нека је оптимална тачка (

и )

Да би смо извели потребне услове и увели Лагранжове множитеље, претпоставимо да се ограничења једнакости могу употребити за изражавање једне променљиве у функцији друге.




( ) ( )

За наш пример: ( ) ( ) заменом једначине (c) са (a) и елиминишући из функције циља

( ( )) ( )

( ) ( ) ( )

Потребан услов

→

из (d) следи и ( ) ; ( )

и други извод је већи од нуле, па је ова тачка локални минимум.

Довољан услов

.

Међутим, експлицитна формула ( ) се генерално не може добити, па се мора развити алтернативна процедура за добијање оптималног решења. Потребан услов је:

За диференцирање једначине (e) користићемо правило ланца, те добијамо

( )

( )

( )

Заменом у једначини (c) претходна једначина може се написати у оптималној тачки (

) као

(

)

(

)

( )

Како је непознато, морамо да елиминишемо ⁄ из једначине (f). Диференцирајмо једначину ограничења h у тачки (

) као

(

)

(

)

(

)

и решавајући ово по ⁄ добијамо




(

)

(

)

( )

Замењујући ⁄ из (g) у (f) добијамо:

(

)

(

)

(

(

)

(

)

) ( )

Ако дефинишемо v као

(

)

(

)

( )

и заменимо у (h)

(

)

(

)

( )

и сређујући (i) следи

(

)

(

)

( )

Једначине (j) и (k) заједно са ограничењима једнакости ( ) су потребни услови оптималности. Скаларна величина v дефинисана једначином (i), назива се Лагранжов множитељ. Било која тачка која крши ове услове не може бити минимална тачка. За наш пример, решавањем једначина (j) и (k) и из имамо кандидата (употреба потребних услова за решавање по кандидатима за минимум).

( )

( )

( )

( )

( )

( )

}

и

12.4 Геометријско значење Лагранжових множитеља

Лагранжова функција ( ) дефинише се користећи функцију циља и ограничења као:

( ) ( ) ( ) ( ) Потребни услови једначине (j) и (k) у функцији L имају облик

(

)

(

)

( )




Или векторски градијент од L који је нула, је кандидат за минималну тачку, тј.:

(

) Такође, можемо да покажемо да је, користећи (l), (j) и (k):

( ) ( ) ( )

( ) ( ) ( ) Ова једначина даје геометријско значење потребних услова. Она показује да је у тачки кандидату за минимум, градијенти функције циља и функције ограничења теже ка истој линији и у одређеном су односу један према другом. Лагранжов множитељ v је константа пропорционалности овог односа.

( )

[ (

)

(

)

]

[ (

)

(

)

]

( ) [ ] ( ) [

]

( ) [

] ( ) [ ]

Лагранжов множитељ за ограничења једнакости је неограничен у односу на знак, односно, може бити позитиван или негативан.

12.5 Теорема Лагранжових множитеља

Нека треба минимизирати функцију ( ) са ограничњеима ( ) ( ). Нека је X* регуларна тачка, то јест, локални минимум проблема. Тада постоји Лагранжов множитељ ( ) такав да:

( )

∑

( )

( )

(

) ( ) ( )

Ове услове погодно је написати у функцији Лагранжове функције L:

( ) ( ) ∑ ( )

( ) ( ) ( )

Из (1.39):

( ) ( )

( ) ( )

Диференцирајући ( ) по можемо добити ограничења једнакости

( )

(

) ( ) ( )




Градијентни услови у једначинама (1.41) и (1.42) показују да је Лагранжова функција стационарна у односу на и , то јест, може се третирати као неограничена функција по и као променљивим, да би се одредиле стационарне тачке. Тачке које задовољавају услове (1.41) и (1.42) су кандидати за минималну тачку. променљивих и множитеља су непознате, а потребни услови (1.41) и (1.42) обезбеђују довољно услова да се једначине реше по овим непознатим. Градијентни услови (1.39) могу да се напишу као:

( )

∑

( )

Ова једначина показује да је градијент функције циља линеарна комбинација градијената ограничења у тачки кандидату за минимум. Лагранжови множитељи

претпостављају

скаларе у линеарној комбинацији. Често, потребни услови теореме Лагранжових множитеља воде ка нелинеарном систему једначина који се не може решити аналитичким путем, па се мора користити неки нумерички алгоритам, да би се систем решио по стационарним тачкама, то јест, тачкама кандидатима.

12.6 Потребни услови за ограничења неједнакости

Ова ограничења су облика: ( ) . Ограничења неједнакости можемо трансформисати у ограничења једнакости додавањем нових додатних променљивих. Оне су увек ненегативне. Ограничења неједнакости ( ) еквивалентно је ограничењу једнакости ( ) , где је додатна променљива. Променљиве третирају се као непознате као и почетне променљиве и њихове вредности се одређују као део решења. Ако је одговарајуће ограничење неједнакости је задовољено као једнакост. Овакво ограничење неједнакости назива се активно ограничење. За било које одговарајуће ограничење неједнакости назива се неактивно. На овај начин, уводи се још једна променљива и још једно ограничење да би третирали свако ограничење неједнакости. Овим се повећава димензија проблема. Ограничења могу се

избећи ако употребимо као додатну променљиву уместо . Дакле, неједначине

конвертују се у једнакости ( ).

Овај облик користи се у теореми Лагранжових множитеља за третирање ограничења неједнакости и извођење одговарајућих потребних услова. нових једначина потребних за одређивање додатних променљивих добијају се захтевајући да Лагранжијан L буде стационаран у односу на додатне променљиве

Ако је ограничење ( ) прекршено, тада је непозитивно, што није

прихватљиво, то јест, та тачка није кандидат за минимум. Постоје додатни потребни услови за Лагранжове множитеље за ограничења :

( )

где је

Лагранжов множитељ за свако ограничење неједнакости.

Ако је ограничење у оптималној тачки неактивно, придружен Лагранжов множитељ је нула. Ако је (активно) тада је придружени множитељ ненегативан.




Пример: min ( ) ( ) ( )

; ( ) ( )

( ) (

) Потребни услови Лагранжове теореме дају:

( ) ( )

( ) ( )

( )

( )

Реши се овај систем једначина. Ограничење неједнакости је активно. Прво решење добија се стављањем да би била задовољена једначина (d). Из (a) и (c) добијамо:

Прва тачка кандидат за минимум Други случај добија се стављањем да би била задовољена једначина (d).

није изводљиво решење јер Градијент функције циља у тачки кандидату (1;1) и градијент функције ограничења су:

[ ( )

( )] [

] [

]

Градијенти леже на истој линији, али су усмерени на супротну страну. Геометријско тумачење: Било који померај од тачке c било да повећава функцију трошка (у страну ) или води у неизводљиву област (у страну ) да би се даље смањивала функција трошка. Овај геометријски услов назива се довољан услов за тачку локалног минимума. Другим речима, потребан услов обезбеђује да градијент функције трошка и функције ограничења буду усмерени у различитим смеровима. Потребни услови за ограничење једнакости и неједнакости могу се сумирати у Кунтакерове потребне услове. Функција се не може даље смањивати крећући се у смеру негативног градијента без кретања ограничења, то јест, било које даље смањење функције трошка води ка излажењу из изводљиве области у тачки кандидату.




12.7 Теорема Кунтакерових потребних услова

Нека је X* регуларна тачка изводљиве области која претпоставља локални минимум за функцију ( ) са ограничењима ( ) за и ( ) за . Лагранжова функција проблема има облик

( ) ( ) ∑ ( )

∑ ( ( ) )

( ) ( ) ( ( ) )

( ) (p - димензиони вектор) Тада постоје Лагранжови множитељи ( ) и ( ) за коју је лагранжијан стационаран у

односу на , , , и , то јест p - вектор m - вектор

∑

∑

( )

(

) ( )

( )

( )

( )

( )

Сви изводи се израчунавају у тачки X*. Ови услови називају се потребним условима првог реда. Користе се за: - проверу оптималности дате тачке;

- одређивање кандидата тачке локалног минимума Једначина (1.46) даје геометријско значење ових услова

∑

∑

( )

што показује да је у стационарној тачки ненегативно усмерење градијента (најстрмији опадајући правац) функције циља линеарна комбинација градијената ограничења са Лагранжовим множитељима као скаларним параметрима линеарне комбинације. m (пребацујућих) услова, једначина (1.49), називају се пребацујући услови. Они могу бити задовољени стављањем било (неједнакост је активна, то јест, ), или

(у овом случају мора бити мање од нуле да би се задовољила изводљивост) Ови услови одређују одређени број случајева (комбинација) који се морају проверити по стационарним тачкама. Различите комбинације ових услова морају дати много случајева решења. Са m неједначина ограничења пребацујући услови доводе до 2m различитих нормалних случајева решења (ненормалан случај је онај у коме су и и једнаки нули). За сваки случај морају се решити преостали потребни услови по тачкама кандидатима за минималне тачке. Зависно од функција проблема може бити или не мора бити могуће решити




аналитички потребне услове за сваки случај. Ако су функције нелинеарне, морају се користити нумеричке методе. Непознате су , , и , а Кунтакерови потребни услови дају довољан број једначина за решавање система једначина. Укупно има (n + 2m + p) једначина. Толико има и

непознатих. Услов је да је када је

обезбеђује да нема изводљивог усмерења у односу на i - то ограничење (

) у тачки кандидату X* дуж кога се функција трошка може даље смањивати или да се било које смањење функције трошка у тачки X* може постићи само улажењем у неизводљиву област ограничења (

) .

Пример 1: Наћи стационарне тачке ( )

( )

Како постоји само једно ограничење, све тачке изводљиве области су регуларне.

(

)

( )

( )

( )

( )

( )

(a) - (d) дају четири једначине по непознатим , , и .




I услов :

(a) и (b) →

} неактивно ограничење

( ) Ово решење је кандидат. II услов : активно ограничење

(a) →

→ у (b) →

→ (c) решавајући по и добијамо четири

корена једначина (a), (b) и (c).

√

( ) тачка

√

( ) тачка

√

√

} отпадају јер не сме бити мање од нуле

Прве две тачке представљају тачке кандидате за локални минимум (то су А и B) III услов : ненормалан случај (a) и (b) → (c)

што се не слаже са претпоставком, па отпада Пример 2: Наћи тачке кандидате користећи Кунтакерове потребне услове

( )

и нису паралелни и линеа-рно независни, па је линеарна комбинација и .




( ) (

)

( )

( )

( )

( )

( )

I

II ( ) ( услова)

III

IV

I

(отпада)

II и

(тачка ) (отпада)

III и

(тачка ) (отпада)

IV

(тачка )

се може изразити као линеарна комбинација и у А. Ово задовољава услов (1.51)

( )

Пример 3: Пројектовати лименку за пиво која треба да садржи најмање 400 ml пива, са ограничењима да пречник лименке буде од 3,5 до 8 cm а висина између 8 и 18 cm.

Функција циља: ( )

ограничења:




(

) ( ) (

)

( ) (

)

}

Пребацујући услови

1. 17.

2. 18.

3. 19.

4. 20.

5. 21.

6. 22.

7. 23.

8. 24.

9. 25.

10. 26.

11. 27.

12. 28.

13. 29.

14. 30.

15. 31.

16. 32.

отпада

отпада

отпада

отпада




6.

отпада

( ⁄ )

7.

( ) и овај отпада

( ⁄ )

10.

отпада 11.

( ⁄ ) ⁄

отпада

17. ⁄

⁄ ⁄

√

√

( ⁄ )

отпада




√

отпада

19.

√

И остали услови задовољавају. Ово је тачка кандидат.

( )

21. али па отпада

22. али ( ⁄ ) па је прекршено 23. али прекршено ( ⁄ ) 25. али отпада (> 18) 26. 27. 28. 19. ( )

13. Глобална оптималност У пројектовању оптималног система, увек се поставља питање глобалног минимума. На ово питање се може одговорити на два начина. 1. Ако је функција трошка континуална у затвореној и ограниченој изводљивој области, тада Вајер - Штрасова теорема гарантује постојање глобалног минимума. Ако можемо израчунати све тачке локалног оптимума, потом можемо изабрати решење које даје најмању вредност. 2. Показујући да је оптимизациони проблем конвексан, јер у овом случају, било који локални минимум је такође и глобални минимум. Проблем конвексности везан је за термине конвексног скупа и конвексне функције.




13.1 Конвексни скупови

Конвексни скуп S је скуп тачака (вектора x) који има следеће особине: Ако су и било које тачке у скупу S, тада је цео линијски сегмент такође у скупу S.

а) Конвексни скуп

б) Неконвексни скуп

Размотримо тачке на реалној линији, дуж x - осе. Тачке на било ком интервалу линије, представљају конвексан скуп. Нека су и неке две тачке између a и b. Линеарни сегмент између и може се написати као:

( ) ( )

Ако је , а за Линија дефинисана једначином (1.56) је у интервалу [a, b], то јест, ова једначина генерише скуп тачака између једначина и . Генерално, за n - димензиони простор, линијски сегмент

између било које две тачке ( ) и ( ) може се написати:

( ) ( ) ( ) ( ) Ако је цео линијски сегмент једначине (1.57) у скупу S, тада је скуп конвексан. Једначина (1.57) зове се параметарска презентација линијског сегмента између и .




13.2 Конвексне функције

Размотримо функцију ( ) . Приметимо да ако се конструише права линија између било које две тачке између тачака

( ( )) и ( ( ))

на кривој, та линија лежи изнад графа функције ( ) за све тачке између и . Ова особина карактерише конвексне функције. Конвексна функција ( ) је дефинисана у конвексном скупу, односно, независна променљива мора лежати такође у конвексном скупу. Функција ( ) се назива

конвексна у конвексном скупу S, ако лежи испод линије која показује било које две тачке на кривој ( ).

Геометријски, претходна дефиниција конвексне функције може се изразити неједнакошћу:

( ) ( ) ( ) ( ) А како је ( ) , то претходна једначина може да се напише као: ( ( ) ) ( ) ( ) ( ) за ( )

Ова дефиниција се може генерализовати на функцију n променљивих. Функција ( ) дефинисана на конвексном скупу S је конвексна ако задовољава неједнакост

( ( ) ( ) ( )) ( ( )) ( ) ( ( )) за ( )




за било која два вектора ( ) и ( ), у скупу S. Конвексни скуп S је област у n - димензионалном простору који задовољава услов конвексности. Једначине (1.58) и (1.59) дају потребне и довољне услове за конвексност функције. Међутим, оне су веома тешке за коришћење у пракси јер се мора проверити бесконачан број парова тачака. Због тога се користи следећа теорема:

13.2.1 Теорема о провери конвексности функције

Функција ( ) n - променљивих дефинисана у конвексном скупу S је конвексна ако и само ако је Хесијан функције позитивно полуконачна или позитивно коначна матрица за све тачке из скупа S. Ако је Хесијан позитивно коначан за све тачке у S, функција је стриктно конвексна. За једну димензију конвексна провера теореме, редукује се на услов да други извод функције буде ненегативан. График има ненегативну закривљеност.

Пример 1: Проверити конвексност функције ( )

Домен функције (све вредности и ) је конвексан.

[ ] [

] како је позитивно коначан свуда

функција је стриктно конвексна за свако .

Пример 2: Проверити конвексност функције ( ) Да би функција била конвексна, други извод

⇒

нема матрице, функција је конвексна за

и конкавна за

.

Провера конвексности стварно дефинише домен у коме је функција конвексна.




13.2.2 Проблем конвексног програмирања

Ако је функција ( ) конвексна, тада је скуп ( ) конвексан, где је било која константа. Ако су функције ( ) за конвексне, тада је скуп дефинисан са ( ) за такође конвексан. Овај скуп назива се пресек скупова дефинисаних појединачним ограничењима ( ) . Дакле, пресек конвексних скупова је конвексан скуп. ТЕОРЕМА: Конвексне функције и конвексни скупови Нека је S скуп дефинисан ограничењима генералног оптимизационог проблема.

{ | ( ) ( ) } ( )

Тада је S конвексан скуп, ако су функције конвексне и функције линеарне. У случају да су

ограничења ( ) нелинеарна, тада је скуп S увек неконвексан. За ограничења једнакости

( ) скуп S је скуп тачака који лежи на површи ( ) . Ако изаберемо било које две

тачке на површи, права линија која их повезује не може бити на површи, уколико површ није равна (линеарна једнакост). Ако су све функције ограничења неједнакости за проблем оптималног пројекта конвексне и сва ограничења једнакости линеарна, тада је скуп S конвексан. Ако је функција трошка такође конвексна у скупу S, онда се проблем назива проблем конвексног програмирања. Овакви проблеми имају веома корисну особину да су Кунтакерови потребни услови истовремено и довољни, па је било који локални минимум такође и глобални минимум. Претходна теорема није ако и само ако теорема, што значи да ако функције ограничења ( ) не задовољавају проверу конвексности, не значи да S не може бити конвексан.

13.2.3 Теорема о глобалном минимуму

Ако је ( ) локални минимум за конвексну функцију ( ), дефинисану у конвексном скупу S, тада је он такође и глобални минимум.

Пример: Проверити конвексност функције ( )

за и Решење: Ограничења дефинишу домен IV квадрант. Домен је конвексан.

Хесијан:

[

]

Хесијан је позитивно коначан или позитивно полуконачан у домену дефинисаном са , . Проблем и функција су конвексни у овом домену. Да ограничења нису дата, проблем не би био конвексан.




УСЛОВИ II РЕДА ЗА ОГРАНИЧЕНУ ОПТИМИЗАЦИЈУ ДОВОЉАН УСЛОВ ЗА КОНВЕКСНЕ ПРОБЛЕМЕ За проблеме конвексног програмирања, Кунтакерови потребни услови I реда су такође и довољни услови. Ако се може доказати конвексност проблема, било које решење које задовољава потребне услове, истовремено је и довољно (решење ће бити глобални минимум). ТЕОРЕМА: Довољан услов конвексног проблема Ако је функција ( ) конвексна функција трошка дефинисана на конвексној изводљивој области, К - Т це I реда су потребни и довољни за глобални минимум. УСЛОВИ II РЕДА ГЕНЕРАЛНОГ ПРОБЛЕМА Као и у неограниченом проблему користе се информације II реда о функцији (закривљеност функције) у тачки кандидату X* да би одредили да ли је она заиста локални минимум. У ограниченом проблему разматрају се активна ограничења у тачки X*, да би се одредиле изводљиве промене аргумената, . Разматрају се тачке у околини тачке X* које задовољавају активна ограничења (једнакости). Било које које задовољава активна ограничења I реда, мора бити на тангентној равни на ограничење (функцију ограничења).

Овакви помераји су нормални на градијенте ограничења, па тачкасти производ помераја са сваким од градијената ограничења и мора бити једнак нули, то јест

и .

На овај начин одређују се усмерења која дефинишу изводљиву област (околина око тачке X*). У овој процедури користе се само активна ограничења неједнакости ( ) . Да би се избегли услови II реда разматра се Тејлоров развој у ред Лагранжове функције и разматрају само они који задовољавају претходне услове. X* је тада тачка локалног минимума, ако је члан другог реда Тејлоровог развоја позитиван за све који се налазе на тангентној равни на ограничење. Ово је тада и довољан услов.

13.2.4 Теорема о потребним условима другог реда за генерални ограничени проблем

Нека X* задовољава Кунтакерове потребне услове I реда генералног оптимизационог проблема. Хесијан Лагранжове функције у тачки X* је

∑ ∑

( )

Нека постоји изводљиво усмерење које задовољава следећи линеарни систем једначина у тачки X*




за свако

за свако ( )

за сва активна ограничења неједнакости (тј. за сва за (

) . Тада, ако је X* тачка локалног минимума, мора бити да је , а је други члан Тејлоровог развоја у ред

( ) ( ) ТЕОРЕМА О ДОВОЉНИМ УСЛОВИМА II РЕДА ЗА ГЕНЕРАЛНИ ОГРАНИЧЕНИ ПРОБЛЕМ Нека X* задовољава Кунтакерове потребне услове I реда генералног оптимизационог проблема. Дефинишимо Хесијан Лагранжове функције као и у претходном случају, једначина (1.61). Изводљиво усмерење дефинисано је системом линеарних једначина (1.62), а такође важи да је

за неактивна ограничења ( )

Ако је , где је дефинисано једначином (1.63) тада је X* изолован ликални минимум (изолован значи да нема других тачака локалног минимума у околини тачке X*). Ако матрица ( ) није позитивно коначна матрица, не можемо закључити да X* није изолован локални минимум. Тада морамо израчунати које задовољава једначине (1.62) и извести тест довољности (1.63). У извесним применама код којих је укупан број активних ограничења (са бар једаним ограничењем неједнакости) у тачки кандидату X* једнак броју независних пројектних променљивих, је једино решење па се теорема не може применити. Међутим, како је једино решење, нема изводљивих усмерења у околини тачке X* дуж кога се функција циљаможе даље смањивати, па је X* заиста локални минимум функције трошка. Пример: Провери довољан услов за тачке кандидате за минимум

( )

( )

Тачке које задовољавају Кунатакерове потребне услове I реда су:

1. 0 0 0

2. √ √ ⁄

3. √ √ ⁄

Хесијан Хесијан променљиве

[

] [

]

сопствене вредности




Обе сопствене вредности су позитивне; функција је конвексна, па је и ограничени скуп ограничења ( ) конвексан. Међутим, сопствене вредности од

функција циља није конвексна Овај проблем се не може подвести под проблем и довољност се не може показати код конвексног програмирања, па се мора применити теорема о потребним и довољним условима

[

]

1.

; па како већ знамо да није ни позитивна ни

коначна ни позитивно полуконачна, ова тачка не задовољава услов довољности II реда, која захтева да буде позитивна коначна или позитивна полуконачна у тачки кандидату.

2.

√ ⁄ [

] ( ) и

3.

√ ⁄ ( √ √ ) √ ( )

Пошто није позитивно коначна ни позитивно полуконачна ни у једној од две тачке, не може се користити теорема закључили да је X* минимум, већ се мора израчунати које задовољава (1.62). Ако је ( ), тада даје

√ ( ) [ ]

→

тако да је , где је - произвољна константа, а задовољава , дато је са

( ) Довољан услов (1.63) даје:

( ) ( ) [

] [ ]

Тачке

√ и

√ , задовољавају довољан услов. Оне су, дакле, изоловане тачке локалног минимума. Види се да ( ) није позитивна коначна, али X* је још увек тачка изолованог минимума.




Референце [1] http://en.wikipedia.org/wiki/Numerical_analysis [2] http://en.wikipedia.org/wiki/Approximation [3] http://en.wikipedia.org/wiki/File:Ybc7289-bw.jpg [4] http://en.wikipedia.org/wiki/Ordinary_differential_equation [5] http://en.wikipedia.org/wiki/Numerical_linear_algebra [6] http://en.wikipedia.org/wiki/Stochastic_differential_equation [7] http://en.wikipedia.org/wiki/Markov_chain [8] http://en.wikipedia.org/wiki/Interpolation [9] http://en.wikipedia.org/wiki/Numerical_weather_prediction [10] http://en.wikipedia.org/wiki/Operations_research [11] http://en.wikipedia.org/wiki/Actuary [12] http://en.wikipedia.org/wiki/Lagrange_polynomial [13] http://en.wikipedia.org/wiki/Gaussian_elimination [14] http://en.wikipedia.org/wiki/Euler's_method [15] http://en.wikipedia.org/wiki/NIST [16] http://en.wikipedia.org/wiki/Simplex_method [17] http://en.wikipedia.org/wiki/GMRES [18] http://en.wikipedia.org/wiki/Discretization [19] http://en.wikipedia.org/wiki/Riemann_sum [20] http://en.wikipedia.org/wiki/Horner_scheme [21] http://en.wikipedia.org/wiki/Round-off_error [22] http://en.wikipedia.org/wiki/Floating_point [23] http://en.wikipedia.org/wiki/Extrapolation [24] http://en.wikipedia.org/wiki/Regression_analysis [25] http://en.wikipedia.org/wiki/Least_squares [26] http://en.wikipedia.org/wiki/Cholesky_decomposition [27] http://en.wikipedia.org/wiki/Linear_programming [28] http://en.wikipedia.org/wiki/Numerical_integration [29] http://en.wikipedia.org/wiki/Monte_Carlo_method [30] http://en.wikipedia.org/wiki/Quasi-Monte_Carlo_method [31] http://en.wikipedia.org/wiki/Sparse_grid [32] http://en.wikipedia.org/wiki/Finite_element_method [33] http://en.wikipedia.org/wiki/Finite_difference [34] http://en.wikipedia.org/wiki/Finite_volume_method [35] http://en.wikipedia.org/wiki/Optimization_(mathematics) [36] http://en.wikipedia.org/wiki/Steepest_descent [37] http://en.wikipedia.org/wiki/George_Dantzig [38] http://en.wikipedia.org/wiki/Convex_programming

[39] http://en.wikipedia.org/wiki/Second_order_cone_programming [40] http://en.wikipedia.org/wiki/Semidefinite_programming [41] http://en.wikipedia.org/wiki/Conic_programming [42] http://en.wikipedia.org/wiki/Geometric_programming [43] http://en.wikipedia.org/wiki/Integer_programming [44] http://en.wikipedia.org/wiki/Quadratic_programming [45] http://en.wikipedia.org/wiki/Nonlinear_programming [46] http://en.wikipedia.org/wiki/Stochastic_programming [47] http://en.wikipedia.org/wiki/Robust_optimization [48] http://en.wikipedia.org/wiki/Combinatorial_optimization [49] http://en.wikipedia.org/wiki/Infinite-dimensional_optimization [50] http://en.wikipedia.org/wiki/Heuristic_algorithm [51] http://en.wikipedia.org/wiki/Metaheuristic [52] http://en.wikipedia.org/wiki/Constraint_satisfaction [53] http://en.wikipedia.org/wiki/Constraint_programming [54] http://en.wikipedia.org/wiki/Trajectory_optimization [55] http://en.wikipedia.org/wiki/Calculus_of_variations [56] http://en.wikipedia.org/wiki/Optimal_control [57] http://en.wikipedia.org/wiki/Dynamic_programming [58] http://en.wikipedia.org/wiki/Mathematical_programming_with_equilibrium_constraints [59] http://en.wikipedia.org/wiki/Pareto_frontier#Pareto_frontier [60] http://en.wikipedia.org/wiki/Response_surfaces [61] http://en.wikipedia.org/wiki/Satisfiability_problem [62] http://en.wikipedia.org/wiki/Extreme_value_theorem [63] http://en.wikipedia.org/wiki/Fermat's_theorem_(stationary_points) [64] http://en.wikipedia.org/wiki/Critical_point_(mathematics) [65] http://en.wikipedia.org/wiki/Karush-Kuhn-Tucker_conditions [66] http://en.wikipedia.org/wiki/Hessian_matrix [67] http://en.wikipedia.org/wiki/Envelope_theorem [68] http://en.wikipedia.org/wiki/Maximum_theorem [69] http://en.wikipedia.org/wiki/Single-variable_optimization [70] http://en.wikipedia.org/wiki/Multi-variable_optimization [71] http://en.wikipedia.org/wiki/Rigid_body_dynamics [72] http://en.wikipedia.org/wiki/Linear_complementarity_problem [73] http://en.wikipedia.org/wiki/Dual_problem [74] http://en.wikipedia.org/wiki/Operations_research

http://en.wikipedia.org/wiki/Numerical_analysis

http://en.wikipedia.org/wiki/Approximation

http://en.wikipedia.org/wiki/File:Ybc7289-bw.jpg

http://en.wikipedia.org/wiki/Ordinary_differential_equation

http://en.wikipedia.org/wiki/Numerical_linear_algebra

http://en.wikipedia.org/wiki/Stochastic_differential_equation

http://en.wikipedia.org/wiki/Markov_chain

http://en.wikipedia.org/wiki/Interpolation

http://en.wikipedia.org/wiki/Numerical_weather_prediction

http://en.wikipedia.org/wiki/Operations_research

http://en.wikipedia.org/wiki/Actuary

http://en.wikipedia.org/wiki/Lagrange_polynomial

http://en.wikipedia.org/wiki/Gaussian_elimination

http://en.wikipedia.org/wiki/Euler's_method

http://en.wikipedia.org/wiki/NIST

http://en.wikipedia.org/wiki/Simplex_method

http://en.wikipedia.org/wiki/GMRES

http://en.wikipedia.org/wiki/Discretization

http://en.wikipedia.org/wiki/Riemann_sum

http://en.wikipedia.org/wiki/Horner_scheme

http://en.wikipedia.org/wiki/Round-off_error

http://en.wikipedia.org/wiki/Floating_point

http://en.wikipedia.org/wiki/Extrapolation

http://en.wikipedia.org/wiki/Regression_analysis

http://en.wikipedia.org/wiki/Least_squares

http://en.wikipedia.org/wiki/Cholesky_decomposition

http://en.wikipedia.org/wiki/Linear_programming

http://en.wikipedia.org/wiki/Numerical_integration

http://en.wikipedia.org/wiki/Monte_Carlo_method

http://en.wikipedia.org/wiki/Quasi-Monte_Carlo_method

http://en.wikipedia.org/wiki/Sparse_grid

http://en.wikipedia.org/wiki/Finite_element_method

http://en.wikipedia.org/wiki/Finite_difference

http://en.wikipedia.org/wiki/Finite_volume_method

http://en.wikipedia.org/wiki/Optimization_(mathematics)

http://en.wikipedia.org/wiki/Steepest_descent

http://en.wikipedia.org/wiki/George_Dantzig

http://en.wikipedia.org/wiki/Convex_programming

http://en.wikipedia.org/wiki/Second_order_cone_programming

http://en.wikipedia.org/wiki/Semidefinite_programming

http://en.wikipedia.org/wiki/Conic_programming

http://en.wikipedia.org/wiki/Geometric_programming

http://en.wikipedia.org/wiki/Integer_programming

http://en.wikipedia.org/wiki/Quadratic_programming

http://en.wikipedia.org/wiki/Nonlinear_programming

http://en.wikipedia.org/wiki/Stochastic_programming

http://en.wikipedia.org/wiki/Robust_optimization

http://en.wikipedia.org/wiki/Combinatorial_optimization

http://en.wikipedia.org/wiki/Infinite-dimensional_optimization

http://en.wikipedia.org/wiki/Heuristic_algorithm

http://en.wikipedia.org/wiki/Metaheuristic

http://en.wikipedia.org/wiki/Constraint_satisfaction

http://en.wikipedia.org/wiki/Constraint_programming

http://en.wikipedia.org/wiki/Trajectory_optimization

http://en.wikipedia.org/wiki/Calculus_of_variations

http://en.wikipedia.org/wiki/Optimal_control

http://en.wikipedia.org/wiki/Dynamic_programming

http://en.wikipedia.org/wiki/Mathematical_programming_with_equilibrium_constraints

http://en.wikipedia.org/wiki/Mathematical_programming_with_equilibrium_constraints

http://en.wikipedia.org/wiki/Pareto_frontier#Pareto_frontier

http://en.wikipedia.org/wiki/Response_surfaces

http://en.wikipedia.org/wiki/Satisfiability_problem

http://en.wikipedia.org/wiki/Extreme_value_theorem

http://en.wikipedia.org/wiki/Fermat's_theorem_(stationary_points)

http://en.wikipedia.org/wiki/Critical_point_(mathematics)

http://en.wikipedia.org/wiki/Karush-Kuhn-Tucker_conditions

http://en.wikipedia.org/wiki/Hessian_matrix

http://en.wikipedia.org/wiki/Envelope_theorem

http://en.wikipedia.org/wiki/Maximum_theorem

http://en.wikipedia.org/wiki/Single-variable_optimization

http://en.wikipedia.org/wiki/Multi-variable_optimization

http://en.wikipedia.org/wiki/Rigid_body_dynamics

http://en.wikipedia.org/wiki/Linear_complementarity_problem

http://en.wikipedia.org/wiki/Dual_problem

http://en.wikipedia.org/wiki/Operations_research

metode optimizacije u projektovanju izvodi sa predavanja

Documents

cb xb

cbt

en

http

3 km

wikipedia

variable optimization