Методи прогнозування часових рядів та проблема складності

Д.М. Чабаненко

Кафедра економічної кібернетики

ЧНУ ім. Б. Хмельницького

Стан проблеми моделювання і прогнозування складних систем

• Прості системи можуть бути описані простими моделями

• Системи середньої складності описуються простими моделями гірше, ніж складними (обгрунтована необхідність ускладнення)

• Складні системи погано описуються як простими, так і складними моделями

• ? При якій складності моделі можна отримати кращі прогнози складної системи?

Підходи до оцінювання складності моделі, порівняння

складності моделей• Розрахункова складність (складність

алгоритму побудови і використання моделі)

• Складність за кількістю факторів, які враховує модель

• Описова складність (множина станів системи, які можуть бути описані моделлю)

Приклад моделі зі змінною складністю – модель

поліноміального тренду

Y(t)=a0+a1t+a2t2+…+aktk

Горизонт прогнозу Np – задається дослідником

Степінь поліному k та довжина вибірки навчання –параметри, які треба визначити

N

ytyMSE

N

iii

1

2

%1001

NpN

Ni i

ii

y

yty

NpMAPE

Приклад моделі зі змінною складністю – модель поліноміального

тренду• Степінь полінома k – параметр складності.• Довжина навчальної вибірки N – теж

параметр складності.• Похибка на перевірочній вибірці – міра якості

моделі з заданими параметрами k та N.• Постановка задачі: знайти значення

параметрів k (степінь полінома) та N (довжина навч. вибірки), при яких середня абсолютна процентна похибка була б мінімальною.

Пошук оптимальних order та nlearn при прогнозуванні на 3 дні (за даними iндексу S&P 500)

Максимум по полю MAPE

nlearn                  

order 10 50 100 250 500 1000 2000 4500 7000Общий

итог

1 6,48 5,43 9,95 8,29 21,89 52,86 59,10 74,37 68,63 74,37

2 3,76 8,24 8,04 13,79 11,78 20,26 59,68 53,71 72,32 72,32

3 3,45 7,45 7,86 9,51 11,16 10,74 26,15 44,36 60,01 60,01

4 5,04 4,60 6,57 8,89 13,67 12,50 15,20 68,97 45,02 68,97

5 7,14 9,28 4,15 9,55 8,99 14,43 18,99 40,11 57,40 57,40

6 22,28 2,54 7,15 14,57 8,92 10,68 20,14 24,80 63,36 63,36

7 34,28 5,38 6,34 10,28 16,02 13,62 14,78 17,41 29,22 34,28

8 131,60 4,56 3,96 7,02 11,61 7,57 11,30 15,62 21,07 131,60

9 304,13 6,75 4,84 6,48 8,55 12,34 13,78 21,71 23,79 304,13

103801,9

49,73 6,56 10,35 6,03 10,45 13,26 23,03 25,60 3801,94

Общий итог3801,9

49,73 9,95 14,57 21,89 52,86 59,68 74,37 72,32 3801,94

Пошук оптимальних order та nlearn при прогнозуванні на 10 днів (за даними iндексу S&P 500)

Максимум по полю MAPE nlearn                  

order 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 11,16 8,33 11,15 8,30 22,03 53,63 59,98 75,35 69,58 75,35

2 10,56 14,39 9,24 14,18 11,41 20,18 60,57 54,31 73,29 73,29

3 39,70 12,21 13,57 10,92 12,29 11,84 27,37 45,04 58,61 58,61

4 92,04 14,60 14,00 11,19 15,90 13,48 16,64 70,16 43,62 92,04

5 375,99 34,02 7,98 17,80 10,13 15,31 19,57 40,47 58,35 375,99

6 1893,43 28,28 18,32 26,79 12,21 13,93 22,76 25,74 64,46 1893,43

7 6524,69 93,34 14,35 17,67 19,41 16,05 15,23 17,68 29,18 6524,69

8 47974,03 82,86 49,65 16,29 15,89 10,32 12,81 18,41 21,7347974,0

3

9 295755,70205,5

9 65,03 14,64 17,24 16,73 16,13 24,81 24,86295755,

70

10 6555847,00372,5

8 92,21 33,56 12,80 16,85 14,31 26,17 25,176555847

,00

Общий итог 6555847,00372,5

8 92,21 33,56 22,03 53,63 60,57 75,35 73,296555847

,00

Nprogn=25Максимум

по полю MAPE nlearn                  

order 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 15,65 13,58 10,67 10,63 27,60 62,12 68,98 85,26 79,15 85,26

2 49,52 23,84 21,23 19,71 14,41 25,13 69,62 57,62 83,10 83,10

3 330,46 20,12 23,31 12,75 14,60 15,30 29,47 52,92 57,74 330,46

4 1400,24 61,42 42,45 18,18 18,03 15,09 18,53 80,37 46,73 1400,24

5 12998,10 221,13 33,54 35,19 10,27 15,85 21,39 47,36 67,4612998,1

0

6 137585,00 491,66 96,15 57,92 25,49 18,62 26,10 26,92 74,22137585,

00

7 926874,001767,1

9 103,63 37,80 43,53 18,91 16,64 20,80 34,60926874,

00

8 15074860,001449,7

3 774,59 100,57 40,90 20,60 17,11 22,46 24,50

15074860,0

0

9200997400,0

0

10267,07

1042,82 87,43 44,14 31,96 24,68 29,69 27,39

200997400,00

108975297000,

00

24017,21

1642,17 205,17 53,01 44,60 21,48 31,11 26,92

8975297000,00

Общий итог

8975297000,00

24017,21

1642,17 205,17 53,01 62,12 69,62 85,26 83,10

8975297000,00

Nprogn=50

order 10 50 100 250 500 1000 2000 4500 7000Общий

итог

1 30,17 18,57 14,86 14,68 28,12 65,11 72,36 89,05 82,78 89,05

2 202,42 54,49 36,39 26,53 16,21 24,72 73,03 59,90 86,84 202,42

3 2089,63 49,37 47,19 14,79 20,51 24,85 31,55 55,53 58,94 2089,63

4 18419,37 294,38 153,76 47,11 28,32 21,72 23,14 85,01 48,92 18419,37

5 260232,70 1962,56 166,89 98,49 17,97 18,03 27,24 48,64 71,15 260232,70

65803432,0

0 7726,11 568,47 177,79 58,76 27,68 37,83 30,67 78,545803432,0

0

765455470,

0034865,9

0 903,61 164,18 102,87 31,14 20,33 25,55 34,2265455470,

00

8

2096270000,0

036546,6

910353,5

1 692,76 95,26 44,20 23,87 27,96 28,76

2096270000,0

0

9

50192010000,

00503721,

6019260,1

9 596,54 148,20 68,80 41,76 36,91 37,32

50192010000,

00

10

43521700000

00,00

1670006,00

35216,22 2143,14 214,51 109,41 37,06 45,71 33,96

43521700000

00,00

Общий итог

43521700000

00,00

1670006,00

35216,22 2143,14 214,51 109,41 73,03 89,05 86,84

43521700000

00,00

Nprogn=100order 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 36,54 24,08 31,02 20,61 22,14 55,28 62,56 78,43 72,48 78,43

2 697,37 106,40 62,48 51,94 26,96 27,44 63,24 66,03 76,37 697,37

3 11924,40 221,09 129,38 28,27 38,44 36,25 33,92 45,88 65,10 11924,40

4 219838,80 1962,11 711,70 124,22 57,56 44,66 31,24 76,42 47,67 219838,80

5 5988953,00 21752,77 1224,78 299,62 51,73 37,32 35,03 37,00 62,085988953,0

0

6 278159400,00154649,3

0 5931,18 670,34 174,94 54,63 68,58 39,96 69,9927815940

0,00

7 5779644000,00993965,2

0 14801,69 1384,13 330,25 67,75 43,74 41,20 40,90

5779644000,0

0

8346871200000,0

02599520,

00271978,7

0 6710,82 358,96 139,63 39,10 39,68 45,71

34687120000

0,00

918045660000000

,00

51020920,0

0833355,4

0 7450,22 924,30 224,50 92,48 52,84 63,45

18045660000

000,00

1024422500000000

00,00

281481200,00

2305422,00 40609,37 1487,62 378,03 78,89 83,23 48,88

24422500000000

00,00

Общий итог

2442250000000000,00

281481200,00

2305422,00 40609,37 1487,62 378,03 92,48 83,23 76,37

24422500000000

00,00

Nprogn=250order 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 93,21 56,03 67,81 33,78 32,56 37,24 44,89 59,37 53,94 93,21

2 3498,65 370,91 215,51 129,56 71,66 38,42 45,89 57,98 57,59 3498,65

3 135303,00 2372,84 952,36 102,17 98,39 85,00 42,17 44,49 59,71 135303,00

46485158,0

0 37286,54 10324,95 872,57 165,11 113,61 50,79 63,10 52,046485158,0

0

544884820

0,00899441,0

0 40617,25 2735,97 370,61 91,90 95,61 67,93 51,2244884820

0,00

6

64014320000,

00

14875760,0

0399126,0

0 12170,00 1692,65 238,74 176,44 101,95 56,58

64014320000,

00

7

2831991000000,00

224720600,00

1665734,00 59840,37 3981,63 332,05 183,97 104,07 78,38

2831991000000,00

8

377304100000000,

00

1839821000,00

58621780,0

0402531,9

0 6446,49 1390,28 201,29 91,15 115,23

377304100000000,

00

9

47777690000000000,00

66729830000,0

0

380470000,00

1095978,00 36460,68 2534,10 522,53 127,62 146,13

47777690000000000,00

10

14540530000000000000

,00

704080200000,00

2355935000,00

8219427,00 70165,60 5330,43 479,76 234,42 102,84

14540530000000000000

,00

Общий итог

14540530000000000000

,00

704080200000,00

2355935000,00

8219427,00 70165,60 5330,43 522,53 234,42 146,13

14540530000000000000

,00

Nprogn=500order 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 176,79 84,31 115,78 64,10 46,13 57,58 66,11 48,32 51,56 176,79

2 13614,80 1207,31 683,85 287,24 146,85 68,83 72,09 51,63 48,39 13614,80

3 957593,10 14324,89 5748,30 498,81 239,67 190,09 69,43 75,86 71,43 957593,10

497159650,

00450322,9

0 95890,08 6109,34 704,37 271,48 117,54 79,35 88,8797159650,

00

5

13686330000,

0020817130

,00716936,1

0 30718,92 3177,79 409,08 279,21 128,65 83,64

13686330000,

00

6

4543667000000,00

671821400,0

015868790

,00198422,6

0 18789,10 1890,23 500,70 239,11 135,40

4543667000000,00

7

349736800000000,

00

23499150000,00

114226200,0

02206650,

00 72947,72 3033,68 854,52 244,01 175,92

349736800000000,

00

8

81745420000000000,00

388810400000,0

0

6720627000,00

22143230,00

153020,60 19419,42 1251,79 307,02 279,78

81745420000000000,00

9

21846480000000000000

,00

25134900000000,00

82166980000,00

107536300,0

01754308,

00 42370,19 3544,63 449,79 353,83

21846480000000000000

,00

10

12555440000000000000000,

00

536189000000000,0

0

1045540000000,00

1354498000,00

5612151,00

110562,40 5617,61 823,08 269,58

12555440000000000000000,

00

Общий итог

12555440000000000000000,

00

536189000000000,0

0

1045540000000,00

1354498000,00

5612151,00

110562,40 5617,61 823,08 353,83

12555440000000000000000,

00

Nprogn=1000or

der 10 50 100 250 500 1000 2000 4500 7000

Общий итог

1 276,59 112,09 192,03 112,02 79,40 85,03 71,65 44,57 53,80 276,59

2 62561,39 3947,81 2244,71 694,66 318,01 121,91 99,52 72,10 51,31 62561,39

3 6449697,00 93728,45 43434,57 2363,94 1051,36 490,78 190,60 120,97 88,206449697,0

0

41361029000,0

05656989,

001108622,

00 52198,20 6472,26 1005,16 305,75 133,95 115,32

1361029000,0

0

5478789600000

,00

499054100,0

017151620

,00424190,1

0 43488,99 3284,73 1309,24 334,12 139,12

478789600000

,00

6312687600000

000,00

31753160000,00

809238200,0

06161058,

00330685,9

0 17914,90 2195,84 722,79 276,41

312687600000000,

00

7

39284060000000000,0

0

2735363000000,00

13925630000,00

143620500,0

02263199,

00 54100,44 6850,78 851,53 464,65

39284060000000000,00

8

1863287000000000000

0,00

90156150000000,00

991617600000,0

0

1986344000,00

8827860,00

496532,80 16709,82 1486,44 919,79

18632870000000000000

,00

9

15208250000000000000000,00

10893330000000000,00

23202600000000,00

17903500000,00

149121100,0

01541439,

00 58077,83 2410,90 1209,44

15208250000000000000000,

00

10

10491980000000000000000000

,00

464445300000000000,0

0

548462400000000,0

0

408131900000,0

0

847127300,0

06745760,

00106228,2

0 5835,30 1739,70

10491980000000000000000000,0

0

Общий итог

10491980000000000000000000

,00

464445300000000000,0

0

548462400000000,0

0

408131900000,0

0

847127300,0

06745760,

00106228,2

0 5835,30 1739,70

10491980000000000000000000,0

0

Оптимальна складність поліноміальних моделей в залежності від горизонту прогнозування

Горизонт прогнозування

Оптимальна довжина

навчальної вибірки

Оптимальний степінь

полінома MAPE

3 100 8 3,96 10 100 5 7,98 25 250 1 10,63 50 250 1 14,08 100 250 1 15,5 250 500 1 32,56 500 500 1 46,13

1000 4500 1 44,57

Висновки з експерименту

• При збільшенні бажаної довжини прогнозу точність прогнозування зменшується.

• При бажаних довжинах прогнозу довше 25 днів оптимальний степінь полінома –1 (лінійний тренд, найпростіша модель)

• Оптимальна довжина вибірки навчання варіюється від Np до 4,5*Np (Np – довжина прогнозу), найкраща якість прогнозу продемонстрована для 2*Np (250 та 500 днів для більшості випадків)

• Для прогнозування на короткі відстані (менше 25 днів) найбільш оптимальне є застосування поліномів степеня 5.

Метод дискретного Фур’є-продовженняІтераційний метод визначення гармонік в методі дискретного Фур’є-продовження

- вихідний ряд.

• На кожному кроці за методом МНК мінімізується нев’язка

• одночастинне наближення,• двохчастинне наближення,…

0r t y t

m

jijijijii etdcbtatrtr

11 sin

1,2,...i

i ir t

y t

1m2m

Лінійно-гармонічна модель з одночастинним наближенням,

абсолютний варіант

Довжина навчальної вибірки nf 500 1000 2000 3000 4500

1 18,36 21,36 19,40 60,84 43,91 2 17,71 27,30 20,53 55,55 17,33 3 16,92 25,95 21,77 40,93 10,32 4 16,92 24,46 21,12 37,89 15,16 5 17,01 24,28 17,85 35,77 23,14 6 17,02 24,63 16,51 41,12 26,23 7 17,21 25,12 16,59 35,51 21,70 8 17,24 24,75 16,34 31,74 21,84 9 17,20 24,55 15,34 33,58 23,24

10 17,09 25,02 14,86 33,71 22,39

Лінійно-гармонічна модель з одночастинним наближенням, відносний

варіант

Довжина навчальної вибірки nf 500 1000 2000 3000 4500

1 18,50 15,51 15,73 47,84 30,37 2 17,83 21,18 14,67 44,69 18,43 3 17,13 18,45 21,73 32,99 24,58 4 17,12 17,53 20,88 30,19 26,60 5 17,18 18,07 18,63 28,43 22,39 6 17,15 18,17 17,58 31,74 18,83 7 17,32 19,39 17,98 32,43 17,11 8 17,33 19,17 18,05 31,39 15,34 9 17,19 19,70 19,06 30,17 15,76

10 17,18 19,74 19,22 30,22 16,74

Лінійно-гармонічна модель з двохчастинним наближенням,

абсолютний варіант Довжина навчальної вибірки nf

500 1000 2000 3000 4500 2 30,03 20,21 21,87 38,68 38,76 4 28,61 19,70 20,60 29,93 18,88 6 28,81 19,95 17,04 21,21 24,33 8 31,40 19,81 18,63 24,28 19,47

10 31,44 19,50 17,37 20,93 21,88

Лінійно-гармонічна модель з двохчастинним наближенням,

відносний варіант

Довжина навчальної вибірки nf 500 1000 2000 3000 4500

2 24,07 19,98 38,40 17,21 30,85 4 23,01 19,46 26,16 14,75 19,35 6 20,95 19,33 26,84 15,67 18,48 8 22,14 19,14 23,86 15,63 12,90

10 21,32 19,09 22,31 16,25 13,85

Лагові моделі прогнозування

tmtyttyttytyftty ,...,2,,

Метод групового урахування аргументів

jimjitjtyatitya

tjtytityatjtyatityaa

tjtytityftty

,,...2,1,,

,

25

24

3210

Зовнішній критерій - RMSE

Пошук значущих лагових змінних(дані індексу S&P 500)

Пошук значущих лагових змінних (дані ф’ючерсу на індекс UX)

Інтегровані процеси

ttytyr tabs )1

tty

tyr trel

1)2

tty

ttytyr trel

2)3

tty

tyr trel

1)2

ttytyr tabs )1

tty

tyr trel

1)2

Пошук значущих лагових змінних (дані індексу S&P 500)

ttytyr tabs )1

tty

ttytyr trel

2)3

Точність однокрокового прогнозу

• Часовий ряд – S&P 500• Оптимальна

максимальна кількість лагових змінних – 100

• Крок дискретизації 1 день

• Міра точності – MAPE, %

Без приростів

1абс 2відн 3Відн приб

40 5 9 6

Точність однокрокового прогнозу

• Часовий ряд – UX-C• Оптимальна

максимальна кількість лагових змінних – 50

• Крок дискретизації 1 день

• Міра точності – MAPE, %

Без приростів

1абс 2відн 3Відн приб

2,3 1,46 1,56 1,55

Точність багатокрокового прогнозу

• Часовий ряд – S&P 500• Оптимальна

максимальна кількість лагових змінних – 100

• Крок дискретизації 1 день

• Міра точності – MAPE, %

• Прогнозування на 100 днів

Без приростів

1абс 2відн

3Відн приб

6 6,4 4,5 6,4

Точність багатокрокового прогнозу

• Часовий ряд – UX-C• Оптимальна

максимальна кількість лагових змінних – 50

• Крок дискретизації 1 день

• Міра точності – MAPE, %

• Прогнозування на 100 днів

Без приростів

1абс 2відн 3Відн приб

3,4 16,2 4,9 4,8

Висновки і перспективи досліджень

• Оптимальні параметри прогнозної моделі (її складність) залежать від заданого горизонту прогнозування

• В класі поліноміальних моделей при довгостроковому прогнозуванні більш ефективними є моделі 1 порядку (лінійні)

• В класі лінійних гармонічних моделей оптимальним є апроксимація по одній гармоніці

Висновки і перспективи досліджень

Перспективи досліджень:

• Дослідження оптимальної складності поліноміальних моделей при короткостроковому прогнозуванні

• Створення методів пошуку оптимальної складності (крос-валідації) для авторегресійних, нейромережних, марківських моделей