Redes NeuronalesSupport Vector Regression

Series TemporalesSeries TemporalesMáster en ComputaciónUniversitat Politècnica de Catalunya

Dra. Alicia Troncoso Lora

1

Contenido

� Introducción� Redes Neuronales: Aplicación� Support Vector Regression: Aplicación

Referencias

2

� Referencias

Redes Neuronales (I)

� Las Artificial Neural Network (ANN) han sido ampliamente usadas para predecir series temporales

� No necesita conocimiento a priori sobre la

3

� No necesita conocimiento a priori sobre la distribución de los datos

� Simulan el funcionamiento del sistema nervioso � Modelos que simulan el proceso de aprendizaje de las neuronas interconectadas en el cerebro

� En general, modelos: � Definición de una serie de capas� Cada capa tiene un número de nodos

relacionados con la capa anterior

Redes Neuronales (II)

4

relacionados con la capa anterior� La primera capa es el vector de entrada� La última capa es el vector de salida

� Clasificación según tipo de aprendizaje� Aprendizaje Supervisado

� Perceptrón Multicapa (MLP)Aprendizaje no supervisado

Redes Neuronales (III)

5

� Aprendizaje no supervisado� Redes auto-organizadas (Redes de

Kohonen)� Redes híbridas: kohonen+MLP

� Redes de función de base radial

Redes Neuronales: MLP

12

1

1Capa de entrada Capa de salida

Capa intermedia

1x 1̂x

6

jiw kjw

i k

j

ix kx̂

��

���

� +Φ= �i

jiijj xwx θˆ

Entrenamiento• Cálculo de parámetros � Método de optimización (métodos de descenso de gradiente)

Redes Neuronales: MLP

7

kkk xxx ∇+=+ α1

Entrenamiento

• Rampa de aprendizaje: Paso en el Método del gradiente. Afecta a la rapidez con la que la red

Redes Neuronales: MLP

8

gradiente. Afecta a la rapidez con la que la redalcanza el mínimo.

� Alto: Oscilación alrededor del mínimo o divergencia

� Bajo: mucho tiempo en converger

Entrenamiento• Momento: Prevenir convergencia a mínimo local

o punto de silla. � Alto: Incrementa la velocidad de

Redes Neuronales: MLP

9

� Alto: Incrementa la velocidad de convergencia. Riesgo de “pasarse” el mínimo

� Bajo: Favorece mínimos locales

Predicción de los precios de la energía eléctricaEnero-febrero 2001 � Training setMarzo-octubre 2001 � Test set

Redes Neuronales: Aplicación

10

Topología de la red y funciones de transferencia:3 capas: capa de entrada, capa intermedia y capa de salidaDeterminar el número de neuronas de cada capa

Capa de entrada � 24 neuronascorrespondientes a los precios de las 24 horas

Capa de salida:

Redes Neuronales: Aplicación

11

Capa de salida: � Una única salida� 24 salidas correspondientes a los precios

horarios de un día entero� Función de transferencia lineal

Capa intermedia: 24 neuronasFunción de transferencia sigmoidal

Redes Neuronales: Aplicación

Working days of a representative month

12

Redes Neuronales: Aplicación Peor y mejor día de marzo de 2001

13

Redes Neuronales: Aplicación Predicción media del Marzo de 2001

14

Redes Neuronales: Aplicación

Precios Diarios (céntimos/kWh)

marzo-mayo junio-agosto septiembre-octubre

Precio real 2.2588 3.5482 3.673

s. d. 0.7801 1.0597 0.518

15

s. d. 0.7801 1.0597 0.518

Error absoluto medio 0.3464 0.428 0.576

Máximo error horario 2.671 2.0736 2.167

Error relativo medio (%) 15 12 14

Support Vector Regression (I)

Introducidas en los 90 por Vapnik para problemas de clasificación

péta

lo

?

16

������

��������

��� �

Longitud del pétalo

Anc

hura

del p

étal

o

?

?

?

Support Vector Regression� Puntos más cercanos a la recta: vectores soporte� El margen es la distancia mínima de vectores soporte al

hiperplano� Objetivo: calcular hiperplano que maximiza el margen

17

d

Caso separable linealmente

Support Vector Regression� Resolver un problema de optimización:

Función objetivo cuadráticaFunción objetivo convexa

18

Función objetivo convexa

Un único óptimo global

)()1()())1(( vfufvuf θθθθ −+≤−+

Support Vector Regression

11..

||||21

min

)(

2

+=∀+≥+><

+>=<

ybxwas

w

bxwxh w es una combinación lineal de los vectores soporte ( multiplicadores de Lagrange distintos de 0)

19

11

11..

−=∀+≤+><

+=∀+≥+><

ii

ii

ybxw

ybxwas

))(()( xhsignoxf =

Support Vector Regression

11..

||||21

min

)(

2

+=∀−+≥+><

+

+>=<

�i

i

ybxwas

Cw

bxwxh

ξ

ξ

20

11

11..

−=∀−+≤+><

+=∀−+≥+><

iii

iii

ybxw

ybxwas

ξ

ξ

))(()( xhsignoxf =

Support Vector Regression� C nos permite regular el compromiso entre

coste y precisión � Cross-Validation, algoritmosevolutivos

21

más bajo intermedio más alto

Support Vector Regression� ¿Y si queremos separadores no lineales?

22

Support Vector Regression� ¿Qué es un kernel?

Función que realiza el producto escalar en el espacio expandido

23

espacio expandido

Ejemplo: kernel cuadrático

� Expansión espacio:

� Kernel: producto escalar en el espacioexpandido:

Más ejemplos de kernels� Lineal

� Espacio:� Kernel:

� Cuadrático� Espacio:� Espacio:� Kernel:

� Polinómico de grado d� Kernel:

� Gaussiano de escala� Kernel:

Support Vector Regression

><⋅= �∈

xxyxhSVi

iiα)(

26

∈SVi

),()( xxKyxhSVi

ii�∈

⋅= α

Support Vector Regression� Lineal

� Función de pérdida � Vale 0 para los ejemplos dentrode una banda de anchura ∈

bxwf +>=<)(x

27

{ }εε −−=− )(,0)( xx fymaxfy

ε−ε

�=

−+N

iii fyC

1

2)(

21

min εxw

Support Vector Regression� No lineal

� Resuelve problema de optimización

bxwf +>=< )()( φx

bKf +−=� ),()( )( * xxx αα

28

bKfSVi

iii +−=�∈

),()( )( * xxx αα

Multiplicadoresde Lagrange

Support Vector Regressionx y

1.0 1.6

3.0 1.8

4.0 1.0

5.6 1.2

29

5.6 1.2

7.8 2.2

10.2 6.8

11.0 10.0

11.5 10.0

12.7 10.0

Support Vector Regressionx y

1.0 1.6

3.0 1.8

4.0 1.0

5.6 1.2

30

5.6 1.2

7.8 2.2

10.2 6.8

11.0 10.0

11.5 10.0

12.7 10.0

Support Vector Regression

1) Toolbox SVM en Matlabhttp://www.isis.ecs.soton.ac.uk/resources/svminfo/

Guardar en …/matlab/toolbox/svm y añadir al path

31

Interfaz gráfica (sólo 1 dimensión) uiregress

2) WEKA http://www.cs.waikato.ac.nz/ml/weka/

Classifier�SVMRegClassifier� SMORegClassifier� LibSVM

Support Vector Regression

32

Ejercicios � Base de Datos: Demanda marzo 2001 – mayo

2001

1) Red Neuronal MLP y SVM (kernel lineal y RBF) con validación cruzada

33

RBF) con validación cruzada

2) Red Neuronal MLP y SVM (kernel lineal y RBF) con Percentage split

MLP SVM

Lineal RBF

Cross-Validation

Percentage split

Ejercicios � Base de Datos: Demanda marzo 2001 – abril

2001

1) Red Neuronal MLP y SVM (lineal, cuadrático, RBF)

34

cuadrático, RBF) Supplied Test set: Mayo 2001

MLP SVM

Lineal Cuadrático RBF

Mayo 2001

Referencias

[1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June 2005.

[2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price ForecastingUncertainty on Optimal. (PSCC) Power System Computation Conference, 2002

[3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks

35

[3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in ComputerScience, Vol. 2453, pp. 321-330, 2002

[4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied Mathematical Modelling, Vol. 33, pp. 2444�-2454, 2009.

[5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on support vector regression and Auto-regressive integrated moving average modeling. Energy Conversion and Management, in Press