redes neuronales artificiales teorÍa y aplicaciones

22
REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María

Upload: anoush

Post on 15-Mar-2016

90 views

Category:

Documents


0 download

DESCRIPTION

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES. Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María. SOM/KOHONEN Network Mapas Autoorganizativos. Capítulo 3. Estructura de la Red. SOM (Self-Organization Map o Kohonen Network) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Dr. Héctor AllendeDepartamento de Informática

Universidad Técnica Federico Santa María

Page 2: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2

SOM/KOHONEN NetworkMapas Autoorganizativos

Capítulo 3

Page 3: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3

Estructura de la RedSOM (Self-Organization Map o Kohonen Network) Teuvo Kohonen Rev. Information Science(1984)

– Red de aprendizaje no supervisado.– Posee una única capa, la capa de salida.

• Posee un feedback lateral. En general es de forma indirecta ( tipo “Sombrero Mejicano”).• Consiste en K neuronas.• Puede ser unidimensional (K) o multidimensional ( KxK).

– La capa adicional de entrada solo distribuye la entrada en la capa de salida.

• Consiste en N neuronas (dimensión de la entrada).• No hay procesamiento

Page 4: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4

Estructura de la red de Kohonen

Page 5: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5

Sombrero mejicano

Las Neuronas cercanas reciben un feedback (+)

Las Neuronas a mediana distancia reciben feedback (-).

Las Neuronas lejanas no son afectadas.

Page 6: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6

Estructura de la Red.

• Obervaciones:– La distancia entre neuronas es discreta. 0 para la

neurona misma, 1 para las neuronas más cercanas etc.– La función de feedback determina la velocidad de

aprendizaje.– Vecindad Neuronal: Area afectada por el feedback

lateral.– Para grandes vecindades, la distancia puede

considerarse función continua.

Page 7: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7

El Proceso de aprendizaje• Matriz de pesos:• Vector de entrada:

– Entrada es una función paramétrizada x = x(t)• Entrada total: a = W x• La neurona k que tiene un peso asociado tal que:

se declara ganadora.

NiKjijwW

,..,1,..,1}{

NiixX ,..,1}{

||:),(||||:),(|| min,..,1

xjWxkW T

Kj

T

NkW :),(

Page 8: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8

Proceso de aprendizaje• Todas las neuronas incluidas en la vecindad neuronal

incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas.

• El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo).

• Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo)

Page 9: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9

Proceso de aprendizaje

• Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona:

donde y son funciones escalares (no lineales). : feedback positivo : feedback negativo

• A continuación se considera que la vecindad neuronal es toda la red.

),(),( WxWxdtdW

Page 10: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10

Tipos de aprendizaje• La ecuacion diferencial Trivial:

tt

tT

T

T

eWdtetxtW

WxdtdW

jWxdtjdW

00

'

0

')'(1̂)(

:Solución.W W(0):inicialCondición

:matricial forma

00, :),(:),(

Para t, W(j,:) es un promedio exponencialmente ponderado de X.

Page 11: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11

Tipos de Aprendizaje• La ecuación simple:

.W W(0):inicialCondición ])()()[()1(

])()()[()1(

)()1(:discreto en tiempo Aprox.

)()(1

:matricial, forma

00, :),()(:),(

0

IItxtxtWtW

ItxtxtWtttWtW

tW

dtdW

IxxWWxtadtdW

Wxa

jWxtadtjdW

T

T

TT

Tj

Page 12: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12

Tipos de Aprendizaje• La Solución de la ecuación simple:

– La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables.

– Para tiempos cortos la solución se aproxima a procesos asintóticamente estables.

• Para t ; relativamente pequeños y 0:

1

0'0 ])()([)(t

t

T IItxtxWtW

1

0'0 )'()'()(

t

t

T txtxIWtW

Page 13: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13

Tipos de Aprendizaje

• La Ecuación diferencial de Riccati:

WWxxdtdW

jWjWIxdtjdW

jWxxjWa

jWaxdtjdW

TT

TT

TTj

jT

)1̂(1̂

:matricialnotación En

:)],(:),([:),(

:),(:),( como

0,0 :),(:),(

Page 14: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14

Tipos de Aprendizaje• Ecuación de Riccati:

– Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma:

– Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma

cteWxEx

xxxW

T

t

}/{ donde

0̂ si ||||

1̂lim

/||:),(|| jW

Page 15: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15

Tipos de Aprendizaje• Ecuaciones más generales:Teorema: Sea > 0, a =Wx y (a) una función arbitraria tal

que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo:

tiene soluciones W acotada para t, entonces debe tener la forma:donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser

paralelo a <x>

WaxdtdW

jWaxdtjdW

TT

jT

]1̂)([1̂

:matricialnotación en

K1,..,j :),()(:),(

Tt xW 1̂lim

Page 16: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16

Tipos de AprendizajeTeorema: Sea > 0, a = Wx y (a) una función arbitraria tal

que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl

l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo:

tiene soluciones no triviales W acotada para t, entonces debe tener la forma:donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax

WaaxdtdW

jWaxadtjdW

TT

Tj

]1̂)([

:matricialnotación en

:),()(:),(

Tt xW 1̂lim

Page 17: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17

Dinámica de la Red

• Función de ejecución de la red:Para cada vector de entrada X ,

la neurona k para la cual

se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje.

||:),(||||:),(|| min,..,1

XjWXkW T

Kj

T

nTjW :),(

Page 18: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18

Dinámica de la Red• Función de aprendizaje de la red:

– El proceso de aprendizaje es no-supervisado.– El aprendizaje se desarrolla en tiempo discreto.– W=W(t)– En t = 0 los pesos son inicializados con valores

aleatorios pequeños W(0) = W0 .– Los pesos se actualizan de la siguiente forma:

• Para x(t) encontrar la neurona ganadora k.• Actualizar los pesos según modelo elegido:

)/()1()( dtdWtWtWW

Page 19: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19

Dinámica de la Red

• Inicialización y condición de parada:– Los pesos son inicializados con valores

aleatorios pequeños.– La condición de parada del proceso de

aprendizaje puede ser:• Elegir un número fijo de pasos.• El proceso de aprendizaje continúa hasta que la

cantidad de ajuste: wji= wji(t+1)-wji (t)

Page 20: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20

El Algoritmo• Para toda las neuronas en la capa de salida: inicializar los pesos con

valores aleatorios • Si se trabaja con vectores normalizados, Normalizar vectores • Elegir el modelo de aprendizaje ( Ecuación diferencial)• Elegir un modelo de vecino neuronal ( fu. de feedback lateral).• Elegir condición de parada.• Construir a partir de la ED, la fórmula de adaptación de los pesos.• Considerando tiempo discreto, repetir los pasos anteriores hasta que la

condición de parada se cumpla:– Tomar la entrada x(t)– Para todas las neuronas j en la capa de salida, encontrar la ganadora.– Conociendo la ganadora, actualizar los pesos.

)1,0(2U

Page 21: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21

Fórmula de adaptación de pesos• La ecuacion diferencial Trivial:

])(exp[h j)h(k,

,.0;,, j)h(k,

j)h(k, lateralfeedback defu la Dada

2jk

etocNjparao

WxdtdW

c

T

Para t, W(j,:) es un promedio exponencialmente ponderado de X.

Page 22: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22

Fórmula de adaptación de pesos

La ecuación Trivial:

.W W(0):inicial Condición ])(1̂[]1̂)()[()()1(

))(exp()(exp),(

0

0

WtxnormxhttWtW

tftjkh

TT