aplicaciones de las redes neuronales artificilaes dr. héctor allende

Aplicaciones de las Redes Neuronales Artificilaes

Dr. Héctor Allende

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2

Areas de Aplicación

• Areas donde se aplican ANN:– Ingeniería ( Control, Robótica, Visión )– Ciencias de la computación.– Neurofisiología.– Física.– Matemáticas– Ciencia del Conocimiento.– Economía y finanzas– Estadísticas.


Aplicaciones.• Algunas aplicaciones:

– Reconocimiento de patrones.– Predicción.– Regresión.– Compresión.– Procesamiento de Señales – Data Mining.– Series de Tiempo.– Finanzas.– Reconocimiento de voz, caras, caracteres .– Restauración de imagenes.etc.

EjemploModelos de Regresión

Redes FeedForward


Modelos de Regresión

• Tipo de Redes:– Feedforward , Feedforward Recurrentes

• Característica:– Las redes Feedforward son aproximadores universales.

– Pueden modelar funciones altamente no-lineales, donde modelos lineales tradicionales, no se comportan bien.

– No necesitan conocomiento del fenómeno, sólo un conjunto de datos.

– Aprendizaje es supervizado.

– Corrección del Error


Formulación del problema

• Se desea modelar la siguiente función

donde con

))5.0exp(1(10)(

20,...,1)(1

iis

iisi

xxf

iexfx

),0(~ 102INei 3/12


Tipo de ANN utilizada

• La entrada a la red fue normalizada entre

[-1,1].

• Tiene 1 neurona de entrada y 1 de salida.

• La red tiene 1 capa escondida y 3 neuronas escondidas.

• La red es del tipo FeedForward con algoritmo de aprendizaje Back-Propagation.


Proceso de Aprendizaje.Desempeño del BackPropagation


Datos experimentales y salida de la ANN

EjemploSeries de Tiempo y Predicción

Redes FeedForward


Formulación del problema

• Tipo de Redes:– FeedForward.

• Modelar los datos de la “Línea Aerea Internacional”modelo (ARIMA), de orden (0,1,1)x(0,1,1)12

( )( ) ( )( )1 1 1 1120

12 B B x B B at t


ANN de los datos de la Aerolínea

1 1

xt-1

xt-13

xtxt-12

INPUT LAYER HIDDEN LAYER OUTPUT LAYER

-1.1339

-1.5058

1.2433

-3.1022

-0.0883 1.5182


Datos de la Aerolínea

EjemploClasificación de Patrones

LVQ (Learning vector quantizacion)


Clasificación de Patrones

• Tipo de Redes:– LVQ (Learning vector quantizacion).

• Característica:– Consiste en clasificar un conjunto de elementos

en un conjunto de clases.– Se debe utilizar redes con aprendizaje

supervisado.– Las ANN son ampliamente usada en problemas

de clasificación.


Formulación del Problema

• Patrones:

– P son los patrones de entrada (p1 , p2)

– C es la clase a la cual pertenece cada patrón.

]1 1 1 2 2 2 2 1 1 1 [

0 1- 1 2- 1- 1 2 1- 1 0

3 2 2 0 0 0 0 2- 2- 3-

C

P


Gráfico de la ubicación de los Patrones.

Rojo : Clase 1

Celeste : Clase 2


Parámetros de la ANN

• Neuronas escondidas: 4

• Razón de aprendizaje: 0.1

• Por ciento de cada clase: Clase 1: 60%, Clase 2: 40%


Resultado de la Red neuronal.

+ Vectores de entrada.

O Pesos de las neuronas

Rojo: patrones clasificados como clase 1

Celeste: patrones clasificados como clase 2.

Clasificación de caracteres

Counterpropagation Network

Redes CPN


Clasificación de Caracteres

• Tipo de Redes:– CPN.

• Característica:– Consiste en un problema de clasificación de patrones.

– Se debe utilizar redes con aprendizaje supervisado.

– Las ANN son ampliamente usada en estos problemas de clasificación.



• Se tiene un conjunto de letras como una imagen binaria de 5x6 pixeles, “1”cuando el pixel esta encendido y “0” cuando el pixel esta apagado

• La red tiene que asociar correctamente el código ASCII a la imagen.

1) 0 0 0 1 1 0 0 0 1 1 1 1

1 1 1 0 0 0 1 0 1 0 1 0 0 0 1 0 0()( AxTrep


Ejemplo de Imágenes de Letras


Representación de las letras

binario Código 1) 0 0 0 0 0 1 (0)(

65A de ASCII Código

1 0 0 0 1

1 0 0 0 1

1 1 1 1 1

1 0 0 0 1

0 1 0 1 0

0 0 1 0 0

)(

Ay

Ax

T

Trep


Letras de Testeo

EjemploProblemas de Heurística:

Traveling Salesperson Problem(TSP)

Redes de Hopfield


Problemas de Heurística: “Problema del Vendedor Viajero”

• Tipo de Redes:– Hopfield bidimensional con memoria continua.

• Característica:– Problema del tipo NP (no-polinomial).

– Consiste en un problema de Optimización.

– Se debe utilizar redes con aprendizaje no supervisado.



• Condiciones:• Un vendedor viajero debe visitar un número de

ciudades, visitándolas todas, solo una vez. • Moverse de una ciudad a otra tiene un costo

asociado ( dependiendo de la distancia) . • El vendedor viajero debe volver al punto de partida.• Se debe encontrar la secuencia correcta que

minimiza el costo.• (n!): 2n = número de recorridos distintos


Análisis del Problema

• Sea C1, C2, .., CK las ciudades involucradas.

• A cada ciudad se le asocia un número que representa el orden en el que fue visitada.– La representación es binaria.– Ej: 1era ciudad = (1 0 0... 0)– Ej: 2da ciudad = (0 1 0 ... 0)– Etc...


Matriz que define el Problema

K

k2

k1

1

21

C 1 ..... 0 ..... 0 .... 0

..........................

C 0 ..... 1 ..... 0 .... 0

..........................

C 0 ..... 0 ..... 1 .... 0

.........................

C 0 ..... 0 ..... 0 .... 1

K .... j .... j .... 1


Análisis del Problema

• La idea es construir una memoria de Hopfied Bidimensional, tal que la salida es la matriz Y que tiene la forma anterior, y será la solución.


Restricciones para Y

1. Cada ciudad no puede ser visitada más de 1 vez. Cada fila tiene no más de un 1.

2. 2 ciudades no pueden ser visitadas al mismo tiempo Cada columna no puede contener más que un 1.

3. Todas las ciudades deben ser visitadas Cada fila o columna debe tener al menos un 1.

4. El costo o distancia total debe ser minimizado. Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2.


Pesos asociados a las Neuronas.


Construcción de los pesos.

1. Cada ciudad debe aparecer 1 vez en el tour:

• Una neurona en una fila debe inhibir todas las otras de la misma fila.

RA ),1(21211122

)1(jjkkjkjk Aw



2. No debe haber con el mismo número de orden en un tour.

• Una neurona en una columna debe inhibir todas las otras de la misma columna.

RB ),1(21211122

)2(kkjjjkjk Bw



3. La mayoría de las neuronas deben tener valor cero entonces se debe usar inhibición global

RC )3(

1122Cw jkjk


Construcción de los pesos.4. Distancia total debe ser minimizada,

entonces las neuronas reciben entrada inhibitoria proporcinal a la distancia.

e.t.o.c.

1jy j si 1''

e.t.o.c.

jy 1j si 0'

RD ),(

2

212

2

212

1´´1')4(

2121211122

j

KKj

j

Kj

donde

Ddw jjjjkkjkjk


Función de Energía

• Función de energía de la memoria discreta de Hopfield:

• Formula de actualización:

)(2

1txyWyyE TT

)](1̂[)(1̂)()()1( tytyCtWytyty


Inicio del Algoritmo. TSP 50 ciudades


Solución Encontrada.TSP 50 ciudades

aplicaciones de las redes neuronales artificilaes dr. héctor allende

Documents