1

Utilizacion de las Funciones de Activacion Posliny Purelin para la Resolucion de la Discriminante

de una Ecuacion y Regresion Lineal SimpleRespectivamente.

Henry Quishpe, Student, UNL, and Diego Cuenca, Student, UNLTutor: Ing. Henry Paz

F

Abstract—The subject of neural networks, definition, usage,functions studied activation and learning functions. By studyingthese issues using a practical example functions purelin poslinand activation (an example separately) to demonstrate its cor-rect operation and use was made, this means that for everyproblem using one or more functions is suitable thereto, alsoactivating a learning function used to train the neuron, namelythat it can respond after alone to different situations learned.

Resumen.- Se estudio el tema de las redes neuronales,su definicion, utilizacion, funciones de activacion y funcionesde aprendizaje. Con el estudio de estos temas se realizo unejemplo practico haciendo uso de las funciones de activacionposlin y purelin (un ejemplo por separado) para demostrarsu correcto funcionamiento y utilizacion, esto significa quepara cada problema se hace uso de una o mas funciones deactivacion adecuadas al mismo, ademas se utilizo una funcionde aprendizaje para entrenar a la neurona, es decir que puedaresponder despues por si sola a situaciones diferentes a lasaprendidas.

Index Terms—paper, template, activation functions, neural net-work, poslin, purelin, function of learning, Feedforwar, Backprop-agation, trainlm, workspace.

Palabras Claves.- papel, plantilla, funcion de activacion, red

neuronal, poslis, purelin, funion de aprendizaje, espacio de

trabajo, retropropagacion.

1 INTRODUCTION

LA presente investigacion se refiere al temade las redes neuronales artificiales (RNA),

que estan inspiradas en el funcionamiento delcerebro humano, estan compuestos por una

gran cantidad de elementos de procesamientoconectados entre si y operan en formaparalela.En la actualidad su utilizacion es muyimportante ya que consiguen resolverproblemas relacionados con el reconocimientode prediccion, codificacion, patrones,clasificacion, control, optimizacion, y enmuchas ramas mas.

La caracterıstica principal de esta neuronaartificial es que tiene un aprendizaje inductivo,es decir no se les indica las reglas para darsolucion, extrae sus propias reglas a partir delos ejemplos de aprendizaje.

Las RNA estan compuestas por tres elemen-tos los cuales son: lazos sinapticos, mezcladorlineal y una funcion de activacion, esta ultimaes de especial importancia ya que permite pro-porcionar caracterısticas lineales y no linealesal comportamiento de una neurona artificial.Este articulo se enfoca a la realizacion de lasfunciones de activacion como poslin y purelin,se realiza un ejemplo por cada una usando laherramienta de programacion matlab.En la seccion 2 se habla de las Redes Neu-ronales Artificiales (RNA), en la cual se haceuna definicion, se espedifican sus ventajas ydesventajas, se menciona su arquitectura y loselementos basicos que las componen.

2

En la seccion 3 se habla de las funciones deactivacion que se van a utilizar para la res-olucion de los problemas ya especificados ante-riormente, se habla de las condiciones de cadafuncion.En la seccion 4 se habla de las funciones deaprendizaje, es aqui en donde se especifica quefuncion se utiliza para cada ejemplo y que tipoaprendizaje es el utilizado.En la seccion 5 se presentan los resultados delos ejemplos con las funciones poslin y purelinutilizando la herramienta matlab para la res-olucion del problema.

2 REDES NEURONALES ARTIFICIALES(RNA)2.1 DefinicionSistema de computacion que consta de un grannumero de elemntos simples, muy interconec-tados, que procesan la informacion respondi-endo dinamicamente frente a unos estımulosexternos. [1]

Una red neuronal artificial (ANN) es un es-quema de computacion distribuida inspiradaen la estructura del sistema nervioso de losseres humanos. La arquitectura de una red neu-ronal es formada conectando multiples proce-sadores elementales, siendo este un sistemaadaptivo que pose un algoritmo para ajustarsus pesos (parametros libres) para alcanzar losrequerimientos de desempeno del problemabasado en muestras representativas. [2]

2.2 Ventajas y DesventajasAlgunas ventajas de las RNA frente a otrossistemas de procesamiento de informacion son:

• Las RNA pueden sintetizar algoritmos atraves de un proceso de aprendizaje.

• Para utilizar la tecnologıa neural no esnecesario conocer los detalles matematicos.Solo serequiere estar familiarizado con losdatos del trabajo.

• La solucion de problemas no lineales esuno de los fuertes de las RNA.

Las desventajas de las redes neurales son:• Las RNA se deben entrenar para cada

problema. Ademas, es necesario realizar

multiples pruebas para determinar la ar-quitectura adecuada.

• El entrenamiento es largo y puede con-sumir varias horas de la computadora(CPU). Debido a que las redes se entrenanen lugar de programarlas, estas necesitanmuchos datos.

• Las RNA representan un aspecto complejopara un observador externo que desee re-alizar cambios. [3]

2.3 Arquitectura de una red Neuronal

Las redes neuronales se basan en generalizarinformacion extraıda de datos experimentales,tablas bibliograficas o bases de datos, los cualesse determinan por expertos humanos. Dichasredes toman en cuenta las entradas y como sali-das las senales del sistema. Para ello resulta utilla caracterizacion de tres tipos de neuronas:deentrada,de salida y ocultas.

• Las neuronas de entrada reciben senalesdesde un entorno, las cuales son propor-cionadas por sensores o de otros sectoresdel sistema como por ejemplo archivosde almacenamiento de patrones de apren-dizaje. Estas neuronas se encuentran agru-padas en una capa de entrada, las numerode neuronas que la conformas depende delos datos del problema.

• Las neuronas de salida envıan su senaldirectamente fuera del sistema una vez queha finalizado el tratamiento de la infor-macion.Se encuentran en la capa de saliday el numero de neuronas depende delformato esperado de salida de la red.

• Las neuronas ocultas reciben estımulos yemiten salidas dentro del sistema, sin man-tener contacto alguno con el exterior. Aquies donde se establece la representacioninterna de la neurona.Estas se encuentranen la capa intermedia y el numero deneuronas depende del tipo y complejidaddel problema a resolver con la red.

3

Fig. 1. Arquitectura de una red neuronal.

2.4 Elementos de un neurona artificial

Una red neuronal esta compuesta de varioselementos esenciales los cuales le permiten re-solver algun problema, en la figura 2 se puedeapreciar los elementos basicos que contiene unaneurona artificial:

Fig. 2. Elementos de una neurona artificial.

Entradas.- Son los datos o valores ingresadaspor el ser humano o tambien pueden ser leidosdesde un archivo de almacenamiento.

Pesos.- Por cada entrada existe un pesorelativo el cual proporciona la importancia dela entrada dentro de la funcion de agregacionde la neurona. Estos pesos realizan la mismafuncion que realizan las fuerzas sinapticasde la neurona biologicas. Estos pesos sonmodificados en respuesta de los ejemplosde entranamiento debiado a las reglas deentrenamiento.

Salidas.- Cada elemento de procesamientotiene permitido una salida, la cual puede estarasociada con un numero elevado de otras neu-ronas. La valor de la salida obtenida resulta dela funcion de activacion utilizada.

2.5 Red Multicapa Hacia Adelante

Este modelo Feedfoward no tiene retardosy sus capas son implementadas una acontinuacion de otra. Por otro lado estasredes tambien son llamadas Retropropagacion(Backpropagation). Utilizan un algoritmomatematico para el entranamiento de todas lascapas, lo cual permite una mayor eficiencia enla modificacion de los pesos y el bias.

3 FUNCIONES DE ACTIVACION

Se encarga del calculo del nivel de activacionde la neurona en funcion de la entrada total,tambien denota la salida de la neurona. Lasfunciones utilizadas en este trabajo son lassiguientes:

3.1 Funcion de Activacion Poslin

La funcion de transferencia poslin devuelve lasalida n si n es mayor que o igual a cero y 0 sin es menor que cero.

a = 0→ n < 0 (1)

a = n→ n ≥ 0 (2)

Fig. 3. Funcion de Activacion poslin.

4

3.2 Funcion de Activacion Purelin

La funcion de activacion purelin es de tipolineal, es utilizado en redes ADALINE y aveces en redes de Retropropagacion. Purelindevuelve la salida n cuando a es igual a n.

a = n (3)

Fig. 4. Funcion de Activacion purelin.

4 FUNCIONES DE APRENDIZAJE

El aprendizaje consiste en la modificaciondel comportamiento inducido por lainteraccion con el entorno y como resultadode experiencias conducente al establecimientode nuevos modelos de respuesta a estımulosexternos. [5]

La funcion que se ha utilizado en losejemplos es la de trainlm, ya que estaactualiza los valores de los pesos y bias deacuerdo con la optimizacion de Levenberg-Marquardt. Tambien conocido como losmınimos cuadrados amortiguados.Trainlm es a menudo el mas rapido algoritmode propagacion, y es muy recomendablecomo primera eleccion supervisada, aunque sırequiere mas memoria que otros algoritmos.Para el ejemplo con poslin se utilizo unaprendizaje supervisado, donde se conocelas entradas y salidas deseadas que debetener la red, mientras que con purelin seutilizo un aprendizaje no supervisado yaque no se conocen los valores de salida paracada entrada, es decir no se puede hacercorrecciones por error.

5 RESULTADOS

Se hizo uso de la herramienta matlab para larealizacion de los respectivos ejemplos, con lacual se puedo obtener los resultados deseadoslos cuales son descritos a continuacion:

5.1 Ejemplo practico con PoslinComo se digo anteriormente que la funcionposlin es de tipo lineal positiva, es decir quesolo presenta datos de salida desde 0 hasta elinfinito positivo, es por ello que el problemaa resolver es sobre la discriminante de unafuncion de segundo grado para saber cuantassoluciones reales tiene la ecuacion.

ax2 + bx+ c = 0 (4)

El ejemplo consiste en entrenar a la neu-rona para saber cuantas soluciones tiene unaecuacion de segundo grado con el calculo de ladiscriminante, para ello se ingresan los valoresde cada ecuacion como a, b y c como entradas,y las salidas respectivas. Para el calculo de ladiscriminante la cual sera la salida de cadaecuacion se hace uso de la siguiente formula:

b2 − 4ac (5)

Se llama discriminante de la ecuacion la cualpermite averiguar en cada ecuacion el numerode soluciones. Podemos distinguir tres casos:

1) La ecuacion tiene dos soluciones, que sonnumeros reales distintos.

b2 − 4ac > 0 (6)

2) La ecuacion tiene una solucion doble.

b2 − 4ac = 0 (7)

3) La ecuacion no tiene soluciones reales.

b2 − 4ac < 0 (8)

Los valores de entrada se los obtiene de lassiguientes ecuaciones de segundo grado:

f =

1) − 2x2 − 5x− 42) x2 + 2x− 13) x2 − 5x+ 64) x2 + 6x+ 95) x2 + x− 26) 2x2 + 5x+ 4

(9)

5

Los valores obtenidos de la ecuacionanterior se presentan en la siguiente imagen yası tambien se presenta la salida que se deseaobtener.

Fig. 5. Valores de Entrada y Salida

En la siguiente imagen se puede apreciar larepresentacion de la red neuronal.

Fig. 6. Representacion de la Red Neuronal

Una vez terminado el entranamiento laneurona encuentra los valores de los pesosideales y el valor del bias.

Fig. 7. Pesos de las entradas

Fig. 8. Valores del Bias

Los Resultados finales son los que se obser-van en la imagen:

Fig. 9. Resultados Finales

En donde se obtiene las mismas salidas quelas deseadas y ademas se puede apreciar elnumero de soluciones que tiene cada ecuacion,el valor -7 es menor que cero por lo tanto poslinlo presenta como cero.

5.2 Ejemplo practico con Purelin

El presente programa resuelve el modelo deRegresion Lineal Simple, que es uno de losaspectos mas relevantes de la Estadıstica esel analisis de la relacion o dependencia en-tre variables, esta definido por el siguienteplaneamiento:1. Planteamiento de la Regresion Lineal.

El comportamiento de una magnitudeconomica puede ser explicado a traves deotra:

Y = F (x) (10)

Si se considera que la relacion puede serde tipo lineal, la formalizacion vendrıadeterminada por una ecuacion como lasiguiente:

Y = β1 + β2X (11)

6

De forma abreviada el sistema de ecua-ciones se puede escribir de la siguientemanera:

Yt = βt + βtX + Ut → t = 1, 2, 3...T (12)

El objetivo del analisis de regresion es la esti-macion de los parametros. El primer paso es larepresentacion grafica de las variables (Y, X) enun diagrama de dispersion:

Fig. 10. Diagrama de Dispersion

Dado que la relacion de dependencia entreambas variables es aleatoria, las observacionesno se encontraran a lo largo de una recta. Laestimacion de los parametros supone encontrarla ordenada en el origen y la pendiente de unarecta que mejor se aproxime a los puntos. [6]

Fig. 11. Diagrama de Regresion Lineal Simple

2. Problema a ResolverLa siguiente tabla muestra el salario an-ual, para el primer trabajo y la califi-cacion media obtenida durante la licen-ciatura de 8 personas recien licenciadasescogidas al azar en una Facultad de Cien-cias Economicas y Empresariales.

Calificacion 5.2 5.8 6.3 7.5 7.8 8.2 8.6 8.8Salario 1.5 1.6 1.8 2.6 2.7 3 3.1 3.8

TABLE 1Tabla de Datos

3. Ejecucion del ProgramaAl ejecutar el programa, en el workspacede Matlab nos aparecera un mensajepidiendonos que ingresemos los datos dela variable independiente X.Luego de ingresados los valores de X,seguidamente nos pedira los valores de lavariable dependiente Y.Con los datos de X y Y ingresados primer-amente se presenta el diagrama de dis-persion de estos valores. En esta imagen sepuede apreciar que no existe relacion claraentre todos los puntos, para solucionar esoutilizamos una red neuronal.

Fig. 12. Diagrama de Dispersion

En la siguiente imagen se puede ver elnntraintool en donde se muestra el resumendel entrenamiento de la red neuronal, talcomo el numero de iteraciones que realizo, eltiempo, el numero de neuronas, la funcion,etc.

7

Fig. 13. Entranamiento de la Neurona

La red neuronal encuentra la recta que mejorse aproxime a los puntos, que es el objetivode la Regresion Lineal Simple con los metodosmanuales de los Mınimos Cuadrados.

Fig. 14. Grafica de Purelin

Finalmente en el workspace de Matlab semuestra la solucion en relacion a la ecuacionde la recta definida al inicio. Los valores queconforman la ecuacion final es el valor pesopor la variable independiente y el del bias.

Fig. 15. Resultados Finales

El codigo de ambos ejemplos realizados enmatlab se puede encontrar en el siguiente en-lace:

https://code.google.com/p/funcion-poslin-purelin/

6 CONCLUSIONES

Una vez finalizado el trabajo llegamos a con-cluir que:

• Las funciones de activacion Purelin yPoslin son aplicadas en la mayor partepara la resolucion de problemas lineal-mente separables, siendo esta una limi-tante.

• Las redes neuronales artificiales medianteun correcto entrenamiento nos permitensolucionar diferentes tipos de problemascon un margen de error no significativo.

• El uso de la funcion de activacion Purelines importante para encontrar la solucionde problemas de Regresion Lineal Simple,ya que su condicion permite resolver prob-lemas lineales.

• La utilizacion de la funcion de activacionposlin fue importante para obtener unasolucion al problema de la discriminante,ya que por su condicion se pudo saber lassoluciones posibles de una ecuacion.

• La utilizacion de la herramienta matlabfue relevante, ya que nos facilita elentranamiento de la red neuronal y conello obtener los resultados deseados.

8

7 RECOMENDACIONES

Una vez concluido el trabajo se recomienda:• Conocer a fondo cada una de las funciones

de activacion disponibles y tambien elproblema a resolver para con ello proponeruna solucion, ya que cada una de estas sonlas responsables de la salida de la neuronay por ende de la solucion del problema.

• Utilizar mas neuronas para un mejor yrapido aprendizaje de la red neuronal.

• No sobre entrenar a la red neuronal, yaque sus valores vienen a variar consider-ablemente, lo cual causa que la solucionno sea optima.

REFERENCES

[1] R. Pino, A. Gomez, N. Martınez Introduccion a la Inteligen-cia Artificial:Sistemas Expertos, Redes Neuronales Artificialesy Computacion Evolutiva, 1rd ed.Universidad de Oviedo,2001

[2] R. Salas, Redes Neuronales Artificiales, Departamento deComputacion, Universidad de Valparaıso.

[3] P. Ponce, Inteligencia artificial con aplicaciones a la ingenierıa,1rd ed.Alfoomega Grupo Editor, S.A: Mexico, 2010.

[4] Ivan Martınez Ortiz, Introduccion a las Redes Neuronales.Universidad Complutense de Madrid.

[5] Hilera, JR, Msrtninez, VJ. Redes Neuronales Artificiales.Fundamentos, Modelos y Aplicaciones. RA-MA / AddisonWesley Iberoamericana , Madrid / Mexico, (1995)

[6] Sofia, Garcıa,Regresion Lineal Simple. UniversidadAutonama de Madrid (2000)