características de las redes neuronales
TRANSCRIPT
Enero 2000 ESCOM I P N 1
Características Características de las Redes de las Redes NeuronalesNeuronales
Enero 2000 ESCOM I P N 2
Características de lasCaracterísticas de lasRedes NeuronalesRedes Neuronales
• Elementos de una RN• Estructuras de RNA• Arquitectura de RNA• Mecanismos de
Aprendizaje• Asociación entre la
información de entrada/salida
Enero 2000 ESCOM I P N 3
Elementos de una Elementos de una red neuronal red neuronal
artificial.artificial.
Enero 2000 ESCOM I P N 4
Elementos de una Red Elementos de una Red Neuronal ArtificialNeuronal Artificial
TIPOS DE NEURONAS
Neuronas de entrada
Unidades ocultas
Neuronas de salida
Enero 2000 ESCOM I P N 5
Estructuras de redes Estructuras de redes neuronales artificiales.neuronales artificiales.
Enero 2000 ESCOM I P N 6
Estructura de una RNAEstructura de una RNA
• Unidades de proces amiento
• Es tado de activac ión
• Patrón de conectividad
• Regla de propagac ión
• Función de trans ferenc ia
• Regla de activac ión
• Regla de aprendizaje
Microestructura
Enero 2000 ESCOM I P N 8
Estado de ActivaciónEstado de Activación
Todas las neuronas tienen 2 posibles estados de activación
• Reposo
• Exitado
• pueden ser continuos o discretos
Enero 2000 ESCOM I P N 9
Función de Transferencia Función de Transferencia • Cambia el estado de activación a una
señal de salida
• Existen 4 funciones de transferencia
Función escalon
Función lineal y mixta
Función sigmoidal
Función gaussiana
Enero 2000 ESCOM I P N 10
Eje mplos de Funcione s de Eje mplos de Funcione s de Trans fe re nciaTrans fe re ncia
Enero 2000 ESCOM I P N 11
Funciones de TransferenciaFunciones de Transferenciaen Escalón en Escalón
Enero 2000 ESCOM I P N 12
Funciones de Transferencia Funciones de Transferencia linealeslineales
Enero 2000 ESCOM I P N 13
Funciones de Transferencia Funciones de Transferencia sigmoidalessigmoidales
Enero 2000 ESCOM I P N 14
Conexiones entre Conexiones entre NeuronasNeuronas
• Cada neurona tiene asociado un peso
• Cada conexión entre neuronas esta
ponderada por un peso
• Reglas de propagación
• Se utilizan matrices con los pesos de cada
neurona
Enero 2000 ESCOM I P N 15
Regla de Propagación
)(;1
∑=
+=N
i
bWijPiFa
Donde:
a: Es la salida de la red.
Wij. Es la matriz de pesos.
Pi. Es el patrón de entrada.
B: Es el umbral de activación.
F: es la funcion de transferencia
Enero 2000 ESCOM I P N 16
Regla de aprendizajeRegla de aprendizaje
La modificación del comportamiento inducido por la interacción de con el entorno y como resultado de experiencias conducente al establecimiento de nuevos modelos de respuesta a estímulos externos.
* El conocimiento representado en los pesos
Enero 2000 ESCOM I P N 17
Arquitectura de las Arquitectura de las Redes NeuronalesRedes Neuronales
• Los parámetros fundamentales de Los parámetros fundamentales de la red son:la red son:– Número de capasNúmero de capas
– Número de neuronas por capaNúmero de neuronas por capa– Grado de conectividadGrado de conectividad– Tipo de conexiones entre neuronasTipo de conexiones entre neuronas
Enero 2000 ESCOM I P N 19
Re de sMonocapa:Re de sMonocapa:
l1 lnl2
Las redes monocapa se utilizan típicamente en Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce comoen tareas relacionadas en lo que se conoce comoautoasociación: por ejemplo, para regenerar autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a lainformaciones de entrada que se presentan a lared incompletas o distorsionadasred incompletas o distorsionadas..
P/ejemplo Hopfield, BSB, Learnig Matrix
Enero 2000 ESCOM I P N 20
Re de s Multicapa:Re de s Multicapa: Redes con conexiones hacia delante (feedforward)Redes con conexiones hacia delante (feedforward)
Este tipo de redes son especialmente Este tipo de redes son especialmente útiles en aplicaciones de útiles en aplicaciones de reconocimiento o clasificación dereconocimiento o clasificación depatrones.patrones.
En este tipo de redes, todas las señales neuronalesEn este tipo de redes, todas las señales neuronalesse propagan hacia adelante a través de las capas dese propagan hacia adelante a través de las capas dela red. No existen conexiones hacia atrás y normal-la red. No existen conexiones hacia atrás y normal-mente tampoco autorrecurrentes, ni laterales.mente tampoco autorrecurrentes, ni laterales.
Enero 2000 ESCOM I P N 21
Redes con conexiones Redes con conexiones hacia adelante y hacia atráshacia adelante y hacia atrás (feedforward / feedback): (feedforward / feedback):
En este tipo de redes En este tipo de redes circula información tanto circula información tanto hacia adelante como hacia hacia adelante como hacia atrás durante el atrás durante el funcionamiento de la red. funcionamiento de la red. Para que esto sea posible, Para que esto sea posible, existen conexionesexisten conexionesfeedforward feedforward y conexiones y conexiones feedbackfeedback entre las neuronas. entre las neuronas.
P/ ejemplo:
ART, BAM, CABAM.
Enero 2000 ESCOM I P N 22
También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.
Redes con conexiones hacia adelante y Redes con conexiones hacia adelante y hacia atráshacia atrás
(feedforward / feedback) (feedforward / feedback)
Enero 2000 ESCOM I P N 24
Re de s de una sola Re de s de una sola capa Fe e dforward capa Fe e dforward
Enero 2000 ESCOM I P N 25
Re de s de una sola Re de s de una sola capa Fe e dforwardcapa Fe e dforward
• Las unidades de entrada son fijadas y entonces la activación es propagada atraves de la red hasta que los valores de las unidades de salida son determinadas.
• La red actua como un vector de un funcion valuada tomando un vector enla entrada y regresando otro vector en la salida.
• Por ejemplo, las entradas pudieran representar las caracteristicas de un miembro de un grupo y la salida pudiera ser la prediccion de el grupo al cual pertenece dicha persona.
Enero 2000 ESCOM I P N 26
Re de s Multicapa Re de s Multicapa Fe e dforward Fe e dforward
Enero 2000 ESCOM I P N 27
Re de s Multicapa Re de s Multicapa Fe e dforward Fe e dforward
• Algunos problemas no se pueden solucionar con una red de unana capa, entonces una capa extra debe agregarse.
• La capa oculta permite a la red crear su propia representación de las entradas.
• Dadas sufientes unidades ocultas de la clase correcta es posible aproximar cercanamente arbitraria casi cualquiera. (Universal Approximation Theorem).
Enero 2000 ESCOM I P N 29
Redes CompetitivasRedes Competitivas• Las redes competitivas son similares a las
feedforward simples, excepto que las competitivas tienen conexiones usualmente negativas entre los nodos de salida.
• Debido a las conexiones anteriores lateraoles en los nodos de salida, estas tienden a competir para representar el patron de entrada actual.
• Las redes de esta clase ha sido usada para explicar la formación de mapas topologicos que ocurren en muchos sistemas sensoriales humanos incluidos la vision, audicion, tacto y gusto y olfato.
Enero 2000 ESCOM I P N 30
Red completamente Red completamente RecurrenteRecurrente
Enero 2000 ESCOM I P N 31
Red completamente Red completamente RecurrenteRecurrente
• Un conjunto de patrones es instantiated en las unidades una al vez. Como cada patron es instantiated los pesos son modificados.
• Una version degrada de uno de los patrones se presenta en la red para intentar reconstruir el patron.
Enero 2000 ESCOM I P N 33
La Otra Red RecurrenteLa Otra Red Recurrente
• Debido a que procesamiento en redes recurrentes depende del estado de la red en el ultimp paso que tuvo lugar para responder a la entrada actual en diferentes formas, dependiendo de las entradas previas.
• Por ejemplo Simple Recurrent Network (Elman) and the Jordan Network