introducción a las redes neuronales mg. samuel oporto díaz desarrollo de soluciones inteligentes
TRANSCRIPT
Introducción a las Redes Neuronales
Mg. Samuel Oporto Díaz
DESARROLLO DE SOLUCIONES INTELIGENTES
Mapa Conceptual del Curso
Sistemas Inteligentes
Reconocimiento de Patrones
Agentes Inteligentes
Visión Artificial
Redes neuronales
Tabla de Contenido
• Neuronas Naturales• Neuronas Artificiales• Clasificación de las Redes Neuronales• Aplicaciones
Mapa Conceptual de la Sesión
Neuronas Naturales
Neuronas Artificiales
Aprendizaje
Reconocimiento de Patrones
Arquitectura de las redes neuronales
Aplicaciones
No Recurrentes
Recurrentes
Aprendizaje supervisado
Aprendizaje no supervisado
Red Perceptron
Red de retro-propagación
Método de Trabajo
Objetivo de la Sesión
• Exponer los aspectos básicos de las redes neuronales.• Exponer los conceptos acerca de las redes neuronales.• Exponer los conceptos del aprendizaje natural y
automático.• Exponer los conceptos de reconocimiento de patrones.• Plantear el modelo de redes neuronales artificiales.• Exponer las arquitecturas de las redes neuronales.
NEURONAS NATURALES
El Cerebro Humano
• Gran velocidad de proceso• Trata gran cantidad de información
– Los sentidos– Memoria almacenada
• Capacidad de tratar situaciones nuevas
• Capacidad de aprendizaje• Almacenamiento redundante.• No binario, no estable y no
síncrono.• Poder desconocido
• 1011 Neuronas (procesadores)• 1000 – 10000 conexiones
por neurona• Capacidad basada en las
conexiones.• Cada neurona es muy
compleja.
La Neurona
• Dendritas de entradas• Un axón de salida• Sinapsis de conexión.• 104 sinapsis por neurona• Comunicación mediante
Potenciales de Acción (PA)• Generación de conexiones.• Consolidación de conexiones.
dendrita
neurona
núcleo
axón
nódulo de Ravier
envoltura de mielina
célula de schwann
axón terminal
La Neurona
Conexiones Neuronales
Cuerpo
DendritasAxon
Señal
Sinapsis
(Información)
Sinapsis
• Impulso eléctrico que viaja por el axón
• Liberación de neurotransmisores• Apertura/cierre de canales
iónicos• Integración de entradas en soma
• Si se supera umbral de disparo se genera un PA
• Variación potencial en dendrita
Los Potenciales de Acción
• Es una onda de descarga eléctrica que viaja a lo largo de la membrana de la neurona.
• Se utilizan para llevar información entre neuronas.
• Se generan en las células y en las neuronas.
• Periodo refractario de 10-3 segundos entre PAs
Los Potenciales de Acción
NEURONAS ARTIFICIALES
1
2
3
4
57
6Wij
1 Wij2
u1
u2
y1
y2
Wij3
Inspiración Biológica
¿Qué modelar?• Inclinación a adquirir conocimiento
desde la experiencia
• Conocimiento almacenado en conexiones sinápticas
• Gran plasticidad neuronal y tolerancia a fallos (muerte neuronal)
• Comportamiento altamente no-lineal
Red Neuronal Artificial (RNA)
• Es un sistema de procesamiento de información que tiene propiedades inspiradas en las redes neuronales biológicas:
– El procesamiento de información ocurre en muchos elementos simples llamados neuronas.
– Las señales son transferidas entre neuronas a través de enlaces de conexión.
– Cada conexión tiene un peso asociado representando la sinapsis.
– Cada neurona aplica una función de activación a su entrada de red (suma de entradas pesadas) para determinar su salida, representando la generación de potenciales de acción.
Modelo Neuronal
net u= Xi Wiu
n
i 1Yu = f (netu)
Yu = f ( Xi Wiu )
n
i 1
Elemento Procesador
net u
Xi
Wiu
Yu
Modelado Neuronal
• Entradas (X)• Salida (Y)• Pesos sinápticos (W)• Función suma (net)• Función de activación (f)• Funcionamiento en modo
aprendizaje o ejecuciónnn
kk
11
uu
...
..
.
X1
Xk
Xn
W1u
Wku
Wnu Yu
net u= Xi Wiu
n
i 1
Yu = f (netu)
Yu = f ( Xi Wiu )
n
i 1
Neurona Natural vs. Artificial
• Neurona = Unidad de procesamiento• Dendritas = entradas (X)• Axón = salidas (Y)• Conexiones sinápticas = Conexiones con pesos (W)
• Efectividad sináptica = Peso sináptico (Wij)
• Excitación / Inhibición = Pesos Wij (+) ó Wij (-)
• Potencial = Valores de entradas o salidas• Combinado de PAs = Función de propagación (Σ)• Potencial de acción = Función de transferencia (f)
Función de Propagación• Permite obtener el valor del
potencial post-sinaptico (net) a partir de las entradas (X) y los pesos (W)
• Es posible utilizar otro tipos de función de propagación, tales como mínimo, máximo, mayoría, producto, etc.
Función de Transferencia.• Permite obtener la salida (Y) del
elemento procesador ante un estímulo (net).
• En el modelo más simple la f obtiene la salida Y comparando la entrada net con un umbral.Si net > umbral señal.
Si net < umbral sin señal.
Función de Transferencia
netu= Xi Wiu
n
i 1
Yu = f (netu)
Ejercicio 7
• Dado la siguiente red neuronal de 1 capa, determine la salida para los siguientes registros de datos:
n1
n2
n3
X1
X2
Y
0.25
0.35
Xnxk = x1 0.50 -0.35 -0.70 0.22 0.50
x2 1.50 0.50 0.45 0.33 -0.85
Y1xk =
Ejercicio 7
CLASIFICACIÓN DE LA REDES NEURONALES
Redes no recurrentes.• Propagación hacia delante o
acíclicas.• Las señales van de la capa de
entrada a la salida sin ciclos. – Monocapa. perceptrón, Adaline. – Multicapa. perceptrón multicapa.
Redes recurrentes.• Presentan al menos un ciclo
cerrado de activación neuronal.– Elman, Hopfield, – Máquina de Bolzman.
Topología
En función del patrón de conexiones que presenta.
Aprendizaje Supervisado Aprendizaje no Supervisado
Tipo de Aprendizaje
Si necesita o no un conjunto de entrenamiento supervisado• Aprendizaje supervisado: necesitan datos clasificado
– perceptrón simple, red Adaline, perceptrón multicapa y memoria asociativa bidireccional.
• Aprendizaje no supervisado o autoorganizado: no necesitan de tal conjunto previo.– Memorias asociativas, redes de Hopfield, máquina de Bolzman y
máquina de Cauchy, redes de aprendizaje competitivo, redes de Kohonen, redes de resonancia adaptativa (ART)
• Redes híbridas: son un enfoque mixto en el que se utiliza una función de mejora para facilitar la convergencia.– Redes de base radial.
• Redes analógicas: procesan datos de entrada con valores continuos y habitualmente acotados.– Hopfield, Kohonen y las redes de aprendizaje competitivo.
• Redes discretas: procesan datos de entrada de naturaleza discreta habitualmente valores lógicos booleanos. – Máquinas de Bolzman y Cauchy y red discreta de Hopfield.
Tipo de Entrada
rango 1 rango 2 rango 3
Algoritmos de Aprendizaje
• Algoritmos de aprendizaje más comunes:
– Perceptrón multicapa o Backpropagation (BPN)• Aprendizajes supervizados bajo corrección de error
– Mapas Auto-organizados (SOM)• Aprendizajes competitivo no supervizados
Wij(t+1) = Wij(t) - η ∂ J ∂Wij(t)
Wv(t +1) = Wv(t) + Θ (v, t) α(t)(D(t) - Wv(t)),
APLICACIONES
Aplicaciones
• Se usan para el reconocimiento de patrones.• Problemas donde más importante es el patrón que los
datos exactos.
• Aplicaciones:1. Clasificación.2. Predicción3. Clustering (Agrupamiento)4. Aproximación de curvas
1. Clasificación
• Clasifica objetos en un número finito de clases, dado sus propiedades.
• Busca una función de mapeo que permita separar la clase 1 de la clase 2 y esta de la clase 3…
• El número de clases es finito.
• Árboles de decisión.
• Reglas de Asociación.
• Redes Neuronales.
• Clasificador Bayesiano.
• Razonamiento basado en casos
2. Predicción
• Intenta determinar la función que mapea un conjunto de variables de entrada en una (o más) variables de salida.
• Es básicamente numérica.• Está basada en supuestos estadísticos.• Ejemplos:
– Monitoreo la reserva de plazas en empresas de aviación.– Predicciones financieras a corto plazo
3. Clustering
(Clasificación no supervisada)• Intenta agrupar una serie de
objetos en grupos.• Cada objeto es representado por
un vector de atributos n-dimensional.
• Los objetos que forman cada grupo deben ser disimilares.
• La similaridad es medida del grado de proximidad.
• Luego cada grupo es etiquetado.
• K-means(agrupamiento exclusivo)
• Fuzzy C-means(agrupamiento con traslape)
• Angulo de distribución mínima
• Método de autoorganización (SOM)
• Razonamiento Adaptativo
4. Aproximación de curvas
• Reconocer el patrón de curvas entregadas como una secuencia de puntos.
Financial• Stock Market Prediction• Credit Worthiness• Credit Rating• Bankruptcy Prediction• Property Appraisal• Fraud Detection• Price Forecasts• Economic Indicator Forecasts
Medical• Medical Diagnosis• Detection and Evaluation of
Medical Phenomena• Patient's Length of Stay
Forecasts• Treatment Cost Estimation
Industrial• Process Control• Quality Control• Temperature and Force
Prediction
Science• Chemical Compound Identification• Physical System Modeling• Polymer Identification• Recognizing Genes• Botanical Classification• Signal Processing: Neural Filtering• Biological Systems Analysis• Ground Level Ozone Prognosis• Odor Analysis and Identification
Educational• Teaching Neural Networks• Neural Network Research• College Application Screening• Predict Student Performance• Data Mining
Energy• Electrical Load Forecasting• Energy Demand Forecasting• Short and Long-Term Load Estimation• Predicting Gas/Coal Index Prices• Power Control Systems• Hydro Dam Monitoring
Otras AplicacionesPrediction• Classification• Change and Deviation
Detection • Knowledge Discovery• Response Modeling• Time Series Analysis
Sales and Marketing• Sales Forecasting• Targeted Marketing• Service Usage Forecasting• Retail Margins Forecasting
Operational Analysis• Retail Inventories Optimization• Scheduling Optimization• Managerial Decision Making• Cash Flow Forecasting
HR Management• Employee Selection and Hiring• Employee Retention• Staff Scheduling• Personnel Profiling
http://www.alyuda.com/products/neurofusion/neural-network-applications.htm
Aplicaciones
• ¿Qué tipo de problemas puede resolver una RN?1. Se requiere tener respuestas en tiempo real.
2. Se trata de predecir el futuro.
Todo problema donde se requiere aprender para
luego actuar en situaciones parecidas.
• ¿Qué tipo de problemas puede no resolver una RN?1. No se dispone de datos históricos.
2. Explicar lo que hace un sistema sin fuentes.
3. Procesar datos más rápidamente.
Todo problema que puede ser resuelto usando sistemas de información o procedimiento de BD transaccionales
Referencias
• Pattern Classification. R. O.Duda,P. E. Hart, and D.G.Stork. John Wiley & Sons, 2nd ed., 2001.
• Pattern Recognition and Machine Learning, C. M. Bishop, Springer, 2006. (An additional useful book)
PREGUNTAS
