introducciÓn a redes neuronales artificiales teorÍa y aplicaciones dr. héctor allende...

INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA

Y APLICACIONES

Dr. Héctor AllendeDepartamento de Informática

Universidad Técnica Federico Santa María

Profesor: Héctor Allende

Redes Neuronales Artificiales 2

Basic Neural Dynamics

Capítulo 1

The ANN Books

R.M. Kristev 1998

http://www.inf.utfsm.cl/~hallende/ redes neuronales/novedades

FAQ NN: "ftp://ftp.sas.com/pub/neural/FAQ.html"

Inteligencia Computacional ?Computational Intelligence

• Combinación:

– Ciencias de la Computación– Neuro-Fisiología– Filosofía (Teoría del conocimiento y lógica)

Creación de Máquinas que puedan

Pensar en el sentido del test de Turin

Corteza Cerebral Humana:

• Aproximadamente 10 neuronas

• 1000 a 10.000 Synapsis por neurona

• Comunicación tren de impulsos electro-quimicos ( mensaje modulado)

• Proceso Cognitivo tiempo (milisegundos) Operación Masiva Paralela Secuencial en 100 Etapas

11

Célula Nerviosa

Soma: Info. Hereditaria + Plasma + Generación Señales

Dendritas: Recepción Señales ImpulsosAxón: Transmisión de SeñalesSinapsis: Interfaz Neuronal (Inhibitoria, Excitatoria)

Profesor: Héctor Allende Redes Neuronales Artificiales 6

•1943 W.McCulloch, W. Pitts: Modelo ANN ( El Perceptrón )

•1959 Bernard Widrow ( SU): Filtro Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline) Basado en ( ANN)

•1969 Minsky y Papert: El Perceptrón (limitaciones).

•1982 J. Hopfield: Memoria Asociativa ”Redes de Hopfield".

•1986 Rumulhart, Hunton y Williams : redescubren el BPL algoritmo de "back-propagation learning" ( Paul Werbor, 1974)

•1989 K. Hornik, M. Stinchcombe, H. White: Multi-FANN y Aproximación Universal

Breve Historia


Red neuronal artificial (ANN)

ANN: Es un sistema dinámico compuesto por redes paralelas y distribuidas de procesadores elementales, con la capacidad de aprender y almacenar “conocimiento”.

•Arquitectura

•Interacción

•Función de proceso

ANN: SM sobre-parametrizado

Aplicaciones de las ANN

• Resolver problemas Complejos

• Hacer generalizaciones

• Establecer Relaciones no evidentes

• Análisis de sistemas complejos

• Percepción

• Comprensión y Aprendizaje

• Generación de nuevo conocimiento


• Telecomunicaciones

• Informática

• Minería

• Energía

• Finanzas

• Transporte

• Salud


• Clasificación

• Pre-procesamiento de datos

• Reconocimiento de patrones

• Aproximación de funciones

• Predicción de Series de Tiempo

• Optimización Combinatorial

• Control


Modelo Neuronal: Mc Culloch & Pitts 1943

bi

w1i

wni

. . .

01

01

01

xi(t)

xi(t) = 1 wij xj(t-1) - bi

n

j=1


ANN y Neuronales Biológicas

Neurona y Conecciones Sinápticas Procesador Elemental

Neuronas: El aprendizaje se produce mediante la variación de la efectividad de las sinapsis, de esta manera cambia la influencia que unas neuronas ejercen sobre otras.

ANN: La regla de aprendizaje usada indica como se ajustan los pesos de las conexiones en función del vector entrada


Analogías

Células Biológicas Redes Neuronales Artificiales

Neuronas Unidades de proceso

Conexiones Sinápticas Conexiones Ponderadas

Efectividad de las Sinapsis Peso de las conexiones

Efecto exitatorio o inhibitorio Signo del Peso

Estimulo Total Entrada total Ponderada

Activación Tasa de disparo Función de Activación Salida


Procesador Elemental.PE: Es una unidad básica de procesamiento

la que posee múltiples entradas y solo una salida.– Cada entrada xi es ponderada por un factor (peso) wi

y se calcula la suma ponderada de las entradas:

– Luego es aplicada una transformación mediante la función de activación :

ii

ii netaaxw

)( salida af


Procesador elemental.

Unidad de agregación

Unidad de Activación

f(a)Input Output

xi

wi a=netai f


Procesador elemental.

• ANN Feedforward: Se construye colocando las neuronas en capas y conectando las salidas de una capa con las entradas de las neuronas de la próxima capa.

• Capas de una red:– Capa de entrada Zona sensorial ( S)

– Capa de salida Zona de Respuesta ( R)

– Capas ocultas Zona de asociación ( A)

ANN: Aprendizaje y Generalización Métodos Actuales

Tipos de Aprendizaje

Tipos de Arquitectura

Tipos de Función de Transición: deterministas, probabilistas

Tipo de Algoritmo de Aprendizaje: BPL, PPL, LM, etc

Supervisado

No - Supervisado

Híbridos

FeedForward

Single, MultipleRecurrentes

Profesor: Héctor Allende

Redes Neuronales Artificiales 17


Feedforward Neural Network


Redes Feedforward• FANN La capa 0 no realiza procesamiento alguno, solo distribuye

las entradas a la capa siguiente

x1 x2


Modelo de Turing

xi(t) =

i=1,...,n

1 wij xj(t-1) - bi

n

j=1

W (conectividad de la NN)

b = (bi ) vector de umbraleswij

xi(0) {0,1}


Arquitectura

En función de la conectividad de las capas, podemos hablar de redes recurrentes (feed-back) y redes no recurrentes o redes en cascada (feed-forward).

Lo más usual es disponer las unidades en forma de capas, pudiéndose hablar de redes de una capa oculta, o de más de dos capas ocultas (redes multicapa


Neuronas y Redes simples.

• ANN Recurrente: La salida de una neurona es la entrada de neuronas de capas anteriores (feedback).

• Feedback lateral: La salida de una neurona es la entrada de otra neurona en la misma capa.


Neuronas y Redes simples.

• Parámetros de la Red: Los pesos {wi}.• Aprendizaje o entrenamiento: Es el

procedimiento mediante el cual los pesos son ajustados.

• Conjunto de entrenamiento: Conjunto de datos que consiste vectores de entrada asociado con vectores de salida deseada:{(xi,yi)}.


Neuronas como funciones

• Las neuronas transforman una entrada no acotada x(t) en el tiempo t en una señal de salida acotada f(x(t)).

• La función de activación o función de señal: f

• Velocidad de la señal:

afdt

da

da

dff '


Funciones de Activación

0.0

0.2

0.4

0.00 0.82 1.64 2.45 3.27 4.09-0.82-1.64-2.45

-1 -0.5 0 0.5 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Funciones Tipo Sigmoide

Funciones Base Radial


Funciones de activación comunes

• Función de activación logística:

– Es monótamente creciente para c >0

caeaf

1

1)(

0)1(' fcfda

dff



• Tangente hiperbólica:

donde c>0.

caca

caca

ee

eecaaf

)tanh()(

0)1(' 2 fcf



• Threshold (umbral)

c>0

e.t.o.c.

0 si 0

1 si 1

)(

ca

ac

a

af

etoc c

),/1()0,( si 0)('

caaf



• Distribución exponencial:

c>0.

)1.,0max()( caeaf

ca

ca

ecf

aceaf

2''

0 )('



• Razón polinomial:

2

1

)('

0

1 .,0max)(

n

n

n

n

ac

cnaf

c

nac

aaf



• Pulse-coded: Consiste en un tren de pulsos

exponencialmente ponderados

e.t.o.c 0

en t ocurre pulso el si 1)(

)()(

tg

dsesgtft

ts


• Tamaño de las muestras

• Cuántas Neuronas

• Cuantas Capas

• Tipo de Arquitectura ( Selección del Modelo ANN)

• Tipo de Aprendizaje

• Algoritmos de Aprendizaje

• ¿Cuándo usar ANN Modelador

NN: Preguntas Abiertas


• Optimización Combinatorial• Aprendizaje y Generalización:

– Memorias Asociativas (Básico)

– Redes Multicapas

• Pattern Recognition– Predicción y Pronósticos

– Aproximación de Funciones

• Modelos de Difusión de Información• Arquitecturas Paralelas

Aplicaciones NN

Test de Turing:“Un computador merece ser llamado inteligente si puedehacer pensar a un ser humanoque es otro ser humano”


Estructura y Formas de Conexión

Función de Activación

Se suele distinguir entre funciones lineales, en las que la salida es proporcional a la entrada; funciones de umbral, en las cuales la salida es un valor discreto (típicamente binario 0/1) que depende de si la estimulación total supera o no un determinado valor de umbral; y funciones no lineales, no proporcionales a la entrada.

Caracteristicas Aprendizaje inductivoGeneralización

.Abstracción tolerancia al ruido:

Procesamiento paraleloMemoria Distribuida

Redes Asincronicas v/s Sincronicas

Metodos deterministas v/s Estaticos


Funcionamiento Basico

La arquitectura más usada en la actualidad de una red neuronal consistiría en: •Una primera capa de entradas, que recibe información del exterior. •Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red.•Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior.

El número de capas intermedias y el número de neuronas de cada capa dependerá del tipo de aplicación al que se vaya a destinar la red neuronal.

introducciÓn a redes neuronales artificiales teorÍa y aplicaciones dr. héctor allende...

Documents