tipos de redes neuronales perceptrón multicapa redes de respuesta radial competitivas...
TRANSCRIPT
Tipos de redes neuronalesTipos de redes neuronales
• Perceptrón multicapa• Redes de respuesta radial• Competitivas
•Clasificación•Mapa topológico
ObjetivosObjetivos
• Para cada uno de los tipos de red:• Idea básica de estructura•Cómo calcular su respuesta• Ideas básicas de diseño de la arquitectura•Proceso de aprendizaje o ajuste de pesos•Tipo de respuesta que ofrece
Tipos de redes neuronalesTipos de redes neuronales
• Perceptrón multicapa• Redes de respuesta radial• Competitivas
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Procesadores
Capa de salida
Capa oculta
Perceptrón multicapa - Idea
Perceptrón multicapa - Idea
Conexiones
Perceptrón multicapa - Cálculo
Perceptrón multicapa - Cálculo
Cada procesador recibe una serie de entradas
j
jijii yppe 0
j
i
pij
procesador
a procesador de
conexión la de peso :
Puede considerarse asociado a y01
y calcula su salida
)tanh( ii ey
-1
-0.5
0
0.5
1
-2 -1 0 1 2Afín a la logística
Perceptrón multicapa - Cálculo
Perceptrón multicapa - Cálculo
-0.793 0.521 -0.055
0.5
0.7
-0.4
793.008.1tanh
08.19.07.01.05.04.0
y
e
-0.1 -0.9
Perceptrón multicapa - Cálculo
Perceptrón multicapa - Cálculo
-0.793 0.521 -0.055
092.0092.0tanh
092.0055.06.0521.06.0793.03.02.0
y
e
-0.1 -0.9
0.3 0.6
-0.2
-0.6
-0.092
Perceptrón multicapa - Diseño
Perceptrón multicapa - Diseño
Diseño:
•Genérico: nº de grados de libertad, búsqueda y selección
•Constructivo: procesador a procesador, añadir y comparar
•Destructivo: grande y eliminar
Perceptrón multicapa - Respuesta
Perceptrón multicapa - Respuesta
-1
1
-1
-0.5
0
0.5
1
-2 -1 0 1 2
22110 xpxppe
Perceptrón multicapa - Respuesta
Perceptrón multicapa - Respuesta
-1
0
1
-1 0 1
1,1
1,-1
-1,-1
-1,1
1
-1
Perceptrón multicapa - Respuesta
Perceptrón multicapa - Respuesta
-1
0
1
-1 0 1
1
-1
-1 -1 -1 1 -1 -2.4-1 -1 1 -1 -1 -2.8-1 -1 1 1 -1 -1.3-1 1 -1 -1 -1 -2.8-1 1 -1 1 -1 -1.3-1 1 1 -1 -1 -1.7-1 1 1 1 -1 -0.21 -1 -1 -1 -1 -2.41 -1 -1 1 -1 -0.91 -1 1 -1 -1 -1.31 -1 1 1 1 0.21 1 -1 -1 -1 -1.31 1 -1 1 1 0.21 1 1 -1 -1 -0.21 1 1 1 1 1.3
0.8 0.6 0.6 0.8 -1.3
-1
-1
-1
-11
1
1
1 -1 -1 -1 -1 -2.5-1 -1 1 -1 -1.5-1 1 -1 -1 -1.5-1 1 1 -1 -0.51 -1 -1 -1 -1.51 -1 1 -1 -0.51 1 -1 -1 -0.51 1 1 1 0.5
0.5 0.5 0.5 -1
-1
1
-1
-1
1
1
Perceptrón multicapa - Respuesta
Perceptrón multicapa - Respuesta
Perceptrón multicapa - Aprendizaje
Perceptrón multicapa - Aprendizaje
Con ciertos pesos la red da una salida.
Esa salida tiene un errorBuscamos los pesos que nos dan el
error más pequeño
Perceptrón multicapa - Aprendizaje
Perceptrón multicapa - Aprendizaje
Ajuste de pesos: optimización basada en gradiente
ij
i
i
i
k i
s
s
s
sij p
e
e
y
y
e
e
y
y
E
p
Ek
k
k
k
Con error cuadrático y activación tangente hiperbólica
jij
i
isi
s
ii
is
s
s
kss
ype
py
e
yey
ye
y
cyyE
k
k
k
k
k
k
k
22 11
2 Métodos:•Descenso gradiente•Gradiente conjugado•Levenberg-Marquardt•Métrica variable•...etc...
ii
ii
ii
ii
ypE
ype
pyE
pye
eE
yey
cyyE
801.1
801.1
801.1992.0816.1992.0092.011
816.11092.022
22
Perceptrón multicapa - Aprendizaje
Perceptrón multicapa - Aprendizaje
-0.092
-1.0
ii
ii
s
xpE
xpe
eE
yey
yE
yE
k
528.0
528.0371.0422.1371.0793.011
422.1
22
Perceptrón multicapa - Aprendizaje
Perceptrón multicapa - Aprendizaje
-0.793
Tipos de redes neuronalesTipos de redes neuronales
• Perceptrón multicapa• Redes de respuesta radial• Competitivas
Base radial - IdeaBase radial - Idea
Base radial - CálculoBase radial - Cálculo
Cada procesador oculto recibe una serie de entradas
j
jiji xpe 2
y calcula su salida
ieiy e
Es una expresión de una gaussiana con varianza unitaria. Podría haber una matriz de varianzas diagonal (ancho de respuesta) o incluso una matriz completa
El procesador de salida da una combinación lineal de los ocultos
Base radial - CálculoBase radial - Cálculo
00947.0e
66.449.004.021.156.236.07.02.01.16.16.0
6.01.05.03.07.04.09.07.01.05.022222
222222
e
jj
y
xpe
0.009
0.5 0
.7-0.4
-0.1 -0.9 0.7 -0.5 0.6
-0.3
-0.1
Base radial - CálculoBase radial - Cálculo
685.2878.09.2225.03.1011.07.1009.05.01.00 jj yppy
0.009
-0.51.7
-1.3
-0.1 -0.9 0.7 -0.5 0.6
-2.9
0.1
0.011 0.225 0.878
-2.685
Base radial - DiseñoBase radial - Diseño
Diseño:
•Constructivo: procesador a procesador cuando la respuesta baja de un umbral
Base radial - AprendizajeBase radial - Aprendizaje
Ajuste de pesos: normalmente dos fases1. Entrada-oculta2. Oculta-salida
Los pesos de entrada a capa oculta se ajustan buscando agrupamiento de entradas, sin tener en cuenta la salida
1. Valores iniciales: puntos de la muestra2. Nuevo valor de pesos: media de las entradas para las que
este procesador ha sido el de respuesta mayor
Los pesos de salida son lineales: regresión
Base radial - AprendizajeBase radial - Aprendizaje
0.5 0
.7-0.4
-0.3
-0.1
-0.065-0.292-0.3150.6650.5-0.15-0.25-0.450.80.5-0.2-0.5-0.30.750.55
0-0.35-0.50.650.5-0.05-0.25-0.30.750.6-0.1-0.3-0.40.70.5-0.1-0.25-0.40.550.6
-0.05-0.27-0.10.650.3-0.05-0.3-0.10.550.50.05-0.2-0.350.650.4
0-0.25-0.250.60.55
Puntos para los que ha sido el máximo
Nuevos
Base radial - RespuestaBase radial - Respuesta
Base radial - RespuestaBase radial - Respuesta
Base radial - RespuestaBase radial - Respuesta
Tipos de redes neuronalesTipos de redes neuronales
• Perceptrón multicapa• Redes de respuesta radial• Competitivas
Competitivas - IdeaCompetitivas - Idea
Los procesadores pueden estar ordenados en retícula (mapa topológico autoorganizativo: MA), con coordenadas ii YX ,
Competitivas - CálculoCompetitivas - Cálculo
Cada procesador recibe una serie de entradas
y calcula su salida
caso otro en 0
max si 1 jj
ii
eey
Los pesos definen un centroide de un grupo de entradas
j
jiji xpeEn MA es más usual
jijji pxe 2
Competitivas - CálculoCompetitivas - Cálculo
-0.072-0.65 0.505 -0.361 0.433
0.5 0.7
-0.4
-0.3
-0.1
628.0433.01.0361.03.0505.04.065.07.0072.05.0 jj xpe
Competitivas - CálculoCompetitivas - Cálculo
-0.628
-0.072-0.65 0.505 -0.361 0.433
0.5 0.7
-0.4
-0.3
-0.1
628.0433.01.0361.03.0505.04.065.07.0072.05.0 jj xpe
Competitivas - CálculoCompetitivas - Cálculo
-0.628 0.052 0.331 0.677
-0.072-0.65 0.505 -0.361 0.433
Competitivas - CálculoCompetitivas - Cálculo
0 0 0 1
-0.072-0.65 0.505 -0.361 0.433
Competitivas - DiseñoCompetitivas - Diseño
Diseño:
•Constructivo: procesador a procesador cuando la respuesta baja de un umbral
•Destructivo: eliminación de procesadores que no dan respuesta
Competitivas - AprendizajeCompetitivas - Aprendizaje
Ajuste de pesos normalmente no supervisado
ijjiij pxTp
En MA:
1 siendo
iteraciónla en e22
2
22
jjijiij
nd
i
yYYXXd
nTij
En competitivas a secas:
ii yT
Competitivas - AprendizajeCompetitivas - Aprendizaje
0 0 0 1
-0.072-0.65 0.505 -0.361 0.433
(0,0) (0,1) (1,0) (1,1)
10.0110.0110.0001T(n=3)
0111.414Dist
51075.0072.00001.0 pxTp
0.5 0.7
-0.4
-0.3
-0.1
Competitivas - RespuestaCompetitivas - Respuesta
Mapas topológicos autoorganizativos -
Respuesta
Mapas topológicos autoorganizativos -
Respuesta