mapas autoorganizados de kohonen
DESCRIPTION
todo respecto a Mapas Autoorganizados de KohonenTRANSCRIPT
Mapas Autoorganizados de kohonen Edgar Richard Polonio Bocanegra
Universidad San Pedro – Campus de Chimbote, [email protected]
RESUMEN.
Se describe las características de los mapas auto organizados, su regla de aprendizaje, su algoritmo de
entrenamiento, con la finalidad de resolver problemas de clasificación.
Kohonen Self-Organizing Maps ABSTRACT
The characteristics of the self-organizing maps, the rule learning, the training algorithm, in order to
solve classification problems described.
INTRODUCCIÓN
Los mapas autoorganizados o SOM (Self-
Organizing Maps), también llamados redes de
Kohonen son un tipo de red neuronal no
supervisada, competitiva, distribuida de forma
regular en una rejilla de, normalmente, dos
dimensiones. Su finalidad es descubrir la
estructura subyacente de los datos introducidos
en ella. A lo largo del entrenamiento de la red, los
vectores de datos son introducidos en cada
neurona y se comparan con el vector de peso
característico de cada neurona. La neurona que
presenta menor diferencia entre su vector de peso
y el vector de datos es la neurona ganadora (o
BMU) y ella, y sus vecinas verán modificados
sus vectores de pesos. Este tipo de mapas
permiten reducir la dimensionalidad de los
vectores de entrada para representarlos mediante
una matriz de distancias unificada (U-matriz)
generalmente consistente en una matriz 2D, apta
para la visualización como una imagen plana.
ESTRUCTURA
Matriz de neuronas: Las neuronas se
distribuyen de forma regular en una
rejilla de dos dimensiones, que pueden
ser rectangulares o hexagonales, en las
que cada neurona puede tener cuatro o
seis vecinos respectivamente.
Espacio de entrada: Los datos de
entrada corresponden a un vector de N
componentes por cada atributo que
queramos comprar, siendo esta dimensión la misma del vector de pesos
sinápticos asociado a cada una de las
neuronas de la rejilla.
Espacio de salida: Corresponde con la
posición (2D) en el mapa de cada
neurona.
Relación entre neuronas: Entre todas
las neuronas hay una relación de
vecindad que es la clave para conformar
el mapa durante la etapa de
entrenamiento. Esta relación viene dada
por una función.
Ilustración 1 Estructura de un mapa autoorganizado
Entrenamiento Para cada paso del entrenamiento
(época) se introduce un vector de datos
correspondiente a una entrada seleccionada
aleatoriamente y se calcula la similitud entre este
vector y el peso de cada neurona. Aplicación de
SOM a la visualización de datos 4 La neurona
más parecida al vector de entrada será la neurona
ganadora (Best-Matching Unit ó BMU).
Generalmente se usa la distancia euclídea para
medir esta similaridad entre pesos sinápticos.
Tras esto, los vectores de pesos de la BMU y sus
vecinos son actualizados de forma que se acercan
al vector de entrada.
APLICACIÓN DE SOM A LA
VISUALIZACIÓN DE DATOS
Las dos características descritas anteriormente
hacen especialmente atractivo el uso de SOM
para representación de datos:
Reducción de la multidimensionalidad:
Podemos representar conjuntos de
datos de gran número de atributos en
mapas 2D.
Asociación de elementos con atributos
similares: Visualmente podemos ver de
forma rápida como quedan agrupados
elementos que tienen valores próximos
entre sí.
Aparte de estas razones a nivel técnico tenemos
además muchas ventajas como son:
Facilidad de implementación: La
implementación de un sistema SOM es
relativamente fácil y se adapta
perfectamente al modelo de procesado
en paralelo por lo que es también muy
fácilmente optimizable.
Abstracción de los datos de entrada:
Los SOM son totalmente transparentes
a la naturaleza de los datos de entrada,
tan solo se limitan a comparar vectores
de entrada con los pesos sinápticos de
las neuronas de la rejilla. Esto hace que
pueda ser usado en gran variedad de
problemas sin tener necesidad de
cambiar la aplicación base.
Facilidad de integración con otras
técnicas: Esta técnica se puede
compaginar con otras técnicas de
obtención de conocimiento como
pueden ser las redes bayesianas
realizando un preprocesado del
conjunto de datos.
Recientemente se está produciendo un
crecimiento del uso de mapas SOM gracias a su
potencia y facilidad de uso para trabajar en
campos como la estadística. Además una vez
obtenida el mapa, la representación no tiene por
qué limitarse a una rejilla rectangular, como se
puede apreciar en la siguiente imagen.
Ilustración 2 Ejemplo de uso de SOM en aplicaciones estadísticas
APRENDIZAJE NO SUPERVISADO
Los algoritmos de clasificación no supervisados
son aquellos que no requieren etiquetado de cada
uno de los vectores de entrada; se suelen llamar
también algoritmos auto-asociativos, porque
asocian entradas a ellas mismas. Una buena
explicación de estos algoritmos se halla en la
FAQ de redes neuronales.
El tipo más común de algoritmos de aprendizaje
o clasificación no supervisada son los algoritmos
de análisis de grupos o clustering; estos
algoritmos tratan de dividir las muestras del
conjunto de entrada en una serie de grupos con
características comunes. Un algoritmo debe
descubrir cuáles son estos clusters, pero también
cuáles son las características que define ese
cluster y cuántos clusters hay; pero éste último es
un problema que no tiene solución fácil.
Dentro de las redes neuronales, uno de los
métodos no supervisados más comunes es
precisamente el SOM, pero hay otro método
denominado aprendizaje hebbiano que usa una
red monocapa, con pesos conectando las entradas
a las salidas, y aumentarndo el valor de los pesos
que unen a dos neuronas si se activan a la vez, y
disminuir el valor si se activan de forma
diferencial. Una red hebbiana se puede disponer
en una sola capa o varias: las entradas se
propagan a la capa interna, y a la salida, y tras la
propagación, se cambian los pesos de la forma
indicada. El aprendizaje hebbiano equivale a un
análisis de componentes principales de las
entradas, según ha sido probado recientemente.
Una red neuronal supervisada tal como el
perceptrón multicapa se puede convertir en no
supervisada usando las entradas como salidas; de
esta forma, la capa interna extraerá los
componentes principales de las entradas, y se
podrá usar, por ejemplo, como memoria
asociativa; o bien, analizando las activaciones de
la capa interna, se pueden asignar diferentes
grupos (clusters) a las entradas: los patrones de
entrada/salida que provoquen unos patrones de
activación similares pertenecerán al mismo
grupo.
Los métodos no supervisados se suelen usar en lo
denominado análisis de datos exploratorio, es
decir, en una fase del análisis de los datos,
cuando no se sabe de antemano cuáles son los
grupos naturales que se forman, y se quiere
visualizar la abundancia y la relación que hay
entre los grupos "naturales"; se puede decir que
una de sus principales aplicaciones es la
visualización de datos multidimensionales,
porque un algoritmo no supervisado actúa como
una proyección de un espacio multidimensional
a otro de dimensiones visualizables. También se
pueden usar como fase inicial de algoritmos de
aprendizaje supervisados: un algoritmo como el
k-medias o el mismo SOM se pueden usar para
inicializar algoritmos de aprendizaje supervisado
tales como el LVQ (Learning Vector
Quantization). [1]
ARQUITECTURA EN RED
En general, el algoritmo SOM considera una
arquitectura en 2 capas: por una parte tenemos
una red de nodos de aprendizaje (de la que nos
importa la relación de distancias que hay entre
ellos) junto con un conjunto de vectores de
entrenamiento, de forma que todos los elementos
de la primera capa están conectados con todos los
elementos de la segunda capa. Para los
propósitos básicos que necesitamos en este
ejemplo trabajaremos con una distribución 2D
del SOM, tal y como muestra la siguiente figura
(la red de aprendizaje viene representada por
nodos rojos, y los vectores de entrenamiento
vienen representados en verde).
Ilustración 3 La red de aprendizaje viene representada por nodos rojos, y los vectores de entrenamiento vienen representados en verde
Cada nodo tiene un posición topológica
específica (que suele estar asociada a las
coordenadas (x,y)) y contiene un vector de pesos
de la misma dimensión que los vectores de
entrenamiento. Es decir, si cada vector, V, de
entrenamiento tiene dimensión n, cada nodo
tendrá un vector de pesos, W, de dimensión n.
ALGORITMO DE APRENDIZAJE
A grandes rasgos, ya que no hay vector objetivo
al que aproximarse, lo que se hace es que, en
aquellas zonas en las que la red tiene nodos con
pesos que coinciden con vectores de
entrenamiento, el resto de nodos de su entorno
tienden a aproximarse también a ese mismo
vector. De esta forma, partiendo de una
dstribución de pesos inicial (normalmente
aleatorios), el SOM tiende a aproximarse a una
distribución de pesos estable. Cada una de estas
zonas que se estabiliza se convierte en un
clasificador de propiedades, de forma que la red
se convierte en una salida que representa una
aplicación de clasificación. Una vez estabilizada
la red, cualquier vector nuevo estimulará la zona
de la red que tiene pesos similares.
De forma más detallada, los pasos que se siguen
para el proceso de entrenamiento son:
Cada nodo se inicializa con un peso
(aleatorio). Normalmente, vectores
en [0,1]n,
Se selecciona al azar un vector del
conjunto de entrenamiento.
Se calcula el nodo de la red que tiene el
peso más similar al vector anterior, que
notaremos como Best Matching
Unit (BMU). Para ello, simplemente se
calculan las distancias euclídeas entre
los vectores W de cada nodo y el vector
de entrenamiento (por motivos de
eficiencia, no se aplica la raíz cuadrada
al cálculo de la distancia euclídea, cosa
que no afecta para calcular el mínimo).
Se calcula el radio del entorno de
BMU. Este radio comenzará siendo
grande (como para cubrir la red
completa) y se va reduciendo en cada
iteración.
Cada nodo del entorno de BMU ajusta
su peso para parecerse al vector de
entrenamiento seleccionado en el paso
2, de forma que los nodos más cercanos
al BMU se vean más modificados.
Repetir desde el paso 2 (el número de
iteraciones que se considere necesario).
La fórmula que establece el radio en función de
la iteración (que hace que vaya disminuyendo,
pero no linealmente) es:
r(t)=r0e−tλ
donde r0 es el radio inicial (habitualmente, el
radio de la red, es decir, uno suficiente para
cubrir en el primer paso todos los nodos) yλ una
constante que permite hacer que el radio sea muy
pequeño cuando llegamos a la iteración máxima:
λ=Tiempo_de_Entrenamientolnr0
La siguiente figura muestra el efecto de ir
reduciendo paulatinamente el radio del entorno,
donde se marcan los nodos que se verían
afectados si el nodo BMU es el nodo amarillo:
[2]
Ilustración 4 La siguiente figura muestra el efecto de ir reduciendo paulatinamente el radio del entorno
LOS MAPAS AUTOORGANIZADOS
APLICADOS A LA BIBLIOMETRÍA.
La Bibliometría es una disciplina que estudia los
aspectos cuantitativos de la información
registrada, para ello se han creado una serie de
modelos estadísticos que aportan datos
numéricos sobre el comportamiento de la
actividad científica. También se han adaptado
modelos de otras disciplinas para facilitar los
análisis y representar los resultados desarrollados
a partir de la Bibliometría. Los mapas auto-
organizados (SOM) o modelo de Kohonen
(basado en las RNA) es una de estas
herramientas. En los estudios métricos la
aplicación de las redes neuronales, y
específicamente los SOM, están asociados en lo
fundamental con la clasificación de información,
o sea, la formación de cluster y su representación
en mapas bidimensionales de conceptos y más
específicamente con el descubrimiento de
información (data mining). Este último
vinculado con la recuperación de la información
con "ruido" e incompleta o con el tratamiento de
información que incluye diferentes tipos de datos
(números, texto, registros estructurados, etc.).
Los SOM facilitan que el conocimiento tácito se
haga explícito, a partir de la extracción no-trivial
(a partir de los datos) de conocimientos
implícitos potencialmente útiles desconocidos
previamente. Se podrán encontrar patrones o
estructuras en el conocimiento tácito. [3]
Las investigaciones bibliométricas, a través de la
utilización de las redes neuronales, incursionan
en:
la selección de variables.
clasificación de información o
formación de cluster.
regresión.
relaciones entre variables.
cambios y desviaciones.
representación de las variables.
Lo anterior se puede ejemplificar a partir de
algunas aplicaciones prácticas relacionadas con
la evaluación de páginas web [8] y trabajos
relacionados con la clasificación de revistas en
un determinado campo temático [9]. Se conocen,
además, investigaciones relacionadas con la
minería de textos (text mining) sobre todo
aplicado a la asociación de palabras o co-word.
En todos estos ejemplos se utiliza como variante
de las RNA el modelo de los mapas
autoorganizativos (self-organizing map, SOM).
En un análisis, realizado por los autores sobre el
tema, se examinaron cerca de 56 documentos
sobre redes neuronales aplicadas al análisis de
información, con ello se constato que la mayoría
utilizaban el modelo SOM como herramienta de
estudio. (2, 7, 8,12,16). Un ejemplo de SOM
podría ser.el estudio de una temática
determinada, para este caso en un mapa cada
documento (artículo de revista, podría ser una
patente, una tesis, etc.) va a ocupar un lugar en el
espacio, en función de su contenido temático.
Cada área del mapa va a Sotolongo, G.; Guzmán,
MV. Aplicaciones de las redes neuronales. El
caso de la bibliometría. Ciencias de la
Información. (preprint) 2001; 32(1):27-34. 10
reflejar un contenido específico y los tópicos van
variando levemente a lo largo del mismo. Las
diferentes tonalidades indican la densidad de
documentos, cuanto más oscura más documentos
se encuentran. Este uso frecuente de los SOM
quizás se deba a lo amigable de la interfaz de los
mapas para los usuarios finales y a la diversidad
de sus utilidades prácticas, estas representaciones
son válidas para poder identificar, además de los
desarrollos temáticos antes mencionados,
relaciones entres áreas temáticas y publicaciones,
alianzas estratégicas y características de la
cooperación. Permite, también, visualizar los
avances tecnológicos que tienen lugar en un
período, conocer la evolución de una tecnología
a través del tiempo e identificar campos
emergentes. En el acápite anterior se mencionó al
Visc
automatizado el modelo SOM. Este sistema es
utilizado por un equipo de trabajo del Instituto
Finlay para elaborar mapas científico-
tecnológicos.
Ilustración 5 Funcionamiento del Viscovery SOMine
El punto de partida, para el uso de esta
herramienta, es la entrada de un conjunto de
datos numéricos (datos multivariables, variables,
“nodos” ). Estos datos necesitan ser
preprocesados con el objetivo de “organizarlos”
en forma de matrices. Los datos son convertidos
hasta obtener una información visual en forma de
mapa, para ello se aplica un número de técnicas
de evaluación como coeficientes de correlación
entre variables o factores discriminantes [4, 13,
14]. Los mapas serán amigables a la vista del
usuario final, en ellos se identificarán
dependencias entre parametros, cluster y gráficos
que facilitarán diferentes predicciones o el
proceso de monitoreo.
APLICACIONES:
Se estima que a pesar de las limitaciones
técnicas, las redes neuronales aplicadas a la
Bibliometría constituyen un campo de
investigación muy prometedor. Un ejemplo es
presentado a continuación. La disciplina
muldidisciplinar de las redes neuronales es
aplicada en esta sección, donde se asume a la
producción de los documentos de patentes como
indicador de la capacidad de desarrollo
industrial. El objetivo es identificar posibles
competidores, alianzas estratégicas, dependencia
tecnológica, etc. Se escogió para el primer
ejemplo la representación de la situación
tecnológica de la Neisseria meningitidis.3 Las
diferentes instituciones en la primera hoja de sus
patentes hacen referencias a otras patentes, a
partir de estos datos se puede inferir el impacto
que produce una tecnología o institución en otra.
Con el objetivo de determinar la dependencia
tecnológica entre instituciones, se realizó un
análisis de citas, estas formaron los cluster que
aparecen en la figura.
Ilustración 6 Posición tecnológica de las instituciones según las citaciones.
El mapa tecnológico presentado en la figura
anterior representa a tres cluster: cluster 1
formado solamente por la Merck & Co., un
cluster 2 formado únicamente por el National
Res. Council of Canada y el cluster 3 que incluye
al resto de las instituciones. Este último grupo
está formado por una gran cantidad de
instituciones que tienen igual estrategia de
citación, sobre todo las representadas con colores
más claros y sin límites de separación. Se
presupone que estas firmas se basan para su
desarrollo en su propia base tecnológica, pues
citan poco a otras instituciones. El cluster 2
evidencia un alto nivel de autocitación, cuando
esto sucede, algunos investigadores [1] en el
tema señalan que probablemente esta institución
tenga un nicho de protección cerrada sobre un
espacio tecnológico. Puede estar ocurriendo que
exista una patente importante, la cual se ha
rodeado de invenciones mejoradas. El cluster
formado por la Merck & Co. indica un mayor
nivel de citación, esto presupone una estrategia
balanceada: absorbe tecnología externa y
produce tecnología propia. La cercanía de los
cluster también es una evidencia sobre las
instituciones que tienen estrategias parecidas a la
de otras. La Rockefeller University hace frontera
con el cluster que incluye a North American
Vaccine, y el National Res. Council de Canada;
estas instituciones forman un colegio tecnológico
invisible que basa sus desarrollos en la misma
innovación tecnológica.
Otro ejemplo Otra aplicación se presenta en un
campo diferente del conocimiento: la agricultura.
En este ejemplo no solo se tomó como elemento
de entrada la producción documental de
determinados países, también se consideraron
otros tipos de variables como "gastos en I+D" en
cada uno de los países analizados, "personal
dedicado a actividades de I+D", etc.
Ilustración 7 Mapa de América Latina y el Caribe (países seleccionados) de acuerdo con la
En la figura 6 se presenta un mapa auto-
organizado sobre la actividad en ciencia agrícola
en América Latina y el Caribe (se seleccionaron
algunos países según los datos disponibles). Con
ello se pretende lograr una representación de la
región, teniendo en cuenta los indicadores de
insumo y de resultados más significativos. En la
figura aparecen, en dos dimensiones, 22 países.
La semejanza de los países, considerando de
forma simultánea los 20 indicadores, se expresa
mediante la cercanía de estos en el mapa. Los 22
países se agrupan (autorganizan) en 3 clusters o
grupos: El cluster C1, que aparece en la esquina
inferior izquierda, es seguido por una banda de 4
países correspondientes al cluster C2 (Cuba,
Colombia, Chile y Venezuela) y otro cluster (C3)
con el resto de los países.
En el ámbito regional e internacional hay un
grupo de países formado por Brasil, México y
Argentina que tienen una investigación en la
temática con mayor solidez y con parecidos
niveles de desarrollo. Esto coincide con los
países que presentan mayor nivel regional en el
desarrollo agrícola. [4]
ANÁLISIS DE PACIENTE
DIABÉTICOS INTERNADOS
ANÁLISIS DE PACIENTE FACTORES
DE RIESGO
RIESGOS BANCARIOS VARIABLES
DE LOS DATOS [5]
INTERFERENCIA
CATRASTOFICA
Sucede cuando cuanod la informacion que fue
recientemente aprendida a menudo elimina la
que fue anteriormente aprendida. El problema
principal consiste en diseñar un sistema que sea
simultaneament sensible a pero no radicalmente
destructivo, a la nueva entrada.
ROBUSTEZ:
En la data real existen diversos puntos
denominados outliers los cuales difieren del
comun de los datos. Las SOM no son sensibles a
la presencia de este tipo de datos, no logranso
realizar una buena generalizacion del conjunto de
entrada, siendo otro problema importante que se
debe abordar. [6]
CONCLUSIONES:
El uso de las redes neurales incide en las
empresas mejorando el proceso de calificación
de las finanzas económicas al margen de error en
el ranking. Todo esto demuestra su utilización en
varios campos (capital de trabajo, pagos,
inversiones, etc.), para poder ser aplicado a una
gran variedad de proyectos e investigaciones.
En este trabajo hemos presentado los mapas auto-
organizados tal y como fueron introducidas por
Kohonen y particularizando desde el punto de
vista general de redes neuronales artificiales. De
entre las miles de aplicaciones que tienen los
mapas auto-organizados hemos descrito varias
de ellas orientadas a la segmentación de
imágenes en color. Posteriormente hemos
introducido el concepto de mapa auto-
organizado generalizado, cuya principal virtud
sea quizás su simetría respecto a los datos de
entrada y las neuronas. Hemos visto como
algunas de las variantes de mapas auto-
organizados explicados anteriormente se
enmarcan dentro de este nuevo concepto
generalizado mientras que no lo hacían en el
concepto clásico de mapa auto-organizado.
Creemos que este concepto podría dar a nuevas
desarrollos o variaciones de mapas auto-
organizados. Como aplicación hemos diseñado
un mapa auto-organizado generalizado orientado
a la segmentación de imágenes en color. La
diferencia con un mapa clásico radica
fundamentalmente en que el movimiento de las
neuronas se realiza a lo largo de las geodésicas
de cierta métrica. Esta métrica depende de una
densidad continua calculada a partir de las
muestras. La implementación se ha llevado a
cabo en MATLAB y C.
Bibliografía
[1] [En línea]. Available: http://geneura.ugr.es/~jmerelo/tutoriales/bioinfo/Kohonen.html.
[Último acceso: 22 mayo 2015].
[2] D. C. d. l. C. e. I. A. U. d. Sevilla, 10 enero 2014. [En línea]. Available:
http://www.cs.us.es/~fsancho/?e=76. [Último acceso: 22 mayo 2015].
[3] [En línea]. Available:
http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/DM/tema5dm.pdf. [Último
acceso: 22 MAYO 2015].
[4] M. V. Guzmán. [En línea]. Available:
http://www.dynamics.unam.edu/DinamicaNoLineal/Articulos/MineriaDatos/Articulo03.pdf.
[Último acceso: 22 mayo 2015].
[5] G. Meschino. [En línea]. Available:
http://www3.fi.mdp.edu.ar/meschino/Presentaciones/GUSTAVO%2008%20-
%20KOHONEN.pdf. [Último acceso: 22 mayo 2015].
[6] [En línea]. Available: http://www.doc4net.es/doc/1850344633707/. [Último acceso: 22
mayo 2015].