introdução às redes neurais artificiais · 2021. 1. 21. · self-organizing maps (som) há...
TRANSCRIPT
Introdução àsRedes Neurais Artificiais
Mapas Auto-Organizáveis
Prof. João Marcos Meirelles da Silva
http://www.professores.uff.br/jmarcos
Departamento de Engenharia de Telecomunicações
Escola de Engenharia
Universidade Federal Fluminense
Prof. João Marcos Meirelles da Silva – p. 1/27
Créditos autorais
Este curso e estes slides são parcialmente adaptados da bibliografiacitada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ
www.lps.ufrj.br/∼caloba
Prof. João Marcos Meirelles da Silva – p. 2/27
Sumário
• Introdução
• Principal Característica
• Espaços de Trabalho
• Aprendizado
• Algoritmo
• Exemplo
Prof. João Marcos Meirelles da Silva – p. 3/27
Self-Organizing Maps (SOM)
• Introdução• Redes de Aprendizado Competitivo: Padrões similares não
permaneciam juntos;• SOM ou Mapas de Kohonen: Padrões similares
permanecem juntos, há uma transição “suave” entreclasses;
• Utiliza os conceitos de camada competitiva e aprendizadonão-supervisionado;
• Produz uma representação discretizada, geralmente em 2D,do espaço de entradas dos padrões de treinamento (mapa);
Prof. João Marcos Meirelles da Silva – p. 4/27
Self-Organizing Maps (SOM)
• Introdução• Imita a organização do córtex cerebral;• Utilizam uma função de vizinhança para preservar as
propriedades topológicas do espaço de entrada;• Útil para visualizar, em baixas dimensões, dados de grandes
dimensões.
Prof. João Marcos Meirelles da Silva – p. 5/27
Self-Organizing Maps (SOM)
• Principal característica
f(x) : Rm → R (1)
ou
f(x) : Rm → R
2 (2)
Prof. João Marcos Meirelles da Silva – p. 6/27
Self-Organizing Maps (SOM)
• Espaços de trabalho
No treinamento de Kohonen, existem dois espaços à considerar:
O espaço das entradas x As entradas x e as sinapses w sãodefinidas nesse espaço, e as distâncias d serão dadas pordi =| x − wi |;
O espaço de competição M O mapa auto-organizável deKohonen, onde as distâncias laterais r entre os neurôniossão definidas neste espaço.
Neurônios Ni e Nj ⇒ rji =| j − i |
Prof. João Marcos Meirelles da Silva – p. 7/27
Self-Organizing Maps (SOM)
• Aprendizado em 3 fases:• Competição• Cooperação• Adaptação das sinapses
Prof. João Marcos Meirelles da Silva – p. 8/27
Self-Organizing Maps (SOM)
• CompetiçãoSeja:• x = [x1, x2, . . . , xm]T
• wj = [wj1, wj2, . . . , wjm]T , j = 1, 2, . . . , m
Aprendizado por Competição
⇒ Vence o neurônio cujo produtointerno xT · wj for maior !
Prof. João Marcos Meirelles da Silva – p. 9/27
Self-Organizing Maps (SOM)
• Cooperação• Caso unidimensional
Mapa Unidimensional.
Prof. João Marcos Meirelles da Silva – p. 10/27
Self-Organizing Maps (SOM)
• Cooperação• Caso unidimensional
O neurônio vencedor dá a local-ização do centro de vizinhançatopológica, definindo junto como raio, quais serão os neurôniosque irão cooperar.
Prof. João Marcos Meirelles da Silva – p. 11/27
Self-Organizing Maps (SOM)
• Cooperação• Caso bidimensional
Prof. João Marcos Meirelles da Silva – p. 12/27
Self-Organizing Maps (SOM)
• Cooperação• Opções de Arranjo de Topologia da Vizinhança
• Biologicamente falando,
um neurônio que dispara
tende a excitar mais os
neurônios próximos dos
que os que estão mais
distantes;
Prof. João Marcos Meirelles da Silva – p. 13/27
Self-Organizing Maps (SOM)
• Cooperação• Opções de Arranjo de Topologia da Vizinhança
• Este conceito nos leva
a pensar em uma vi-
zinhança topológica (R)
em torno do neurônio
vencedor i que decai
suavemente com a dis-
tância lateral (rji).
Prof. João Marcos Meirelles da Silva – p. 14/27
Self-Organizing Maps (SOM)
• Cooperação• Opções de Arranjo de Topologia da Vizinhança
• Durante a fase de treinamento, o valor de R diminui.
Prof. João Marcos Meirelles da Silva – p. 15/27
Self-Organizing Maps (SOM)
• Definição do Raio
Uma escolha típica para R é dada pela própria função Gaussiana, aqual é invariante à rotações (isto é, independente da localização doneurônio):
R(n) = exp
(
−r2
ji
2σ2(n)
)
, n = 0, 1, 2, . . . (3)
σ(n) = σ0 exp
(
−n
τ1
)
(4)
⇒ O parâmetro σ é chamado de largura efetiva da vizinhançatopológica, σ0 é o valor inicial e o parâmetro τ1 é uma constante detempo.
Prof. João Marcos Meirelles da Silva – p. 16/27
Self-Organizing Maps (SOM)
• Adaptação das sinapses
A alteração das sinapses pode seguir um dos dois esquemas:
1. O vencedor treina e os demais vizinhos dentro de R também,igualmente:
wj(n + 1) = wj(n) + α(n)(x − wj(n))
2. O vencedor treina e os demais vizinhos dentro de R também,porém de acordo com a seguinte regra:
wj(n + 1) = wj(n) + α(n)R(n)(x − wj(n))
Prof. João Marcos Meirelles da Silva – p. 17/27
Algoritmo
• Passo 1: Iniciar os pesos wij
• Passo 2: Iniciar os parâmetros topológicos devizinhança
• Passo 3: Iniciar taxa de aprendizado
• Passo 4: Enquanto a condição de parada forfalsa, execute os passos 5 a 11
• Passo 5: Para cada vetor x detreinamento, execute os passos 6 - 8
• Passo 6: Para cada j, calcule:
D(j) =∑
i
(wij − xi)2 (5)
• Passo 7: Encontre o índice j para oqual D(j) é mínimo;
• Passo 8: Para todos os neurônio j
dentro de uma vizinhançaespecificada de J , e para todo i:
wij(n + 1) = wij(n) + α[xi − wij(n)](6)
17-1
• Passo 9: Atualize a taxa de aprendizado;
• Passo 10: Reduza o raio de vizinhançatopológica de tempos em tempos;
• Passo 11: Teste a condição de parada
17-2
Self-Organizing Maps (SOM)
• Exemplo• Mapa unidimensional• x unidimensional• 8 neurônios• R = 2
• α = 0, 4
Ni, i = 1 2 3 4 5 6 7 8
wi = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2
Seja uma entrada x = 0, 65, temos:
⇒ Competição no espaço de entrada: d(x, wi), i = 1, 2, . . . , 8
Prof. João Marcos Meirelles da Silva – p. 18/27
Self-Organizing Maps (SOM)
d1 0,45
d2 0,15
d3 0,55
d4 0,25
d5 0,05
d6 0,15
d7 0,15
d8 0,45
Neurônio N5 é o vencedor !
⇒ Vizinhos de N5 para R = 2 no mapa: N3, N4, N6 e N7
⇒ Atualização das sinapses w3, w4, w5, w6 e w7 no espaço de entrada
Prof. João Marcos Meirelles da Silva – p. 19/27
Self-Organizing Maps (SOM)
wj(2) = (1 − α)wj(1) + αx = 0, 6wj(1) + 0, 26, j = 3, 4, 5, 6, 7
Ni, i = 1 2 3 4 5 6 7 8
wi(1) = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2
wi(2) = 0,2 0,5 0,32 0,80 0,62 0,56 0,74 0,2
Observe que todos os pesos alterados se aproximaram da entrada eentre si !
Prof. João Marcos Meirelles da Silva – p. 20/27
Self-Organizing Maps (SOM)
Há basicamente duas formas de visualizarmos as redes SOM:
• O mapa é visto como uma rede elástica (uni ou bidimensional)com os vetores de pesos sinápticos representados como pontose, entre os vizinhos, através de conexões;
• Nomes de classes são associados aos neurônios em uma redebidimensional. Após o treinamento, algumas regiões sãoapresentadas onde o caminho entre um ponto A e um ponto Bmostra a “afinidade” entre os dados. Esta forma deapresentação é comumente chamada de mapas de contexto oumapas semânticos.
Prof. João Marcos Meirelles da Silva – p. 21/27
Self-Organizing Maps (SOM)
Exemplos de redes elásticas:
• Caso bidimensional (ExemploSOM01.m)
• Caso unidimensional (ExemploSOM02.m)
Prof. João Marcos Meirelles da Silva – p. 22/27
Self-Organizing Maps (SOM)
Exemplo de Mapa de Contexto: Rede SOM bidimensional (wpi-soms)
(a) Antes do treinamento (b) Após o treinamento
Prof. João Marcos Meirelles da Silva – p. 23/27
Self-Organizing Maps (SOM)
Nomes de animais e seus atributos
Prof. João Marcos Meirelles da Silva – p. 24/27
Considerações Finais
• SOM É uma técnica de agrupamento que impõerelacionamentos de vizinhança sobre os centróides resultantesdas classes;
• Classes vizinhas possuem um relacionamento maior do queclasses distantes umas das outras;
• Uma rede SOM bidimensional é uma projeção não linear dafunção original de distribuição de probabilidade em duasdimensões;
• Como qualquer algoritmo de segmentação, também possuilimitações.
Prof. João Marcos Meirelles da Silva – p. 25/27
Referências
1. Haykin, S., “Neural Networks - A Comprehensive Foundation,”2nd edition - Prentice Hall, 1999.
2. Fausett, L., “Fundamental of Neural Networks - Architectures,Algorithms and Applications,” Prentice Hall, 1994.
3. Theodoris, S., Koutroumbas, K, “Pattern Recognition,” 4th
edition, Academic Press.
Prof. João Marcos Meirelles da Silva – p. 26/27
FIM
Prof. João Marcos Meirelles da Silva – p. 27/27