© paulo adeodato & germano vasconcelos redes de kohonen paulo adeodato e germano vasconcelos...
TRANSCRIPT
![Page 1: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/1.jpg)
© Paulo Adeodato & Germano Vasconcelos
Redes de KohonenRedes de Kohonen
Paulo Adeodato e Germano VasconcelosGrupo de Inteligência Computacional
Departamento de InformáticaUniversidade Federal de Pernambuco
![Page 2: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/2.jpg)
© Paulo Adeodato & Germano Vasconcelos
ConteúdoConteúdo
Aprendizagem não-supervisionada Inspiração biológica
• Mapas topográficos , Funções de ativação, Auto-organização Rede de Kohonen Algoritmo de aprendizagem Formação dos mapas (clustering) Aplicações
![Page 3: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/3.jpg)
© Paulo Adeodato & Germano Vasconcelos
Tipos de Aprendizagem ITipos de Aprendizagem I(pelo grau de feedback)(pelo grau de feedback)
Supervisionada: um ”professor“ diz quanto a resposta dada pelo sistema se aproxima da resposta desejada.(e. g. nota de um aluno numa prova)
Por Reforço: um ”professor“ diz apenas se a resposta dada pelo sistema está certa ou errada.(e. g. punição/recompensa no treinamento de animais)
Não-Supervisionada: o sistema tenta se auto-organizar baseado nas similaridades entre os exemplos a ele apre-sentados.(e. g. desenvolvimento das células simples do córtex visual estriado)
![Page 4: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/4.jpg)
© Paulo Adeodato & Germano Vasconcelos
Tipos de Aprendizagem IITipos de Aprendizagem II(pelo grau de feedback)(pelo grau de feedback)
Supervisionada:• Conjunto de treinamento s = {(x1, f(x1)), (x2, f(x2)),..., (xn,
f(xn))}
• Convergência rápida Por Reforço:
• Conjunto de treinamento s = {(x1, sgn[f(x1)] ), (x2, sgn[f(x2)] ),..., (xn, sgn[f(xn)] )}
• Convergência média Não-Supervisionada:
• Conjunto de treinamento s = {(x1, ), (x2, ),..., (xn, )}
• Convergência lenta
![Page 5: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/5.jpg)
© Paulo Adeodato & Germano Vasconcelos
Características Gerais dasCaracterísticas Gerais dasRedes de KohonenRedes de Kohonen
Inspiração biológica Aprendizagem não supervisionada (clustering)
• a aprendizagem agrupa padrões de características comuns• a rede é capaz de identificar as características comuns ao
longo do domínio dos padrões de entrada Memória associativa Mapa topográfico de características
• Quantização vetorial (compressão de dados)• Relações de vizinhança preservadas (transformações
conformes)• Representação de espaços N-Dimensionais em 2-D
![Page 6: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/6.jpg)
© Paulo Adeodato & Germano Vasconcelos
Inspiração BiológicaInspiração Biológica
Codificação distribuída em camadas (redes planas) Funções de ativação (vizinhança) Mapas topográficos
• visão (ice cube, fóvea etc.)• tato• audição
Aprendizagem biologicamente plausível• o processo WinnerTakesAll (canto de acasalamento)• liberação de óxido nítrico pelos neurônios ativos• membro fantasma (reaprendizagem dos córtices somato-
sensorial e motor)
![Page 7: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/7.jpg)
© Paulo Adeodato & Germano Vasconcelos
HomúnculoHomúnculoMapa Topográfico MotorMapa Topográfico Motor
![Page 8: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/8.jpg)
© Paulo Adeodato & Germano Vasconcelos
HomúnculoHomúnculoMapa Topográfico Somato-SensorialMapa Topográfico Somato-Sensorial
![Page 9: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/9.jpg)
© Paulo Adeodato & Germano Vasconcelos
Rede de KohonenRede de Kohonen
Entrada
Estado/Saída
Camada de saída plana: grade 2-D
Os estados dos neurônios são as próprias saídas
Camadas de entrada e saída totalmente conectadas
Feedback na camada de saída apenas numa vizinhança de cada neurônio (excitação / inibição lateral)
![Page 10: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/10.jpg)
© Paulo Adeodato & Germano Vasconcelos
Aspectos do TreinamentoAspectos do Treinamento
O treinamento forma agrupamentos dos neurônios em vizinhanças que funcionam como detectores de características
Esse mapa topográfico é auto-organizado por um processo cíclico de comparação dos padrões de entrada com aqueles já armazenados pelos neurônios nos seus pesos
A partir de regiões aleatoriamente setadas, a rede cria uma representação local e auto-organizada da informação
O treinamento seleciona o neurônio de maior resposta ao padrão de entrada apresentado e aumenta a resposta desse neurônio e da sua vizinhança ao padrão
![Page 11: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/11.jpg)
© Paulo Adeodato & Germano Vasconcelos
Função de AtivaçãoFunção de AtivaçãoChapéu de MexicanoChapéu de Mexicano
O óxido nítrico liberado pelas células ativas é uma dassubstâncias que fazem esse papel.
![Page 12: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/12.jpg)
© Paulo Adeodato & Germano Vasconcelos
Funções Chapéu de MexicanoFunções Chapéu de Mexicanono Sistema Visual (DOGs, Gabor etc.)no Sistema Visual (DOGs, Gabor etc.)
Retina
NúcleoGeniculado
Lateral
CórtexEstriado
![Page 13: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/13.jpg)
© Paulo Adeodato & Germano Vasconcelos
Auto-Organização Biológica Auto-Organização Biológica (Detecção de (Detecção de Bordas)Bordas)
Seletividade à Orientação no Córtex Seletividade à Orientação no Córtex EstriadoEstriado
![Page 14: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/14.jpg)
© Paulo Adeodato & Germano Vasconcelos
Vizinhança Adaptável na Detecção de Vizinhança Adaptável na Detecção de BordasBordas
![Page 15: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/15.jpg)
© Paulo Adeodato & Germano Vasconcelos
Algoritmo de AprendizagemAlgoritmo de Aprendizagem Inicializa a rede:
• pesos, raio da vizinhança, taxa de aprendizagem e taxa de redução da vizinhança
Apresenta o padrão de entrada Calcula a distância euclideana do vetor de entrada a
cada neurônio j de saída Seleciona o neurônio nj* de menor distância dj* Atualiza / adapta os pesos do neurônio nj* e da sua
vizinhança Nj*, segundo a regra: wij (t+1) = wij (t) + (t)[xi (t)-wij (t)] Reduz a vizinhança e a taxa de aprendizagem
(convergência) Apresenta outro padrão de entrada
![Page 16: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/16.jpg)
© Paulo Adeodato & Germano Vasconcelos
Formação do Mapa Topográfico UniformeFormação do Mapa Topográfico Uniforme
T=0 T=25
T=500T=10.000
![Page 17: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/17.jpg)
© Paulo Adeodato & Germano Vasconcelos
Máquina de Escrever FonéticaMáquina de Escrever Fonética
![Page 18: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/18.jpg)
© Paulo Adeodato & Germano Vasconcelos
Máquina de Escrever FonéticaMáquina de Escrever FonéticaMapa FonotópicoMapa Fonotópico
![Page 19: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/19.jpg)
© Paulo Adeodato & Germano Vasconcelos
Máquina de Escrever FonéticaMáquina de Escrever FonéticaSeqüência FonéticaSeqüência Fonética
![Page 20: © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática](https://reader034.vdocuments.mx/reader034/viewer/2022051515/552fc10b497959413d8c26ba/html5/thumbnails/20.jpg)
© Paulo Adeodato & Germano Vasconcelos
Outros Aspectos das Redes de KohonenOutros Aspectos das Redes de Kohonen
A orientação espacial dos vetores é priorizada na avaliação de similaridade: normalização é necessária
Durante o treinamento o sistema se auto-organiza para mapear topograficamente as características. Depois, são associados os rótulos às características de cada região do mapa
A plausibilidade biológica desse modelo de rede a torna candidata natural na interpretação de fenômenos biológicos (e.g. distúrbios de aprendizagem, membro fantasma etc.)