meta-aprendizado para otimização de parâmetros de redes neurais
DESCRIPTION
Objetivo: Investigar o uso de meta-aprendizado para otimização de parâmetros de redes neurais.TRANSCRIPT
Meta-aprendizado para otimização de parâmetros de redes neuraisAndré Ricardo FredericoOrlando da Silva Junior
O Artigo• Título• Meta-aprendizado para otimização de parâmetros de redes
neurais
• Autores• Tarcísio D. P. Lucas, Teresa B. Ludermir, Ricardo B. C. Prudêncio
(UFPE)• Carlos Soares (Univ. Porto, Portugal)
• Publicação• Encontro Nacional de Inteligência Artificial (ENIA 2011)
Problema• Problema• Como otimizar os parâmetros de uma rede neural artificial
(RNA)?
• Hipótese• O meta-aprendizado pode ser utilizado para a otimização de
parâmetros de RNAs.
Objetivo• Investigar o uso de meta-aprendizado para otimização de
parâmetros de redes neurais
• Justificativa: a otimização de RNAs é uma tarefa importante para o sucesso do uso desses modelos em aplicações reais.
Conceitos – RNAs• RNAs são utilizadas para resolver problemas em diferentes áreas do
conhecimento
• O desempenho de uma RNA depende da escolha de seus parâmetros de treinamento e arquitetura
• A definição dos parâmetros depende do problema ou tarefa de aprendizagem sendo resolvida
• A otimização dos parâmetros é um problema complexo e várias soluções já foram propostas:• Tentativa e erro (experiência do usuário)• Algoritmos genéticos• Enxame de partículas• Têmpera simulada• Etc.
Conceitos – Meta-aprendizado
• Meta-aprendizado é um processo de aquisição automática de conhecimento que relaciona o desempenho dos algoritmos de aprendizado com as características dos problemas.
• No meta-aprendizado, há uma BD com diversos meta-exemplos, onde cada um é composto por:• Um conjunto de meta-atributos: estatísticas que descrevem o
conjunto de dados (número de exemplos, número de atributos, entropia, etc.)
• Um meta-rótulo: melhor algoritmo aplicado ao problema
Metodologia• Desenvolvimento de um estudo de caso que aplica meta-aprendizado para a escolha
da quantidade de neurônios escondidos em uma rede perceptron multi-camadas (MLP).
• Avaliação de 93 bases de dados de dados para a construção da base de meta-exemplos, variando o número de neurônios escondidos
• Cada meta-exemplo é associado a um problema de regressão e armazena:• 16 características descrevendo os dados do problema;• O melhor número de neurônios para a rede MLP do problema
• Um algoritmo de regressão é usado como meta-aprendiz para predizer o melhor número de neurônios para um novo problema a partir de suas características. Quatro algoritmos são testados:• Regressão linear• kNN• M5• SVM
Experimentos• A otimização é realizada em cima de um dos parâmetros de
uma rede MLP com uma camada escondida
• Por ser veloz no treinamento e só possuir 2 parâmetros, o algoritmo de treinamento escolhido foi o Extreme Learning Machine (ELM)• Parâmetro escolhido: quantidade de neurônios escondidos
• A função de ativação sigmoidal foi fixada e foram testadas as quantidades de neurônios escondidos entre 1 e 300 para cada uma das 93 bases
Experimentos• Cada experimento foi repetido 10 vezes, com diferentes pesos
e bias
• O número de neurônios ideal é o menor erro médio no conjunto de teste nas 10 repetições, calculado com a raiz quadrada média dos erros
Experimentos
Experimentos• Com a meta-base pronta, os meta-exemplos foram
submetidos a 4 algoritmos de meta-aprendizado:• kNN: com 1 vizinho mais próximo• M5 (indução de árvores de regressão)• Regressão linear• SVM: polinomial e RBF
• Todos eles foram testados nos parâmetros default do WEKA, exceto a SVM
Resultados• A validação cruzada leave-one-out foi utilizada para testar a
precisão dos meta-aprendizes, resultando em 93 treinamentos
• Em seguida, foi observado o erro médio absoluto (RAE) e a correlação entre as respostas dos meta-aprendizes e as saídas desejadas• Um RAE próximo de 100% indica que o algoritmo não é um
regressor útil• A correlação indica a regularidade nos meta-atributos,
informando que podem ser utilizados para predizer o número de neurônios ocultos
Resultados
Conclusão• O melhor erro foi obtido tendo o SVM como meta-aprendiz
(52,85%)
• O meta-aprendizado ainda é menos custoso que abordagens com algoritmos de busca
• Trabalhos futuros• Melhorar a precisão do meta-aprendizado através de uma melhor
seleção de meta-atributos• Aplicação em MLP treinada com backpropagation
Referências• LUCAS, T. D. P. ; PRUDENCIO, R. B. C. ; LUDERMIR, T. B. ;
SOARES, C. . Meta-aprendizado para otimização de parâmetros de redes neurais. In: VIII Encontro Nacional de Inteligência Artificial (ENIA), 2011, Natal. Anais do Encontro Nacional de Inteligência Artificial 2011, 2011.
• http://www.lbd.dcc.ufmg.br/colecoes/enia/2011/0061.pdf