Universidade Presbiteriana Mackenzie Programa de Pós Graduação em Engenharia Elétrica Laboratório de Computação Natural

Metalearning: a survey of trends and technologies

LCoN Meetings

14/08/2013

Daniel G. Ferrari

Artigo

• Título

– Metalearning: a survey of trends and technologies

• Autores

– Christiane Lemke

– Marcin Budka

– Bogdan Gabrys

• Publicação

– Periódico: Artificial Intelligence Review

– Data: 20/07/2013

– Editora: Springer

Abstract

Metalearning attracted considerable interest in the machine learning community in the last years. Yet,

some disagreement remains on what does or what does not constitute a metalearning problem and in which contexts the term is used in. This survey aims at giving an all-encompassing overview of the research directions pursued under the umbrella of metalearning, reconciling different definitions given in scientific literature, listing the choices involved when designing a metalearning system and identifying some of the future research challenges in this domain.

Meta-Aprendizagem

• Na psicologia educacional

“being aware of and taking control of one’s own learning” (Biggs, 1985)

Ser capaz de acessar e modificar sua própria abordagem de aprendizado para se adaptar à uma tarefa específica

Meta-Aprendizagem

• Em aprendizado de máquina

By promoting a better understanding of machine learning itself, metalearning can provide an invaluable help avoiding extensive trial and error procedures for algorithm selection, and brute force searches for suitable parameterization

Definições

1) Meta-aprendizagem estuda como algoritmos de aprendizado podem aumentar sua eficiência através da experiência; o objetivo é entender como o aprendizado se torna flexível de acordo com a tarefa sendo estudada.

2) O objetivo primário da meta-aprendizagem é compreender a interação entre os mecanismos da aprendizagem e o contexto real nos quais estes mecanismos são aplicados.

Definições

3) A meta-aprendizagem é o estudo de métodos que exploram o meta-conhecimento para obter modelos eficientes pela adaptação dos processos de aprendizado de máquina e mineração de dados.

4) Meta-aprendizagem monitora o processo automático de aprendizagem no contexto do problema, e tenta adaptar seu comportamento para melhorar seu desempenho.

Resumindo

Um sistema de meta-aprendizagem deve incluir um subsistema de aprendizado, o qual se adapta com experiência.

A experiência é adquirida pela exploração do meta-conhecimento extraído do aprendizado de um

problema no passado, ou de diferentes problemas e domínios.

Técnicas de Meta-Aprendizagem

Considerações sobre Meta-aprendizagem

Pré-requisitos

• Meta-aprendizagem não é uma cura mágica para os problemas de aprendizado de máquina

• A extração de meta-atributos deve ser representativa, senão o algoritmo irá falhar ao identificar problemas similares

• A estimação de desempenho pode não ser confiável devido as limitações naturais na real determinação de desempenho no problema.

Meta-Algoritmos

• Algoritmos clássicos de classificação

– Árvores de decisão

– Redes Neurais

– SVM

– kNN

• Poucos algoritmos para ranking

Extração Meta-Conhecimento

• Caracterização

– Simples

– Estatísticas

– Teoria da Informação

– Landmarking

– Baseadas em Modelos

• Desempenhos

• Meta-databases

Desafios

• Identificação de meta-atributos

• Life-long Learning

– Modelos com adaptação contínua

• Seleção e parametrização

• Predição de ranking