pré-processamento em big data
Post on 05-Dec-2014
236 Views
Preview:
DESCRIPTION
TRANSCRIPT
João Gabriel Limajgabriel.ufpa@gmail.com
Pré-processamento: ferramentas e aplicações
Importância do Pré-Processamento
● Seleção de atributos
● Limpeza dos Dados
● Transformação
● Construção de atributos
● Discretização
Big Data 6 Vs
• Volume• Variedade• Velocidade
• Valor• Variabilidade• Veracidade
5 29/09/14
V
Pré-Processamento
Vs
Big Data
Open-Source
Desenvolvimento Acadêmico
Inovação
Novos Paradigmas
Critérios
Critérios
Batch X Real-time Processing
Batch Processing
Hadoop (MapReduce)
Hadoop (MapReduce)
Hadoop
HPCC SystemHPCC System
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemEcosystems
APACHE SPARK
APACHE SPARK
APACHE SPARK
Yahoo S4
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Considerações Finais
● Hot Topic
● Muitas ferramentas e frameworks disponíveis
● Importante conhecer o domínio
● Cuidado! Não existe chave mestra!
● Potencial em aprendizagem de máquina
João Gabriel Limajgabriel.ufpa@gmail.com
Pré-processamento: ferramentas e aplicações
top related