big data: em busca da veracidade e valor - gustavo arjones
DESCRIPTION
Novo termo para uma prática já consolidada? O que há de realmente diferente e inovador em big data? Os dados das mídias sociais podem ser minerados e cruzados com bancos de dados para enriquecer a informação das empresas. Velocidade, Volume e Variedade de dados já são abundantes nas mídias sociais: mas como gerar informação com Veracidade e Valor em tempos de automatização? Por Gustavo Arjones - SocialmetrixTRANSCRIPT
![Page 1: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/1.jpg)
Big Data: em busca da veracidade e valorSocial Analytics Summit
Gustavo [email protected] | @arjones
23 Novembro 2013
![Page 2: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/2.jpg)
• NERD
• Data Lover, Curioso
• Ciências da Computação
• MBA em Marketing
• CTO & Co-founder da Socialmetrix (2008) • Brasil, Argentina e México
Caixinha de sugestões: @arjones
Gustavo Arjones
@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
![Page 3: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/3.jpg)
… como sexo na adolescência:
• Todo mundo fala sobre isso;
• Ninguém entende realmente como fazer;
• Todo mundo pensa que os demais estão fazendo;
• Então todos dizem que também estão fazendo!
Big Data é …
Big Data: em busca da veracidade e valor
http://smx.io/bigteen@socialmetrix | @arjones
![Page 4: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/4.jpg)
Conjunto de técnicas e ferramentas para capturar,
filtrar, consolidar e visualizar informação
que permita a ação.
Big Data ~(Analytics | BI | Data warehouse | OLAP)
Big Data em nosso contexto
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
![Page 5: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/5.jpg)
Os 5 V’s de Big Data:
Big Data: em busca da veracidade e valor
• Volume
• Variedade
• Velocidade
• Veracidade
• Valor
@socialmetrix | @arjones
![Page 6: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/6.jpg)
Volume
Big Data: em busca da veracidade e valor
• 5Kb por atividade• 100.000 usuarios• 10 atividades por dia• 30 dias
~ 150 Gb / mês ( ~ 1.8 Tb / ano )
@socialmetrix | @arjones
Os sistemas tradicionais não acumulavam tanta informação, e o volume só tende a crescer #IoT
http://smx.io/iot
![Page 7: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/7.jpg)
Variedade
Big Data: em busca da veracidade e valor
• Quantitativos• Demograficos• Localização (celulares)• Atividades (behavior)• Conversas• Dispositivos (Waze) • etc ….
@socialmetrix | @arjones
![Page 8: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/8.jpg)
Velocidade
Big Data: em busca da veracidade e valor
• Quando tudo é Rápido e Fugaz, quem define o que é relevante?
Computadores e Algoritmos
@socialmetrix | @arjones
![Page 9: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/9.jpg)
Velocidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
TED: Kevin Slavin: How algorithms shape our worldhttp://smx.io/teddata
![Page 10: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/10.jpg)
Veracidade
Big Data: em busca da veracidade e valor
• Fonte de Informação (dataset)– Sujo (dirty) relações de alto-nivel– Limpando com hipóteses e informação de contexto– Vigencia ex: localização pode ser fugaz
• Interpretação (análise)– A história que contamos com essa informação
@socialmetrix | @arjones
![Page 11: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/11.jpg)
Veracidade Fontes de Informação
Big Data: em busca da veracidade e valor
• Falsos Reviews & Bombardeio de comentários– Percepção é realidade!– Nossos clientes podem diferenciar?
@socialmetrix | @arjones
O impacto em nossa marca será negativo, portanto tem que ser analizado como verdadeiros.
![Page 12: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/12.jpg)
Veracidade Correlação e Causalidade
Big Data: em busca da veracidade e valor
• Pessoas que comem nozes e castanhas vivem mais e são mais magras http://smx.io/nozes
– Fatores Socio-economicos– Acesso a Esportes e Lazer
• A causa do aquecimento global é a diminuição da população de piratas!
@socialmetrix | @arjones
![Page 13: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/13.jpg)
Big Data: em busca da veracidade e valor
Dois eventos podem acontecer no mesmo período e não serem causa um do outro
![Page 14: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/14.jpg)
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
• É imperativo aproveitar o potencial de sumarização
• Entender o todo e se enfocar no que é importante, chama a atenção
@socialmetrix | @arjones
![Page 15: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/15.jpg)
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
http://smx.io/folha@socialmetrix | @arjones
![Page 16: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/16.jpg)
![Page 17: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/17.jpg)
Big Data: em busca da veracidade e valor
![Page 18: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/18.jpg)
Big Data: em busca da veracidade e valor
![Page 19: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/19.jpg)
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Aproximações são aceitáveis e bem-vindas!GA: "A amostragem (sampling) é muito utilizada … a análise de um subconjunto de dados fornece resultados semelhantes … [e] … acelera o processamento dos relatórios” http://smx.io/gas
• Facebook faz isso o tempo todoCusto de manter os contadores atualizados é muito grande devido a intensa atividade, se aproximam os números e se calcula o valor exato quando (e se) realmente necessário
@socialmetrix | @arjones
![Page 20: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/20.jpg)
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Porque se usa com tanta frequencia?– Porque vale a pena!
@socialmetrix | @arjones
Com 3% de erro, reduzo o consumo de memória em 20.000+ vezes
![Page 21: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/21.jpg)
Valor
Big Data: em busca da veracidade e valor
• Influenciadores (Followers, Klout, etc)
• Análise de sentimento, temáticas e extração automática de tópicos
• Secret cases
@socialmetrix | @arjones
![Page 22: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/22.jpg)
Valor Análise de sentimento
Big Data: em busca da veracidade e valor
• Depende de contexto externo (cultura)
• Trade-off velocidade vs precisão
Melhores resultados: Usar ambos métodos!@socialmetrix | @arjones
Análise Resposta Precisão Custos
Automático < 1 seg ~ 68% $
Manual ~ 4 horas 95% $$$
![Page 23: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/23.jpg)
Valor Temáticas
Big Data: em busca da veracidade e valor
• Tracking continuado de temáticas importantes permite entender tendências e realizar rápida ação
@socialmetrix | @arjones
![Page 24: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/24.jpg)
Valor Temáticas
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
![Page 25: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/25.jpg)
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
• Veloz (< 2 segundos)
• Menor dependência de contextos externos, maior precisão
• Ajudam a entender como a conversa está variando, podem mostrar assuntos que não estavam no radar.
@socialmetrix | @arjones
![Page 26: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/26.jpg)
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
![Page 27: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/27.jpg)
Valor Extração Automática de Tópicos
![Page 28: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/28.jpg)
Valor Secret Cases (sorry!)
Big Data: em busca da veracidade e valor
Valor está em encontrar como métricas de negóciosão afetadas pela atividade social/online.
• Montadora = nossos dados + Emplacamento
• Operadora Celular = nossos dados + WebAnalytics+ Compras de Plano
@socialmetrix | @arjones
![Page 29: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/29.jpg)
Oportunidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
![Page 30: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/30.jpg)
Oportunidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
• Integração / Convergência• Reduzir a Obsessão por likes, followers
• Algumas questões NÃO serão resolvidas e afetam valor percebido. Ex: “Fila no Banco”
• Predictive Analytics ?
![Page 31: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/31.jpg)
Desafio
Big Data: em busca da veracidade e valor
• Silo de dadosTenho acesso aos dados que preciso?
– Vendas– Anuncios– Promoções– Compras– Custos
@socialmetrix | @arjones
![Page 32: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/32.jpg)
Futurologia ...
Big Data: em busca da veracidade e valor
• Grafos Sociais• Sistemas de Recomendação• Influenciadores
“Mapear as relações”
@socialmetrix | @arjones
![Page 33: Big Data: em busca da veracidade e valor - Gustavo Arjones](https://reader036.vdocuments.mx/reader036/viewer/2022081502/554ed5f8b4c9053c4b8b5874/html5/thumbnails/33.jpg)
Muito Obrigado!
Gustavo Arjones | @arjonesCTO & Co-Founder
facebook.com/socialmetrix
www.socialmetrix.com