big data para analizar las redes sociales

www.datknosys.com

Francesc ArroyoAsesor de Innovación Tecnológica

@datagoodnews

04 de Enero de 2012

Abril de 2013

Big Data para analizar Social Media


Índice

Presentación

Sociedad aumentada

Explosión del Big Data

Medir el Social Media

Preguntas

Fórum de debate


Realidad Actual:

Las Redes Sociales adoptadas plenamente en el día a día de las personas.

Entretenimiento y vida Social Relaciones profesionales Información y Comunicación

Social Media - Contexto

“Social Media is Real Life”


¿Cómo hemos llegado?

Aceptación de la tecnología Adaptación al cambio

Utilidad Facilidad de uso

Fuente: http://en.wikipedia.org/wiki/Technology_acceptance_modelFuente: http://es.wikiquote.org/wiki/Charles_Darwin

Social Media - Contexto

“No sobrevive el mas fuerte sino el que mejor se adapta al cambio”

Charles Darwin


Fuente: http://www.ethority.de/weblog/social-media-prisma/

Social Media - Mapa


Pasado Presente Futuro

Información ¿Qué ha pasado?(Informes)

¿Qué está pasando?(Indicadores, Alertas)

¿Qué va a pasar?(Predicción)

Comprensión ¿Cómo y porqué ha pasado?(Modelado)

¿Cuál es la siguiente acción a tomar?

(Recomendación)

¿Qué es lo mejor y peor que puede pasar?

(Optimización y simulación)

BUSINESS INTELLIGENCE

¿Que hacemos con todos estos datos?Tenemos más información que nunca sobre clientes, mercado, gustos, ideas, etc.

¡¡Obtener información útil!!

Datos Información Decisiones

Personalizar ofertas, optimizar campañas, nuevos productos, mejorar atención…

Social Media - Datos

BUSINESS ANALYTICS


¿Cómo gestionamos los datos?Las empresas cada vez se preocupan más de la obtención y recolección de datos.

Propiedades de los datos Volumen: Se ha incrementado el volumen de datos que se recogen. Variedad: Se ha incrementado su diversidad en forma y origen. Velocidad: Se ha incrementado la necesidad del real-time.

Conseguiremos esta gestión de los datos gracias a los sistemas: BigData

Social Media – Valor y propiedades de los Datos

ANTES

Problema de Almacenamiento

AHORA

Detección de nuevas oportu- nidades y en si un activo o valor


http://www.sourcelink.com/blog/guest-author-series/2012/08/13/if-you-build-it-they-will-come

Every Minute Of the Day…


El resumen de las reflexiones anteriores:

Social Media:Adopción de Social Media por los usuarios nos lleva a…Adaptarnos a este nuevo entorno socio económico.

Valor Datos:Los datos que se generan en Social Media nos lleva a…Conseguir valor de los mismos y con los mismos.

Big Data:El volumen, variedad y velocidad de los datos en Social Media nos lleva a…Implantar sistemas de BigData para explotarlos y conseguir valor.

Conclusión:

Big Data es necesario para tener obtener valor de Social Media

Social Media – Big Data


Índice

Presentación

Sociedad aumentada



Preguntas

Fórum de debate


Big DataLa creciente generación de datos nos genera la necesidad de tener sistemas que:

Capturen, Almacenen, Busquen, Compartan, Analicen, Visualicen

…grandes conjuntos de datos. Serán los sistemas que entendemos como:

BIG DATA

http://www.csc.com/insights/flxwd/78931-big_data_growth_just_beginning_to_explode

Con el fin de:

Procesar todos los datos disponibles

Sacar información de los datos

Tomar decisiones con la información

DATOS es INFORMACIÓN…

… INFORMACIÓN es

PODER




Análisis Big Data

Deberemos definir nuestro sistema Big Data según las siguientes variables:

Variedad de los datos de origen

Volumen de los datos generados en un periodo

Velocidad de proceso de los datos

para conseguir de ellos información útil para negocio.

Data Velocity

Data Volume

Data Variety

GB

TB

PB

Batch

Periodic

Real-Time

BDD

Web

ReportSocial

Mobile

Marketing

CMS

Es importante analizar bien nuestras

necesidades actuales y futuras para definir

nuestro Sistema Big Data.

“How big is BIG?”

“No debemos solucionarun problema que no tenemos.”

API


¿Cómo aplico Big Data a mis datos de Social Media?

1. Definir claramente que vamos a solucionar usando Big Data

Definir la mejora que queremos obtener y como utilizar la información.

2. Conocer “que conoces” y “que no conoces”

Conoces tus clientes, conoces tu competencia…

Pero no conoces que realmente piensan tus clientes…

3. Escoger la herramienta adecuada

Saber que quieres analizar, te ayudará a escoger la herramienta.

4. Testea tus hipótesis

Una vez tengamos datos, analizar desde diferentes perspectivas.

5. Crea las ideas y acciónalas

De los datos recibidos, las hipótesis testeadas, deben salir nuevas percepciones que nos lleven a realizar

acciones para conseguir solucionar nuestras necesidades iniciales.

“You have to separate the signal from the noise”


Análisis VisualizaciónCaptación

Arquitectura Sistema Big Data

Social Media Almacenado

Arquitectura a alto nivel de un Sistema Big Data para Social Media.

ETL BBDDBusinessAnalytics BI, Reporting, Geo…TIPOLOGIA

HERRAMIENTAS

KettleInformatica

TalendFlume

InfobrightHadoop

CassandraGoogle Cloud

KnimeSAS

MahoutRapidMiner

DKS EAPQlikViewTableau

JasperSoft

HERRAMIENTASESPECÍFICAS

HERRAMIENTASOCIAL MEDIA DKS SocialSmart


Arquitectura Sistema Big Data – Captación

Orígenes de DatosLos orígenes de datos pueden ser cualquier fuente Social Media (o no):Redes Sociales, foros, blogs, analytics, mailings, ventas…

CaptaciónCada origen de datos puede requerir una manera de captación de datos:Twitter: API pública, GNIP, DataSiftFacebook: GraphAPIBlogs: Herramientas de Scraping como 80legs, rss…

Características a tener en cuentaVolumen: Cantidad de “mensajes” que podemos recogerVelocidad: Tiempo de recolección de los mismosAntigüedad: Acceso a datos pasadosPrivacidad: Acceso a datos privadosPrecio: Que nos cuesta cada “mensaje”Fiabilidad: Que cantidad de “mensajes” recogemos respecto al total

Captación


Arquitectura Sistema Big Data – Almacenado

Debido a la incapacidad de las BDD Tradicionales de dar solución a los retos de los grandes volúmenes de datos, aparecen diferentes tipologías de BDD para dar solución a sistemas “Big Data”.Hay una tipología de BDD idónea para cada tipo de negocio:

Algunas Tipologías de BDD “Big Data”

BDD Analíticas: BBDD idóneas para optimizar el tiempo de Consulta SQL. Implantación real: Yahoo la utiliza para calcular el precio de sus anuncios. (Hadoop)

BDD Documentales: BBDD idóneas para la gestión de “documentos”. Implantación real: Foursquare utiliza para check-in y información geo (MongoDB)

BDD en Grafo: BBDD idóneas para datos con relaciones indeterminadas. Implantación real: Google la utiliza para relacionar páginas web. (Plegel)

BDD Clave/Valor: BBDD idóneas para aplicaciones on-line. Implantación real: Twitter la utiliza para su aplicación web. (Cassandra)

InfobrightVerticaHadoop

MongoDBApache CouchDB

SimpleDB

Neo4jPlegel

FlockDB

Amazon DynamoDBApache Cassandra

Almacenado


Mapa de las Bases de Datos – Big Data

Non-Relational Relational

Operational

NoSQL NewSQL

Key ValueVoldemortBerkeleyDB Big Tables

HBASEGraphDEXFlockDB

DocumentLotus Notes

CouchDBMongoDB

Data as a Service Amazon RDSSimpleDB Database.com

Cassandra

Analytic Teradata Infobright GreenplumHadoop HP Vertica Netezza InfinyDBCloudera

PostgreSQL SQL Server SAP Hana

New DatabasesVoltDBMemSQL

ClusteringScaleDB

StorageEnginesTokutek


BDD Analíticas - Infobright

Consultas más rápidas sin trabajo

añadido

• Sin índices• Sin proyecciones ni

cubos• Sin partición de datos• Rápidos análisis ad-

hoc

Rápida carga / alta compresión

• Velocidad de carga de hasta 1 TB por hora con carga distribuida por procesadores

• Compresión de 10:1 a 40:1+

Bajo coste

• Menos almacenamiento y servidores

• Subscripciones de bajo coste

• Un 90% menos de Administración

Rápido tiempo de puesta en marcha

• Descargar en cuestión de minutos

• Configuración mínima

• Implementación en días

¿Qué ofrece Infobright?A IT: Alto rendimiento, administración mínima, bajo costeA Usuarios: Acceso inmediato a los datos, rápido análisis ad hoc

Infobright es una Base de Datos Analítica de alto rendimiento, diseñada para el análisis de grandes volúmenes de datos.


Arquitectura Sistema Big Data – Análisis

¿Qué es Text Analytics?

Proceso que permite un análisis automático y unificado

de textos provenientes de diferentes fuentes de datos

como plataformas de redes sociales, blogs o páginas de

noticias.

Variedad: Idiomas, dialectos, jergas, plataformas…

Volumen: Tweets, Post, blogs, foros, webs…

Velocidad: Real-time, 1 hora, 1 día, 1 mes?

Análisis


Arquitectura Sistema Big Data – Análisis

Limpiael texto de: enlaces, jerga, textese…

¿cómo funciona?

Corrige ortográficamente las palabras

Asigna categorías gramaticales

Reconoce personas, lugares, organizaciones

RelacionaIdentifica dependencias

Detección del idioma

Sentiment mining

Identificación de cadenas léxicas

¿qué hace? Categorización de textos en diferentes temas.

Descubrimiento de trending topics.

Producto: Conocer la valoración de un producto y su competencia.

Cliente: Conocer los temas que están captando la atención del cliente.

SEO: Gestión crisis de reputación, optimización Ad-words.

Empresa: Detectar la valoración de la empresa en diferentes categorías.

Aplicaciones


Arquitectura Sistema Big Data – Visualización

VisualizaciónLa información correcta debe llegar a la persona correcta, en el momento correcto, en el formato correcto, en el dispositivo correcto, con el detalle correcto, etc.Hablaríamos de distribución y presentación de la información.

¿cómo representar?Hay muchas maneras de representar la información:Cuadros de Mando: QlikView, TableauInformes: JasperReports, CristalReportsGráficos tradicionales: Any Charts, Google ChartsMapas: DKS GeoSmart, ESRIGráficos a medida: FlashInfografías

“El exceso de información conlleva una pérdida de interés en las audiencias que se traduce, en muchos casos, en una falta de comprensión de la información expuesta.” David McCandless

Visualización


¿Qué gráfico elegir?


Índice

Presentación

Sociedad aumentada



Preguntas

Fórum de debate


Herramientas Social Media

Herramientas de medición de Social MediaHasta ahora hemos visto que para cada funcionalidad específica de la arquitectura a alto nivel de un sistema de análisis existen varias herramientas y cada una con unos puntos fuertes frente a las otras.

Herramienta específicaLa herramienta me soluciona la captación, el almacenamiento, el análisis o la visualización.

Herramienta completaLa herramienta realiza el trabajo tecnológico por nosotros y solo configuro el Social Media a medir.

¿Qué valorar en estas herramientas?Indicadores de negocio ¿Tiene toda la información que necesito?Detalle de la información ¿Puedo llegar a comprender por que ocurre?Usabilidad ¿Es fácil de utilizar la herramienta y comprender la misma?Integración ¿Se puede integrar con otras herramientas o orígenes de datos?Escalabilidad ¿Va a crecer conmigo la herramienta?Acceso y Seguridad ¿Accesible desde diferentes entornos de manera segura?Rapidez ¿Responde con la frecuencia esperada?Configuración ¿Puedo configurarla según nuestras necesidades?


Herramientas Social Media - DKSSocialSmart


TEMARIO - FUNCIONALIDADES DKS SOCIALSMART


Según su afiliación o actividad tenemos los siguientes ROLES:

USUARIOS

Cualquier CUENTA de una PLATAFORMA de Social Media.

SEGUIDORES

USUARIOS que siguen un determinado PERFIL.Especificación:

FOLLOWER AMIGO

AUTORES

USUARIO que publica un MENSAJE.Especificación:

Autor del TWEET Autor del POST

CONCEPTOS GENERALES – USUARIOS



USUARIO

AUTOR

SEGUIDOR

TWEET



USUARIO

AUTOR

AMIGOS

POST


Según el alcance y tono de su actividad tenemos los siguientes ROLES:

INFLUENCIADOR

AUTOR que menciona una PALABRA CLAVE o menciona un PERFIL.

Deben tener un gran número de SEGUIDORES para considerarse INFLUENCIADORES

EMBAJADORES

INFLUENCIADOR donde la mayoría de sus MENCIONES son en TONO POSITIVO

TROLLS

INFLUENCIADOR donde la mayoría de sus MENCIONES son en TONO NEGATIVO




INFLUENCIADOR

SEGUIDORES

MENCIÓN INDIRECTA

MENCIÓN DIRECTA

TONO POSITIVO

EMBAJADOR



INFLUENCIADOR

SEGUIDORES

MENCIÓN INDIRECTA

MENCIÓN DIRECTA

TONO NEUTROEMBAJADOR


PLATAFORMA

Definición: Aplicación de Social Media. Facebook, Twitter, etc.

COMPETIDOR

Definición: Agrupación lógica de PERFILES, normalmente empresas, que usa

PLATAFORMAS para su estrategia Social Media.

PERFIL

Definición: Canal creado dentro de una PLATAFORMA para ejecutar una parte de la estrategia Social Media.

CONCEPTOS GENERALES – CONCEPTOS DE NEGOCIO

Diagrama Selectores



PERFILPLATAFORMA

MENSAJE

MENCIÓN DIRECTA

MENCIÓN INDIRECTA

PALABRA CLAVE



PERFIL

PLATAFORMA

MENSAJEMENCIÓNDIRECTA

MENCIÓNINDIRECTA

PALABRACLAVE


Definición:Comparativa de la repercusión de la producción de los PERFILES de cada COMPETIDOR.

BRAND PERFORMANCE

ALCANCE

Definición: Número de SEGUIDORES de un PERFIL.Cuando un PERFIL publica un MENSAJE este llegará como mínimo a tantos SEGUIDORES tiene ese PERFIL. Ese será el ALCANCE del MENSAJE.

Especificación: FOLLOWERS AMIGOS

ACTIVIDADDefinición: Número de MENSAJES publicados por cada PERFIL.Especificación:

TWEET POST

“Tu eres la herramienta para el Social Media. Twitter es solo una aplicacion para que tu crezcas e influencies a tu sociedad.” Razan Khatib


REPRESENTACIÓN Comparativa Competidores Comparativa Perfiles Mensajes

BRAND PERFORMANCE


AMPLIFICACIÓN

Definición: Número de veces que un MENSAJE de un PERFIL es difundido por los USUARIOS.Especificación:

RETWEET SHARES

ADHESIÓN

Definición: Número de veces que un MENSAJE gusta a cualquier USUARIO.Especificación:

FAVORITO LIKES

CONVERSACIÓN

Definición: Número de RESPUESTAS en los MENSAJES publicados por un PERFIL.Especificación:

RESPUESTA COMENTARIO

BRAND PERFORMANCE


BRAND PERFORMANCE - DIAGRAMA

Diagrama


BRAND PERFORMANCE – EJEMPLO TWITTER

RETWEETAMPLIFICACIÓN

MENSAJEACTIVIDAD

FAVORITOADHESIÓN

FOLLOWERSALCANCE

RESPUESTACONVERSACIÓN


BRAND PERFORMANCE – EJEMPLO FACEBOOK

LIKEADHESIÓN

AMIGOSALCANCE

MENSAJEACTIVIDAD

RESPUESTACONVERSACIÓN

SHARESAMPLIFICACIÓN


ENGAGEMENT

Definición: Interactuación directa de la comunidad con nuestra estrategia.

Que porcentaje de usuarios realmente interactúan:

ADHESIÓN + CONVERSACIÓN + COMENTARIO x 100

ALCANCE

ROI

Definición: Retorno de la inversión en Social Media.

Relación de los INDICADORES de Social Media con el MARKETING más tradicional.

• Leads = ALCANCE

• Impresiones = ALCANCE x ACTIVIDAD

INDICADORES

• Interacción = AMPLIFICACIÓN, ADHESIÓN, CONVERSACIÓN

• Patrocinio = MENCIONES de terceros

Leads: CPL (Coste por Lead): coste de adquirir un contacto.

Impresiones: CPM (Coste por mil): coste de producir mil impactos en el público objetivo.

Interacción: CPI (Coste de Interacción) Valor de las interacciones con los consumidores.

Patrocinio. El coste es variable en función de la relevancia de la institución o de la persona.


INDICADORES - ROI


BRAND ASSET VALUATION

BRAND ASSET VALUATIONDefinición: Análisis que mide el valor de cada COMPETIDOR respecto a los demás.

VALOR DE LA MARCA

ACTIVO DE LA MARCA

FUERZA DE LA MARCA

CONOCIMIENTO

ESTIMACIÓN

RELEVANCIA

DIFERENCIACIÓN

Valor Actual

Potencial Puntos diferenciales

Como de apropiada es la marca a los consumidores (penetración)

Estima o seguimiento de la marca

Reputación marcaExperiencia usuarios

“Branding no tiene que ver con el slogan o logotipo, tiene que ver con tu personalidad con

quien eres tu” Mirna Bard


CONSUMER REACTIONSDefinición:

Análisis de la actividad y MENCIONES realizadas por los USUARIOS.Ámbito:

Analiza los mensajes realizados por USUARIOS donde se comenta: DIRECTAMENTE un PERFIL INDIRECTAMENTE una PALABRA CLAVE

MENCIÓNDefinición:

Una MENCIÓN es un MENSAJE donde su AUTOR es cualquier USUARIO de la PLATAFORMA, y en el MENSAJE se menciona o cita directamente un PERFIL del COMPETIDOR o una PALABRA CLAVE del COMPETIDOR.

Especificación:

TWEET (con mención a PERFIL o PALABRA CLAVE). Puede ser DIRECTA o INDIRECTA

POST (con POST en el muro o mención a PALABRA CLAVE). Puede ser DIRECTA o INDIRECTA

CONSUMER REACTIONS “Las empresas que entienden el Social Media son las que dicen con su mensaje: te veo, te escucho y me importas” Trey Pennington


MENCIÓN DIRECTADefinición:

MENCIÓN donde se cita explícitamente el PERFIL o se escribe en su muro para dejar claro que se quiere referirse a el PERFIL y que este reciba el MENSAJE.

DIRECTA: Cuando mencionan un PERFIL (@PERFIL)

DIRECTA: Cuando escriben en el muro del PERFIL

MENCIÓN INDIRECTADefinición:

MENCIÓN donde se cita explícitamente una PALABRA CLAVE que es seguida por un COMPETIDOR. El AUTOR del MENSAJE no busca referirse directamente al PERFIL y que este reciba el MENSAJE.

INDIRECTA: Cuando cualquier usuario menciona una PALABRA CLAVE en su TWEET

INDIRECTA: Cuando cualquier usuario menciona una PALABRA CLAVE en su POST

CONSUMER REACTIONS - MENCIÓN


SENTIMIENTODefinición:

En función del contenido del MENSAJE, una MENCIÓN tiene un SENTIMIENTO que puede ser POSITIVO, NEUTRO o NEGATIVO

Categorías: POSITIVO:Cuando la MENCIÓN habla positivamente del PERFIL que menciona.

NEUTRO: Cuando la MENCIÓN simplemente comenta sin querer influenciar de manera positiva o negativa sobre el PERFIL que menciona.

NEGATIVO: Cuando la MENCIÓN habla negativamente del PERFIL que menciona.

CONSUMER REACTIONS - SENTIMIENTO


CONSUMER REACTIONS - SENTIMIENTO


CONSUMER REACTIONS - DETALLE

DETALLE DE LOS MENSAJES

Siempre se debe llegar al detalle de los mensajes para comprender mejor y actuar.


BRAND AUDIENCEDefinición:

Análisis de los SEGUIDORES de los PERFILES de un COMPETIDOR

Ámbito:Se centra en analizar diferentes aspectos de los SEGUIDORES de los PERFILES de un

COMPETIDOR: PERFIL DE LOS SEGUIDORES DE UN COMPETIDOR COMPARATIVA DE SEGUIDORES ENTRE COMPETIDORES MENSAJES DE LOS SEGUIDORES

SEGUIDORES UNICOSDefinición:

De todos los SEGUIDORES de los PERFILES de un COMPETIDOR se cuentan sin repetidos.

ESPECIFIDAD DEL PERFILDefinición:

Número de SEGUIDORES que solo siguen el PERFIL de un COMPETIDOR.

BRAND AUDIENCE


INFLUENCERSDefinición:

Análisis de los AUTORES que realizan MENCIONES DIRECTAS o INDIRECTAS de un COMPETIDOR.

Ámbito:Se centra en analizar diferentes aspectos de los AUTORES que realizan MENCIONES de un COMPETIDOR.

INFLUENCIADORES POR ALCANCE O ACTIVIDAD ANALISIS DE RELEVANCIA ANALISIS DE SENTIMIENTO INDICE KLOUT EMBAJADORES, TROLLS

INFLUENCERS




INFLUENCERS - DETALLE


CONTENIDOSDefinición: Análisis de todo el CONTENIDO de los MENSAJES que tienen MENCIONES

INDIRECTAS (que se ha hecho referencia a una PALABRA CLAVE de un COMPETIDOR en el MENSAJE).

Ámbito: Se centra en analizar los CONTENIDOS de los MENSAJES con MENCIONES INDIRECTAS para detectar las palabras que se utilizan en ellos, a lo que llamaremos TOPICS.

TOPICDefinición: Palabras simples o compuestas que aparecen en el CONTENIDO de los MENSAJES

que tienen MENCIONES INDIRECTAS de PALABRAS CLAVE que siguen los COMPETIDORES.

TRENDING TOPICDefinición: TOPIC más repetido según temporalidad y localización.

CATEGORÍASDefinición: Las CATEGORÍAS sirven para agrupar TOPICS.

CONTENIDOS


ANALISIS POR CATEGORÍASANALISIS VISUAL (GRAFO) CATEGORÍAS

CONTENIDOS

ANALISIS POR TOPICSTRENDING TOPICS TOPIC LIST




CONTENIDOS - DETALLE


LOCALIZACIÓNDefinición: Análisis de la ubicación de los MENSAJES LOCALIZADOS.Ámbito: Solo se analizan la PLATAFORMA TWITTER.

Se centra en realizar un análisis geoespacial en un MAPA de los MENSAJES de TWITTER que tienen su posición de envío informada.

MENSAJE LOCALIZADO

Definición: MENSAJE que ha compartido su ubicación en el momento de la publicación.

PAIS

Definición: PAIS desde donde se publica un MENSAJE.

POBLACIÓN

Definición: POBLACIÓN desde donde se publica un MENSAJE.

IDIOMA

Definición: IDIOMA en que está escrito un MENSAJE.

LOCALIZACIÓN


MAPA

La visualización cartográfica nos puede ayudar con el análisis geoespacial con datos socio económicos.

LOCALIZACIÓN


Estamos de lleno en una sociedad aumentada (Social Media)

Big Data nos ayuda a procesador gran volumen y variedad de datos a gran velocidad.

Datos es información, información es poder de decisión.

Saber que queremos mejorar, nos ayuda a plantear nuestra solución.

Cada herramienta soluciona más o menos algunas necesidades que nos puede plantear el Social Media. Siempre hay una más adecuada para cada caso.

En el Social Media hay indicadores clave como ROI, engagement, brand value, reputación, influenciadores, etc. Que nos ayudan a evaluar y mejorar nuestras estrategias.

Todo para estar más cerca de la gente, que es de lo que se trata el Social Media.

CONCLUSIONES


GRACIAS POR VUESTRA ATENCIÓN

Francesc Arroyo@datagoodnews


Índice

Presentación

Sociedad aumentada



Preguntas

Fórum de debate

¡Gracias! Estamos a su disposición

[email protected]

www.datknosys.com

big data para analizar las redes sociales

Documents

knowledge systems

datknosys s

big data

valor datos

comunicacinsocial media

contextosocial media

atencinsocial media

darwinsocial media