BIG DATA. NUEVOS PERFILES Y OPORTUNIDADES DE EMPLEO

A N T O N I O A L O N S O P I Ñ E R O 1 6 D E N O V I E M B R E D E 2 0 1 6

Licenciado en CC Matemáticas. Master BI

Programa Executive Big Data&Business Analitycs

Especialidad profesional

Business Intelligence. Modelado de datos

Big Data

Experiencia laboral

Antonio Alonso Piñero Project Manager BI&Big Data

eslinkedin.com/in/antonioalonsobibigdata

Empleo Big Data

Empleo Big Data

Business Intelligence

Arquitectura BI tradicional

… y de repente aparece un nuevo concepto

Nuevo contexto. Digitalización

Nuevo contexto. Omnicanalidad

Los clientes ya no interactúan por un solo

canal, sino que utilizan múltiples vías de

contacto.

Nuevo contexto. Omnicanalidad

Obteniendo información, no sólo de las fuentes

tradicionales, sino también de cualquier tipo

de contacto

Nuevo contexto. Omnicanalidad

Incorporando información externa

proporcionada voluntariamente por el cliente o con mecanismos de extracción de entornos

sociales

Nuevo contexto. Omnicanalidad

Incorporando información externa

proporcionada voluntariamente por el cliente o con mecanismos de extracción de entornos

sociales

Nuevo contexto. IoT. Sensores

Nuevo contexto. Sensores. IoT

UPS comenzó a instalar sensores en sus vehículos de reparto para conocer su velocidad y ubicación (si el cinturón de seguridad del conductor está abrochado).

Al combinar su información de GPS y los datos de sensores sobre rendimiento en más de 46.000 vehículos, UPS recortó 136 millones de kilómetros

de sus rutas.

Geolocalización

Nuevos orígenes de fuentes de datos

Generados por las personas

E-Mail, redes sociales (Facebook, Twiter…),

búsquedas

Transacciones de datos

Facturación, llamadas,

transacciones entre cuentas generan

información que tratada

pueden ser datos relevantes

E-marketing y Web

Generamos una gran cantidad de datos cuando navegamos por internet

IoT (Internet of Things)

Son las tecnologías que comparten datos con

dispositivos: medidores, sensores de temperatura, de luz, de altura, de presión, de sonido…

Biométrica

Son el conjunto de datos que provienen de la seguridad, defensa y

servicios de inteligencia. Datos generados por

lectores biométricos como escáneres de retina, escáneres de huellas

digitales, o lectores de cadenas de ADN.

¿Qué es Big Data?

Una nueva generación de tecnologías y arquitecturas diseñadas para extraer valor económico de grandes volúmenes de datos heterogéneos que debido a su

volumen, variedad o velocidad no pueden ser tratados de manera convencional, ya que superan los límites y

capacidades de las herramientas de software habitualmente utilizadas para su captura, gestión y

procesamiento

Gaps en la actualidad • Soporte de volúmenes de datos

limitado de los sistemas OLTP • Excesiva normalización y rigidez a

nivel de los esquemas de datos

• No es compatible con la carga de fuentes de datos no estructuradas

• Limitaciones importantes para resolver workloads de Real-time analytics

• Capacidad de escalamiento y elasticidad limitados y de alto costo

• Pensada principalmente para el mundo

on-premise, lo que dificulta su extensión hacia el Cloud

No esta preparada para la Transformación

Digital

Nueva arquitectura

• Volúmenes de datos ilimitados con

capacidad de escalamiento horizontal. • Arquitectura de datos Unificada que

integra fuentes de datos estructuradas y no estructuradas.

• Esquemas flexibles diseñados para

cambiar frecuentemente.

• Diseñada para soportar cualquier tipo

de workload, Interactivo, Real-time, Batch y Analítico.

• Integrándose con los activos de datos

existentes como el EDW, los DataMarts y las bases de datos OLTP más las

fuentes de datos no estructuradas.

• Compatible con cualquier arquitectura Cloud (privada, pública, híbrida).

Habilita la implementación de nueva analítica de

negocio

Nueva arquitectura

¿Por qué ahora?

El entorno competitivo ha impulsado la tecnología Big

Data mediante el desarrollo de nuevas herramientas para una toma de decisiones más precisa.

Abaratamiento de la memoria RAM de las computadoras y su aumento de tamaño posibilitan la carga masiva para su análisis (in memory analytics)

Nuevos entornos para el almacenamiento, trabajo y computación distribuidos. (Hadoop, Spark).

Nuevas Bases de Datos especializadas (NoSQL; MPP; En memoria)

Universo Big Data

La profesión más “sexy”

“Gran parte del entusiasmo actual por los big data se enfoca en la tecnología. Aunque la tecnología es importante, como mínimo es igual de importante la gente con las capacidades (o la mentalidad) para usarla. Y en este frente, la demanda es mayor que la oferta.”

T. Davenport

Necesidad de formar nuevos perfiles

Equipo Data Steward/CDO

Arquitecto Big Data

Ingeniero Big data

Administrador Big Data

Analista de Datos (Data Analyst)

Data Scientist

Visualizador de Datos

(UX)

Analista Digital/SEO

Business Analyst

Big Data y Data Science

Son dos campos complementarios pero se diferencia. El objetivo de Big Data es construir la infraestructura que soporte la escalabilidad para el tratamiento de datos y los tiempos de respuesta adecuados .

Sobre esas arquitecturas, se desarrollarán posteriormente los procesos analíticos para extraer

valor de los datos por parte de los Data Scientist

Big Data y Data Science

Big Data y Data Science

ORIGENES DE DATOS

INTEGRATION LAYER (EL)

SOURCES

REAL TIME EVENT

STORAGE LAYER

PROCESSING &ANALYSIS

LAYER (ETL)

ANALYTICAL TOOLS

VISUALIZATION LAYER

Perfiles más demandados

CDO (Chief Data Officer). Realiza la doble acción de proteger los datos y resultados obtenidos y la gestión y acceso a los datos de acuerdo a las políticas, normativas y estándares de la empresa. Gobierno del Dato

Data Architect. Responsable del diseño y la implementación del ciclo de vida de la arquitectura Big

Data. Big Data Developer. Encargado de captar los datos,

almacenarlos, y procesarlos para que los datos esten disponibles para su analítica.

Big Data Administrator. Distribución de los cluster, infraestructura, seguridad y optimización de las cargas.

Perfiles más demandados. Data Architect

Responsable del diseño y la implementación de

la infraestructura Big data.

Entender los requerimientos del negocio y las nuevas capacidades de la infraestructura para el desarrollo de la integración entre la

arquitectura Big Data y la infraestructura actual

Selección de herramientas y plataformas

necesarias.

Competencias programación en sistemas distribuidos para el

tratamiento de datos

Conocimientos de Databases y Almacenamiento de datos y SO Linux

Competencias en comunicación

Perfiles más demandados. Data Scientist

Extrae conocimiento y valor de los datos.

Definir los data sets adecuados Descubre relaciones ocultas y patrones entre los datos de diferentes áreas de negocio y tecnología

Competencias informáticas para el tratamiento de datos

Competencias estadísticas, matemáticas para analítica de datos.

Competencias en comunicación y visualización de datos.

Conclusiones

En el nuevo contexto, el análisis de datos es cada vez más

relevante y necesarios.

Es necesario una nueva infraestructura para llevar a cabo la explotación de los datos en un entorno cada vez más cambiante

Hay organizaciones que ya se están apalancando en este tipo

de estrategias para crear ventajas competitivas

El mercado de BI / Big Data / Business Analytics tiene una salud de hierro y mucho interés

Hay una clara necesidad de perfiles

Capacitación y formación especializada en puntos concretos de

Big Data / Business Analytics

Conclusiones

Conclusiones