2016 ull cabildo keedio - it y banca
TRANSCRIPT
Solving Big Data Issues 2
SERVICIOS MÓVILES DE BANCA El problema al que se nos pidió solución
• Tener mayor conocimiento del cliente en su operativa por canal móvil para
ser más precisos en la oferta que se le haga.
Lo que se hizo
• Diseñar una arquitectura Big Data para la ejecución de analíticas sobre datos de clientes en nube híbrida con Microsoft Azure
• Base tecnológica en Apache Spark, Apache NIFI, CouchBase
• Procesos de ingesta y analítica optimizados en tiempo real
• Desarrollo de API REST de explotación
• Monitorización.
Lo que se consiguió
• Tener mayor conocimiento del cliente que opera por canales no atendidos)
en un entorno cliente móvil (Omnicanalidad a disposición de los clientes)
• Ajustar con mayor precisión el segmento de clientes con el catálogo de
productos y servicios
Valor añadido analítico
Aumento de ventas
MOBILE
Tiempo Real
Solving Big Data Issues 3
EL RETO - Negocio
Our customer wanted to embrace the “customer centric”
strategy.
Enrich their traditional core banking services with advanced
analytics.
Get more knowledge of customer behavior.
Provide custom-fitted, tailored-banking.
Offer the right product at the right moment, on a 24x7 basis.
Solving Big Data Issues 4
EL RETO - Infraestructura
Monolithic, expensive, propietary legacy platforms
Platform composed of open source, easily replaceable components,
whose development is backed by a whole community.
Solving Big Data Issues 5
ARQUITECTURA
On-premises
Solving Big Data Issues 6
ARQUITECTURA
Cloud On-premises
Solving Big Data Issues 7
ARQUITECTURA
On-premises Cloud
Solving Big Data Issues 8
ARQUITECTURA
On-premises Cloud
Solving Big Data Issues 9
ARQUITECTURA
On-premises Cloud
Hybrid on-premises/cloud infrastructure
Solving Big Data Issues 10
ARQUITECTURA
On-premises Cloud
End users
Solving Big Data Issues 11
ARQUITECTURA
On-premises Cloud
End users
Solving Big Data Issues 12
ARQUITECTURA
On-premises infrastructure Azure Cloud Infrastructure
Dedi
cate
d VP
N co
nnec
tion
(A
zure
Exp
ress
Rout
e)
CORE BANKING
Mes
sage
bro
ker
LONG TERM STORAGE
Operational NoSQL
Database
Advanced Analytics and
forecasting
ETL - Data Consolidation
CRM
End users
Data ingestion
engine
Solving Big Data Issues 13
EL RESULTADO
Builds the foundation for the customer-centric strategy of our customer.
Core banking systems are seamlessly integrated with cloud infrastructure.
Platform able to enrich core banking services with advanced services to end users, 24x7.
Better knowledge of customer behavior.
Solving Big Data Issues 14
EL RESULTADO
Infrastructure changes are quick and cheap.
Data in the public cloud is anonymized as requested by national regulation.
Processing power scales up and down dependening on the actual processing needs.
Development and pre-production environments can be switched off on demand.
Solving Big Data Issues 15
SIEM (SECURITY INFORMATION EVENT MANAGEMENT)
El problema al que se nos pidió solución
A través de logs procedentes de aplicaciones y Sistemas, detectar problemas de forma temprana y conseguir ahorro en costes de licenciamiento de herramientas propietarias.
Lo que se hizo
§ Proporcionar una solución, basada en la plataforma KEEDIO DATA STACK altamente escalable, robusta, multi tenant, evitando vendor lock-in para el procesamiento de más de 11k fuentes y 1TB de información diario. Desarrollo de recolectores de información específicos.
§ Ingesta, almacenamiento, análisis y correlación de gran volumen de logs de seguridad procedentes de sistemas y aplicativos heterogéneos, desplegados en distintos data centers
§ Implantar la solución en múltiples entornos conectados a un servicio central desplegado en un Cloud privado.
Lo que se consiguió
§ Nuevas formas de información mediante técnicas de Machine Learning y predictivo para la detección temprana de problemas para su solución.
§ Ahorro de costes en las licencias utilizadas.
Predicción de eventos
Integración de información de muchos Data Centers
Ahorro de costes
Seguridad mejorada
Solving Big Data Issues 16
SIEM - ARQUITECTURA
§ Construcción de N distribuciones pre-configuradas de KEEDIO DATA STACK, una por administrador de VCPD.
§ Arquitectura de ingesta multi-capa.
§ Agentes de segundo nivel en alta disponibilidad.
o Load Balancer software integrado en el KDS.
§ Enriquecimiento en tiempo real de la información procedentes de las fuentes por medio de componentes open-source genéricos desarrollados por KEEDIO.
CMDB
Solving Big Data Issues 17
SIEM - ARQUITECTURA
Procesado Batch
§ Archivado de todo el histórico de eventos.
Procesado Real-time
§ Filtrado horizontal de la información: descarte de eventos no relevantes
§ Filtrado vertical de la información: descarte de campos no relevantes dentro de eventos.
Analítica
§ Analítica exploratoria de los eventos históricos.
§ Dashboards de seguridad y correlación eventos en Splunk.
CMDB
Solving Big Data Issues 18
SIEM - SEGURIDAD La clave § Sistema auditable por terceros.
§ Compliance con regulatorios de seguridad y gestión de la información.
Seguridad de acceso
§ Los datos se almacenan en un entorno altamente securizado para garantizar la privacidad de acceso a los mismos.
Integridad
§ En toda la cadena de custodia de la información, desde su captura hasta la entrega a la capa de explotación.
SEGURIDAD
AUDITORÍA
Solving Big Data Issues 19
SIEM - LOS NÚMEROS
> 11K Fuentes Ingestadas
Ingesta Multicapa
Enriquecimiento
Metadatado
Tiempo Real
Infraestructura Cloud
Full HA y Monitorización
~1 TB Diarios
Open Source
Ahorro de costes
KEEDIO STACK
Compontes open-source
Integración sistemas
Reporting & Forensics En Producción desde Q3 2015
sustituyendo solución anterior y dotando de mayor escalabilidad y versatilidad de explotación a la información procesada.
Solving Big Data Issues 20
MONITORING
El problema al que se nos pidió solución
§ Conocer la salud en primera fase de al menos 5,000 dispositivos: saturación, errores, etc. Hasta 30 puntos de medida
Lo que se hizo
§ Diseñar una arquitectura basada en KEEDIO DATA STACK de monitorización
para recolectar, almacenar y analizar los datos de los equipos plataformados
de los empleados de la organización (350.000 equipos) con el fin de crear
dashboards distintas para perfiles de usuarios distintos, que proporcionaran
información sobre el estado de salud de los equipos e inferir información
sobre el estado de salud de la infraestructura.
§ Gestionar la información de monitorización para su indexación y explotación
multiusuario
§ Desarrollo de los dashboards analíticos para IT y usuarios
Lo que se consiguió
§ La unificación de la monitorización y gestión de los diferentes entornos y sistemas periféricos como servicios, networking, etc.
§ Ahorro en costes de licencias de sistemas monolíticos de monitorización.
Tiempo Real
Enriquecimiento
Métricas de servicio
Calle Virgilio 25 Edificio Ayessa I, Bajo D
Pozuelo de Alarcón 28223 Madrid
@keedio [email protected] www.keedio.com keedio