<Insert Picture Here>
Integración de datos en Tiempo Real – Oracle
Golden Gate
Mauricio Gumiel Muñoz
Sales Executive
La necesidad de tomar decisiones en Tiempo real
Más datos que tratar y menor tiempo de respuesta
•Población
•Usuarios de IT e internet
•Sistemas de información
•Websites
El crecimiento exponencial
de los datos
•Muy difícil crecer vía
reducción de costes
Situación actual del mercado
•Comportamiento y preferencias de usuario•Compras producidas – stock, pedidos, etc.
Información actualizada
2
•Websites
•Dispositivos IT
•Repositorios de información
•Datos almacenados
•Potenciar la Generación y
Captación de Ingresos
pedidos, etc.•Ofertas complementarias
Evolución de los procesos de negocio:
Adaptación dinámica – Toma de decisiones en Tiempo Real
Business event
Toma de decisiones con Información en Tiempo RealIncrementando el Valor de la información
Para reducir los
tiempos de latencia y
generar valor, los datos
• La Información en Tiempo Real representa disponer de:
– Un nuevo factor diferenciador para competir
– Datos actualizados para analizar las situación y tendencias
– Información sobre las preferencias y peticiones de clientes y partners
– La posibilidad de operar en entornos 24x7
3
Action Time
Data
latency
Analysis
latency
Decision
latency
Business Value
Data captured
Information delivered
Action taken
generar valor, los datos
deben adquirirse en
Tiempo Real.
Los clientes solicitan Datos en Tiempo Real de forma
continuada a la vez que reducción de costes en IT y mejora en la
eficiencia operacional
Información en Tiempo Real Soporte a
Business Intelligence y Toma de Decisiones
• Disponibilidad instatánea de Datos para Reporting
• Acceso a información clave para su análisis
Operaciones
en
Tiempo Real
Disponibilidad Contínua de
Aplicaciones y Datos críticos
• Disponibilidad contínua en caso de desastre
4
• Acceso a información clave para su análisis
• Acceso a sistemas heterogéneos• Sin interrupciones en paradas planificadas
• Load balancing & Data distribution
Inversión reducida & Mejora operacional
• Selección del mejor sistema disponible
• Modernización de los sistemas Legacy
• Offload para reporting
• La información en Tiempo Real supone disponer de sistemas que
• Puedan Integrarse y Sincronizarse sin importar su dispersión, ubicación o tecnología
• Faciliten información en tiempo real
• No impacten en el rendimiento de los Sistemas de Producción
Oracle GoldenGateLa solución empresarial para las necesidades de Tiempo Real
Información
en Tiempo Real
Bases de datos y
aplicaciones, fuentes
heterogéneas,
combinadas,
sistemas distribuidos,
Datos y aplicaciones
Críticos,
Business Intelligence,
Reporting para
Clientes, Partners &
5
Oracle GoldenGate facilita el acceso en tiempo real a información en tiempo real,
permitiendo a las empresas mejorar dramáticamente la disponibilidad, fiabilidad,
y rendimiento de datos críticos distribuidos en sistemas heterogéneos.
sistemas distribuidos,
legacy, OLTP,
OLAP
Clientes, Partners &
Empleados
Acceso en Tiempo Real
Oracle GoldenGate permite captura con impacto muy bajo, enrutado,
transformación, y envío de datos transaccionales entre entornos heterogeneos
en tiempo real.
Aspectos diferenciadores:
No intrusivo, bajo impacto, latencia <1 segundo
¿Qué es Oracle GoldenGate?
Rendimiento
6
Abierto, arquitectura modular – Soporta orígenes
y destinos con tecnología heterogénea
Mantiene la integridad transaccional – Fiable
contra interrupciones y caídas de servicio
Flexible y Extensible
Fiable
GoldenGate es Estratégico para Oracle• Lider en soluciones de integración de datos en Tiempo
Real
• Complementa la oferta existente de productos Oracle
• Disponibilidad Contínua para sistemas
heterogéneos
• Acceso a datos en tiempo real para Reporting &
BI/EPM
• Migraciones y actualizaciones de bases de datos y
aplicaciones con “Zero-downtime”.
• 500+ clientes
7
• 500+ clientes
• 35+ países
• 4,000+ implantaciones en los sectores Financieros,
Comunicaciones, Sanitario, Público, Distribucion e
Industria:
• Top 4 de 5 de los mayores bancos comerciales
• Top 3 de 3 de las redes ATM más utilizadas
• Top 8 de 10 de compañías de información financiera
• Top 4 de 5 proveedores de telecomunicaciones
• Top 3 de 5 de las mayores compañías de
distribución
Oracle GoldenGate – Casos de UsoLa Integración en Tiempo Real – aplicaciones para la empresa
• Estandarización de una Unica
Tecnología para Múltiples
necesidades
• Permite la Disponibilidad
Continua y el acceso a datos en
Tiempo Real para Reporting / BI
Captura de datos
modificados, en
Tiempo Real,
de los logs
Disaster Recovery,
Data Protection
Zero Downtime
Migration and
Upgrades
Operational
Reporting
Standby
(Open & Active)
Reporting
DatabaseOGG
8
•Arquitectura muy flexible
• Implantaciones muy rápidas
•Bajo TCO & ROI muy rápido
Sistemas Origen
Heterogéneos
EDWODS
EDWReal-time BI
OGG
ETL
ETL
Query Offloading
Data Distribution
Oracle GoldenGate – factores diferenciales
Permite realizar operaciones de forma continuada para aplicaciones
críticas, eliminando paradas no planificadas y también reduciendo el
coste de paradas planificadas.
Disminuye los costes de IT gracias al soporte heterogéneo para
múltiples plataformas, permitiendo reducir el coste en infraestructuras
mediante query offloading.
Mejora la eficiencia operacional mediante el rendimiento, la
Oracle GoldenGate…
9
Reduce el riesgo asegurando la integridad de los datos y la
fiabilidad entre los sistemas Origen y Destino. Permite encriptar y
comprimir los datos cuando es necesario.
Mejora el análisis del negocio mediante Business Intelliigence, Data
Warehousing y report offloading en tiempo real.
Mejora la eficiencia operacional mediante el rendimiento, la
escalabilidad de las distintas fuentes de datos en tiempo real, y la
distribución de datos.
Reduce las barreras para compartir datos debido al nulo impacto en
las aplicaciones o bases de datos en la adquisición y transmisión de
datos en tiempo real.
Oracle GoldenGateEscenarios de aplicación de OGG
Escenarios en
Entornos Tecnológicos
10
Entornos Tecnológicos
Query Offloading – Reducción de costes
Creación de un nuevo entorno para consultas
Solución:• Crear una réplica en tiempo real del entornooperacional (legacy o mainframe) muy costososobre Oracle con RAC o Linux.
• Sincronización de la réplica en tiempo y real y envío de datos read-only
Beneficios:• Reduce/elimina las operaciones SQL en sistemastransaccionales
OLTP
TransactionsRead Only
Users
Query Offloading
OGG
Reducción de costes
11
transaccionales
• Directamente reduce el coste de sistemas legacy, mainframe, non-oracle
¿Qué productos posicionar?• Oracle GoldenGate soporte bases de datos, hardware y plataformas heterogéneas
Non-Oracle or
Legacy PlatformOracle Platform
Necesidad:
“¿Es necesario trasladar las capacidades de procesamiento de opraciones
SQL a BBDD estandar con menor coste en SW y HW, sin interrupción en
transacciones o procesos críticos y a la vez soportar el crecimiento de datos
generado por el incremento en el número de usuarios?”
Disponibilidad Contínua
Migraciones y actualizaciones de bases de datos y
aplicaciones con “Zero-downtime”
Solución :• Migrar desde bases de datos, hardware o plataformas heterogéneas a plataformaestandarizada Oracle11g con mínima disrupciónoperativa
• Actualización de aplicaciones certificadas Oracle a nuevas versiones (Siebel) sin downtime
Beneficios :• Estandarización del centro de datos y
Previous Version New Version
Continuous Availability
OGG
12
• Estandarización del centro de datos y modernización de las plataformas
• Zero down-time para aplicaciones críticas
• Migración segura de usuarios de un sistema a otro, manteniendo ambos operativos.
¿Qué productos posicionar?• Oracle GoldenGate
Necesidad:
“¿Hay que realizar una migración de base de datos o una actualización de
una aplicación critica pero no es posible realizar ninguna parada por su
impacto en los procesos de negocio?
Previous DB Version New DB Version
Disponibilidad ContínuaDistribución de datos / Sincronización
Solución :• Replicar datos entre aplicaciones distribuidas permitiendorealizar operaciones globales y mejorando la eficienciaoperacional.
• Distribuir datos en tiempo real entre entornos Oracle y no Oracle.
• Crear configuraciones Activo-Activo, permitiendo disponerde datos sincronizados entre Centros de datos.
Beneficios :
Oracle 9i Oracle 11g
Continuous Availability
OGG
13
Beneficios :• Alta disponibilidad en datos críticos
• Posibilidad de escalado y de manejo de grandesvolúmenes de datos
• Acceso a datos consistentes entre centros de datos, geográficamente dispersos
¿Qué productos posicionar?• Oracle GoldenGate
Oracle 10g SQL Server
Necesidad:
“¿Cómo responden tus datos ante peticiones realizadas 24x7? ¿Pueden todas
tus unidades de negocio acceder al mismo tiempo a la información más
actualizada contínuamente?”
Integración de datos en Tiempo RealReporting en entornos operacionales
Solución :• Informes sobre datos reales, inmediatos (live data), en sistemas transaccionales
• Sin necesidad de realizar una carga adicionalen el sistema origen – informes en una nuevainstancia de la base de datos sincronizados en tiempo real.
Beneficios :• Permite disponer de informes tácticos para la rápida toma de decisiones el seguimiento del estado de negocio.
Real Time Data Integration
Transactional Operational
OGG
14
estado de negocio.
• Elimina el impacto en los sistemas origen.
• Resuelve los retos de ejecutar informes en sistemas transaccionales (MIPs para ejecutartransacciones en vez de generar informes)
¿Qué productos posicionar?• Oracle GoldenGate para crear una replica operacial.
• BI Publisher para Reporting operational.
Transactional
Applications
Operational
Data Store
Necesidad:
“¿Dispone de la transparencia adecuada sobre los datos en los sistemas
transaccionales más sensitivos?”
Integración de datos en Tiempo Real Business Intelligence en Tiempo Real
Solución :• Poblar un almacén de datos operacionaldestinado a un BI operacional con datos en tiempo real.
• Ejecutar ELT desde ODS para cargar datos al warehouse con datos transformados
Beneficios :• Mejora la capacidad de análisis sobre el negocio
Real Time Data Integration
Enterprise Data Warehouse
Production
Real-time Integration + Bulk
Data Transformation
OGG
ODI
15
negocio
• Combina la capacidad de inteligencia de negocio sobre datos actuales e históricos
• Elimina la carga en los sistemas fuente
• Reduce los tiempos de latencia y las ventanasde tiempo por procesamiento batch
¿Qué productos posicionar?• Oracle GoldenGate y Data Integrator
Heterogeneous
Sources
Enterprise Data Warehouse
Oracle Database,
Oracle Exadata
Necesidad:
“¿Necesita analizar la situación y estado de su negocio con los datos más
actuales, sin necesidad de impactar en sus sistemas más críticos?
Oracle GoldenGateEscenarios de aplicación de OGG
Escenarios en
Procesos de Negocio
16
Procesos de Negocio
Oracle GoldenGateSoporte a los procesos de Negocio - I
Accounting
Billing
• Sincronización con datos de facturación, inventario, pedidos, etc.
• Integración con ERPs en tiempo real
• Integración de distintos sistemas de contabilidad
• Reconciliación de facturas mediante integración de información distribuida
• Facilitar a los clientes y proveedores el estado de sus pedidos, pagos y facturas.
Procesos de
Negocio
17
Reporting
Inventory managment
• Establece las bases para la colaboración B2B
• Generación de informes recopilados de sistemas heterogéneos
• Información actualizada al disponer de datos recopilados en Tiempo Real
• Creación de métricas para conocer el grado de cumplimiento de Objetivos, SLAs, etc.
• Actualización de inventarios distribuidos
• Información sobre pedidos a servir
• Información sobre materiales recibidos de sistemas heterogéneos
Oracle GoldenGateSoporte a los procesos de Negocio - II
Marketing
Pricing
• Información sobre el impacto de las campañas promocionales
• Según el perfil del usuario, sus compras realizadas y las campañas existentes, se ofrecen productos complementarios o nuevas versiones (Cross selling).
• Actualización de precios de acuerdo a los resultados de promociones, stocks, etc.
• Actualización y propagación de tipos de interés, tipos de cambio, etc.
Procesos de
Negocio
18
Cumplimiento Normativas
Purchasing forecast
• Soporte a la Auditoría: seguimiento en el cambio de los datos en vez más que los datos cambiados
• Backup de datos transaccionales en tiempo real
• Compras históricas
• Compras recientes o últimas compras
• Soporte al análisis estadísticos o de tendencias para establecer previsiones de compra
GoldenGate - Arquitectura
Route: Datos comprimidos, encriptados para múltiples destinos.
Capture: Los cambios committed son capturados ( puedenser filtrados) según se producen, leyendo el log de transacciones.
Trail files: Almacena y encola los datos para su envío
Delivery: Escribe los datos con integridad
transaccional, transformando los datos
según sea necesario.
Pump: Distribuye los datos para su enrutado a multiples destinos.
20
Database(s)
Origen
Database(s)
Destino
LAN / WAN /
Internet(TCP/IP)
CaptureSource Trail Target Trail
Delivery
Bi-direccional
Source TrailTarget Trail
Delivery Capture
Pump
Pump
GoldenGate – Plataformas heterogéneas
Bases de datos O/S y Plataformas
Capture:
• Oracle
• DB2
• Microsoft SQL Server
• Sybase ASE
• Teradata
• Enscribe
• SQL/MP
• SQL/MX
•Windows 2000, 2003, XP
•Linux
•Sun Solaris
•HP NonStop
•HP-UX
•HP TRU64
•HP OpenVMS
•IBM AIX
21
• SQL/MX
• JMS message queues
• MySQL
•TimesTen
Delivery:
• All listed above, plus:
• HP Neoview, Netezza, Greenplum, and any
ODBC compatible databases
• ETL products
• JMS message queues
• MySQL
•TimesTen
•IBM z/OS
Componentes (Procesos)
• Log based
• VAM based
• Local/Remote Queuing
• Filtering
• Parallel Coordination
• Local/Remote*
• Native database API
• ODBC
• Batched Operations
• Filtering
• Transaction/Operations Grouping
• Parallel Coordination
• Local/Remote*
• Local/Remote
• Filtering
• Queue (Trail) Management
• Process Management (Dynamic)
CAPTURE DELIVERY
PUMP MANAGER
22
On-disk Components
• Filtering
• TCP/IP
• Compression
• Encryption
• Process Management (Dynamic)
• Monitoring and Administration (Lag reports)
• Reporting (Events, Errors, Thresholds)
• Receive/Route requests from UI
• Trail Files
• Checkpoint Files
• Capture, Pump, Delivery
• Data Definition Files
(SOURCEDEFS)
• Utility to generate definitions
• Configuration Files
• Output Files
• Report/Log Files
• Binaries
Oracle GoldenGate - Topologías
UnidireccionalQuery Offloading
Bi-DireccionalLive Standby or
Active-Active for HA
Peer-to-PeerLoad Balancing, Multi-Master
23
Broadcast Data Distribution
Integración/ConsolidaciónData Warehouse
En CascadaData Marts
Oracle GoldenGateApéndice – Capacidades extendidas
Golden Gate
Capacidades extendidas
24
Capacidades extendidas
• Start change data capture on Source Database• Current source Commit Sequence Number (CSN) is 222
GoldenGate Instantiation
Current CSN is 222 CSNs 222
through …
25
Capture PumpCommit Ordered
Source Trail
Commit Ordered
Target Trail
Source
Database Target
Database
• Wait for any open transactions to close
• Use a backup (or export/import) to copy source to target as of a
consistency point• Current source Commit Sequence Number (CSN) is 245
GoldenGate Instantiation
CSNs 222 through …
Consistent as of CSN 245Current CSN is
245
26
Capture PumpCommit Ordered
Source Trail
Commit Ordered
Target Trail
Source
Database Target
Database
Take Backup as of CSN
245
Apply Backup as of CSN
245
• Start delivery at or after given backup CSN (245 in this case)• Current source Commit Sequence Number (CSN) is 356
• Once Delivery is current the source and target are in sync
GoldenGate Instantiation
CSNs 222 through 356
Deliver transactions after CSN 245
Current CSN is 356
Consistent as of CSN 356In Sync!
27
Capture DeliveryPumpCommit Ordered
Source Trail
Commit Ordered
Target Trail
Source
Database Target
Database
Take Backup as of CSN
245
Apply Backup as of CSN
245
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
GoldenGate Checkpointing
Begin, TX 1
Insert, TX 1
Begin, TX 2
Update, TX 1
Insert, TX 2
Commit, TX 2
Begin, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Begin, TX 3
Insert, TX 3
Start of Oldest Open (Uncommitted) Transaction
Capture Checkpoint
28
CaptureCommit Ordered
Source TrailSource
Database
Insert, TX 3
Begin, TX 4
Commit, TX 3
Delete, TX 4
Commit, TX 3
Current Read Position
Current Write
Position
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
GoldenGate Checkpointing
Begin, TX 1
Insert, TX 1
Begin, TX 2
Update, TX 1
Insert, TX 2
Commit, TX 2
Begin, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Begin, TX 3
Insert, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Start of Oldest Open (Uncommitted) Transaction
Capture Checkpoint
Current Read
Position
Pump Checkpoint
Current Write
Position
29
Capture PumpCommit Ordered
Source Trail
Commit Ordered
Target TrailSource
Database
Insert, TX 3
Begin, TX 4
Commit, TX 3
Delete, TX 4
Commit, TX 3
Current Read Position
Current Write
Position
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
GoldenGate Checkpointing
Begin, TX 1
Insert, TX 1
Begin, TX 2
Update, TX 1
Insert, TX 2
Commit, TX 2
Begin, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Begin, TX 3
Insert, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Start of Oldest Open (Uncommitted) Transaction
Capture Checkpoint
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
30
Capture DeliveryPumpCommit Ordered
Source Trail
Commit Ordered
Target TrailSource
Database Target
Database
Insert, TX 3
Begin, TX 4
Commit, TX 3
Delete, TX 4
Commit, TX 3
Current Read Position
Current Write
Position
Oracle GoldenGateApéndice – Otros Productos
Otros productos de
la familia Golden Gate
31
la familia Golden Gate
Oracle GoldenGate VeridataData Comparison without Downtime
• A high-speed, low impact data
comparison solution
• identifies and reports data discrepancies
between heterogeneous databases
• without interrupting their availability
• Benefits:
32
• Benefits:
• Reduce financial/legal risk exposure
• Speed and simplify IT work in comparing
data sources
• No disruption to business systems
• Improved failover to backup systems
• Confident decision-making and reporting
Veridata 3.0 Component Overview
33
• Existing product – Homogeneous Version (Oracle/Tandem)
• Java agent is one executable for all supported databases. Supports
heterogeneous cross database comparisons. (Beta)
• C agent is required for NSK and can be used for Oracle like-to-like
comparisons.
Oracle Management Pack for Oracle GoldenGateEasy Management of Oracle GoldenGate Solutions
• Manages, defines, configures,
and reports on Oracle
GoldenGate components
• Key features:• Centralized management of
34
• Centralized management of GoldenGate modules
• Rich-client and Web-based interfaces
• Alert notifications and integration with 3rd-party monitoring products
• Real-time feedback
• Zero-impact implementation
GoldenGate Director: Architecture Components
Director Server
• Live connections to each GoldenGate instance
• Database central repository
for user and GoldenGate information
Director Client
• GUI for creating custom
35
• GUI for creating custom network views and accessing the services provided by the Director Server
Director Web
• Browser-based UI that enables remote monitoring and control of GoldenGate
Director Administrator
• For configuring the Director Server
GoldenGate – Principales beneficios aportados
No hay pérdida de datos Integridad transaccional
Mínima parada / Rendimiento 99.99% Uptime
No Intrusivo Muy bajo impacto
Soporte heterogéneo Database, Hardware, OS
37
Muy baja latencia / Tiempo Real Segundos, no batch
Alto Rendimiento / Altos volumenesGrandes volúmenes de datos
Flexibilidad Varias topologías
Decrecimiento del TCO Query offloading
Operación Contínua Continuidad de Negocio
Oracle GoldenGate – Casos de uso
Application
Migration/Upgrade
Share infrastructure
resources
Business Intelligence
Datawarehouse
Dashboards
Reporting
Monitoring
Batch procesing
Query processing
Accounting
Reporting
Marketing
Pricing
Billing
Siebel
ERPs
ITIL processes
Mainframes, Production
environments
38
Zero Downtime Upgrade &
Migration, Data Distribution
Query Offloading , Reduce
MIP consumptionData Synchronization, Data
Replication
Real-time BI, Operational
Reporting
Disaster Recovery, High
Availability
Query offloading Continuous availability Real Time Integration
Monitoring
Contact local Sales Executive for Oracle Golden Gate
Mobile: +34 618 383 474
Iberia Sales Executive - Mauricio L. Gumiel Muñoz
39
Work phone: +34 916 312 641
email: [email protected]
Address: C/Jose de Echegaray, 6 - 28230 Las Rozas, Madrid