webinar: oracle data integrator 12c (25-02-2015)
TRANSCRIPT
Data Integrator 12c Moving Data to Transform Business
Joan Massegú
Consultor y Técnico Preventa del Área de Business Analytics
Webinar
Webinar
Índice
© avanttic Consultoría Tecnológica, S.L. 2
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Webinar
Introducción
• Pertenece a la línea de productos de Business Analytics • Es la herramienta de integración de datos estratégica de Oracle
3 © avanttic Consultoría Tecnológica, S.L.
Oracle Data Integrator (ODI) en el portfolio de Oracle
Data Integration Engineered Systems Packaged Analytics & EPM Apps
Data Analytic Tools
ODI 12c
Webinar
Introducción
4 © avanttic Consultoría Tecnológica, S.L.
Necesidades actuales en la integración de datos
Cualquier Fuente de datos
Real Time, Quality Data
Máximo rendimiento, Alta disponiblidad
Interna o en la Nube
Integrada, Alta productividad
Webinar
Introducción
• Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones • BD Heterogéneas (cualquier origen/destino de datos), XML, … • Real time Data Warehouse
• Con sus propios (KM’s) de soporte para CDC • Mediante la integración con OGG (GoldenGate)
• Diseñado para arquitecturas SOA: exponer y consumir datos y procesos • MDM: linaje de los datos / análisis impacto de los cambios • Alta disponibilidad sobre WLS • Consolas monitorización infraestructura y ejecuciones • Conectores para BigData • Data Quality desde ODI e integración con EDQ
5 © avanttic Consultoría Tecnológica, S.L.
Principales características de ODI 12c
Webinar
Introducción
• Diseño declarativo (KM) • Desarrollo orientado a flujos • Reutilización de código • Rendimiento optimizado para Oracle
Particionado/Paralelismo/Hints/Merge/Inserts múltiples destinos/… • Simulación ejecución • Depuración paso a paso • Funcionalidad extensible y/o customizable
6 © avanttic Consultoría Tecnológica, S.L.
Desarrollo de alta productividad con ODI 12c
Webinar
Índice
© avanttic Consultoría Tecnológica, S.L. 7
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Webinar
Arquitectura de ODI 12c
• Repositorios • ODI Studio • Agentes • Componentes J2EE • Management Pack
8 © avanttic Consultoría Tecnológica, S.L.
Componentes
Webinar
Arquitectura de ODI 12c
• Almacenados en esquema BD
• Repositorio Master • Topología de la infraestructura IT • Información de seguridad • Objetos versionados y archivados
• Repositorios de trabajo (n) • Estructuras de datos (Modelos) • Proyectos • Información de ejecución
9 © avanttic Consultoría Tecnológica, S.L.
Repositorios de ODI
Master Work
Exec
Webinar
Arquitectura de ODI 12c
• Tipos Agente • Standalone • Collocated • J2EE
• Responsabilidades • Listener • Scheduler
• Procesos java ejecutándose próximos al host de BD
10 © avanttic Consultoría Tecnológica, S.L.
Agentes ODI
Cualquier origen Cualquier destino
ODI J2EE (Dominio WLS)
ODI Console J2EE Agent Standalone
Agent (Dominio WLS)
Collocated Agent
Repositorio ODI
Cliente (Cualquier Plataforma)
ODI Studio …
Cliente web ODI
Console
Webinar
Arquitectura de ODI 12c
• Interface web
• Monitorizar resultados de ejecución
• Lanzar procesos
• Linaje y flujo de datos
11 © avanttic Consultoría Tecnológica, S.L.
ODI Console
Webinar
Arquitectura de ODI 12c
• Gestión y Rendimiento
• Gestión Configuración
• Gestión SLM
• Análisis histórico y reporting
12 © avanttic Consultoría Tecnológica, S.L.
ODI Management Pack
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Preguntas y Respuestas
Índice
© avanttic Consultoría Tecnológica, S.L. 13
Webinar
Desarrollo con ODI
14 © avanttic Consultoría Tecnológica, S.L.
Flujo de un proceso ELT
Definir topología
Elegir estrategia de carga
Coordinar tareas
auxiliares (preprocesar
ficheros/ftp/…
Ejecución y Schedule
Monitorizar Resultados
Modelo de datos
(ing. inversa)
Desarrollar mapping
(transformación)
Orquestar flujo ELT Validación
Webinar
Desarrollo con ODI
• Topología • Designer
• Data Model • Proyectos
• Mappings • Packages • Execution Plans • Procedures • KM’s
• Operador • Monitorizar estado ejecuciones • Programación
• Seguridad 15 © avanttic Consultoría Tecnológica, S.L.
ODI Studio
Webinar
Desarrollo con ODI
Define • Fuentes de datos
• Origen • Destino • Staging
• Modelos datos • Lógico • Físico
• Contextos de ejecución • Agentes en nuestra infraestructura • Repositorios ODI existentes
16 © avanttic Consultoría Tecnológica, S.L.
Topología
DIA
gent
_DES
DEV PRO
Webinar
Desarrollo con ODI
Modelo • Describe conjuntos de Datastores
(Atributos, claves, filtros y condiciones) • Ingeniería inversa • Define reglas integridad
(Estáticas/Flujo) • Configuración para CDC
17 © avanttic Consultoría Tecnológica, S.L.
Designer
Webinar
Desarrollo con ODI
Contenido de un Proyecto • Variables, Secuencias • Procedimientos • Funciones • Mappings (Interfaces) • KM’s • Packages • Load Plans
18 © avanttic Consultoría Tecnológica, S.L.
Designer MúlEples implementaciones función
Webinar
Desarrollo con ODI
Perspectivas • Lógica • Física
19 © avanttic Consultoría Tecnológica, S.L.
Estructura de un mapping
Propiedades Físicas • Esquemas: des,no, staging • Estrategia de carga (KM) • Opciones (Borrar temporales, autocommit, ….)
Lógica de negocio • Objetos de datos y sus Relaciones • Filtros Restricciones
Webinar
Desarrollo con ODI
Plantillas de código especializadas en la ejecución de un tipo de tarea
• LKM • IKM • CKM • JKM • RKM • SKM
20 © avanttic Consultoría Tecnológica, S.L.
Knowledge Modules (KM)
Webinar
Desarrollo con ODI
• Objetos ejecutables • Mappings • Paquetes • Load Plans • Procedures
• Escenarios (Casos) • Ejecución
• Interactiva • Programada
• Simulación • Ver resultado ejecución (Operador)
21 © avanttic Consultoría Tecnológica, S.L.
Ejecución de procesos ELT
Webinar
Desarrollo con ODI
Packages • Define secuencia ejecución
• ODI Tools • Mappings • Procedimientos
Load Plans • Definen el flujo de carga
• En serie • En paralelo
• Ejecuta escenarios • Diferentes tipos de reinicio • Ejecución parcial
22 © avanttic Consultoría Tecnológica, S.L.
Orquestar el flujo de datos
Webinar
Desarrollo con ODI
• Objetos debugables • Mappings • Escenarios • Procesos • Paquetes
• Sobre cualquier agente (sesiones en ejecución)
• Ejecución paso a paso • Edición sentencias SQL • Ejecutar código modificado
23 © avanttic Consultoría Tecnológica, S.L.
Debugger integrado
Webinar
Desarrollo con ODI
• Dos modos de journalizing • Simple • Consistente
• Modelo publicación/suscripción • Journal/Vistas • Procesos de captura • Suscriptores
• Dos implementaciones • Análisis Log transacciones • Triggers
• ODI automatiza procesos • Despliegue • Control
24 © avanttic Consultoría Tecnológica, S.L.
Realtime Data Warehouse con Change Data Capture (CDC)
Webinar
Desarrollo con ODI
• KM’s y Substitution API
• SDK
• Groovy scripts • Puede utilizar comandos del SDK • Automatizar la edición/ejecución objetos • Automatizar cambios masivos
25 © avanttic Consultoría Tecnológica, S.L.
Extendiendo/Personalizando ODI
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L. 26
Webinar
Big Data con ODI 12c
• Integración de datos en Hadoop (Sistema ficheros local / HDFS / Hbase / BD SQL estándar)
• Realizar validaciones y transformaciones de datos en Hadoop • Llevar los resultados obtenidos en Hadoop a otro almacén de datos
(Oracle / BD SQL estándar / Hbase) • Disponible a partir de ODI 11.1.1.6 • Se licencia por separado
27 © avanttic Consultoría Tecnológica, S.L.
Application Adapter for Hadoop (ODIAAH)
Webinar 28 © avanttic Consultoría Tecnológica, S.L.
Big Data con ODI 12c
Nombre (KM) Propósito Origen DesEno
LKM File to Hive Cargar datos de local o HDFS en tablas Hive File system Hive
IKM Hive Control Append Integra datos en Hive en modo truncate/insert Hive Hive
IKM Hive Transform Integra datos en Hive una vez transformados con un script desarrollado en Perl/Python
Hive Hive
IKM File-‐Hive to Oracle (OLH-‐OSCH)
Integra datos desde HDFS o Hive en tablas Oracle File system/Hive Oracle
IKM File-‐Hive to SQL Integra datos desde HDFS o Hive en BD SQL File system/Hive BD SQL
IKM SQL to Hive-‐HBase-‐File Integra datos desde BD SQL en HDFS/Hbase/Hive BD SQL Hive/HBase/ HDFS
IKM Hive to Hbase Incremental Update
Integra datos desde Hive a Hbase, pudiendo realizar insert/update.
Hive HBase
LKM HBase to Hive Cargar datos de Hbase a Hive HBase Hive
CKM Hive Validar cumplimiento restricciones -‐ Hive
RKM Hive Ingeniería inversa de tablas Hive -‐ Hive
RKM HBase Ingeniería inversa de tablas Hbase -‐ HBase
KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L. 29
Webinar
Integración con otras herramientas
• Cualquier agente puede exponer transformaciones de ODI como WS
• Los agentes J2EE pueden exponer Data Services
• Invocar Web Services y procesar su respuesta
30 © avanttic Consultoría Tecnológica, S.L.
Arquitectura SOA
Webinar
Integración con otras herramientas
• Funcionalidad EDQ • Profiling • Validar direcciones • Estandarización/Análisis Sintáctico • Combinar y enriquecer registros
• Integración EDQ con ODI • A través de ODI Tools • Monitorización estado jobs EDQ en Operador • Disponible desde 11.1.1.6
31 © avanttic Consultoría Tecnológica, S.L.
Enterprise Data Quality (EDQ)
Webinar
Integración con otras herramientas
• OGG transformaciones básicas “in-row” / ODI transformaciones complejas (lookups, …) • Rendimiento OGG optimizado al procesar microbatches con ODI • Mismo mapping soporta bulk-loads y microbatches • GG es menos invasivo que CDC
32 © avanttic Consultoría Tecnológica, S.L.
Oracle GoldenGate (OGG) para Real Time Data Warehouse
32 EMP DEPT
DIM
FACT
DIM
DIM DIM
ODS Schema DW Schema
Oracle BI
Log-based, Real-time Data Feeds
EMP DEPT
Oracle GoldenGate Source OLTP System
trans2 trans1trans3
Batch Feed Historic Analytics Real-time Analytics
Oracle Data Integrator & Data Quality
Webinar
Integración con otras herramientas
• Podemos utilizar Journalizing de OGG sin reestructurar los mappings • Gestionar instancias Captura/Distribución OGG desde la topología ODI • Mantener parámetros configuración GG desde ODI • Interface gráfica despliegue procesos GG vía ODI
33 © avanttic Consultoría Tecnológica, S.L.
OracleGolden Gate (OGG)
Webinar
Integración con otras herramientas
• Linaje de los datos • Análisis de impacto
34 © avanttic Consultoría Tecnológica, S.L.
Master Data Management (MDM) con OBIEE
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L. 35
Webinar
• Porque… • OWB 11.2 es versión terminal • “Premier Support” de OWB 11.2 finalizó en enero de 2015 • La BD 12.x no incluye OWB en la instalación • OWB 11.2 NO estará certificado en BD > 12.1
• Ahora • Oracle provee utilidad de migración de OWB 11.2.0.x a ODI 12.1.y* • Rediseño filosofía desarrollo de ODI orientándola a flujo
Migración de OWB 11g a ODI 12c
36 © avanttic Consultoría Tecnológica, S.L.
¿Por qué, cuándo y cómo?
*(x>= 3, y>=4)
Webinar
Migración de OWB 11g a ODI 12c
• Gradualmente • Integrando desarrollos OWB en los flujos ODI • Migrando automáticamente los proyectos OWB a ODI (utilidad migración) • Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)
37 © avanttic Consultoría Tecnológica, S.L.
¿Por qué, cuándo y cómo?
Webinar
Migración de OWB 11g a ODI 12c
• ODI 12c incorpora tecnología “Oracle Warehouse Builder”
• ODI 12c puede coordinar ejecución mappings y workflows OWB
• Invocación vía ODI Tools
• Resultados ejecución mappings/workflows mostrados en “Operador”
38 © avanttic Consultoría Tecnológica, S.L.
Integrar desarrollos OWB actuales en ODI 12c
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Preguntas y Respuestas
Índice
© avanttic Consultoría Tecnológica, S.L. 39
Webinar
Actualización de ODI 11g a 12c
• Nomenclatura • Filosofía de desarrollo
• Dos implementaciones de KM: Template style / Component style • Desarrollo de mappings (interfaces en 11g) orientado a flujo • Desaparecen interfaces temporales (amarillas) • Aparecen reusable mappings • Múltiples destinos en un mismo mapping
• Agentes: +Collocated Agents, Standalone Agent administrado por WMF • Conversión interfaces en mappings • Conversión de internal ID a Global Unique Identifiers (GUID)
40 © avanttic Consultoría Tecnológica, S.L.
¿Qué ha cambiado?
Webinar
Actualización de ODI 11g a 12c
• Rendimiento • Ejecución en paralelo automática • Ejecución tareas concurrentemente
• KM’s para BigData (HDFS, Hbase, Hive) con SQOOP • Seguridad (encriptación pwds, etc. en exportaciones) • Soporte XML mejorado y añade JSON vía ODI Complex File Driver • Debugger paso a paso • Incorporación de tecnologías Oracle a la topología
• Golden Gate • Warehouse Builder
• Interface desarrollo orientada a flujo
41 © avanttic Consultoría Tecnológica, S.L.
Nuevas funcionalidades
Webinar
Actualización de ODI 11g a 12c
• Modos ejecución ODI 12c • Mappings nativos 12c • Compatiblidad 11g
• Como generar mappings en modo compatibilidad • Activando opción en la utilidad de actualización • Mediante una opción antes de importar un mapping
• Todos los módulos se ejecutan de la misma manera • Es posible convertir mappings compatibles 11g a 12c
42 © avanttic Consultoría Tecnológica, S.L.
Modo compatibilidad
11g
11g
Webinar
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L. 43
Webinar
Oracle Data Integrator 12c
• ODI 12c es una inversión segura • Consolida la experiencia de OWB y ODI para ofrecer elevada
productividad • Amplia cobertura funcional, pero extensible y costumizable • Alta disponibilidad, monitorización
• Preparada para el presente … y el presente inminente • Conectores Big data • Real time (CDC, OGG)
• Momento para migrar de OWB 11g a ODI 12g
44 © avanttic Consultoría Tecnológica, S.L.
Conclusiones
Para más información contacte con nosotros a través de [email protected]
45 © avanttic Consultoría Tecnológica, S.L.
BARCELONA Aragó 182, 4ª planta
08011 Barcelona Tel. 93 151 84 51
MADRID Paseo de la Castellana, 135, 7ª
28046 Madrid Tel. 91 116 17 89
el partner