5HART-IT 1

Oracle’s

Data Warehouse& ETL

future

5HART-IT 2

Communicatie

www.facebook.com/Vijfhart

SSID: Vijfhart-ITEncryptie: Wpa2 (TKIP)Wachtwoord: 5hart-internet

#vijfhart

5HART-IT 3

Even voorstellen...

Frank KuijpersBusiness Intelligence consultant

5HART-IT 4

Agenda

Oracle ETL tools OWB ODI

Pauze

Overgang van OWB naar ODI Handmatig Converter

5HART-IT 5

Oracle Warehouse Builder (OWB)

OWB 9.2 en 10.1=> Not supported by Oracle

OWB 10.2 => Premier Support gestopt in juli 2010.

OWB 11.1 => Premier Support stopt in augustus 2012.

OWB 11.2 => Vanaf september 2009, tot januari 2015

Future Geen geplande releases

5HART-IT 6

Oracle Data Integrator (ODI)

Gekocht in 2006 van Sunopsis

ODI toevoegingen tov OWB Doel database Oracle en non-Oracle (DB2, Teradata, XML, SQL Server

etc) Productiviteits- en kwaliteitsverbetering tav realisatie Realtime datawarehousing mogelijk (CDC) Event and/or trigger-based integratie Service Oriented Architecture (SOA) integratie

5HART-IT 7

Waarom ODI?

Goede Perfomance• ELT ipv ETL• Code specifiek voor een RDBMS (Oracle, SQLServer, Teradata)

Eenvoudig in gebruik• Intuïtief

Real-time Datawarehousing• CDC (Change Data Capture)

Decleratief Ontwerp• Ontwerper specificeert business rules in data model• Tool genereert specifieke RDBMS code

5HART-IT 8

Waarom ODI?

Knowledge Modules• Productiviteitverbetering door voorgedefinieerde herbruikbare

code templates• Best practices snel te gebruiken

=> Vele voorbeelden te vinden op www• Specifiek voor een RDBMS• Aanpasbaar voor specifieke klantwensen

5HART-IT 9

ODI en OBI-EE

ODI strategic tool for OBI EE-related ETL

Supports heterogeneous target Platforms

Future direction • merge ODI en OBI EE repositories?

5HART-IT 10

1

2

3

ODI Architectuur - overview

5HART-IT 11

Repository

Design Navigator:

Reverse-engineerOntwikkelprojectsScenario’s maken

Operator Navigator:

Sessies monitoren

Topology Navigator:

Infrastructuur vastleggen

Security Navigator:

Users enPrivileges vastleggen

ODI Studio

ODI Studio en interfaces

5HART-IT 12

MasterRepository

Versioning

ExecutionExecution

Projects

Models

Work Repository(Development)

Work Repository(Production)

ODI Repositories

5HART-IT 13

6 typen Knowledge Modules

Knowledge Module Description

Reverse-engineering KM(RKM)

Metadata ophalen en in ODI work repository zetten

Check KM(CKM)

Checks consistency van data tegen ODI constraints

Loading KM(LKM)

Laden verschillende platformen naar staging area

Integration KM(IKM)

Integratie/transformeren van data naar een target

Journalizing KM(JKM)

Change Data Capture (CDC) framework objecten in bronnen

Service KM(SKM)

Maakt data manipulation web services

5HART-IT 14

ODI Data Kwaliteit overview1) Static Control op source data2) Flow Control tijdens integratieproces3) Static Control op target4) Corrigeren errors en herverwerken

1

2

3source target

ERRORS

ERRORS

TargettableSource

Table(s)Integratie

4

5HART-IT 15

Standalone Agent voorbeeld

Repository

Design Navigator:

Reverse-engineerOntwikkel projectsScenario’s maken

Operator Navigator:

Sessies monitoren

Standalone Agent

Regiseert uit te voeren taken

4) Return code

Java – Ieder platform

Informatie systeem

Iedere RDBMS

Java – Ieder platform

3) Execute Job

5) Schrijf Reports

6) Monitor SessionsView reports

1) Gebruik Designer of Operatorom Job op te starten

2) Lees Session

5HART-IT 16

Pauze

5HART-IT 17

Handmatige overgang OWB naar ODI

Topology definiëren

Knowledge modules zoeken en aan eigen wensen aanpassen

Interfaces bouwen (= OWB mapping)

Packages bouwen (= OWB process flow)

Testen

5HART-IT 18

Fasering conversietool OWB => ODI

Handmatig Converter

Fase: #dagen converter werk:

Intake ong. 5 dagen

Conversie tussen 10 en 20 dagen

Test

Hertest

5HART-IT 19

Intake conversie OWB => ODI

1

5HART-IT 20

Conversietool OWB => ODI

5HART-IT 21

Overview conversie OWB => ODI

Input conversie• OWB repository metadata (MDL-file)• Database structuur export (exlcusief data)

Output conversie• ODI topology (XML-file)• ODI project (XML-file)

Supported versies • OWB => v9.2 (of hoger)• ODI => v10g (of hoger)

Critical Success Factors:• Project management• Communication meetings projectteam (Klant en Convertor)• Expertise ODI en DB in projectteam• Applicatie kennis vanuit projectteam

5HART-IT 22

Conversietool OWB => ODI

OWBobject

ODIobject

OWB Project ODI project

OWB “data model” ODI model

OWB Module ODI Folder

OWB mapping ODI package met 1 of meer interfaces temporary interfaces

OWB process flow ODI package

5HART-IT 23

Conversie staging mapping OWB => ODI

OWB mapping

- truncate/insert

ODI output

5HART-IT 24

Conversie ODS mapping OWB => ODI

OWB mapping

- Merge obv NK

- lookup

ODI output

5HART-IT 25

Complex voorbeeld conversie OWB => ODI

OWB multitarget mapping

ODI output • 2 interfaces

ODI ondersteund geen mutitarget

• Package

roept 2 interfaces in goede volgorde aan

5HART-IT 26

ODI goed leren kennen => ODI cursus vijfhartOnderwerpen:

Data Warehousing overview

ODI Architectuur

ODI Topology

Source metadata

Projects

Knowledge Modules

Staging metadata

Executen en monitoring

Data Store metadata

Data Mart metadata

Packages

Interfaces geavanceerde delen

Data Kwaliteit

Error handling en robuustheid

Change Data Capture (CDC)

ODI versie management

ODI documentatie

http://www.vijfhart.nl/oracle/opleidingen/oracle-cursus-pagina/training-id/8423/oracle-data-integrator-11g.htm

Conversie uitvoeren OWB naar ODIMail : owb2odi@bi-quest.nl

ODI project starten Mail : frank.kuijpers@bi-quest.nl Tel : 06-54681902

Frank Kuijperssenior Oracle BI Consultant

Samenvatting