dwh automation - beginn der dÄmmerung fÜr etl-tools? · freiberuflicher data warehouse architekt...
TRANSCRIPT
Copyright © 2014 ITGAIN GmbH 1
DWH AUTOMATION - BEGINN DER DÄMMERUNG FÜR ETL-TOOLS?
Die DING e.V. - 10. Fachtagung
15.10.2014
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 2
Die Sprecher
Oliver Cramer
Freiberuflicher Data Warehouse Architekt und Experte für Data Warehouse Automation
@proximaastra
Dirk Lerner – IT Consultant
ITGAIN
@DV_Modeling // www.datavaultmodeling.de
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 3
ETL Deformity
SRC
SRC
Proc
A-Proc
ProcProc
Proc
TRG
Ins
Upd
DelProc
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 4
ETL Deformity
SRC
SRC
SRC
Proc
Proc
A-Proc
Proc
Proc
Proc
Proc
TRG
Ins
Upd
Del
Ins
Proc
Proc
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 5
ETL Deformity
SRC
SRC
SRC
SRC
SRC
Proc
A-Proc
Proc
A-Proc
Proc
Proc
Proc
Proc
Proc
A-Proc
Proc
TRG
Ins
Upd
Del
Ins
Ins
Del
Upd
Proc
Proc
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 6
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 7
Requirements
Quelle
Quelle
Quelle
Quelle
Quelle
…ETL
EDW(Data Vault =
Raw DV + Business DV)
ETL
Data Mart
Data Mart
DSS
…
DSS
Meta Data
Hard Business
Rules
Soft Business
Rules
HistoryIntegration
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 8
Data Vault – ETL HUB
HUB
SRC
Proc STG
ProcGet BK Get BK
New BK
Compare
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 9
Divide & Conquer
SRC
SRC
SRC
SRC
SRC
Proc
A-Proc
Proc
A-Proc
Proc
Proc
Proc
Proc
Proc
A-Proc
Proc
TRG
Ins
Upd
Del
Ins
Ins
Del
Upd
Proc
Proc
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 10
PK
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
ENT ATT
PK
REL
HUB
SRC
Proc STG
Proc
Get BK Get BK
New BK
Compare
Metadata Driven
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 11
Automation Tools
Quipu AnalytiXBIReady
Innovator/MIDKalido
Die DING - DWH Automation - Data Vault
Copyright © 2014 ITGAIN GmbH 12
Automation Tools
WhereScape
Die DING - DWH Automation - Data Vault