sql server etl framework

SQL Server ETL-framework

Genereren en uitvoeren van packages

Jeroen Nijs

Healthcare Intelligence

2

Randvoorwaarden

• Packages met vast patroon genereren

• Meta data

• Project Deployment Model

• Middels SQL Server Agent job packages uitvoeren

• Aansturing

• Logging

• Herstartbaarheid

• Eenvoudig

• Begrijpelijk

3

Domeinen

Control

Logging

Packages/SP’s

SSIS-packages

Typen:

• Van Bron naar Staging area

• Van Staging area naar Historische datalaag

• Van Historische datalaag naar Dimensietabel

• Van Historische datalaag en Dimensietabel naar Feittabel

• Van Stermodel naar dedicated Stermodel

4

SSIS-packages

Meta data

• Brontabel

• Staging tabel• CreateStagingTable.sql

• MD5• MD5Hash_Formula.sql

• Historische datalaag tabel• CreateHistoricTable.sql

5

SSIS-packages

Van Bron naar Staging

• SSIS-package met DELTA-load• SRC2STG_MEDICAT_RECDEEL

• SSIS-package zonder DELTA-load• SRC2STG_MEDICAT_MEDICIJN

• BIML Script• SRC2STG.biml

6

SSIS-packages

MetaData

• SQL Server• Database: Control

• Schema: Meta

7

SSIS-packages

Van Staging naar Historische Datalaag

• SSIS-package• STG2HIS_MEDICAT_RECDEEL

• BIML Script• STG2HIS.biml

8

Logging

• Wat

• Wanneer

• Resultaat

• Condities

• Niveaus:• Job

• Step

• Details

• SQL Server• Database: Control

• Schema: Log

9

Status DescriptionE ErrorI InfoN NumbersP ParameterR RunningS SuccessfulT TableW Warning

Control

• Wat

• Volgorde

• Condities

• Niveaus:• Application

• Package

• Parameters

• SQL Server• Database: Control

• Schema: Control

10

LoadStrategyDELTADELTA_KEYSFULLKEYS

Control

Storage Procedures and Functions:

• Control-schema

• Add, Set, Delete en Get

• ControlMaintenance.sql

• LastStartDateOfSuccessfulTableLoad

• UpdateParameterTypeSelectDateFrom2

Disable/Enable:

• Application

• ApplicationPackage

• PackageParameter

11

Control

Storage Procedures: Execute

• Control.GetEnabledApplicationPackages

• Control.ExecuteCatalogPackage

SQL Server Agent:

• Job

• Steps

• Parameters

12

Master Package

13

14

Domeinen

Control

Logging

Packages/SP’s

SQL Server ETL-framework

15