archiwizowanie danych i odtwarzanie bazy danych po awarii

Robert Wrembel

Politechnika Poznańska

Instytut Informatyki

[email protected]

www.cs.put.poznan.pl/rwrembel

Hurtownie Danych i Business Intelligence: przegląd

technologii

2 R.Wrembel - Politechnika Poznańska, Instytut Informatyki

Architektury systemu hurtowni danych

Business Intelligence

Przetwarzanie OLTP vs. OLAP

Wstęp do technologii BigData

Tematyka


Cele stosowania HD

1. Zapewnienie jednolitego dostępu do wszystkich danych gromadzonych w ramach przedsiębiorstwa

2. Dostarczenie technologii (platformy) przetwarzania analitycznego - technologii OLAP/BI


OLAP - On-Line Analytical Processing

klasyczna analiza danych (dane historyczne, predykcja - what if analysis)

• analiza trendów sprzedaży

• analiza nakładów reklamowych i zysków

• analiza ruchu telefonicznego

• credit scoring

• churn analysis

• customer profiling

najczęściej SQL



BI = OLAP+

eksploracja danych

• reguły asocjacyjne, profile zachowań

analiza tekstów (Facebook, Tweeter, ...)

• hot topics, bezpieczeństwo narodowe

analiza sieci powiązań

• liderzy, zależności

analiza logów przeglądarek



OLTP a OLAP

użytkownik

funkcja

dane

aplikacje

dostęp

transakcja

l. przetwarzanych rek.

l. użytkowników

DB size

metric

"zwykły"

bieżące operacje, kluczowe dla działania firmy

bieżące, elementarne

powtarzalność działań

odczyt/zapis

krótka

kilka, kilkadziesiąt

kilkudzies., tysiące, setki tys.

kilka - setki TB

przepustowość (l. transakcji w jednostce czasu)

analityk

wspomaganie decyzji

elementarne, zagregowane, historyczne

ad hoc

odczyt

długa (godziny)

miliony lub więcej

kilku, kilkunastu

> setki TB

czas odpowiedzi

OLTP OLAP

Aplikacje BI

Zapytania ad-hoc (okolo 10% aplikacji firmowych)

prosty interfejs prezentacji wyników

obliczenia ad-hoc

drill-down, drill-accross

Raporty firmowe (około 90% aplikacji firmowych)

zaawansowany układ graficzny

biblioteka predefiniowanych raportów

subskrypcja raportów, harmonogram odświeżania raportów i ich dystrybucji

uprawnienia użytkowników do raportów


Aplikacje BI

Dedykowane aplikacje analityczne

analiza przychodów i promocji

przewidywanie trendów, symulacje

zawierają specjalizowane algorytmy dla dziedziny zastosowań

Pulpity (dashboards), karty wynikowe (scorecards), kokpity menadżerskie (management cockpits)

interaktywny interfejs

prezentacja zbiorcza najważniejszych danych

miary jakości przedsięwzięcia (KPI - key performance indicators)

alerty


Aplikacje BI

Eksploracja danych

złożone obliczeniowo algorytmy

dedykowane algorytmy dla dziedziny zastosowań

wizualizacja wyników


Użytkownicy

Aktywni: 10% wszystkich użytkowników systemu BI

Równocześnie pracujący: 1% użytkowników systemu BI


storyborads

Wielkość systemu

Mały system HD

HD: kilkaset MB

kilkadziesiąt tabel

kilka mln rekordów w tabeli faktów

300 użytkowników

kilkadziesiąt raportów, kilka kostek

Duży system HD

HD: kilkaset TB

kilkaset tabel

kilkaset mln rekordów w tabeli faktów

kilka tysięcy użytkowników

ponad 1000 raportów, kilkaset kostek



Dwie kategorie danych

wewnątrzfirmowe

zewnętrzne (Internet)

Dwie różne architektury/technologie analizy danych

klasyczne

BigData



Architektura 1 (podstawowa)

HURTOWNIA

DANYCH

model wielowymiarowy

dane elementarne i

zagregowane

ŹRÓDŁA DANYCH WARSTWA POŚREDNIA OPROGRAMOWANIE ETL

HURTOWNIA DANYCH WARSTWA ANALITYCZNA

Zalety

dane zintegrowane (spójna struktura i wartości)

szybkość dostępu do danych

niezależność od awarii źródeł

Wady

redundancja danych

odświeżanie danych

Ekstrakcja

Transformacja

Czyszczenie

Agregacja


Architektura 2

Ekstrakcja

Transformacja

Czyszczenie

Agregacja

HURTOWNIA

DANYCH


dane elementarne i

zagregowane

ŹRÓDŁA DANYCH WARSTWA POŚREDNIA OPROGRAMOWANIE ETL OPERACYJNA SKŁADNICA DANYCH

HURTOWNIA DANYCH

dane znormalizowane

(3NF)

dane elementarne

możliwość

przeszukiwania/analizow

ania

WARSTWA ANALITYCZNA


Architektura 3

Ekstrakcja

Transformacja

Czyszczenie

Agregacja

HURTOWNIA

DANYCH

Hurtownie

tematyczne

ŹRÓDŁA DANYCH HURTOWNIA DANYCH


dane elementarne i

zagregowane

WARSTWA POŚREDNIA OPROGRAMOWANIE ETL OPERACYJNA SKŁADNICA DANYCH

dane znormalizowane

(3NF)

dane elementarne

możliwość

przeszukiwania/analizow

ania

WARSTWA ANALITYCZNA


HD Allegro

C. Maar, R. Kudliński: Allegro on the way from XLS based controlling to a modern BI environment. National conference on Data Warehousing and Business Intelligence, Warsaw, 2008

Architektura ELT


ŹRÓDŁA DANYCH WARSTWA ANALITYCZNA

HD ODS

T+L

E+L

Architektura ELT

Efektywność

dane w bazie danych możliwość przetwarzania za

pomocą dedykowanych języków (PL/SQL, SQL PL, Transact SQL)

jeden serwer dla ODS i HD większe obciążenie

Data provenance

Drill through


Experiment I

P. Wróblewski, M. Wojdowski: Implementacja i porównanie wydajności architektur ETL i ELT. Master thesis, Poznan University of Technology, 2014

Data sources

Internet auctions

Oracle11g (Object-Relational model)

MySQL

PostgreSQL

XML

a collection/table composed of 11 attributes

Data warehouse: Oracle11g


Experiment I

DW schema


Experiment I

Transformations

dimensions

fact table

Tools and architectures

ETL Oracle Data Integrator (ODI)

• ETL in a staging area on a separate server

ELT ODI

• TL in a staging area on the same server as a DW

ELT ODI + materialized views (MVs)


ELT stored packages (SPs)


ELT SPs + MVs



Experiment I


ela

pse

d t

ime

ET

L +

(M

V c

rea

tio

n)

[se

c]

# of rows

Experiment II

K. Prałat, T. Skrzypczak, G. Stolarek: Efektywność ETL i ELT. Postrgaduate studies, term project, Poznan University of Technology, 2014

Data source

flight and weather data in the US, from 1986 until 2008

6 tables in Oracle11g

Data warehouse: Oracle11g


Experiment II

Data source schema


Experiment II

DW schema


Experiment II

Architecture


Experiment II

ETL Informatica

ELT Informatica (load), DB views (transform)



Systemy komercyjne

Tradycyjne

Oracle11g, Hypersion Essbase - Oracle Corporation

DB2 UDB - IBM

Sybase IQ - Sybase

MS SQL Server - Microsoft

SAP Business Warehouse - SAP

Teradata - Teradata

Main memory (in-memory)

Netezza - IBM

Exadata - Oracle

SAP Hana - SAP

Teradata DW Appliance - Teradata

Gartner Report


Gartner Report

http://www.gartner.com/technology/reprints.do?id=1-1DZLPEP&ct=130207&st=sb

Assessment criteria

Integration

BI infrastructure

Metadata management

Development tools

Collaboration

Information Delivery

Reporting

Dashboards

Ad hoc query

Microsoft Office integration

Mobile BI


Analysis

Online analytical processing (OLAP) - multidimensional analysis, what-if

Interactive visualization

Predictive modeling and data mining

Scorecards- aligining KPIs with a strategic objective

Prescriptive modeling, simulation and optimization

OLAP/BI - technologie

Modele

ROLAP

MOLAP

HOLAP

Składowanie danych

indeksy

perspektywy zmaterializowane

partycjonowanie

column storage / row storage

kompresja danych i indeksów

Przetwarzanie zapytań

top-n

gwiaździste

Przetwarzanie równoległe i rozproszone

Jakość danych i ETL/ELT 31 R.Wrembel - Politechnika Poznańska, Instytut Informatyki

OLAP/BI

Trends

Big Data

mobile BI

in-memory BI

real-time /right-time /active BI

cloud computing


archiwizowanie danych i odtwarzanie bazy danych po awarii

Documents